un flux de données (Power Query en ligne) dit intermédiaire, qui se connecte aux données source, sans transformation (ou uniquement les pliages de requêtes)
un (ou des) flux de données de transformation
un stockage dans une base de données SQL Server ou Dataverse,
sur laquelle on crée des jeux de données (modèles sémantiques)
puis des rapport sur ces jeux de données.
Flux de données intermédiaires
Il est recommandé de créer des flux de données intermédiaires qui chargent les données telles quelles à partir du système source. Cela minimise les opérations de lecture depuis la source, réduit la charge sur le système source et les passerelles de données, et fournit une copie intermédiaire des données pour la réconciliation.
Flux de données de transformation
Séparez vos flux de données de transformation des flux de données intermédiaires. Cela rend les transformations indépendantes du système source, simplifiant la migration vers de nouveaux systèmes et améliorant les performances, surtout avec des connexions lentes au système source.
Architecture en couches
Utilisez une architecture multicouche avec des couches séparées pour l’intermédiaire et la transformation. Cela réduit la maintenance, car les changements peuvent être effectués dans une couche sans affecter les autres.
Tables calculées
Utilisez des tables calculées pour effectuer des transformations communes. Ces tables sont prétraitées et stockées, ce qui améliore les performances et rend les transformations plus efficaces.
Schéma en étoile
Implémentez un modèle de schéma en étoile avec des tables de faits et des tables de dimensions pour optimiser les performances des requêtes et rendre le modèle de données plus facile à comprendre.
Clés uniques pour les dimensions
Assurez-vous que chaque table de dimension possède une clé unique pour éviter les relations plusieurs-à-plusieurs, améliorant ainsi l'intégrité des données et les performances des requêtes.
Rafraîchissement incrémental
Pour les grandes tables de faits, utilisez le rafraîchissement incrémental pour mettre à jour uniquement les données modifiées au lieu de recharger toute la table, ce qui permet de gagner du temps et des ressources.
Référence pour les tables de dimensions et de faits
Utilisez des techniques de référence pour créer des tables de dimensions et de faits à partir de la même table source, permettant des transformations communes et réduisant la redondance.