Formation Formation Microsoft Fabric : Ingénierie des Données et Data Warehousing

01.Introduction au BI, ETL et Data Warehouse sur Microsoft Fabric

• —Comprendre les concepts fondamentaux du Business Intelligence
• —Introduction à l'ETL (Extraction, Transformation, Chargement)
• —Découverte du Data Warehouse et ses architectures
• —Présentation de Microsoft Fabric : Écosystème et cas d'usage
• —Vue d'ensemble des rôles du Data Engineer dans l'écosystème Fabric

02.Architecture de Microsoft Fabric et Lakehouse

• —Exploration des composants clés de Microsoft Fabric
• —Comprendre le concept de Lakehouse et OneLake
• —Avantages du Lakehouse pour le Data Engineering
• —Comparaison avec les architectures traditionnelles (Data Lake, Data Warehouse)
• —Mise en place d'un environnement de travail Fabric

03.Ingestion de données avec Data Factory dans Fabric

• —Utilisation des pipelines Data Factory pour l'ingestion de données
• —Connexion aux différentes sources de données (bases de données, fichiers, API)
• —Configuration des activités de copie de données
• —Gestion des jeux de données et services liés
• —Surveillance et dépannage des pipelines d'ingestion

04.Transformation des données avec Dataflows Gen2 et Power Query

• —Introduction à Dataflows Gen2 pour la transformation de données
• —Utilisation de l'éditeur Power Query pour les transformations (M Language)
• —Nettoyage et préparation des données pour le Data Warehouse
• —Jointures, agrégations et pivots de données
• —Gestion des erreurs et des valeurs manquantes

05.Développement de Pipelines ETL avancés avec Notebooks (PySpark)

• —Introduction aux Notebooks Fabric et PySpark pour l'ETL
• —Lecture et écriture de données dans OneLake (Delta Lake)
• —Application de transformations complexes avec PySpark DataFrames
• —Optimisation des performances des Notebooks Spark
• —Intégration des Notebooks dans les pipelines Data Factory

06.Modélisation dimensionnelle pour le Data Warehouse

07.Implémentation du Data Warehouse avec Lakehouse et Delta Lake

• —Ingénierie du Data Warehouse sur l'architecture Lakehouse Fabric
• —Utilisation de Delta Lake pour les tables de faits et de dimensions
• —Gestion des transactions ACID et du versionnement des données
• —Optimisation des tables Delta pour la vitesse de requête
• —Intégration des données transformées dans le Data Warehouse

08.Sécurité et gouvernance des données dans Fabric

• —Gestion des rôles et des autorisations dans Microsoft Fabric
• —Sécurisation des données au niveau des lignes et des colonnes (RLS/CLS)
• —Chiffrement des données au repos et en transit
• —Mise en œuvre de la gouvernance des données (data lineage, glossaire)
• —Conformité réglementaire et meilleures pratiques

09.Performance et optimisation des pipelines de données

• —Surveillance des performances des pipelines ETL et SQL endpoints
• —Identification et résolution des goulots d'étranglement
• —Optimisation des requêtes PySpark et T-SQL dans Fabric
• —Stratégies de partitionnement et d'indexation
• —Mise en cache et vues matérialisées (pour SQL endpoint)

10.Intégration avec Power BI et visualisation des données

11.Automatisation et orchestration des flux de travail

• —Planification et automatisation des pipelines Data Factory
• —Utilisation des déclencheurs basés sur le temps et les événements
• —Gestion des dépendances entre les pipelines
• —Alertes et notifications en cas d'échec
• —Stratégies de reprise sur échec et de gestion des erreurs

12.Cas d'usage avancés et préparation à la certification

• —Scénarios complexes d'intégration de données (streaming, API)
• —Utilisation d'outils complémentaires dans l'écosystème Fabric
• —Best practices pour la production de pipelines et Data Warehouses
• —Révision des concepts clés pour la certification Data Engineer
• —Projet final : Conception et implémentation d'un mini-DW Fabric