Formation Formation Delta Lake : Implémentez des Data Lakehouses et Pipelines fiables

Programme de la formation
Formation Delta Lake : Implémentez des Data Lakehouses et Pipelines fiables

• Introduction au Big Data et Concept de Lakehouse

  - Évolution du Big Data et défis actuels
  - Introduction aux architectures Data Lake et Data Warehouse
  - Le concept de Lakehouse: hybride et ses avantages
  - Le rôle de Delta Lake dans l'écosystème Lakehouse

• Fondamentaux de Delta Lake

  - Historique et objectifs de Delta Lake
  - Composants clés et architecture de Delta Lake
  - Table Delta: format Parquet, journaux de transaction
  - Propriétés ACID de Delta Lake

• Mise en place de l'environnement de développement

  - Choix des plateformes: Apache Spark, Databricks, ou autres
  - Configuration de l'environnement de développement
  - Premiers pas avec PySpark/Scala et Delta Lake
  - Installation des dépendances et librairies

• Gestion des Tables Delta Lake : CRUD
• Optimisation des Performances Delta Lake

  - Les stratégies d'optimisation: Z-Ordering et compaction
  - Utilisation des commandes OPTIMIZE et VACUUM
  - Partitionnement des tables Delta
  - Bonnes pratiques pour l'optimisation des requêtes

• Voyage Temporel et Gestion des Versions

  - Principes du Time Travel avec Delta Lake
  - Interroger des versions passées des données
  - Restaurer une version spécifique d'une table
  - Scénarios d'utilisation: audit, rollback, analyse historique

• Pipelines de Données: Stream Processing avec Delta Lake
• Qualité et Gouvernance des Données
• Sécurité et Permissions dans Delta Lake

  - Modèles de sécurité pour les Lakehouses
  - Intégration avec les systèmes de gestion des identités
  - Contrôle d'accès basé sur les rôles (RBAC)
  - Chiffrement des données au repos et en transit

• Intégration Delta Lake avec l'Écosystème Big Data

  - Connectivité Delta Lake avec des outils BI/SQL
  - Intégration avec des moteurs de requêtes (Presto, Hive)
  - Utilisation de Delta Lake avec des outils d'ETL/ELT
  - Cas d'usage avec d'autres technologies Big Data

• Opérations et Surveillance des Lakehouses

  - Monitoring des performances et des ressources
  - Gestion des erreurs et des incidents
  - Stratégies de sauvegarde et de récupération
  - Automatisation des tâches d'administration

• Cas Pratiques et Bonnes Pratiques Avancées

  - Conception d'une architecture Lakehouse bout en bout
  - Optimisation de pipelines complexes
  - Résolution de problèmes courants
  - Veille technologique et futures évolutions de Delta Lake