Formation Modern Data Stack : Comprendre l'écosystème Snowflake, dbt et Fivetran

Programme de la formation
Modern Data Stack : Comprendre l'écosystème Snowflake, dbt et Fivetran

• Introduction à la Modern Data Stack et au paradigme ELT

  - Identifier les composants fondamentaux d'une Modern Data Stack.
  - Distinguer les principes de l'ELT (Extract, Load, Transform) du ETL traditionnel.
  - Expliquer les avantages d'une architecture Cloud pour les pipelines de données.

• Snowflake : Architecture et fonctionnalités de Data Warehouse Cloud

  - Décrire l'architecture multi-cluster partagée de Snowflake.
  - Expliquer les concepts de Virtual Warehouses et de stockage séparé.
  - Utiliser les fonctionnalités de gestion des données (clonage, Time Travel) dans Snowflake.

• Fivetran : Ingestion automatisée et connecteurs de données

  - Détailler le rôle de Fivetran dans l'extraction et le chargement des données.
  - Configurer un connecteur de données Fivetran pour une source (ex: Salesforce).
  - Expliquer le mécanisme de réplication incrémentale des données par Fivetran.

• Intégration Fivetran-Snowflake : Pipeline d'ingestion

  - Établir la connexion entre Fivetran et un Data Warehouse Snowflake.
  - Surveiller le statut et les logs d'un pipeline d'ingestion Fivetran.
  - Gérer les schémas et les tables créés par Fivetran dans Snowflake.

• dbt Core : Transformation et modélisation SQL

  - Expliquer le rôle de dbt dans la transformation et la modélisation des données.
  - Créer des modèles de données avec dbt en utilisant des requêtes SQL.
  - Utiliser les concepts de sources, de tests et de documentation dans dbt.

• dbt et Snowflake : Orchestration des transformations

  - Connecter un projet dbt à une instance Snowflake.
  - Exécuter des transformations SQL complexes sur des données Snowflake avec dbt.
  - Gérer les dépendances entre les modèles de données dbt.

• Cas d'usage : Pipeline analytique complet avec Fivetran, dbt, Snowflake

  - Mettre en œuvre l'ingestion de données CRM (Salesforce) vers Snowflake via Fivetran.
  - Modéliser les données de vente avec dbt pour des rapports d'analyse.
  - Orchestrer l'exécution séquentielle des tâches Fivetran et dbt.

• Bonnes pratiques et maintenance des pipelines de données

  - Appliquer des tests de données avec dbt pour assurer la qualité.
  - Optimiser les performances des requêtes Snowflake pour les modèles dbt.
  - Décrire les stratégies de surveillance et de gestion des erreurs dans un pipeline ELT.