Formation Intégration de Données Cloud : Maîtriser Data Fusion pour Vos Projets

Programme de la formation
Intégration de Données Cloud : Maîtriser Data Fusion pour Vos Projets

• Introduction à Data Fusion et à l'intégration de données

  - Comprendre les enjeux de l'intégration de données modernes
  - Présentation de Google Cloud Data Fusion : objectif et cas d'usage
  - Comparaison avec d'autres outils ETL/ELT du marché
  - Architecture de base de Data Fusion et ses composants clés
  - Configuration de l'environnement GCP pour Data Fusion

• Premiers pas : interface et concepts fondamentaux

  - Navigation dans l'interface utilisateur de Cloud Data Fusion Studio
  - Comprendre les concepts de sources, transformations et sinks
  - Découverte des types de pipelines : Batch et Streaming
  - Création d'un premier pipeline simple Hello World
  - Exécution et monitoring d'un pipeline basique

• Connecteurs de données et sources hétérogènes

  - Utilisation des connecteurs natifs de Data Fusion
  - Intégration de bases de données relationnelles (PostgreSQL, MySQL)
  - Connexion à des sources de données NoSQL (MongoDB, Cassandra)
  - Traitement de fichiers plats (CSV, JSON, XML) depuis Cloud Storage
  - Concepts avancés de sources : schémas et aperçu des données

• Transformations de données de base

  - Nettoyage et normalisation des données (Data Cleansing)
  - Filtrage et sélection de colonnes
  - Agrégation de données (SUM, AVG, COUNT, GROUP BY)
  - Jointures de tables et fusion de datasets
  - Renommage et réordonnancement de champs

• Transformations avancées et préparation de données

  - Utilisation du Wrangler pour la préparation interactive des données
  - Application de fonctions de parsing et d'extraction complexes
  - Enrichissement de données avec des lookups
  - Gestion des valeurs manquantes et des doublons
  - Opérations sur les dates et chaînes de caractères

• Création de pipelines ETL batch robustes

  - Conception de pipelines batch pour l'extraction de données volumineuses
  - Mise en œuvre de l'architecture ETL (Extract, Transform, Load)
  - Configuration des sinks : écriture dans BigQuery
  - Gestion des erreurs et des échecs dans les pipelines batch
  - Bonnes pratiques de performance pour les pipelines batch

• Pipelines ELT et architecture de données modernes

  - Comprendre le paradigme ELT (Extract, Load, Transform)
  - Scénarios d'utilisation de l'ELT avec Data Fusion
  - Intégration avec BigQuery pour la transformation in-database
  - Utilisation des actions DDL/DML post-pipeline
  - Conception de pipelines optimisés pour la scalabilité

• Data Lineage et Metadata Management

  - Comprendre l'importance de la lignée des données
  - Visualisation du Data Lineage dans Data Fusion
  - Suivi des transformations et de l'origine des données
  - Intégration avec Data Catalog pour la gestion des métadonnées
  - Surveillance de la qualité et de la traçabilité des données

• Monitoring, Planification et Opérations

  - Surveillance des exécutions de pipelines : logs et métriques
  - Dépannage et résolution des problèmes courants
  - Planification des pipelines avec Cloud Scheduler
  - Utilisation des API Data Fusion pour l'automatisation
  - Notions de gestion de version des pipelines

• Intégration avancée et personnalisation

  - Utilisation de transformations Python/Scala personnalisées
  - Création de plugins Data Fusion pour des besoins spécifiques
  - Intégration avec des services GCP externes (Cloud Functions, Pub/Sub)
  - Scénarios avancés : appels d'API externes
  - Gestion des secrets et des informations sensibles

• Pipelines de streaming et traitement en temps réel

  - Introduction au traitement de données en temps réel
  - Création de pipelines de streaming avec Data Fusion
  - Connexion à des sources de streaming (Pub/Sub, Kafka)
  - Transformations en flux continu et gestion des fenêtres
  - Écriture dans des sinks de streaming (BigQuery, Cloud Storage)

• Sécurité, Performance et Bonnes pratiques

  - Sécurisation de Data Fusion : IAM, VPC, encryption
  - Optimisation des performances des pipelines
  - Scalabilité des architectures d'intégration avec Data Fusion
  - Bonnes pratiques de développement et de déploiement
  - Cas d'usage avancés et perspectives d'évolution