Formation Bootcamp Data Engineer: Maîtriser l'Ingénierie des Données pour l'Entreprise

01.Introduction au Data Engineering & Écosystème Big Data

• —Rôle du Data Engineer et enjeux actuels
• —Panorama des architectures Big Data (Data Lake, Data Warehouse)
• —Introduction aux concepts d'ETL/ELT
• —Présentation des outils open source et cloud

02.Fondamentaux des Bases de Données pour la Data

• —Rappels SQL avancés (jointures complexes, agrégations, fenêtrage)
• —Modélisation de données (relationnel, dimensionnel)
• —Introduction aux bases NoSQL (types, cas d'usage)
• —Optimisation des requêtes et indexation

03.Programmation Python pour la Donnée

04.Traitement Distribué avec Apache Spark - Fondamentaux

• —Architecture de Spark (RDD, DataFrame, Dataset)
• —API Spark SQL pour la manipulation de données
• —Transformations et actions Spark
• —Introduction à PySpark

05.Traitement Distribué avec Apache Spark - Avancé

• —Optimisation des performances Spark
• —Gestion des shuffles et des partitions
• —Traitement de données structurées et non structurées
• —Cas d'usage de Spark en Data Engineering

06.Ingérer et Transformer les Données: Concepts ETL/ELT

• —Cycle de vie d'un pipeline de données
• —Techniques d'ingestion de données (batch, streaming)
• —Transformation de données (nettoyage, enrichissement, agrégation)
• —Qualité des données et gestion des erreurs

07.Orchestration de Pipelines avec Apache Airflow

• —Concepts d'Airflow (DAGs, Opérateurs, Capteurs)
• —Création de DAGs complexes et gestion des dépendances
• —Planification et surveillance des workflows
• —Bonnes pratiques d'utilisation d'Airflow

08.Intégration Continue et Déploiement Continu (CI/CD)

• —Principes du CI/CD en Data Engineering
• —Utilisation de Git pour le contrôle de version
• —Tests unitaires et d'intégration pour les pipelines
• —Automatisation des déploiements

09.Introduction aux Services Cloud pour la Donnée (AWS/GCP/Azure)

• —Présentation des offres Data des principaux fournisseurs cloud
• —Stockage d'objets (S3, GCS, Blob Storage)
• —Services de calcul (EC2, GCE, VM)
• —Bases de données managées (RDS, Cloud SQL, Azure SQL DB)

10.Stockage et Requête de Données dans le Cloud

• —Data Warehouses cloud (Redshift, BigQuery, Snowflake)
• —Lakes de données cloud (Data Lake Storage)
• —Services de traitement sans serveur (Lambda, Cloud Functions)
• —Bonnes pratiques de coût et de performance cloud

11.Streaming de Données avec Apache Kafka (Concepts)

• —Principes de Kafka (Producteurs, Consommateurs, Brokers)
• —Cas d'usage du streaming en Data Engineering
• —Intégration de Kafka dans des architectures de données
• —Surveillance des flux de données

12.Tendances, Sécurité et Projets Data Engineering

• —Sécurité et confidentialité des données (RGPD)
• —Gouvernance des données et catalogue de données
• —Tendances émergentes (Data Mesh, MLOps, DataOps)
• —Discussion de cas d'études réels et perspectives de carrière
• —--