Formation Maîtriser Big Data, Spark et Databricks pour l'analyse de données

01.Introduction au Big Data & Écosystème Spark

• —Définition et défis du Big Data
• —Présentation de l'écosystème Apache Hadoop et Spark
• —Avantages de Spark par rapport à d'autres technologies
• —Installation et configuration de l'environnement Databricks
• —Premiers pas avec les notebooks Databricks

02.Fondamentaux de Spark Core & RDD

• —Architecture de Spark : Driver, Executor, Cluster Manager
• —Résilience des RDD (Resilient Distributed Datasets)
• —Opérations de transformation et d'action sur les RDD
• —Implémentation de RDD en Python (PySpark)
• —Cas pratiques d'utilisation des RDD

03.Introduction aux DataFrames Databricks

• —Passage des RDD aux DataFrames et Datasets
• —Création de DataFrames à partir de différentes sources (CSV, JSON, Parquet)
• —Manipulation de DataFrames : sélection, filtrage, agrégation
• —Fonctions intégrées pour DataFrames
• —Optimisation des requêtes via l'interface Spark UI

04.Nettoyage et Préparation des Données avec Spark

05.Spark SQL & Connector pour Bases de Données

• —Exécution de requêtes SQL directement sur Spark DataFrames
• —Intégration de Sparks SQL dans les applications PySpark
• —Connexion à des bases de données relationnelles (JDBC/ODBC)
• —Lecture et écriture de données vers/depuis des bases de données
• —Optimisation des performances des requêtes SQL distribuées

06.Apache Spark Streaming pour Données en Temps Réel

• —Principes de base du traitement de flux avec Spark Streaming
• —Configuration de sources de données de flux (Kafka, fichiers)
• —Opérations sur DStreams (Discretized Streams)
• —Fenêtrage (Windowing) et Agrégations en temps réel
• —Gestion des erreurs et tolérance de panne en streaming

07.Apache Spark Structured Streaming

• —Présentation de Structured Streaming : nouveau paradigme
• —Unified API pour les données batch et streaming
• —Sources et sinks supportés par Structured Streaming
• —Agrégations et jointures sur des flux de données
• —Déploiement et monitoring d'applications Structured Streaming

08.Stockage Distribué et Formats Optimisés

• —Gestion des stockages distribués (DBFS, S3, Azure Blob, GCS)
• —Formats de fichiers optimisés pour Spark : Parquet, ORC, Delta Lake
• —Avantages de Delta Lake : ACID, versioning, transactions
• —Implémentation des tables Delta Lake dans Databricks
• —Optimisation du stockage pour la performance des requêtes

09.Pipelines ETL avec Databricks & PySpark

• —Conception d'architectures de pipelines ETL Big Data
• —Mise en œuvre d'étapes d'extraction, transformation, chargement
• —Utilisation de Databricks Jobs pour l'orchestration des pipelines
• —Planification et automatisation des tâches
• —Monitoring et débogage des pipelines ETL

10.Introduction au Machine Learning distribué avec MLlib

11.Déploiement & Optimisation des Applications Spark

• —Stratégies de soumission et de déploiement d'applications Spark
• —Techniques d'optimisation des performances (Caching, Broadcast Variables)
• —Gestion de la mémoire et de l'ordonnancement des tâches
• —Utilisation des outils de monitoring (Spark UI, Databricks UI)
• —Dépannage et résolution des problèmes courants

12.Projet Pratique : Création d'un Workflow Big Data

• —Conception d'un projet Big Data de bout en bout
• —Implémentation d'un pipeline d'ingestion et de traitement
• —Apprentissage automatique ou analyse avancée sur les données
• —Production de résultats et de visualisations
• —Présentation et révision du projet final