Formation Maîtriser Big Data, Spark et Databricks pour l'analyse de données

Programme de la formation
Maîtriser Big Data, Spark et Databricks pour l'analyse de données

• Introduction au Big Data & Écosystème Spark

  - Définition et défis du Big Data
  - Présentation de l'écosystème Apache Hadoop et Spark
  - Avantages de Spark par rapport à d'autres technologies
  - Installation et configuration de l'environnement Databricks
  - Premiers pas avec les notebooks Databricks

• Fondamentaux de Spark Core & RDD

  - Architecture de Spark : Driver, Executor, Cluster Manager
  - Résilience des RDD (Resilient Distributed Datasets)
  - Opérations de transformation et d'action sur les RDD
  - Implémentation de RDD en Python (PySpark)
  - Cas pratiques d'utilisation des RDD

• Introduction aux DataFrames Databricks

  - Passage des RDD aux DataFrames et Datasets
  - Création de DataFrames à partir de différentes sources (CSV, JSON, Parquet)
  - Manipulation de DataFrames : sélection, filtrage, agrégation
  - Fonctions intégrées pour DataFrames
  - Optimisation des requêtes via l'interface Spark UI

• Nettoyage et Préparation des Données avec Spark
• Spark SQL & Connector pour Bases de Données

  - Exécution de requêtes SQL directement sur Spark DataFrames
  - Intégration de Sparks SQL dans les applications PySpark
  - Connexion à des bases de données relationnelles (JDBC/ODBC)
  - Lecture et écriture de données vers/depuis des bases de données
  - Optimisation des performances des requêtes SQL distribuées

• Apache Spark Streaming pour Données en Temps Réel

  - Principes de base du traitement de flux avec Spark Streaming
  - Configuration de sources de données de flux (Kafka, fichiers)
  - Opérations sur DStreams (Discretized Streams)
  - Fenêtrage (Windowing) et Agrégations en temps réel
  - Gestion des erreurs et tolérance de panne en streaming

• Apache Spark Structured Streaming

  - Présentation de Structured Streaming : nouveau paradigme
  - Unified API pour les données batch et streaming
  - Sources et sinks supportés par Structured Streaming
  - Agrégations et jointures sur des flux de données
  - Déploiement et monitoring d'applications Structured Streaming

• Stockage Distribué et Formats Optimisés

  - Gestion des stockages distribués (DBFS, S3, Azure Blob, GCS)
  - Formats de fichiers optimisés pour Spark : Parquet, ORC, Delta Lake
  - Avantages de Delta Lake : ACID, versioning, transactions
  - Implémentation des tables Delta Lake dans Databricks
  - Optimisation du stockage pour la performance des requêtes

• Pipelines ETL avec Databricks & PySpark

  - Conception d'architectures de pipelines ETL Big Data
  - Mise en œuvre d'étapes d'extraction, transformation, chargement
  - Utilisation de Databricks Jobs pour l'orchestration des pipelines
  - Planification et automatisation des tâches
  - Monitoring et débogage des pipelines ETL

• Introduction au Machine Learning distribué avec MLlib
• Déploiement & Optimisation des Applications Spark

  - Stratégies de soumission et de déploiement d'applications Spark
  - Techniques d'optimisation des performances (Caching, Broadcast Variables)
  - Gestion de la mémoire et de l'ordonnancement des tâches
  - Utilisation des outils de monitoring (Spark UI, Databricks UI)
  - Dépannage et résolution des problèmes courants

• Projet Pratique : Création d'un Workflow Big Data

  - Conception d'un projet Big Data de bout en bout
  - Implémentation d'un pipeline d'ingestion et de traitement
  - Apprentissage automatique ou analyse avancée sur les données
  - Production de résultats et de visualisations
  - Présentation et révision du projet final