Formation Maîtriser Spark Avancé : Optimisation et Performances Big Data

Programme de la formation
Maîtriser Spark Avancé : Optimisation et Performances Big Data

• Rappels Spark Core et Architecture Distribuée

  - Architecture distribuée Spark : Driver, Executors, Cluster Managers
  - Rappels fondamentaux sur les RDD (Resilient Distributed Datasets)
  - Fonctionnement du Job, Stage, Task
  - Persistance et Caching (MEMORY_ONLY, DISK_ONLY)
  - Concepts de DAG (Directed Acyclic Graph) Scheduling

• Deep Dive sur les DataFrames et Colonnes

  - Comprendre les DataFrames : StructType, Column
  - Création de DataFrames depuis diverses sources (CSV, JSON, Parquet)
  - Opérations de sélection, renommage et réordonnancement de colonnes
  - Fonctions d'agrégation et groupements avancés
  - Jointures (inner, outer, left, right) et leur optimisation

• Introduction aux Datasets et Typage Fort

  - Le concept de Dataset : Avantages du typage fort sur DataFrame
  - Création de Datasets à partir de RDD et de DataFrames
  - Encoder implicites et explicites (RowEncoder, ProductEncoder)
  - Opérations de transformation et d'action sur les Datasets
  - Comparaison DataFrame vs Dataset : Quand utiliser quoi ?

• Optimisation des Performances Spark SQL

  - Catalyseur Optimizer : Fonctions Rule-Based et Cost-Based
  - Exécution de requêtes SQL : Plan physique et logique
  - Broadcast Joins et Shuffle Joins : Définition, cas d'usage
  - Stratégies de partitionnement et de co-localisation des données
  - Utilisation des Vues et des Tables temporaires

• Gestion des Données Temporelles et Fenêtrées

  - Manipulation des dates et heures avec Spark SQL
  - Fonctions de fenêtrage (Window Functions) : Agrégation, Ranking
  - Over clause et partitionnement de fenêtre
  - Analyse de séries temporelles : Gaps, Lags, Leads
  - Techniques avancées pour les données événementielles

• Techniques Avancées de Shuffle et Skewness

  - Deep dive sur le Shuffle : Phases, impact performance
  - Identification et gestion du Skew (déséquilibre de données)
  - Salting des clés : Stratégies pour réduire le skew
  - Cache et Persistance avancée pour réduire le shuffle
  - Monitoring du Shuffle via Spark UI

• Connecteurs et Ecosystèmes Distribués

  - Connecteurs Big Data : HDFS, S3, ADLS
  - Intégration avec Apache Kafka (Spark Streaming, Structured Streaming)
  - Connexion aux bases de données relationnelles (JDBC)
  - Utilisation de Delta Lake : ACID transactions sur Data Lake
  - Interopérabilité avec Parquet, ORC, Avro

• Spark Streaming et Structured Streaming

  - Rappels DStreams : Modèle par micro-batch
  - Introduction à Structured Streaming : Modèle de requêtes continues
  - Sources de données (files, Kafka, socket) et Sinks (console, HDFS)
  - Traitement d'événements : watermark, agrégations temporelles
  - Tolérance aux fautes et modes de déploiement

• Débogage et Monitoring de Jobs Spark

  - Utilisation avancée de l'interface utilisateur Spark UI
  - Comprendre les onglets : Jobs, Stages, Tasks, Storage, Environment, Executors
  - Analyse des logs et gestion des erreurs
  - Profiling des performances et identification des goulots d'étranglement
  - Outils de monitoring externes (Grafana, Prometheus)

• Développement et Déploiement d'Applications Spark

  - Développement d'applications Spark en Scala et Python (PySpark)
  - Packaging des JARs Spark et des dépendances (sbt, Maven, poetry)
  - Modes de déploiement : Client, Cluster (YARN, Mesos, Kubernetes)
  - Soumission de jobs Spark (spark-submit)
  - Gestion des configurations et des propriétés d'exécution

• Bonnes Pratiques de Code et Design Pattterns

  - Conception d'architectures de données robustes avec Spark
  - Stratégies de repartitionnement et de ré-partitionnement
  - Gestion de la mémoire et Garbage Collection (GC)
  - Techniques d'optimisation pour de grands datasets (skew, OOM)
  - Test unitaire et fonctionnel de code Spark

• Cas Pratiques et Optimisation Avancée

  - Analyse et optimisation d'un pipeline de données complexe
  - Utilisation d'Adaptive Query Execution (AQE)
  - Implémentation de jointures avancées (Bucketing, Co-Grouping)
  - Techniques de gestion des données semi-structurées
  - Résolution de problèmes réels de performance Spark