Formation Développer des applications Big Data avec Apache Spark et Python

01.Introduction au Big Data et Rôle de Spark

• —Définition et enjeux du Big Data
• —Écosystème Big Data : HDFS, YARN, Hive, Kafka
• —Introduction à Apache Spark : historique, avantages, cas d'usage
• —Comparaison Spark vs MapReduce
• —Architecture de Spark : Driver, Executors, Cluster Manager

02.Installation et Configuration de Spark en Local

• —Prérequis : Java, Python, Scala
• —Installation de Spark standalone
• —Configuration des variables d'environnement
• —Lancement de PySpark Shell
• —Premiers pas avec la console interactive

03.Les Bases de PySpark et du SparkContext

• —Présentation de l'API PySpark
• —Comprendre le SparkContext
• —Création de RDD (Resilient Distributed Datasets)
• —Opérations de transformation (map, filter, flatMap)
• —Opérations d'action (collect, count, reduce)

04.Manipulation de RDD Avancée

• —Pair RDDs et opérations spécifiques (groupByKey, reduceByKey)
• —Jointures de RDD (join, cogroup)
• —Persistance des RDD (cache, persist)
• —Stratégies de partitionnement des RDD
• —Optimisation des transformations RDD

05.Introduction aux DataFrames et Spark SQL

• —Les limitations des RDD pour l'analyse structurée
• —Présentation des DataFrames : avantages, schéma
• —Création de DataFrames à partir de différentes sources (CSV, JSON)
• —Introduction à SparkSession
• —Opérations de base sur les DataFrames (select, where, groupBy)

06.Manipulation et Optimisation des DataFrames

• —Fonctions SQL sur les DataFrames (Window Functions, UDFs)
• —Jointures et agrégations complexes avec DataFrames
• —Gestion des valeurs manquantes et nettoyage des données
• —Partionnement de DataFrames pour l'optimisation
• —Cache et persistance des DataFrames

07.Lecture et Écriture de Données avec Spark

• —Connecteurs de données : Parquet, ORC, Avro
• —Lecture/écriture depuis HDFS
• —Intégration avec des bases de données relationnelles (JDBC)
• —Gestion des modes de sauvegarde (append, overwrite, ignore)
• —Gestion des schémas et évolution des données

08.Spark Streaming : Traitement de Données en Temps Réel

09.Introduction à MLlib : Machine Learning avec Spark

• —Rôle de MLlib dans l'écosystème Spark
• —Préparation des données pour le Machine Learning
• —Algorithmes de classification : régression logistique, arbres de décision
• —Algorithmes de clustering : K-means
• —Évaluation des modèles ML

10.Déploiement d'Applications Spark avec YARN

• —Modes de déploiement Spark (client, cluster)
• —Comprendre YARN et son rôle dans Spark
• —Soumettre une application Spark avec `spark-submit`
• —Surveillance et débogage d'applications Spark sur YARN
• —Gestion des ressources et tuning

11.Optimisation des Performances et Debugging

• —Comprendre le Spark UI pour le monitoring
• —Analyse des stages, tasks, et shuffles
• —Stratégies de partitionnement et de sérialisation
• —Gestion de la mémoire et garbage collection
• —Meilleures pratiques pour des applications Spark performantes

12.Cas Pratiques et Bonnes Pratiques de Développement

• —Étude de cas complète : ingestion, transformation, analyse
• —Exemples de déploiement d'applications concrètes
• —Bonnes pratiques pour un code PySpark maintenable
• —Gestion de la configuration et des logs
• —Perspectives: Structured Streaming, Spark on Kubernetes