Formation Développer des applications Big Data avec Apache Spark et Python

Programme de la formation
Développer des applications Big Data avec Apache Spark et Python

• Introduction au Big Data et à l'écosystème Spark

  - Définition et enjeux du Big Data
  - Panorama des outils Big Data : Hadoop, Spark, NoSQL
  - Architecture et composants majeurs de Spark
  - Cas pratiques d'utilisation de Spark dans l'industrie

• Préparation de l'environnement de développement Spark Python

  - Installation de Python et PySpark
  - Configuration d'un environnement de développement local (Jupyter, VS Code)
  - Accès aux données HDFS et S3
  - Premiers scripts PySpark et vérification de l'installation

• Fondamentaux de PySpark : RDD

  - Introduction aux Resilient Distributed Datasets (RDD)
  - Opérations de transformation des RDD (map, filter, flatMap)
  - Opérations d'action des RDD (collect, count, reduce)
  - Persistance et caching des RDD pour l'optimisation

• Traitement de données structurées avec Spark SQL et DataFrames

  - Introduction aux DataFrames et Datasets
  - Création de DataFrames à partir de différentes sources (CSV, JSON, Parquet)
  - Manipulation de DataFrames avec des opérations SQL
  - Utilisation de la SparkSession et du Catalog

• Opérations avancées sur les DataFrames
• Optimisation des performances des applications Spark

  - Compréhension du Spark UI et des logs
  - Tuning des configurations Spark (mémoire, cœurs)
  - Stratégies de partitionnement et de co-location
  - Choix du format de fichier optimal (Parquet, ORC)

• Intégration de Spark avec des bases de données externes

  - Connecteurs Spark pour les bases de données relationnelles (JDBC)
  - Interaction avec des bases de données NoSQL (Cassandra, MongoDB)
  - Lecture et écriture de données depuis des systèmes externes
  - Best practices pour l'intégration de données

• Introduction au streaming avec Spark Streaming / Structured Streaming

  - Concepts fondamentaux du traitement de flux de données
  - Spark Streaming vs Structured Streaming : cas d'usage
  - Lecture de flux de données (Kafka, fichiers)
  - Transformations et écritures de flux

• Analyse de données Big Data avec Spark et Python

  - Explication des modèles d'analyse couramment utilisés
  - Exploration de données volumineuses (visualisation basique)
  - Préparation de données pour l'analyse prédictive
  - Cas d'usage d'analyse descriptive et diagnostique

• Concepts avancés de Spark (Broadcast, Accumulators)
• Déploiement et orchestration d'applications Spark

  - Modes de soumission des jobs Spark (spark-submit)
  - Déploiement sur YARN, Mesos ou Kubernetes
  - Planification de jobs avec Oozie ou Airflow
  - Monitoring et maintenance des applications Spark

• Bonnes pratiques et cas d'usage avancés de Spark Python

  - Conception d'applications Spark robustes et scalables
  - Sécurité dans les environnements Spark
  - Évolutions récentes de Spark et Python
  - Étude de cas concrets et sessions de questions/réponses