Formation Formation Big Data: Maîtriser Spark Scala pour le Traitement de Données

01.Introduction au Big Data et à l'écosystème

• —Définition du Big Data : les 5 V (Volume, Vélocité, Variété, Véracité, Valeur)
• —Présentation de l'écosystème Hadoop et ses composants clés
• —Rôle de Spark dans l'architecture Big Data
• —Cas d'usage et défis du traitement de données massives

02.Bases de Scala pour Spark

• —Introduction à la programmation fonctionnelle Scala
• —Types de données, variables, structures de contrôle
• —Collections : Listes, Maps, Sets
• —Fonctions anonymes et objets Scala

03.Fondamentaux d'Apache Spark

• —Architecture Spark : Driver, Executors, Cluster Manager
• —RDD (Resilient Distributed Datasets) : création et opérations de base
• —Transformations et actions sur les RDD
• —Persistance et caching des RDD

04.Traitement de données avec Spark SQL

• —Introduction aux DataFrames et Datasets
• —Création de DataFrames à partir de différentes sources (CSV, JSON, Parquet)
• —Opérations de sélection, filtrage, jointure sur DataFrames
• —Fonctions d'agrégation et groupements

05.Gestion des données structurées et semi-structurées

06.Transformations avancées et UDFs

• —Fonctions de fenêtre et analytiques
• —Pivots, Dépivots et cross-tabulations
• —Création de User Defined Functions (UDF) en Scala
• —Application de UDFs sur DataFrames

07.Intégration de Spark avec des sources externes

• —Connexion à des bases de données SQL (JDBC/ODBC)
• —Intégration avec des bases NoSQL (MongoDB, Cassandra via connecteurs)
• —Lecture et écriture de données depuis/vers HDFS et S3
• —Gestion des erreurs et des connexions

08.Traitement de flux de données avec Spark Streaming

• —Introduction aux concepts du streaming Big Data
• —DStreams (Discretized Streams) : opérations et transformations
• —Sources de données pour Spark Streaming (Kafka, Flume)
• —Gestion des états et tolérance aux pannes

09.Introduction à Spark MLlib (Machine Learning)

10.Déploiement et exécution d'applications Spark

• —Modes de déploiement Spark : Local, YARN, Mesos, Kubernetes
• —Soumission d'applications Spark : spark-submit
• —Configuration des ressources (mémoire, CPU)
• —Optimisation des performances des jobs Spark

11.Surveillance et débogage d'applications Spark

• —Utilisation de l'interface utilisateur web Spark (Spark UI)
• —Analyse des logs et des métriques
• —Stratégies de débogage et résolution de problèmes
• —Bonnes pratiques de codage pour la performance

12.Projet de synthèse et cas d'usage avancés

• —Conception et développement d'un projet complet Big Data
• —Récapitulatif des bonnes pratiques de développement Spark Scala
• —Présentation de cas d'usage réels et retours d'expérience
• —Questions-réponses et perspectives d'évolution