Formation Formation Big Data: Maîtriser Kafka, Cassandra et Spark pour Data Engineering

01.Introduction au Big Data et Écosystème

• —Définition et enjeux du Big Data
• —Les 5 V : Volume, Vélocité, Variété, Véracité, Valeur
• —Présentation de l'écosystème Big Data (Hadoop, NoSQL, Streaming)
• —Rôles et responsabilités du Data Engineer

02.Fondamentaux des Systèmes Distribués

• —Principes de l'architecture distribuée
• —Cohérence, disponibilité, tolérance aux partitions (CAP theorem)
• —Stockage distribué et systèmes de fichiers (HDFS, S3)
• —Introduction aux bases de données NoSQL

03.Apache Kafka : Architecture et Concepts Clés

• —Historique et cas d'usage de Kafka
• —Architecture : Brokers, Producers, Consumers, Topics, Partitions, Offsets
• —Installation et configuration de Kafka (standalone)
• —Premiers pas avec la ligne de commande Kafka

04.Développement avec Kafka : Production et Consommation

• —API Java Producer pour l'envoi de messages
• —API Java Consumer pour la lecture de messages
• —Gestions des groupes de consommateurs et offsets
• —Sérialisation et désérialisation des données

05.Apache Cassandra : Fondamentaux et Modélisation

• —Introduction à Cassandra : NoSQL de type Column-Family
• —Architecture distribuée master-less, réplication
• —Installation de Cassandra et CQLSH
• —Modélisation de données pour Cassandra : tables, clés primaires

06.Cassandra : Opérations CRUD et Requêtes Avancées

• —Création et manipulation de KeySpaces et Tables
• —Opérations CRUD (Create, Read, Update, Delete) avec CQL
• —Index secondaires et vues matérialisées
• —Gestion des erreurs et bonnes pratiques avec Cassandra

07.Introduction à Apache Spark

• —Spark face à Hadoop MapReduce
• —Architecture Spark : Driver, Executors, Cluster Manager
• —RDDs (Resilient Distributed Datasets) : concepts et opérations de base
• —Transformations et actions Spark

08.Spark SQL et DataFrames

• —Introduction aux DataFrames et Datasets
• —Opérations de manipulation de données avec DataFrames
• —Lecture et écriture de données (Parquet, ORC, CSV, JSON)
• —Spark SQL pour l'analyse ad-hoc

09.Spark Streaming : Traitement de Données en Temps Réel

10.Intégration Kafka, Cassandra et Spark

• —Conception d'une architecture de pipeline de données
• —Ingestion de données de Kafka vers Cassandra via Spark Streaming
• —Lecture de données de Cassandra pour analyse avec Spark
• —Optimisation des flux de données intégrés

11.Optimisation et Monitoring des Flux Big Data

• —Optimisation des performances Spark : cache, broadcast, shuffle
• —Monitoring des applications Spark (Spark UI)
• —Stratégies de tolérance aux pannes et haute disponibilité
• —Considérations de sécurité dans les architectures Big Data

12.Cas Pratiques et Bonnes Pratiques Data Engineering

• —Étude de cas réels d'architectures Big Data
• —Bonnes pratiques de développement et déploiement
• —Outils d'orchestration (Airflow, Oozie - introduction)
• —Veille technologique et perspectives d'évolution