Formation Formation Big Data Kafka: Ingestion et Traitement de Données en Streaming

01.Introduction au Big Data et aux Systèmes Distribués

• —Définition et enjeux du Big Data
• —Concepts fondamentaux des architectures distribuées
• —Rôle de l'ingestion de données en temps réel
• —Présentation générale de Apache Kafka et son écosystème

02.Fondamentaux de Kafka : Concepts et Architecture

• —Producteurs, consommateurs, brokers, topics, partitions et offsets
• —Log de validation distribué (WAL)
• —Haute disponibilité et tolérance aux pannes
• —ZooKeeper/Kraft et gestion des métadonnées

03.Installation et Configuration de Kafka

• —Prérequis et environnement de développement
• —Installation de Kafka en mode standalone et distribué
• —Configuration des brokers et démarrage
• —Outils d'administration de base (CLI)

04.Production de Données avec Kafka Producers

• —API Java Producer : envoi de messages
• —Configuration des producteurs : ack, batching, compression
• —Sérialisation et désérialisation des données (StringSerializer, ByteArraySerializer)
• —Gestion des erreurs et des envois asynchrones

05.Consommation de Données avec Kafka Consumers

06.Administration Avancée des Topics et Partitions

• —Création, modification et suppression de topics
• —Gestion des partitions et facteurs de réplication
• —Surveillance des topics : décalage des consommateurs
• —Best practices pour la conception des topics

07.Sérialisation Avancée : Avro et Protobuf

08.Kafka Streams : Traitement de Flux en Temps Réel

• —Introduction à Kafka Streams API
• —Concepts de KStream et KTable
• —Transformations de base : map, filter, join
• —Fenêtrage (windowing) et agrégation

09.Intégration de Kafka Connect

• —Rôle de Kafka Connect pour l'intégration de données
• —Connecteurs Source et Sink : concepts et exemples
• —Installation et configuration de Kafka Connect
• —Développement de connecteurs simples (introduction)

10.Sécurité et Performance de Kafka

• —Authentification (SSL/TLS, SASL)
• —Autorisation (ACLs)
• —Chiffrement des communications
• —Optimisation des performances : réglages des buffers, compression

11.Monitoring et Résolution de Problèmes Kafka

• —Indicateurs clés de performance (KPI)
• —Outils de monitoring (Prometheus, Grafana, JMX Exporter)
• —Dépannage courant : problèmes de connexion, de lagging
• —Stratégies de logging et d'audit

12.Bonnes Pratiques Kafka et Architectures Distribuées

• —Modèles de conception courants avec Kafka (Event Sourcing, CQRS)
• —Scalabilité et résilience des architectures Kafka
• —Intégration avec d'autres technologies Big Data (Spark, Flink)
• —Cas d'usage réels et retours d'expérience
• —--