Programme de la formation
Apache Kafka : Gérer les flux de données temps réel

• Introduction à Apache Kafka et son Écosystème

  - Comprendre les enjeux des données temps réel et Apache Kafka
  - Architecture fondamentale de Kafka : brokers, topics, partitions, offsets
  - Rôle de Confluent Platform et ses composants clés
  - Cas d'usage concrets et exemples d'entreprises utilisant Kafka
  - Installation et configuration de l'environnement de travail

• Concepts Avancés de Kafka : Durabilité et Scalabilité

  - Réplication des partitions et durabilité des messages
  - Leadership et suivi des réplicas : ISR (In-Sync Replicas)
  - Scalabilité horizontale : ajout de brokers et rebalancement
  - Zones de disponibilité et haute disponibilité de Kafka
  - Gestion des logs de messages et politiques de rétention

• Producteurs Kafka : Écrire des Données Performantes

  - Développement d'un producteur Java/Python (ou autre langage)
  - Clés et valeurs des messages : sérialisation (Parquet, Avro, JSON)
  - Modes d'acknowledgement (acks) et garantie de livraison
  - Compression des messages pour optimiser le réseau et le stockage
  - Gestion des erreurs et ré-essais des envois de messages

• Consommateurs Kafka : Lire des Données en Temps Réel

  - Développement d'un consommateur Java/Python (ou autre langage)
  - Groupes de consommateurs et parallélisation du traitement
  - Gestion des offsets et stratégies de commit (auto, manuel)
  - Rebalancing des consommateurs : ajout/suppression de membres du groupe
  - Sémantique de traitement : At-most-once, At-least-once, Exactly-once

• Kafka Connect : Intégration de Données Simplifiée

  - Présentation de Kafka Connect : concepts et architecture
  - Utilisation de connecteurs source pour ingérer des données (JDBC, FTP, S3)
  - Utilisation de connecteurs sink pour exporter des données (Elasticsearch, HDFS)
  - Déploiement et gestion des connecteurs en standalone et distribué
  - Configuration des transformations (Single Message Transforms - SMTs)

• ZooKeeper et Kafka : Cœur de la coordination

  - Rôle de ZooKeeper dans l'écosystème Kafka
  - Stockage des métadonnées de cluster et coordination des brokers
  - Élections de contrôleur et détection de pannes
  - Surveillance de l'état de ZooKeeper et gestion de son quorum
  - Commandes d'administration courantes de ZooKeeper

• Kafka Streams : Traitement de Flux Légers

  - Introduction à Kafka Streams : API et paradigmes
  - Concepts de KStream et KTable pour le traitement d'événements
  - Opérations fondamentales : filtrage, transformation, agrégation
  - Jointures de flux (Streams Joins) et gestion des fenêtres temporelles (Windows)
  - Déploiement et tests d'applications Kafka Streams

• Sécurité de Kafka : Authentification et Autorisation

  - Introduction aux mécanismes de sécurité Kafka
  - Authentification avec SASL (Kerberos, SCRAM) et SSL/TLS
  - Chiffrement du trafic client-broker et broker-broker
  - Autorisation avec ACLs (Access Control Lists)
  - Mise en œuvre des politiques de sécurité et bonnes pratiques

• Administration Avancée des Clusters Kafka

  - Surveillance des métriques de performance avec JMX et Prometheus
  - Utilisation de Kafka Manager/Control Center pour l'administration
  - Gestion des topics : création, modification, suppression
  - Ré-attribution des partitions et gestion des disques
  - Bonnes pratiques pour le dimensionnement et la configuration des brokers

• Optimisation des Performances et Dépannage

  - Tuning des producteurs et consommateurs pour la latence et le débit
  - Gestion de la back-pressure et des consommateurs lents
  - Analyse des logs et identification des problèmes courants
  - Scénarios de dépannage : brokers en panne, partitions offline
  - Outils de diagnostic et de benchmarking pour Kafka

• Déploiement de Kafka en Environnement de Production

  - Stratégies de déploiement multi-datacenter (MirrorMaker)
  - Déploiement de Kafka sur Kubernetes (Strimzi, Operators)
  - Options de déploiement cloud (Confluent Cloud, MSK)
  - Stratégies de sauvegarde et de récupération des données
  - Mise à jour et migration des clusters Kafka

• Cas Pratiques et Bonnes Pratiques avec Kafka

  - Étude de cas réels : architectures Big Data et IoT
  - Conception d'architectures résilientes avec Kafka
  - Anti-patterns et erreurs courantes à éviter
  - Exercices pratiques de création de pipelines de données
  - Questions/réponses et récapitulatif des concepts clés