Formation Formation Big Data Kafka: Ingestion et Traitement de Données en Streaming

Programme de la formation
Formation Big Data Kafka: Ingestion et Traitement de Données en Streaming

• Introduction au Big Data et aux Systèmes Distribués

  - Définition et enjeux du Big Data
  - Concepts fondamentaux des architectures distribuées
  - Rôle de l'ingestion de données en temps réel
  - Présentation générale de Apache Kafka et son écosystème

• Fondamentaux de Kafka : Concepts et Architecture

  - Producteurs, consommateurs, brokers, topics, partitions et offsets
  - Log de validation distribué (WAL)
  - Haute disponibilité et tolérance aux pannes
  - ZooKeeper/Kraft et gestion des métadonnées

• Installation et Configuration de Kafka

  - Prérequis et environnement de développement
  - Installation de Kafka en mode standalone et distribué
  - Configuration des brokers et démarrage
  - Outils d'administration de base (CLI)

• Production de Données avec Kafka Producers

  - API Java Producer : envoi de messages
  - Configuration des producteurs : ack, batching, compression
  - Sérialisation et désérialisation des données (StringSerializer, ByteArraySerializer)
  - Gestion des erreurs et des envois asynchrones

• Consommation de Données avec Kafka Consumers
• Administration Avancée des Topics et Partitions

  - Création, modification et suppression de topics
  - Gestion des partitions et facteurs de réplication
  - Surveillance des topics : décalage des consommateurs
  - Best practices pour la conception des topics

• Sérialisation Avancée : Avro et Protobuf
• Kafka Streams : Traitement de Flux en Temps Réel

  - Introduction à Kafka Streams API
  - Concepts de KStream et KTable
  - Transformations de base : map, filter, join
  - Fenêtrage (windowing) et agrégation

• Intégration de Kafka Connect

  - Rôle de Kafka Connect pour l'intégration de données
  - Connecteurs Source et Sink : concepts et exemples
  - Installation et configuration de Kafka Connect
  - Développement de connecteurs simples (introduction)

• Sécurité et Performance de Kafka

  - Authentification (SSL/TLS, SASL)
  - Autorisation (ACLs)
  - Chiffrement des communications
  - Optimisation des performances : réglages des buffers, compression

• Monitoring et Résolution de Problèmes Kafka

  - Indicateurs clés de performance (KPI)
  - Outils de monitoring (Prometheus, Grafana, JMX Exporter)
  - Dépannage courant : problèmes de connexion, de lagging
  - Stratégies de logging et d'audit

• Bonnes Pratiques Kafka et Architectures Distribuées

  - Modèles de conception courants avec Kafka (Event Sourcing, CQRS)
  - Scalabilité et résilience des architectures Kafka
  - Intégration avec d'autres technologies Big Data (Spark, Flink)
  - Cas d'usage réels et retours d'expérience
  ---