Formation Exploiter le Big Data en temps réel avec Spark et Storm

Programme de la formation
Exploiter le Big Data en temps réel avec Spark et Storm

• Introduction au Big Data et au Traitement en Temps Réel

  - Définition et enjeux du Big Data
  - Concepts du traitement en temps réel (streaming vs batch)
  - Cas d'usage et défis du traitement temps réel
  - Présentation générale de Spark et Storm
  - Architecture typique d'un pipeline de données temps réel

• Fondamentaux d'Apache Spark pour le Streaming

  - Rappels Spark Core et RDDs
  - Introduction à Spark Streaming
  - DStreams : concepts et opérations de base
  - Sources de données pour Spark Streaming (Kafka, Flume)
  - Premiers traitements simples avec Spark Streaming

• Concepts Avancés de Spark Streaming
• Introduction et Architecture d'Apache Storm

  - Philosophie de Storm : Topologies, Spouts, Bolts
  - Installation et configuration de Storm
  - Création de la première Topologie Storm
  - Déploiement et exécution de Topologies
  - Moniteur et gestion des Topologies

• Programmation de Topologies Storm
• Intégration de Sources de Données en Streaming
• Architectures de Traitement Flot et Micro-Batch

  - Mise en perspective Spark (micro-batch) vs Storm (flot continu)
  - Avantages et inconvénients de chaque approche
  - Stratégies d'optimisation pour les deux architectures
  - Coexistence et complémentarité Spark-Storm
  - Choix de la technologie adaptée au cas d'usage

• Traitements Spécifiques avec Spark et Storm

  - Filtrage et agrégation de données en temps réel
  - Détection d'anomalies simples via règles
  - Calculs de métriques agrégées continues
  - Application de fonctions métier complexes
  - Transformation de schémas de données à la volée

• Persistance et Visualisation des Résultats en Temps Réel

  - Stockage des résultats dans NoSQL (Cassandra, MongoDB)
  - Indexation avec Elasticsearch en temps réel
  - Intégration avec des outils de visualisation (Grafana, Kibana)
  - Streaming vers des bases de données relationnelles
  - Surveillance des pipelines de données

• Optimisation des Performances de Spark et Storm
• Sécurité et Fiabilité des Pipelines Temps Réel

  - Prise en compte de la sécurité (authentification, autorisation)
  - Gestion des pannes et récupération
  - Tolérance aux fautes et réplication
  - Garanties de livraison (At-least-once, Exactly-once)
  - Tests unitaires et d'intégration des topologies

• Déploiement Pratique et Bonnes Pratiques

  - Bonnes pratiques de développement et de déploiement
  - Déploiement sur des clusters Big Data (YARN, Mesos)
  - Automatisation des déploiements (CI/CD)
  - Mise à l'échelle horizontale des solutions
  - Étude de cas réels et retours d'expérience
  ---