Formation Développer des applications Big Data avec Apache Flink

01.Introduction au Big Data et à Apache Flink

• —Comprendre les défis du Big Data (volume, vélocité, variété)
• —Situer Flink dans l'écosystème Big Data (vs Spark, Storm)
• —Cas d'usage de Flink (streaming, batch processing, ETL)
• —Architecture de Flink (JobManager, TaskManager, Client)
• —Installation et configuration de l'environnement de développement

02.Fondamentaux du Streaming avec Flink

• —Concepts du traitement de flux (événements, flux infinis)
• —Sources et Sinks de données (Kafka, fichiers, sockets)
• —Transformations de base (map, filter, flatMap)
• —Opérations sur les flux (union, connect)
• —Exercices pratiques sur des flux simples

03.Gestion de l'état et Tolérance de Pannes

• —Importance de l'état dans le traitement de flux
• —Types d'état (Managed State, Raw State)
• —Opérateurs statful (keyed state, operator state)
• —Checkpointing et Savepoints pour la tolérance de pannes
• —Stratégies de récupération après erreur

04.Fenêtrage (Windowing) dans Flink

• —Pourquoi le fenêtrage ? (agrégations temporelles)
• —Types de fenêtres (Tumbling, Sliding, Session)
• —Fonctions de fenêtrage (count, sum, avg, custom)
• —Assignation d'événements aux fenêtres
• —Watermarks pour la gestion du temps

05.Traitement d'événements retardataires et ordonnancement

• —Problème des événements out-of-order
• —Stratégies de gestion des événements en retard (allowed lateness)
• —Side outputs pour les événements descartés
• —Concepts de temps (Event Time, Ingestion Time, Processing Time)
• —Optimisation des watermarks

06.Les API de Flink : DataStream API

• —Présentation de la DataStream API
• —Construction de graphes d'opérateurs
• —Utilisation des transformations avancées
• —Fonctions d'agrégation et de jointure
• —Sérialisation et type information

07.Les API de Flink : Table API & SQL

08.Intégration de Flink avec Kafka et autres sources

• —Connexion Flink à Apache Kafka pour ingestion/export
• —Gestion des offsets Kafka
• —Sources et Sinks personnalisées
• —Intégration avec d'autres systèmes (HDFS, Connecteurs JDBC)
• —Meilleures pratiques d'intégration

09.Déploiement et Opération de Flink

• —Modes de déploiement (Standalone, YARN, Kubernetes)
• —Configuration des clusters Flink
• —Monitoring des jobs Flink via l'interface web
• —Métriques et logs (Prometheus, Grafana)
• —Scaling up et scaling out des applications

10.Performances et Optimisation des applications Flink

• —Stratégies d'optimisation (mémoire, CPU, réseau)
• —Optimisation du parallélisme et de la répartition de charge
• —Tuning des checkpoints et savepoints
• —Troubleshooting des problèmes de performance
• —Meilleures pratiques de codage pour Flink

11.Pattern de conception pour applications Flink

• —Modèles de traitement (ETL en streaming, détection d'anomalies)
• —Architectures de micro-services avec Flink
• —Gestion des schémas de données (Schema Registry)
• —Tests unitaires et d'intégration des applications Flink
• —Bonnes pratiques de modularisation

12.Cas d'usage avancés et Futures de Flink

• —Flink SQL avancé (streaming joins, CDC)
• —Flink et Machine Learning (Pattern matching, Flink MLlib)
• —Cas d'usage réels (Fraud Detection, IoT, Recommandation)
• —Échanges sur les tendances futures de Flink
• —Bilan et questions/réponses