Formation Formation Logstash Elasticsearch : Ingestion et Indexation Big Data

01.Introduction au Big Data et à l'écosystème ELK

• —Définition et enjeux du Big Data
• —Présentation de la suite ELK (Elasticsearch, Logstash, Kibana)
• —Cas d'usage et architecture typique d'un pipeline Big Data
• —Installation et configuration initiale des composants ELK

02.Principes fondamentaux d'Elasticsearch

• —Architecture distribuée d'Elasticsearch (nodes, clusters, shards, replicas)
• —Concepts de documents, index et types (Elasticsearch 6.x et 7.x)
• —Opérations CRUD de base avec l'API REST
• —Mappage des données et types de champs

03.Requêtage avancé et agrégations Elasticsearch

• —Le langage de requête DSL (Domain Specific Language)
• —Requêtes de recherche plein texte (full-text search)
• —Filtres et requêtes booléennes
• —Introduction aux agrégations : métriques, buckets, pipeline

04.Logstash : architecture et configuration de base

• —Rôle de Logstash dans le pipeline de données
• —Architecture de Logstash (Input, Filter, Output)
• —Installation et exécution de Logstash
• —Fichiers de configuration Logstash (structure et syntaxe)

05.Inputs Logstash : acquisition de données diverses

• —Configuration d'inputs courants : file, stdin, beats
• —Input de base de données (JDBC) et API REST
• —Input Syslog et TCP/UDP
• —Gestion des chemins multiples et sources hétérogènes

06.Filtres Logstash : transformation et enrichissement des données

• —Les filtres Grok pour parsage de logs
• —Filtres Date, Mutate, Rename, Coerce
• —Enrichissement des données avec Geolocation et User Agent
• —Traitement des données JSON et CSV

07.Outputs Logstash : persistance des données

• —Configuration de l'output Elasticsearch
• —Options de l'output : index dynamique, ID de document
• —Outputs alternatifs : Console, File, Kafka
• —Gestion des erreurs et des échecs d'ingestion

08.Pipeline Logstash avancé et performance

09.Indexation de données structurées et non structurées

• —Stratégies d'indexation pour différents formats : logs, CSV, JSON
• —Gestion des données semi-structurées
• —Création de mappings personnalisés dans Elasticsearch
• —Indexation de données en temps réel et batch

10.Monitoring et supervision avec Kibana

11.Optimisation et scalabilité de l'écosystème ELK

• —Stratégies d'optimisation des performances Elasticsearch
• —Gestion des index et des cycles de vie (ILM)
• —Dimensionnement des clusters Elasticsearch et Logstash
• —Bonnes pratiques pour un pipeline robuste

12.Cas pratiques et déploiement de bout en bout

• —Conception d'un pipeline complet : de la source à la visualisation
• —Intégration avec des sources de données externes
• —Déploiement en environnement de production (notions)
• —Exercices pratiques et résolution de problèmes complexes