Formation Formation Logstash Elasticsearch : Ingestion et Indexation Big Data

Programme de la formation
Formation Logstash Elasticsearch : Ingestion et Indexation Big Data

• Introduction au Big Data et à l'écosystème ELK

  - Définition et enjeux du Big Data
  - Présentation de la suite ELK (Elasticsearch, Logstash, Kibana)
  - Cas d'usage et architecture typique d'un pipeline Big Data
  - Installation et configuration initiale des composants ELK

• Principes fondamentaux d'Elasticsearch

  - Architecture distribuée d'Elasticsearch (nodes, clusters, shards, replicas)
  - Concepts de documents, index et types (Elasticsearch 6.x et 7.x)
  - Opérations CRUD de base avec l'API REST
  - Mappage des données et types de champs

• Requêtage avancé et agrégations Elasticsearch

  - Le langage de requête DSL (Domain Specific Language)
  - Requêtes de recherche plein texte (full-text search)
  - Filtres et requêtes booléennes
  - Introduction aux agrégations : métriques, buckets, pipeline

• Logstash : architecture et configuration de base

  - Rôle de Logstash dans le pipeline de données
  - Architecture de Logstash (Input, Filter, Output)
  - Installation et exécution de Logstash
  - Fichiers de configuration Logstash (structure et syntaxe)

• Inputs Logstash : acquisition de données diverses

  - Configuration d'inputs courants : file, stdin, beats
  - Input de base de données (JDBC) et API REST
  - Input Syslog et TCP/UDP
  - Gestion des chemins multiples et sources hétérogènes

• Filtres Logstash : transformation et enrichissement des données

  - Les filtres Grok pour parsage de logs
  - Filtres Date, Mutate, Rename, Coerce
  - Enrichissement des données avec Geolocation et User Agent
  - Traitement des données JSON et CSV

• Outputs Logstash : persistance des données

  - Configuration de l'output Elasticsearch
  - Options de l'output : index dynamique, ID de document
  - Outputs alternatifs : Console, File, Kafka
  - Gestion des erreurs et des échecs d'ingestion

• Pipeline Logstash avancé et performance
• Indexation de données structurées et non structurées

  - Stratégies d'indexation pour différents formats : logs, CSV, JSON
  - Gestion des données semi-structurées
  - Création de mappings personnalisés dans Elasticsearch
  - Indexation de données en temps réel et batch

• Monitoring et supervision avec Kibana
• Optimisation et scalabilité de l'écosystème ELK

  - Stratégies d'optimisation des performances Elasticsearch
  - Gestion des index et des cycles de vie (ILM)
  - Dimensionnement des clusters Elasticsearch et Logstash
  - Bonnes pratiques pour un pipeline robuste

• Cas pratiques et déploiement de bout en bout

  - Conception d'un pipeline complet : de la source à la visualisation
  - Intégration avec des sources de données externes
  - Déploiement en environnement de production (notions)
  - Exercices pratiques et résolution de problèmes complexes