Formation Installation et administration Hadoop : maîtriser votre infrastructure Big Data

Programme de la formation
Installation et administration Hadoop : maîtriser votre infrastructure Big Data

• Introduction à Hadoop et au Big Data

  - Définition et enjeux du Big Data
  - Présentation d'Hadoop : Historique, architecture générale et écosystème
  - Avantages et cas d'usage d'Hadoop
  - Comparaison avec les bases de données traditionnelles
  - Principes fondamentaux du traitement distribué

• HDFS (Hadoop Distributed File System) - Fondamentaux

  - Architecture HDFS : NameNode, DataNode, Secondary NameNode
  - Réplication des données et tolérance aux pannes
  - Commandes de base HDFS (mkdir, put, get, ls, rm)
  - Interfaces HDFS (Web HDFS, FUSE)
  - Bonnes pratiques pour le stockage HDFS

• Installation d'un cluster Hadoop Single Node

  - Prérequis logiciels et matériels (Java, SSH)
  - Configuration de l'environnement (variables d'environnement)
  - Téléchargement et décompression d'Hadoop
  - Configuration des fichiers core-site.xml, hdfs-site.xml
  - Démarrage et vérification des services HDFS

• YARN (Yet Another Resource Negotiator) - Gestion des ressources

  - Rôle et architecture de YARN (ResourceManager, NodeManager, ApplicationMaster)
  - Planification des ressources et isolation des applications
  - Surveillance des applications YARN via l'interface Web
  - Configuration des files d'attente (queues) YARN
  - Démarrage et vérification des services YARN

• Installation d'un cluster Hadoop Multi-Node - Partie 1

  - Planification de l'architecture distribuée (rôles des nœuds)
  - Configuration de SSH sans mot de passe entre les nœuds
  - Synchronisation des utilisateurs et des groupes
  - Distribution des fichiers de configuration Hadoop personnalisés
  - Préparation des disques de stockage pour HDFS

• Installation d'un cluster Hadoop Multi-Node - Partie 2

  - Formatage du NameNode et démarrage initial
  - Démarrage séquentiel des DataNodes
  - Vérification de l'état du cluster via le NameNode UI
  - Résolution des problèmes courants d'installation
  - Automatisation du démarrage et de l'arrêt des services

• Administration HDFS et Maintenance

  - Ajout et suppression de DataNodes
  - Sauvegarde et restauration du NameNode (fsimage, edit logs)
  - Surveillance de l'espace disque HDFS et des blocs corrompus
  - Utilitaire hdfs fsck pour la vérification de l'intégrité
  - Gestion des quotas d'espace HDFS

• Administration YARN et Optimisation des ressources

  - Configuration des planificateurs YARN (Fair Scheduler, Capacity Scheduler)
  - Allocation et gestion des conteneurs YARN
  - Surveillance des ressources et des applications YARN
  - Optimisation des performances des applications
  - Résolution des problèmes de consommation de ressources

• Sécurité du cluster Hadoop

  - Introduction à Kerberos et son rôle dans Hadoop
  - Implémentation de l'authentification Kerberos
  - Configuration des ACLs (Access Control Lists) HDFS
  - Chiffrement des données sensibles (HDFS Encryption)
  - Bonnes pratiques de sécurité pour un cluster Hadoop

• Monitoring et Dépannage du Cluster

  - Outils de monitoring natifs (jps, hdfs dfsadmin)
  - Collecte et analyse des logs Hadoop
  - Utilisation de Ganglia ou Prometheus/Grafana pour le monitoring
  - Identification et résolution des goulots d'étranglement
  - Stratégies de troubleshooting pas à pas

• Intégration de l'écosystème Hadoop (Concepts)

  - Présentation de Hive, Pig, HBase, Spark
  - Interconnexion entre les composants de l'écosystème
  - Cas d'usage de chaque outil dans un pipeline Big Data
  - Introduction aux outils d'ingestion de données (Sqoop, Flume)
  - Vue d'ensemble des architectures Big Data modernes

• Opérations avancées et Meilleures Pratiques

  - Mise à niveau de version d'Hadoop (Rolling Upgrade)
  - Haute Disponibilité du NameNode HDFS
  - Gestion de la haute disponibilité de YARN
  - Planification de la capacité et dimensionnement du cluster
  - Réflexions sur les services Cloud et Hadoop