Formation Développer des applications Big Data avec Hadoop et l'écosystème analytique

Programme de la formation
Développer des applications Big Data avec Hadoop et l'écosystème analytique

• Introduction au Big Data et à l'écosystème Hadoop

  - Comprendre le concept de Big Data et ses défis
  - Identifier les caractéristiques des données massives (5V)
  - Découvrir l'écosystème Hadoop et son rôle dans le Big Data
  - Présenter les principaux composants Hadoop : HDFS, MapReduce, YARN
  - Vue d'ensemble des cas d'usage industriels d'Hadoop

• Installation et configuration d'un environnement Hadoop Single Node

  - Préparer l'environnement : JVM, système d'exploitation
  - Effectuer l'installation d'une distribution Hadoop (Apache ou Cloudera/Hortonworks)
  - Configurer les fichiers core-site.xml, hdfs-site.xml, yarn-site.xml
  - Démarrer et vérifier l'état des services Hadoop
  - Utiliser l'interface web (UI) pour la supervision

• HDFS (Hadoop Distributed File System) : Principes et Opérations

  - Comprendre l'architecture distribuée de HDFS : NameNode, DataNode
  - Expliquer les concepts de blocs, réplication et tolérance aux pannes
  - Effectuer les opérations de base sur HDFS via la ligne de commande (fs shell)
  - Gérer les droits d'accès et permissions sur HDFS
  - Bonnes pratiques de stockage et de réplication

• HDFS Avancé : Sécurité et Performances

  - Implémenter la sécurité dans HDFS (Kerberos, ACLs)
  - Optimiser le stockage : quotas, snapshots, compression
  - Utiliser la commande DistCp pour la copie de données massives
  - Monitorer les performances de HDFS
  - Gestion des petits fichiers dans HDFS

• Introduction à MapReduce : Principes et Architecture

  - Comprendre le modèle de programmation MapReduce
  - Expliquer les phases Map, Shuffle, Sort et Reduce
  - Décrire l'architecture de MapReduce V1 (JobTracker, TaskTracker)
  - Analyser le cycle de vie d'un job MapReduce
  - Exemples simples d'applications MapReduce

• Développer des Jobs MapReduce en Java

  - Écrire un programme MapReduce en Java : Mapper, Reducer, Driver
  - Gérer les types de données Hadoop et les écritures/lectures
  - Implémenter des compteurs personnalisés (Counters)
  - Utiliser le contexte pour l'échange d'informations
  - Débugger des applications MapReduce

• Hadoop YARN (Yet Another Resource Negotiator)

  - Comprendre l'évolution de MapReduce vers YARN
  - Décrire l'architecture de YARN : ResourceManager, NodeManager, ApplicationMaster
  - Expliquer la gestion des ressources et la planification des jobs
  - Configurer les queues et la répartition des ressources
  - Lancer des applications MapReduce sur YARN

• Optimisation et Bonnes Pratiques MapReduce

  - Techniques d'optimisation des jobs : nombre de Reduce tasks, compression
  - Utiliser des Combinner et Partitioner personnalisés
  - Gérer les joins dans MapReduce (Reduce-side join, Map-side join)
  - Implémenter des patterns MapReduce avancés
  - Débugging et monitoring des performances MapReduce sur YARN

• Introduction à l'écosystème Hadoop : Hive pour le Data Warehousing

  - Présenter Hive : Data Warehouse sur Hadoop
  - Comprendre l'architecture de Hive et le Metastore
  - Définir des tables internes et externes dans Hive
  - Charger des données et interroger avec HiveQL (SQL-like)
  - Cas d'usage de Hive et intégration avec d'autres outils

• SQL sur Hadoop avec Hive Avancé

  - Utiliser les fonctions UDF (User Defined Functions) et UDAF
  - Partitions et Buckets pour l'optimisation des requêtes
  - Gérer les formats de fichiers (ORC, Parquet) et les compressions
  - Optimiser les performances des requêtes Hive
  - Sécurité et gestion des droits dans Hive

• Traitements Intéractifs et Temps Réel : Introduction à Spark

  - Comprendre les limites de MapReduce pour le temps réel
  - Introduction à Apache Spark et son architecture in-memory
  - Comparaison Spark vs MapReduce
  - Concepts de RDD (Resilient Distributed Datasets) dans Spark
  - Cas pratiques d'utilisation de Spark pour les transformations de données

• Intégration et Persistance de Données dans l'Écosystème Hadoop

  - Utiliser Sqoop pour l'import/export de données RDBMS vers/depuis HDFS
  - Présenter Flume pour la collecte de logs et événements
  - Introduction à HBase : base de données NoSQL sur HDFS
  - Architectures Big Data courantes intégrant Hadoop et d'autres outils
  - Les frameworks d'orchestration de workflows (ex: Oozie)
  ✅ Compétences :