Formation Formation Hadoop : Développer des Applications Big Data Performantes

01.Introduction au Big Data et à l'écosystème Hadoop

02.HDFS : Système de Fichiers Distribué Hadoop

• —Architecture HDFS (Namenode, Datanode).
• —Concepts de blocs, réplication et tolérance aux pannes.
• —Opérations de base sur HDFS (lecture, écriture, commandes shell).

03.YARN : Gestion des Ressources

• —Rôle de YARN dans l'exécution de traitements distribués.
• —Architecture YARN (ResourceManager, NodeManager, ApplicationMaster).
• —Cycle de vie d'une application YARN.

04.Introduction à MapReduce et son Cadre

• —Philosophie et paradigme de MapReduce.
• —Phases Map, Shuffle et Reduce.
• —Architecture de MapReduce (JobTracker, TaskTracker).

05.Développement de Mappers en Java

• —Structurer un programme MapReduce en Java.
• —Écrire un Mapper : entrée, sortie, types de données.
• —Implémentation d'un premier Mapper simple.

06.Création de Reducers et Combineurs

07.Optimisation des Performances MapReduce

08.Introduction à Pig : Traitement de Données Haut Niveau

• —Avantages de Pig sur MapReduce pour certaines tâches.
• —Langage Pig Latin : syntaxe et opérateurs.
• —Charger, filtrer, grouper des données avec Pig.

09.Scripting avancé avec Pig

• —Jointures dans Pig.
• —Fonctions UDF (User Defined Functions) avec Pig.
• —Cas d'usage et exemples pratiques.

10.Hive : Entrepôt de Données sur Hadoop

• —Architecture de Hive et son rôle dans l'écosystème.
• —Langage HQL (Hive Query Language) : syntaxe SQL-like.
• —Création de tables, chargement de données.

11.Requêtage et Optimisation avec Hive

• —Requêtes complexes avec Hive (jointures, agrégations avancées).
• —Partitionnement et bucketing dans Hive.
• —Optimisation des performances des requêtes Hive.

12.Intégration et Déploiement d'Applications Hadoop

• —Déploiement et exécution de Jobs sur un cluster.
• —Monitoring des applications Hadoop.
• —Bonnes pratiques de développement et d'intégration.
• —--
• —### Compétences Acquises