Formation Développeur Hadoop Cloudera : Préparation complète à la certification officielle

01.Introduction à Hadoop et l'écosystème Big Data

• —Définition et enjeux du Big Data
• —Introduction à Apache Hadoop et ses composants
• —Historique et évolution de Hadoop
• —Concepts clés des systèmes distribués
• —Présentation de Cloudera et son rôle dans l'écosystème Hadoop

02.HDFS (Hadoop Distributed File System) pour les développeurs

• —Architecture de HDFS : NameNode, DataNode
• —Opérations de base sur HDFS : lecture, écriture, suppression
• —Réplication des données et tolérance aux pannes
• —Commandes shell HDFS essentielles
• —Utilisation de l'API Java pour interagir avec HDFS

03.YARN (Yet Another Resource Negotiator) et gestion des ressources

• —Rôle de YARN dans la gestion des ressources
• —Architecture de YARN : ResourceManager, NodeManager, ApplicationMaster
• —Processus de soumission et d'exécution d'une application YARN
• —Composants Worker : Conteneurs et Slots
• —Configuration et monitoring de YARN

04.MapReduce : Principes et développement d'applications

• —Comprendre le paradigme MapReduce
• —Phases Map et Reduce : Mappers, Reducers, Combiners
• —Déroulement d'un job MapReduce
• —Écrire des programmes MapReduce en Java
• —Optimisation des performances MapReduce

05.Apache Spark pour le traitement de données volumineux

• —Introduction à Apache Spark et ses avantages
• —Architecture de Spark : Driver, Executors, Cluster Manager
• —Concepts de RDD (Resilient Distributed Datasets)
• —Opérations de transformation et d'action sur les RDD
• —Développement de premières applications Spark en Scala/Python

06.Interrogation de données avec Hive et Impala

• —Introduction à Apache Hive : entrepôt de données sur Hadoop
• —Architecture de Hive : Metastore, Driver, Execution Engine
• —Écrire des requêtes HQL (Hive Query Language)
• —Introduction à Apache Impala pour l'analytique temps réel
• —Comparaison Hive vs Impala et cas d'usage

07.NoSQL sur Hadoop : Hbase et ZooKeeper

• —Introduction aux bases de données NoSQL
• —Apache HBase : base de données orientée colonnes sur HDFS
• —Architecture de HBase : Regions, RegionServers
• —Opérations CRUD sur HBase (lecture, écriture, mise à jour, suppression)
• —Apache ZooKeeper : service de coordination distribué

08.Ingestion de données : Flume et Sqoop

• —Introduction à l'ingestion de données Big Data
• —Apache Flume : Collecte de logs et de streaming
• —Architecture de Flume : Sources, Channels, Sinks
• —Apache Sqoop : Transfert bidirectionnel RDBMS <-> Hadoop
• —Utilisation de Sqoop pour importer/exporter des données structurées

09.Sécurité et gouvernance dans l'écosystème Cloudera

10.Déploiement et gestion des workflows avec Oozie

• —Introduction à Apache Oozie : coordonnateur de workflow
• —Types de workflows Oozie : actions, control flows
• —Création et déploiement de jobs Oozie
• —Planification et surveillance des workflows
• —Intégration d'Oozie avec MapReduce, Spark, Hive

11.Écosystème Cloudera Manager et outils développeur

• —Présentation de Cloudera Manager pour la gestion de cluster
• —Utilisation de Hue (Hadoop User Experience)
• —Debugging et troubleshooting des applications Hadoop
• —Utilisation des logs pour l'analyse des problèmes
• —Bonnes pratiques de développement pour Hadoop

12.Préparation à la certification Cloudera : Révision et Q&A

• —Révision des concepts clés de MapReduce, Spark, HDFS, YARN
• —Exercices pratiques et scénarios de développement
• —Analyse des types de questions de l'examen de certification
• —Stratégies de réussite pour l'examen Cloudera
• —Session de questions-réponses et préparation finale