Formation Développeur Hadoop Cloudera : Préparation complète à la certification officielle

Programme de la formation
Développeur Hadoop Cloudera : Préparation complète à la certification officielle

• Introduction à Hadoop et l'écosystème Big Data

  - Définition et enjeux du Big Data
  - Introduction à Apache Hadoop et ses composants
  - Historique et évolution de Hadoop
  - Concepts clés des systèmes distribués
  - Présentation de Cloudera et son rôle dans l'écosystème Hadoop

• HDFS (Hadoop Distributed File System) pour les développeurs

  - Architecture de HDFS : NameNode, DataNode
  - Opérations de base sur HDFS : lecture, écriture, suppression
  - Réplication des données et tolérance aux pannes
  - Commandes shell HDFS essentielles
  - Utilisation de l'API Java pour interagir avec HDFS

• YARN (Yet Another Resource Negotiator) et gestion des ressources

  - Rôle de YARN dans la gestion des ressources
  - Architecture de YARN : ResourceManager, NodeManager, ApplicationMaster
  - Processus de soumission et d'exécution d'une application YARN
  - Composants Worker : Conteneurs et Slots
  - Configuration et monitoring de YARN

• MapReduce : Principes et développement d'applications

  - Comprendre le paradigme MapReduce
  - Phases Map et Reduce : Mappers, Reducers, Combiners
  - Déroulement d'un job MapReduce
  - Écrire des programmes MapReduce en Java
  - Optimisation des performances MapReduce

• Apache Spark pour le traitement de données volumineux

  - Introduction à Apache Spark et ses avantages
  - Architecture de Spark : Driver, Executors, Cluster Manager
  - Concepts de RDD (Resilient Distributed Datasets)
  - Opérations de transformation et d'action sur les RDD
  - Développement de premières applications Spark en Scala/Python

• Interrogation de données avec Hive et Impala

  - Introduction à Apache Hive : entrepôt de données sur Hadoop
  - Architecture de Hive : Metastore, Driver, Execution Engine
  - Écrire des requêtes HQL (Hive Query Language)
  - Introduction à Apache Impala pour l'analytique temps réel
  - Comparaison Hive vs Impala et cas d'usage

• NoSQL sur Hadoop : Hbase et ZooKeeper

  - Introduction aux bases de données NoSQL
  - Apache HBase : base de données orientée colonnes sur HDFS
  - Architecture de HBase : Regions, RegionServers
  - Opérations CRUD sur HBase (lecture, écriture, mise à jour, suppression)
  - Apache ZooKeeper : service de coordination distribué

• Ingestion de données : Flume et Sqoop

  - Introduction à l'ingestion de données Big Data
  - Apache Flume : Collecte de logs et de streaming
  - Architecture de Flume : Sources, Channels, Sinks
  - Apache Sqoop : Transfert bidirectionnel RDBMS <-> Hadoop
  - Utilisation de Sqoop pour importer/exporter des données structurées

• Sécurité et gouvernance dans l'écosystème Cloudera
• Déploiement et gestion des workflows avec Oozie

  - Introduction à Apache Oozie : coordonnateur de workflow
  - Types de workflows Oozie : actions, control flows
  - Création et déploiement de jobs Oozie
  - Planification et surveillance des workflows
  - Intégration d'Oozie avec MapReduce, Spark, Hive

• Écosystème Cloudera Manager et outils développeur

  - Présentation de Cloudera Manager pour la gestion de cluster
  - Utilisation de Hue (Hadoop User Experience)
  - Debugging et troubleshooting des applications Hadoop
  - Utilisation des logs pour l'analyse des problèmes
  - Bonnes pratiques de développement pour Hadoop

• Préparation à la certification Cloudera : Révision et Q&A

  - Révision des concepts clés de MapReduce, Spark, HDFS, YARN
  - Exercices pratiques et scénarios de développement
  - Analyse des types de questions de l'examen de certification
  - Stratégies de réussite pour l'examen Cloudera
  - Session de questions-réponses et préparation finale