Formation Intégration de données Big Data avec Talend : Maîtrisez l'ETL

01.Introduction au Big Data et aux Enjeux de l'Intégration

• —Définition et caractéristiques du Big Data (4V)
• —Les défis de l'intégration de données massives
• —Présentation de Talend et de son écosystème Big Data
• —Aperçu des architectures Big Data (Hadoop, Spark)

02.Installation et Prise en Main de Talend Open Studio

• —Téléchargement et installation de Talend Open Studio for Big Data
• —Interface utilisateur et composants principaux
• —Configuration des espaces de travail et des projets
• —Premiers pas : création d'un Job simple

03.Fondamentaux de l'Intégration de Données ETL avec Talend

• —Concept ETL (Extract, Transform, Load) détaillé
• —Les composants d'entrée (tFileInputDelimited, tDBInput)
• —Les composants de sortie (tFileOutputDelimited, tDBOutput)
• —Connexions de base de données et gestion des métadonnées

04.Transformation et Nettoyage de Données

• —Utilisation des composants de transformation de base (tMap, tFilterRow)
• —Fonctions de manipulation de chaînes de caractères et de dates
• —Gestion des valeurs nulles et des incohérences
• —Agrégation et regroupement de données (tAggregateRow)

05.Gestion des Flux et des Erreurs

• —Les liens OnComponentOK, OnComponentError, OnSubjobOK
• —Gestion des exceptions et des rejets de données
• —Utilisation des tLogCatcher et tDie
• —Optimisation des performances des flux de données

06.Connecteurs Big Data : HDFS et Hive

• —Introduction à HDFS (Hadoop Distributed File System)
• —Lecture et écriture de fichiers dans HDFS avec Talend
• —Connexion et interrogation de Hive avec Talend
• —Utilisation des composants tHDFS* et tHive*

07.Intégration de Données avec Apache Spark

08.Traitement Avancé des Données avec Spark

• —Transformations RDD (Resilient Distributed Datasets) spécifiques
• —Jointures et agrégations distribuées avec Spark
• —Optimisation des Jobs Spark pour la performance
• —Exemples concrets d'intégration Big Data

09.Connecteurs NoSQL : MongoDB et Cassandra

• —Introduction aux bases de données NoSQL (MongoDB, Cassandra)
• —Connexion et interaction avec MongoDB via Talend
• —Intégration de données depuis et vers Cassandra
• —Utilisation des composants tMongoDB* et tCassandra*

10.Streaming de Données avec Kafka (Concepts et Talend)

• —Introduction à Apache Kafka et au concept de streaming
• —Flux de données en temps réel et cas d'usage Big Data
• —Concepts de Producers, Consumers et Topics
• —Aperçu de l'intégration Kafka avec Talend (comp. tKafka*)

11.Déploiement et Monitoring des Jobs Big Data

12.Cas Pratique Global et Optimisation

• —Élaboration d'un projet d'intégration Big Data de A à Z
• —Intégration de sources hétérogènes (BDD, Fichiers, HDFS)
• —Application des transformations et chargement sur une cible Big Data
• —Stratégies d'optimisation des performances des Jobs