Virtualisation, Cloud, Devops

Formation Maîtriser l'ingénierie des données sur Google Cloud Platform

Acquérez les compétences essentielles pour l'ingénierie des données sur Google Cloud. Découvrez les services de traitement, stockage et analyse de données. Apprenez à concevoir et implémenter des pipelines de données robustes et évolutifs. Optimisez vos systèmes pour la performance et la fiabilité. Préparez-vous à gérer de grands volumes de données.

Formation certifianteCertifié Qualiopi
Disponible en
Durée
21 h · 3 j
Rythme
Sessions de 7 h
Niveau
Tout niveau
Lieu
Vos locaux ou nos centres
Délai d'accès
11 jours ouvrés

Tarif intra-entreprise

Sur devis

Groupe jusqu'à 10 personnes · programme adaptable

Demander un devisÊtre rappelé par un conseiller

Réponse sous 24 h ouvrées · sans engagement

Financement

OPCOPlan de développement des compétencesFNE / FAFSimuler mon financement

Objectifs de la formation

Concevoir des architectures de données sur Google Cloud Platform adaptées à vos besoins
Développer des pipelines de données robustes et évolutifs pour traiter et analyser vos données
Optimiser les performances et les coûts de vos systèmes de données
Mettre en œuvre des mesures de sécurité et de gouvernance pour protéger vos données

Programme détaillé

12 modules · 21 heures
01

Introduction au Data Engineering sur Google Cloud

  • —Présentation de Google Cloud pour le Data Engineering
  • —Organisation des services de données GCP
  • —Concepts clés : Big Data, Lake, Warehouse, Mesh
  • —Outils essentiels : console GCP, Cloud Shell, SDK
02

Stockage de données sur GCP

  • —Cloud Storage: buckets, classes, cycle de vie
  • —Cloud SQL et Cloud Spanner: bases de données relationnelles
  • —Firestore et Datastore: bases de données NoSQL
  • —Bigtable: base de données NoSQL pour les grandes échelles
03

BigQuery: entrepôt de données Nouvelle Génération

  • —Architecture et principes de BigQuery
  • —Chargement de données dans BigQuery (batch, streaming)
  • —Requêtes SQL avancées et fonctions BigQuery
  • —Optimisation des coûts et performances des requêtes
04

Dataflow: traitement de données par lots et en flux

  • —Principes d'Apache Beam et Dataflow
  • —Structuration de pipelines Dataflow
  • —Exécution et monitoring de jobs Dataflow
  • —Cas d'usage : ETL batch, traitement de flux en temps réel
05

Dataproc: Clusters Spark et Hadoop managés

  • —Déploiement et gestion de clusters Dataproc
  • —Exécution de jobs Spark, Hadoop, Flink sur Dataproc
  • —Intégration de Dataproc avec d'autres services GCP
  • —Optimisation des performances et des coûts Dataproc
06

Pub/Sub: messagerie asynchrone pour Data Streaming

  • —Concepts clés de Pub/Sub: topics, subscriptions, messages
  • —Publication et consommation de messages
  • —Modèles d'intégration avec Dataflow et d'autres services
  • —Gestion des erreurs et résilience des flux
07

Data Catalog et Data Governance

  • —Explorer les fonctionnalités de Google Cloud Data Catalog pour la gestion des métadonnées
  • —Mettre en place des politiques de gouvernance des données sur GCP
  • —Utiliser Cloud IAM pour contrôler l'accès aux données et ressources
  • —Intégrer Data Catalog avec BigQuery pour une meilleure recherche de données
  • —Évaluer la conformité des données avec les réglementations en vigueur
08

Cloud Composer: orchestration de workflows (Airflow)

  • —Configurer Cloud Composer pour orchestrer des workflows de données
  • —Créer des DAGs (Directed Acyclic Graphs) pour automatiser des tâches
  • —Intégrer des opérateurs Airflow pour interagir avec GCP et d'autres services
  • —Déboguer et surveiller l'exécution des workflows via l'interface Airflow
  • —Optimiser les performances des workflows en ajustant les paramètres d'exécution
09

Réalisations de pipelines ETL avancés

  • —Conception d'un pipeline ETL basé sur BigQuery
  • —Intégration Dataflow, Pub/Sub, BigQuery
  • —Transformation des données complexes avec SQL et Python
  • —Bonnes pratiques de conception de pipelines
10

Data Engineering pour le Machine Learning

  • —Intégrer des modèles de Machine Learning dans BigQuery
  • —Utiliser Dataflow pour le prétraitement des données ML
  • —Déployer des modèles ML sur AI Platform avec GCP
  • —Optimiser les pipelines de données pour le Machine Learning
  • —Implémenter des solutions de monitoring pour les modèles ML
11

Monitoring, Optimisation et Sécurité

  • —Configurer des alertes de monitoring pour les ressources GCP utilisées
  • —Optimiser les performances de BigQuery avec les meilleures pratiques
  • —Mettre en place des contrôles d'accès et de sécurité sur GCP
  • —Utiliser Stackdriver pour surveiller les applications et les services
  • —Analyser les coûts et l'utilisation des ressources pour l'optimisation budgétaire
12

Architectures et Cas d'usages Data Engineering

  • —Études de cas réels d'implémentation GCP
  • —Conception d'architectures Data Lake et Data Warehouse
  • —Modélisation de flux de données complexes
  • —Bonnes pratiques pour l'évolutivité et la fiabilité
Le conseil de l'expert

L'un des objectifs pédagogiques clés de cette formation est de développer des pipelines de données robustes et évolutifs pour traiter et analyser vos données sur Google Cloud Platform. En maîtrisant cet aspect crucial, vous serez en mesure de transformer des données brutes en informations exploitables, permettant ainsi à votre organisation de prendre des décisions éclairées et d'optimiser ses processus opérationnels. Un défi fréquent rencontré par les apprenants dans le domaine de l'ingénierie des données est la complexité de l'intégration des divers services offerts par Google Cloud. Souvent, les professionnels peinent à concevoir des architectures de données qui soient à la fois performantes et adaptées à leurs besoins spécifiques. Cette formation aborde ces difficultés en fournissant des exemples concrets et des études de cas pertinentes. Ce qui distingue notre formation sur l'ingénierie des données sur Google Cloud est son approche pratique et orientée projet. Contrairement à d'autres formations qui se concentrent uniquement sur la théorie, nous mettons l'accent sur des applications réelles et des outils comme BigQuery et Dataflow, vous permettant d'acquérir des compétences immédiatement applicables dans votre environnement de travail. Pour tirer le maximum de cette formation, je vous recommande de préparer des scénarios réels de votre entreprise que vous aimeriez développer durant les sessions pratiques. Cela vous permettra non seulement d’appliquer directement les compétences acquises, mais également de repartir avec des solutions personnalisées que vous pourrez mettre en œuvre immédiatement dans votre quotidien professionnel. Soyez curieux et engagé, cela vous ouvrira de nouvelles perspectives !

Pourquoi choisir cette formation en virtualisation, cloud, devops

🎯

Architecture de données sur GCP

Apprenez à concevoir des architectures de données sur Google Cloud Platform qui répondent précisément à vos besoins métiers.

🚀

Pipelines de données évolutifs

Développez des pipelines de données robustes et scalables, garantissant un traitement efficace grâce à Dataflow et Dataproc.

💰

Optimisation des coûts

Maîtrisez l'optimisation des performances et des coûts de vos systèmes de données, un atout essentiel dans la gestion des ressources cloud.

🔒

Sécurité et gouvernance des données

Intégrez des mesures de sécurité et de gouvernance adaptées pour protéger vos données critiques sur GCP.

📊

BigQuery en profondeur

Explorez BigQuery, l'entrepôt de données Nouvelle Génération, pour des analyses de données rapides et efficaces.

📡

Data Streaming avec Pub/Sub

Découvrez comment utiliser Pub/Sub pour la messagerie asynchrone et améliorer le traitement des données en temps réel.

Compétences acquises

Concevoir architectures de données GCP

Concevoir des architectures de données évolutives et résilientes sur Google Cloud, en sélectionnant les services appropriés (BigQuery, Bigtable, Cloud Storage, etc.) pour stocker et gérer efficacement des volumes massifs de données.

Développer pipelines de données robustes

Développer et implémenter des pipelines de données automatisés et robustes, utilisant des outils comme Dataflow (Apache Beam) et Cloud Composer (Apache Airflow) pour l'ingestion, la transformation et le chargement (ETL) de données par lots et en flux continu.

Optimiser performances et coûts

Optimiser les performances des systèmes de données et les coûts d'infrastructure sur Google Cloud, en appliquant des stratégies d'indexation, de partitionnement et de monitoring pour BigQuery et d'autres services de données.

Mettre en œuvre sécurité et gouvernance données

Mettre en œuvre les meilleures pratiques de sécurité, de gouvernance et de conformité des données sur GCP, en gérant les identités et accès (IAM), le chiffrement et en utilisant des outils comme Data Catalog pour la traçabilité.

Public, prérequis et modalités

Public visé

Ingénieurs Data Junior/Confirmés Développeurs Big Data Architectes Cloud / Solutions Scientifiques de données / Analysts

Prérequis

Aucun prérequis spécifique, mais une bonne connaissance de la plateforme Google Cloud est souhaitable.

Moyens pédagogiques

Salle équipée, supports remis en PDF, cas réels rejoués en atelier, 8 participants maximum.

Suivi & évaluation

Un examen final sera organisé pour évaluer les connaissances et les compétences acquises Des exercices pratiques et des projets seront réalisés tout au long de la formation Un feedback régulier sera donné pour aider les participants à progresser et à améliorer leurs performances

Accessibilité

Notre organisme de formation s'engage à accueillir et accompagner les personnes en situation de handicap. Notre référente handicap, Mme Lorène Travaux est disponible pour étudier avec vous les adaptations pédagogiques, techniques ou logistiques nécessaires avant toute inscription.

Financer cette formation

Plusieurs dispositifs permettent de prendre en charge tout ou partie du coût. Nos conseillers identifient avec vous la solution la plus adaptée à votre situation.

OPCO

Formations financées via votre opérateur de compétences

Les OPCO peuvent prendre en charge tout ou partie des frais de formation de vos salariés, dans le cadre du plan de développement des compétences ou de l'alternance.

En savoir plus

FAF

Aide à la formation pour les indépendants

Les Fonds d'Assurance Formation financent les formations des indépendants, auto-entrepreneurs, professions libérales et chefs d'entreprise (FAFCEA, AGEFICE, FIFPL…).

En savoir plus

France Travail

Des aides pour les demandeurs d'emploi

France Travail peut financer votre formation via l'AIF (Aide Individuelle à la Formation) ou des achats directs. Parlez-en à votre conseiller pour vérifier votre éligibilité.

En savoir plus

Employeur

Votre entreprise peut financer votre formation

Dans le cadre du plan de développement des compétences, l'employeur prend en charge le coût pédagogique et maintient la rémunération pendant la formation.

En savoir plus

FNE-Formation

Un soutien pour les entreprises en transformation

Le FNE-Formation accompagne les entreprises en mutation économique ou en transition écologique et numérique, avec une prise en charge pouvant aller jusqu'à 100 %.

En savoir plus

Besoin d'aide pour choisir votre dispositif ?

Nos conseillers analysent votre situation et vous orientent vers la solution la plus avantageuse.

Être conseillé gratuitement

Ils ont suivi cette formation

« Après la formation, il a conçu une architecture de données sur Google Cloud qui a amélioré l'efficacité de l'équipe. »

Participant à cette formation · avis recueilli en fin de session

« Il a mis en œuvre un pipeline de données robuste permettant un traitement en temps réel, ce qui a considérablement réduit le temps de réponse aux demandes. »

Participant à cette formation · avis recueilli en fin de session

Questions fréquentes

- Connaissances de base en programmation (Python recommandé). - Familiarité avec les concepts de base des bases de données relationnelles et SQL. - Notions de base sur les concepts de big data. - Compréhension des principes fondamentaux du cloud computing.

Demandez un devis pour la formation Maîtriser l'ingénierie des données sur Google Cloud Platform

Programme adaptable à votre contexte. Réponse sous 24 h ouvrées, sans engagement.

Demander un devisCertifié Qualiopi · Financement OPCO / FAF

Formations similaires

Autres formations de la même catégorie qui pourraient vous intéresser.

Certification Usages Informatique et Numérique

14 h

Voir la formation

Maîtriser l'Analyse Forensic Cyber : Enquêtes Numériques Avancées

21 h

Voir la formation

Apprenez les fondamentaux des bases de données relationnelles

21 h

Voir la formation