Formation BigQuery : Analyser des pétaoctets de données sur GCP

Programme de la formation
BigQuery : Analyser des pétaoctets de données sur GCP

• Introduction à BigQuery et son écosystème GCP

  - Identifier les composants clés de BigQuery.
  - Distinguer BigQuery d'autres solutions Data Lake et Data Warehouse.
  - Configurer un projet GCP et les autorisations GCP IAM initiales.

• Requêtes SQL fondamentales sur BigQuery

  - Exécuter des requêtes BigQuery SQL SELECT, FROM, WHERE.
  - Utiliser les fonctions d'agrégation et de fenêtrage BigQuery.
  - Interroger des datasets de grande taille avec des clauses LIMIT.

• Gestion des datasets et tables BigQuery

  - Créer et gérer des datasets BigQuery.
  - Définir des schémas de tables BigQuery.
  - Charger des données depuis Cloud Storage vers BigQuery.

• Optimisation des coûts de stockage BigQuery

  - Analyser les métriques de coût de stockage BigQuery.
  - Appliquer des stratégies de gestion du cycle de vie des données.
  - Utiliser les tables à expiration pour réduire les coûts.

• Partitionnement de tables pour la performance

  - Implémenter le partitionnement par date sur des tables BigQuery.
  - Utiliser le partitionnement par colonne d'ingestion.
  - Optimiser les requêtes sur des tables partitionnées.

• Clustering de tables pour l'efficacité des requêtes

  - Appliquer le clustering sur des colonnes fréquemment filtrées.
  - Comparer l'impact du clustering et du partitionnement.
  - Réduire les volumes de données scannées par le clustering.

• Ingestion de données en streaming dans BigQuery

  - Configurer l'ingestion de données en streaming.
  - Traiter des données IoT en temps réel via BigQuery.
  - Gérer les erreurs d'ingestion en streaming.

• Analyse de logs applicatifs à grande échelle

  - Ingérer des logs applicatifs dans BigQuery.
  - Exécuter des requêtes analytiques sur des millions de logs.
  - Identifier des patterns dans les logs avec BigQuery SQL.

• Fonctions avancées de BigQuery SQL

  - Utiliser les fonctions géospatiales BigQuery.
  - Implémenter des fonctions définies par l'utilisateur (UDF).
  - Exploiter les requêtes paramétrées pour la sécurité et la performance.

• Sécurité et gouvernance des données BigQuery

  - Gérer les accès aux datasets et tables via GCP IAM.
  - Implémenter la sécurité au niveau des lignes et des colonnes.
  - Auditer les activités BigQuery avec Cloud Logging.

• Intégration de BigQuery avec d'autres services GCP

  - Connecter BigQuery à Data Studio pour la visualisation.
  - Utiliser BigQuery avec Cloud Functions pour l'automatisation.
  - Exporter des données BigQuery vers Cloud Storage.

• Optimisation des performances et des coûts des requêtes

  - Analyser les plans d'exécution des requêtes BigQuery.
  - Réduire les volumes de données scannées par les requêtes.
  - Appliquer les bonnes pratiques BigQuery SQL pour la performance.