Formation Formation Google BigQuery : Maîtriser ETL et Data Warehouse

Programme de la formation
Formation Google BigQuery : Maîtriser ETL et Data Warehouse

• Introduction à Google BigQuery et l'écosystème Google Cloud

  - Présentation de Google Cloud Platform (GCP) et ses services Data
  - Rôle et positionnement de Google BigQuery dans GCP
  - Terminologie BigQuery : projets, datasets, tables, slots
  - Concepts clés du traitement de données distribué et serverless

• Premiers pas avec BigQuery : Interface et fondamentaux SQL

  - Navigation dans la console BigQuery (UI)
  - Création et gestion de projets, datasets et tables
  - Syntaxe SQL et spécificités BigQuery (Standard SQL)
  - Requêtage de base : SELECT, FROM, WHERE, GROUP BY, ORDER BY, LIMIT

• Requêtes avancées : Fonctions et Opérateurs BigQuery

  - Fonctions d'agrégation (COUNT, SUM, AVG, MIN, MAX)
  - Fonctions de chaînes de caractères (CONCAT, SUBSTR, LENGTH)
  - Fonctions numériques (ROUND, CEIL, FLOOR) et fonctions de date/heure
  - Opérateurs logiques, arithmétiques et de comparaison

• Jointures, sous-requêtes et CTEs pour l'analyse de données

  - Types de jointures : INNER JOIN, LEFT JOIN, RIGHT JOIN, FULL OUTER JOIN
  - Utilisation et optimisation des sous-requêtes
  - Common Table Expressions (CTEs) pour la lisibilité des requêtes
  - Cas pratiques de requêtage multi-tables

• Data Loading : Chargement de données dans BigQuery

  - Méthodes de chargement : Console, BigQuery CLI, API
  - Chargement de fichiers plats : CSV, JSON, Parquet, Avro
  - Chargement en streaming et données semi-structurées
  - Gestion des schémas et détection automatique

• Concepts d'ETL (Extract, Transform, Load) avec BigQuery

  - Vue d'ensemble du processus ETL et son importance en BI
  - Extraction de données de sources diverses (Cloud Storage, etc.)
  - Transformation des données via SQL et UDFs (User-Defined Functions)
  - Chargement optimisé des données transformées dans BigQuery

• Introduction au Data Warehouse et modélisation de données

  - Concepts fondamentaux du Data Warehouse (DW)
  - Schémas en étoile (Star Schema) et en flocon (Snowflake Schema)
  - Dimensions, faits et mesures : conception de tables optimisées
  - Stratégies de partitionnement et de clustering pour les DW

• Gestion d'un Data Warehouse sur BigQuery
• Requêtes avancées : Fonctions analytiques et fenêtrage

  - Fonctions de classement (RANK, DENSE_RANK, NTILE)
  - Fonctions de fenêtrage (ROW_NUMBER, LEAD, LAG)
  - Calculs de sommes cumulatives et moyennes mobiles
  - Cas d'usage des fonctions analytiques pour la Business Intelligence

• Optimisation des requêtes et gestion des performances

  - Comprendre le plan d'exécution des requêtes BigQuery
  - Bonnes pratiques de requêtage pour la performance et les coûts
  - Utilisation des caches et de la gestion de slots
  - Surveillance des requêtes et analyse des goulots d'étranglement

• Interfaçage BigQuery avec les outils BI et de DataViz

  - Connexion de BigQuery à Google Data Studio (Looker Studio)
  - Intégration avec d'autres outils BI (Tableau, Power BI)
  - Exportation de données vers Google Sheets ou CSV
  - Scénarios d'utilisation pour la création de tableaux de bord

• Sécurité, Droits d'accès et Bonnes Pratiques BigQuery

  - Gestion des rôles et permissions IAM pour BigQuery
  - Sécurité au niveau des datasets et des tables
  - Cryptage des données au repos et en transit
  - Audit logging et surveillance des activités BigQuery