Formation Formation Google BigQuery : Maîtriser ETL et Data Warehouse

01.Introduction à Google BigQuery et l'écosystème Google Cloud

• —Présentation de Google Cloud Platform (GCP) et ses services Data
• —Rôle et positionnement de Google BigQuery dans GCP
• —Terminologie BigQuery : projets, datasets, tables, slots
• —Concepts clés du traitement de données distribué et serverless

02.Premiers pas avec BigQuery : Interface et fondamentaux SQL

• —Navigation dans la console BigQuery (UI)
• —Création et gestion de projets, datasets et tables
• —Syntaxe SQL et spécificités BigQuery (Standard SQL)
• —Requêtage de base : SELECT, FROM, WHERE, GROUP BY, ORDER BY, LIMIT

03.Requêtes avancées : Fonctions et Opérateurs BigQuery

• —Fonctions d'agrégation (COUNT, SUM, AVG, MIN, MAX)
• —Fonctions de chaînes de caractères (CONCAT, SUBSTR, LENGTH)
• —Fonctions numériques (ROUND, CEIL, FLOOR) et fonctions de date/heure
• —Opérateurs logiques, arithmétiques et de comparaison

04.Jointures, sous-requêtes et CTEs pour l'analyse de données

• —Types de jointures : INNER JOIN, LEFT JOIN, RIGHT JOIN, FULL OUTER JOIN
• —Utilisation et optimisation des sous-requêtes
• —Common Table Expressions (CTEs) pour la lisibilité des requêtes
• —Cas pratiques de requêtage multi-tables

05.Data Loading : Chargement de données dans BigQuery

• —Méthodes de chargement : Console, BigQuery CLI, API
• —Chargement de fichiers plats : CSV, JSON, Parquet, Avro
• —Chargement en streaming et données semi-structurées
• —Gestion des schémas et détection automatique

06.Concepts d'ETL (Extract, Transform, Load) avec BigQuery

• —Vue d'ensemble du processus ETL et son importance en BI
• —Extraction de données de sources diverses (Cloud Storage, etc.)
• —Transformation des données via SQL et UDFs (User-Defined Functions)
• —Chargement optimisé des données transformées dans BigQuery

07.Introduction au Data Warehouse et modélisation de données

• —Concepts fondamentaux du Data Warehouse (DW)
• —Schémas en étoile (Star Schema) et en flocon (Snowflake Schema)
• —Dimensions, faits et mesures : conception de tables optimisées
• —Stratégies de partitionnement et de clustering pour les DW

08.Gestion d'un Data Warehouse sur BigQuery

09.Requêtes avancées : Fonctions analytiques et fenêtrage

• —Fonctions de classement (RANK, DENSE_RANK, NTILE)
• —Fonctions de fenêtrage (ROW_NUMBER, LEAD, LAG)
• —Calculs de sommes cumulatives et moyennes mobiles
• —Cas d'usage des fonctions analytiques pour la Business Intelligence

10.Optimisation des requêtes et gestion des performances

• —Comprendre le plan d'exécution des requêtes BigQuery
• —Bonnes pratiques de requêtage pour la performance et les coûts
• —Utilisation des caches et de la gestion de slots
• —Surveillance des requêtes et analyse des goulots d'étranglement

11.Interfaçage BigQuery avec les outils BI et de DataViz

• —Connexion de BigQuery à Google Data Studio (Looker Studio)
• —Intégration avec d'autres outils BI (Tableau, Power BI)
• —Exportation de données vers Google Sheets ou CSV
• —Scénarios d'utilisation pour la création de tableaux de bord

12.Sécurité, Droits d'accès et Bonnes Pratiques BigQuery

• —Gestion des rôles et permissions IAM pour BigQuery
• —Sécurité au niveau des datasets et des tables
• —Cryptage des données au repos et en transit
• —Audit logging et surveillance des activités BigQuery