Trino : Interrogation SQL des données distribuées
- Durée
- Durée :2 jours
- Niveau
- Niveau :Intermédiaire
- Certification
- Certification :Non
1590€ HT
Prochaine session :
SQL pour BigQuery : Pipeline et optimisation
Description de la formation SQL BigQuery
Cette formation SQL pour BigQuery est conçue pour permettre aux participants de maîtriser l’utilisation de SQL sur Google BigQuery. Ils exploreront les concepts clés pour interagir avec cette solution d’entrepôt de données cloud, en utilisant à la fois l’interface en ligne de commande (CLI) et la console web. Les participants apprendront également à gérer les rôles et permissions avec IAM, tout en optimisant leurs requêtes dans une logique de pipeline (matérialisation et dématérialisation des données).
L’accent sera mis sur l’optimisation des performances grâce à l’indexation et à la gestion efficace des ressources.
Programme de la formation
Objectif opérationnel :
Savoir exploiter BigQuery pour des besoins d’analyse de données complexes, tout en optimisant les performances et les coûts.
Objectifs pédagogiques :
À l'issue de cette formation SQL pour BigQuery, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre les bases de BigQuery et ses avantages par rapport aux bases de données traditionnelles
- Apprendre à utiliser efficacement l’interface CLI et la console BigQuery
- Maîtriser la gestion des rôles et permissions (IAM)
- Concevoir et exécuter des requêtes SQL optimisées pour BigQuery
- Implémenter des pipelines d’analyse avec matérialisation et dématérialisation des tables
- Optimiser les performances avec l’indexation et les bonnes pratiques
Introduction à BigQuery
Vue d’ensemble de BigQuery :- Qu’est-ce que BigQuery ?
- Avantages par rapport aux bases de données traditionnelles.
- Architecture et fonctionnement de BigQuery (storage vs compute).
Principales caractéristiques de BigQuery :
- Tables partitionnées et tables clusterisées.
- Coûts d’opération : modèle pay-as-you-go.AtelierCréer un projet BigQuery, configurer un dataset et importer des données d’exemple pour une première exploration.
Utilisation de la console et de la CLI BigQuery
Console BigQuery :- Interface utilisateur : explorateur de projets, éditeur de requêtes, historiques.
- Gestion des datasets, tables et jobs.
Interface en ligne de commande (CLI) :
- Installation et configuration de gcloud.
- Exécution de requêtes SQL via CLI.
- Gestion des exports et imports de données.AtelierManipuler BigQuery à travers la console et la CLI : créer des tables, charger des données CSV, et exécuter des requêtes simples.
Gestion des permissions avec IAM
Introduction à IAM (Identity and Access Management) :- Principes de base de la gestion des rôles.
- Différents types de rôles : basés sur le projet, personnalisés.
Configuration des permissions pour BigQuery :
- Accorder et révoquer l’accès aux datasets et tables.
- Gestion des politiques d’accès.
Bonnes pratiques pour la sécurité des données.AtelierConfigurer les rôles et permissions pour un projet BigQuery : créer des utilisateurs avec des droits restreints et tester les accès.
Conception et optimisation des requêtes SQL
Principes de base des requêtes SQL sur BigQuery :- Requêtes SELECT simples et avancées.
- Fonctions analytiques et agrégations.
- Jointures et sous-requêtes.
Optimisation des requêtes :
- Impact des tables partitionnées et clusterisées.
- Limitation des volumes de données scannées.
- Utilisation des indexes pour améliorer les performances.AtelierExécuter des requêtes complexes sur un dataset volumineux : explorer les méthodes pour réduire les temps d’exécution et optimiser les coûts.
Pipelines d’analyse avec matérialisation et dématérialisation
Notions de pipeline de données sur BigQuery :- Tables matérialisées vs vues standards.
- Quand et pourquoi utiliser des tables matérialisées ?
Gestion des workflows d’analyse :
- Automatisation avec Cloud Scheduler et Cloud Functions.
- Intégration avec Airflow pour les pipelines complexes.AtelierMettre en place un pipeline complet : création d’une table matérialisée, mise à jour automatique avec des données récentes, et comparaison avec une vue non matérialisée.
Public cible :
Ce cours s’adresse aux analystes de données, développeurs, et administrateurs qui souhaitent exploiter BigQuery pour des analyses de données massives.
Prérequis :
Des connaissances préalables en SQL sont nécessaires pour suivre cette formation. Vous pouvez les acquérir en suivant la formation SQL : les fondamentaux (OIBB).
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Date de mise à jour du programme : 07/03/2025
Dates et lieux
Période souhaitée
Lieux
Type d'affichage