Formation Data Warehousing with BigQuery : Storage Design, Query Optimization, and Administration Découvrez l'architecture de BigQuery et les bonnes pratiques de conception, de lecture, d'optimisation et d'administration de votre entrepôt de données

Durée 3 jours
Niveau Intermédiaire
Classe à distance
Possible

Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...

Référence BIGQ
Éligible CPF Non
Cours officiel Google

Durant cette formation BigQuery vous découvrirez les composants internes de BigQuery et les bonnes pratiques de conception, d’optimisation et d’administration de votre entrepôt de données.

Grâce à une combinaison de passages théoriques, de démonstrations et d’ateliers, vous découvrirez l’architecture BigQuery et découvrirez comment concevoir un stockage et des schémas optimaux pour l’ingestion et les modifications de données. Ensuite, vous apprendrez des techniques pour améliorer les performances de lecture, optimiser les requêtes, gérer les charges de travail et utiliser les outils de journalisation et de surveillance.

Vous découvrirez également les différents modèles de tarification. Enfin, vous apprendrez différentes méthodes pour sécuriser les données, automatiser les charges de travail et créer des modèles de machine learning avec BigQuery ML.

Objectif opérationnel :

Savoir maîtriser les bonnes pratiques de conception, d’optimisation et d’administration de votre entrepôt de données BigQuery.

Objectifs pédagogiques : 

À l'issue de cette formation BigQuery vous aurez acquis les connaissances et les compétences nécessaires pour :

  • Décrire les principes de base de l’architecture BigQuery
  • Implémenter des modèles de conception de stockage et de schéma pour améliorer les performances
  • Utiliser DML et planifier des transferts de données pour ingérer des données
  • Appliquer les meilleures pratiques pour améliorer l’efficacité de la lecture et optimiser les performances des requêtes
  • Gérer la capacité et automatiser les charges de travail
  • Comprendre les modèles par rapport aux anti-modèles pour optimiser les requêtes et améliorer les performances de lecture
  • Utiliser des outils de journalisation et de surveillance pour comprendre et optimiser les modèles d’utilisation
  • Appliquer les meilleures pratiques de sécurité pour gérer les données et les ressources
  • Créer et déployer plusieurs catégories de modèles de machine learning avec BigQuery ML

Public :

Ce cours BigQuery s'adresse aux analystes de données, data scientists, ingénieurs de données et développeurs qui effectuent des travaux à grande échelle nécessitant des connaissances internes avancées de BigQuery pour optimiser les performances.

Prérequis :

Pour suivre cette formation BigQuery il est recommandé d'avoir des connaissances préalables en Big Data et en machine learning. Vous pouvez les acquérir en suivant par exemple la formation Machine Learning : État de l'art et bonnes pratiques (OMLE).

Principes de base de l’architecture BigQuery

Introduction
Infrastructure centrale BigQuery
Stockage BigQuery
Traitement des requêtes BigQuery
Shuffling des données BigQuery

Optimisations de stockage et de schéma

Stockage BigQuery
Partitionnement et clustering
Champs imbriqués et répétés
Syntaxe ARRAY et STRUCT
Les meilleures pratiques

Ingestion de données

Options d’intégration de données
Ingestion par lots
Ingestion de diffusion en continu
Legacy Streaming API
BigQuery Storage Write API
Matérialisation des requêtes
Interroger des sources de données externes
Service de transfert de données

Modification des données

Gestion du changement dans les entrepôts de données
Gestion des Slowly Changing Dimensions (SCD)
Déclarations DML
Bonnes pratiques DML et problèmes courants

Améliorer les performances de lecture

Cache de BigQuery
Vues matérialisées
BI Engine
Lectures à haut débit
API de lecture de stockage BigQuery

Optimisation et dépannage des requêtes

Exécution simple des requêtes
SELECT et Agrégation
JOIN et JOIN biaisés
Filtrage et classement
Meilleures pratiques pour les fonctions

Gestion de la charge de travail et tarification

Emplacements BigQuery
Modèles de tarification et estimations
Réservations de créneaux
Contrôle des coûts

Journalisation et surveillance

Cloud Monitoring
BigQuery Admin Panel
Cloud Audit Logs
INFORMATION_SCHEMA
Chemin de requête et erreurs courantes

Security in BigQuery

Ressources sécurisées avec IAM
Vues autorisées
Données sécurisées avec classification
Chiffrement
Découverte et gouvernance des données

Automatisation des charges de travail

Planifier des requêtes
Script
Procédures stockées
Intégration avec les produits Big Data

Apprentissage automatique dans BigQuery

Présentation de BigQuery ML
Comment faire des prédictions avec BigQuery ML
Comment créer et déployer un système de recommandation avec BigQuery ML
Comment créer et déployer une solution de prévision de la demande avec BigQuery ML
Modèles de séries temporelles avec BigQuery ML
BigQuery ML Explainability
Date de mise à jour du programme : 20/03/2024

Dates et lieux

Du 15 au 18 mai 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 16 au 18 octobre 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 18 au 20 décembre 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT


Formations Informatique
et Management
en ligne à ce jour

+
Stagiaires dans nos salles
de cours sur
l'année

%
De participants satisfaits
ou très satisfaits de nos
formations


Formateurs experts
validés par
PLB