Formation Data Engineering on Google Cloud Platform

Qu'est-ce que Data Engineering on Google Cloud Platform ?
La Data Engineering sur Google Cloud Platform (GCP) est une discipline clé pour la conception de systèmes de traitement de données sur le cloud. Elle englobe la construction de pipelines de données, le stockage optimisé, et le traitement efficace des flux de données structurées et non structurées. Les ingénieurs utilisent des outils comme BigQuery, Cloud Storage, et Dataflow pour gérer les processus de transformation, de chargement et de nettoyage des données.

Pourquoi suivre une formation Data Engineering on Google Cloud Platform ?
Dans un environnement où les volumes de données augmentent de manière exponentielle, une formation sur GCP permet de maîtriser la gestion des flux de données à grande échelle. Elle permet d’automatiser les pipelines, d’optimiser la gestion des ressources et d’accroître la scalabilité des infrastructures cloud. De plus, elle apporte des compétences précieuses en machine learning et en analytique, ouvrant des opportunités dans les domaines de la data science et de l’intelligence artificielle.

Objectif opérationnel : 

Savoir développer des compétences pour concevoir et gérer des systèmes de traitement de données à grande échelle sur Google Cloud.

Objectifs pédagogiques : 

À l'issue de cette Data Engineering on Google Cloud Platform vous aurez acquis les connaissances et les compétences nécessaires pour :

• Conception et déploiement de pipelines et d’architectures pour le traitement des données
• Création et déploiement de workflows de machine learning
• Interrogation des ensembles de données
• Visualisation des résultats des requêtes et création de rapports

Public :

Ce cours s'adresse aux développeurs expérimentés qui sont responsables de la gestion des transformations des mégadonnées, notamment: l’extraction, le chargement, la transformation, le nettoyage et la validation des données.

Prérequis :

Pour suivre ce cours "Google Cloud Platform : L'Essentiel du Big Data et du Machine Learning", il est recommandé de : 

• Avoir suivi le cours Google Cloud Fundamentals: Big Data & Machine Learning ou avoir une expérience équivalente
• Avoir des compétences de base avec un langage de requête commun tel que SQL
• Avoir une experience avec la modélisation de données et l ‘ETL
• Développement d’applications à l’aide d’un langage de programmation commun tel que Python
• Avoir des connaissances du machine learning et / ou des statistiques

Introduction à l’ingénierie des données

Construire un Data Lake​

Construire un Data Warehouse

Introduction à la construction de pipelines de données par lots EL, ELT, ETL

Exécution de Spark sur Cloud Dataproc

Traitement de données sans serveur avec Cloud Dataflow

Gestion des pipelines de données avec Cloud Data Fusion et Cloud Composer

Introduction au traitement de données en streaming

Serverless messaging avec Cloud Pub/Sub

Fonctionnalités streaming de Cloud Dataflow

Fonctionnalités Streaming à haut débit BigQuery et Bigtable

Fonctionnalité avancées de BigQuery et performance

Introduction à l’analytique et à l’IA

API de modèle ML prédéfinies pour les données non structurées

Big Data Analytics avec les notebooks Cloud AI Platform

Pipelines de production ML avec Kubeflow

Création de modèles personnalisés avec SQL dans BigQuery ML

Création de modèles personnalisés avec Cloud AutoML