Formation Talend : intégration de données pour le Big Data Maîtriser Talend dans un environnement Big Data

Durée 3 jours
Niveau Intermédiaire
Classe à distance
Possible

Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...

Référence OTBD
Éligible CPF Non

Considéré comme un pionnier de l'open source dans l'univers de la business intelligence, Talend (Talend Open Studio for Big Data) s'est également progressivement imposé comme une référence dans le Big Data. Tirant partie des bases de données cloud (Hadoop, NoSQL), Talend pour le Big Data s'appuie par ailleurs sur les modules Hadoop (HDFS, Hive, Pig) et sur de nombreux connecteurs cloud (AWS, GCP, Azure) afin de proposer de la gestion de fichiers, de l'orchestration des flux de données, de l'importation et chargement vers un data lake et naturellement les fonctionnalités ETL et ELT.

Objectif opérationnel : 

Savoir utiliser Talend dans un environnement Big Data afin de manipuler des données en masse.

Objectifs pédagogiques :

À l'issue de cette formation Talend pour le Big Data, vous aurez acquis les connaissances et compétences nécessaires pour :

  • Lister les composants et fonctionnalités de Talend dans un environnement Big Data
  • Créer des jobs Talend faisant interagir des fichiers, et base de données Big Data
  • Connaître les bonnes pratiques de développements avec Talend
  • Lire et écrire des données sur HDFS et dans des bases de données NoSQL avec des Jobs Talend
  • Réaliser des Jobs de transformation à l’aide de Pig et Hive
  • Utiliser les composants de gestion de qualité de donnée
  • Réaliser des Jobs de migration de base de données relationnelles dans Hadoop avec Sqoop
  • Créer des traitements ETL (Extraction, Transform and Load) de bout en bout en environnement Big Data

Public :

Ce cours Talend pour le Big Data s’adresse essentiellement à des consultants BI, des architectes, chefs de projets qui souhaitent gérer des flux de données avec Talend Big Data

Prérequis :

Pour faciliter le déroulement de cette formation Talend pour le Big Data, il est souhaitable que les participants disposent de connaissances préalables sur Hadoop, Spark et Kafka.

Jour 1

Concepts de bases

Tour d’horizon des composants et philosophie de l’outils
Ouvrir un projet 
Quelles différences pour Talend dans le contexte Big Data 
Les spécificités liées au Big Data 
Monitorer un cluster Hadoop
Créer un cluster de métadonnées

Lire et écrire des données en HDFS

Principes d’un système de fichiers distribué
Enregistrer un fichier sur du HDFS
Manipulations d’un grand nombre de fichiers et de gros fichiers
Lire les données de HDFS
Hbase une base NoSQL orientée colonnes au-dessus de HDFSTravaux pratiquesUtiliser HBase pour sauvegarder les données charger dans HDFS avec des jobs Talend
Lecture écriture de données dans la base

Travailler avec les tables

Comment apporter la dimension relationnelle ?
Vue générale de Hive
Utiliser Sqoop pour faciliter la migration de bases de données relationnelles dans HadoopTravaux pratiquesRéaliser des Jobs de migration de base de données relationnelles dans Hadoop avec Sqoop
Création de tables dans HDFS avec Hive

Traitement des données et des tables en HDFS (Pig et Hive)

Traitement des tables Hive avec des jobs
Traitement des données avec Pig
Traitement des données par lotsTravaux pratiquesRéaliser des Jobs Talend de transformation à l'aide de Pig et HiveJour 2

Guide de dépannage et bonnes pratiques

Dépannage de votre cluster
Les composants de qualité de donnéesTravaux pratiquesRéaliser des Jobs de transformation et gestion de la qualité de donnée

Cas d'utilisation de clickstream (flux de clics)

Surveillance du cluster Hadoop
Créer un environnement de développement
Chargement des données dans HDFS
Enrichissement des logs
Calculer les statistiques
Conversion d'un job standard en un lot Big Data
Comprendre les jobs MapReduceTravaux pratiquesUtilisation du studio pour configurer les ressource requests vers YARN

Cas d'utilisation : l'analyse comportementale

Chargement du dictionnaire et des données du fuseau horaire dans HDFS
Chargement des tweets dans HDFS
Traitement des tweets avec MapReduce
Planification de l'exécution du jobJour 3

Introduction à Kafka

Exemples d’applications et de flux de messages
Problématiques posées pour la gestion et le dispatch de ces flux 
Ce que propose Kafka 
Publication de messages sur un sujet Kafka
Consommer des messages Kafka dans TalendTravaux pratiquesLire des messages d'un sujet Kafka donné (broker list, starting offset, topic name, etc.), paramétrer la fréquence d’analyse, extraction de champs hashtag pour modifier la casse, compteur d’occurrence

Introduction à Spark

Comprendre les bases de Spark
Analyser les données des clients
Produire et consommer des flux en temps réel
Différents modes pour les job Talend Spark  (local, standalone, yarn client)
Création d’un job Spark
Tests de Jobs Spark à l’aide de scénarios de testTravaux pratiquesCréation de jobs Spark deployés dans un cluster compatible Spark

Cas d'utilisation de traitement des logs : génération des logs enrichis

Introduction au cas d'utilisation du traitement des lois
Génération de logs bruts
Génération de logs enrichis

Traitement des logs cas d'utilisation : surveillance

Surveillance des logs enrichis

Cas d'utilisation de traitement des logs : rapports

Génération de rapports basés sur les fenêtres de données

Cas d'utilisation de traitement des logs : analyse des batchs

Ingestion de flux de données
Analyser les logs avec un batch job
Date de mise à jour du programme : 03/04/2023

Dates et lieux

1
2
Du 22 au 24 mai 2024
En bonne voie de maintien
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 22 au 24 mai 2024
En bonne voie de maintien
Lieu
Paris
Durée
3 jrs
2100 € HT
Du 19 au 21 juin 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 19 au 21 juin 2024
Lieu
Paris
Durée
3 jrs
2100 € HT
Du 24 au 26 juillet 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 24 au 26 juillet 2024
Lieu
Paris
Durée
3 jrs
2100 € HT
Du 18 au 20 septembre 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 18 au 20 septembre 2024
Lieu
Paris
Durée
3 jrs
2100 € HT
Du 23 au 25 octobre 2024
Lieu
Distanciel
Durée
3 jrs
2100 € HT
Du 23 au 25 octobre 2024
Lieu
Paris
Durée
3 jrs
2100 € HT
1
2

Logo partenaire action collective de l'OPCO Atlas Votre formation Talend prise en charge jusqu'à 100% des coûts pédagogiques ! *

Depuis 2011, PLB Consultant est partenaire des Actions Collectives Atlas pour vous proposer les meilleures formations informatique et développer vos compétences dans le Numérique :

- En présentiel dans l’une de nos salles en Régions     
- À distance depuis votre bureau     
- Sessions intra-entreprise dans toute la France.

* jusqu'à 100% des coûts pédagogiques selon votre branche d'activité dans la limite des fonds mutualisés dédiés aux actions collectives et en application des critères de prise en charge en vigueur (cf conditions détaillées sur le site d'Atlas)


Formations Informatique
et Management
en ligne à ce jour

+
Stagiaires dans nos salles
de cours sur
l'année

%
De participants satisfaits
ou très satisfaits de nos
formations


Formateurs experts
validés par
PLB