Hadoop - Cloudera pour administrateur
- Durée
- Durée :3 jours
- Niveau
- Niveau :Intermédiaire
- Certification
- Certification :Non
2100€ HT
Prochaine session :
Hadoop - Développement
Développement Hortonworks ou ClouderaDescription de la formation Developpement Hadoop
La gestion des ensembles de données volumineux offre aux entreprises de toutes tailles de nouvelles opportunités et de nouveaux défis à relever. Au cours de cette formation Développement Hadoop, vous allez acquérir les compétences pratiques de programmation nécessaires pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce auxquelles vous pourrez traiter efficacement différents types de Big Data.
Lors de cette formation, vous utiliserez plusieurs produits dédiés au Big Data, Apache Hadoop, MapReduce, le système de fichiers distribué Hadoop (HDFS), HBase, Hive et Pig. Vous étudierez aussi d'autres composants de l'écosystème dont l’apport du standard Spark dans le traitement des données.
Selon la session choisie, la distribution peut changer entre Cloudera et Hortonworks. Contactez notre service commercial pour connaître la solution choisie sur les sessions à venir.
Programme de la formation
Objectif opérationnel :
Savoir développer avec Hadoop des applications pour le traitement de gros volumes de données.
Objectifs pédagogiques :
À l'issue de cette formation Hadoop vous aurez acquis les connaissances et compétences nécessaires pour :
- Identifier les fonctionnalités d’Hadoop et son écosystème
- Développer des algorithmes parallèles efficaces avec MapReduce
- Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés et apporter ainsi de la valeur à votre entreprise
- Développer des tâches parallèles MapReduce performantes
- Charger des données en environnement HDFS et HBase (données non structurées)
- Découvrir la puissance des traitements de données avec Spark
Jour 1
Identifier le projet et les modules : Hadoop Common, HDFS, YARN, MapReduce
Utilisation de Yarn pour piloter les jobs mapreduce
Données structurées et non-structurées
Utiliser les fonctions map() et reduce().
Couples (clés, valeurs).
Implémentation par le framework Hadoop.
Étude d'exemplesTravaux PratiquesRédaction d'un premier programme et exécution avec Hadoop
Identifier les interfaces principales : mapper, reducer,
Importance de la configuration HDFS sur le découpage en blocs et les mappers
La chaîne de production : entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
Gérer le partitionnement des données afin d’équilibrer la charge sur un cluster..
Format des entrées et sorties d'un job MapReduce : InputFormat et OutputFormat.Travaux PratiquesType personnalisés : création d'un writable spécifique. Utilisation. Contraintes.Jour 2
Accès à des systèmes externes : S3, hdfs, har, ...
Configuration des sorties vers une unité de persistanceTravaux PratiquesRépartition du job sur la ferme au travers de yarn.
Échantillonnage de données.
Définition de fenêtre temporelle en regard des données consommées.
Liaisons avec des systèmes externes.Travaux PratiquesSuivi d'un job en streaming
Commandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
Désactiver une table ou l'effacer : disable (enable), drop, ...
Programmation de scripts (shell proposé par Hbase)
Gestion des tables : principe des filtres
Mise en œuvre de filtres de recherche, paramètres des tables
Présentation des espaces de nommageTravaux PratiquesUtilisation de données structurée avec HBase en Map/Reduce.
Traitement de données depuis un datalake vers un datalabJour 3
Syntaxe de base.
Définition d’un mapping de données issus de HBase afin de requêter en SQL
Charger et stocker les données efficacement avec SerDes
Concevoir la disposition des données pour la performance
Automatisation de requêtes sur un flux de donnéesTravaux PratiquesCréation de tables. Ecriture de requêtes HiveQL.
Extraire des données en SQL avec utilisation de fonctions définies par l’utilisateur.
Standard de fait : pour son approche SQL : DataFrame
Echantillonnage de données ou streaming structuré
Big Data sur les graphes : Page ranking
Machine Learning à partir de données structurées (Spark ML)Travaux PratiquesExploitation de données CSV par une interprétation SQL Big Data
Introduction
Définir les fonctionnalités du framework Hadoop et son écosystèmeIdentifier le projet et les modules : Hadoop Common, HDFS, YARN, MapReduce
Utilisation de Yarn pour piloter les jobs mapreduce
MapReduce
Déterminer le principe et objectifs du modèle de programmation MapReduceDonnées structurées et non-structurées
Utiliser les fonctions map() et reduce().
Couples (clés, valeurs).
Implémentation par le framework Hadoop.
Étude d'exemplesTravaux PratiquesRédaction d'un premier programme et exécution avec Hadoop
Programmation
Configuration des jobs, notion de configuration.Identifier les interfaces principales : mapper, reducer,
Importance de la configuration HDFS sur le découpage en blocs et les mappers
La chaîne de production : entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
Gérer le partitionnement des données afin d’équilibrer la charge sur un cluster..
Format des entrées et sorties d'un job MapReduce : InputFormat et OutputFormat.Travaux PratiquesType personnalisés : création d'un writable spécifique. Utilisation. Contraintes.Jour 2
Outils complémentaires
Paramétrage d'un job : ToolRunner, transmission de propriétés.Accès à des systèmes externes : S3, hdfs, har, ...
Configuration des sorties vers une unité de persistanceTravaux PratiquesRépartition du job sur la ferme au travers de yarn.
Streaming
Définir le streaming map/reduce.Échantillonnage de données.
Définition de fenêtre temporelle en regard des données consommées.
Liaisons avec des systèmes externes.Travaux PratiquesSuivi d'un job en streaming
HBase
Présentation des différentes interfaces disponiblesCommandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
Désactiver une table ou l'effacer : disable (enable), drop, ...
Programmation de scripts (shell proposé par Hbase)
Gestion des tables : principe des filtres
Mise en œuvre de filtres de recherche, paramètres des tables
Présentation des espaces de nommageTravaux PratiquesUtilisation de données structurée avec HBase en Map/Reduce.
Traitement de données depuis un datalake vers un datalabJour 3
Hive
Simplification du requêtage.Syntaxe de base.
Définition d’un mapping de données issus de HBase afin de requêter en SQL
Charger et stocker les données efficacement avec SerDes
Concevoir la disposition des données pour la performance
Automatisation de requêtes sur un flux de donnéesTravaux PratiquesCréation de tables. Ecriture de requêtes HiveQL.
Extraire des données en SQL avec utilisation de fonctions définies par l’utilisateur.
Introduction à Spark
Programmation de haut niveau pour le Big Data : RDDStandard de fait : pour son approche SQL : DataFrame
Echantillonnage de données ou streaming structuré
Big Data sur les graphes : Page ranking
Machine Learning à partir de données structurées (Spark ML)Travaux PratiquesExploitation de données CSV par une interprétation SQL Big Data
Public cible :
Ce cours Hadoop Développement s'adresse essentiellement aux chefs de projets, développeurs, data scientists et architectes amenés à développer des applications avec Hadoop dans un environnement Big Data. Il conviendra également aux ingénieurs ou à toute personne souhaitant comprendre les techniques de développement dans l'environnement Hadoop.
Prérequis :
Pour suivre cette formation Hadoop Développement dans les meilleures conditions possibles, il est recommandé d’avoir une bonne connaissance d'un langage de programmation objet (Java, C#, Python, etc.) et du scripting.
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Date de mise à jour du programme : 20/11/2025
Dates et lieux
Période souhaitée
Lieux
Type d'affichage