Cette formation Hadoop Administration Cloudera vous apporte les compétences et connaissances nécessaires pour :
Les fonctionnalités du framework Hadoop
Les différentes versions
Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
Spécificités de chaque distribution
Architecture et principe de fonctionnement
Terminologie : NameNode, DataNode, ResourceManager, NodeManager
Rôle des différents composants
Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce, Oozie, Pig, Hive, HBase...
Infrastructure / Mise en œuvre : Avro, Ambari, Zookeeper, Pig, Tez, Oozie,
Vue d'ensemble
Gestion des données
Exemple de sqoop
Restitution : webhdfs, Hive, Hawq, Mahout, ElasticSearch...
Outils complémentaires : Spark, SparkQL, SparkMLib, Storm, BigTop, Zebra
Outils complémentaires de développement : Cascading, Scalding, Flink
Outils complémentaires d'analyse : RHadoop, Hama, Chukwa, Kafka
Présentation de Cloudera Manager
Installation en mode distribué
Configuration de l'environnement, étude des fichiers de configuration : core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
Création des users pour les daemons hdfs et yarn,droits d'accès sur les exécutables et répertoires.
Lancement des services
Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc...
Gestion de la grappe, différentes méthodes : ligne de commandes, API Rest, serveur http intégré, API natives
Exemples en ligne de commandes avec hdfs, yarn, mapred
Présentation des fonctions offertes par le serveur HTTP
Travaux Pratiques :
Organisation et configuration d'une grappe Hadoop avec Cloudera Manager
Traitement de données
Requêtage SQL avec Impala
Outils complémentaires à Yarn et hdfs : Jconsole, Jconsole Yarn
Exemples sur le suivi de charges, l'analyse des journaux
Principe de gestion des noeuds, accès JMX
Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
Mise en oeuvre sur des exemples simples de récupération de fichiers
Gestion centralisée de caches avec Cacheadmin
Mise en place de la haute disponibilité sur une distribution Cloudera
Passafe d'un système HDFS en mode HA
Explication et démonstration d'une fédération de cluster Hadoop
Mécanismes de sécurité et mise en œuvre pratique : Activation de la sécurité avec Kerberos dans core-site.xml
Sécurisation de Yarn avec la mise en œuvre d'un proxy et d'un Linux Container Executor
Installation d'une grappe Hadoop. Lancement des services.
Principe de la supervision des éléments par le NodeManager
Travaux Pratiques :
Visualisation des alertes en cas d'indisponibilité d'un noeud
Configuration des logs avec log4j.
Public cible :
Cette formation Hadoop s'adresse aux chefs de projets, administrateurs systèmes et à toute personne qui gère ou maintient un système distribué avec Hadoop.
Prérequis :
Pour suivre ce cours dans de bonnes conditions il vous faut avoir certaines connaissances des commandes des systèmes Unix/Linux.
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Date de mise à jour du programme : 12/10/2025
Les avis figurant ci-dessous sont issus des fiches d'évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
Avis de MATHIEU Adrien
GENDARMERIE NATIONALE / ROSNY SOUS BOIS
Retour d’expérience
Mon avis sur le formateur :
"Excellent formateur."
Ce que j'ai le moins apprécié :
"Le choix des restaurants"
MATHIEU Adrien
GENDARMERIE NATIONALE / ROSNY SOUS BOIS
Avis de MJ
Retour d’expérience
Mon avis sur le contenu du stage :
"attention au sens de l'impression"
MJ
Hadoop - HBase, mise en œuvre et administration
Apache Avro
Hadoop, l'écosystème
Hadoop - Analyse du Big Data en environnement Hadoop