- Durée
- 3 jours
- Niveau
- Intermédiaire
- Modalités
- Présentiel / Distanciel
Description de la formation Hadoop Administration Cloudera
Cette formation est consacrée à l’administration d’un cluster Hadoop avec la distribution Cloudera. Elle aborde l’architecture du framework et le rôle du NameNode, des DataNodes et du ResourceManager, l’installation en mode distribué avec Cloudera Manager ainsi que la configuration des services HDFS et YARN.
Les participants découvrent également l’administration de HDFS avec fsck et dfsadmin, la mise en haute disponibilité du cluster, la sécurisation avec Kerberos, ainsi que la supervision des nœuds et la gestion des journaux avec log4j.
Objectifs pédagogiques
Cette formation Hadoop Administration Cloudera vous apporte les compétences et connaissances nécessaires pour :
- Connaître les principes du framework Hadoop
- Savoir installer et configurer Hadoop
- Maîtriser la configuration et la gestion des services avec Cloudera Manager
Programme
Contenu du cours, module par module
7 modules
- Les fonctionnalités du framework Hadoop
- Les différentes versions
- Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
- Spécificités de chaque distribution
- Architecture et principe de fonctionnement
- Terminologie : NameNode, DataNode, ResourceManager, NodeManager
- Rôle des différents composants
- Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce, Oozie, Pig, Hive, HBase...
- Infrastructure / Mise en œuvre : Avro, Ambari, Zookeeper, Pig, Tez, Oozie,
- Vue d'ensemble
- Gestion des données
- Exemple de sqoop
- Restitution : webhdfs, Hive, Hawq, Mahout, ElasticSearch...
- Outils complémentaires : Spark, SparkQL, SparkMLib, Storm, BigTop, Zebra
- Outils complémentaires de développement : Cascading, Scalding, Flink
- Outils complémentaires d'analyse : RHadoop, Hama, Chukwa, Kafka
- Présentation de Cloudera Manager
- Installation en mode distribué
- Configuration de l'environnement, étude des fichiers de configuration : core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
- Création des users pour les daemons hdfs et yarn,droits d'accès sur les exécutables et répertoires.
- Lancement des services
- Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc...
- Gestion de la grappe, différentes méthodes : ligne de commandes, API Rest, serveur http intégré, API natives
- Exemples en ligne de commandes avec hdfs, yarn, mapred
- Présentation des fonctions offertes par le serveur HTTP
Travaux pratiques
Traitement de données
Requêtage SQL avec Impala
- Outils complémentaires à Yarn et hdfs : Jconsole, Jconsole Yarn
- Exemples sur le suivi de charges, l'analyse des journaux
- Principe de gestion des noeuds, accès JMX
- Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
- Mise en oeuvre sur des exemples simples de récupération de fichiers
- Gestion centralisée de caches avec Cacheadmin
- Mise en place de la haute disponibilité sur une distribution Cloudera
- Passafe d'un système HDFS en mode HA
- Explication et démonstration d'une fédération de cluster Hadoop
- Mécanismes de sécurité et mise en œuvre pratique : Activation de la sécurité avec Kerberos dans core-site.xml
- Sécurisation de Yarn avec la mise en œuvre d'un proxy et d'un Linux Container Executor
- Installation d'une grappe Hadoop. Lancement des services.
- Principe de la supervision des éléments par le NodeManager
Travaux pratiques
Configuration des logs avec log4j.
Programme mis à jour le 12/10/2025
Public concerné
Cette formation Hadoop s'adresse aux chefs de projets, administrateurs systèmes et à toute personne qui gère ou maintient un système distribué avec Hadoop.
Prérequis
Pour suivre ce cours dans de bonnes conditions il vous faut avoir certaines connaissances des commandes des systèmes Unix/Linux.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
4,7/5
3 avis
« Mon avis sur le formateur : "Excellent formateur." Ce que j'ai le moins apprécié : "Le choix des restaurants" »
MATHIEU AdrienGENDARMERIE NATIONALE / ROSNY SOUS BOIS « Mon avis sur le contenu du stage : "attention au sens de l'impression" »
MJ
Les avis figurant ci-dessus sont issus des fiches d’évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
Formations liées
- Hadoop - HBase, mise en œuvre et administrationRéf. HBASE2 joursIntermédiaireProchaine session : 23 nov.1 590 €
- Big Data : Architecture et InfrastructureRéf. OAIH3 joursFondamentalProchaine session : 7 déc.2 090 €
- Kafka - AdministrationRéf. IKAF3 joursIntermédiaireProchaine session : 17 déc.2 090 €
- Supervision du Big Data : Grafana, Kibana, Graphite et PrometheusRéf. BDSG3 joursFondamentalProchaine session : 16 nov.2 400 €