Hadoop - Cloudera pour administrateur

Introduction à Hadoop Cloudera

Les fonctionnalités du framework Hadoop
Les différentes versions
Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
Spécificités de chaque distribution
Architecture et principe de fonctionnement
Terminologie : NameNode, DataNode, ResourceManager, NodeManager
Rôle des différents composants
Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce, Oozie, Pig, Hive, HBase...

Les outils Hadoop

Infrastructure / Mise en œuvre : Avro, Ambari, Zookeeper, Pig, Tez, Oozie,
Vue d'ensemble
Gestion des données
Exemple de sqoop
Restitution : webhdfs, Hive, Hawq, Mahout, ElasticSearch...
Outils complémentaires : Spark, SparkQL, SparkMLib, Storm, BigTop, Zebra
Outils complémentaires de développement : Cascading, Scalding, Flink
Outils complémentaires d'analyse : RHadoop, Hama, Chukwa, Kafka

Installation et configuration

Présentation de Cloudera Manager
Installation en mode distribué
Configuration de l'environnement, étude des fichiers de configuration : core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml et capacity-scheduler.xml
Création des users pour les daemons hdfs et yarn,droits d'accès sur les exécutables et répertoires.
Lancement des services
Démarrage des composants : hdfs, hadoop-daemon, yarn-daemon, etc...
Gestion de la grappe, différentes méthodes : ligne de commandes, API Rest, serveur http intégré, API natives
Exemples en ligne de commandes avec hdfs, yarn, mapred
Présentation des fonctions offertes par le serveur HTTP

Travaux Pratiques :

Organisation et configuration d'une grappe Hadoop avec Cloudera Manager
Traitement de données
Requêtage SQL avec Impala

Administration d'Hadoop

Outils complémentaires à Yarn et hdfs : Jconsole, Jconsole Yarn
Exemples sur le suivi de charges, l'analyse des journaux
Principe de gestion des noeuds, accès JMX
Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
Mise en oeuvre sur des exemples simples de récupération de fichiers
Gestion centralisée de caches avec Cacheadmin

Haute disponibilité

Mise en place de la haute disponibilité sur une distribution Cloudera
Passafe d'un système HDFS en mode HA
Explication et démonstration d'une fédération de cluster Hadoop

Sécurité

Mécanismes de sécurité et mise en œuvre pratique : Activation de la sécurité avec Kerberos dans core-site.xml
Sécurisation de Yarn avec la mise en œuvre d'un proxy et d'un Linux Container Executor

Exploitation

Installation d'une grappe Hadoop. Lancement des services.
Principe de la supervision des éléments par le NodeManager

Travaux Pratiques :

Visualisation des alertes en cas d'indisponibilité d'un noeud
Configuration des logs avec log4j.