Formation Big Data : Concevoir et piloter un projet Big Data

Cette formation Concevoir et piloter un projet Big Data vous permet de comprendre le contexte spécifique, le vocabulaire et les enjeux du Big Data afin de bien positionner les fondations d’un tel projet tant sur le plan humain, technique, sécurité, financier et juridique.

L’écosystème technologique du Big Data (infrastructure Hadoop, NoSQL, collecte, qualité des données, analyse, MapReduce, Machine Learning, dataviz, etc.) vous apparaîtra clairement ainsi que les liens entre ces composants au niveau technique mais aussi du projet. Le facteur humain et les bonnes pratiques en matière de gouvernance des données dans un projet Big Data seront également abordés.

Objectif opérationnel : 

Savoir concevoir et piloter un projet Big Data.

Objectifs pédagogiques :

Concrètement à l’issue de cette formation Concevoir et piloter un projet Big Data vous aurez acquis les connaissances et compétences nécessaires pour :

• Comprendre les spécificités d’un projet Big Data
• Comprendre les risques et le cadre juridique d’un projet Big Data
• Comprendre l’ensemble des technologies et les liens entre elles
• Comprendre les métiers concernés par un projet Big Data
• Savoir constituer et piloter l’équipe d’un projet Big Data
• Savoir mettre en place une gouvernance des données efficace
• Savoir piloter le cycle de vie des données (collecte, exploitation, analyse, visualisation)
• Savoir mettre en place des tests cohérents.

Public :

Ce cours s'adresse aux chefs de projet et aux coordonnateurs de données (Data Steward).

Prérequis :

Pour suivre ce cours, il est demandé de connaître les bases de données relationnelles, le langage SQL et d'avoir une expérience en conduite de projet. Idéalement avoir suivi la formation Big Data : Enjeux, concepts, architectures et outils (OBIF) ou une formation générale sur le Big Data. Certains supports de cours et autres livres sur le sujet sont souvent proposés en anglais, maitriser le vocabulaire anglophone est donc conseillé.

Définition et contexte spécifique des projets Big Data

Les origines du Big Data
Les données au cœur des enjeux
Explosion du nombre de données
Liens entre Big Data et internet des objets (IoT)
Problématique des données structurées, semi-structurées, non structurées dans un projet Big Data
Définition d’un système Big Data
Architecture générale et fonctionnement
Les différentes offres du marché

Propriété de la donnée, environnement juridique du traitement, sécurité

Sécurité éthique et enjeux juridiques
Les données personnelles
Les informations sensibles, interdites de collecte
La CNIL régule les données numériques
Les accords intra-pays

Technologies, compétences et métiers

Ranger les technologies dans les bonnes cases (Hadoop, MapReduce, Pig, Hive, Impala, Spark, Elasticsearch, etc.)
Différences de savoir-faire pour le chef de projet avec la BI « traditionnelle »
Léger zoom sur Hadoop
Les métiers « informatiques » concernés par le Big Data (administrateur, développeur, analyste, data scientist, etc.)
Quel élargissement des compétences pour les administrateurs et les développeurs Hadoop ?
Synthèse : exemple d’une architecture Big Data en production et positionnement des métiers
La journée type du chef de projet Big Data
Conséquences financières des choix techniques

Comprendre et traiter les spécificités d’un projet Big Data au sens organisationnel, méthodologique, technologique, économique, juridique et humain

Quelle démarche méthodologique et quelles étapes clé du chantier ?
Les prérequis à réunir et points de vigilance à surveiller ?
Comment gouverner et piloter le chantier Big Data ?
Quels sont les contributeurs internes à mobiliser ? Les profils et compétences nécessaires à intégrer ?
La connaissance de la question

Composer et piloter une équipe Big Data

Hadoop dans le SI : Processus d’adoption
Comment conserver les ressources humaines « rares » dans le contexte du Big Data ?
Datalab : une équipe, un lieu, une approche
Comment élaborer un Datalab ?

Manager le processus de mise en place d’un projet Big Data

Gouvernance des Données et « Culture Données »
Définir une véritable stratégie Données
Partager les enjeux
Investir sur des initiatives ciblées et porteuses de valeur pour les métiers
Rompre avec les visions en silos
Promouvoir une « Culture Données »
Savoir communiquer (marketing digital)

Identifier les besoins et le type de données à traiter avec les métiers (use cases)

À travers différents cas d’école piochés sur l’Open Data, nous effectuons des use cases permettant de définir les indicateurs clés à déterminer
La viabilité de chaque effort est bien sûr mesurée par la détermination du ROI

La collecte et le stockage des données

Quelles données ?
Quelles sources ?
L’importance de la qualité des données (data quality)
Exemple de traitement avec un ETL dédié Big Data
Résumé : les différentes phases de la collecte dans un projet

L’exploitation des données

Données structurées, semi structurées et non structurées
La réconciliation avec le référenciel interne
La question du Master Data Management
Big Data ou Smart Data ?

L’analyse des données

Définition de l’analyse statistique
La Datascience
La place du Data scientist dans un projet Big Data
Datamining
L’implémentation d’indicateurs à destination du décisionnel
Résumé : les différentes phases et formes de l’analyse dans un projet

La visualisation des données (Dataviz)

Ce que les statistiques ne disent pas
Les objectifs de la visualisation
Quels graphes pour quels usages ?
Représentation de données complexes (encodage visuel, visualisation interactive)
Savoir communiquer sur les analyses de données (Data Storytelling)

Piloter et maîtriser les risques des projets Big Data

Différentes méthodes pour piloter un datalab :
- Business Driven
- Lean
- Scrum

Tests et analyses de performances

Stratégie pour le code de débogage MapReduce
Test local du code en utilisant LocalJobRunner
Écriture et utilisation de fichiers journaux

Études de cas / mises en situation

Une étude de cas illustre les notions enseignées. Elle s’attache à la chaîne globale d'un projet Big Data, pas uniquement à sa conception et à son pilotage.
 

Il est possible de suivre cette formation Projet Big Data à distance. Vous participez en temps réel à la même session en même temps que les autres participants présents eux en salle de cours. Un kit spécial formation à distance vous sera envoyé avec notamment le matériel (casque micro). Vous n’avez besoin que d’un navigateur et d’une connexion internet pour suivre dans les meilleures conditions ce cours à distance Projet Big Data. Contactez-nous pour plus d’informations sur cette formation en direct de chez vous ou depuis votre bureau.