- Référence : DPRS
- Durée : 5 jours (35h)
- Lieu : Au choix. À distance ou en présentiel, à Paris ou en Régions
3800€ HT
Choisir une date et Réserver- NEW
Formation DataOps : pipelines résilients et scalables
Concevoir et automatiser des pipelines
Durée
5 jours
Niveau
Fondamental
Classe à distance
Possible
Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...
Référence
DPRS
Éligible CPF
Non
Qu'est-ce que DataOps ?
DataOps est une approche méthodologique et technologique qui applique les principes DevOps aux flux de données. Elle vise à améliorer la qualité, la rapidité et la fiabilité de la gestion des données, en automatisant les processus de traitement et de livraison. En intégrant collaboration, automatisation et surveillance, DataOps permet d’assurer des pipelines de données plus robustes et évolutifs.
Pourquoi suivre une formation DataOps : pipelines résilients et scalables ?
Dans un contexte où les entreprises doivent traiter des volumes massifs de données en temps réel, savoir concevoir et automatiser des pipelines fiables est devenu un atout stratégique. Cette formation donne aux professionnels les compétences nécessaires pour déployer des architectures scalables, gérer la qualité des données et réduire les risques opérationnels. En maîtrisant DataOps, les participants pourront accélérer la mise en production des projets Data et améliorer la collaboration entre équipes techniques et métiers.
Objectif opérationnel :
Savoir concevoir, automatiser et superviser des pipelines de données résilients et scalables.
Objectif pédagogiques :
À l'issue de cette formation DataOps : pipelines résilients et scalables, vous aurez acquis les connaissances nécessaires pour :
- Définir une stratégie Data ambitieuse et réaliste
- Evaluer les priorités Data de l'organisation en fonction de l'état des lieux et de la vision
- Identifier et pratiquer les meilleures technologies disponibles et leur articulation / complémentarité (MLflow, Airflow, DVC, Delta Lake, Evidently AI, Optuna...)
- Construire des plateformes DataOps pour minimiser le Time To Value.
Public :
Cette formation est destinée aux ingénieurs DevOps, ingénieurs Data, Data Scientists, Data Analysts, développeurs, architectes Data, chefs de projets, managers, cadres dirigeants, consultants.
Prérequis :
Avoir des connaissances en bases de données et/ou analytiques.
Jour 1
Evolution des analytiques : des Data Warehouses aux Lakehouses et Data Mesh
Stratégie des données, valeur des données, sémantique des données, BPM (Business Process Management)
La stratégie des données, et différence avec les stratégies IT et de gouvernance de données
Définir la vision
Déterminer et aligner les objectifs des pipelines avec la vision
Cartographie de la chaîne de valeur (Value Stream Mapping)
Apports des analytiques et du Cloud
Qu'est-ce qu'une organisation Data Driven ?
Cycle de vie de la Data, gouvernance et qualité des données
Lean, Agilité et DevOps appliqués aux données
Apports du DataOps
DevOps vs DataOps vs MLOps
Analytiques et opérations : briser le mur de la confusion
Constituer et former les Data Teams
Introduction à Microsoft Azure
Etudes de cas DataOpsExemple de travaux pratiques (à titre indicatif)Contrôle de version des données avec DVC et GitJour 2
Conception de pipelines
Les trois variantes d'implémentation de pipelines
MLflow: la plateforme indispensable pour le tracking des expériences et la gestion des modèles
Exemples d'implémentations avec MLflow Projects et MLflow Recipes
Importance du versioning modèle-dataset pour la traçabilitéExemples de travaux pratiques (à titre indicatif)Création d'un pipeline MLflow intégrant Git et DVC
Déploiement du meilleur modèle suite à Grid Search / Randomized Search / Optimisation bayésienne
Détection du data drift et du feature drift avec MLflow et EvidentlyJour 3
Build vs Buy
Choisir les bons outils : cartes de Wardley, radar technologique
Intégration, préparation, traitement et management des données
Reproductibilité, déploiement, orchestration, et surveillance
Infrastructure de calcul et moteur d'exécution de requêtes
Stockage, plateformes et outils d'analytics
Faire évoluer la pile technologique
Concevoir des pipelines robustes avec Airflow
Planifier des workflows complexes avec AirflowExemples de travaux pratiques (à titre indicatif)Amélioration du pipeline précédent avec Airflow
Planification de l'exécution du pipeline en fonction d'évènementsJour 4
Extraire la valeur des données
Surveiller la qualité avec la MSP (Maîtrise Statistique des Procédés)
Mesurer les bénéfices
Animer les rétrospectives et assurer l'amélioration continueExemples de travaux pratiques (à titre indicatif)Optimiser l'empreinte des modèles (CPU, RAM, stockage) avec MLflow et Optuna
Serving de plusieurs modèles via un seul point de terminaison avec MLflow et PyFuncJour 5
Culture DataOps et conduite du changement
Centraliser les plateformes : exemple de Delta Lake
Tout automatiser
L'organisation Self-ServiceExemples de travaux pratiques (à titre indicatif)IA responsable : suivre l'interprétabilité et l'explicabilité des modèles avec MLflow, SHAP, LIME et interpretML
Mise en place d'une plateforme de données avec Spark et Delta Lake
Fondamentaux
Qu'est-ce qu'une donnée ?Evolution des analytiques : des Data Warehouses aux Lakehouses et Data Mesh
Stratégie des données, valeur des données, sémantique des données, BPM (Business Process Management)
La stratégie des données, et différence avec les stratégies IT et de gouvernance de données
Définir la vision
Déterminer et aligner les objectifs des pipelines avec la vision
Cartographie de la chaîne de valeur (Value Stream Mapping)
Apports des analytiques et du Cloud
Qu'est-ce qu'une organisation Data Driven ?
Cycle de vie de la Data, gouvernance et qualité des données
Lean, Agilité et DevOps appliqués aux données
Apports du DataOps
DevOps vs DataOps vs MLOps
Analytiques et opérations : briser le mur de la confusion
Constituer et former les Data Teams
Introduction à Microsoft Azure
Etudes de cas DataOpsExemple de travaux pratiques (à titre indicatif)Contrôle de version des données avec DVC et GitJour 2
Scoping et définition des éléments des pipelines DataOps
Processus de développement Agile DataOps : idéation, "inception", R&D, transition / productionConception de pipelines
Les trois variantes d'implémentation de pipelines
MLflow: la plateforme indispensable pour le tracking des expériences et la gestion des modèles
Exemples d'implémentations avec MLflow Projects et MLflow Recipes
Importance du versioning modèle-dataset pour la traçabilitéExemples de travaux pratiques (à titre indicatif)Création d'un pipeline MLflow intégrant Git et DVC
Déploiement du meilleur modèle suite à Grid Search / Randomized Search / Optimisation bayésienne
Détection du data drift et du feature drift avec MLflow et EvidentlyJour 3
Les technologies DataOps
Ecosystème des technologies DataOpsBuild vs Buy
Choisir les bons outils : cartes de Wardley, radar technologique
Intégration, préparation, traitement et management des données
Reproductibilité, déploiement, orchestration, et surveillance
Infrastructure de calcul et moteur d'exécution de requêtes
Stockage, plateformes et outils d'analytics
Faire évoluer la pile technologique
Concevoir des pipelines robustes avec Airflow
Planifier des workflows complexes avec AirflowExemples de travaux pratiques (à titre indicatif)Amélioration du pipeline précédent avec Airflow
Planification de l'exécution du pipeline en fonction d'évènementsJour 4
Produire la valeur
Planifier les itérationsExtraire la valeur des données
Surveiller la qualité avec la MSP (Maîtrise Statistique des Procédés)
Mesurer les bénéfices
Animer les rétrospectives et assurer l'amélioration continueExemples de travaux pratiques (à titre indicatif)Optimiser l'empreinte des modèles (CPU, RAM, stockage) avec MLflow et Optuna
Serving de plusieurs modèles via un seul point de terminaison avec MLflow et PyFuncJour 5
Le DataOps Factory
Importance de la gouvernance des donnéesCulture DataOps et conduite du changement
Centraliser les plateformes : exemple de Delta Lake
Tout automatiser
L'organisation Self-ServiceExemples de travaux pratiques (à titre indicatif)IA responsable : suivre l'interprétabilité et l'explicabilité des modèles avec MLflow, SHAP, LIME et interpretML
Mise en place d'une plateforme de données avec Spark et Delta Lake
Dates et lieux
1
2
1
2
Ces formations peuvent aussi vous intéresser :
- Niveau : Intermédiaire
- Référence : AIRF
Splunk Power User Fast Start
- 4 jrs- Niveau : Intermédiaire
- Certification : Splunk Core Certified Advanced Power User
- Cours officiel : SPLUNK
- Référence : SPPU
- Niveau : Intermédiaire
- Certification : SnowPro Core Certification
- Référence : VSNO
Formations Informatique
et Management
en ligne à ce jour
+
Stagiaires dans nos salles
de cours sur
l'année
%
De participants satisfaits
ou très satisfaits de nos
formations
Formateurs experts
validés par
PLB
