TensorFlow : Analyse d'images avec TensorFlow
- Durée
- Durée :3 jours
- Niveau
- Niveau :Intermédiaire
- Certification
- Certification :Non
Intra uniquement
Aucune session prévue
Machine Learning distribué avec Spark ML
Développer, optimiser et déployer des modèles de machine learning distribués avec Apache SparkDescription de la formation Spark ML
L'entraînement de modèles de machine learning sur de grands volumes de données se heurte rapidement aux limites d'une machine unique. Spark ML, la bibliothèque de machine learning d'Apache Spark, répond à cet enjeu en distribuant les traitements sur l'ensemble d'un cluster, du prétraitement des données jusqu'à l'entraînement et l'évaluation des modèles.
Articulée autour de l'API DataFrame et du concept de pipeline, Spark ML offre une approche cohérente et industrialisable : transformation des données, construction de features, entraînement d'algorithmes supervisés et non supervisés, réglage des hyperparamètres et déploiement, le tout à l'échelle. Cette unification facilite le passage du prototype à la production.
Cette formation rend les participants capables de développer, optimiser, évaluer et déployer des modèles de machine learning distribués avec Spark ML. L'approche par la pratique, structurée autour d'ateliers progressifs sur un cluster fil rouge, permet de construire dès le premier jour des pipelines de préparation de données, puis d'aborder en confiance la modélisation distribuée, l'optimisation des performances de calcul et l'industrialisation des modèles.
Programme de la formation
Objectif opérationnel :
Savoir développer et déployer des modèles Machine Learning distribués.
Objectif pédagogiques :
À l'issue de cette formation Machine Learning distribué avec Spark ML, vous aurez acquis les connaissances nécessaires pour :
- Développer des modèles ML distribués
- Optimisier les performances de calcul
- Préparer et transformer des données pour le ML
- Evaluer et déployer les modèles
Jour 1
MLlib (API RDD) et Spark ML (API DataFrame) : différences et orientation actuelle
Pourquoi distribuer le machine learning : enjeux de volume et de scalabilité
Panorama des algorithmes et outils disponibles dans Spark ML
Représentation des données : Vector, features, label
Le DataFrame comme structure centrale du ML distribué
Cycle de vie d'un pipeline MLTravaux pratiquesObjectif : Prendre en main l'environnement Spark ML et exécuter un premier pipeline minimal.
Descriptif : Mise en place de l'environnement de travail sur le cluster, chargement d'un jeu de données dans un DataFrame, et exécution d'un pipeline minimal combinant un transformer et un estimator pour se familiariser avec l'API.
Encodage des variables catégorielles (StringIndexer, OneHotEncoder)
Assemblage et normalisation des features (VectorAssembler, StandardScaler)
Extraction de features textuelles (Tokenizer, TF-IDF, Word2Vec)
Sélection de features et réduction de dimension (PCA)Travaux pratiquesObjectif : Préparer et transformer un jeu de données volumineux en vue d'un entraînement.
Descriptif : Construction d'une chaîne de préparation sur un jeu de données réel : traitement des valeurs manquantes, encodage des variables catégorielles, assemblage et normalisation des features, et production d'un DataFrame prêt pour l'entraînement.
Réutilisabilité et reproductibilité des pipelines
Sauvegarde et rechargement d'un pipelineTravaux pratiquesObjectif : Industrialiser la préparation des données sous forme de pipeline réutilisable.
Descriptif : Encapsulation des étapes de préparation dans un Pipeline Spark ML, sauvegarde du pipeline sur disque, puis rechargement et application sur un nouveau jeu de données pour valider la reproductibilité.Jour 2
Arbres de décision, forêts aléatoires et Gradient Boosted Trees
Machines à vecteurs de support (SVM linéaire)
Spécificités de l'entraînement distribué de ces algorithmesTravaux pratiquesObjectif : Développer et entraîner des modèles supervisés distribués.
Descriptif : Entraînement d'un modèle de classification (forêt aléatoire) et d'un modèle de régression sur un jeu de données volumineux, à partir du pipeline de préparation construit la veille, et première lecture des résultats.
Modèles de mélange gaussien (GMM)
Règles d'association (FP-Growth)
Cas d'usage du non supervisé à grande échelleTravaux pratiquesObjectif : Mettre en œuvre un algorithme de clustering distribué.
Descriptif : Application d'un K-Means distribué sur un jeu de données non étiqueté, choix du nombre de clusters, interprétation des groupes obtenus et visualisation synthétique des résultats.
Validation croisée (CrossValidator) et TrainValidationSplit
Grille d'hyperparamètres (ParamGridBuilder)
Sélection du meilleur modèle et risque de surapprentissage
Descriptif : Mise en place d'une validation croisée avec une grille d'hyperparamètres sur le modèle de classification, sélection automatique du meilleur jeu de paramètres et comparaison des performances avant et après optimisation.Jour 3
Mise en cache et persistance des DataFrames intermédiaires
Gestion de la mémoire et dimensionnement des executors
Réduction du shuffle et des recalculs dans un pipeline
Lecture de la Spark UI pour diagnostiquer un entraînement lentTravaux pratiquesObjectif : Optimiser les performances d'un entraînement distribué.
Descriptif : Analyse d'un entraînement coûteux via la Spark UI, mise en cache des DataFrames réutilisés, ajustement du partitionnement et des ressources des executors, et mesure du gain de temps obtenu.
Métriques de régression (RMSE, MAE, R²)
Évaluateurs Spark ML (BinaryClassificationEvaluator, RegressionEvaluator)
Matrice de confusion et interprétation des résultatsTravaux pratiquesObjectif : Évaluer et comparer les performances de plusieurs modèles.
Descriptif : Calcul des métriques d'évaluation adaptées sur le jeu de test, construction et lecture d'une matrice de confusion, et comparaison argumentée de plusieurs modèles pour sélectionner le plus pertinent.
Inférence par lots (batch) sur de nouveaux jeux de données
Inférence en flux avec Structured Streaming
Intégration d'un modèle dans un pipeline de production
Introduction au suivi des modèles et bonnes pratiques MLOpsTravaux pratiquesObjectif : Déployer un modèle entraîné pour de l'inférence sur de nouvelles données.
Descriptif : Sauvegarde du meilleur modèle, rechargement dans un nouveau contexte, mise en œuvre d'une inférence par lots sur un jeu de données inédit, puis mise en place d'une inférence en flux avec Structured Streaming.
Spark ML : positionnement et architecture
Rappels sur l'architecture distribuée de Spark (driver, executors, partitions)MLlib (API RDD) et Spark ML (API DataFrame) : différences et orientation actuelle
Pourquoi distribuer le machine learning : enjeux de volume et de scalabilité
Panorama des algorithmes et outils disponibles dans Spark ML
Les briques de Spark ML
Transformers, Estimators et Pipelines : les concepts clésReprésentation des données : Vector, features, label
Le DataFrame comme structure centrale du ML distribué
Cycle de vie d'un pipeline MLTravaux pratiquesObjectif : Prendre en main l'environnement Spark ML et exécuter un premier pipeline minimal.
Descriptif : Mise en place de l'environnement de travail sur le cluster, chargement d'un jeu de données dans un DataFrame, et exécution d'un pipeline minimal combinant un transformer et un estimator pour se familiariser avec l'API.
Préparation et transformation des données
Nettoyage et gestion des valeurs manquantes à l'échelleEncodage des variables catégorielles (StringIndexer, OneHotEncoder)
Assemblage et normalisation des features (VectorAssembler, StandardScaler)
Extraction de features textuelles (Tokenizer, TF-IDF, Word2Vec)
Sélection de features et réduction de dimension (PCA)Travaux pratiquesObjectif : Préparer et transformer un jeu de données volumineux en vue d'un entraînement.
Descriptif : Construction d'une chaîne de préparation sur un jeu de données réel : traitement des valeurs manquantes, encodage des variables catégorielles, assemblage et normalisation des features, et production d'un DataFrame prêt pour l'entraînement.
Construction de pipelines ML
Chaîner les étapes de préparation et de modélisation dans un PipelineRéutilisabilité et reproductibilité des pipelines
Sauvegarde et rechargement d'un pipelineTravaux pratiquesObjectif : Industrialiser la préparation des données sous forme de pipeline réutilisable.
Descriptif : Encapsulation des étapes de préparation dans un Pipeline Spark ML, sauvegarde du pipeline sur disque, puis rechargement et application sur un nouveau jeu de données pour valider la reproductibilité.Jour 2
Apprentissage supervisé distribué
Régression linéaire et régression logistiqueArbres de décision, forêts aléatoires et Gradient Boosted Trees
Machines à vecteurs de support (SVM linéaire)
Spécificités de l'entraînement distribué de ces algorithmesTravaux pratiquesObjectif : Développer et entraîner des modèles supervisés distribués.
Descriptif : Entraînement d'un modèle de classification (forêt aléatoire) et d'un modèle de régression sur un jeu de données volumineux, à partir du pipeline de préparation construit la veille, et première lecture des résultats.
Apprentissage non supervisé distribué
Clustering avec K-Means et Bisecting K-MeansModèles de mélange gaussien (GMM)
Règles d'association (FP-Growth)
Cas d'usage du non supervisé à grande échelleTravaux pratiquesObjectif : Mettre en œuvre un algorithme de clustering distribué.
Descriptif : Application d'un K-Means distribué sur un jeu de données non étiqueté, choix du nombre de clusters, interprétation des groupes obtenus et visualisation synthétique des résultats.
Réglage des hyperparamètres et validation
Séparation entraînement / test et fuite de donnéesValidation croisée (CrossValidator) et TrainValidationSplit
Grille d'hyperparamètres (ParamGridBuilder)
Sélection du meilleur modèle et risque de surapprentissage
Travaux pratiques
Objectif : Optimiser un modèle par validation croisée et recherche d'hyperparamètres.Descriptif : Mise en place d'une validation croisée avec une grille d'hyperparamètres sur le modèle de classification, sélection automatique du meilleur jeu de paramètres et comparaison des performances avant et après optimisation.Jour 3
Optimisation des performances de calcul
Partitionnement et parallélisme des traitements MLMise en cache et persistance des DataFrames intermédiaires
Gestion de la mémoire et dimensionnement des executors
Réduction du shuffle et des recalculs dans un pipeline
Lecture de la Spark UI pour diagnostiquer un entraînement lentTravaux pratiquesObjectif : Optimiser les performances d'un entraînement distribué.
Descriptif : Analyse d'un entraînement coûteux via la Spark UI, mise en cache des DataFrames réutilisés, ajustement du partitionnement et des ressources des executors, et mesure du gain de temps obtenu.
Évaluation des modèles
Métriques de classification (accuracy, précision, rappel, F1, AUC)Métriques de régression (RMSE, MAE, R²)
Évaluateurs Spark ML (BinaryClassificationEvaluator, RegressionEvaluator)
Matrice de confusion et interprétation des résultatsTravaux pratiquesObjectif : Évaluer et comparer les performances de plusieurs modèles.
Descriptif : Calcul des métriques d'évaluation adaptées sur le jeu de test, construction et lecture d'une matrice de confusion, et comparaison argumentée de plusieurs modèles pour sélectionner le plus pertinent.
Déploiement et industrialisation des modèles
Sauvegarde et versionnement d'un modèle entraînéInférence par lots (batch) sur de nouveaux jeux de données
Inférence en flux avec Structured Streaming
Intégration d'un modèle dans un pipeline de production
Introduction au suivi des modèles et bonnes pratiques MLOpsTravaux pratiquesObjectif : Déployer un modèle entraîné pour de l'inférence sur de nouvelles données.
Descriptif : Sauvegarde du meilleur modèle, rechargement dans un nouveau contexte, mise en œuvre d'une inférence par lots sur un jeu de données inédit, puis mise en place d'une inférence en flux avec Structured Streaming.
Public cible :
Ce cours s'adresse aux data engineers et aux data scientists amenés à concevoir et industrialiser des modèles de machine learning sur de grands volumes de données.
Il intéressera également les développeurs et les analystes de données souhaitant monter en compétence sur le machine learning distribué et le passage à l'échelle de leur traitements.
Prérequis :
Des connaissances en Python ou Scala, en Apache Spark et en machine learning sont nécessaires pour suivre cette formation. Une familiarité avec la manipulation des DataFrames Spark et avec les concepts fondamentaux du machine learning (apprentissage supervisé, jeu d'entrainement et de test, surapprentissage) facilitera le suivi des ateliers.
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Date de mise à jour du programme : 22/05/2026
Dates et lieux
Période souhaitée
Lieux
Type d'affichage