- Cours pratique
- Informatique
Formation Dask : mise en œuvre de la programmation parallèle en Python
Mise à l'échelle des outils Python
- Durée
- 3 jours
- Niveau
- Intermédiaire
- Modalités
- Présentiel / Distanciel
Description de la formation Dask
Cette formation est consacrée à la mise en œuvre de Dask pour la parallélisation et le traitement distribué de données en Python. Elle aborde les mécanismes de calcul parallèle, l'utilisation des collections Dask Array, Dask Bag et Dask DataFrame, ainsi que les méthodes permettant de passer à l'échelle sur un serveur unique ou dans un environnement distribué.
Les participants découvrent également l'architecture de Dask, la gestion des performances, les outils de supervision et de débogage, ainsi que l'intégration avec les principaux écosystèmes de data science et de machine learning tels que Pandas, NumPy, Scikit-learn, PyTorch et TensorFlow
Objectifs pédagogiques
Objectifs pédagogiques :
À l'issue de cette formation Dask, vous aurez acquis les connaissances et compétences nécessaires pour :
- Savoir utiliser les DataFrames
- Faciliter la mise à l’échelle des bibliothèques PyData
- Mettre à l’échelle différents types de codes
- Comprendre comment déployer localement des tâches à l’aide de plusieurs processus Python
Objectifs opérationnels
Objectif opérationnel :
Savoir mettre en œuvre Dask pour paralléliser des calculs en Python.
Programme
Contenu du cours, module par module
6 modules
- Présentation de Dask, fonctionnalités, apports.
- Comparaison avec d'autres environnements : yarn, spark.
- Calculs parallèles en environnements distribués, ou sur un seul serveur.
- Les composants de Dask : scheduler, collections BigData.
- Différentes méthodes d'installation : Anaconda, pip, depuis les sources
Atelier
- Array : cas d'usages, compatibilité NumPy, définition de chunks, exemples, bonnes pratiques
- Bag : définition, limites
- Dask Dataframes : regroupement de dataframes pandas, stockage sur disque ou dans un cluster, critères de choix par rapport aux dataframes pandas, bonne pratiques, compatibilité avec Parquet, intégration de tables SQL
- Delayed ou Futures : une exécution stockée dans un graphe d'actions, ou en temps réel, critères de choix
Atelier
Atelier
Atelier
- Gestion des performances
- Configuration du scheduler
- Les graphes d'exécution
- Utilisation du dashboard
- Outils de debugging
Atelier
- Fonctionnalités : exécution dans un environnement distribué ou en local, outils de diagnostic et de suivi des performances, utilisation de l'API Futures pour des calculs en temps réel
- Architecture : dask-scheduler et dask-worker
- Présentation du dashboard
- Analyse des performances
- Limites de Dask.distributed
- Bonnes pratiques
Atelier
- Apports : utiliser les outils classiques de machine learning comme scikit-learn dans un environnement Dask
- Exemples d'utilisation : modèles complexes, volumes de données importants
- Présentation de Dask-ML et principe de fonctionnement
- Intégration scikit-learn, PyTorch, Keras / Tensorflow
Atelier
Programme mis à jour le 08/10/2025
Public concerné
Ce cours s'adresse aux chefs de projet, data scientists, développeurs et architectes.
Prérequis
Des connaissances préalables de Python sont nécessaires pour suivre cette formation. Vous pouvez les acquérir en suivant la formation Python, programmation objet (OPYT).
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- Data Visualisation en PythonRéf. OPDV3 joursIntermédiaireProchaine session : 16 déc.2 090 €
- Découvrir Python et l'analyse de donnéesRéf. OAPY5 joursFondamentalProchaine session : 7 déc.3 050 €
- Déployer un modèle Machine Learning en production avec PythonRéf. OPLM3 joursIntermédiaireProchaine session : 16 nov.2 090 €
- Développement d'interfaces graphiques avec TkinterRéf. DIGT3 joursFondamentalProchaine session : 7 avr.2 090 €