Python avancé sur Databricks : notebooks, PySpark, SQL, visualisation et MLflow
- Durée
- Durée :4 jours
- Niveau
- Niveau :Avancé
- Certification
- Certification :Non
Intra uniquement
Aucune session prévue
Apache Spark pour les développeurs Java
Développer des applications distribuées avec Apache Spark et Java pour traiter efficacement de grands volumes de donnéesDescription de la formation Apache Spark Java
Qu'est-ce qu'Apache Spark ?
Apache Spark est un moteur de calcul distribué conçu pour traiter rapidement de grands volumes de données. Grâce à ses capacités de traitement batch, streaming, analytique et machine learning, Spark est devenu l'un des composants majeurs des architectures Big Data et Data Engineering modernes.
Pourquoi suivre une formation Apache Spark pour les développeurs Java ?
Les développeurs Java intervenant sur des plateformes Data doivent être capables de concevoir des traitements distribués performants, d'exploiter les APIs Spark et de comprendre les mécanismes d'optimisation propres aux architectures Big Data. Cette formation permet d'acquérir les compétences nécessaires pour développer, déployer et optimiser des applications Spark en Java dans des environnements de production.
Programme de la formation
Objectif opérationnel :
Savoir développer, déployer et optimiser des applications Apache Spark en Java afin de traiter efficacement des données massives dans un environnement distribué.
Objectif pédagogiques :
À l'issue de cette formation Apache Spark pour les développeurs Java, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre l'architecture et le modèle d'exécution de Spark
- Développer des traitements distribués avec l'API Java
- Manipuler les RDD, DataFrames et Datasets
- Utiliser Spark SQL pour traiter des données structurées
- Lire et écrire des données dans différents formats
- Déployer une application Spark sur un cluster
- Diagnostiquer les problèmes de performance
- Optimiser les traitements distribués
- Découvrir Structured Streaming
- Mettre en œuvre les premiers traitements de Machine Learning avec MLlib
Jour 1
Comparaison avec Hadoop MapReduce
Modules Spark Core, SQL, Streaming, MLlib et GraphX
Architecture Driver, Executors et Cluster Manager
Notions de Job, Stage et Task
Projet Maven et SparkSessionTravaux pratiquesObjectif : Comprendre le fonctionnement général de Spark et préparer l'environnement de développement.
Description : Installation de l'environnement, configuration du projet Java et réalisation d'un premier traitement de comptage sur le jeu de données des arbres de Paris. Les participants découvrent le modèle distribué de Spark et valident les premiers traitements.
Transformations et actions
Évaluation paresseuse et lineage
Accumulateurs et variables broadcastées
Gestion des partitionsTravaux pratiquesObjectif : Comprendre les mécanismes fondamentaux du calcul distribué.
Description : Agrégations et jointures sur les arbres de Paris via l'API RDD. Mesure de l'impact du partitionnement sur les performances et analyse de la tolérance aux pannes.Jour 2
Spark SQL et optimiseur Catalyst
Sources CSV, JSON, Parquet et JDBC
Interopérabilité RDD et DataFrames
Lecture et écriture de donnéesTravaux pratiquesObjectif : Manipuler efficacement des données structurées avec Spark.
Description : Requêtes SQL, jointures sur les archives météo NOAA, connexion JDBC à une base externe et écriture des résultats au format Parquet.Architectures Standalone et YARN
Packaging Maven
Gestion des dépendances
Déploiement avec spark-submit
Configuration des ressourcesTravaux pratiquesObjectif : Déployer une application Spark sur un cluster.
Description : Packaging du traitement météo, génération de l'artefact exécutable et soumission sur un cluster Spark standalone avec analyse de l'utilisation des ressources.Jour 3
Narrow et Wide Dependencies
Shuffles et coûts associés
Cache et Persist
Repartition, Coalesce et Broadcast Joins
Localité des donnéesTravaux pratiquesObjectif : Diagnostiquer et optimiser les performances d'un traitement Spark.
Description : Profilage d'un job lent à l'aide de Spark UI, identification des goulots d'étranglement et optimisation mesurée avant/après.
Intégration Kafka
Fenêtres temporelles
Introduction à GraphX
Spark MLlib
Classification et régression
Construction d'un pipeline MLTravaux pratiquesObjectif : Découvrir les capacités avancées de Spark.
Description : Mise en œuvre d'un pipeline de streaming consommant des événements en temps réel puis entraînement d'un modèle MLlib simple sur les données météo.
Découvrir Spark et son modèle de calcul distribué
Présentation d'Apache Spark et de son écosystèmeComparaison avec Hadoop MapReduce
Modules Spark Core, SQL, Streaming, MLlib et GraphX
Architecture Driver, Executors et Cluster Manager
Notions de Job, Stage et Task
Projet Maven et SparkSessionTravaux pratiquesObjectif : Comprendre le fonctionnement général de Spark et préparer l'environnement de développement.
Description : Installation de l'environnement, configuration du projet Java et réalisation d'un premier traitement de comptage sur le jeu de données des arbres de Paris. Les participants découvrent le modèle distribué de Spark et valident les premiers traitements.
Maîtriser les RDD, la brique fondatrice
Création et manipulation des RDDTransformations et actions
Évaluation paresseuse et lineage
Accumulateurs et variables broadcastées
Gestion des partitionsTravaux pratiquesObjectif : Comprendre les mécanismes fondamentaux du calcul distribué.
Description : Agrégations et jointures sur les arbres de Paris via l'API RDD. Mesure de l'impact du partitionnement sur les performances et analyse de la tolérance aux pannes.Jour 2
Exploiter des données structurées avec Spark SQL
DataFrames et DatasetsSpark SQL et optimiseur Catalyst
Sources CSV, JSON, Parquet et JDBC
Interopérabilité RDD et DataFrames
Lecture et écriture de donnéesTravaux pratiquesObjectif : Manipuler efficacement des données structurées avec Spark.
Description : Requêtes SQL, jointures sur les archives météo NOAA, connexion JDBC à une base externe et écriture des résultats au format Parquet.Architectures Standalone et YARN
Packaging Maven
Gestion des dépendances
Déploiement avec spark-submit
Configuration des ressourcesTravaux pratiquesObjectif : Déployer une application Spark sur un cluster.
Description : Packaging du traitement météo, génération de l'artefact exécutable et soumission sur un cluster Spark standalone avec analyse de l'utilisation des ressources.Jour 3
Optimiser et fiabiliser les traitements
Lecture du DAG dans Spark UINarrow et Wide Dependencies
Shuffles et coûts associés
Cache et Persist
Repartition, Coalesce et Broadcast Joins
Localité des donnéesTravaux pratiquesObjectif : Diagnostiquer et optimiser les performances d'un traitement Spark.
Description : Profilage d'un job lent à l'aide de Spark UI, identification des goulots d'étranglement et optimisation mesurée avant/après.
Aller plus loin : temps réel, graphes et machine learning
Structured StreamingIntégration Kafka
Fenêtres temporelles
Introduction à GraphX
Spark MLlib
Classification et régression
Construction d'un pipeline MLTravaux pratiquesObjectif : Découvrir les capacités avancées de Spark.
Description : Mise en œuvre d'un pipeline de streaming consommant des événements en temps réel puis entraînement d'un modèle MLlib simple sur les données météo.
Public cible :
Ce cours s'adresse aux développeurs Java, développeurs Big Data, Data Engineers et architectes techniques souhaitant développer des applications distribuées avec Apache Spark.
Prérequis :
Pour suivre cette formation, il est nécessaire de maîtriser le langage Java ainsi que les concepts de programmation orientée objet. Des connaissances de base en SQL sont recommandées.
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Les travaux pratiques représentent environ 60 % de la formation. Les participants développent progressivement une application Spark complète exploitant différents jeux de données réels.
Date de mise à jour du programme : 10/06/2026
Dates et lieux
Période souhaitée
Lieux
Type d'affichage