Cette formation est-elle adaptée à mon niveau ?

Chaque fiche indique le niveau requis (Fondamental, Intermédiaire, Avancé) ainsi que les prérequis détaillés. En cas de doute, un test d'auto-évaluation est disponible directement sur la page.

La formation est-elle orientée théorie ou pratique ?

Nos formations alternent apports théoriques et travaux pratiques, pour mettre immédiatement en application les notions abordées.

Puis-je suivre cette formation à distance ?

Oui, la plupart de nos formations sont disponibles en présentiel et en classe à distance, avec le même contenu et le même niveau d'interaction avec le formateur.

Cette formation est-elle disponible en intra-entreprise ?

Oui. Nous pouvons l'organiser dans vos locaux, dans nos salles ou à distance, avec un programme adapté à votre contexte si nécessaire. Contactez notre service intra pour un devis.

Que se passe-t-il si une session est annulée ?

Nous nous engageons à maintenir les sessions garanties affichées. En cas d'annulation de notre part, nous vous proposons un report sur la prochaine session disponible.

Cette formation est-elle finançable via le CPF ?

Si la formation est éligible CPF, cela est indiqué sur la fiche avec le code de certification correspondant. Vous pouvez retrouver la formation directement sur Mon Compte Formation.

Mon employeur ou mon OPCO peut-il prendre en charge le coût ?

Oui. Contactez-nous pour obtenir une convention de formation et vérifier les possibilités de prise en charge via votre OPCO.

Spark, développer des applications pour le Big Data

4,3/5

Avec 4 avis

Prochaine session garantie : 27/04/2026

Jour 1

Introduction à Hadoop et son écosystème

Introduction générale à hadoop
La place de mapreduce
Le traitement de données avec Hadoop
Les composants d’un cluster Hadoop
Un système de fichiers distribué (HDFS)
Traitement distribué sur un cluster Hadoop (mapreduce)
Travailler avec Yarn
En quoi Spark complète-t-il Hadoop ?Travaux PratiquesManipulation de fichiers HDFS pour prendre en main l’environnement Hadoop
Exemples de traitement avec mapreduce pour introduire concrètement Spark Streaming

Architecture de Spark

Un framework offrant de nombreux services…
… mais pas de stockage (Hadoop, AWS S3, Cassandra, MongoDB, etc.)
Rôle du cœur de Spark (moteur)
RDD, la couche d’abstraction des données (Resilient Distributed Datasets)
Accéder aux données avec Spark SQL
Traiter les données en pseudo temps réel avec Spark Streaming
Développer des applications distribuées de machine learning (Spark MLib)
Quels liens entre Spark et les langages de programmation (Java, Python, R, …) ?
Manipuler les graphes avec GraphX
Limites de SparkTravaux PratiquesQuiz sur le rôle des composants du framework Spark, leurs fonctionnements, et leurs complémentarités
Premiers pas avec la console Spark (scripts simples permettant de manipuler par l’exemple les concepts présentés dans ce chapitre)

Les RDD, structures fondamentales de Spark

Introduction aux RDD
Les sources de données de RDD
Créer et sauvegarder des RDD
Les opérations sur les RDD
Écrire et passer des fonctions de transformation
Fonctionnement des transformations de Spark
Les RDD clé-valeur
Map-Reduce : principe et usage dans Spark
Autres opérations sur les RDD de paires
Exécuter des requêtes SQL (Spark SQL)
Interopérabilité avec les RDDTravaux PratiquesTransformer les données avec des RDD
Agrégation de données avec les RDD de paires
Soumissions de travaux
Exécution de requêtes SQLJour 2

Manipuler les données avec les Dataframe et Datasets

Créer des DataFrames depuis diverses sources de données
Les schémas des DataFrames
Afficher le Dataframe en mode texte (take)
Visualiser graphiquement le DataFrame (display)
Sauvegarder des DataFrames
Requêter des DataFrames avec des expressions sur les colonnes nommées
Les requêtes de groupement et d’aggrégation
Les jointures
Les différences entre Datasets et DataFrames
Créer des Datasets
Charger et sauvegarder des Datasets
Les opérations sur les Datasets
Conversion entre RDD et DataFramesTravaux PratiquesSynthèse RDD, DataSet, Dataframe :
Analyse du fonctionnement de Spark dans l’exécution de nos requêtes d’extraction de données
Création de dataframe à partir de fichiers CSV et Json, affichage et visualisation
Créer explicitement un DataFrame à partir de RDD
Manipuler des dataframe avec SQL catalyst
Écriture de requêtes SQL
Manipulations de Datasets

Machine learning avec Spark

Introduction au machine learning.
Les différentes classes d'algorithmes.
Présentation de SparkML et MLlib.
Implémentations des différents algorithmes dans MLlib.Travaux pratiquesMise en œuvre d’apprentissage supervisé au travers d’une classification.Jour 3

Analyser en temps réel avec Spark Streaming

Comprendre l’architecture du streaming.
Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l'API (agrégations, watermarking...).
Machine Learning en temps réel.Travaux pratiquesCréation de statistiques en temps réel à partir d’une source de données et prédictions à l’aide du machine learning vu dans le TP précédent.

Écriture d'une application compilée

Écrire, configurer et lancer des applications spark
Écrire une application Spark
Compiler et lancer une application
Le mode de déploiement d’une application
L’interface utilisateur web des applications Spark
Configurer les propriétés d’une applicationTravaux pratiquesDéploiement d’une application Spark

Date de mise à jour du programme : 20/11/2025

Dates et lieux

Période souhaitée

Lieux

Type d'affichage

Distanciel

27 avril - 29 avril

En bonne voie de maintien

22 juin - 24 juin

24 août - 26 août

26 octobre - 28 octobre

21 décembre - 23 décembre

Paris

27 avril - 29 avril

En bonne voie de maintien

22 juin - 24 juin

24 août - 26 août

26 octobre - 28 octobre

21 décembre - 23 décembre

Témoignages pour cette formation

Les avis figurant ci-dessous sont issus des fiches d'évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.

Avis de TCHALA Lao

UMAKE AQUITAINE

Retour d’expérience

Mon avis sur le contenu du stage :

"La formation est excellente et l'intervenant également. Il était difficile en 3 jours de revoir toute la partie architecturale et la configuration from scratch d'un cluster Hadoop ou Spark. Cette partie m'aurait aussi beaucoup intéressé."

Mon avis sur le formateur :

"Très pédagogique et patient. L'intervenant maitrise l'art de transmettre avec des temps pauses bien respectés, ni trop long, ni trop couts"

Ce que j'ai le plus apprécié :

"Agréable et propice à l'apprentissage"

Ce que j'ai le moins apprécié :

"RAS"

TCHALA Lao

UMAKE AQUITAINE

4/5

Avis de CHTANKO Constantin

APSIDE SA

Retour d’expérience

Ce que j'ai le plus apprécié :

"Le rythme de la formation"

Ce que j'ai le moins apprécié :

"Quelques difficultés avec l'utilisation de la VM (ralentissements)"

CHTANKO Constantin

APSIDE SA

5/5

Apache Spark : Programmer avec Apache Spark de Databricks

Durée: Durée :2 jours
Niveau: Niveau :Intermédiaire
Certification: Certification :Non

1800€ HT

Prochaine session : 25/06/2026

Apache Spark : Optimiser Apache Spark sur Databricks

Durée: Durée :2 jours
Niveau: Niveau :Avancé
Certification: Certification :Non

Intra uniquement

Aucune session prévue

Python avancé sur Databricks : notebooks, PySpark, SQL, visualisation et MLflow

Durée: Durée :4 jours
Niveau: Niveau :Avancé
Certification: Certification :Non

Intra uniquement

Aucune session prévue

Apache Storm - Traitement de flux de données avec Storm

Durée: Durée :2 jours
Niveau: Niveau :Intermédiaire
Certification: Certification :Non

Intra uniquement

Aucune session prévue

Voir toutes les formations Data Engineering

Spark, développer des applications pour le Big Data

Programme de la formation

Objectifs de la formation

Contenu du cours Spark Developpeurs

Introduction à Hadoop et son écosystème

Architecture de Spark

Les RDD, structures fondamentales de Spark

Manipuler les données avec les Dataframe et Datasets

Machine learning avec Spark

Analyser en temps réel avec Spark Streaming

Écriture d'une application compilée

Public et prérequis

Dates et lieux

Distanciel

Paris

Témoignages pour cette formation

Ces formations en Data Engineering peuvent aussi vous intéresser

Questions fréquentes

Cette formation est-elle adaptée à mon niveau ?

La formation est-elle orientée théorie ou pratique ?

Puis-je suivre cette formation à distance ?

Cette formation est-elle disponible en intra-entreprise ?

Que se passe-t-il si une session est annulée ?

Cette formation est-elle finançable via le CPF ?

Mon employeur ou mon OPCO peut-il prendre en charge le coût ?

Ces formations en Data Engineering peuvent aussi vous intéresser