3 jours · Intermédiaire
Prochaine session : 18 nov.
2 090 € HT
Devis
Formation Spark : développer et optimiser des traitements distribués
Apache Spark est un moteur libre de traitement distribué des données.
Il répartit les calculs sur une grappe de machines et travaille en mémoire, ce qui le rend nettement plus rapide que le modèle de traitement par lots historique de Hadoop. Il traite les données par lots ou en flux, en SQL, en Python, en Scala ou en Java, et sert aussi à l'apprentissage automatique. Il fonctionne sur une grappe interne, sur les plateformes cloud ou au sein de plateformes comme Databricks. Les formations de ce domaine portent sur le développement d'applications Spark et sur leur optimisation.
Les données sont manipulées comme des tables réparties sur la grappe, avec des opérations proches de SQL.
Les transformations sont enregistrées puis optimisées ensemble ; le calcul n'a lieu qu'au moment où un résultat est demandé.
Le moteur répartit le travail entre les machines et redistribue les données lorsque c'est nécessaire.
Les mêmes opérations s'appliquent à des données qui arrivent en continu.
SQL, apprentissage automatique et traitement de graphes reposent sur le même moteur.
Un repère : les redistributions de données entre machines sont la première cause de lenteur. Leur réduction est au cœur de l'optimisation d'un traitement Spark.
Questions fréquentes
Python, Scala ou Java, et SQL.
Python est le plus utilisé, notamment en data science. Scala reste présent dans les traitements historiques et les optimisations poussées.
Décrivez votre contexte et vos outils, nous revenons vers vous sous 24 h ouvrées avec un programme et un devis.
9 formations
3 jours · Intermédiaire
Prochaine session : 18 nov.
2 090 € HT
Devis2 jours · Avancé
Aucune session prévue
Intra uniquement
Devis3 jours · Intermédiaire
Prochaine session : 2 déc.
2 090 € HT
Devis2 jours · Intermédiaire
Prochaine session : 16 nov.
1 800 € HT
Devis4 jours · Fondamental
Prochaine session : 2 nov.
2 490 € HT
Devis4 jours · Fondamental
Prochaine session : 3 nov.
2 490 € HT
Devis4 jours · Intermédiaire
Prochaine session : 24 nov.
2 990 € HT
Devis4 jours · Avancé
Aucune session prévue
Intra uniquement
Devis3 jours · Intermédiaire
Prochaine session : 26 oct.
2 090 € HT
Devis