Formation Storm - Traitement de flux de données avec Storm

Connu pour sa capacité de traitement en temps réél, le framework Apache Storm se distingue par sa capacité à effectuer des calculs complexes, de l'analyse, et à traiter les flux de données reapidement et de façon fiable. Storm répond ainsi efficacement aux problématiques du Big Data.

À l'issue de cette formation Storm, vous saurez ainsi :

• Mettre en œuvre Storm pour le traitement de flux de données
• Installer un cluster Storm et assurer la Haute Disponibilité

Public :

Ce stage Storm s'adresse aux chefs de projet, aux Data Scientists et aux développeurs.

Prérequis :

La connaissance d'un langage de programmation comme Java ou Python est nécessaire pour suivre ce cours Storm.

Introduction à Storm

Présentation de Storm : fonctionnalités, architecture, langages supportés
Définitions : spout, bolt, topology

Architecture de Storm

Étude des composants d'un cluster Storm : master node 'nimbus' et worker nodes
Positionnement par rapport à un cluster Hadoop
Le modèle de données
Différents types de flux

Premiers pas avec Storm

Configuration d'un environnement de développement
Installation d'un cluster Storm

Travaux Pratiques :

Exercices sur le projet storm-starter

Flux de données

Définition du nombre de flux dans un nœud, création de topologies regroupant des flux entre différents nœuds
Communication entre flux en JSON, lecture de flux d'origines diverses (JMS, Kafka...)

Haute Disponibilité avec Storm

Tolérance aux pannes : principe de fiabilisation des master node, workers node, nimbus
Garantie de traitement des flux : principe, paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
Traitements temps réel avec Trident
Scalabilité : parallélisme dans un cluster Storm, ajouts de nœuds, commande 'storm rebalance'