Formation Kafka : Ingestion de messages Acquérir les bonnes pratiques de distribution de messages

Kafka est un système de messagerie distribuée construit pour supporter les flux d’évènements liés au Big Data. Développé initialement par LinkedIn, il est dorénavant distribué en Open Source par la fondation Apache et connaît un fort déploiement en entreprise.

Cette formation Kafka a pour vocation de vous apprendre à mettre en œuvre Kafka pour la distribution de messages.

À l'issue de cette formation Kafka, vous serez en mesure de :

• Comprendre le fonctionnement de Kafka
• Acquérir les bonnes pratiques de distribution de messages
• Configurer Kafka pour intégrer les données de différents formats et de sources différentes

Public :

Ce cours Kafka s'adresse aux chefs de projet et aux développeurs souhaitant mettre en œuvre Kafka pour la distribution de messages.

Prérequis :

Pour suivre cette formation Kafka, il est recommandé d'avoir une connaissance préalable de l'écosystème Hadoop ainsi que des bases de programmation objet (java, scala, python...).

Introduction à Kafka

Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
Présentation de l'achitecture et du rôle de chaque composant : broker, producer, consumer
Liaison avec Zookeeper

Mise en Å“uvre de Kafka

Préconisations d'installation et prérequis

Travaux pratiques

Installation et lancement de zookeeper et du kafka-server
Création d'un topic simple
Mise en oeuvre d'une chaîne de base
Visualisation des messages avec kafka-console-consumer

Multi-broker    

Étude de la configuration du broker

Travaux pratiques

Création d'une configuration multi-broker
Démarrage de plusieurs noeuds

La réplication    

Facteur de réplication
Partitions

Travaux pratiques

Tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect    

Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
Types de connecteurs

Travaux pratiques

Configuration de connecteurs, ingestion de données
Création d'une chaîne de transformation

Sécurisation    

Chiffrement SSL et authentification SASL
Sécurisation de l'infrastructure : Zookeeper, proxy Rest

Kafka Streams    

Les apports de Kafka Streams : applications en temps réel et microservices