Formation Kafka Streams & ksqlDB : Traitement de flux de messages avec Kafka Streams et ksqlDB Développer des application de stream-processing / Confluent KSQL

Kafka Streams est une librairie permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka.

La librairie Kafka Streams permet de définir une topologie de processeurs adossés à des topics Kafka, chaque processeur effectuant des transformations sur les événements.
L’API définit les abstractions KStream et KTable permettant d’agréger et de joindre des flux d’évènements, en offrant des abstractions proches des modèles relationnels (vue dynamique des données, langage de requêtage...).

ksqlDB pousse encore plus loin cette abstraction en fournissant une base de données dédiée aux applications de traitement d’événements.

Apache Kafka, Kafka Streams et ksqlDB sont des briques devenues aujourd'hui quasiment indispensables aux architectures microservices dont les supports de persistance sont dispersés.

Objectif opérationnel :

Connaître les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux ainsi que l'offre ksqlDB.

Objectifs pédagogiques :

Concrètement à l'issue de cette formation Kafka Streams & ksqlDB vous serez en mesure de :

• Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
• Appréhender l’offre de ksqlDB
• Développer des micro-services qui transforment, enrichissent, filtrent et agrègent des flux d’événements
• Construire, packager et déployer une application Kafka Streams
• Monitorer une application Kafka Streams

Public :

Ce cours Kafka Streams & ksqlDB s'adresse aux architectes d'entreprise, aux développeurs et plus généralement à toute personne impliquée dans la construction ou l’exploitation d’un système de traitement massif d’événements.

Prérequis :

Pour suivre cette formation Kafka Streams & ksqlDB, il est nécessaire de posséder une connaissance préalable de Kafka. Vous pouvez l'acquérir en suivant la  formation Kafka : Messagerie distribuée avec Apache Kafka (AKAF).

Introduction à Apache Kafka Streams

Event-processing vs database centric applications
Évolution des architectures des systèmes, rôle du message broker
Enjeux du Big Data et Stream Data, Real-time Analysis
Kafka Streams vs Apache Spark ou Apache Storm
Rappels sur Apache Kafka, Cluster, Topics et Partitions, APIs, Garanties de livraison

Travaux Pratiques :

Démarrage d’un cluster Kafka
Rappels sur les fichiers de configuration

Les principes de Kafka Streams

Typologie des processeurs, topologie de processeurs, scalabilité et tâches
Évènements et horodatage, fenêtre temporelle
Dualité des streams et des tables, agrégation
Gestion d’états, les state store, requêtes interactives
Partitionnement de flux, modèle concurrentiel et garantie d’ordre

Développer une application Kafka Streams

Alternatives aux développements, dépendance, mise en place
Configuration et test d’une application Kafka Streams
Mise en place d'une programmatique de topologie
DSL comparaison avec la processor API
Sources et destinations Kafka
Transformation stateless
Transformations stateful : agrégations, jointures, fenêtrage
Requêtes interactives

Travaux Pratiques :

Processor APIs
Cas de tests
DS
Agrégations
Jointures
Fenêtrage

ksqlDB

ksqlDB vs Kafka Streams
Cas d’utilisation de ksqlDB
Écosystème de ksqlDB
Alternatives de mise en place
Syntaxe SQL appliquée aux Streams
Opérateurs et fonctions
API Rest
Cas d’utilisation typiques : mise à jour automatique de vues, Pipeline ETL, microservices piloté par évènements

Travaux Pratiques :

Déploiement standalone, atelier de démarrage suivi des trois cas d’utilisation typique

Déploiement

Formats de packaging et plateformes d’exécution
Modèles de sécurité
Gestion des schémas
Tracing
Monitoring

Travaux Pratiques :

Déploiement orchestrateur de conteneurs
RBAC et secrets
Gestion de schémas