Kafka - Développement
- Durée
- Durée :3 jours
- Niveau
- Niveau :Intermédiaire
- Certification
- Certification :Kafka Confluent Developer
2100€ HT
Prochaine session :
Kafka Streams & ksqlDB : Traitement de flux de messages avec Kafka Streams et ksqlDB
Développer des application de stream-processing / Confluent KSQL4,7/5
Avec 3 avisDescription de la formation Kafka Streams ksqlDB
Kafka Streams est une librairie permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka.
La librairie Kafka Streams permet de définir une topologie de processeurs adossés à des topics Kafka, chaque processeur effectuant des transformations sur les événements.
L’API définit les abstractions KStream et KTable permettant d’agréger et de joindre des flux d’évènements, en offrant des abstractions proches des modèles relationnels (vue dynamique des données, langage de requêtage...).
ksqlDB pousse encore plus loin cette abstraction en fournissant une base de données dédiée aux applications de traitement d’événements.
Apache Kafka, Kafka Streams et ksqlDB sont des briques devenues aujourd'hui quasiment indispensables aux architectures microservices dont les supports de persistance sont dispersés.
Programme de la formation
Objectif opérationnel :
Connaître les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux ainsi que l'offre ksqlDB.
Objectifs pédagogiques :
Concrètement à l'issue de cette formation Kafka Streams & ksqlDB vous serez en mesure de :
- Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
- Appréhender l’offre de ksqlDB
- Développer des micro-services qui transforment, enrichissent, filtrent et agrègent des flux d’événements
- Construire, packager et déployer une application Kafka Streams
- Monitorer une application Kafka Streams
Introduction à Apache Kafka Streams
Event-processing vs database centric applications
Évolution des architectures des systèmes, rôle du message broker
Enjeux du Big Data et Stream Data, Real-time Analysis
Kafka Streams vs Apache Spark ou Apache Storm
Rappels sur Apache Kafka, Cluster, Topics et Partitions, APIs, Garanties de livraison
Travaux Pratiques :
Démarrage d’un cluster Kafka
Rappels sur les fichiers de configuration
Les principes de Kafka Streams
Typologie des processeurs, topologie de processeurs, scalabilité et tâches
Évènements et horodatage, fenêtre temporelle
Dualité des streams et des tables, agrégation
Gestion d’états, les state store, requêtes interactives
Partitionnement de flux, modèle concurrentiel et garantie d’ordre
Développer une application Kafka Streams
Alternatives aux développements, dépendance, mise en place
Configuration et test d’une application Kafka Streams
Mise en place d'une programmatique de topologie
DSL comparaison avec la processor API
Sources et destinations Kafka
Transformation stateless
Transformations stateful : agrégations, jointures, fenêtrage
Requêtes interactives
Travaux Pratiques :
Processor APIs
Cas de tests
DS
Agrégations
Jointures
Fenêtrage
ksqlDB
ksqlDB vs Kafka Streams
Cas d’utilisation de ksqlDB
Écosystème de ksqlDB
Alternatives de mise en place
Syntaxe SQL appliquée aux Streams
Opérateurs et fonctions
API Rest
Cas d’utilisation typiques : mise à jour automatique de vues, Pipeline ETL, microservices piloté par évènements
Travaux Pratiques :
Déploiement standalone, atelier de démarrage suivi des trois cas d’utilisation typique
Déploiement
Formats de packaging et plateformes d’exécution
Modèles de sécurité
Gestion des schémas
Tracing
Monitoring
Travaux Pratiques :
Déploiement orchestrateur de conteneurs
RBAC et secrets
Gestion de schémas
Public cible :
Ce cours Kafka Streams & ksqlDB s'adresse aux architectes d'entreprise, aux développeurs et plus généralement à toute personne impliquée dans la construction ou l’exploitation d’un système de traitement massif d’événements.
Prérequis :
Pour suivre cette formation Kafka Streams & ksqlDB, il est nécessaire de posséder une connaissance préalable de Kafka. Vous pouvez l'acquérir en suivant la formation Kafka : Messagerie distribuée avec Apache Kafka (AKAF).
J'évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Date de mise à jour du programme : 23/07/2024
Dates et lieux
Période souhaitée
Lieux
Type d'affichage