Description de la formation Apache Kafka Developer

Qu'est-ce que Confluent Developer Skills for Apache Kafka® ?
Cette formation porte sur les compétences nécessaires pour développer des applications avec Apache Kafka et la plateforme Confluent. Vous apprendrez à publier et à consommer des messages dans un cluster Kafka, ainsi qu’à utiliser Kafka Streams, Kafka Connect et ksqlDB.

Pourquoi suivre une formation Confluent Developer Skills for Apache Kafka® ?
Avec la montée en puissance des systèmes de diffusion d’événements, Kafka est devenu un élément clé pour les architectures de traitement de données en temps réel. Maîtriser Kafka et ses outils connexes, comme Confluent, permet de construire des pipelines de données performants et scalables, tout en ouvrant des perspectives dans le domaine du traitement de flux.

Objectifs

Objectifs opérationnel :

Savoir développer des applications Kafka en intégrant des producteurs, des consommateurs et des pipelines de données avec Kafka Connect et Kafka Streams.

Objectifs pédagogiques :

A l'issue de cette formation Apache Kafka Developer, vous aurez acquis les connaissances nécessaires pour :

Écrire aux producteurs et aux consommateurs pour envoyer et lire des données à Kafka
Intégrer Kafka à des systèmes externes à l’aide de Kafka Connect
Écrire des applications de streaming avec Kafka Streams & ksqlDB
Intégrer une application cliente Kafka avec Confluent Cloud

À qui s'adresse cette formation ?

Public :

Ce cours s'adresse aux développeurs d’applications, les développeurs ETL (extraction, transformation et chargement) et les data scientists qui ont besoin d’interagir avec les clusters Kafka en tant que source ou destination de données.

Prérequis :

Pour suivre cette formation, il est recommandé d'être familiarisés avec le développement d’applications professionnelles en Java (de préférence), C# ou Python. De plus, une connaissance pratique de l’architecture Apache Kafka est requise pour ce cours

Contenu du cours Apache Kafka Developer

Fondamentaux d’Apache Kafka®

Expliquez la valeur d’une plate-forme de diffusion d’événements distribués
Expliquez comment l’abstraction de « journal » permet une plate-forme de diffusion d’événements distribuée
Expliquer les concepts de base de : Brokers, Topics, Partitions et Segments, Records (également appelés messages, événements), politiques de rétention, producteurs, consommateurs et sérialisation, réplication, Kafka Connect

Produire des messages pour Kafka

Esquissez l’architecture de haut niveau d’un producteur Kafka
Illustrer le partitionnement basé sur les clés
Expliquez la différence entre acks=0, acks=1 et acks=all
Configurer delivery.timeout.ms pour contrôler le comportement des nouvelles tentatives
Créer un fichier producer.properties personnalisé
Ajustez le débit et la latence à l’aide du traitement par lots
Créer un producteur avec Confluent REST Proxy

Consommer des messages de Kafka

Illustrer comment les groupes de consommateurs et les partitions offrent une évolutivité et une tolérance aux pannes
Accordez les consommateurs pour éviter les rééquilibrages excessifs
Expliquer la différence entre les stratégies d’attribution de partition « range » et « round robin »
Créer un fichier consumer.properties personnalisé
Utiliser l’API Consumer pour gérer les offsets
Ajuster les requêtes fetch
Créer un consommateur avec Confluent REST Proxy

Gestion des schémas dans Apache Kafka®

Décrire les schémas Kafka et leur fonctionnement
Utilisez le Confluent Schema Registry pour guider l’évolution du schéma
Écrire et lire des messages à l’aide de Kafka compatible avec les schémas

Traitement de flux avec Kafka Streams

Comparer KStreams à KTables
Créer un fichier streams.properties personnalisé
Expliquer ce qu’est le co-partitionnement et pourquoi il est important
Écrire une application utilisant le Streams DSL (Domain-SpecificLanguage)

Pipelines de données avec Kafka Connect

Expliquer la motivation de Kafka Connect
Liste des connecteurs couramment utilisés
Expliquer les différences entre le mode autonome et le mode distribué
Configurer et utiliser Kafka Connect

Applications de streaming d’événements avec ksqlDB

Utiliser ksqlDB pour filtrer et transformer un flux
Écrire une requête ksqlDB qui joint deux flux ou un flux et une table
Écrire une requête ksqlDB qui agrège les valeurs par clé et fenêtre de temps
Rédiger des requêtes Push et Pull et expliquer les différences entre elles
Créer un connecteur avec ksqlDB

Décisions de conception

Répertorier les moyens d’éviter les messages volumineux
Décider quand utiliser ksqlDB vs Kafka Streams vs Kafka Connect SMT
Expliquer les différences et les compromis entre les garanties de traitement
Traiter les décisions qui découlent du partitionnement basé sur les clés
Authentifier une application cliente avec un cluster Kafka sécurisé

Confluent Cloud

Expliquer ce que signifie « fully-managed » dans le contexte de Confluent Cloud
Authentifier un client Kafka sur Confluent Cloud
Effectuer des opérations de base avec la CLI ccloud

Date de mise à jour du programme : 22/10/2024

Dates et lieux

Période souhaitée

Lieux

Du 12 au 14 mai 2025

Lieu

Distanciel

Durée

3 jrs

2100 € HT

Du 24 au 26 septembre 2025