- Référence : IKAA
- Durée : 3 jours (21h)
- Lieu : Au choix. À distance ou en présentiel, à Paris ou en Régions
1995€ HT
Choisir une date et RéserverFormation Kafka - Centraliser les flux de données en temps réel
Durée
3 jours
Niveau
Intermédiaire
Classe à distance
Possible
Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...
Référence
IKAA
Éligible CPF
Non
Kafka est un système de messagerie distribuée construit pour supporter les flux d’évènements liés au Big Data. Développé initialement par LinkedIn, il est dorénavant distribué en Open Source par la fondation Apache et connaît un fort déploiement en entreprise.
Cette formation Kafka Flux de données orientée développeurs et architectes a pour vocation de faire comprendre les cas d’utilisation d’Apache Kafka et de proposer de nombreux ateliers pratiques permettant de se familiariser avec les différentes APIs de Kafka et les principales configurations possibles pour les producteurs et consommateurs de message.
Objectif opérationnel :
Savoir mettre en œuvre Apache Kafka pour utiliser un système de messagerie distribuée à haut débit.
Objectifs pédagogiques :
À l'issue de cette formation Kafka Flux de données, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre le fonctionnement d’Apache Kafka
- Connaître et mettre en œuvre les bonnes pratiques liées à l’utilisation d’une messagerie distribuée
- Savoir intégrer les flux d’évènements et d’autres données liées au Big Data à Kafka
- Être capable d’interagir avec les APIs de Kafka
- Connaître le fonctionnement et les différences entre KSQL et Kafka Streams
- Savoir intégrer la sécurité au sein d’un projet Apache Kafka
Public :
Ce cours Kafka Flux de données s’adresse principalement aux architectes et développeurs souhaitant apprendre à utiliser Apache Kafka pour manipuler des flux de données. Les architectes et développeurs concernés travaillent dans un environnement DevOps et manipulent plusieurs applications au quotidien.
Prérequis :
Les participants à cette formation Kafka Flux de données possèdent des notions d’architectures applicatives exercées en entreprise ainsi qu’une pratique concrète des APIs et des microservices. Ces notions de communications inter-applications leur permettront de mieux appréhender le fonctionnement d’une messagerie distribuée et la mise en relation avec des applications externes.
Jour 1
Les différents cas d'utilisation de Kafka et retours d’expérience
Event-processing vs database centric applications
Traitement de flux en temps réel, les enjeux du Big Data
Les composants du système : Zookeeper, brokers, topics, consumers, producers
Analyse préalable à la mise en service de kafka, les différents modes de distribution de message et leur garantie, bonnes pratiques
Connexion cliente via zkCli.sh
Configuration d'un broker Kafka
Traces d'un broker, Structure de stockage du commit log
Utilitaires fournis par la distribution
Tâche de gestion de clusterAtelierCycle de construction, déploiement dans registre et exécution d’une imageJour 2
Consumer API, Choix du désérialiseur, Indépendance vis-à -vis du consommateur
Frameworks (Spring, Quarkus, VertX)
Connect API, Intégration et importation de données provenant d’autres systèmes, Alternatives à Connect API
Autres APIS (AdminClient et KafkaStream)AtelierDéveloppement de Producteur/Consommateur de message
Évènements et horodatage, fenêtre temporelle
Dualité des streams et des tables, agrégation, jointure
Développement avec Kafka Stream, Comparaison Processor API et DSL
Transformation stateless
Transformations stateful : agrégations, jointures, fenêtrage
Requêtes interactivesAtelierDéveloppement de Kstream et KTableJour 3
Cas d’utilisation de ksqlDB
Écosystème de ksqlDB
Alternatives de mise en place
Syntaxe SQL appliquée aux Streams
Opérateurs et fonctions
API Rest
Cas d’utilisation typiques : mise à jour automatique de vues, Pipeline ETL, microservices piloté par évènementsAtelierDéploiement stand-alone, atelier de démarrage suivi des trois cas d’utilisation typique
Authentification des connections clients / brokers, les différentes alternatives
Authentification des connections brokers / Zookeeper
Mise en place de TLS pour les échanges de données
Autorisation des clients, opérations read/write
Intégration avec des annuaires externes
Introduction à Apache Kafka
Naissance, historique, objectifs du projetLes différents cas d'utilisation de Kafka et retours d’expérience
Event-processing vs database centric applications
Traitement de flux en temps réel, les enjeux du Big Data
Les composants du système : Zookeeper, brokers, topics, consumers, producers
Analyse préalable à la mise en service de kafka, les différents modes de distribution de message et leur garantie, bonnes pratiques
Prise en main d'un cluster Kafka
Ensemble Zookeeper, rôle de l'ensembleConnexion cliente via zkCli.sh
Configuration d'un broker Kafka
Traces d'un broker, Structure de stockage du commit log
Utilitaires fournis par la distribution
Tâche de gestion de clusterAtelierCycle de construction, déploiement dans registre et exécution d’une imageJour 2
Kafka APIs
Producer API, Choix de la sérialisation des données JSON, Avro, StringConsumer API, Choix du désérialiseur, Indépendance vis-à -vis du consommateur
Frameworks (Spring, Quarkus, VertX)
Connect API, Intégration et importation de données provenant d’autres systèmes, Alternatives à Connect API
Autres APIS (AdminClient et KafkaStream)AtelierDéveloppement de Producteur/Consommateur de message
Kafka Streams
Typologie des processeurs, topologie de processeurs, scalabilité et tâchesÉvènements et horodatage, fenêtre temporelle
Dualité des streams et des tables, agrégation, jointure
Développement avec Kafka Stream, Comparaison Processor API et DSL
Transformation stateless
Transformations stateful : agrégations, jointures, fenêtrage
Requêtes interactivesAtelierDéveloppement de Kstream et KTableJour 3
ksqlDB
ksqlDB vs Kafka StreamsCas d’utilisation de ksqlDB
Écosystème de ksqlDB
Alternatives de mise en place
Syntaxe SQL appliquée aux Streams
Opérateurs et fonctions
API Rest
Cas d’utilisation typiques : mise à jour automatique de vues, Pipeline ETL, microservices piloté par évènementsAtelierDéploiement stand-alone, atelier de démarrage suivi des trois cas d’utilisation typique
Sécurité
Enjeux de la sécurité des clusters KafkaAuthentification des connections clients / brokers, les différentes alternatives
Authentification des connections brokers / Zookeeper
Mise en place de TLS pour les échanges de données
Autorisation des clients, opérations read/write
Intégration avec des annuaires externes
Dates et lieux
Votre formation Kafka prise en charge jusqu'à 100% des coûts pédagogiques ! *
Depuis 2011, PLB Consultant est partenaire des Actions Collectives Atlas pour vous proposer les meilleures formations informatique et développer vos compétences dans le Numérique :
- En présentiel dans l’une de nos salles en Régions
- À distance depuis votre bureau
- Sessions intra-entreprise dans toute la France.
* jusqu'à 100% des coûts pédagogiques selon votre branche d'activité dans la limite des fonds mutualisés dédiés aux actions collectives et en application des critères de prise en charge en vigueur (cf conditions détaillées sur le site d'Atlas)
Avis des participants à la formation Kafka - Centraliser les flux de données en temps réel
Les avis figurant ci-dessous sont issus des fiches d’évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
MMR
5/5
Ces formations peuvent aussi vous intéresser :
Formations Informatique
et Management
en ligne à ce jour
+
Stagiaires dans nos salles
de cours sur
l'année
%
De participants satisfaits
ou très satisfaits de nos
formations
Formateurs experts
validés par
PLB
