Formation Kafka - Administration

Kafka est un système de messagerie distribuée construit pour supporter les flux d’évènements liés au Big Data. Développé initialement par LinkedIn, il est dorénavant distribué en Open Source par la fondation Apache et connaît un fort déploiement en entreprise.

Cette formation Kafka destinés aux administrateurs sysèmes, architectes et toute personne désirant de comprendre en profondeur l'architeture distribuée de Kafa a vocation de vous apprendre à administrer, sécuriser, surveiller un cluster Kafka.

Objectif opérationnel

Savoir administrer un cluster Kafka.

Objectifs pédagogiques

À l'issue de cette formation Kafka Administration, vous serez en mesure de :

• Comprendre les services offerts par une infra Kafka
• Installer un cluster Kafka, utiliser ses commandes en ligne
• Garantir des niveaux de fiabilités sur les topics Kafka
• Sécuriser un cluster Kafka
• Remonter les métriques Kafka dans des outils de visualisation tel que Promotheus/Grafana
• Avoir un panorama des outils d'administration disponibles

Public :

Ce cours Kafka s'adresse principalement aux administrateurs et aux architectes.

Prérequis :

Pour suivre cette formation Kafka, il est recommandé d'avoir une connaissance minimale système.

Introduction

Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l'achitecture et du rôle de chaque composant :
broker, producer, consumer
Liaison avec Zookeeper

Installation

Préconisations d'installation et prérequis
Différentes distribution disponibles
L'ensemble ZooKeeper, rôle, dimensionnement, client
Cluster Kafka,
Configuration d'un broker Kafka, Traces d'un broker, structure de stockage du commit log
Utilitaires fournis par la distribution

Travaux pratiques:

Installation, mise en place de script de démarrage/arrêt d'une architecture cluster Kafka
Création de topic et production/consommation de message les utilitaires

Cas d'usage Kafka

Kafka comme message Broker
Kafka et Kafka Connect traitement d'évènements temps-réel
Kafka, référentiel des données d'entreprise

Travaux pratiques :

Exécution d'applications implémentant les différents cas d'usage

Réplication et fiabilité

Stockage des partitions, segments et rétention
Réplication, leader, followers, ISR
Rôle du contrôleur, Arrêt d’un broker leader, d'un follower. Démarrage d'un nouveau broker
Fiabilité Producteur, Fiabilité consommateur
Sémantiques At Most Once, At Least Once, Exactly Once
Outils de validation d'une garantie de transmission

Administration

Gestion des topics
Gestion du cluster
Politique de rétention
Dimensionnement brokers, partition
Monitoring : Traces, JMX, Grafana
Autres Outils d'administration et surveillance

Sécurité

Alternatives pour la sécurité
Cryptage avec SSL
Authentification SASL
ACLs clients
Intégration avec d'autres systèmes

Les Travaux Pratiques constituent 75% de la formation pour une meilleure assimilation des compétences.

Notre contenu n'a pas pour vocation l'entraînement au passage de la certification, cependant, il couvre l'ensemble des sujets de la certification Kafka Confluent Administration, et en cela permet de grandement faciliter l'obtention de cette certification pour quelqu'un qui voudrait la passer à l'issue de cette formation.

Le coût de la certification Kafka n’est pas inclus dans le tarif.
Si le stagiaire souhaite passer la certification, il devra faire sa demande d’inscription directement sur le site web :

https://fr.confluent.io/certification/

Cout de la certification : 150$