Formation Kong AI Gateway : déployer et exploiter la passerelle IA
Installer, configurer, sécuriser et maintenir Kong AI Gateway pour les flux vers les modèles d'IA et les agents
- Durée
- 3 jours
- Niveau
- Avancé
- Modalités
- Présentiel / Distanciel
Description de la formation Kong LLM Gateway
Qu'est-ce que Kong AI Gateway ?
Kong AI Gateway est l'extension IA de Kong Gateway. Elle s'appuie sur un ensemble de plugins dédiés pour router les requêtes vers les fournisseurs de modèles de langage, les sécuriser, les optimiser et les superviser. Pilotée depuis la plateforme Konnect ou en autonomie, elle gère aussi le trafic des agents IA et des outils exposés via le protocole MCP.
Pourquoi suivre une formation Kong LLM Gateway ?
À mesure que les applications d'entreprise s'appuient sur l'IA générative, la passerelle IA devient un composant critique de production : une panne, une fuite de données ou une dérive de coûts s'y répercute immédiatement. Cette formation donne aux équipes techniques la maîtrise complète du produit, du déploiement à l'exploitation quotidienne, avec une forte part de pratique. Elle complète la formation KONG, consacrée au management des API, et met en œuvre concrètement les contrôles présentés dans la formation de gouvernance KAIG.
Objectifs pédagogiques
À l'issue de cette formation Kong AI Gateway : déployer et exploiter la passerelle IA, vous aurez acquis les connaissances nécessaires pour :
- Déployer Kong AI Gateway en mode hybride avec Konnect, sur conteneurs ou sur Kubernetes
- Automatiser la configuration avec decK et l'intégrer dans un pipeline CI/CD
- Router les requêtes vers plusieurs fournisseurs de modèles avec répartition de charge et bascule automatique
- Configurer les guardrails et le masquage des données personnelles
- Optimiser les performances et les coûts grâce au cache sémantique et aux quotas de jetons
- Superviser les flux IA avec OpenTelemetry, Prometheus et Grafana
- Sécuriser l'accès des agents aux outils exposés via MCP
- Diagnostiquer les incidents et maintenir la plateforme en condition opérationnelle
Objectifs opérationnels
Savoir déployer, configurer et exploiter Kong AI Gateway pour sécuriser et fiabiliser les flux vers les modèles d'IA et les agents.
Programme
Contenu du cours, module par module
9 modules
- Rôle d'une passerelle IA et différences avec une passerelle API classique
- Plan de contrôle Konnect, plans de données et mode hybride
- Options de déploiement : conteneurs, Kubernetes avec Kong Operator, mode DB-less
- Fonctions open source et fonctions Enterprise : impacts sur l'architecture
- Dimensionnement et haute disponibilité
Travaux pratiques
Objectif :Déployer un plan de données Kong AI Gateway connecté à Konnect.
Description :Les participants créent un plan de contrôle dans Konnect et y rattachent deux nœuds de plan de données, l'un sous Docker, l'autre sur un cluster Kubernetes. Ils vérifient la synchronisation de la configuration entre le plan de contrôle et les nœuds. Ils arrêtent ensuite un nœud pour observer le comportement de la plateforme. Que devient le trafic lorsque le plan de contrôle est injoignable ? La validation repose sur des requêtes de test et la lecture de l'état des nœuds dans Konnect.
Description :Les participants créent un plan de contrôle dans Konnect et y rattachent deux nœuds de plan de données, l'un sous Docker, l'autre sur un cluster Kubernetes. Ils vérifient la synchronisation de la configuration entre le plan de contrôle et les nœuds. Ils arrêtent ensuite un nœud pour observer le comportement de la plateforme. Que devient le trafic lorsque le plan de contrôle est injoignable ? La validation repose sur des requêtes de test et la lecture de l'état des nœuds dans Konnect.
- decK : export, comparaison et synchronisation de la configuration
- Gestion des clés des fournisseurs de modèles dans un coffre de secrets
- Intégration de decK dans un pipeline CI/CD
- Environnements multiples et promotion de configuration
- Automatisation de Konnect par API et Terraform
Travaux pratiques
Objectif :Mettre la configuration de la passerelle sous gestion de version et l'appliquer automatiquement.
Description :Les participants exportent la configuration existante avec decK et la placent dans un dépôt Git. Ils déplacent les clés des fournisseurs vers un coffre de secrets et les référencent dans la configuration. Ils construisent un pipeline qui affiche les écarts puis synchronise la configuration après validation. Comment empêcher qu'une modification manuelle dans la console soit écrasée sans que personne ne le remarque ? Le pipeline est validé en déployant une modification de bout en bout.
Description :Les participants exportent la configuration existante avec decK et la placent dans un dépôt Git. Ils déplacent les clés des fournisseurs vers un coffre de secrets et les référencent dans la configuration. Ils construisent un pipeline qui affiche les écarts puis synchronise la configuration après validation. Comment empêcher qu'une modification manuelle dans la console soit écrasée sans que personne ne le remarque ? Le pipeline est validé en déployant une modification de bout en bout.
- AI Proxy : format unifié et fournisseurs pris en charge (OpenAI, Anthropic, Mistral, Azure, Bedrock, Ollama)
- AI Proxy Advanced : répartition de charge pondérée, par latence, par consommation ou par similarité sémantique
- Bascule automatique et nouvelles tentatives en cas d'indisponibilité d'un fournisseur
- Transformation des requêtes et des réponses
- Authentification des consommateurs et identification des applications
Travaux pratiques
Objectif :Construire un routage multi fournisseurs résilient.
Description :Les participants configurent AI Proxy Advanced pour répartir les requêtes entre un modèle hébergé dans le cloud et un modèle local servi par Ollama. Ils testent successivement plusieurs algorithmes de répartition et comparent leurs effets. Ils simulent ensuite la panne d'un fournisseur pour vérifier la bascule automatique. Quel algorithme retenir pour une application sensible à la latence ? Les résultats sont consignés dans une fiche de choix d'architecture relue en groupe.
Description :Les participants configurent AI Proxy Advanced pour répartir les requêtes entre un modèle hébergé dans le cloud et un modèle local servi par Ollama. Ils testent successivement plusieurs algorithmes de répartition et comparent leurs effets. Ils simulent ensuite la panne d'un fournisseur pour vérifier la bascule automatique. Quel algorithme retenir pour une application sensible à la latence ? Les résultats sont consignés dans une fiche de choix d'architecture relue en groupe.
- AI Prompt Guard : règles d'autorisation et de refus par expressions régulières
- AI Semantic Prompt Guard et AI Semantic Response Guard : filtrage par intention
- AI PII Sanitizer : catégories détectées, masquage et restauration des données
- Guardrails externes et AI Custom Guardrail
- Ordre d'exécution des plugins et tests de non-régression
Travaux pratiques
Objectif :Mettre en place une chaîne de protection complète sur les requêtes et les réponses.
Description :Les participants enchaînent un filtrage par expressions régulières, un filtrage sémantique et le masquage des données personnelles sur une même route. Ils mesurent l'impact de chaque plugin sur la latence. Ils écrivent un jeu de tests automatisés qui vérifie le blocage des requêtes interdites et le masquage des données. Dans quel ordre placer les plugins pour concilier sécurité et performance ? Les tests sont intégrés au pipeline construit le premier jour.
Description :Les participants enchaînent un filtrage par expressions régulières, un filtrage sémantique et le masquage des données personnelles sur une même route. Ils mesurent l'impact de chaque plugin sur la latence. Ils écrivent un jeu de tests automatisés qui vérifie le blocage des requêtes interdites et le masquage des données. Dans quel ordre placer les plugins pour concilier sécurité et performance ? Les tests sont intégrés au pipeline construit le premier jour.
- AI Semantic Cache : principe, base vectorielle et seuils de similarité
- AI Prompt Compressor : réduction de la taille des prompts
- AI Rate Limiting Advanced : quotas de jetons par consommateur, fournisseur et modèle
- Suivi de la consommation et analyse des coûts
- Tests de charge et réglages
Travaux pratiques
Objectif :Réduire la consommation de jetons sans dégrader le service.
Description :Les participants activent le cache sémantique avec une base Redis et ajustent le seuil de similarité. Ils définissent des quotas de jetons différenciés pour deux équipes et observent le comportement au dépassement. Ils lancent ensuite un test de charge pour mesurer le taux de réussite du cache et les économies réalisées. Jusqu'où abaisser le seuil de similarité avant de servir des réponses inadaptées ? Les mesures obtenues sont comparées à un scénario sans optimisation.
Description :Les participants activent le cache sémantique avec une base Redis et ajustent le seuil de similarité. Ils définissent des quotas de jetons différenciés pour deux équipes et observent le comportement au dépassement. Ils lancent ensuite un test de charge pour mesurer le taux de réussite du cache et les économies réalisées. Jusqu'où abaisser le seuil de similarité avant de servir des réponses inadaptées ? Les mesures obtenues sont comparées à un scénario sans optimisation.
- Journalisation des requêtes IA : contenu, jetons, latence, fournisseur
- Métriques OpenTelemetry pour les flux IA, MCP et A2A
- Tableaux de bord Prometheus et Grafana
- Analytique Konnect
- Alertes sur les erreurs, la latence et la consommation
Travaux pratiques
Objectif :Superviser la passerelle IA et détecter les anomalies.
Description :Les participants exportent les métriques de la passerelle vers Prometheus et construisent un tableau de bord Grafana. Ils y suivent les jetons consommés, la latence par fournisseur et le taux d'erreur. Ils configurent une alerte déclenchée par une hausse anormale de consommation. Quels indicateurs suffisent à repérer une dérive avant qu'elle ne coûte cher ? L'alerte est validée en générant un pic de trafic contrôlé.
Description :Les participants exportent les métriques de la passerelle vers Prometheus et construisent un tableau de bord Grafana. Ils y suivent les jetons consommés, la latence par fournisseur et le taux d'erreur. Ils configurent une alerte déclenchée par une hausse anormale de consommation. Quels indicateurs suffisent à repérer une dérive avant qu'elle ne coûte cher ? L'alerte est validée en générant un pic de trafic contrôlé.
- AI MCP Proxy : exposer un serveur MCP et convertir une API existante en outils MCP
- Contrôle d'accès aux outils et authentification OAuth
- Agrégation d'outils issus de plusieurs serveurs MCP
- Registre MCP de Konnect
- Flux d'agent à agent (A2A)
Travaux pratiques
Objectif :Exposer et sécuriser des outils MCP pour des agents IA.
Description :Les participants convertissent une API existante en outils MCP grâce à AI MCP Proxy. Ils restreignent l'accès d'un agent à certains outils et protègent l'ensemble par une authentification OAuth. Ils enregistrent le serveur dans le registre Konnect et suivent les appels d'outils dans les journaux. Comment limiter les dégâts si un agent est détourné par une injection de prompt ? Un appel non autorisé est simulé pour valider la configuration.
Description :Les participants convertissent une API existante en outils MCP grâce à AI MCP Proxy. Ils restreignent l'accès d'un agent à certains outils et protègent l'ensemble par une authentification OAuth. Ils enregistrent le serveur dans le registre Konnect et suivent les appels d'outils dans les journaux. Comment limiter les dégâts si un agent est détourné par une injection de prompt ? Un appel non autorisé est simulé pour valider la configuration.
- Montées de version des plans de données sans interruption de service
- Diagnostic : journaux d'erreurs, codes de retour, latence des fournisseurs
- Sauvegarde et restauration de la configuration
- Sécurisation de la plateforme : TLS, contrôle d'accès des administrateurs, audit
- Suivi des évolutions du produit
Travaux pratiques
Objectif :Diagnostiquer et résoudre des incidents de production.
Description :Le formateur injecte une série d'incidents dans l'environnement : clé de fournisseur expirée, quota mal configuré, plugin bloquant à tort, nœud désynchronisé. Les participants les identifient à l'aide des journaux et des métriques. Ils appliquent les corrections par le pipeline, sans modification manuelle. Quel incident aurait pu être détecté plus tôt par une alerte ? Chaque résolution est documentée dans une fiche d'exploitation.
Description :Le formateur injecte une série d'incidents dans l'environnement : clé de fournisseur expirée, quota mal configuré, plugin bloquant à tort, nœud désynchronisé. Les participants les identifient à l'aide des journaux et des métriques. Ils appliquent les corrections par le pipeline, sans modification manuelle. Quel incident aurait pu être détecté plus tôt par une alerte ? Chaque résolution est documentée dans une fiche d'exploitation.
- Analyse d'un cahier des charges d'entreprise
- Conception de l'architecture et choix des plugins
- Mise en œuvre complète par configuration déclarative
- Recette et présentation de la solution
Travaux pratiques
Objectif :Mobiliser l'ensemble des compétences acquises sur un cas complet.
Description :Par groupes, les participants reçoivent le cahier des charges d'une entreprise souhaitant ouvrir l'IA générative à ses équipes. Ils conçoivent puis déploient une passerelle couvrant le routage, la sécurité, les quotas, l'observabilité et l'accès d'un agent à des outils MCP. Chaque groupe présente son architecture et fait la démonstration de sa recette. Quels compromis ont été faits, et pourquoi ? Le formateur évalue la solution au regard des objectifs pédagogiques.
Description :Par groupes, les participants reçoivent le cahier des charges d'une entreprise souhaitant ouvrir l'IA générative à ses équipes. Ils conçoivent puis déploient une passerelle couvrant le routage, la sécurité, les quotas, l'observabilité et l'accès d'un agent à des outils MCP. Chaque groupe présente son architecture et fait la démonstration de sa recette. Quels compromis ont été faits, et pourquoi ? Le formateur évalue la solution au regard des objectifs pédagogiques.
Travaux pratiques
Les travaux pratiques sont réalisés sur Kong Gateway Enterprise et la plateforme Konnect, avec decK, Docker, Kubernetes, Prometheus et Grafana. Ils suivent un projet fil rouge, la mise en production de la passerelle IA d'une entreprise fictive, et représentent 80 % du temps de formation.
Programme mis à jour le 12/11/2026
Public concerné
Cette formation s'adresse aux administrateurs systèmes, ingénieurs DevOps, ingénieurs plateforme, SRE et architectes techniques chargés de déployer, configurer ou maintenir Kong AI Gateway.
Prérequis
Avoir suivi la formation KONG ou disposer d'une expérience équivalente de Kong Gateway (services, routes, consommateurs, plugins), car ces notions ne sont pas revues. Pratique de la ligne de commande Linux et de Docker, utilisée dans tous les ateliers. Notions de Kubernetes et du format YAML, utiles pour le déploiement et la configuration déclarative. Connaissances de base sur l'appel d'un modèle de langage par API, pour comprendre les flux manipulés.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- Kong AI Gateway : gouverner l'IA et se conformer à l'AI ActRéf. KAIG2 joursIntermédiaireProchaine session : 22 mars
- Piloter et Encadrer l'IA Générative en EntrepriseRéf. IAGE3 joursFondamentalProchaine session : 7 déc.2 090 €
- Claude et conformité bancaireRéf. CLCB1 jourFondamentalProchaine session : 4 janv.950 €
- Gouvernance et souveraineté IA avec MistralRéf. GSIM1 jourFondamentalProchaine session : 16 nov.890 €