- Référence : LIAG
- Durée : 5 jours (35h)
- Lieu : Au choix. À distance ou en présentiel, à Paris ou en Régions
2990€ HT
Choisir une date et Réserver- NEW
Formation L'IA générative pour les Data Engineer
Comprendre, manipuler et intégrer les modèles d’IA générative dans les pipelines de données modernes
Durée
5 jours
Niveau
Intermédiaire
Classe à distance
Possible
Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...
Référence
LIAG
Éligible CPF
Non
Qu’est-ce que l’IA générative pour les Data Engineer ?
L’intelligence artificielle générative englobe des modèles capables de créer du texte, des images, du code ou des données synthétiques à partir d’instructions. Pour les Data Engineers, elle ouvre un large éventail d'opportunités pour enrichir, automatiser ou sécuriser les traitements de données.
Pourquoi suivre une formation L'IA générative pour les Data Engineer ?
Dans un contexte de transformation numérique accélérée, les Data Engineers jouent un rôle clé dans la mise en œuvre d’architectures data avancées. Cette formation permet de comprendre les fondements des IA génératives, d’évaluer les cas d’usage pertinents dans l’ingénierie des données et de les intégrer dans des workflows robustes. Elle offre aussi des compétences sur les outils, les langages et les bonnes pratiques à adopter pour tirer parti des IA génératives en production.
Objectif opérationnel :
Savoir intégrer des modèles d’IA générative dans les pipelines de données pour en tirer de la valeur opérationnelle.
Objectifs pédagogiques :
À l'issue de la formation, vous aurez les connaissances nécessaires pour :
- Comprendre les concepts fondamentaux de l’IA générative
- Identifier les cas d’usage pertinents pour les Data Engineers
- Manipuler des modèles de langage comme GPT dans des flux de traitement
- Générer et valider des données synthétiques pour enrichir les jeux de données
- Automatiser certaines tâches grâce à des API d’IA générative
- Évaluer les risques éthiques et de sécurité liés à ces usages
Public :
Ce cours s'adresse aux Data Engineers, Data Architects, développeurs backend et ingénieurs data en charge des pipelines de traitement de données.
Prérequis :
Une bonne maîtrise de Python et des architectures de données (ex : bases de données SQL/NoSQL, ETL) sont nécessaires pour suivre cette formation. Une connaissance des API REST et des outils cloud constitueraient un plus pour tirer pleinement profit des ateliers.
Jour 1
Différences entre IA classique et IA générative
Panorama des modèles existants (GPT, DALL-E, Stable Diffusion…)
Principes de fonctionnement des modèles de langage (LLM)Travaux pratiquesObjectifs : Identifier les composants d’un modèle génératif.
Description : Exploration interactive de modèles sur HuggingFace. Comment distinguer un LLM d’un modèle classique ?
Anonymisation de données via IA
Assistants intelligents pour les pipelines de données
Risques : hallucinations, biais, RGPDTravaux pratiquesObjectifs : Identifier un cas d’usage adapté à son contexte.
Description : Étude de cas en binômes. Quel cas d’usage adopter en priorité dans votre contexte métier ?Jour 2
Appels d’API : clés, prompts, température, tokens
Traitement des retours : structuration, parsing JSON, validation
Intégration dans un pipelineTravaux pratiquesObjectifs : Maîtriser les appels à une API IA générative.
Description : Création d’un script Python pour interroger un LLM. Que se passe-t-il si le prompt est mal formulé ?
Prompts chaînés et modèles hybrides
Mémorisation et gestion de l’état
Logging, monitoring et observabilitéTravaux pratiquesObjectifs : Orchestrer plusieurs appels IA dans un process.
Description : Conception d’un assistant génératif simulant un ETL. Quels mécanismes de logging intégrer ?Jour 3
Méthodes d’augmentation de données
Génération de schémas conformes (JSON Schema, SQL)
Validation des jeux synthétiquesTravaux pratiquesObjectifs : Créer un jeu de données fictif complet.
Description : Génération d’un dataset RH conforme RGPD. Comment garantir la cohérence des données générées ?
Outils de validation sémantique
Détection d’hallucinations et filtres
Post-traitement et enrichissementTravaux pratiquesObjectifs : Évaluer un jeu de données IA.
Description : Évaluation qualité d’un output généré par GPT. Que faire si les noms sont incohérents ou inadaptés ?Jour 4
Sécurité des API et stockage des prompts
Monitoring et coût des appels API
Limites de responsabilité des ingénieursTravaux pratiques :Objectifs : Sécuriser une chaîne IA.
Description : Mise en place d’un proxy API avec filtrage des entrées. Quel niveau de logging est suffisant ?
Documentation de code automatisée
Génération de SQL à la volée
IA copilote pour ingestion de donnéesTravaux pratiquesObjectifs : Déployer un copilote IA sur des flux réels.
Description : Assistant génératif pour analyser des logs. Quels types de log sont mieux traités par l’IA ?Jour 5
Choix de modèles et architecture
Tests, évaluation et monitoring
Présentation des projetsTravaux pratiquesObjectifs : Synthétiser tous les acquis.
Description : Création d’un pipeline intelligent et présentation à la classe. Quels retours d’expérience en tirer ?
Fondamentaux de l’IA générative
Définition et historique de l’IA générativeDifférences entre IA classique et IA générative
Panorama des modèles existants (GPT, DALL-E, Stable Diffusion…)
Principes de fonctionnement des modèles de langage (LLM)Travaux pratiquesObjectifs : Identifier les composants d’un modèle génératif.
Description : Exploration interactive de modèles sur HuggingFace. Comment distinguer un LLM d’un modèle classique ?
Usages et enjeux pour les Data Engineers
Génération de données synthétiques : pourquoi et comment ?Anonymisation de données via IA
Assistants intelligents pour les pipelines de données
Risques : hallucinations, biais, RGPDTravaux pratiquesObjectifs : Identifier un cas d’usage adapté à son contexte.
Description : Étude de cas en binômes. Quel cas d’usage adopter en priorité dans votre contexte métier ?Jour 2
Manipulation de LLM avec Python
Introduction à l’API OpenAI (ChatGPT)Appels d’API : clés, prompts, température, tokens
Traitement des retours : structuration, parsing JSON, validation
Intégration dans un pipelineTravaux pratiquesObjectifs : Maîtriser les appels à une API IA générative.
Description : Création d’un script Python pour interroger un LLM. Que se passe-t-il si le prompt est mal formulé ?
LangChain pour orchestrer les LLM
Introduction à LangChain et agents intelligentsPrompts chaînés et modèles hybrides
Mémorisation et gestion de l’état
Logging, monitoring et observabilitéTravaux pratiquesObjectifs : Orchestrer plusieurs appels IA dans un process.
Description : Conception d’un assistant génératif simulant un ETL. Quels mécanismes de logging intégrer ?Jour 3
Génération de données synthétiques
Cas d’usage pour la générationMéthodes d’augmentation de données
Génération de schémas conformes (JSON Schema, SQL)
Validation des jeux synthétiquesTravaux pratiquesObjectifs : Créer un jeu de données fictif complet.
Description : Génération d’un dataset RH conforme RGPD. Comment garantir la cohérence des données générées ?
Évaluation de la qualité de sortie
Métriques qualité sur données généréesOutils de validation sémantique
Détection d’hallucinations et filtres
Post-traitement et enrichissementTravaux pratiquesObjectifs : Évaluer un jeu de données IA.
Description : Évaluation qualité d’un output généré par GPT. Que faire si les noms sont incohérents ou inadaptés ?Jour 4
Sécuriser et industrialiser l’usage de l’IA générative
Aspects légaux (RGPD, OpenAI, Europe)Sécurité des API et stockage des prompts
Monitoring et coût des appels API
Limites de responsabilité des ingénieursTravaux pratiques :Objectifs : Sécuriser une chaîne IA.
Description : Mise en place d’un proxy API avec filtrage des entrées. Quel niveau de logging est suffisant ?
Cas d’usage avancés
Résumé automatique de logsDocumentation de code automatisée
Génération de SQL à la volée
IA copilote pour ingestion de donnéesTravaux pratiquesObjectifs : Déployer un copilote IA sur des flux réels.
Description : Assistant génératif pour analyser des logs. Quels types de log sont mieux traités par l’IA ?Jour 5
Projet de fin : conception d’un pipeline intelligent
Design d’un projet intégrant LLMChoix de modèles et architecture
Tests, évaluation et monitoring
Présentation des projetsTravaux pratiquesObjectifs : Synthétiser tous les acquis.
Description : Création d’un pipeline intelligent et présentation à la classe. Quels retours d’expérience en tirer ?
Outils utilisés : Python, Jupyter, OpenAI API, LangChain, Datasets synthétiques. 60% de la formation est basée sur des travaux pratiques.
Dates et lieux
Ces formations peuvent aussi vous intéresser :
Comprenez, utilisez et intégrez l'IA pour booster votre productivité
- Niveau : Fondamental
- Référence : DEIA
- Niveau : Fondamental
- Référence : IAMP
Optimisez vos pratiques managériales grâce à l'Intelligence Artificielle
- Niveau : Fondamental
- Référence : IAMG
Formations Informatique
et Management
en ligne à ce jour
+
Stagiaires dans nos salles
de cours sur
l'année
%
De participants satisfaits
ou très satisfaits de nos
formations
Formateurs experts
validés par
PLB
