- Référence : RAFT
- Durée : 3 jours (21h)
- Lieu : Au choix. À distance ou en présentiel, à Paris ou en Régions
1990€ HT
Choisir une date et Réserver- NEW
Formation RAG et Fine Tuning d’un LLM
Concevoir un système RAG et fine-tuner un LLM à l’aide des outils de l’écosystème Python
Durée
3 jours
Niveau
Intermédiaire
Classe à distance
Possible
Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...
Référence
RAFT
Éligible CPF
Non
Qu’est-ce que RAG et le Fine Tuning d’un LLM ?
Le Retrieval-Augmented Generation (RAG) est une architecture hybride combinant la recherche d’information et la génération de texte à l’aide de modèles de langage (LLM). Le fine-tuning permet d’adapter un LLM à un domaine spécifique en le réentraînant sur des jeux de données ciblés, afin d’en améliorer la pertinence.
Pourquoi suivre une formation RAG et Fine Tuning d’un LLM ?
Les LLM ont transformé la manière dont on conçoit les assistants virtuels, les moteurs de recherche et les agents conversationnels. En Python, des bibliothèques comme HuggingFace Transformers, LangChain ou LlamaIndex permettent de créer des systèmes RAG puissants. Cette formation permet de concevoir et déployer un système RAG entièrement personnalisé, et de fine-tuner des modèles pour des cas d’usage métier avec Python.
Objectif opérationnel :
Savoir concevoir, entraîner et déployer un système RAG basé sur un LLM fine-tuné.
Objectif pédagogiques :
À l'issue de cette formation RAG et Fine Tuning d’un LLM, vous aurez acquis les connaissances nécessaires pour :
- Comprendre les principes de l’architecture RAG.
- Identifier les cas d’usage pertinents pour l’approche RAG.
- Maîtriser le fine-tuning de LLM en environnement Python.
- Intégrer une base documentaire dans une pipeline RAG.
- Déployer un système RAG avec les outils Python : LangChain, LlamaIndex, HuggingFace.
Public :
Cette formation est destinée aux data scientists, ingénieurs IA, développeurs Python, architectes logiciels et chefs de projet techniques travaillant sur des projets d’IA générative.
Prérequis :
Bonne maîtrise du langage Python, connaissance des concepts de machine learning et expérience pratique avec les bibliothèques comme Pandas, Transformers ou PyTorch. Ces bases sont essentielles pour suivre le contenu technique dense de la formation.
Jour 1
Les principaux LLM à notre disposition, Forces et faiblesses d'un LLM
Écosystème Python pour LLM : HuggingFace, LangChain, FAISS
Que sont le RAG et le Fine Tuning ?
Avantages, inconvénients des approchesTravaux pratiquesObjectif :Installer l’environnement Python et déployer un LLM open-source.
Description :Setup d’un environnement Conda, test d’un modèle via Transformers. Quel type de question échoue sans retrieval ?
Indexation de données
Mécanismes de récupération de données, recherche sémantique
Génération augmentée
Cas d'usage et enjeux stratégiquesTravaux pratiquesObjectif :Réaliser un chatbot RAG en local.
Description :Extraction de texte, chunking, vectorisation, test d’un assistant LangChain. Quelle stratégie de découpage offre le meilleur rappel ?Jour 2
Les principaux outils de Pipeline : LangChain, LlamaIndex, Haystack
Création d'un Pipeline RAG avec LangChain
Agents LLM et logique ReAct, ExemplesTravaux pratiquesObjectif : Apprendre à intégrer rapidement un pipeline RAG avec LangChain
Description : Implémentation d'agents LangChain avec la logique ReAct, à travers un exemple concret d’application métier.
Préparation des données : Nettoyage, format, annotations
Augmentation des données
Mise en oeuvre du Fine Tuning, APIs, ressources GPUs
Évaluation et métriques de performance
Distillation de modèlesTravaux pratiquesObjectif :Entraîner un modèle LoRA en local avec datasets personnalisés.
Description :Fine-tuning sur une base client, analyse des logs d’entraînement. Le modèle répond-il mieux aux requêtes internes ?Jour 3
Déploiement d'un modèle fine tuned : Gradio, Streamlit
Le déploiement en API via FastAPI
Les logiciels Jan.ai et Ollama
Supervision avec LangSmith ou MLFlowTravaux pratiquesObjectif :Conteneuriser un système RAG Python et simuler un usage réel.
Description :Création d’une interface Streamlit, simulation multi-utilisateurs. Quels risques liés à l’exposition du modèle à l’extérieur ?
Critères pour choisir la bonne approche
Combiner les approches pour améliorer les performances
Cas d’usage concrets et exemplesTravaux pratiquesObjectif : Mettre en pratique la complémentarité entre le Fine-Tuning et le RAG
Description : Mise en œuvre d'une pipeline combinant un modèle LLM Fine tuné avec une approche RA : Préparation d’un jeu de données simplifié, intégration dans un pipeline RAG, Evaluation comparative des résultats
Introduction aux LLM et concepts RAG
Fonctionnement des LLM open-source, Deep Learning et TransformerLes principaux LLM à notre disposition, Forces et faiblesses d'un LLM
Écosystème Python pour LLM : HuggingFace, LangChain, FAISS
Que sont le RAG et le Fine Tuning ?
Avantages, inconvénients des approchesTravaux pratiquesObjectif :Installer l’environnement Python et déployer un LLM open-source.
Description :Setup d’un environnement Conda, test d’un modèle via Transformers. Quel type de question échoue sans retrieval ?
Création d’un RAG simple avec Python
Les concepts clés du RAG, embedding, base de données vectoriellesIndexation de données
Mécanismes de récupération de données, recherche sémantique
Génération augmentée
Cas d'usage et enjeux stratégiquesTravaux pratiquesObjectif :Réaliser un chatbot RAG en local.
Description :Extraction de texte, chunking, vectorisation, test d’un assistant LangChain. Quelle stratégie de découpage offre le meilleur rappel ?Jour 2
Intégration dans un pipeline RAG
Pourquoi utiliser des Tool Chains ?Les principaux outils de Pipeline : LangChain, LlamaIndex, Haystack
Création d'un Pipeline RAG avec LangChain
Agents LLM et logique ReAct, ExemplesTravaux pratiquesObjectif : Apprendre à intégrer rapidement un pipeline RAG avec LangChain
Description : Implémentation d'agents LangChain avec la logique ReAct, à travers un exemple concret d’application métier.
Fine-tuning avec HuggingFace
Fine Tuning Complet VS Fine Tuning léger (LoRA, QLoRA...)Préparation des données : Nettoyage, format, annotations
Augmentation des données
Mise en oeuvre du Fine Tuning, APIs, ressources GPUs
Évaluation et métriques de performance
Distillation de modèlesTravaux pratiquesObjectif :Entraîner un modèle LoRA en local avec datasets personnalisés.
Description :Fine-tuning sur une base client, analyse des logs d’entraînement. Le modèle répond-il mieux aux requêtes internes ?Jour 3
Déploiement, bonnes pratiques, optimisation et supervision
Quantization et compression d'un modèleDéploiement d'un modèle fine tuned : Gradio, Streamlit
Le déploiement en API via FastAPI
Les logiciels Jan.ai et Ollama
Supervision avec LangSmith ou MLFlowTravaux pratiquesObjectif :Conteneuriser un système RAG Python et simuler un usage réel.
Description :Création d’une interface Streamlit, simulation multi-utilisateurs. Quels risques liés à l’exposition du modèle à l’extérieur ?
Fine tuning vs RAG
Comparaison entre les deux techniquesCritères pour choisir la bonne approche
Combiner les approches pour améliorer les performances
Cas d’usage concrets et exemplesTravaux pratiquesObjectif : Mettre en pratique la complémentarité entre le Fine-Tuning et le RAG
Description : Mise en œuvre d'une pipeline combinant un modèle LLM Fine tuné avec une approche RA : Préparation d’un jeu de données simplifié, intégration dans un pipeline RAG, Evaluation comparative des résultats
Outils Python utilisés : Jupyter, HuggingFace Transformers, LangChain, LlamaIndex, Weaviate ou ChromaDB. 60 % de la formation repose sur des cas pratiques développés dans des notebooks Python.
Dates et lieux
Ces formations peuvent aussi vous intéresser :
Maîtriser l'installation, la configuration et l'intégration locale de modèles de langage de grande taille
- Niveau : Intermédiaire
- Référence : DUMO
Exploitez l’IA générative pour accélérer le développement logiciel grâce à GitHub Copilot et ChatGPT-4
- Niveau : Intermédiaire
- Référence : GHCG
Personnaliser vos expériences avec Azure AI Foundry : Créez des Copilots sur mesure
- Niveau : Intermédiaire
- Cours officiel : Microsoft
- Référence : AI-3016
- Niveau : Fondamental
- Référence : MIDJ
Formations Informatique
et Management
en ligne à ce jour
+
Stagiaires dans nos salles
de cours sur
l'année
%
De participants satisfaits
ou très satisfaits de nos
formations
Formateurs experts
validés par
PLB
