• NEW

Formation IA Générative : Les modèles de langages massifs (LLMs)

Développer de nouvelles formes de contenus grâce aux LLM
Durée 2 jours
Niveau Intermédiaire
Classe à distance
Possible

Vous pouvez suivre cette formation en direct depuis votre domicile ou votre lieu de travail. Plus d'informations sur notre solution de classe à distance...

Référence LLMS
Éligible CPF Non

L'avènement des modèles de langages massifs, Large Language Models ou LLMs, tels ChatGPT, constitue une étape clé pour l'IA. Nous sommes au stade où des machines désormais peuvent appréhender une quantité extrême de contenu et d'en développer des formes nouvelles de services aujourd'hui efficients. Pour les entreprises et les organisation il s'agit de se positionner face à ces évolutions majeures en terme de création de valeur. Il devient dès lors nécessaire pour elles de : comprendre les mécanismes sous-jacents à ces modèles, savoir choisir le bon LLM, connaître les écosystèmes incontournables du domaine, de comprendre la personnalisation dans l’usage via le Prompt Engineering, de mieux cerner les capacités d’enrichissement de ces modèles (via des sources internes ou des outils), d’aborder sereinement les processus de réglage fin sur des cas d’usage précis et enfin d’identifier les problématiques de mise en œuvre de tels modèles.

À travers cette formation LLM, les participants pourront appréhender, sur la base d'explications et d’ateliers sur cas concrets, chacune des composantes significatives de ces modèles disruptifs.

Objectif opérationnel :

Savoir comprendre le fonctionnement des modèles de langage (LLMs), identifier leurs cas d’usage, évaluer leurs limites et les exploiter efficacement dans un contexte professionnel.

Objectifs pédagogiques :

À l'issue de cette formation LLM, vous aurez acquis les connaissances et compétences nécessaires pour :

  • Comprendre l'utilité des LLM
  • Maîtriser l'usage des LLM et de l'IA générative
  • Développer de nouveaux projets avec l'aide des LLM

Public :

Cette formation s'adresse aux : 

  • Chefs de projets
  • Développeurs
  • Data scientists

Prérequis :

Pour suivre ce cours, il est nécessaire d’avoir des connaissances de base en Machine Learning et Deep Learning, ainsi qu’une maîtrise d’un langage de script comme Python. Vous pouvez acquérir ces deux compétences conjointes à travers la formation Machine Learning avec Python (OPML).

Introduction aux LLMs

Un changement de paradigme
Qu’est ce qui change ?
Une publication fondatrice
Une loi d’échelle pour les modèles de langage
Évolution temporelle des LLMs
De nouveaux écosystèmes
L’ère du Post Deep Learning
Personnalisation par Prompts
Personnalisation par enrichissement
Personnalisation par réglage fin

Cas d'usage

Agents conversationnels et assistants virtuels
Génération de code et debuggage
Analyse de sentiments / opinions
Classification de texte et clusterisation
Synthèse de texte ou corpus
Traduction
Génération de contenu
Autres cas d'usages significatifs
LAB : Proof of concept sur cas concrets

Fondations

Le traitement du langage naturel (TAL)
L’architecture disruptive des Transformers
La tokenisation des textes
L’encodeur d’un Transformer
La couche d’embedding
L’encodage de positionnement
Vecteur de positionnement
Le mécanisme d’attention multi-têtes
Points essentiels du mécanisme d’attention
La “spécialisation” des têtes d’attention
Calcul des scores d’attention
Addition et Normalisation des sorties
Le Décodeur d’un Tranformer
L’entraînement d’un Transformer
La couche d’auto-attention masquée
La couche d’attention du décodeur
Les couches supérieures du décodeur

En pratique

Choisir un LLM
Critères de choix
Trois classes de modèles
Modèles à encodeur simple
Focus modèles BERTs
Modèles à décodeur simple
Focus modèles GPTs
Un foisonnement de modèles dérivés
La bataille des LLMs
La course vers des LLMs légers
L’exemple de LLaMa
Trois approches de réduction
Écosystèmes clés
APIs de modèles Fermés
HuggingFace et les modèles ouverts
Écosystèmes applicatifs type LangChain
LLMops et MLFlow
AtelierPrise en main des écosystèmes LLMs clés

Mise en œuvre

Choix service / in house / hybrid
In house workflow
Service workflow
Écosystèmes d'entraînement et d'inférence
L'entraînement d'un modèle massif
L'étape d'évaluation des modèles
Le réglage des hyperparamètres
Déploiement d'un modèle
Model fine-tuning
Prompt engineering
MLOps d'un LLMs
LAB : Environnement de déploiement d'un LLM

Le Prompt Engineering

Configuration des paramètres des LLMs
Qu’est ce qu’un token ?
Notion de distribution des probabilités des LLMs
Les échantillonnages Top-K et top-p
La température du modèle
Le réglage des paramètres en pratique
Les composantes d’un prompt
Règles générales
L’approche Few-Shot Learning
Zero, one to Few-shot learning
L’approche Chain of thoughts
L’incitation par chaînes de pensées
Des approches plus avancées
ReAct Prompting
Méthode ReAct
AtelierPrompt Engineering sur cas concrets

LLMs augmentés

Au delà du prompt, l’enrichissement des LLMs
Ajout de capacité mémorielle
Mémoire tampon (Buffer Memory)
Plusieurs mécanismes de mémorisation
Les mémoires de l’écosystème LangChain
Élargissement des connaissances
Retrieval Augmented Generation (RAG)
Le partitionnement des textes externes
Projection sémantique des documents (Embeddings)
Les bases de données vectorielles
Les algorithmes du search dans les bases vectorielles
Une galaxie d’outils possibles !
AtelierMise en oeuvre d’un agent conversationnel

Déploiement de LLMs

Quand le prompt engineering ne suffit plus
Qu’est ce que le réglage fin
Trois techniques classiques
Reinforcement learning by Human feedback (RLHF)
Détails d’un réglage fin Supervisé
Les trois options pour l’ajustement des paramètres
Les approches PEFT (Parameter Efficient Tuning)
La méthode LoRA (Low Rank Adaptation)
Une variante efficiente : QLoRA
Qu’est ce que la mise en service d’un LLM
Journaliser le modèle dans le registre des modèles
Création d’un point de terminaison vers le modèle
Interroger le point de terminaison
AtelierRéglage fin et mise en service d’un LLM
Date de mise à jour du programme : 13/06/2025

Dates et lieux

1
2
3
4
5
6
Du 10 au 11 juillet 2025
Session garantie
Lieu
Distanciel
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Session garantie
Lieu
Paris
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Lieu
Aix-en-Provence
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Lieu
Bordeaux
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Lieu
Lyon
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Lieu
Sophia Antipolis
Durée
2 jrs
2050 € HT
Du 10 au 11 juillet 2025
Lieu
Toulouse
Durée
2 jrs
2050 € HT
Du 04 au 05 septembre 2025
Lieu
Distanciel
Durée
2 jrs
2050 € HT
Du 04 au 05 septembre 2025
Lieu
Paris
Durée
2 jrs
2050 € HT
Du 04 au 05 septembre 2025
Lieu
Aix-en-Provence
Durée
2 jrs
2050 € HT
1
2
3
4
5
6

Ces formations peuvent aussi vous intéresser :

Repenser l'analyse, la planification et la prise de décision au sein de vos organisations

  • Niveau : Intermédiaire
  • Référence : IAAM

Enjeux, processus de création, UX conversationnelle et architectures

  • Niveau : Fondamental
  • Référence : OCCB

Explorer les enjeux et les opportunités pour révolutionner les pratiques métier

  • Niveau : Fondamental
  • Référence : IKEY

Les fondamentaux de l’outil IA le plus performant de la planète

  • Niveau : Fondamental
  • Référence : CGPT


Formations Informatique
et Management
en ligne à ce jour

+
Stagiaires dans nos salles
de cours sur
l'année

%
De participants satisfaits
ou très satisfaits de nos
formations


Formateurs experts
validés par
PLB