Formation : Spécialisation des LLM
Responsable : Théodora Pazakou
Intervenants : Membres de l'équipe support de l'IDRIS
Cette formation a pour objectif de doter les participants des compétences essentielles pour adapter et exploiter efficacement les Large Language Models (LLM). Elle couvre les principales techniques d'adaptation des modèles, notamment le fine-tuning, l'ingénierie de prompt (Prompt Engineering), le Retrieval-Augmented Generation (RAG), le Parameter-Efficient Fine-Tuning (PEFT) et l'alignement des modèles. La formation présente également la multimodalité et l'agentique, deux concepts clés pour concevoir des applications avancées basées sur les LLM.
- Public concerné
- Pré-requis
- Durée et modalités
- Contenu de la formation
- Supports de cours
- Prochaines sessions
Public concerné
Cette formation est destinée aux personnes disposant de bases en deep learning et souhaitant acquérir une maîtrise pratique des principales techniques d'adaptation et d'évaluation des Large Language Models (LLM), ainsi que des concepts de multimodalité et d'agentique. Elle s'adresse à un large éventail de profils, notamment aux ingénieurs, chercheurs, développeurs, doctorants et data scientists souhaitant apprendre à adapter efficacement des LLM à des tâches applicatives.
Pré-requis
- maîtriser les notions de l'apprentissage en Deep Learning
- maîtriser Python
- avoir de solides bases en PyTorch
Durée et modalités
Cette formation dure 4 jours. L'accueil se fait à partir de 09h00 avec un début des cours à 9h30. L'encadrement se fait jusqu'à 18h00 au plus tard.
Elle a lieu uniquement en présentiel dans les locaux de l'IDRIS à Orsay (91).
Assistance
Minimale : 8 personnes ;
Maximale : 18 personnes.
Les objectifs de la formation :
- Acquérir les bases théoriques des Transformers (mécanisme d'attention, language modeling etc.)
- Connaître les différentes méthodes de Fine-tuning (classique, LoRA etc.) et de Prompt Engineering (RAG, Chain of Thought etc.)
- Mettre en place un environnement d'entraînement et d'optimisation de Large Language Models (LLM) : boucle d'entraînement, évaluation, tracking des résultats, nettoyage des données.
- Comprendre les principes de la multimodalité et de l'agentique, et savoir les intégrer dans des applications basées sur les LLM.
- Appliquer la théorie dans un cas d'usage précis.
Plan :
1er jour
- Théorie des Transformers (mécanisme d'attention, language modeling etc.)
- Fine-tuning classique
- Evaluations et métriques des Large Language Models
2ème jour
- Mise en place d'un cadre pour le développement de LLM (mlflow, multi-GPU etc.)
- Nettoyage des données textuelles (data cleaning)
- Prompt Engineering
- Retrieval Augmented Generation (RAG)
3ème jour
- Parameter-Efficient Fine-tuning (PEFT)
- Génération de données synthétiques et RAG Evaluation
- Alignement de LLM (DPO, RLHF...)
4ème jour
- Mise en production (inférence)
- Multimodalité
- Agents et appels d'outils
Pour une exécution efficace des parties pratiques, celles-ci se dérouleront sur le supercalculateur Jean Zay. Une station de travail avec accès au calculateur de l'IDRIS est mise à disposition des apprenants. Une expérience dans l’utilisation d’un supercalculateur, tout comme un accès préalable à celui-ci, ne sont pas requis.
Support de cours
L'ensemble des supports de cours, diapositives incluses, sera mis à disposition sur un dépôt GitHub.
Pour consulter les dates des prochaines sessions de cette formation, rendez-vous sur la page suivante :
Inscription
Pour la prochaine session Minerva (du 23 au 26 mars 2027), l'inscription est gratuite mais obligatoire sur notre serveur Web des formations.
S'inscrire à cette formation