Architectures du deep learning (ArchDL)

---

Responsable : Kamel Guerda
Intervenants : Membres de l'équipe support de l'IDRIS

L'objectif de cette formation est de familiariser les participants à une diversité d'architectures de réseaux de neurones adaptées à des données variées. Elle présente différentes architectures de modèles pour offrir une perspective étendue sur le Deep Learning.

Objectifs

• Comprendre les principes et les fonctionnalités des architectures de réseaux de neurones avancées, tels que les CNN, RNN, Transformers, GNN et les modèles de diffusion.
• Acquérir des compétences pratiques en mettant en œuvre ces architectures lors de travaux pratiques.
• Appliquer les techniques d'adaptation de ces architectures à différents types de données, en explorant leurs applications sur des données variées telles que les images, le son, le texte ou les graphes.

S'inscrire à cette formation

Public concerné

---

Public concerné

Cette formation est conçue pour les personnes ayant eu un premier contact avec le deep learning et les réseaux de neurones, qu'il s'agisse d'une expérience autodidacte, professionnelle, ou académique. Elle est particulièrement adaptée pour ceux qui ont suivi la formation IPDL, leur ayant fourni les bases nécessaires pour appréhender les concepts plus avancés d'ArchDL. IPDL et ArchDL sont systématiquement tenues à la suite l'une de l'autre permettant l'inscription aux deux formations.

Les profils visés incluent des ingénieurs, chercheurs, développeurs, techniciens, doctorants, et chefs de projet qui souhaitent approfondir leur compréhension des architectures du deep learning.

Pré-requis

---

Pré-requis

Les participants doivent posséder une compréhension des bases en algèbre et en statistiques, ainsi qu'une connaissance de la syntaxe de Python, nécessaires pour les sessions pratiques.

De plus, un premier contact avec le deep learning est essentiel, que ce soit à travers la formation Introduction Pratique au Deep Learning (IPDL) ou une autre formation initiale équivalente, comme les premières séquences de FIDLE. Cette expérience préalable en deep learning est cruciale pour une assimilation efficace des concepts avancés abordés dans ArchDL.

Durée et modalités

---

Durée et modalités

Cette formation dure 2 jours. L'accueil se fait à partir de 09h00 avec un début des cours à 9h30. L'encadrement se fait jusqu'à 18h00 avec une fin moyenne à 17h30 (variant selon le groupe en raison des TPs).

Elle a lieu uniquement en présentiel dans les locaux de l'IDRIS à Orsay (91).

Assistance

Minimale : 10 personnes ;
Maximale : 18 personnes.

Contenu de la formation

---

Contenu de la formation

Cette formation présente différentes architectures de modèles pour offrir une perspective étendue sur le deep learning. Les participants exploreront des architectures clés telles que les réseaux neuronaux convolutifs (CNN), les réseaux neuronaux récurrents (RNN), les Transformers, et d'autres.

Des exercices pratiques en Python avec Pytorch, ainsi que des démonstrations sur le supercalculateur Jean Zay, permettront de mettre en application ces concepts.

Plan

1. Réseau neuronal convolutif (CNN)

2. Réseau neuronal récurrent (RNN)

3. Transformers

4. Graph neural network (GNN)

5. Diffusion models

INFO

Pour une exécution efficace des parties pratiques, celles-ci se dérouleront sur le supercalculateur Jean Zay. Une station de travail avec accès au calculateur de l'IDRIS est mise à disposition des apprenants. Une expérience dans l’utilisation d’un supercalculateur, tout comme un accès préalable à celui-ci, ne sont pas requis.

Supports de cours

---

Support de cours

INFO

Tous les supports de cours, y compris les diapositives, les notes et les exercices pratiques, sont fournis sous la licence suivante : Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0). Pour plus de détails sur la licence, veuillez consulter cette page.

Diaporamas

---

• Réseaux de neurones convolutionnels
• Séquences
• Réseaux neuraux graphiques
• Modèle de diffusion
• Apprentissage profond par renforcement

Diaporamas avec notes

---

• Réseaux de neurones convolutionnels
• Séquences
• Réseaux neurones graphiques
• Apprentissage profond par renforcement

Travaux pratiques

---

• TP_GNN.tar.gz
• TP_TRANSFORMERS.tar.gz
• TP_DIFFUSION_MODEL.tar.gz

Prochaines sessions

---

Pour consulter les dates des prochaines sessions de cette formation, rendez-vous sur la page suivante :

🗓️ Prochaines sessions

Inscription

Personnel CNRS/université française	Participants externes
Vous êtes personnel du CNRS ou d'une université française ? Votre inscription est gratuite via notre serveur.	Nos formations s’adressent à tous les professionnels des entreprises, organismes publics et particuliers.
S'inscrire en tant que personnel d'une institution publique	S'inscrire en tant que participant externe

TIP

Pensez à consulter la formation Introduction pratique au deep learning (IPDL) et à vous y inscrire au besoin si vous n'avez pas ce prérequis.