DLO-JZ (Deep Learning Optimisé sur Jean Zay)

Important : La session du 1er juin 2022 est complète. Nous ne pouvons plus prendre d'inscriptions.

Responsable :

Objectif :

Cette formation a pour objectif de passer en revue les principales techniques actuelles d'optimisation d'un apprentissage machine en deep learning, avec pour but le passage à l'échelle sur un supercalculateur. Les problématiques associées d'accélération et de distribution sur plusieurs GPU seront abordées, d'un point de vue système et algorithmique.

Public concerné :

Cette formation s'adresse aux utilisateurs·rice·s IA de Jean Zay ou aux personnes qui maîtrisent les fondamentaux du deep learning et qui souhaitent se former aux enjeux du passage à l'échelle.

Pré-requis :

Les pré-requis nécessaires sont :

  • maîtriser les notions de l'apprentissage en deep learning
  • maîtriser Python
  • avoir des bases en Pytorch pour le bon déroulement des TP

Durée :

2 jours.

Assistance :

maximale 14 personnes ; minimale : 10 personnes

Contenu de la formation :

Cette formation est dédiée au passage à l'échelle multi-GPU de l'entraînement d'un modèle en Deep Learning. Le fil conducteur des aspects pratiques de la formation est la mise à l'échelle optimisée (accélération, distribution) d'un entraînement d'un modèle sur la base de données Imagenet. Pour cela, les participant·e·s seront amené.e.s à coder et soumettre leurs calculs en appliquant les différentes notions abordées pendant les parties de cours.

Plan :

Jour 1

  • Introduction
  • Jean Zay
  • Les enjeux de l'optimisation du deep learning
  • L'accélération GPU
  • La précision mixte
  • Le parallélisme de données
  • L'optimisation du pré-traitement des données
  • Le profiler PyTorch

Jour 2

  • La gestion des large batches
  • Les learning rate schedulers
  • Les optimiseurs
  • L'outil de visualisation Weight and Biases
  • Les parallélismes de modèle
  • La librairie d'optimisation Deepspeed

Équipement :

Les parties pratiques se dérouleront sur le supercalculateur Jean Zay de l'IDRIS.

Intervenants :

S’inscrire à cette formation :