cnrs, depasser les frontieres

  • reduire
  • agrandir
  • imprimer
  • Accueil |
  • English site |
  • Rechercher |

Institut du développement et des ressources en informatique scientifique

Navigation du site

L'IDRIS

  • Présentation
  • Plaquette
  • Personnel
  • Supercalculateur
  • Formations
  • Travailler à l'IDRIS
  • Contacts
  • Plan d'accès

Gestion des ressources

  • Gestion scientifique
  • Demande d'allocation d'heures
  • Gestion des comptes
  • Enregistrement des machines
  • Formulaires
  • Extranet

Espace utilisateurs

  • Nouvel utilisateur
  • Disponibilité des machines
  • Jean Zay
  • Simulation atomistique
  • Intelligence artificielle
  • FAQ
  • Assistance
  • Flash Info
  • Support avancé
  • Comité des utilisateurs

Actualités

  • Revue de presse
  • Actualités HPC
  • Actualités IA
  • Projets PRACE
  • Fête de la science
image
 
 

Table des matières

  • Deep Learning Optimisé sur Jean Zay (DLO-JZ) : documentation
    • Supports :
    • Supports annotés (dépréciés - version juin 2024) :
    • Travaux pratiques :

Deep Learning Optimisé sur Jean Zay (DLO-JZ) : documentation

Supports :

  • 1- Introduction, Jean Zay & GPU DL
  • 2- Profiler
  • 3- DataLoader optimization
  • 4- Distribution and Data Parallelism
  • 5- Storage spaces and data format
  • 6- Compiler
  • 7- Training & large batches
  • 8- Hyperparameters optimization
  • 9- Huge Model Parallelism
  • 10- Visualization Tools
  • 11- Good Practice and State Of The Art
  • Practical
  • Conclusion

Supports annotés (dépréciés - version juin 2024) :

  • 1- Introduction, Jean Zay and GPU computing
  • 2- Distribution and Data Parallelism
  • 3- PyTorch profiler and DataLoader optimization
  • 4- Storage spaces and data format
  • 6- Entrainement et large batches
  • 10- Large model parallelisms

Travaux pratiques :

  • https://github.com/IDRIS-CNRS/DLO-JZ
  • https://wandb.ai/dlojz/TP_vizu?nw=nwuserbcabot
 
 
  • CNRS.fr
  • Extranet
  • FAQ
  • Archives
  • Contacts
  • Plan d'accès
  • Mentions légales