
******************************************************************** Flash Info de l'IDRIS n°2025-03 (22/01/2025) Migration de l'espace DSDIR sur Lustre ******************************************************************** [English version below] Bonjour, Lors de la maintenance du 21 janvier 2025, la variable d'environnement DSDIR a été modifiée et redirige maintenant vers un nouvel espace de stockage Lustre : "/lustre/fsmisc/dataset". L'ensemble des bases de données et modèles téléchargés dans le DSDIR depuis les débuts de Jean Zay y a été migré. Ce nouvel espace est accessible depuis l'ensemble des noeuds de Jean Zay, y compris les noeuds de la nouvelle extension H100. C'est ce nouvel espace qui sera dorénavant utilisé pour les téléchargements de datasets ou modèles publics. Les anciens espaces disques "/gpfsdsdir/dataset" et "/gpfsdswork/dataset" sont désormais dépréciés et ne seront plus accessibles à partir de la fin du mois de janvier. Si vous utilisez déjà la variable d'environnement DSDIR dans vos scripts, la migration des données n'aura pas d'impact sur vos exécutions. Mais si vous utilisez des chemins explicites, il faudra penser à les modifier. Nous vous invitons à cette occasion à basculer sur un usage systématique de la variable DSDIR, comme dans le script suivant par exemple : ''' import os from datasets import load_dataset dataset = load_dataset(os.environ['DSDIR']+"/HuggingFace/wikimedia/structured-wikipedia") ''' Pour rappel, le DSDIR est un espace disque dédié au stockage de bases de données ou modèles publics nécessaires à l'utilisation d'outils de l'Intelligence Artificielle. Il est visible par l'ensemble des utilisateurs de Jean Zay. Pour plus d'information : http://www.idris.fr/jean-zay/cpu/jean-zay-cpu-calculateurs-disques.html#le_dsdir N'hésitez pas à contacter l'assistance à assist@idris.fr si vous rencontrez des problèmes. Bien cordialement, L'équipe assistance IDRIS -------------------------------------------------------------------- Hello, During the maintenance on January 21, 2025, the DSDIR environment variable was modified and now points to a new Lustre storage space: "/lustre/fsmisc/dataset". All databases and models downloaded to DSDIR since the beginning of Jean Zay have been migrated to this new space. This new space is accessible from all Jean Zay nodes, including the nodes of the new H100 extension. This new space will now be used for downloading public datasets or models. The old disk spaces "/gpfsdsdir/dataset" and "/gpfsdswork/dataset" are now deprecated and will no longer be accessible as of the end of January. If you are already using the DSDIR environment variable in your scripts, the data migration will have no impact on your runs. However, if you are using hardcoded paths, you will need to update them. We invite you to take this opportunity to switch to systematic use of the DSDIR variable, as in the following script for example: ''' import os from datasets import load_dataset dataset = load_dataset(os.environ['DSDIR']+"/HuggingFace/wikimedia/structured-wikipedia") ''' As a reminder, DSDIR is a dedicated disk space for storing public databases or models needed for the use of Artificial Intelligence tools. It is visible to all Jean Zay users. For more information: http://www.idris.fr/eng/jean-zay/cpu/jean-zay-cpu-calculateurs-disques-eng.html#the_dsdir Please do not hesitate to contact the support team at assist@idris.fr if you encounter any issue. Best regards, The IDRIS support team