Migration du WORK et du HOME
[English version below]
Bonjour,
Comme annoncé précédemment, l'arrivée de l'extension H100 s'accompagne d'un renouvellement des espaces
de stockage de Jean Zay avec l'installation d'un nouveau système de stockage Lustre qui offrira une
volumétrie de stockage plus importante et une bande passante améliorée.
La migration des HOME est terminée depuis la maintenance de ce matin (30 juillet 2024). Nous vous
invitons à vérifier vos scripts pour corriger les éventuels chemins codés en dur. Tout chemin de
la forme "/gpfs7kw/linkhome/..." doit devenir "/linkhome/..." ou, si possible, être remplacé par
l'usage de la variable d'environnement $HOME.
La migration des espaces WORK a démarré aujourd'hui. Elle est également effectuée par les équipes
de l'IDRIS, vous n'avez donc pas d'action particulière à effectuer. Cette opération se fera par lot
pour éviter une trop longue indisponibilité de la machine. Elle nécessitera cependant l'interruption
des QoS "qos_cpu-t4" et "qos_gpu-t4" permettant l'exécution des travaux de plus de 20h.
Pour un projet donné, la migration se passera de la façon suivante :
- 20h avant le début de la migration, les travaux utilisant les heures du projet ne pourront plus
démarrer afin d'éviter que des travaux essaient d'accéder au WORK pendant l'opération (ils apparaîtront
alors avec le statut "AssocGrpJobsLimit")
- juste avant le début de la migration, l'espace WORK du projet deviendra complètement indisponible,
y compris depuis les frontales
- une fois la migration terminée, les variables d'environnement seront modifiées afin de pointer
vers les nouveaux espaces WORK sur le système de stockage Lustre et les travaux en attente pourront
à nouveau s'exécuter.
Attention : Si vous avez des travaux qui utilisent les heures d'un projet mais accèdent à l'espace
WORK d'un autre projet, ils risquent d'échouer car nous ne pourrons pas bloquer leur démarrage de
façon pertinente.
Une commande "idr_migstatus" vous permet de suivre la migration de vos projets en indiquant pour
chacun son statut actuel :
- "pending" : la migration n'a pas encore été effectuée, vos travaux peuvent toujours s'exécuter
et vous avez accès à votre WORK
- "planned" : la migration va commencer dans les prochaines 24h, les nouveaux travaux ne peuvent
plus démarrer mais vous avez toujours accès à votre WORK
- "in progress" : la migration est en cours, vous n'avez plus accès à votre WORK
- "migrated" : la migration est terminée, vous avez à nouveau accès à votre WORK et vos travaux
peuvent à nouveau s'exécuter.
Remarque : Le chemin absolu des espaces WORK va changer à l'occasion de la migration mais pour
simplifier la transition, des liens seront mis en place de sorte à ce que les anciens chemins
absolus restent fonctionnels au moins dans un premier temps. Une fois la migration effectuée,
nous vous invitons néanmoins à modifier les éventuels chemins de la forme "/gpfswork/..." ou
"/gpfsdswork/projects/..." qui pourraient apparaître dans vos scripts (si possible en les
remplaçant par l'usage de la variable d'environnement) ou dans vos liens symboliques.
Nous nous excusons pour la gêne que ces opérations pourraient engendrer.
Cordialement,
L'équipe support de l'IDRIS
Dear Jean Zay user,
As previously announced, the installation on the new H100 extension comes with a renewal of the Jean Zay
storage spaces with the installation of a new Lustre storage system offering an increased storage capacity
and an improved bandwidth.
The migration of the HOME spaces is completed since today's maintenance operation (July 30th, 2024).
We invite you to check your scripts in order to correct any hard-coded paths. Any path starting with
"/gpfs7kw/linkhome/..." should become "/linkhome/..." or, if possible, the $HOME environment variable
should be used instead.
The migration of the WORK spaces started today. This operation is also handled by the IDRIS teams so you
do not have any specific actions to perform. The migration will be done by batch of projects to avoid
having a long downtime of the machine. It will however require suspending the "qos_cpu-t4" and
"qos_gpu-t4" QoS which allow running jobs of more than 20h.
For a specific project, the migration process will be as follow:
- 20h before the migration begins, the jobs using computing hours allocated to that project will be
held in queue (with the "AssocGrpJobsLimit" status) in order to avoid having jobs that use the WORK
during the migration operation
- just before the migration starts, the WORK space will become completely unavailable, including from
the login nodes
- once the migration is done, the environment variables will be modified to point to the new Lustre
WORK space and your jobs will be able to run again.
Warning: If you have jobs that use the computing hours from a project but access the WORK disk spaces
of another project, they might fail because we have no way to prevent them from starting when they
should not.
The "idr_migstatus" command allows to monitor the migration of your projects by indicating the current
status of each of them:
- "pending" : the migration has not started yet, there is no impact on your jobs and you can access
your WORK
- "planned" : the migration is going to start in the next 20h, jobs that are not yet running will
stay pending but you can still access your WORK
- "in progress" : the migration is in progress, you will not have access to your WORK at this point
- "migrated" : the migration is done, you can access your WORK again and your jobs can run.
Note: The absolute paths of the WORK spaces will be modified by the migration. However to ease the
transition, symbolic links will be created in order to keep the old absolute paths working, at least
for some times. Once the migration is completed, we do invite you to modify any absolute paths starting
with "/gpfswork/..." or "/gpfsdswork/projects/..." that could appear in your scripts (use the environment
variables whenever possible) or in your symbolic links.
We are sorry for the inconvenience those operations might cause.
Best regards,
The IDRIS support team
