Babel : espaces disques et quotas
Le HOME
Le HOME est un espace :
- permanent,
- sauvegardé quotidiennement par le logiciel tina,
- limité à 200 Mo utiles + 200 Mo car les fichiers sont dupliqués automatiquement par le système,
- cet espace est soumis au système de quotas (400 Mo), quota attribué à
un groupe pour la durée du projet. Ce quota est volontairement limité
du fait des contraintes liées à la sauvegarde journalière.
- C'est dans ce répertoire que l'on stockera les fichiers
de petite taille et très souvent utilisés (les sources, les
bibliothèques ou les utilitaires).
Attention : Le Home de la machine Babel n'est pas accessible depuis Ulam.
Le WORKDIR
Le WORKDIR est un espace :
- permanent,
- non sauvegardé,
- non soumis au ménage,
- soumis au système de quotas permettant de délimiter l'espace occupé par un groupe Unix.
Le quota par défaut est de 10 Go par groupe. Cette limite peut-être augmentée sur simple demande motivée du responsable de projet sur le site extranet.idris.fr.
C'est un espace disque GPFS dont la bande passante, partagée
entre les deux machines Vargas et Babel, peut être ponctuellement saturée en cas d'utilisation
intensive.
Sa taille totale est de l'ordre de 400 To.
C'est le répertoire de travail où on stocke généralement des copies de
fichiers de travail, les exécutables, les fichiers objets, les fichiers
résultats,...
Attention: cet espace n'est pas sauvegardé. Sa gestion vous incombe entièrement :
gestion des quotas, recopie des fichiers sensibles ou importants sur la machine Gaya.
La commande quota_u -w vous permet de lister l'occupation disque des différents membres de votre groupe.
Le TMPDIR
C'est un espace temporaire.
- Il est créé automatiquement sous le nom symbolique $TMPDIR
lorsqu'un travail batch démarre ou en interactif.
- Il est vide au démarrage du travail batch, et il est détruit
automatiquement à la fin de l'exécution.
- De ce fait, il faut penser à sauvegarder les fichiers importants à la
fin du travail ou de la session dans un système de fichiers permanent
(HOME ou WORKDIR).
- Nous vous conseillons d'utiliser le TMPDIR
comme répertoire d'exécution par défaut pour vos applications ce qui
veut dire que tous les travaux devraient se placer systématiquement
dans ce répertoire dès le début d'une exécution.
Recommandations :
- Par défaut lors de chaque exécution de travaux, nous vous conseillons de vous placer dans le TMPDIR.
- Si vos fichiers d'entrée existent déjà dans le WORKDIR et que votre code a
la possibilité d'aller les lire directement dans le WORKDIR, il est
alors inutile de les recopier dans le TMPDIR.
- De la même façon, les fichiers résultats peuvent directement être écrits dans le
WORKDIR. Les performances du TMPDIR et du WORKDIR étant identiques, la
recopie des fichiers existant dans le WORKDIR dans le TMPDIR est
inutile.
En conséquence, les travaux devraient donc avoir idéalement la
structure suivante :
- on se place dans le TMPDIR (cd $TMPDIR),
- on y copie les fichiers d'entrée nécessaires à l'exécution : sauf (voir Recommandations ci-dessus)
- soit par des cp à partir du HOME ou du WORKDIR,
- soit par des rcp à partir de la machine locale,
- soit par des bbftp à partir de la machine locale (voir doc bbftp),
- soit par des mfget à partir de la machine fichiers Gaya.
- on lance l'exécution,
- on copie les fichiers de résultats à conserver :
- soit par des cp vers le HOME ou le WORKDIR,
- soit par des rcp vers la machine locale,
- soit par des bbftp à partir de la machine locale,
- soit par des mfput vers la machine fichiers Gaya.
Remarque : Sur cette machine, nous vous conseillons d'utiliser si possible le
WORKDIR plutôt que la machine Gaya pour stocker vos fichiers lorsque
ces derniers sont régulièrement utilisés. Si vous atteignez la limite
de votre quota sur le WORKDIR, vous pouvez demander une augmentation de
quota via le formulaire spécifique Blue Gene.
Informations complémentaires :
© CNRS - IDRIS, 23/04/2012