Babel : espaces disques et quotas

Le HOME

Le HOME est un espace :

  • permanent,
  • sauvegardé quotidiennement par le logiciel tina,
  • limité à 200 Mo utiles + 200 Mo car les fichiers sont dupliqués automatiquement par le système,
  • cet espace est soumis au système de quotas (400 Mo),  quota attribué à un groupe pour la durée du projet. Ce quota est volontairement limité du fait des contraintes liées à la sauvegarde journalière.
  • C'est dans ce répertoire que l'on stockera les fichiers de petite taille et très souvent utilisés (les sources, les bibliothèques ou les utilitaires).

Attention : Le Home de la machine Babel n'est pas accessible depuis Ulam.

Le WORKDIR

Le WORKDIR est un espace :

  • permanent,
  • non sauvegardé,
  • non soumis au ménage,
  • soumis au système de quotas permettant de délimiter l'espace occupé par un groupe Unix.

Le quota par défaut est de 10 Go par groupe. Cette limite peut-être augmentée sur simple demande motivée du responsable de projet sur le site extranet.idris.fr.

C'est un espace disque GPFS dont la bande passante, partagée entre les deux machines Vargas et Babel, peut être ponctuellement saturée en cas d'utilisation intensive.

Sa taille totale est de l'ordre de 400 To. C'est le répertoire de travail où on stocke généralement des copies de fichiers de travail, les exécutables, les fichiers objets, les fichiers résultats,…

Attention: cet espace n'est pas sauvegardé. Sa gestion vous incombe entièrement : gestion des quotas, recopie des fichiers sensibles ou importants sur la machine Gaya.

La commande quota_u -w vous permet de lister l'occupation disque des différents membres de votre groupe.

Le TMPDIR

C'est un espace temporaire.

  • Il est créé automatiquement sous le nom symbolique $TMPDIR lorsqu'un travail batch démarre ou en interactif.
  • Il est vide au démarrage du travail batch, et il est détruit automatiquement à la fin de l'exécution.
  • De ce fait, il faut penser à sauvegarder les fichiers importants à la fin du travail ou de la session dans un système de fichiers permanent (HOME ou WORKDIR). 
  • Nous vous conseillons d'utiliser le TMPDIR comme répertoire d'exécution par défaut pour vos applications ce qui veut dire que tous les travaux devraient se placer systématiquement dans ce répertoire dès le début d'une exécution.

Recommandations :

  • Par défaut lors de chaque exécution de travaux, nous vous conseillons de vous placer dans le TMPDIR.
  • Si vos fichiers d'entrée existent déjà dans le WORKDIR et que votre code a la possibilité d'aller les lire directement dans le WORKDIR, il est alors inutile de les recopier dans le TMPDIR.
  • De la même façon, les fichiers résultats peuvent directement être écrits dans le WORKDIR. Les performances du TMPDIR et du WORKDIR étant identiques, la recopie des fichiers existant dans le WORKDIR dans le TMPDIR est inutile. En conséquence, les travaux devraient donc avoir idéalement la structure suivante :
    • on se place dans le TMPDIR (cd $TMPDIR)$
    • on y copie les fichiers d'entrée nécessaires à l'exécution : sauf (voir Recommandations ci-dessus)
      • soit par des cp à partir du HOME ou du WORKDIR,
      • soit par des rcp à partir de la machine locale,
      • soit par des bbftp à partir de la machine locale (voir doc bbftp),
      • soit par des mfget à partir du serveur d'archives Gaya.
    • on lance l'exécution,
    • on copie les fichiers de résultats à conserver :
      • soit par des cp vers le HOME ou le WORKDIR,
      • soit par des rcp vers la machine locale,
      • soit par des bbftp à partir de la machine locale,
      • soit par des mfput vers le serveur d'archives Gaya.

Remarque : Sur cette machine, nous vous conseillons d'utiliser si possible le WORKDIR plutôt que la machine Gaya pour stocker vos fichiers lorsque ces derniers sont régulièrement utilisés. Si vous atteignez la limite de votre quota sur le WORKDIR, vous pouvez demander une augmentation de quota via le formulaire spécifique Blue Gene. Informations complémentaires :