Présentation des espaces disques

L'espace disque accessible aux utilisateurs est partagé en plusieurs parties suivant la machine concernée.

le HOME disponible sur toutes les machines,
le WORKDIR disponible sur toutes les machines SAUF sur la machine fichier Gaya,
le TMPDIR disponible :
- en interactif sur toutes les machines, la frontale Ulam, la frontale graphique Iris et la machine fichiers Gaya,
- en batch sur toutes les machines SAUF sur la frontale graphique Iris et la machine fichiers Gaya.

Compléments :

De plus, à partir de la frontale Ulam, on a une visibilité par NFS que du répertoire HOME de la machine fichier Gaya (voir les montages NFS)
L'IDRIS dispose, sur les machines SGI Gaya, du logiciel CXFS permettant le partage de leurs HOME respectifs.

Pour connaître les particularités propres à chaque machine, consultez la news class de la machine concernée.

Attention :

les espaces HOME, HOME_BIS et (sur certaines machines) WORKDIR sont soumis à des quotas,
la taille limite d'un fichier est, par défaut, de 40Go sur l'ensemble des machines (voir Les limites de taille des fichiers).

Le HOME

Quelles sont les caractéristiques de l'espace disque HOME ?

Le HOME est un espace :

permanent,
sauvegardé quotidiennement avec donc la possibilité de restituer les fichiers perdus par le logiciel tina disponible sur toutes les machines du centre,
cet espace est soumis au système de quotas en taille utilisée (appelé quota disque) et en nombre de fichiers (appelé quota inodes).
il est attribué à un groupe pour la durée du projet.

Comment l'obtient-on ?

Il vous est attribué par défaut et sa taille dépend du nombre de personnes travaillant sur le projet, qui forment un groupe Unix.

Comment y accéder ?

Grâce à la variable d'environnement $HOME, en tapant la commande :

cd

cd ~

cd $HOME

La valeur de $HOME est :

/u/rech/lab/rlabxxx sur Gaya.
/home/rech/lab/rlabxxx sur Ulam.
/homegpfs/rech/lab/rlabxxx sur Vargas et Babel.

avec :

lab qui représente le groupe,
rlabxxx le login de l'utilisateur.

C'est dans ce répertoire que l'on stockera les fichiers de petite taille et très souvent utilisés (les sources, ou les utilitaires).

Comment contrôler l'utilisation du quota disque/inodes (nombre de fichiers) ?

Grâce à la commande :

quota_u

Attention : Le HOME des machines de calcul Babel et Vargas n'est PAS accessible depuis Ulam.

Le WORKDIR

Quelles sont les caractéristiques de l'espace disque WORKDIR ?

Le WORKDIR est un espace :

permanent,
non sauvegardé,
soumis au système de quotas permettant de délimiter l'espace et le nombre de fichiers occupé par un groupe Unix.

Comment l'obtient-on ?

Il vous est attribué par défaut, pour toute la durée du projet.

Comment y accéder ?

Grâce à la variable d'environnement $WORKDIR en tapant la commande :

cd $WORKDIR

La valeur de $WORKDIR est : /workdir/rech/lab/rlabxxx.

machine-rlabxxx : cd $WORKDIR
machine-rlabxxx : pwd
 /workdir/rech/lab/rlabxxx
machine-rlabxxx :

C'est le répertoire de travail où on stocke généralement des copies de fichiers, les exécutables, les fichiers objets issus de grosses compilations, les bibliothèques dont la taille interdit le stockage sur le HOME. On peut aussi stocker des fichiers de données que l'on a préalablement copiés sur la machine fichier (Gaya), mais il faut veiller à faire le ménage dans ces sorties successives afin de ne pas remplir le WORKDIR commun avec les autres collègues du même groupe, et du coup de bloquer son utilisation. Par ailleurs, nous attirons votre attention sur le fait que sa pérennité n'est pas garantie en cas d'incidents techniques multiples sur les disques physiques, faute de sauvegarde.

Comment contrôler l'utilisation du quota ?

Grâce à la commande :

quota_u -w

Le TMPDIR

C'est un répertoire temporaire qui possède les caractéristiques suivantes :

Il est créé automatiquement sous le nom symbolique $TMPDIR lorsqu'un travail démarre, aussi bien sur la frontale que sur les machines de calcul. Il est vide au démarrage du travail, et il est détruit automatiquement à la fin de l'exécution.
Note : un tel répertoire est crée pour chaque travail soumis. Il n'y a donc aucun risque d'interférence si deux travaux différents s'exécutent simultanément.
La valeur de la variable d'environnement $TMPDIR change donc à chaque session. Pour en connaître la valeur, faites : echo $TMPDIR
Comme ce répertoire est détruit automatiquement à la fin du travail ou de la session, il faut penser à sauvegarder les fichiers importants à la fin du travail ou de la session.
Ce répertoire est toujours de taille importante, beaucoup plus grande que celle des répertoires $HOME et $WORKDIR.
le répertoire $TMPDIR est en général situé sur des disques locaux sur la machine d'exécution et offre donc de très bonnes performances d'entrées-sorties.
Pour toutes ces raisons (place, performance), tous les travaux devraient se placer systématiquement dans ce répertoire dès le début de l'exécution. Les travaux devraient donc avoir idéalement la structure suivante :
- on se place dans le TMPDIR (cd $TMPDIR),
- on y copie les fichiers d'entrée nécessaires à l'exécution :
  - soit par des cp à partir du HOME ou du WORKDIR,
  - soit par des rcp à partir de la machine locale,
  - soit par des bbftp à partir de la machine locale (voir doc bbftp),
  - soit par des scp à partir de la machine locale,
  - soit par des mfget à partir de la machine fichiers Gaya.
- on lance l'exécution,
- on copie les fichiers de résultats à conserver :
  - soit par des cp vers le HOME ou le WORKDIR,
  - soit par des des rcp vers la machine locale,
  - soit par des scp vers la machine locale,
  - soit par des bbftp vers la machine locale,
  - soit par des des mfput vers la machine fichiers Gaya.

Visibilité du TMPDIR sur Vargas

Depuis le noeud interactif, il peut être utile d'accéder à l'espace TMPDIR afin de suivre l'exécution des simulations en cours et/ou de pouvoir sauvegarder les fichiers intermédiaires en cas de problème.

Jobs monoprocesseurs :
Actuellement, ces travaux s'exécutent sur deux noeuds, dont celui dédié à l'interactif.
Si un travail s'exécute sur le noeud interactif alors le TMPDIR est directement visible dans le répertoire local /tmpdir/loadl.
Dans l' autre cas il n'y a aucune visibilité.
Jobs parallèles
- pour les travaux parallèles inter-noeuds (s'exécutant sur plusieurs noeuds Vargas en même temps), la visibilité du TMPDIR est possible via GPFS (cf. répertoire /tmpgpfs/loadl). Dans votre script de soumission, la commande pwd depuis le TMPDIR vous aidera a le localiser.
- pour les travaux parallèles intra-noeuds, il n'y a aucune visibilité.

Les limites de taille des fichiers

La taille limite d'un fichier est, par défaut, de 40Go sur l'ensemble des machines sauf pour la machine fichier où la limite est de 200Go.

Un fichier ne pourra de toutes façons pas grossir indéfiniment car :