Ouessant : Espaces disques

Trois espaces disques distincts (HOME, WORKDIR et TMPDIR) sont accessibles aux utilisateurs sur Ouessant. Chaque espace a des caractéristiques spécifiques adaptées à son utilisation qui sont décrites ci-dessous. Les chemins d'accès à ces espaces sont stockés dans 3 variables d'environnement du shell : $HOME, $WORKDIR, $TMPDIR.

Le HOME

$HOME : c'est le répertoire d'accueil lors d'une connexion interactive. Cet espace est destiné aux fichiers de petite taille, très souvent utilisés comme les fichiers d'environnement du shell, les utilitaires, éventuellement les sources et les bibliothèques de taille limitée (en espace comme en nombre de fichiers). Ses caractéristiques sont les suivantes :

  • le HOME est un espace permanent ;
  • il est accessible en interactif ou dans un travail batch;
  • c'est le répertoire d'accueil lors d'une connexion interactive. On peut y accéder aussi via la variable $HOME :

    $ cd $HOME
  • il est soumis à des quotas par utilisateur volontairement assez faibles : 1 Gio (1 Go) par défaut; la commande IDRIS quota_u permet de voir la situation réelle de votre occupation.
  • Attention : pour le moment, à l'inverse des machines de production de l'IDRIS, le HOME n'est pas sauvegardé sur le prototype Ouessant.

Le WORKDIR

$WORKDIR : c'est un espace de travail et de stockage permanent utilisable en batch. On y stocke généralement les fichiers de taille importante qui servent aux exécutions batch : les fichiers de données, les exécutables, les fichiers de résultats ou de reprise de calcul (restarts), les scripts de soumission et les fichiers sources volumineux. Voici ses caractéristiques :

  • le WORKDIR est un espace permanent;
  • il n'est pas sauvegardé;
  • il est accessible en interactif ou dans un travail batch;
  • il est composé de 2 parties :
    • une partie propre à chaque utilisateur ; on y accède par la commande :

      $ cd $WORKDIR
    • une partie commune au groupe UNIX auquel l'utilisateur appartient, dans lequel on peut mettre des fichiers destinés à être partagés; on y accède par la commande :

      $ cd $COMMONDIR
  • il est soumis à des quotas par groupe : 1 Tio (1,1 To) par défaut. La commande IDRIS quota_u -w permet de voir la situation réelle de votre occupation et de celles de tous les membres de votre groupe;

Recommandations d'utilisation :

  • le WORKDIR n'est pas sauvegardé. On n'est jamais à l'abri d'une destruction manuelle non maîtrisée (rm) ou d'une défaillance des disques.

Attention :

  • les travaux batch peuvent s'exécuter dans le WORKDIR : les fichiers sont alors directement accessibles en lecture/écriture (espace permanent) et ne nécessitent pas de recopie explicite. Cependant, plusieurs de vos travaux peuvent s'exécuter en même temps; il faut donc gérer l'unicité de vos répertoires d'exécution. De plus, il est soumis à des quotas (par groupe) qui peuvent stopper brutalement votre exécution s'ils sont atteints. Sur cet espace disque, il faut ainsi tenir compte non seulement de votre propre activité, mais aussi de celle de vos collègues de projet. Pour ces raisons, on pourra alors être amené à préférer le TMPDIR pour l'exécution des travaux batch.

Le TMPDIR

$TMPDIR : répertoire d'exécution d'un travail batch. Ses caractéristiques sont les suivantes:

  • le TMPDIR est un répertoire temporaire;
  • il n'est accessible que dans un travail batch à l'aide de la variable $TMPDIR;
  • il est créé automatiquement lorsqu'un travail batch démarre : il est donc unique à chaque travail batch;
  • il est détruit automatiquement à la fin de ce travail : il faut donc recopier les fichiers importants sur un autre espace disque permanent (le WORKDIR par exemple) avant la fin du travail.
  • il n'est pas soumis à des quotas, comme le HOME ou le WORKDIR. Cependant, des quotas dits de sécurité sont positionnés; ils sont destinés à éviter qu'un utilisateur ne remplisse totalement cet espace disque à la suite d'une fausse manœuvre;

Recommandations d'utilisation :

De manière générale, voici nos conseils pour utiliser le TMPDIR :

  • pour toute exécution, on supposera que les fichiers d'entrée, de reprise ou exécutables nécessaires à l'exécution sont stockés préalablement sur un système de fichiers permanent (HOME ou WORKDIR).
  • lors de chaque exécution de travaux en batch, nous vous conseillons de vous placer dans le TMPDIR;
  • on copie les fichiers nécessaires du WORKDIR dans le TMPDIR avec la commande cp.
  • on lance l'exécution dans le TMPDIR;
  • avant la fin du travail batch, il faut sauvegarder les fichiers significatifs dans un système de fichiers permanent (HOME ou WORKDIR) à l'aide de la commande cp s'ils sont régulièrement utilisés ou susceptibles d'être post-traités;

Remarques :

  • comme les performances en lecture/écriture sont identiques pour le WORKDIR et le TMPDIR, vous pouvez éviter de faire des copies entre ces deux répertoires, à condition que le code sache lire ou écrire directement les fichiers dans le HOME ou le WORKDIR;
  • comme le WORKDIR, le TMPDIR est un espace disque GPFS dont la bande passante est partagée. Les performances des entrées-sorties ne sont donc pas reproductibles puisqu'elles peuvent être ralenties en cas d'utilisation exceptionnellement intensive.

HOME et WORKDIR : la sécurité informatique

Pour améliorer la protection de vos données stockées sur vos espaces HOME et WORKDIR, nous vous recommandons de respecter la politique de sécurité mise en place à l'IDRIS.