Ergon : Utilisation du serveur d'archives

La mise en production de ce serveur d’archives accompagne l’actuelle politique de l’IDRIS en termes de stockage des résultats, qui préconise d’utiliser ce serveur à des fins d'archivage et non plus de stockage intermédiaire de calculs. Nous conseillons à tous les utilisateurs d’employer l’espace WORKDIR (commun aux deux calculateurs Turing et Ada) pour toutes leurs données actives : il constitue le répertoire de travail des travaux batch. Pour une campagne de simulations, on doit y stocker tous les fichiers, même ceux de taille importante : les fichiers de données, les exécutables, les fichiers de résultats ou de reprise de calcul (restart), sans transférer à chaque fois les fichiers de résultats sur la machine d'archives pour devoir ensuite les rapatrier dans l’autre sens avant de commencer l’étape suivante de la simulation. Cet espace WORKDIR bénéficie de quotas importants, quotas par groupe qui peuvent être étendus sur simple demande justifiée du chef de projet (Extranet de l'IDRIS). Néanmoins, cet espace de travail n’étant pas sauvegardé, il faut sauvegarder régulièrement les fichiers particulièrement importants ou sensibles sur le serveur d’archives Ergon en les y copiant à l’aide des commandes spécialisées mfput/mfget.

Puis-je compresser mes fichiers pour rester en dessous de mes quotas ?

Vous ne devez en aucun cas compresser vos fichiers sur Ergon.

Si vous manquez d'espace d'archivage sur Ergon, il suffit d'une demande justifiée du chef de projet (Extranet de l'IDRIS) pour obtenir l'espace nécessaire.

En effet, la compression logicielle (via gzip/compress) s'avère très pénalisante sur Ergon pour les raisons suivantes :

  • elle est moins efficace que la compression matérielle systématiquement mise en œuvre sur Ergon lors de la migration sur bande,
  • elle consomme des ressources CPU à la compression et à la décompression,
  • elle génère la création de nouveaux fichiers et la suppression des anciens, ce qui cause une fragmentation importante des bandes qui présentent alors de nombreux trous ; le bilan en terme d'occupation d'espace sur les bandes est donc très négatif.

Réservez donc strictement la compression (tar + gzip) aux très gros fichiers que vous souhaitez transférer à l'extérieur de l'IDRIS.
Sans compression associée, le tar qui permet le regroupement de fichiers ne pose aucun problème particulier : il est même franchement encouragé.

D'un point de vue utilisateur :

  • Tout utilisateur de l'IDRIS a un compte sur le serveur d'archives Ergon.
  • Le mot de passe et le shell de connexion (soit bash, soit tcsh) d'Ergon est commun aux machines Ada, Adapp et Turing. Il suffit de le changer sur l'une des machines pour qu'il soit effectif sur les autres.
  • La connexion interactive à Ergon est possible, mais il est plutôt recommandé de travailler directement depuis la machine Adapp où tous les outils, commandes, bibliothèques de pré/post traitement sont disponibles.
  • Aucun logiciel ou bibliothèque de pré/post traitement ne sera installé sur Ergon.
  • L'espace de stockage d'Ergon, appelé HOME, est soumis à quota aussi bien en nombre de fichiers qu'en volumétrie.
  • Toutes les commandes relatives à la gestion des fichiers du HOME sont aussi disponibles sur Adapp. Depuis Adapp, l'espace HOME d'Ergon est directement accessible en lecture/écriture en utilisant la variable d’environnement $ARCHIVE par l’intermédiaire d'un montage GPFS.
  • Depuis les machines de calcul Ada et Turing, il n'y a pas d'accès direct au HOME d'Ergon : il faut transférer explicitement les fichiers d'une machine à une autre en privilégiant les commandes sécurisées mfput/mfget. Concrètement, dans vos jobs il est recommandé de désynchroniser ces phases de transfert de fichiers depuis/vers le serveur d'archives des phases de calcul, en utilisant des travaux multistep et la classe archive dédiée au transfert ( Turing : travaux multi-étapes ; Turing : travaux multi-étapes avec transferts de fichiers avec Ergon ; Ada : exécution de travaux multi-étapes et en cascade).
  • Les fichiers sur Ergon ne sont ni sauvegardés ni dupliqués : il n'y a qu'une et une seule copie de vos fichiers sur Ergon. Bien que la perte de fichiers stockés sur bande soient très rares, vous devez tenir compte de ce risque pour votre politique de gestion de données entre le WORKDIR (disque) et Ergon (cassettes).
    Vous pouvez aussi faire appel à la commande IDRIS mfdupli qui a été développée à l'IDRIS pour contourner ce problème en dupliquant vos fichiers particulièrement précieux.