Ergon : Utilisation du serveur d'archives

La mise en production de ce serveur d’archives accompagne l’actuelle politique de l’IDRIS en termes de stockage des résultats, qui préconise d’utiliser ce serveur à des fins d’archivage et non plus de stockage intermédiaire. Nous conseillons à tous les utilisateurs d’employer l’espace WORKDIR (commun aux calculateurs Turing et Ada) pour toutes leurs données actives : il constitue le répertoire de travail des travaux batch. Pour une campagne de simulations, on doit y stocker tous les fichiers, même ceux de taille importante : les fichiers de données, les exécutables, les fichiers de résultats ou de reprise de calcul (restart), sans transférer à chaque fois les fichiers de résultats sur la machine d'archives pour devoir ensuite les rapatrier dans l’autre sens avant de commencer l’étape suivante de la simulation. Cet espace WORKDIR bénéficie de quotas importants par groupe, quotas qui peuvent être étendus sur simple demande justifiée du chef de projet ( Extranet de l'IDRIS). Néanmoins, cet espace de travail n’étant pas sauvegardé, il faut sauvegarder régulièrement les fichiers particulièrement importants ou sensibles sur le serveur d’archives Ergon en les y copiant à l’aide des commandes spécialisées mfput/mfget.

Dois-je compresser mes fichiers pour rester en dessous de mes quotas ?

Vous ne devez en aucun cas compresser vos fichiers sur Ergon.

Si vous manquez d'espace d'archivage sur Ergon, il suffit d'une demande justifiée du chef de projet ( Extranet de l'IDRIS) pour obtenir l'espace nécessaire.

En effet, la compression logicielle (via gzip/compress) s'avère très pénalisante sur Ergon pour les raisons suivantes :

  • elle est moins efficace que la compression matérielle systématiquement mise en œuvre sur Ergon lors de la migration sur bande,
  • elle consomme des ressources CPU à la compression et à la décompression,
  • elle génère la création de nouveaux fichiers et la suppression des anciens, ce qui cause une fragmentation importante des bandes qui présentent alors de nombreux trous ; le bilan en terme d'occupation d'espace sur les bandes est donc très négatif.

Réservez donc strictement la compression (tar + gzip) aux gros fichiers que vous souhaitez transférer à l'extérieur de l'IDRIS. Bien entendu, le tar permettant le regroupement de fichiers, sans compression associée, ne pose aucun problème particulier ; il est même plutôt encouragé.

D'un point de vue utilisateur :

  • Tout utilisateur de l'IDRIS a un compte sur le serveur d'archives Ergon.
  • Le mot de passe et le shell de connexion (soit bash, soit tcsh) d'Ergon est commun aux machines Ada, Adapp et Turing. Il suffit de le changer sur l'une des machines pour qu'il soit effectif sur les autres.
  • La connexion interactive à Ergon reste possible, mais il est plutôt recommandé de travailler directement depuis la machine Adapp où tous les outils, commandes, bibliothèques de pre/post traitement sont disponibles.
  • Aucun logiciel ou bibliothèque de pré/post traitement ne sera installé sur Ergon.
  • L'espace de stockage d'Ergon, appelé HOME, est soumis à quota aussi bien en nombre de fichiers qu'en volumétrie.
  • Toutes les commandes relatives à la gestion des fichiers du HOME sont disponibles sur Ergon, mais aussi sur Adapp. Depuis Adapp, l'espace HOME d'Ergon est directement accessible en lecture/écriture en utilisant la variable d’environnement $ARCHIVE par l’intermédiaire d'un montage GPFS.
  • Depuis les machines de calcul Ada et Turing, il n'y a pas d'accès direct au HOME d'Ergon. Il faut transférer explicitement les fichiers d'une machine à une autre en privilégiant les commandes sécurisées mfput/mfget. Sur les machines de calcul, il est recommandé de désynchroniser les phases de transfert de fichiers depuis/vers le serveur d'archives (utilisation des commandes sécurisées mfput/mfget) des phases de calcul en utilisant des travaux multistep et la classe archive dédiée au transfert ( Turing : travaux multi-étapes ; Turing : travaux multi-étapes avec transferts de fichiers avec Ergon ; Ada : exécution de travaux multi-étapes et en cascade).