Ergon : Utilisation du serveur d'archives

La mise en production de ce serveur d’archives accompagne l’actuelle politique de l’IDRIS en termes de stockage des résultats, qui préconise d’utiliser ce serveur à des fins d’archivage et non plus de stockage intermédiaire. Nous conseillons à tous les utilisateurs d’employer l’espace WORKDIR (commun aux calculateurs Turing et Ada) pour toutes leurs données actives : il constitue le répertoire de travail des travaux batch. Pour une campagne de simulations, on doit y stocker tous les fichiers, même ceux de taille importante : les fichiers de données, les exécutables, les fichiers de résultats ou de reprise de calcul (restart), sans transférer à chaque fois les fichiers de résultats sur la machine d'archives pour devoir ensuite les rapatrier dans l’autre sens avant de commencer l’étape suivante de la simulation. Cet espace WORKDIR bénéficie de quotas importants par groupe, quotas qui peuvent être étendus sur simple demande justifiée du chef de projet ( Extranet de l'IDRIS). Néanmoins, cet espace de travail n’étant pas sauvegardé, il faut sauvegarder régulièrement les fichiers particulièrement importants ou sensibles sur le serveur d’archives Ergon en les y copiant à l’aide des commandes spécialisées mfput/mfget.

Dois-je compresser mes fichiers pour rester en dessous de mes quotas ?

Vous ne devez en aucun cas compresser vos fichiers s'ils sont destinés à rester sur Ergon.

En effet, la compression logicielle (via gzip/compress) s'avère très pénalisante pour l'exploitation pour les raisons suivantes :

  • elle est moins efficace que la compression matérielle systématiquement mise en oeuvre sur Ergon lors de la migration sur bande,
  • elle consomme des ressources CPU à la compression et à la décompression,
  • elle génère la création de nouveaux fichiers et la suppresion des anciens ce qui implique une fragmentation importante des bandes qui présentent alors de nombreux trous ; le bilan en terme d'occupation d'espace sur les bandes est donc très négatif.

Réservez donc strictement la compression (tar + gzip) aux gros fichiers que vous souhaitez transférer à l'extérieur de Ergon. Bien entendu, le tar sans compression associée permettant le regroupement de fichiers ne pose pas de problème particulier.

D'un point de vue utilisateur :

  • Tout utilisateur de l'IDRIS a un compte sur le serveur d'archives Ergon.
  • Le mot de passe et le shell de connexion (soit bash, soit tcsh) d'Ergon est commun aux machines Ada, Adapp et Turing. Il suffit de le changer sur l'une des machines pour qu'il soit effectif sur les autres.
  • La connexion interactive à Ergon reste possible, mais il est plutôt recommandé de travailler directement depuis la machine Adapp où tous les outils, commandes, bibliothèques de pre/post traitement sont disponibles.
  • Aucun logiciel ou bibliothèque de pré/post traitement ne sera installé sur Ergon.
  • L'espace de stockage d'Ergon, appelé HOME, est soumis à quota aussi bien en nombre de fichiers qu'en volumétrie.
  • Toutes les commandes relatives à la gestion des fichiers du HOME sont disponibles sur Ergon, mais aussi sur Adapp. Depuis Adapp, l'espace HOME d'Ergon est directement accessible en lecture/écriture en utilisant la variable d’environnement $ARCHIVE par l’intermédiaire d'un montage GPFS.
  • Depuis les machines de calcul Ada et Turing, il n'y a pas d'accès direct au HOME d'Ergon. Il faut transférer explicitement les fichiers d'une machine à une autre en privilégiant les commandes sécurisées mfput/mfget. Sur les machines de calcul, il est recommandé de désynchroniser les phases de transfert de fichiers depuis/vers le serveur d'archives (utilisation des commandes sécurisées mfput/mfget) des phases de calcul en utilisant des travaux multistep et la classe archive dédiée au transfert ( Turing : travaux multi-étapes ; Turing : travaux multi-étapes avec transferts de fichiers avec Ergon ; Ada : exécution de travaux multi-étapes et en cascade).
  • Pour les échanges avec l'extérieur, il est préférable de se connecter sur Ergon pour éventuellement compresser ou réorganiser les données (tar, zip) et initier les transferts.