INTRODUCTION GÉNÉRALE À l 'IDRIS

Ce document s'adresse principalement aux nouveaux utilisateurs de l'IDRIS. Il présente les principaux points indispensables à une bonne utilisation des machines de l'IDRIS.

1. Présentation de l'IDRIS
2. Présentation des machines
3. Demandes d'allocations d'heures sur les machines de l'IDRIS
4. Comment obtenir un compte ?
5. Comment se connecter pour calculer ?
6. Gestion de son compte et de son environnement
7. Présentation des espaces disques
8. Commandes de transferts de fichiers
9. La commande module
10. Comment soumettre un calcul ?
11. Formations proposées à l'IDRIS
12. Documentation de l'IDRIS
13. Le support aux utilisateurs

Pour une documentation complète sur les différents points abordés dans ce document, n’hésitez pas à consulter le site de l'IDRIS : www.idris.fr


1. Présentation de l'IDRIS

Missions et objectifs de l'IDRIS

L'IDRIS (Institut du développement et des ressources en informatique scientifique), fondé en novembre 1993, est un centre d'excellence en calcul numérique intensif au service des unités de recherche tributaires de l'informatique extrême, tant sur les aspects applicatifs (simulations aux grandes échelles) que sur ceux liés aux recherches inhérentes au calcul de haute performance (infrastructures de calcul, méthodes de résolution et algorithmiques associées, traitement des grands volumes de données, etc.).

L'IDRIS est le centre majeur du CNRS pour le calcul numérique intensif de très haute performance. Avec les autres centres nationaux (CINES pour le ministère de l'Enseignement supérieur et de la Recherche, et TGCC pour le CEA), et sous la coordination du GENCI (Grand équipement national de calcul intensif), l'IDRIS participe à la mise en place de ressources informatiques nationales, au service de la communauté scientifique publique qui nécessite des moyens informatiques extrêmes.

Gestion scientifique des ressources

Sous la coordination de GENCI (Grand équipement national de calcul intensif), est lancée au quatrième trimestre de chaque année un appel à propositions commun à l'ensemble des centres nationaux (CINES et IDRIS et TGCC) pour l'attribution des ressources informatiques pour l'année suivante.

Les demandes de ressources se font par le formulaire DARI (Demande d'Attribution de Ressources Informatiques) à travers un site web commun pour l'ensemble des centres (voir Demandes d'allocations d'heures sur les machines de l'IDRIS).

Le Comité des utilisateurs de l'IDRIS

Le rôle du comité des utilisateurs est de dialoguer avec le centre afin que tous les projets auxquels des ressources informatiques ont été attribuées puissent être menés à bien dans les meilleures conditions. Il transmet les observations de tous les utilisateurs sur le fonctionnement du centre et dialogue avec l'IDRIS pour définir les évolutions souhaitables.

Pour plus d'informations, consultez la page du site web correspondante

Le personnel de l'IDRIS

Organisation

Pour remplir ses missions, l'IDRIS est organisé en équipes, coordonnées par la direction, de la manière suivante :

Organigramme IDRIS

Retour au sommaire


2. Présentation des machines

Moyens informatiques de l'IDRIS

CNRS/IDRIS Infrastructure informatique

Calculateurs Nombre de cœurs Mémoire Performance crête totale
IBM Blue Gene/Q de l'IDRIS Turing : IBM Blue Gene/Q 98.304 96 Tio 1,258 Pflops
IBM x3750M4 de l'IDRIS Ada : IBM x3750 10.624 46 Tio 230 Tflops
Serveur d'archives         Espace disque local Espace disponible sur
    cassettes    
Serveur d'archives, solution IBM Ergon : Solution IBM + Storagetek SL 85 000 2 Pio 10 Pio

Turing : présentation

Turing est l'architecture massivement parallèle de l'IDRIS. C'est une machine de type IBM Blue Gene/Q, particulièrement bien équilibrée (réseau, IO, puissance de calcul et débit mémoire) qui a une efficacité énergétique remarquable (2,17 Gflops/W).

Caractéristiques matérielles de Turing :

  • 6 cabinets (appelés aussi racks) de 1024 nœuds de calcul ayant chacun 16 cœurs, soit un total de 98.304 cœurs de calcul,
  • puissance crête cumulée de 1,258 Pflop/s (42e rang mondial au TOP500 de novembre 2014),
  • 96 Tio de mémoire totale (1 Gio par cœur d'exécution),
  • système de fichiers parallèle GPFS (WORKDIR) partagé entre Ada, Adapp et Turing, avec 50 Gio/s de bande passante en écriture et en lecture.

Les codes qui s'exécutent sur Turing doivent avoir un degré de parallélisme suffisamment élevé (idéalement au moins de l'ordre de 512 cœurs d'exécution ou plus) et ne pas dépasser la contrainte mémoire de 1 Gio par cœur d'exécution. En production, les ressources accessibles peuvent aller jusqu'à 4 racks (soit 65.536 cœurs d'exécution). Pour les phases de développement ou de portage de code, des classes spécifiques (de 1 à 64 nœuds de calcul) sont disponibles. Vous pouvez consulter les limites en batch de la structure des classes pour Turing.

Pour plus de détails concernant les logiciels ou bibliothèques disponibles, l'architecture ou l'utilisation des ressources de cette machine, voir ici.

Ada : présentation

Ada est la machine généraliste de calcul de l'IDRIS, composée de nœuds SMP grosse mémoire (IBM x3750-M4), interconnectés par un réseau InfiniBand haut débit.

Caractéristiques matérielles de Ada :

  • 332 nœuds de calcul x3750-M4, nœud quadri-sockets composés de 4 processeurs Intel Sandy Bridge E5-4650 8-coeurs à 2,7 GHz, soit 32 cœurs par nœud,
    • 304 nœuds avec 128 Gio de mémoire (4 Gio/cœur),
    • 28 nœuds avec 256 Gio de mémoire (8 Gio/cœur),
  • puissance crête cumulée de 233 Tflop/s,
  • réseau InfiniBand FDR10 Mellanox (2 liens par noeud),
  • système de fichiers parallèle GPFS (WORKDIR) partagé entre Ada, Adapp et Turing, de 50 Gio/s de bande passante en écriture et en lecture.

La machine Ada est adaptée à une grande variété de codes, pouvant nécessiter beaucoup de mémoire, de l'application séquentielle aux codes multithreadés (OpenMP) ou aux codes (MPI ou hybride) ayant un degré de parallélisme moyen (de la centaines à quelques milliers de cœurs d'exécution). En exploitation, les ressources accessibles peuvent aller jusqu'à 2048 cœurs d'exécution. Vous pouvez consulter les limites en interactif et en batch de la structure des classes pour Ada.

Pour plus de détails concernant les logiciels ou bibliothèques disponibles, l'architecture ou l'utilisation des ressources de cette machine, voir ici.

Adapp : présentation

Adapp est l'architecture dédiée au pré/post-traitement intensif et à la gestion des grandes masses de données de l'IDRIS. Elle doit être exclusivement utilisée dans ce cadre, c'est à dire :

  • soit pour des travaux effectuant beaucoup d’entrées/sorties (recombinaison de fichiers, …),
  • soit pour des travaux nécessitant beaucoup de mémoire (génération/partitionnement de maillage, …)

Cette architecture de pré/post-traitement adapp ne comporte que 4 nœuds de calcul ayant chacun :

  • 4 processeurs Intel Westmere 8-coeurs à 2,67GHz (soient 32 cœurs),
  • 1 To de mémoire,
  • 8 disques internes de 600 Go.

En conséquence, l'utilisation de ces nœuds est soumise aux contraintes suivantes :

  • Le temps Elapsed maximal est de 20h pour tout type de travail (séquentiel ou parallèle).
  • La réservation maximale est de 32 cœurs (soit 1 nœud de calcul maximum).
  • Vous pouvez demander jusqu’à 100 Go de mémoire pour une exécution séquentielle ou 30 Go par cœur réservé en parallèle (MPI, OpenMP ou hybride).

Vous pouvez consulter les limites en interactif et en batch de la structure des classes pour Ada/Adapp.

Notez qu'il suffit d'ajouter le mot-clé
# @ requirements = (Feature == “prepost”)
pour que votre travail soit soumis sur Adapp. Mais ce travail doit respecter les contraintes indiquées ci-dessus (temps Elapsed, nombre de cœurs et mémoire) pour qu'il puisse s’exécuter, faute de quoi il reste en attente.

Depuis Adapp (interactif ou batch), le HOME du serveur d'archives Ergon est directement accessible en lecture/écriture via la variable d'environnement $ARCHIVE (grâce à un montage GPFS).

Pour plus de détails concernant les logiciels ou bibliothèques disponibles, l'architecture ou l'utilisation des ressources de cette machine, voir ici.

Ergon : présentation

Ergon est le serveur d’archives de l'IDRIS. C'est un système de sauvegarde hiérarchique : stockage des fichiers sur disque (2 Po) puis migration automatique sur cassettes (10 Po), pour archiver les données sur le moyen et le long terme, tout au long de la durée de vie d'un projet. Ses caractéristiques matérielles sont :

Solution IBM composée de 13 serveurs, dont :

  • 3 frontales , chacune avec 2 processeurs (Intel Xeon E5-2650) ⇒ 16 cœurs @2.6 GHz et 128 Go de mémoire.
  • 6 serveurs de fichiers GPFS (4 serveurs de données et 2 serveurs de meta-données) associés à 2 baies de disques GSS26 avec une bande passante de 12 Go/s pour une capacité utile totale de 2 Po.
  • 2 serveurs TSM HSM pour gérer la partie robotique et la migration des fichiers sur cassettes.

Stockage : un robot StorageTek SL8500 muni de 16 lecteurs et qui contient 6300 cassettes offre une capacité de 10 Po. La capacité maximale du robot est de 10000 cassettes.

Pour plus de détails concernant l'architecture ou l'utilisation des ressources de cette machine, voir ici.

Retour au sommaire


3. Demandes d'allocations d'heures sur les machines de l'IDRIS

Demandes d'allocations d'heures à l'IDRIS

Les demandes d'allocations d'heures sur les machines de l'IDRIS se font via le formulaire DARI commun aux 3 centres nationaux CINES, IDRIS, et TGCC : www.edari.fr

Les modalités d'attribution des heures de calcul sur les moyens nationaux ont évolué en 2017 afin d'équilibrer les sessions d'allocations et de les décaler de l'année civile. L'année 2017 étant une année de transition pour cette nouvelle organisation, un seul appel à projets est organisé pour attribuer simultanément :

  • les heures de l'allocation A3, accessibles aux porteurs de projets ayant déposé un dossier dans l'allocation A1 (ou antérieur) et aux nouveaux projets. Ces heures seront utilisables pendant 1 an, du 1er novembre 2017 au 31 octobre 2018 ;
  • les heures complémentaires de l'allocation A2 : accessibles uniquement aux porteurs de projets ayant obtenu des heures dans l'allocation A2. Ces heures seront rajoutées à un projet A2 existant , donc utilisables pendant les 6 mois restants, du 1er novembre 2017 au 30 avril 2018.

Vous avez la possibilité de déposer une demande sur le site du DARI https://www.edari.fr pour l’une des deux allocations.

Pour plus d'information : la note de cadrage de GENCI.

La dernière campagne de dépôt des dossiers est close depuis le 5 septembre 2017

Tout au long de l'année vous avez toujours la possibilité de faire, à partir du site DARI https://www.edari.fr :

  • des demandes au fil de l'eau pour les projets existants ayant épuisé leur quota d'heures en cours d'année (hors campagne).
  • et des demandes de type “accès préparatoire” pour les personnes n'ayant pas de projet à l'IDRIS ou disposant d'un projet sur une seule machine de calcul (Turing ou Ada).
    Après examen de la demande, les ressources accordées sont de 50 000 heures sur Turing et/ou de 15 000 heures sur Ada.
    La durée du projet est de 6 mois à compter de l'ouverture de(s) compte(s).

Vous trouverez toutes les informations nécessaires pour constituer votre dossier en consultant l'aide en ligne du site DARI.

Retour au sommaire


4. Comment obtenir un compte ?

Gestion des comptes : ouverture et fermeture

Ouverture de comptes utilisateurs

Quand un projet a été validé et a obtenu des heures sur un des calculateurs de l'IDRIS, il est doté d'un numéro qui l'identifie.
Chaque utilisateur du projet doit demander l'ouverture de son compte : il n'y a pas d'ouverture de compte automatique ou implicite.

S'il s'agit d'un nouveau projet

  • Vous n'avez encore aucun compte à l'IDRIS :

Chaque personne physique qui demande pour la première fois l'ouverture d'un compte à l'IDRIS doit remplir le Formulaire de demande de création de compte (GENCI) lien.

ATTENTION : sur décision du directeur de l’IDRIS ou du fonctionnaire de sécurité et de défense du CNRS, la création d’un nouveau compte peut être soumise à autorisation ministérielle, dans le cadre de l’application de la règlementation de protection du potentiel scientifique et technique de la nation (PPST). Dans un tel cas, une communication personnelle sera transmise afin de mettre en œuvre la procédure requise, sachant que l’instruction du dossier peut demander jusqu’à dix semaines.

  • Vous avez déjà un compte pour un autre projet :

Si toutes vos informations concernant ce compte sont toujours valides (laboratoire, adresse mail, telephone etc.), alors il vous suffit de remplir et d'envoyer un Formulaire de gestion de compte (FGC, Ouverture d’un compte utilisateur supplémentaire).

S'il s'agit d'un renouvellement de projet

Les comptes existants sur les machines de calcul précédemment accessibles sont automatiquement reportés d'un appel à projet à l'autre.

  • Si votre compte était ouvert et que le projet a obtenu des heures pour l'appel suivant sur la (les) même(s) machine(s), aucune démarche n'est nécessaire.
  • Si une attribution d'heures est accordée sur une nouvelle machine de calcul à laquelle le projet renouvelé n'avait pas accès lors de l'appel précédent, alors tous les utilisateurs du projet doivent demander l'ouverture de leur compte sur cette machine à l'aide du formulaire FGC (cadre Ouverture d’un compte utilisateur supplémentaire).

Le formulaire de gestion de compte FGC permet par ailleurs d'effectuer les modifications nécessaires sur un compte existant (ajout/suppression de points d'accès, changement d'adresse postale, de téléphone, d'employeur, etc.)

Modalités d'envoi des formulaires à l'IDRIS

Tous les formulaires doivent être envoyés à l'adresse .

Fermeture d'un compte utilisateur

Un compte a deux états possibles :

  • ouvert ; dans ce cas vous pouvez :
    • soumettre des travaux de pré/post traitement sur Adapp ;
    • soumettre des travaux bonus sur les machines de calcul si le projet en dispose encore (cf. les dernières lignes de la sortie de la commande cpt) ;
    • soumettre des travaux sur les machines de calcul si l'allocation du projet n'est pas épuisée (cf. sortie de la commande cpt) ;
  • fermé; dans ce cas vous ne pouvez plus vous connecter sur aucune machine. Une notification par courriel est adressée au responsable du projet et à l'utilisateur lors de la fermeture.

Attention : quand un compte est fermé, les fichiers peuvent être effacés à tout moment à l'initiative de l'IDRIS.

Demande de fermeture d'un compte par le chef de projet

La fermeture d'un compte par le chef de projet se fait via le FGC.
Il est de la responsabilité du chef de projet de fermer le compte d'un membre du projet qui ne travaille plus sur la thématique du projet ou qui, ayant changé d'employeur, n'est plus payé par un organisme de recherche français (cf. paragraphe 3. Conditions d’éligibilité de la Note de Cadrage de l'appel à projets chez GENCI).

Nous attirons votre attention sur certains aspects significatifs d'une telle demande de fermeture :

  • la demande de fermeture d’un compte concerne toutes les machines pour lesquelles ce compte est ouvert ;
  • la fermeture d’un compte entraîne la destruction de tous les fichiers du compte dans un délai non défini, à l'initiative de l'IDRIS ;
  • seul le chef de projet peut éventuellement demander la recopie de ces fichiers sur un autre compte du projet avant la fermeture du compte (à indiquer dans le formulaire FGC).
    Il est alors indispensable de vérifier que la place disponible est suffisante pour cette recopie (quotas disque pour le projet sur les serveurs).
  • qu'il y ait eu recopie vers un autre compte ou non, seul le chef de projet peut demander que les fichiers du compte soient détruits immédiatement lors de la fermeture du compte, pour libérer des quotas disque par exemple (colonne “Purge immédiate” du formulaire FGC).

Fermeture d'un compte par l'IDRIS

Fermeture suite à un non renouvellement du projet

Lorsqu'un projet GENCI n'a pas été renouvelé , la procédure appliquée à la date d'expiration du projet est la suivante (quelle qu'ait été sa durée de vie) :

  • aucune heure DARI ni bonus n'est plus disponible. Les comptes du projet ne peuvent plus soumettre de travaux sur les machines de calcul (sauf Adapp), les comptes restent cependant ouverts ;
  • trois mois après, tous les comptes du projet sont fermés sur tous les serveurs.

La récupération des fichiers est à la charge de chaque utilisateur pendant les trois mois qui suivent la fin d'un projet non renouvelé, en transférant les fichiers sur une machine locale au laboratoire. Ainsi, pour un projet non renouvelé finissant en novembre, plus aucune heure n'est disponible au 1er décembre et les comptes sont fermés définitivement fin février ; le même schéma s’applique pour les projets non renouvelés en mai.

Fermeture suite à l'expiration de l'autorisation ministérielle d'accès aux ressources informatiques de l'IDRIS

Une première notification est envoyée 90 jours avant cette date d'expiration, une deuxième 70 jours avant ; le compte est fermé le jour de l'expiration. Pour éviter cette fermeture, l’utilisateur est invité à envoyer à l'IDRIS, dès réception du premier courriel, un nouveau Formulaire de demande de création de compte (GENCI) pour que l'IDRIS puisse instruire un dossier de prolongation.

Fermeture pour raison de sécurité

Un compte peut être fermé à tout moment sur décision de la Direction de l'IDRIS.

Enregistrement des machines utilisateur dans les filtres réseau

Dans chaque laboratoire, une personne (ou deux au maximum) appelée gérant ou correspondant réseau, est responsable d'établir et de maintenir la liste des machines du laboratoire enregistrées à l'IDRIS. Le nom et les coordonnées de cette personne sont transmis à l'IDRIS par le directeur du laboratoire à l'aide du formulaire FGC (Formulaire de gestion de compte). Ce formulaire est aussi utilisé pour informer l'IDRIS d'un éventuel changement de gérant.

Toute machine à partir de laquelle un utilisateur veut accéder à un calculateur de l'IDRIS doit être enregistrée, avec son adresse IP et son nom, au moyen du formulaire FCCU (Formulaire de création de compte utilisateur) à l'ouverture du compte.

Ajout/modification ou suppression d'une machine

Une nouvelle machine vient d'arriver dans votre laboratoire, vous souhaiteriez, à partir de cette machine, accéder aux calculateurs et serveurs de l'IDRIS :

  • Si vous avez déjà déclaré d'autres machines, il vous suffit de contacter le gérant de votre laboratoire, responsable de la liste des machines autorisées à accéder à l'IDRIS. Il enverra un formulaire FGC.
  • Si aucune des machines de votre laboratoire n'a jamais été déclarée à l'IDRIS, ne pas oublier de joindre le formulaire FGC, dans lequel le directeur du laboratoire nomme le gérant de cette liste.

Attention : les adresses IP personnelles ne sont pas autorisées pour se connecter aux machines de l'IDRIS.

De la même manière, pour supprimer une machine, le gérant doit faire parvenir un FGC en cochant la case Suppression

Faire une demande de renouvellement des machines tous les ans

Avant le 15 janvier de chaque année, le gérant doit faire parvenir à IDRIS un FGC, contenant une liste à jour de toutes les machines pour tous les projets du laboratoire.

Comment accéder ponctuellement à l'IDRIS depuis l'étranger ?

La demande d'autorisation de la machine doit être faite par le missionnaire qui complète le cadre page 2 du formulaire FGC. Un accès ssh temporaire sur l'ensemble des machines du centre est alors donné.

Retour au sommaire


5. Comment se connecter pour calculer ?

Comment se connecter à l'IDRIS : généralités

Pour pouvoir vous connecter sur les machines de l'IDRIS, la machine à partir de laquelle vous vous connectez doit être enregistrée dans nos filtres. Si cela n'est pas le cas, consultez la procédure décrite ICI.

Les machines Ada, Adapp, Turing et Ergon sont accédées avec un seul et même mot de passe par utilisateur.

Les accès interactifs aux machines de l'IDRIS ne sont possibles que via le protocole ssh.

Avant de vous connecter, nous vous conseillons de consulter la gestion et les problèmes de mot de passe ICI.

Connexion à l'IDRIS avec SSH et mot de passe

Connexion à n'importe quelle machine de l'IDRIS depuis une machine locale

Vous pouvez vous connecter à n'importe quelle machine de l'IDRIS par SSH. La commande correspondante est :

$ ssh machine-idris.idris.fr -l rlabxxx 

Vers les frontales (Adapp, Ada et Turing), vous pouvez ouvrir un tunnel ssh autorisant les connexions X11 :

$ ssh -X adapp.idris.fr -l rlabxxx

$ ssh -X ada.idris.fr -l rlabxxx

$ ssh -X turing.idris.fr -l rlabxxx

Gestion des mots de passe

La connexion à une machine de l'IDRIS se fait par la saisie de votre login et du mot de passe associé ; les machines Ada, Adapp, Turing et Ergon sont accédées avec un seul et même mot de passe par login.

Pour votre première connexion vous devez utiliser un mot de passe initial qui sera changé immédiatement, afin de définir votre mot de passe courant.

Le mot de passe initial

Qu'est ce que le mot de passe initial ?

Le mot de passe initial est le résultat de la concaténation de deux mots de passe, en respectant leur ordre respectif :

  1. Le mot de passe généré aléatoirement par l'IDRIS, qui vous est envoyé par courriel lors de l'ouverture de votre compte et/ou lors de la réinitialisation de votre mot de passe. Il reste valide 20 jours.
  2. Le mot de passe initial utilisateur, qui est :
    • renseigné par vous-même (8 caractères alphanumériques) dans le (Formulaire de Création de Compte Utilisateur DARI) lors de la demande d'ouverture de votre premier compte si vous êtes nouvel utilisateur, ou dans le Formulaire de Gestion de Compte (FGC) ;
    • pour un utilisateur dont le compte a été créé en 2014 ou avant, il est constitué par le mot de passe initial indiqué dans la dernière lettre reçue de l'IDRIS.

Ce mot de passe initial doit être changé dans les 20 jours qui suivent la réception du courriel contenant le mot de passe généré aléatoirement :

Ce changement se fait automatiquement lors de la première connexion sur une des machines de l'IDRIS (c.f. ci-dessous Exemple de changement du mot de passe initial). Si la première connexion n'a pas été effectuée dans ce délai de 20 jours, le mot de passe initial est invalidé : un courriel vous est envoyé pour vous en informer. Il suffit de contacter par courriel pour demander la réinitialisation de la partie aléatoire du mot de passe initial, qui vous est alors renvoyée par courriel.

Le mot de passe initial est (ré)généré dans les cas suivants :

Réouverture de compte :

Un mot de passe initial est attribué à la création de chaque compte, mais aussi lors de la réouverture d'un compte fermé sur l'ensemble des calculateurs.

Oubli de votre mot de passe :

  • Si vous perdez votre mot de passe courant, contactez par courriel pour demander la réinitialisation de la partie aléatoire du mot de passe initial, qui vous est alors renvoyée par courriel ; vous aurez aussi besoin de votre mot de passe initial utilisateur.
  • Si vous avez aussi perdu votre mot de passe initial utilisateur, celui que vous avez vous-même fourni dans le FGC (ou reçu dans la lettre de l'IDRIS avant 2014), vous devez remplir dans le FGC le cadre de changement de mot de passe initial utilisateur, l'imprimer et le signer, puis le transmettre par courriel à ou l'envoyer par courrier postal. Vous recevrez alors un courriel dans lequel un nouveau mot de passe aléatoire vous sera communiqué.

Exemple d'utilisation du mot de passe initial lors de la première connexion

Vous voulez utiliser votre mot de passe initial (et vous n'avez pas de clé ssh pour vous connecter) : voici un exemple de première connexion et d'entrée du mot de passe courant pour le compte login1 sur Adapp.
Attention : le mot de passe initial est demandé deux fois.
Recommandation : préparez soigneusement votre nouveau mot de passe courant avant de commencer la procédure (c.f. Règles de constitution ci-dessous).

$ ssh login1@adapp                                                         
login1@adapp's password:                   ## Saisissez votre MOT DE PASSE INITIAL ##
Last login: Fri Nov 28 10:20:22 2014 from machine.idris.fr
WARNING: Your password has expired.
You must change your password now and login again!
Changing password for user login1.
Enter login(    ) password:                 ## Saisissez à nouveau votre MOT DE PASSE INITIAL ##
New password:                               ## Saisissez votre nouveau mot de passe courant ##
Retype new password:                        ## Saisissez à nouveau votre nouveau mot de passe courant ##
     password information changed for login1
passwd: all authentication tokens updated successfully.
Connection to adapp closed.
$ 

Le fait d'être immédiatement déconnecté après la prise en compte correcte d'un mot de passe courant (all authentication tokens updated successfully) est normal. Vous pouvez maintenant vous reconnecter avec votre nouveau mot de passe courant.

Le mot de passe courant

Une fois choisi correctement, sa durée de validité est d'un an (365 jours).

Comment changer votre mot de passe courant ?

Comme il est unique pour chaque login, vous pouvez changer votre mot de passe en utilisant la commande UNIX passwd, sur n'importe quel calculateur. Le changement est immédiat, pour toutes les machines; la validité de ce nouveau mot de passe courant est d'un an à nouveau.

Règles de constitution des mots de passe courants :

  • Ils doivent comporter un minimum de 12 caractères.
  • Ces caractères doivent appartenir à au moins 3 familles de caractères parmi les 4 suivantes :
    • majuscules,
    • minuscules,
    • chiffres,
    • caractères spéciaux.
  • Un mot de passe ne doit pas non plus contenir le même caractère plus de deux fois consécutives.
  • Il ne doit pas être composé de mots issus de dictionnaires, ni de combinaisons triviales (1234, azerty, …).

À noter :

  • Un nouveau mot de passe n'est pas modifiable pendant 5 jours. Il est toujours possible, en cas de nécessité, de contacter l'Assistance pour demander une remise à zéro au mot de passe initial.
  • Un historique des 6 derniers mots de passe est conservé, afin de rejeter un mot de passe utilisé récemment.

Expiration du mot de passe courant

Si, malgré les courriels d'avertissement, vous n'avez pas changé votre mot de passe courant avant sa date d'expiration (un an après le dernier changement), alors votre mot de passe sera invalidé. Vous devrez alors, comme dans le cas de la perte du mot de passe courant, contactez par courriel pour demander la réinitialisation de la partie aléatoire du mot de passe initial, qui vous est alors renvoyée par courriel ; vous aurez aussi besoin de votre mot de passe initial utilisateur.

Compte bloqué suite à 15 connexions infructueuses :

Si votre compte est bloqué suite à 15 tentatives infructueuses, vous devez contacter l'Assistance de l'IDRIS.

Rappel sur la sécurité de votre compte

Ne communiquez jamais votre mot de passe en clair dans un message électronique adressé à l'IDRIS (Assistance, Gestion des Utilisateurs, etc.) et ce, quel qu'en soit le motif : nous serions alors obligés de générer immédiatement un nouveau mot de passe initial, afin d'inhiber le mot de passe courant que vous auriez ainsi publié et de nous assurer que vous en définissiez un nouveau dès la connexion suivante.

Chaque compte est strictement personnel. L'accès d'une personne non autorisée entraîne dès sa découverte des mesures de protection immédiates allant jusqu'au blocage du compte.
En tant que titulaire d'un compte, vous êtes tenus de prendre quelques précautions élémentaires de bon sens :

  • prévenir immédiatement l'IDRIS de toute tentative de violation de son compte,
  • respecter les recommandations sur l'utilisation des clés ssh,
  • protéger ses fichiers en limitant les droits d'accès UNIX,
  • ne pas utiliser de mot de passe trop simple,
  • protéger son poste de travail personnel.

Retour au sommaire


6. Gestion de son compte et de son environnement

Gestion de son compte au quotidien

Comment modifier mes données personnelles ?

La modification de vos données personnelles se fait via l'interface Extranet.

  • Pour ceux qui n'ont pas de mot de passe Extranet ou qui l'ont perdu, les modalités d'accès sont décrites sur cette page.
  • Pour ceux qui ont leur mot de passe, cliquez sur Extranet, connectez vous avec vos identifiants puis ⇒ Votre compte ⇒ Vos données ⇒ Coordonnées.

Les seules données modifiables sont :

  • le courriel ;
  • le téléphone ;
  • le fax.

La modification de vos coordonnées postales se fait en nous envoyant le formulaire de gestion de compte FGC. Dans ce cas, vous n'avez pas besoin de renseigner le mot de passe.

Comment voir ma consommation d'heures ?

Nous vous conseillons d'utiliser l'interface Extranet. Toutes les informations se trouvent sur cette page.

Que faire lorsque je n'ai bientôt plus d'heures de calcul ?

Pour permettre la poursuite de projets ayant consommé le volume d'heures qui leur avait été alloué, tout au long de l’année, faire une demande au “fil de l'eau”, consultez cette page.

Puis-je connaître l'état des machines ?

Pour cela, il suffit de se connecter sur Adapp. Les arrêts planifiés des machines et leur disponibilité en temps réel sont affichées en haut de l'écran juste après la connexion.

En cas d'incident important, un message est aussi affiché sur le site web de l'IDRIS, accessible sans mot de passe sur cette page.

Comment récupérer des fichiers que j'ai malencontreusement détruits ?

Pour restaurer des fichiers détruits, consultez la procédure de restauration de fichiers grâce à l'outil TINA décrite pour la machine Adapp. Cette procédure est la même pour Turing et Ada. Il suffira de se placer sur la machine sur laquelle vous avez perdu ou détruit vos fichiers.

Puis-je demander à l'IDRIS le transfert des fichiers d'un compte sur le compte d'un autre utilisateur ?

Seul le chef du projet peut faire la demande par fax signé, ou par courrier en précisant bien :

  • la (les) machine(s) concernée(s) ;
  • les 2 comptes : l'ancien et le nouveau ;
  • la liste des fichiers et/ou répertoires à transférer.
  • Ensuite, le chef de projet peut demander la fermeture du compte

Récupération des fichiers sur un support externe

Il n'est plus possible de récupérer ses fichiers sur des supports externes.

Turing, Ada, Adapp : accès et shells

Gestion de son environnement

Quels sont les shells disponibles sur les machines de l'IDRIS ?

Le Bourne Again shell (bash) et le TC shell (tcsh) sont les 2 interpréteurs de commandes installés sur les machines de l'IDRIS. Par défaut à l'IDRIS, vous travaillez en bash. Nous vous conseillons fortement d'utiliser le bash sur les machines de l'IDRIS. Le bash est une évolution importante du Bourne shell (ancien sh) avec des fonctionnalités avancées.

Quels sont les fichiers d'environnement invoqués lors du lancement d'une session login en bash ?

Le fichier .bash_profile s'il existe ou sinon .profile et s'il se trouve dans votre HOME, est exécuté au login une seule fois pendant une session. C'est dans ce fichier que l'on place les variables d'environnement, les programmes de lancement personnel. Les alias et les fonctions personnels sont à mettre dans le fichier .bashrc qui est exécuté au lancement de chaque sous-shell.

Il est préférable de n'utiliser qu'un seul fichier d'environnement : le .bash_profile ou .profile.

Attention, l'écrasement de la variable PATH conduit toujours à des catastrophes, c'est pourquoi il est toujours conseillé de conserver le PATH fourni par la machine. Si vous souhaitez ajouter un répertoire de recherche pour l'exécution de commandes locales lors de toutes vos futures sessions, il faut procéder de la manière suivante, dans votre .bash_profile ou .profile :

 export PATH=$PATH:repertoire_a_ajouter 

Comment faire pour avoir un environnement convivial en bash ?

Suivant le type d'éditeur que vous appréciez, le Bash shell vous propose 2 modes d'édition à l'aide de la commande set :

set -o emacs # pour être en mode emacs
set -o vi # pour être en mode vi

Cette commande est à placer dans l'un de vos fichiers d'environnement .bash_profile ou .profile par exemple.

Il vous suffit alors de vous déplacer sur la ligne de commande comme si vous étiez sous votre éditeur favori. Par exemple, pour se placer sur le premier caractère de la commande il faut taper : Ctrl-a en mode emacs (Resp. Esc-0 en mode vi).

Pour éditer à nouveau la dernière commande que vous venez de lancer, c'est la même chose que de remonter d'une ligne dans votre éditeur (Ctrl-P en mode emacs, Esc-k en mode vi) etc … (voir man bash pour plus de renseignements sur les possibilités des différents modes).

N'oubliez pas non plus que vous pouvez utiliser la complétion de fichier pour éviter de taper le nom complet du fichier. Si le fichier est présent dans le répertoire, il suffit de taper les premières lettres de son nom puis pour avoir le nom complet il faut faire en mode :

emacs : Esc-Esc,
vi : Esc-

Retour au sommaire


7. Présentation des espaces disques

Quotas d'utilisation des disques

Principe

Les quotas garantissent un accès équitable aux ressources disques. Ils évitent qu'un groupe d'utilisateurs ne consomme tout l'espace disque et empêche les autres groupes de travailler. À l'IDRIS, les quotas limitent à la fois la quantité d'espace disque et le nombre de fichiers (en inodes) de chaque projet. Il n'y a pas de limite par utilisateur.

Lorsqu'un des quotas est atteint, vous ne pouvez plus créer de fichiers. Cela peut donc perturber les travaux en cours d'exécution de votre groupe. Attention, éditer un fichier en limite de quota disque peut ramener sa taille a zéro, donc en effacer le contenu.

Suivi des quotas

La commande quota_u permet d'obtenir sa consommation courante et ses quotas pour l'espace $HOME. L'option -w permet de récupérer les mêmes informations pour le $WORKDIR. L'espace $TMPDIR n'est pas soumis à des quotas.

  • La commande quota_u affiche la consommation pour chaque utilisateur du groupe. Cette consommation tient compte de tous les fichiers qui vous appartiennent, même s'ils ne sont pas situés sur vos espaces personnels : fichiers créés dans des espaces partagés du groupe ($COMMONDIR) ou situés sur les espaces personnels des autres utilisateurs. Cette information est donnée à tous les membres du groupe et eux seuls, afin de permettre de prévenir un collègue d'un problème manifeste, mais aussi pour permettre au responsable de projet le suivi de son groupe .
  • Les informations de la commande quota_u ne sont pas mises à jour en temps réel : la date et l'heure de mise à jour sont affichés dans l'en-tête de la sortie de la commande quota_u.

Dépassement des quotas

Lorsqu'un groupe est en dépassement de quota, aucun émail d'avertissement n'est envoyé. Vous êtes néanmoins informés par des messages d'erreur lorsque vous manipulez des fichiers dans l'espace disque concerné, comme disk quota exceeded.

Lorsque vous êtes bloqué ou en passe de l’être :

  • Essayez de faire du ménage (vous et les autres membres de votre groupe).
  • Déplacer vos fichiers dans un autre espace comme le $WORKDIR de Ada/Adapp ou Turing ou sur le HOME du serveur d'archives Ergon.
  • Le chef de projet ou son suppléant peut aussi demander une augmentation motivée des quotas via l'interface Extranet.

Ergon : l'espace disque HOME

Le HOME

Cet espace est destiné essentiellement à stocker des fichiers de données sur le moyen et le long terme. La durée de vie d'un fichier est d'un an après sa date de création ou sa date de dernier accès. Il est constitué d'une baie de disques durs avec migration progressive des fichiers sur cassette.

  • C'est un espace permanent.
  • Il est accessible directement par ssh, mais aussi depuis les machines de calcul à l'aide des commandes mfget/mfput, et depuis la machine de pré-post traitement Adapp via la variable d’environnement $ARCHIVE.
  • Il est soumis à des quotas par groupe (en taille globale et en nombre de fichiers). La commande IDRIS quota_u permet de consulter ces quotas.
  • C'est un espace non sauvegardé, mais il est possible d'utiliser la commande mfdupli pour effectuer une copie de fichiers avec l'assurance qu'ils soient migrés sur des cassettes distinctes. Le répertoire DUPLI dans votre HOME contient alors les copies des fichiers.

Ada, Adapp, Turing : les espaces disques

Trois espaces disques distincts (HOME, WORKDIR et TMPDIR) sont accessibles aux utilisateurs sur les calculateurs Ada, Adapp et Turing. Un quatrième, l'espace ARCHIVE n'est accessible que sur Adapp. Chaque espace a des caractéristiques spécifiques adaptées à son utilisation qui sont décrites ci-dessous. Les chemins d'accès à ces espaces sont stockés dans 4 variables d'environnement du shell : $HOME, $WORKDIR, $TMPDIR et $ARCHIVE.

Le HOME

$HOME : c'est le répertoire d'accueil lors d'une connexion interactive. Cet espace est destiné aux fichiers de petite taille, très souvent utilisés comme les fichiers d'environnement du shell, les utilitaires, éventuellement les sources et les bibliothèques de taille limitée (en espace comme en nombre de fichiers). Voici ses caractéristiques :

  • le HOME est un espace permanent ;
  • il est sauvegardé quotidiennement par le logiciel TiNa;
  • il est commun aux machines Adapp et Ada et propre à la machine Turing;
  • il est accessible en interactif ou dans un travail batch;
  • c'est le répertoire d'accueil lors d'une connexion interactive. On peut y accéder aussi via la variable $HOME :

    $ cd $HOME
  • il est soumis à des quotas par groupe volontairement assez faibles : 5 Gio (5,4 Go) par défaut; la commande IDRIS quota_u permet de voir la situation réelle de votre occupation et celles de tous les membres de votre groupe;

  • il est prévu pour accueillir des fichiers de petite taille; la taille du bloc est de 256 Kio (262 Ko) (commande stat -f $HOME).

Le WORKDIR

$WORKDIR : c'est un espace de travail et de stockage permanent utilisable en batch. On y stocke généralement les fichiers de taille importante qui servent aux exécutions batch : les fichiers de données, les exécutables, les fichiers de résultats ou de reprise de calcul (restarts), les scripts de soumission et les fichiers sources volumineux. Voici ses caractéristiques :

  • le WORKDIR est un espace permanent;
  • il n'est pas sauvegardé;
  • il est commun aux 3 machines Adapp, Ada et Turing;
  • il est accessible en interactif ou dans un travail batch;
  • il est composé de 2 parties :
    • une partie propre à chaque utilisateur ; on y accède par la commande :

      $ cd $WORKDIR
    • une partie commune au groupe UNIX auquel l'utilisateur appartient, dans lequel on peut mettre des fichiers destinés à être partagés; on y accède par la commande :

      $ cd $COMMONDIR
  • il est soumis à des quotas par groupe : 1 Tio (1,1 To) par défaut. La commande IDRIS quota_u -w permet de voir la situation réelle de votre occupation et de celles de tous les membres de votre groupe;

  • il est prévu pour accueillir des fichiers de taille importante; la taille du bloc est de 4 Mio (4,2 Mo) (commande stat -f $WORKDIR).
  • le WORKDIR est un espace disque GPFS dont la bande passante (50 Gio/s en écriture et en lecture environ) est partagée entre les machines Adapp, Ada et Turing. Elle peut être ponctuellement saturée en cas d'utilisation exceptionnellement intensive.

Recommandations d'utilisation :

  • le WORKDIR n'est pas sauvegardé. On n'est jamais à l'abri d'une destruction manuelle non maîtrisée (rm) ou d'une défaillance des disques; il faut donc sauvegarder régulièrement les fichiers sensibles ou importants sur le serveur d'archives Ergon.

Attention :

  • les travaux batch peuvent s'exécuter dans le WORKDIR, les fichiers sont alors directement accessibles en lecture/écriture (espace permanent) et ne nécessitent pas de recopie explicite. Cependant, plusieurs de vos travaux peuvent s'exécuter en même temps; il faut donc gérer l'unicité de vos répertoires d'exécution. De plus, il est soumis à des quotas (par groupe) qui peuvent stopper brutalement votre exécution s'ils sont atteints. Sur cet espace disque, il faut ainsi tenir compte non seulement de votre propre activité, mais aussi de celle de vos collègues. Pour ces raisons, on pourra alors être amené à préférer le TMPDIR pour l'exécution des travaux batch.

Le TMPDIR

$TMPDIR : répertoire d'exécution d'un travail batch. Voici ses caractéristiques :

  • le TMPDIR est un répertoire temporaire;
  • il n'est accessible que dans un travail batch à l'aide de la variable $TMPDIR;
  • il est créé automatiquement lorsqu'un travail batch démarre : il est donc unique à chaque travail batch;
  • il est détruit automatiquement à la fin de ce travail : il faut donc recopier les fichiers importants sur un autre espace disque permanent (le WORKDIR par exemple) avant la fin du travail.
  • il n'est pas soumis à des quotas par groupe, comme le HOME ou le WORKDIR. Cependant, des quotas dits de sécurité sont positionnés; ils sont destinés à éviter qu'un utilisateur ne remplisse totalement cet espace disque à la suite d'une fausse manœuvre;

  • il est prévu pour accueillir des fichiers de taille importante; la taille du bloc est identique à celle du WORKDIR : 4 Mio (4,2 Mo) (commande stat -f $TMPDIR ne marche qu'en batch).

Recommandations d'utilisation :

Vous trouverez des exemples de travail batch utilisant le TMPDIR dans la section Exécution/Contrôle d'un code, pour Ada ici et pour Turing ici. Sinon, de manière générale, voici nos conseils pour utiliser le TMPDIR :

  • pour toute exécution, on supposera que les fichiers d'entrée, de reprise ou exécutables nécessaires à l'exécution sont stockés préalablement sur un système de fichiers permanent (HOME ou WORKDIR). Si ce n'est pas le cas, utiliser la classe archive et la notion de job multi-étapes (exemple sur Ada ici ou sur Turing ici) pour recopier, dans une première étape, les fichiers nécessaires dans le WORKDIR avec la commande mfget.
  • lors de chaque exécution de travaux en batch, nous vous conseillons de vous placer dans le TMPDIR;
  • on copie les fichiers nécessaires du WORKDIR dans le TMPDIR avec la commande cp.
  • on lance l'exécution dans le TMPDIR;
  • avant la fin du travail batch:
    • il faut sauvegarder les fichiers significatifs dans un système de fichiers permanent (HOME ou WORKDIR) à l'aide de la commande cp s'ils sont régulièrement utilisés ou susceptibles d'être post-traités;
    • pour les fichiers à archiver à plus long terme, sauvegardez-les sur le serveur d'archives Ergon à l'aide de la commande mfput dans une dernière étape en classe archive de votre travail batch (exemple sur Ada ici ou sur Turing ici).

Remarques :

  • comme les performances en lecture/écriture sont identiques pour le WORKDIR et le TMPDIR, vous pouvez éviter de faire des copies entre ces deux répertoires, à condition que le code sache lire ou écrire directement les fichiers dans le HOME ou le WORKDIR;
  • comme le WORKDIR, le TMPDIR est un espace disque GPFS dont la bande passante (50 Gio/s en écriture et en lecture environ) est partagée entre les machines Adapp, Ada et Turing. Les performances des entrées-sorties ne sont donc pas reproductibles puisqu'elles peuvent être ralenties en cas d'utilisation exceptionnellement intensive.

L'espace ARCHIVE (à partir d'Adapp seulement)

L'espace ARCHIVE correspond au HOME du serveur d'archives Ergon qui est directement accessible en lecture/écriture depuis la machine de pré et post-traitement Adapp, par l'intermédiaire d'un montage GPFS via la variable d'environnement $ARCHIVE.

$ ls -l $ARCHIVE

Il est accessible depuis les nœuds d'Adapp uniquement (interactif ou batch); il n'est pas accessible depuis les nœuds d'Ada ou Turing.

HOME et WORKDIR : la sécurité informatique

Pour améliorer la protection de vos données stockées sur vos espaces HOME et WORKDIR, nous vous recommandons de respecter la politique de sécurité mise en place à l'IDRIS.

Résumé des caractéristiques des espaces disques

Note : la dernière colonne intitulée ARCHIVE ne concerne qu'Ergon et Adapp pour le partage de l'espace ARCHIVE.

HOME WORKDIR TMPDIR ARCHIVE
Durée de vie permanente permanente durée du travail batch permanente
Partagé sur les calculateurs commun sur Adapp et Ada (propre sur Turing) commun sur Adapp, Ada et Turing $ARCHIVE sur Adapp, $HOME sur Ergon
Sauvegarde oui non non non
Ménage automatique non non oui, à la fin du travail batch non
Accès interactif oui oui non ($TMPDIR n'est pas défini) oui depuis Adapp
Accès batch oui oui oui oui depuis Adapp
Taille du bloc 256 Kio (262 Ko) 4 Mio (4,2 Mo) 4 Mio (4,2 Mo) 16 Mio (16,8 Mo)
Quota par groupe quota_u : 5 Gio (5,4 Go) par défaut quota_u -w 1 Tio (1,1 To) par défaut) aucun quota_u : 1 Tio (1,1 To) sur Ergon

Ergon : les quotas disques, la commande quota_u

  • l'espace de stockage est soumis à un quota par groupe aussi bien en nombre de fichiers (15000) qu'en volumétrie : 1 Tio (1,1 To) ;
  • le délai pour sortir d'un dépassement de quota est de 14 jours maximum, en fonction de l'ampleur du dépassement : c'est la “période de grâce”;
  • il est possible sur Ergon de dépasser le quota dans une certaine mesure afin de ne pas bloquer un mfput depuis une machine de calcul, mais seulement pendant la période de grâce.

La commande quota_u

  • La commande quota_u d'Ergon permet d'obtenir la consommation courante de son groupe (en volumétrie et en nombre d'inodes), ainsi que les limites des deux quotas .
  • En cas de dépassement, la période de grâce est indiquée en nombre de jours dans la colonne Timeleft.
  • La commande quota_u d'Ergon est basée sur la commande unix du (disk usage) utilisée avec l'option --apparent-size afin de tenir compte des fichiers migrés sur cassette.

Ergon : commandes disponibles

Sur le serveur d'archives Ergon

  • mfdupli : duplication sécurisée d'un fichier ou répertoire.
  • mfret : modification de la date d'expiration des fichiers.
  • quota_u : consommation et limite de quota (volumétrie et nombre d'inodes).
  • bbftp : transfert de fichiers vers une machine extérieure à l'IDRIS
  • mfdods : dods_ls, dods_cp, dods_rm

Sur Adapp

  • mfls : liste le contenu du HOME d'Ergon depuis n'importe quelle machine de calcul.
  • mfget : transfert de fichiers du serveurs d'archives Ergon vers Adapp.
  • mfput : transfert de fichiers d'Adapp vers le serveur d'archives Ergon.
  • mfdupli : duplication sécurisée d'un fichier ou répertoire d'Ergon.
  • mfret : modification de la date d'expiration des fichiers du HOME d'Ergon.

Sur les machines Ada et Turing

  • mfls : liste le contenu du HOME d'Ergon.
  • mfget : transfert de fichiers du serveurs d'archives Ergon vers Ada ou Turing.
  • mfput : transfert de fichiers d'Ada ou Turing vers le serveur d'archives Ergon.

Retour au sommaire


8. Commandes de transferts de fichiers

Ergon : les commandes de transfert mfget et mfput

Les commandes mfget et mfput ont été développées à l'IDRIS pour sécuriser les transferts entre les machines de calcul de l'Institut et le serveur d'archives Ergon et optimiser les vitesses de transfert. Voici quelques exemples d'tilisation basique pour un login login1 depuis une machine de calcul machine_i :

  • En interactif :
    • Recopie du fichier fic_ergon depuis Ergon vers la machine de calcul machine_i sous le nom fic_calcul :
      $ mfget fic_ergon fic_calcul
    • Recopie du fichier fic_calcul de la machine de calcul machine_i vers Ergon sous le nom fic_ergon :
      $ mfput fic_calcul fic_ergon
  • En batch, il est recommandé d'utiliser la classe archive pour réaliser les transferts de fichiers entre les machines de calcul et le serveur d'archives Ergon :
    • exemple d'utilisation en batch de la commande mfget, dans la classe archive
 
...           
# @ job_type = serial
# @ class = archive
...       
# Copie du fichier d1 depuis le $HOME d'Ergon dans le $WORKDIR de la machine de calcul       
mfget d1 $WORKDIR        

# Copie du fichier donnee2 depuis le $HOME d'Ergon dans le $WORKDIR de la machine de calcul sous le nom d2       
mfget donnee2 $WORKDIR/d2        

# Copie du fichier donnee3 depuis le le sous-répertoire REP du $HOME de Ergon
# dans le $WORKDIR de la machine de calcul sous le nom d3       
mfget REP/donnee3 $WORKDIR/d3        
  • exemple d'utilisation en batch de la commande mfput, dans la classe archive
...
# @ job_type = serial
# @ class = archive
... 

cd $WORKDIR       

# Copie du fichier r1 de la machine de calcul vers le $HOME de Ergon
mfput r1 r1
        
# Copie du fichier r2 de la machine de calcul vers le sous-répertoire REP du $HOME de Ergon sous le nom resultat2       
mfput r2 REP/resultat2        
...

Pour avoir plus de renseignements sur les options et capacités de transfert de ces commandes, nous vous conseillons de consulter leurs manuels en ligne sur les serveurs de calcul (man mfget, man mfput).

Les transferts de fichiers par la commande bbftp

Pour transférer des fichiers volumineux de l'IDRIS vers votre laboratoire, nous vous conseillons d'utiliser BBFTP qui est un logiciel optimisé pour le transfert de fichiers.

Toutes les informations sur l'utilisation de la commande bbftp se trouvent ICI

Retour au sommaire


9. La commande module

Ada, Adapp : notice d'utilisation de la commande module

La commande module est là pour répondre au plus juste à vos besoins spécifiques, pour utiliser les compilateurs, bibliothèques mathématiques ou utilitaires sans que vous ayez à en chercher l'emplacement sur les disques. Elle fonctionne en enrichissant à votre demande des variables d'environnement en fonction du produit (compilateur, débogueur, etc…) que vous souhaitez utiliser.

Syntaxe

module (avail [produit] | load produit[/version] | list | switch produit/version1 produit/version2 | display produit[/version] …)

  • ''avail'' : liste les différents produits disponibles et leurs versions,
  • ''load'' : charge le produit dans sa version par défaut (notée default), si aucune version n'est spécifiée,
  • ''list'' : liste les différents produits chargés et leur version,
  • ''switch'' : change la version d'un produit déjà chargé.

produit représente au choix :

  • un mode de travail,
  • un compilateur,
  • une bibliothèque,
  • une application ou un utilitaire.

version représente les évolutions d'un même produit, elle peut être égale à :

  • default : version par défaut; c'est celle qui est prise si vous ne spécifiez aucune version. Cette version est en général la plus adaptée,
  • numéro : numéro de version complet du type X.Y.Z, simplement old (version ancienne) ou new (en cours d'évaluation par l'IDRIS) .

Liste des produits disponibles

Vous cherchez un produit spécifique, une version particulière d'une bibliothèque ? L'avons-nous à votre disposition ? Pour répondre à cette question, la commande à exécuter est module avail :

$ module avail

--------------------------- /smplocal/pub/Modules/IDRIS/modulefiles/environnement ---------------------------
compilerwrappers/no           modules/1.147
compilerwrappers/yes(default) modules/3.2.10(default)

--------------------------- /smplocal/pub/Modules/IDRIS/modulefiles/bibliotheques ---------------------------
arpack/96(default)               lapack/10.3.6(default)           petsc/real-hypre/3.3-p5
blas/10.3.6(default)             lapack95/10.3.6(default)         petsc/real-mumps/3.1-p8(default)
blas95/10.3.6(default)           mumps/4.10.0(default)            petsc/real-mumps/3.3-p5
cmor/2.8.1(default)              nag/23(default)                  phdf5/1.8.9(default)
fftw/2.1.5                       ncar/6.1(default)                pnetcdf/1.1.1
fftw/3.2.2                       netcdf/4.1.3                     pnetcdf/1.3.1(default)
fftw/3.3.2(default)              netcdf/mpi/4.1.3                 scalapack/10.3.6(default)
fftw/3.3.3                       netcdf/seq/4.1.3(default)        scotch/6.0.0(default)
hdf5/1.8.9(default)              p3dfft/2.5.1(default)            udunits/2.1.24(default)
hdf5/mpi/1.8.9                   parmetis/3.2.0(default)          uuid/1.6.2(default)
hdf5/seq/1.8.9                   parpack/96(default)              vtk/5.10.1(default)
hypre/2.9.0b(default)            petsc/3.1-p8

--------------------------- /smplocal/pub/Modules/IDRIS/modulefiles/applications ----------------------------
abinit/7.0.5(default)        espresso/4.3.2               namd/2.8
adf/2012.01c(default)        espresso/5.0.1(default)      namd/2.9(default)
adf/2013.01.r36703           espresso/5.0.2               nwchem/6.1.1(default)
avbp/avbp(default)           gaussian/g03_D02             siesta/2.0.2
cdo/1.5.9(default)           gaussian/g09_A02(default)    siesta/3.1(default)
cp2k/2.3_12343(default)      gromacs/4.5.5(default)       siesta/3.1-pl20
cp2k/2.4_12578               gromacsplumed/4.5.5(default) vasp/4.6.35
cpmd/3.13.2                  lammps/2012.10.10(default)   vasp/5.2.12(default)
cpmd/3.15.3(default)         molcas/7.8(default)          vasp/5.2.2
espresso/4.2.1               molpro/2010.1(default)

------------------------------ /smplocal/pub/Modules/IDRIS/modulefiles/outils -------------------------------
cmake/2.8.10.2(default)   idl/8.2(default)          papi/5.1.0.2(default)     python/3.3.0
ferret/6.84(default)      nco/4.2.3(default)        paraview/3.98(default)    totalview/8.11.0(default)
fpmpi2/2.2(default)       ncview/2.1.2(default)     python/2.7.3(default)     xmgrace/5.1.23(default)

Cette liste évolue en permanence (la liste figurant ci-dessus est celle en date d'avril 2013).

Pour plus d’informations, consultez, sur notre site Web les pages concernant la (les) machine(s) que vous utilisez, la notice d'utilisation de la commande module sur Turing ou commande module sur Ada.

Retour au sommaire


10. Comment soumettre un calcul ?

L'interactif et le batch

Vous avez deux modes de travail possibles : en interactif et en batch.

Dans les deux cas, vous devez respecter les limites maximales, en temps elapsed (ou d’horloge) et en mémoire, fixées par l’IDRIS dans le but de mieux gérer les ressources informatiques. Vous trouverez de plus amples informations concernant ces limites en tapant la commande news class sur la machine qui vous intéresse ou en consultant sur notre serveur web les pages concernant la (les) machine(s) que vous utilisez classes batch sur Turing ou classes batch et limitations interactives sur Ada et Adapp

Le travail en interactif

En général, l’interactif est utilisé pour la gestion des fichiers (création, copie, archivage, sauvegarde, compilation, …). L’une des premières choses que vous ferez sera l’édition d’un programme source pour ensuite le compiler et l'exécuter. Toutes ces opérations peuvent très bien être effectuées directement sur les machines de calcul à l’aide des commandes définies sur chacune d’entre elles. il n’y a plus besoin de passer par une frontale dédiée pour atteindre les machines de calcul : toutes les machines enregistrées dans nos filtres peuvent atteindre directement l’ensemble des frontales (Turing, Ada, Adapp) directement par ssh.

En mode interactif :

  • Vous avez accès aux frontales,
  • Vous n’avez pas accès aux nœuds de calcul.

Naturellement, les sessions interactives seront également utilisées pour préparer les sessions dites batch.

Le travail en batch

Il existe plusieurs raisons de travailler en mode batch :

  • possibilité de dépasser les limitations en temps elapsed ou d’horloge et en mémoire de l’interactif ;
  • possibilité de fermer la session interactive après avoir soumis un travail ;
  • meilleure gestion des ressources entre les utilisateurs avec une répartition sur la machine en fonction des ressources demandées (un travail très consommateur en ressources sera exécuté pendant les heures dites creuses (la nuit, le week-end)),
  • pour vos travaux de pré/post-traitement sur la machine de pré/post-traitement (Adapp).
  • C’est le seul mode sur Turing.

À l'IDRIS, nous disposons du logiciel LoadLeveler permettant la gestion des jobs en mode batch sur les machines de calcul IBM (Ada, Turing) et sur la machine de pré/post-traitement Adapp.
Ce gestionnaire de batch contrôle le déroulement des travaux en fonction des ressources demandées (mémoire, temps elapsed ou d’horloge, fichiers) et du nombre de jobs actifs à un instant donné (au total et pour chaque utilisateur).

Il y a 2 étapes essentielles pour travailler en batch : la création puis la soumission du travail (job)

Création : cette étape consiste à écrire dans un fichier toutes les commandes que l’on veut exécuter et à ajouter, en début de fichier, des directives de soumission (ou options) pour définir certains paramètres comme :

  • le nom du job ;
  • la limite en temps elapsed ou d’horloge pour l’ensemble du job ;
  • la limite maximale pour la mémoire occupée par chaque processus du job ;
  • le nombre de processus (MPI ou/et OpenMP).

Une fois les directives de soumission définies, il est recommandé d'entrer les commandes dans l'ordre suivant ;

  • se placer dans le TMPDIR (cd $TMPDIR) ;
  • copier les fichiers d’entrée nécessaires à l’exécution par cp à partir du HOME ou du WORKDIR ;
  • lancer l'exécution ;
  • copier les fichiers de résultats que vous souhaitez conserver dans le HOME ou le WORKDIR en utilisant la commande cp.

Soumission : Pour soumettre un job (ou script), vous devez utiliser la commande suivante :

$llsubmit mon-job


(Pour avoir plus de détails sur la commande, vous pouvez consulter le manuel sur les machines via la commande man) :

Votre job sera placé dans une classe batch en fonction des valeurs écrites dans les directives de soumission (voir la news class sur la machine qui vous intéresse). Nous vous conseillons de positionner au plus juste les paramètres concernant la mémoire et le temps elapsed ou d’horloge afin d’éviter de réserver des ressources qui resteront inutilisées et pour avoir un retour de job le plus rapide possible.
Remarques :

  • Le mode batch ne permet pas à l’utilisateur d’intervenir au cours de l'exécution des commandes sauf pour interrompre le déroulement du job. Par conséquent, les transferts de fichiers doivent s'effectuer sans avoir à taper de mot de passe.
  • Adapp et Ada ayant le même gestionnaire de batch, les commandes de base sont les mêmes que pour Ada. Si vous voulez exécuter un travail sur la machine pré / post-traitement (ADAPP), vous devez utiliser la directive via le mot-clé LoadLeveler ci-dessous dans le script de soumission.
# @ requirements = (Feature == "prepost")


En l'absence de cette directive de soumission, le travail va s'exécuter sur Ada.

Des informations détaillées sont disponibles sur le site Web www.idris.fr IDRIS pour chacune des machines de l'IDRIS (Turing, Ada, ADAPP) dans la section intitulée “Documentation” (exécution de code / commande, la compilation, etc.).
Si vous rencontrez des problèmes, vous pouvez contacter le support aux utilisateurs SU de l’IDRIS.

Retour au sommaire


11. Formations proposées à l'IDRIS

Formations proposées à l'IDRIS

L’IDRIS dispense des formations à destination aussi bien de ses utilisateurs que de ceux du calcul scientifique en général. La plupart de ces formations figurent au catalogue de CNRS Formation Entreprises, ce qui les rend accessibles à tous les utilisateurs du calcul scientifique, appartenant aussi bien au monde académique qu'industriel.

Ces formations sont principalement orientées vers les méthodes de programmation parallèles : MPI, OpenMP et hybride MPI / OpenMP, clés de voûte pour l’utilisation des supercalculateurs d’aujourd’hui. Elles concernent aussi les langages de programmation scientifique généraux : Fortran et C.

Une nouvelle formation a été introduite en 2014, concernant le Débogage à l’échelle (c’est-à-dire la détection d’erreurs de programmation et la mise au point d’applications s’exécutant sur un grand nombre de cœurs de calcul).

Le catalogue des formations proposées par l'IDRIS, régulièrement remis à jour, est disponible sur notre serveur web à l’adresse : https://cours.idris.fr

L'inscription est gratuite pour les agents CNRS ou Education Nationale, directement sur le site web des formations de l'IDRIS. Sinon, contactez CNRS Formation Entreprises.

Les supports des formations dispensées à l'IDRIS sont disponibles en ligne ici

Retour au sommaire


12. Documentation de l'IDRIS

  • Le site Web : l’IDRIS maintient à jour un site Web : www.idris.fr regroupant l’ensemble de la documentation technique (nouvelles du centre, fonctionnement des machines, etc.).
  • Les documentations constructeurs : des documents, fournis par les constructeurs, sont accessibles sur le site Web de l’IDRIS. Ils permettent, par exemple, d’avoir une documentation complète sur les compilateurs (f90, C et C++), les bibliothèques scientifiques, les bibliothèques de passage de messages (MPI), etc.
  • Les manuels : tous les manuels UNIX sont disponibles en ligne grâce à la commande man exécutée par l'utilisateur à partir de son login sur tous les calculateurs de l'IDRIS.

Retour au sommaire


13. Le support aux utilisateurs

La permanence de l'IDRIS

Questions et/ou problèmes techniques

Pour toute question, demande d'information ou problème sur les machines de l'IDRIS, contactez la permanence de l’équipe Support aux utilisateurs (SU) :

  • par téléphone au 01 69 35 85 55, ou
  • par courriel adressé à

Cette permanence est assurée :

  • du lundi au jeudi de 9h à 18h
  • le vendredi de 9h à 17h30, sans interruption.

Note : En période de vacances scolaires pour la Zone C (par exemple : Noël, vacances d'été), les horaires peuvent être réduits :
du lundi au vendredi de 9h à 12h et de 13h30 à 17h30.

En dehors des heures ouvrées, les horaires en cours sont indiqués dans le message du répondeur téléphonique de la permanence.

Gestion administrative des utilisateurs de l'IDRIS

Pour tout problème de mot de passe, d'ouverture de compte, d'autorisation d’accès, ou pour nous envoyer les formulaires d'ouverture (FFCU) ou de gestion de compte (FGC), vous devez envoyer un courriel à :