Nouveau site internet de l'IDRIS : Votre avis compte !

Vous souhaitez donner votre avis, signaler une erreur, ou suggérer une amélioration ? Nous sommes à votre écoute ! Partagez-le via ce rapide questionnaire anonyme qui ne vous prendra que quelques secondes à compléter.
A noter que toute suggestion est prise en compte mais n'a pas la garantie d'être appliquée.

Foire Aux Questions (FAQ)

Pensez à télécharger le Mémento IDRIS

Nouveau site internet de l'IDRIS

Nouveau site internet de l'IDRIS : je souhaite donner mon avis, signaler une erreur ou suggérer une amélioration.

Votre avis compte ! N'hésitez pas à le partager via ce rapide questionnaire anonyme qui ne vous prendra que quelques secondes à compléter : Sondage, nous sommes à votre écoute. A noter que toute suggestion est prise en compte mais n'a pas la garantie d'être appliquée.

Pourquoi ce nouveau site internet ?

Ce nouveau site vous permet d'avoir accès à toute notre documentation, nos informations et actualités, tout en vous offrant une expérience plus moderne, fluide et intuitive, avec une barre de recherche performante pour trouver toute information en un instant, et un affichage adapté à tous vos appareils (ordinateur, tablette et smartphone).

L'information que je cherche n'est plus au même endroit qu'avant, comment faire ?

Notre nouveau site est muni d'un outil de recherche très efficace : Tapez un titre ou des mots clefs, et vous trouverez facilement ce que vous recherchez.

Toute la documentation et informations de l'ancien site sont-elles présentes ?

Oui, la grande majorité du contenu de l’ancien site est désormais disponible ici et est régulièrement mise à jour. Ce nouveau site ayant été lancé récemment quelques pages sont encore en cours de construction, nous travaillons activement à leur mise en ligne.

L’ancien site est-il toujours accessible ?

Oui, une version figée datant du 24/03/2026 de l'ancien site internet est toujours accessible.

Le changement de site a-t-il un impact sur les démarches d'accès aux ressources et d'ouverture de compte ?

Non, le changement du site du l'IDRIS n'a aucun impact sur votre compte ni sur les procédures d’accès aux ressources, il vous permet simplement d'avoir accès à toute notre documentation, nos informations et actualités, le tout sur une plateforme plus moderne, fluide et intuitive.

Is the website available in English ? Le site est-il disponible en anglais ?

The website is not available in English yet. The IDRIS support team is working on it.

In the meantime, you can:

• either activate the translator tool from your web browser, which will automatically translate each page;
• or go back to the English version of our previous website, which has been freezed on the 24th of March, 2026: http://archive.idris.fr/eng/index.html.

Problèmes de connexion

Comment accéder à Jean Zay ?

Chaque utilisateurice de l'IDRIS est titulaire d'un login unique pour tous les projets auxquels il participe. Ce compte est personnel et ne doit pas être partagé. Ce login est associé à un mot de passe obéissant à certaines règles de sécurité. Avant de vous connecter, nous vous conseillons de consulter la page gestion de mot de passe. Vous ne pouvez vous connecter sur Jean Zay qu'à partir d'une machine dont l'adresse IP est enregistrée dans nos filtres. Si cela n'est pas le cas, consultez la procédure de déclaration des machines disponible sur notre site Web.

Les accès interactifs à Jean Zay sont possibles via le protocole SSH sur les nœuds frontaux de la machine ou via notre instance JupyterHub (attention, une première connexion via ssh est nécessaire pour définir votre mot de passe).

Pour de plus amples informations, vous pouvez consulter la description matérielle détaillée du cluster.

Quels sont les shells disponibles ?

Le Bourne Again shell (bash) est le seul interpréteur de commandes supporté comme shell de login sur les machines de l'IDRIS : l'IDRIS ne garantit pas que l'environnement utilisateurice par défaut soit correctement défini avec les autres interpréteurs (ksh, tcsh, csh).

Qu'est ce que le mot de passe initial ?

Le mot de passe initial est celui que vous devez utiliser lors de votre première connexion ou après une réinitialisation de votre mot de passe.

Il résulte de la concaténation de deux parties :

1. une première partie générée aléatoirement par l'IDRIS ;
2. une seconde partie (8 caractères) renseignée par vous-même dans le formulaire de demande de création de compte disponible sur le portail DARI.

Vous trouverez de plus amples informations concernant la gestion de votre mot de passe sur notre documentation.

Comment changer le mot de passe initial lors de la première connexion ?

Vous êtes obligé·e de changer votre mot de passe lors de la première connexion : une procédure de changement de mot de passe est automatiquement exécutée dès que vous êtes connecté·e sur la machine.

Vous serez donc amené.e à suivre la procédure détaillée sur la page web accessible en cliquant ici.

J'ai oublié mon mot de passe. Que dois-je faire ?

• Si vous vous souvenez de la partie utilisateurice (8 caractères) du mot de passe initial définie sur le portail DARI, envoyez un courriel à l'adresse gestutil@idris.fr pour demander la réinitialisation de la partie aléatoire (partie IDRIS) du mot de passe.

• Si vous avez perdu la partie utilisateurice (8 caractères) du mot de passe initial définie sur le portail DARI, vous devez remplir le cadre intitulé "Réinitialisation de la partie utilisateur du mot de passe initial" dans le Formulaire de Gestion de Compte (FGC) et le transmettre par courriel à gestutil@idris.fr.

Nouvel.le utilisateurice : j'ai reçu mon login Jean Zay, pourquoi ne puis-je toujours pas me connecter à la machine ?

Il y a trois raisons probables qui peuvent expliquer la situation.

1. Vous avez reçu le courriel de création de compte très récemment et vous tentez de vous connecter depuis une machine déclarée. Mais, comme indiqué dans le courriel, il reste une étape à la procédure pour que vous puissiez vous connecter : nous devons rattacher à votre login les adresses IP que vous avez déclarées.
   Habituellement, cette étape prend une journée ouvrée. Vous devriez pouvoir vous connecter le lendemain à partir de 17h.

2. Vous ne vous connectez pas depuis une des machines dont vous avez déclaré l'adresse IP. Vous devez alors établir votre connexion via une machine ayant une adresse IP déclarée ou demander l'ajout de l'adresse IP de la machine depuis laquelle vous essayez de vous connecter grâce au formulaire FGC.
   Attention : nous n'acceptons que des adresses IP institutionnelles fixes.

3. Une fois par semaine en moyenne, nous effectuons des opérations de maintenance annoncées sur le site Web de l'IDRIS : sur la page d'accueil du site, cliquez sur le menu déroulant intitulé "Espace utilisateurs" puis la rubrique "Disponibilité des machines". Pendant ces maintenances, il n'est généralement pas possible de se connecter.

En dehors de ces raisons, n'hésitez pas à contacter l'assistance (assist@idris.fr) en incluant le retour de la commande ssh -vvv ... .

Ancien.ne utilisateurice: pourquoi ne puis-je pas me connecter à la machine ?

Il y a plusieurs raisons probables qui peuvent expliquer la situation.

1. Vous ne vous connectez pas depuis une machine dont vous avez déclaré l'adresse IP. Vous devez alors établir votre connexion via une machine ayant une adresse IP déclarée ou demander l'ajout de l'adresse IP de la machine depuis laquelle vous essayez de vous connecter grâce au formulaire FGC.
   Attention : nous n'acceptons que des adresses IP institutionnelles fixes.

2. Une fois par semaine en moyenne, nous effectuons des opérations de maintenance annoncées sur le site Web de l'IDRIS : sur la page d'accueil du site, cliquez sur le menu déroulant intitulé "Espace utilisateurs" puis la rubrique "Disponibilité des machines". Pendant ces maintenances, il n'est généralement pas possible de se connecter.

En dehors de ces raisons, n'hésitez pas à contacter l'assistance (assist@idris.fr) en incluant le retour de la commande ssh -vvv ... .

Comment ajouter une machine à partir de laquelle je vais me connecter à Jean Zay ?

Lors de la demande de création de compte, vous devez fournir la liste des machines avec lesquelles vous vous connecterez au calculateur de l'IDRIS (adresse IP et nom). Cette déclaration se fait à partir du portail eDARI.

Pour ajouter une nouvelle machine après la création de compte, vous devez remplir le cadre intitulé "Ajout, suppression d’adresses IP de connexion" du formulaire de gestion de compte (FGC) et l'envoyer à gestutil@idris.fr. Notez que cette procédure requiert les signatures de l'utilisateurice et du responsable sécurité.

Attention : nous n'acceptons que des adresses IP institutionnelles fixes.

Puis-je me connecter depuis une machine ayant un numéro IP variable ?

C'est le cas, par exemple, d'un PC personnel connecté via une liaison ADSL, dont le numéro IP n'est pas fixe car automatiquement choisi par le fournisseur d'accès Internet au moment de la connexion.

Le numéro IP ne peut alors pas être intégré aux filtres de l'IDRIS pour des raisons techniques (puisque le numéro change à chaque connexion) et surtout des raisons de sécurité informatique.

Par conséquent, vous ne pouvez pas vous connecter directement à Jean Zay si votre machine a un numéro IP variable.

Pour contourner ce problème, vous avez les solutions prévues pour le télétravail et les missions.

Puis-je utiliser les clés SSH pour mes connexions avec l'IDRIS ?

Les connexions SSH utilisant une paire de clefs SSH (clé privée / clé publique) sont possibles sur Jean Zay.

ATTENTION : Nous envisageons de renforcer notre politique de sécurité concernant les accès à la machine Jean Zay. Par conséquent, nous vous demandons de tester, dès maintenant, l'utilisation des certificats pour vos connexions SSH en lieu et place des paires de clés SSH habituelles (clé privée / clé publique) en respectant les procédures détaillées ici.

Comment utiliser les certificats pour mes connexions SSH avec l'IDRIS ?

Pour renforcer notre politique de sécurité concernant les accès à la machine Jean Zay, nous vous demandons de tester l'utilisation des certificats pour vos connexions SSH en lieu et place des paires de clés SSH habituelles (clé privée / clé publique). La création et l'utilisation de certificats se fait en respectant les procédures détaillées ici.

Pendant la phase de test et au moins jusqu'à la fin février 2023, les connexions via les clés SSH classiques resteront possibles. Merci de nous signaler tous les problèmes que vous pourriez rencontrer avec l'utilisation des certificats.

Pourquoi je n'arrive pas à utiliser Git sur Jean Zay ?

Sur Jean Zay, il est fortement recommandé d'accéder à un dépôt Git via le protocole HTTP(S). Par exemple :

git clone https://github.com/myrepo/myrepo.git

Attention, cela peut nécessiter de générer un token d'authentification spécifique, c'est par exemple le cas pour GitHub.

Si votre dépôt Git est accessible uniquement via le protocole SSH, il faudra déclarer l'adresse IP du serveur Git via le formulaire de gestion de compte. La partie à compléter est le deuxième tableau (concernant les flux sortants) de la section "Ajout, suppression d'adresses IP de connexion", en bas de page 2. Le formulaire est à renvoyer signé à gestutil@idris.fr.

Attention : Lorsque l'accès via le protocole HTTP(S) est possible (ce qui est par exemple le cas pour Github.com et Gitlab.com), nous n'accepterons pas l'usage de SSH.

Gestion des projets

Comment demander des heures de calcul à l'IDRIS ?

GENCI offre plusieurs possibilités pour effectuer des demandes d'allocations d'heures de calcul selon le nombre d'heures demandées.

De plus amples informations sont disponibles sur notre page détaillant les demandes d'allocations.

Comment ajouter un.e utilisateurice à un projet ?

Si l'utilisateurice n'a pas de compte à l'IDRIS, il/elle doit suivre la procédure documentée à la page Gestion des comptes pour demander l'ouverture d'un compte sur la machine de calcul pour le projet.

Si l'utilisateurice a déjà un compte à l'IDRIS, il/elle doit suivre la procédure de rattachement de son compte au projet concerné.

Comment connaître le nombre d'heures de calcul consommées par projet ?

Il vous suffit d'utiliser la commande IDRIS idracct pour connaitre les heures consommées par chaque collaborateur du projet ainsi que le pourcentage de l'allocation d'heures et le total consommés.

Notez que les informations retournées par cette commande ne sont mises à jour qu'une fois par jour (comme indiqué en première ligne de la sortie de la commande).

Si vous avez plusieurs projets à l'IDRIS, cette commande vous donnera les consommations CPU et/ou GPU de tous les projets auxquels votre login est rattaché.

Que faire lorsque je n'ai bientôt plus d'heures de calcul ?

Il est possible d'effectuer des demandes d'heures supplémentaires :

• soit une demande dite "au fil de l'eau" qui peut se faire tant que votre projet AD (Accès Dynamique) ou IA dispose d'une allocation d'heures en cours.
• soit une demande à mi-parcours de votre allocation d'Accès Régulier dans le cas d'un AR (Accès Régulier) pour obtenir un complément d'heures pour une période de six mois.

Ces demandes, qui doivent être justifiées, sont à effectuer via le portail eDARI comme indiqué dans notre page web traitant des demandes d'allocations d'heures.

Comptes multi-projets

Comment savoir à quel projet correspond un groupe Unix lorsque l'on est rattaché à plusieurs projets ?

Pour identifier le groupe Unix correspondant au projet qui vous intéresse (notamment pour le décompte des heures de calcul), il faut combiner les informations retournées par les commandes idracct et idrproj :

Commande idracct

La commande idracct liste l'ensemble des projets auxquels vous êtes rattachés. Chaque projet possède un numéro de projet interne IDRIS (différent du numéro DARI).

Par exemple, si vous êtes Jean Petit et que vous êtes rattaché à deux projets, vous aurez un retour du type :

$ idracct

################################################################################

                           PROJET 123456 SUR JEAN-ZAY
################################################################################

================================================================================
 CPU (du 01-11-2019 au 31-10-2020)                   Allocation : 1000000 h.cpu
================================================================================

  Compte   Proprietaire                    Consommation Nb travaux Remboursement
  -------- ------------------------------ ------------- ---------- -------------
  login00  PETIT_Jean                          30000.00       1500             -
  login01  DURAND_Marie                        20000.00       1000             -
  -------- ------------------------------ ------------- ---------- -------------
                                   Totaux      50000.00       2500          0.00
                              Utilisation          5.00           


################################################################################

                           PROJET 654321 SUR JEAN-ZAY
################################################################################

================================================================================
 V100 (du 01-12-2020 au 31-11-2022)                    Allocation : 20000 h.gpu
================================================================================

  Compte   Proprietaire                    Consommation Nb travaux Remboursement
  -------- ------------------------------ ------------- ---------- -------------
  login00  PETIT_Jean                           3000.00        150             -
  login02  DUBOIS_Pascal                        2000.00        100             -
  -------- ------------------------------ ------------- ---------- -------------
                                   Totaux       5000.00        250          0.00
                              Utilisation         25.00           

Avec ce type d'information, vous devriez être en mesure d'identifier le projet qui vous intéresse en fonction des membres associés et de l'allocation correspondante.

Dans l'exemple ci-dessus, le projet pour lequel vous avez reçu 1000000 d'heures CPU en collaboration avec Marie Durand est celui dont le numéro interne IDRIS est 123456.

Il faut ensuite combiner cette information avec le retour de la commande idrproj, comme expliqué ci-dessous.

Commande idrproj

Les groupes Unix auxquels vous appartenez sont listés et associés aux numéros internes IDRIS des projets par la commande idrproj. Par exemple :

$ idrproj

Available projects:
-------------------
  abc (123456) [default][active]
  def (654321)

Les groupes Unix sont indiqués dans la première colonne (ici abc et def) et les numéros internes IDRIS des projets correspondants apparaissent entre parenthèses.

Dans cet exemple, le projet 123456 correspond donc au groupe Unix abc.

Comment puis-je changer le projet de ma session courante ?

Pour changer de projet actif dans votre session il faut exécuter la commande :

eval $(idrenv -d grp1)

Où grp1 est le trigramme lié à votre projet.

Plus d'informations sur le guide de l'utilisateurice multi-projets.

Gestion des comptes

Comment puis-je obtenir un compte de calcul ?

Il n'y a pas d'ouverture de compte automatique ou implicite.
Chaque utilisateurice doit donc faire explicitement une demande d'ouverture de compte utilisateurice pour pouvoir travailler au sein d'un projet. Cette demande doit être accompagnée d'une demande préalable de rattachement à un projet nécessitant l'accord du chef de projet.
Le compte utilisateurice est alors unique est permet de collaborer à plusieurs projets en demandant simplement à être rattaché aux divers projets.

Pour plus d'informations, veuillez consulter notre documentation concernant la gestion des comptes à l'IDRIS.

Vous pouvez aussi consulter notre documentation expliquant la déclaration de compte calcul à l'IDRIS via le portail eDARI.

Comment modifier mes données personnelles ?

La modification de vos données personnelles se fait via l'interface Web Extranet.

• Pour celles et ceux qui n'ont pas de mot de passe Extranet ou qui l'ont perdu, les modalités d'accès sont décrites sur cette page.
• Pour celles et ceux qui ont leur mot de passe, cliquez sur Extranet, connectez vous avec vos identifiants puis => Votre compte => Vos données => Coordonnées.

Les seules données modifiables en ligne sont :

• le courriel ;
• le téléphone ;
• le fax.

La modification de vos coordonnées postales se fait en nous envoyant le formulaire de gestion de compte FGC via la section "Changement de structure de recherche ou de société sans changer de compte".

Gestion des données

Quels espaces disques sont disponibles sur Jean Zay ?

Pour chaque projet, 5 espaces disques distincts sont disponibles sur Jean Zay : HOME, WORK, SCRATCH/JOBSCRATCH, STORE et DSDIR.

Vous trouverez les explications concernant ces espaces sur notre site web, à la page Espaces disques.
Attention : HOME, WORK et STORE sont soumis à des quotas !

Si votre login est rattaché à plusieurs projets, la commande IDRIS idrenv vous affichera toutes les variables d'environnement référençant tous les espaces disques de tous vos projets. Ces variables vous permettent d'accéder aux données de vos divers projets à partir de n'importe lequel d'entre eux.

Choisissez votre espace de stockage selon vos besoins (données permanentes, semi-temporaires, temporaires, gros ou petits fichiers, etc.).

Comment connaître les quotas et la consommation des espaces disques ?

Il vous suffit d'utiliser la commande IDRIS idr_quota_user.

Par défaut, elle indique l'occupation des espaces disques HOME, WORK ou STORE de votre projet actif (celui sur lequel vous travaillez).

Si votre login est rattaché à plusieurs projets, vous pouvez utiliser l'option -p ... de la commande idr_quota_user pour sélectionner un projet en particulier (voir la sortie de la commande IDRIS idrproj).

Comment demander une extension d'espace disque ou d'inodes ?

Si votre utilisation de l'espace disque est conforme à son usage et si vous ne pouvez pas supprimer ou déplacer des données contenues dans cet espace, alors votre chef·fe de projet peut effectuer une demande argumentée d'augmentation de quota (espace et/ou inodes) sur l'extranet de l'IDRIS.

Est-il possible de connaître la consommation des espaces disques par chaque utilisateurice de mon projet ?

Oui c'est possible avec la commande idr_quota_project.

Les informations renvoyées par la commande ne sont mises à jour qu'une fois par jour.

Comment partager des données entre les membres d'un projet ?

Pour partager des données entre les membres d'un même projet, vous pouvez utiliser les espaces communs $ALL_CCFRWORK, $ALL_CCFRSTORE et $ALL_CCFRSCRATCH qui sont accessibles à tous les membres du projet et rattachés aux divers espaces disque.

Vous pouvez gérer l'accès à vos données simplement en positionnant les droits unix sur les sous-répertoires et les fichiers en fonction du type d'accès voulu (lecture, écriture ou lecture/écriture) via la commande unix chmod.

Puis-je être notifié·e quand mes fichiers vont être supprimés du SCRATCH ?

Malheureusement non. La quantité de fichiers stockés dans le SCRATCH est telle qu'on ne peut pas parcourir l'espace en un temps raisonnable pour mettre en place ce service.

Pourquoi mes fichiers sont-ils supprimés du SCRATCH alors qu'ils ont moins de 30 jours ?

Pour détecter les fichiers non accédés (lus ou modifiés) depuis 30 jours, l'IDRIS prend en compte l'horodatage des fichiers. Lors du téléchargement de nouvelles données, l'horodatage n'est pas toujours mis à jour et les fichiers peuvent apparaître "plus vieux" qu'ils ne le sont. Ce problème apparaît en général lorsque des archives sont manipulées.

Pour éviter la conservation d'un vieil horodatage lors de la décompression de vos archives de données, vous pouvez utiliser les options -m ou -DD des commandes respectives tar et unzip :

tar -m [...]

ou

unzip -DD [...]

Comment contrôler l'accès à mes fichiers avec les droits ACL (Access Control List) ?

Il est possible d'utiliser les droits ACL (Access Control List) pour partager des données entre utilisateurices de façon plus précise qu'avec les droits Unix classiques.

Pour de plus amples informations, vous pouvez consulter notre documentation sur les ACL.

Comment récupérer des fichiers que j'ai malencontreusement détruits ?

Suite à la migration vers les nouveaux espaces de stockage Lustre, l'espace disque WORK n'est plus sauvegardé. Nous vous recommandons de conserver une copie de vos données importantes sous forme d'archives stockées sur votre STORE.

Pour des raisons de trop grande taille, ni le SCRATCH (espace semi-temporaire), ni le STORE (espace de stockage) ne sont sauvegardés.

Puis-je demander à l'IDRIS le transfert des fichiers d'un compte sur un autre compte ?

L'IDRIS considère que les données sont liées à un projet. Par conséquent, pour que le transfert soit possible, il faut que :

1. les deux comptes (la/le propriétaire et la/le destinataire) soient tous les deux rattachés au même projet ;
2. que ce soit la/le chef·fe du projet qui fasse la demande, par fax signé ou par courriel à l'assistance (assist@idris.fr) en précisant bien :
   • la machine concernée ;
   • le compte source et le compte destinataire ;
   • la liste des fichiers et/ou répertoires à transférer.

Transferts de données

Quelles commandes utiliser pour transférer des données entre l'IDRIS et ma machine de connexion ?

En interactif

Pour les transferts en interactif, vous pouvez utiliser les commandes liées à ssh (sftp et scp), qui doivent être disponibles sur votre machine (elles le sont sur toutes les machines de l'IDRIS). Mais attention, ces commandes sont très coûteuses en temps CPU et en temps de transfert du fait de l'encodage réalisé par ssh.

En batch

Les transferts de fichiers dans un job batch ne pourront se faire que si les commandes de transfert utilisent une authentification SSH qui ne demande pas de mot de passe. Vous devez donc, préalablement, générer une paire de clés SSH publique/privée sur la machine de calcul avec une passphrase vide, puis copier uniquement la clé publique sur votre machine locale. Vous pouvez consulter ici la procédure à suivre pour mettre en place cette authentification SSH.

Nous vous recommandons de faire un test en interactif pour voir si les transferts se font correctement.

Comment transférer des données entre les 3 centres nationaux (réseau CCFR) ?

Présentation

Le réseau des Centres de Calcul Français (CCFR) est un réseau dédié à très haut débit, qui interconnecte les trois centres de calcul nationaux CINES, IDRIS et TGCC. Ce réseau est mis à la disposition des utilisateurices pour faciliter les transferts de données entre les centres nationaux. Sont actuellement raccordées sur ce réseau les machines Joliot-Curie au TGCC, Jean Zay à l'IDRIS et Adastra au CINES.

L'utilisation de ce réseau implique que vous ayez des logins (différents pour chaque centre) dans au moins deux des trois centres et qu'ils soient autorisés à accéder au réseau CCFR dans les centres concernés.

Remarques :

• Pour votre login IDRIS, la demande d'accès au réseau CCFR peut se faire :
  • lors de votre demande de création de compte à partir du portail eDARI,
  • ou en envoyant un mail à gestutil@idris.fr à partir de votre adresse connue du centre avec comme titre « CCFR : votre login IDRIS / votre nom » pour demander l'accès CCFR et vous permettre de faire vos transferts vers le CINES et le TGCC. L'information sera transmise aux deux autres centres pour qu'ils puissent aussi faire ce qui est nécessaire pour que cela soit opérationnel.
• De plus, tous les nœuds de Jean Zay ne sont pas connectés à ce réseau. Pour l'utiliser depuis l'IDRIS, vous pouvez utiliser les frontales jean-zay.idris.fr et jean-zay-pp.idris.fr.

Pour plus d'information, n'hésitez pas à contacter l'assistance assist@idris.fr.

Transfert de données via CCFR

Le transfert de données entre les machines des centres via le réseau CCFR constitue le service principal pour ce réseau. Une commande wrapper ccfr_cp accessible par l'intermédiaire d'un module est fournie pour simplifier les usages :

$ module load ccfr

Cette commande ccfr_cp récupère automatiquement les informations de connexion à la machine spécifiée (nom de domaine, port spécifique) et détecte les possibilités d'authentification. Par défaut, la commande optera pour une authentification basique, utilisant les modalités traditionnelles en vigueur sur la machine ciblée.
La commande ccfr_cp est basée sur l'outil rsync, configuré pour faire transiter les données avec le protocole SSH. La copie réalisée est récursive et préserve les liens symboliques, les droits d'accès ainsi que les dates de modification des fichiers.
Le détail de la commande, ainsi que la liste des machines accessibles sur le réseau CCFR sont disponibles en précisant l'option -h à la commande ccfr_cp.

Pour des transferts depuis Jean Zay vers les machines du CINES et du TGCC, vous pouvez utiliser des commandes similaires à celles-ci

$ module load ccfr
$ ccfr_cp /path/to/datas/on/jean-zay login_cines@adastra:/path/to/directory/on/adastra:
$ ccfr_cp /path/to/datas/on/jean-zay login_tgcc@irene:/path/to/directory/on/irene:

Pour effectuer des transferts depuis Adastra, la procédure est similaire excepté que vous devez utiliser la machine adastra-ccfr.cines.fr (accessible depuis adastra.cines.fr) comme indiqué sur la documentation du CINES.
Pour effectuer des transferts depuis Joliot-Curie, la procédure est aussi similaire et peut être effectuée directement depuis la frontale irene-fr.ccc.cea.fr. Après connexion à la machine, la commande machine.info vous donnera toutes les informations utiles.

Une commande ccfr_sync, variante de ccfr_cp, permet une synchronisation forte entre la source et la destination en ajoutant, par rapport à la commande ccfr_cp, la suppression des fichiers de la destination qui ne sont pas présents dans la source.

Remarque : Par défaut, ces commandes utiliseront une authentification basique par mot de passe en respectant les modalités en vigueur du centre distant (CINES ou TGCC). Vous serez donc certainement obligés de fournir un mot de passe à chaque fois. Pour éviter ceci, vous pouvez utiliser les certificats IDRIS de type transfert-only (validité 7 jours) dont le mode d'emploi est défini sur le site web de l'IDRIS. L'utilisation de tels certificats vous obligera à initier les transferts depuis la machine distante adastra-ccfr.cines.fr (accessible depuis adastra.cines.fr) pour le CINES et irene-fr.ccc.cea.fr pour le TGCC après avoir copié le certificat transfert-only sur la machine distante et à construire vous-même les commandes rsync de transfert (donc ne pas utiliser les wrappers ccfr_cp et ccfr_sync). Vous pouvez alors vous inspirer des exemples suivants pour faire vos transferts :

# Simple copie de Jean Zay vers machine distante (exécuté sur la machine distante)
# utilisant le certificat transfert-only contenu dans ~/.ssh/id_ecc_rsync sur la machine distante
$ rsync --human-readable --recursive --links --perms --times --omit-dir-times -v \
  -e 'ssh -i ~/.ssh/id_ecc_rsync' \
  login_idris@jean-zay-ccfr.idris.fr:/path/on/jean-zay /path/on/adastra/or/irene

# Synchronisation forte (option --delete) de Jean Zay vers machine distante (exécuté sur la machine distante)
# utilisant le certificat transfert-only contenu dans ~/.ssh/id_ecc_rsync sur la machine distante
$ rsync --human-readable --recursive --links --perms --times --omit-dir-times -v --delete \
  -e 'ssh -i ~/.ssh/id_ecc_rsync' \
   login_idris@jean-zay-ccfr.idris.fr:/path/on/jean-zay /path/on/adastra/or/irene
    

Attention : Sur la machine adastra-ccfr.cines.fr, le certificat id_ecc_rsync doit être visible depuis votre repertoire /home/login_cines/.ssh pour que la commande ssh puisse l'utiliser (pas de variable d'environnement définie pour cet espace disque). Il faut donc prendre soin de dé-archiver le certificat dans ce repertoire avec une commande telle que :

login_cines@adastra-ccfr.cines.fr:~$ unzip ~/transfert_certif.zip -d /home/login_cines/.ssh
Archive: /lus/home/.../transfert_certif.zip
inflating: /home/login_cines/.ssh/id_ecc_rsync
inflating: /home/login_cines/.ssh/id_ecc_rsync.pub

Transfert de fichiers en parallèle

Pour accélérer les transferts de fichiers entre trois centres nationaux, vous pouvez également utiliser la commande parallel-sftp. Il s'agit d'un outil développé par le CEA qui permet d'utiliser la commande sftp standard en parallèle pour réaliser des transferts de fichiers parallèles. Vous trouverez plus d'informations sur le site du CEA.

parallel-sftp est installé sur les nœuds de connexion du cluster IDRIS Jean Zay. Son utilisation est identique à sftp, à l'exception de l'option -n qui permet de choisir le nombre de connexions SSH utilisées pour les transferts parallèles.

Par exemple, pour réaliser un transfert parallèle avec 5 connexions SSH :

$ parallel-sftp -n 5 <remote_login>@<remote_host>

Ainsi, si un transfert sftp est limité à 1 Gbps par exemple, ce transfert utilisera au maximum 5 Gbps.

Attention : pour vos transferts entre les centres nationaux, vous devez utiliser les nœuds connectés au réseau CCFR. Pour l'IDRIS, cela signifie que le paramètre <remote_host> ci-dessus doit être adastra-ccfr.cines.fr ou irene-fr-ccfr.ccc.cea.fr. Mais vous pouvez directement utiliser jean-zay.idris.fr pour exécuter la commande parallel-sftp.

Pour une utilisation à l'IDRIS, vous pouvez suivre l'exemple suivant écrit pour adastra (pour irene il suffit d'utiliser irene-fr-ccfr.ccc.cea.fr) :

# 1/ Se connecter à Jean Zay :
$ ssh jean-zay_login@jean-zay.idris.fr
 
# 2/ Pour initier une connexion permettant de faire des transferts avec la machine adastra
#    utilisant potentiellement 5 threads dans ce cas
$ parallel-sftp -n 5 adastra_login@adastra-ccfr.cines.fr
sftp>
 
# Vous êtes alors dans un environnement sftp dans lequel pour pouvez exécuter
# des commandes put et get pour faire les transferts (voir man sftp).
# ATTENTION : les variables d'environnement telles que WORK, SCRATCH, STORE, ...
#            ne sont pas définies et ne peuvent donc pas être utilisées pour
#            spécifier les chemins d'accès aux données à transférer.
#            Vous devez indiquer les chemins complets !
 
# 3/ Faire les transferts
# Pour transférer un répertoire de Jean Zay sur adastra, vous pouvez faire :
sftp> put -r /path/to/jean-zay/src/directory /path/to/adastra/dest/directory
 
# Pour transférer un répertoire de adastra sur Jean Zay, vous pouvez faire :
sftp> get -r /path/to/jean-zay/dest/directory /path/to/adastra/src/directory

Puis-je récupérer des fichiers sur un support externe ?

Il n'est plus possible de demander le transfert de ses fichiers sur un support externe.

Gestion des travaux

Quand mes travaux vont-ils démarrer ?

Le gestionnaire de travaux Slurm permet d'afficher la date et l'heure prévues de démarrage de vos travaux en utilisant l'option --start de la commande squeue (voir la colonne START_TIME).

Remarques :

• Il est possible que Slurm ne soit pas en mesure d'avoir une estimation suffisamment fiable sur l'heure de démarrage de certains travaux. Dans ce cas, la colonne START_TIME affichera N/A comme information.
• Comme la liste des travaux en attente est évolutive, il est important de garder à l'esprit que l'information donnée par Slurm est une estimation qui est susceptible de changer en fonction de la charge de la machine.

Pourquoi mes travaux restent autant de temps dans la queue ?

La machine est très probablement chargée et d'autres travaux peuvent être plus prioritaires que les vôtres.

Mais il est possible que vous ayez mal paramétré votre travail. Par exemple, si la commande squeue vous indique (QOSMaxWallDurationPerJobLimit) dans la colonne intitulée NODELIST(REASON), cela signifie que vous demandez un temps d'exécution trop important (directive #SBATCH --time=... dans votre job) pour la QoS sélectionnée (soit par défaut, soit via la directive #SBATCH --qos=... dans votre job). Dans ce cas, vous devez supprimer votre job et le modifier avant de le soumettre à nouveau.

Remarque : si vos travaux CPU (respectivement GPU) respectent les critères des partitions CPU et des QoS CPU (respectivement des partitions GPU et des QoS GPU) définies sur la machine, ne les supprimez pas. Ils seront exécutés dès que possible.

La priorité d'un travail dépend de plusieurs critères :

• La QoS (Quality of Service) choisie : les QoS "dev" n'autorisant que des travaux courts (moins de 2h) sont plus prioritaires que les QoS par défaut "t3" (autorisant des travaux jusqu'à 20h) et les QoS "t3" sont plus prioritaires que les QoS "t4" autorisant des travaux mono-nœuds jusqu'à 100h.
• Des modalités de régulation des heures de calcul basées sur un critère dit de fairshare : un projet ayant pris de l'avance sur la consommation de son allocation d'heures verra la priorité de ses travaux baisser. Vous pouvez vérifier le statut de votre projet avec la commande idr_compuse.
• Le temps d'attente dans la queue : plus un travail a été soumis il y a longtemps, plus sa priorité augmente.

Ces différents critères assurent que tous les utilisateurices puissent utiliser les ressources tout en maximisant le taux de remplissage de la machine.

Quelle est la limite maximale sur la durée des travaux ?

La durée maximale des travaux sur Jean Zay est 100 heures sauf sur la partition A100 qui est limitée à 20h.

Pour lancer des travaux dépassants 20 heures, il faut utiliser :

• la QoS (Quality of Service) qos_cpu-t4 pour les travaux CPU en indiquant #SBATCH --qos=qos_cpu-t4 dans votre job

• la QoS qos_gpu-t4 pour les travaux GPU V100 en indiquant #SBATCH --qos=qos_gpu-t4 dans votre job.

• la QoS qos_gpu_h100-t4 pour les travaux GPU H100 en indiquant #SBATCH --qos=qos_gpu_h100-t4 dans votre job.

Vous trouverez de plus amples détails sur l'utilisation de ces deux QoS dans les pages suivantes : QoS CPU et QoS GPU.

Remarque : avec ces QoS, vos jobs risquent d'attendre plus longtemps avant de démarrer car ils ont une priorité plus faible et le nombre de nœuds de calcul attribués aux jobs de plus de 20 heures est limité.

Pourquoi mes travaux qos_gpu-t4 sont-ils dans l'état PENDING pour la raison QOSGrpCpuLimit ou QOSGrpGRES ?

Comme indiqué dans notre documentation concernant les QoS GPU, l'ensemble des travaux en qos_gpu-t4 exécutés simultanément par tous les utilisateurices ne peuvent pas occuper plus de 32 nœuds convergés.

Lorsque cette limite est atteinte, vos travaux restent alors PENDING avec la raison QOSGrpCpuLimit ou QOSGrpGRES.

Attention : ne les supprimez pas, ils seront exécutés dès que possible.

Puis-je utiliser mpirun pour démarrer mes codes parallèles ?

Pour éviter les erreurs de distribution automatique des processus MPI sur les nœuds de calcul et pour garantir une distribution conforme aux spécifications de ressources demandées dans votre fichier de soumission Slurm, nous vous recommandons d'utiliser la commande Slurm srun pour exécuter votre code au lieu de la commande mpirun.

Un travail interrompu en raison d'un problème technique : un remboursement est il possible ?

Chaque projet bénéficie d'heures bonus via la possibilité de consommer jusqu'à 125 % des heures attribuées. Cette mesure permet de compenser les faibles pertes d'heures sans devoir passer par des demandes spécifiques.

Il est cependant possible d'effectuer des demandes d'heures supplémentaires via :

• soit une demande dite "au fil de l'eau" qui peut se faire tant que votre projet HPC ou IA dispose d'une allocation d'heures en cours.
• soit une demande à mi-parcours de votre allocation d'Accès Régulier (HPC) pour obtenir un complément d'heures pour une période de six mois.

Naturellement, ces demandes doivent être justifiées. Par exemple, en mentionnant les tickets ouverts auprès de l'assistance de l'IDRIS et liés à des pertes d'heures du fait de problèmes techniques.

Ces demandes sont à effectuer via le portail du DARI comme indiqué dans notre page web traitant des demandes d'allocations d'heures.

Si la perte d'heures dépasse 5 % de l'allocation, un remboursement est possible. Pour cela, il est nécessaire d'ouvrir un ticket auprès de l'assistance.

Pourquoi mes travaux sur la partition gpu_p5 échouent-ils avec l'erreur "Illegal Instruction" ?

Cette erreur indique que vous avez utilisé des modules et/ou un code incompatibles avec les CPU AMD équipant cette partition gpu_p5.

Contrairement à tous les autres nœuds de Jean Zay qui sont équipés de CPU Intel, les nœuds de cette partition sont équipés de CPU AMD ce qui engendre deux conséquences :

1. Les modules accessibles par défaut (module avail) ne sont pas compatibles avec cette partition. Il est nécessaire de charger préalablement le module cpuarch/amd (module load cpuarch/amd puis module avail) pour pouvoir lister et charger les modules compatibles.
2. Vous devez également recompiler vos codes pour les CPU AMD en utilisant les modules compatibles.

Vous pouvez consulter la section Modules compatibles avec la partition gpu_p5 pour plus d'informations.

Maintenances et indisponibilités de la machine

Comment puis-je savoir si la machine est indisponible ?

La machine peut être indisponible en raison d'une maintenance préprogrammée ou d'un problème technique survenu subitement. Dans les deux cas, l'information est disponible sur la page d'accueil du site Web de l'IDRIS via le menu déroulant intitulé "Espace utilisateurs" puis la rubrique "Disponibilité des machines".

Les utilisateurices de l'IDRIS peuvent également s'inscrire à la liste de diffusion "info-machines" via l'Extranet.

Simulation Atomistique

Pourquoi ai-je un message "Permission denied" lorsque j'utilise Gaussian ?

Par défaut les droits d'accès à Gaussian ne sont pas ouverts pour tous les utilisateurices. Vous devez contacter l'assistance pour en demander l'accès.

Pourquoi ai-je un message "Permission denied" lorsque j'utilise VASP ?

L'accès à VASP est contrôlé par un mécanisme d'autorisation très strict :

1. Pour commencer, vous devez être enregistré·e personnellement sur une licence officielle d'exploitation du logiciel VASP délivrée par les développeurs. Page d'enregistrement
2. Ensuite, vous devez faire une demande pour utiliser VASP sur notre machine via un courriel à l'assistance. L'assistance doit alors contacter VASP pour s'assurer que vous êtes bien enregistré·e avant de pouvoir vous donner l'accès au logiciel.

Notez que la procédure peut prendre plusieurs jours.

Pourquoi ai-je un message "Permission denied" lorsque j'utilise CPMD ?

L'accès à CPMD est contrôlé par un mécanisme d'autorisation très strict :

1. Pour commencer, vous devez être enregistré·e personnellement sur leur site https://www.cpmd.org.
2. Ensuite, vous devez demander l'accès à CPMD sur notre machine en envoyant un courriel à l'assistance dans lequel vous indiquerez l'adresse électronique que vous avez utilisée lors de votre enregistrement sur le site de CPMD. L'assistance doit alors contacter CPMD pour s'assurer que vous êtes bien enregistré·e avant de pouvoir vous donner l'accès au logiciel.

Notez que la procédure peut prendre plusieurs jours.

Logiciels et bibliothèques scientifiques

Où puis-je trouver l'ensemble des bibliothèques scientifiques installées ?

À chaque nouvelle installation, nous mettons à jour la liste des bibliothèques scientifiques disponibles sur la machine. Elles sont classées en deux catégories : bibliothèques CPUs et bibliothèques GPUs.

Que faire si la bibliothèque ou la version d'une bibliothèque dont j'ai besoin n'est pas installée ?

Vous pouvez demander à l'assistance de l'IDRIS :

• de faire une installation du produit qui sera alors disponible pour tous les utilisateurices,
• ou de vous apporter une aide pour faire votre propre installation.