Table des matières

Plan de migration des utilisateurs de Jean Zay vers les autres centres nationaux

Cette page reprend les informations de base permettant de faciliter le transfert de projet vers les autres centres nationaux suite au décommissionnement d'une partie de la configuration de Jean Zay le 5 février 2024, essentiellement en ce qui concerne les ressources CPU.

Demande d'heures au CINES ou au TGCC

Les AD ne représentant que 5 % des ressources de la partition CPU, ils pourront continuer d’être demandés sur la partition scalaire de l’IDRIS.

Ci-dessous un schéma expliquant l’impact après le 5 février. planning_decommission_partition_csl_jean-zay.jpg

Pour les projets A15 sur la partition scalaire, aucune heure complémentaire ne sera disponible à l’IDRIS, mais vous avez pu en demander sur les autres centres. Pour rappel, vous pouvez demander à changer de centre de calcul lors de vos demandes d'heures complémentaires à mi-parcours.

Pour les projets A14, vous avez été prévenus lors du renouvellement de votre projet A14 en A16 sur eDARI que les ressources scalaires allaient être fortement réduites à l’IDRIS et que GENCI vous encourageait à demander des ressources scalaires sur les deux autres centres.

Pour les demandes d'heures CPU, nous vous rappelons que vous pouvez faire une demande AD (Accès Dynamique) à tout moment au cours de l'année avec une procédure plus simple et rapide qu'une demande AR (Accès Régulier). Vous devez juste respecter un plafond de 500000 h.cpu normalisées pour ce genre de demande, ce qui correspond à 500000 h.cpu sur Irene (Rome ou SKL) et à 416667 h.cpu sur Adastra (Genoa).

À partir du 1er mai, la charge sur la partition CPU pour les AD et AR en A15 sera de nouveau nominale à l’IDRIS avec une valeur de 130 % puisque les attributions auront pris en compte le décommissionnement.

Demande de compte au CINES ou au TGCC

Une fois vos ressources attribuées, vous allez pouvoir faire une demande de compte ou de rattachement au projet sur la machine au CINES ou au TGCC.

  1. Pour une demande de compte machine au CINES, sur votre espace utilisateur sur www.edari.fr sous LISTE DES ACTIONS GÉNÉRALES, vous pouvez suivre ces deux liens :
  2. Pour une demande de compte machine au TGCC, il faut suivre le lien https://www-dcc.extra.cea.fr/CCFR/

Nous vous recommandons de cocher la case CCFR lors de la création de votre compte, afin de vous permettre de transférer facilement vos données entre les centres :
Si vous souhaitez transférer des données entre centres (TGCC-CINES-IDRIS) via le réseau CCFR très haut débit cochez la case ci-contre

Transfert de données de l'IDRIS vers le TGCC ou le CINES

Si lors de votre création de compte vous avez demandé explicitement de pouvoir transférer des fichiers entre les centres, les autorisations ont alors été positionnées par les centres pour que vous puissiez transférer vos fichiers à travers le réseau haut débit CCFR (détails ci-dessous).

Si vous ne l’avez pas fait lors de votre demande initiale, vous pouvez envoyer un mail à à partir de votre adresse connue du centre avec comme titre « CCFR : login IDRIS / votre nom » pour demander l’accès CCFR et vous permettre de faire vos transferts vers le CINES et le TGCC. L’information sera transmise aux deux autres centres pour qu'ils puissent aussi faire ce qui est nécessaire pour que cela soit opérationnel.

Dans le cas où vous avez plus de 30 ou 40 To, nous considérerons votre souhait de rester à l’IDRIS pour éviter des transferts trop volumineux dans la limite des heures disponibles. Sachez que pour les volumétries inférieures, le transfert peut se faire en un à deux jours. Par exemple, il faut 32h pour transférer 20 To.

Réseau CCFR

Le réseau des Centres de Calcul Français (CCFR) est un réseau dédié à très haut débit, qui interconnecte les trois centres de calcul nationaux CINES, IDRIS et TGCC. Ce réseau est mis à la disposition des utilisateurs pour faciliter les transferts de données entre les centres nationaux. Sont actuellement raccordées sur ce réseau les machines Joliot-Curie au TGCC, Jean Zay à l'IDRIS, Adastra au CINES.

Remarque : tous les nœuds de Jean Zay ne sont pas connectés à ce réseau. Pour l'utiliser depuis l'IDRIS, vous pouvez utiliser les frontales jean-zay.idris.fr et jean-zay-pp.idris.fr.

Transfert de données via CCFR

Le transfert de données entre les machines des centres via le réseau CCFR constitue le service principal pour ce réseau. Une commande wrapper ccfr_cp accessible par l'intermédiaire d'un module est fournie pour simplifier les usages : 

$ module load ccfr

Cette commande ccfr_cp récupère automatiquement les informations de connexion à la machine spécifiée (nom de domaine, port spécifique) et détecte les possibilités d’authentification. Par défaut, la commande optera pour une authentification basique, utilisant les modalités traditionnelles en vigueur sur la machine ciblée.
La commande ccfr_cp est basée sur l’outil rsync, configuré pour faire transiter les données avec le protocole SSH. La copie réalisée est récursive et préserve les liens symboliques, les droits d’accès ainsi que les dates de modification des fichiers.
Le détail de la commande, ainsi que la liste des machines accessibles sur le réseau CCFR sont disponibles en précisant l’option -h à la commande ccfr_cp.

Pour des transferts depuis jean-zay vers les machines du CINES et du TGCC, vous pouvez utiliser des commandes similaires à celles-ci : 

$ module load ccfr
$ ccfr_cp /path/to/datas/on/jean-zay login_cines@adastra:/path/to/directory/on/adastra:
$ ccfr_cp /path/to/datas/on/jean-zay login_tgcc@irene:/path/to/directory/on/irene:

Pour effectuer des transferts depuis Adastra, la procédure est similaire excepté que vous devez utiliser la machine adastra-ccfr.cines.fr (accessible depuis adastra.cines.fr) comme indiqué sur la documentation du CINES.
Pour effectuer des transferts depuis Irene, la procédure est aussi similaire et peut être effectuée directement depuis la frontale irene-fr.ccc.cea.fr. Après connexion à la machine, la commande machine.info vous donnera toutes les informations utiles.

Une commande ccfr_sync, variante de ccfr_cp, permet une synchronisation forte entre la source et la destination en ajoutant, par rapport à la commande ccfr_cp, la suppression des fichiers de la destination qui ne sont pas présents dans la source.

Remarque : Par défaut, ces commandes utiliseront une authentification basique par mot de passe en respectant les modalités en vigueur du centre distant (CINES ou TGCC). Vous serez donc certainement obligés de fournir un mot de passe à chaque fois. Pour éviter ceci, vous pouvez utiliser les certificats IDRIS de type transfert-only (validité 7 jours) dont le mode d'emploi est défini sur le site web de l'IDRIS. L'utilisation de tels certificats vous obligera à initier les transferts depuis la machine distante adastra-ccfr.cines.fr (accessible depuis adastra.cines.fr) pour le CINES et irene-fr.ccc.cea.fr pour le TGCC après avoir copié le certificat transfert-only sur la machine distante et à construire vous-même les commandes rsync de transfert (donc ne pas utiliser les wrappers ccfr_cp et ccfr_sync). Vous pouvez alors vous inspirer des exemples suivants pour faire vos transferts : 

# Simple copie de jean-zay vers machine distante (exécuté sur la machine distante)
# utilisant le certificat transfert-only contenu dans ~/.ssh/id_ecc_rsync sur la machine distante
$ rsync --human-readable --recursive --links --perms --times --omit-dir-times -v \
  -e 'ssh -i ~/.ssh/id_ecc_rsync' \
  login_idris@jean-zay-ccfr.idris.fr:/path/on/jean-zay /path/on/adastra/or/irene
 
# Synchronisation forte (option --delete) de jean-zay vers machine distante (exécuté sur la machine distante)
# utilisant le certificat transfert-only contenu dans ~/.ssh/id_ecc_rsync sur la machine distante
$ rsync --human-readable --recursive --links --perms --times --omit-dir-times -v --delete \
  -e 'ssh -i ~/.ssh/id_ecc_rsync' \
   login_idris@jean-zay-ccfr.idris.fr:/path/on/jean-zay /path/on/adastra/or/irene

Attention : Sur la machine adastra-ccfr.cines.fr, le certificat id_ecc_rsync doit être visible depuis votre repertoire /home/login_cines/.ssh pour que la commande ssh puisse l'utiliser (pas de variable d'environnement définie pour cet espace disque). Il faut donc prendre soin de dé-archiver le certificat dans ce repertoire avec une commande du style : 

login_cines@adastra-ccfr.cines.fr:~$ unzip ~/transfert_certif.zip -d /home/login_cines/.ssh
Archive: /lus/home/.../transfert_certif.zip
inflating: /home/login_cines/.ssh/id_ecc_rsync
inflating: /home/login_cines/.ssh/id_ecc_rsync.pub

Portage de votre code sur Adastra (CINES) ou sur Joliot-Curie (TGCC)

  1. Dans le cas où vous utilisez un logiciel propriétaire uniquement installé à l’IDRIS (molpro/crystal/molcas/…) vous serez priorisés pour garder l’accès aux ressources de l’IDRIS.

  2. L’accès en sortie vers internet (par exemple gitlab, serveurs de labos, …) à partir des nœuds de login n’est, par défaut, pas ouvert au TGCC et au CINES, cependant :
  3. Certains logiciels sont déjà installés au CINES et au TGCC, cependant si un logiciel n’est pas disponible, vous pouvez demander son installation auprès du support (svp@cines.fr ou hotline.tgcc@cea.fr).
    La liste des logiciels disponibles dans les centres se trouve sous https://www.edari.fr/faq#softs
    Pour plus d’information, les logiciels actuellement disponibles à l’IDRIS pour la chimie sont visibles ici : http://www.idris.fr/simulato/
    Au CINES vous pouvez trouver des informations et exemples sur les logiciels disponibles ici : https://dci.dci-gitlab.cines.fr/webextranet/software_stack/index.html
    Pour les demandes d'installation de logiciel, il est souhaitable d’avoir :
    • un cas de test, et la commande pour lancer l'application avec ce cas de test
    • un script de validation du résultat
    • une performance sur une autre machine (locale, ou centre HPC)
    • en bonus: un exemple de script de soumission sur un autre centre.

  4. Pour vous aider dans votre migration au CINES ou au TGCC, il est possible de demander au support de l’IDRIS de vous accompagner en envoyant un mail à assist@idris.fr afin qu’un de ses membres intègre votre projet.

  5. En cas de difficulté, n’hésitez pas à joindre les supports du CINES svp@cines.fr ou celui du TGCC hotline.tgcc@cea.fr, cela permettra de suivre efficacement toutes vos démarches avec le centre.

Pour vous familiariser avec le CINES et le TGCC

Sachez que les équipes des trois centres de calcul nationaux se mobilisent pour vous accompagner au mieux dans cette phase de transition.