Aller au contenu principal

Configuration matérielle et logicielle de Jean Zay

Informations générales​

Jean Zay est un supercalculateur comportant une partie HPE SGI 8600 et une partie Eviden BullSequana XH3000 formant un total de cinq partitions de calcul : une partition contenant des nœuds scalaires (ayant uniquement des CPU) et quatre partitions contenant des nœuds accélérés (nœuds hybrides équipés à la fois de CPU et de GPU).

Les nœuds de calcul HPE SGI 8600 sont interconnectés par un réseau Intel Omni-Path et ceux de l'extension Eviden BullSequana XH3000 sont interconnectés par un réseau Infiniband.

L'ensemble des nœuds accède à un système de fichiers parallèle Lustre à très forte bande passante.

Trois dispositifs de stockage sont disponibles : un stockage sur disques SSD d'une capacité de 8,5 Po, un stockage sur disques rotatifs d'une capacité de 44 Po et un stockage sur bandes magnétiques d'une capacité de 56 Po.

L'environnement d'exploitation se base sur RedHat 8.6 (depuis le 22/11/2023) et Slurm 23.02.6 (depuis le 24/10/2023). Les compilateurs mis à disposition sont les compilateurs Intel et NVIDIA/PGI.

Après trois extensions successives, la puissance crête cumulée de Jean Zay est, depuis juillet 2024, de 125,9 PFlop/s.

jean-zay-hardware

Configuration matérielle de Jean Zay

Détail des partitions de Jean Zay​

Partie HPE SGI 8600​

L'accès aux diverses partitions hardware de la machine dépend du type de travail soumis (CPU ou GPU) et de la partition Slurm demandée pour son exécution (voir le détail des partitions Slurm CPU et des partitions Slurm GPU).

Partition CPU Intel (cpu_p1)​

Jean Zay CPU

Par défaut ou en demandant la partition cpu_p1, vous aurez accès aux ressources suivantes :

  • 720 nœuds de calcul scalaires avec :

    • 2 processeurs Intel Xeon Gold 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
remarque

Suite au décommissionnement de 808 nœuds CPU le 05/02/2024, cette partition est passée de 1528 nœuds à 720 nœuds.

Partition GPU NVIDIA V100 (gpu_p13)​

Jean Zay GPU V100 16GBJean Zay GPU V100 32GB

Par défaut ou avec la contrainte v100-16g ou v100-32g, vous aurez accès aux ressources suivantes :

  • 396 nœuds de calcul accélérés quadri-GPU avec :

    • 2 processeurs Intel Xeon Gold 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
    • 126 nœuds avec 4 GPU Nvidia Tesla V100 SXM2 16 Go (avec v100-16g)
    • 270 nœuds avec 4 GPU Nvidia Tesla V100 SXM2 32 Go (avec v100-32g)
remarque

Suite au décommissionnement de 220 nœuds 4-GPU V100 16 Go le 05/02/2024, cette partition est passée de 616 nœuds à 396 nœuds.

Partition GPU NVIDIA V100 (gpu_p2)​

Jean Zay GPU P2

Avec la partition gpu_p2, gpu_p2s ou gpu_p2l, vous aurez accès aux ressources suivantes :

  • 31 nœuds de calcul accélérés octo-GPU avec :

    • 2 processeurs Intel Xeon Gold 6226 (12 cœurs à 2,7 GHz), soit 24 cœurs par nœud
    • 20 nœuds à 384 Go de mémoire (avec gpu_p2 ou gpu_p2s)
    • 11 nœuds à 768 Go de mémoire (avec gpu_p2 ou gpu_p2l)
    • 8 GPU Nvidia Tesla V100 SXM2 32Go

Partition GPU NVIDIA A100 (gpu_p5)​

Jean Zay GPU P5

Avec la partition gpu_p5 (extension juin 2022), vous aurez accès aux ressources suivantes :

  • 52 nœuds de calcul accélérés octo-GPU avec :

    • 2 processeurs AMD Milan EPYC 7543 (32 cœurs à 2,80 GHz), soit 64 cœurs par nœud
    • 512 Go de mémoire par nœud
    • 8 GPU Nvidia A100 SXM4 80 Go

Partie Eviden BullSequana XH3000​

Partition GPU NVIDIA H100 (gpu_p6)​

Jean Zay GPU P6

Avec la partition gpu_p6 (extension juillet 2024), vous aurez accès aux ressources suivantes :

  • 364 nœuds de calcul accélérés quadri-GPU avec :

    • 2 processeurs Intel Xeon Platinum 8468 (48 cœurs à 2,10 GHz), soit 96 cœurs par nœud
    • 512 Go de mémoire par nœud
    • 4 GPU Nvidia H100 SXM5 80 Go

Autres partitions​

Pré et post-traitement​

Jean Zay PREPOST

Avec la partition prepost, vous aurez accès aux ressources suivantes :

  • 4 nœuds de pré et post-traitement à large mémoire avec :

    • 4 processeurs Intel Skylake 6132 (12 cœurs à 3,2 GHz), soit 48 cœurs par nœud
    • 3 To de mémoire par nœud
    • 1 GPU Nvidia Tesla V100
    • un disque interne NVMe de 1,5 To

Visualisation​

Jean Zay VISU

Avec la partition visu, vous aurez accès aux ressources suivantes :

  • 5 nœuds de visualisation de type scalaire

    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
    • 1 GPU Nvidia Quatro P6000

Compilation​

Jean Zay COMPILJean Zay COMPIL_H100

Avec la partition compil, vous aurez accès aux ressources suivantes :

  • 4 nœuds de pré et post-traitement (voir ci-dessus)

  • 3 nœuds de compilation Intel

    • 1 processeur Intel(R) Xeon(R) Silver 4114 (10 cœurs à 2.20GHz)
    • 96 Go de mémoire par nœud

Une partition compil_h100 est également disponible, donnant accès à des processeurs identiques à ceux de la partition Eviden H100 (gpu_p6) :

  • 1 nœud de compilation Intel

    • 2 processeurs Intel(R) Xeon(R) Platinum 8468 (48 cœurs à 2.10GHz), soit 96 cœurs par nœud
    • 256 Go de mémoire par nœud

Archivage​

La partition archive utilise les mêmes nœuds que la partition prepost (voir ci-dessus).

Noeuds frontaux​

Lorsque vous vous connectez en SSH à Jean Zay, vous arrivez sur les ressources suivantes :

  • 5 nœuds frontaux
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud