Jean Zay : calculateur HPE SGI 8600

jean-zay-annonce-01.jpg

  • copyright Photothèque CNRS/Cyril Frésillon

Jean Zay est un calculateur HPE SGI 8600 composé de deux partitions : une partition contenant des nœuds scalaires et une partition contenant des nœuds accélérés, qui sont des nœuds hybrides équipés à la fois de CPU et de GPU. L'ensemble des nœuds du calculateur sont interconnectés par un réseau Intel Omni-PAth et accèdent à un système de fichiers partagé à très forte bande passante.

Pour accéder à l’ensemble de la documentation disponible concernant l'utilisation de cette machine, cliquez ici

Description matérielle détaillée

Partition scalaire (ou partition CPU)

  • 1528 nœuds de calcul scalaires avec :
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud

Partition accélérée (ou partition GPU)

  • 261 nœuds de calcul accélérés quadri-GPU avec :
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
    • 4 GPU Nvidia Tesla V100 SXM2 32 Go
  • 31 nœuds de calcul accélérés octo-GPU, actuellement dédiés à la communauté IA, avec :
    • 2 processeurs Intel Cascade Lake 6226 (12 cœurs à 2,7 GHz), soit 24 cœurs par nœud
    • 20 nœuds à 384 Go de mémoire, 11 nœuds à 768 Go de mémoire
    • 8 GPU Nvidia Tesla V100 SXM2 32Go
  • Extension à venir à l'été 2020 : 351 nœuds de calcul accélérés quadri-GPU avec :
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
    • 4 GPU Nvidia Tesla V100 SXM2 16 Go

Pré et post-traitement

  • 4 nœuds de pré et post-traitement à large mémoire avec :
    • 4 processeurs Intel Skylake 6132 (12 cœurs à 3,2 GHz), soit 48 cœurs par nœud
    • 3 To de mémoire par nœud
    • 1 GPU Nvidia Tesla V100
    • un disque interne NVMe de 1,5 To

Visualisation

  • 5 nœuds de visualisation de type scalaire
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud
    • 1 GPU Nvidia Quatro P6000

Autres caractéristiques

  • La puissance crête cumulée est de 15,9 Pflop/s (28 Pflop/s après l'extension avec un total de 2696 GPU Nvidia V100)
  • Un réseau d'interconnexion Intel Omni-PAth 100 Gb/s : 1 lien par nœud scalaire et 4 liens par nœud convergé
  • Un système de fichiers parallèle IBM Spectrum Scale (ex-GPFS)
  • Un dispositif de stockage parallèle avec des disques SSD d'une capacité de 1,3 Po (GridScaler GS18K SSD). Cette capacité sera portée à 2,2 Po lors de l'extension à venir à l'été 2020.
  • Un dispositif de stockage parallèle avec des disques d'une capacité supérieure à 30 Po
  • 5 nœuds frontaux
    • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
    • 192 Go de mémoire par nœud

Description logicielle sommaire

Environnement d'exploitation

  • RedHat version 8.1
  • Slurm 18.08.8

Compilateurs

  • Compilateurs Intel ifort et icc avec Intel(R) Math Kernel Library ;
  • Compilateurs PGI pgfortran et pgcc.