Ada : IBM x3750

ada-annonce-02.jpg

  • 332 nœuds x3750-M4, quadri processeurs (sockets) Intel Sandy Bridge 8-cœurs à 2,7 GHz utilisés pour les calculs,
  • 2 nœuds x3750-M4, quadri processeurs (sockets) Intel Sandy Bridge 8-cœurs à 2,7 GHz utilisés comme frontale,
  • 49,25 Toctets de mémoire totale,
  • 233 Tflops de performance crête totale,
  • réseau InfiniBand FDR10 Mellanox.

Pour plus de détails concernant l'utilisation des ressources de cette machine, cliquez ici

Description matérielle détaillée

Le supercalculateur SMP est basé sur la technologie IBM x3750-M4 : chaque nœud de calcul comporte 4 processeurs Intel Sandy Bridge E5-4650 8-coeurs (32 cœurs/nœud) cadencés à 2.7 GHz avec 2 liens vers le réseau InfiniBand FDR10 Mellanox. Il totalise 332 nœuds de calcul x3750-M4, 2 nœuds d'accès x3750-M4 et 4 nœuds x3850 pour le pré/post traitement, offrant une puissance théorique totale de 233 TFlops :

  • 304 nœuds x3750-M4 (Sandy Bridge) sans disque interne ayant chacun 32 cœurs et 128 Go de mémoire (4 Go/cœur),
  • 28 nœuds x3750-M4 (Sandy Bridge) ayant chacun 32 cœurs et 256 Go de mémoire (8 Go/cœur) répartis de la façon suivante :
    • 16 nœuds sans disque interne,
    • 12 nœuds ayant chacun 8 disques internes pour les travaux nécessitant l'écriture de fichiers temporaires volumineux,
  • 2 nœuds d'accès x3750-M4 (Sandy Bridge) ayant chacun 32 cœurs, 128 Go de mémoire (4 Go/cœur) et 4 disques de 300 Go dédiés à l'installation de l'Operating System.

  • Réseau d'interconnexion de type InfiniBand FDR10 Mellanox à deux niveaux de switchs :
    • 1er niveau : chaque nœud de calcul est connecté via 2 liens à 2 switchs 36-ports (10 Go/s théoriques pour les 32 cœurs). On peut ainsi interconnecter 20 nœuds avec 2 switchs en utilisant 20 ports par switch,
    • 2ème niveau : chaque switch 36-ports est connecté via 16 liens à 1 switch 648-ports (utilisant alors 16 ports restants de chaque switch). Notez que ce switch 648-ports assure aussi l'interconnexion avec les frontales, les baies de disques (GPFS), les racks BlueGene/Q et les frontales BlueGene/Q,
    • ce réseau InfiniBand est utilisé pour les communications MPI inter nœud et les I/O GPFS. Il offre une latence de 1.34 µs et un débit de 4.1 Go/s par lien (mesurés sur une communication MPI point à point via la bibliothèque MPI Intel),
    • au niveau de chaque nœud de calcul, les 2 liens sont connectés à uniquement 2 processeurs (un par processeur) sur les 4 qu'il comporte.
  • Espace disque :
    • notez que la plupart des nœuds n'ont pas de disques,
    • seules les frontales (nœuds d'accès) possèdent des disques système. Pour tous les autres nœuds, le système est chargé en mémoire lors du démarrage,
    • 2,2 Po de WORKDIR et de TMPDIR sont communs avec la machine BlueGene /Q

Caractéristiques du processeur Sandy Bridge E5-4650 :

  • 8 cœurs, chaque cœur est 2-way SMT
  • Fréquence du processeur : 2,7 GHz
  • Cache L1 data : 64 Ko
  • Cache L1 instructions : 64 Ko
  • Cache L2 : 4 Mo par cœur (accessible rapidement par l'autre cœur)
  • Cache L3 : 32 Mo commun (un contrôleur par cœur), accessible à 80 Go/s
  • Nombre d'unités de chargement (load/store) : 2 par cœur
  • Nombre d'unités de calcul entier : 2 par cœur
  • Nombre d'unités de calcul flottant : 2 par cœur
  • Unités de calcul Altivec : 1 par cœur

Description logicielle :

Operating System :

  • RedHat version 6.7
  • LoadLeveler 5.1.0.14
  • GPFS version 3.5.0
  • poe version 1.3.0.9

Compilateurs Intel :

  • ifort version 14.0.1.106
  • icc version 14.0.1.106

Bibliothèques scientifiques :

  • Intel(R) Math Kernel Library version 11.1.1