Vargas : modes d'exécution ST - SMT

Vous êtes ici : Support technique → Calcul scalaire → Exécution/contrôle d'un code en batch → modes d'exécution ST - SMT.

Le mode ST

Dans ce mode, un cœur physique traite un seul flux d'instructions (un seul thread ou un seul processus).
C'est le mode par défaut (STandard), actif depuis le démarrage de la machine.

Le mode SMT

La technologie SMT (Simultaneous Multi Threading) permet à chaque cœur physique de traiter simultanement deux flux d'instructions distincts (deux threads ou deux processus), optimisant ainsi le rendement du cœur de calcul en minimisant les cycles perdus. Le Système d'Exploitation voit deux fois plus de cœurs logiques que de cœurs physiques et associe un flux d'instruction à chaque cœur logique.

Au niveau applicatif, le mode SMT peut être utilisé indifféremment sur des applications parallèles MPI pures, OpenMP/pthreads ou hybrides (MPI + OpenMP/pthreads) ; l'exécution se fait avec deux fois plus de processus ou de threads qu'il n'y a de cœurs physiques réellement utilisés.
Pour des applications peu intensives en CPU ou en accès mémoire, les gains obtenus peuvent être significatifs par rapport au mode ST avec une moyenne de gain de l'ordre de 20 à 30% (de façon exceptionnelle jusqu'à 60%). Par contre, pour des codes déjà intensifs en CPU ou en accès mémoire, le mode SMT est peu adapté et des ralentissements sont couramment constatés.

Utilisation du mode SMT sur Vargas

Concrètement, toutes les classes parallèles sont concernées, MPI comme OpenMP/pthreads et hybrides.
Pour utiliser le mode SMT, la seule modification à apporter aux jobs LoadLeveler est de rajouter la ligne suivante :

# @ task_affinity = cpu

Les limites par défaut des classes ont été adaptées en conséquences.
Par contre, si vous aviez demandé des limites mémoire spécifiques, il faut les modifier. En effet, les processeurs n'ont pas éte physiquement modifiés : comme la mémoire par cœur est restée la même, en mode SMT chaque thread ou processus aura accès à la moitié de la mémoire disponible en mode ST. À taille de problème égale (même exécution en mode SMT qu'en mode ST) :

job OpenMP/pthreads : la limite mémoire demandée est spécifiée par processus, donc pour l'ensemble des threads.
Pas besoin de changer la limite mémoire du job, deux fois plus de threads en mode SMT utiliseront chacun la moitié de la mémoire utilisée par une exécution en mode ST.
Attention si, dans votre job, vous aviez utilisé la variable d'environnement XLSMPOPTS=stack=65536000 : il s'agit d'une limite par thread ; avec deux fois plus de threads il peut être nécessaire de la diviser par deux pour ne pas réserver deux fois plus de mémoire que nécessaire.
job MPI : la limite mémoire demandée est spécifiée par processus. Comme on demande implicitement deux fois plus de processus en mode SMT, il faut diviser par deux les valeurs demandées dans les lignes data et stack de votre job. Si vous n'aviez pas spécifié de limite, les valeurs par défaut de la classe sont automatiquement divisées par deux.
job hybride : vous avez le choix entre multiplier par deux le nombre de processus MPI ou bien le nombre de threads.
Dans le premier cas, il vous faut diviser par deux la mémoire demandée; dans le deuxième cas ne rien changer.

Scripts simplifiés pour soumettre en mode SMT sur Vargas

job OpenMP/pthreads :

> vargas : more openmp.ll
# @ job_name = OpenMP_SMT
# @ output = $(job_name).$(jobid)
# @ error =  $(job_name).$(jobid)
# Mode SMT
# @ task_affinity = cpu
# Type de travail
# @ job_type = serial
# Nombre de threads demandes (ici 8, soit 4 coeurs physiques)
# @ parallel_threads = 8
# @ wall_clock_limit = 1:30:00
# Memoire max. en data (ici 6 Go pour l'ensemble des threads)
# @ data_limit = 6Gb
# Memoire max. en stack (ici 1 Go pour l'ensemble des threads)
# @ stack_limit = 1Gb,1Gb
# @ queue                   
[...]
./a.out
[...]

job MPI :

> vargas : more mpi.ll
# @ job_name = MPI_SMT
# @ output = $(job_name).$(jobid)
# @ error =  $(job_name).$(jobid)
# Mode SMT
# @ task_affinity = cpu
# Type de travail
# @ job_type = parallel
# Nombre de processus demandes (ici 64, soit 32 coeurs physiques, un noeud)
# @ total_tasks = 64
# @ wall_clock_limit = 1:30:00
# Memoire max. en data (ici 3.2 Gigaoctets par coeur physique)
# @ data_limit = 1.6gb
# @ queue
[...]
./a.out
[...]

job hybride :

 vargas : cat hybride.ll
# Nom arbitraire du travail LoadLeveler
# @ job_name = Hybride_SMT
# @ output = $(job_name).$(jobid)
# @ error =  $(job_name).$(jobid)
# Mode SMT (ici 16x4=64 soit 32 coeurs physiques, un noeud)
# @ task_affinity = cpu
# Type de travail
# @ job_type = parallel
# Nombre de processus MPI demandes
# @ total_tasks = 16
# Nombre de tâches OpenMP/pthreads par processus MPI
# @ parallel_threads = 4
# @ wall_clock_limit = 1:30:00
# Memoire max. en data utilisee par processus MPI (ici 1,2 Gigaoctets)
# @ data_limit = 1.2Gb
# @ queue
[...]
./a.out
[...]

Note : pour des exemples de scripts plus détaillés, repartez du menu Calcul scalaire → Exécution/contrôle d'un code en batch → Code parallèle OpenMP, MPI ou hybride.

Vargas : modes d'exécution ST - SMT

Le mode ST

Le mode SMT

Utilisation du mode SMT sur Vargas

Scripts simplifiés pour soumettre en mode SMT sur Vargas

© CNRS - IDRIS, 23/04/2012