Vargas : gestion de la mémoire

Un exécutable (processus) généré sur Vargas est constitué de deux zones mémoires distinctes : STACK et DATA. En batch, les valeurs désirées pour chacune de ces zones peuvent être spécifiées à l'aide des directives LoadLeveler :

• # @ stack_limit=taille,taille,
• # @ data_limit=taille,

Les zones mémoire STACK et DATA

• La zone STACK

  Elle contient les tableaux automatiques, les variables locales non initialisées, les contextes de procédures...

  Attention : les variables privées OpenMP sont stockées dans des zones dites stack associées à chaque thread. Chacune d'elle est limitée par défaut à 4Mo. Pour dépasser cette limite et par exemple aller jusqu'à 64Mo par thread, il faut valoriser la variable d'environnement XLSMPOPTS comme suit :

    export XLSMPOPTS=$XLSMPOPTS:stack=65536000 
    

• La zone DATA

  Elle contient tout le reste, c'est à dire la somme des zones mémoire classiques d'un processus Unix :

  • TEXT pour le stockage des instructions machine de l'exécutable,
  • DATA pour le stockage des variables statiques initialisées,
  • BSS pour le stockage des variables statiques non initialisées,
  • HEAP pour le stockage des tableaux dynamiques (ALLOCATABLE).

  Sommairement, l'évaluation de la taille des 3 premières zones correspond à la valeur retounée par la commande :
  size -f mon_executable

Remarques

1. si vous devez spécifier la directive # @ stack_limit en batch vous devez coder la valeur désirée 2 fois au niveau de la directive:
# @ stack_limit=taille,taille
2. En l'absence des deux directives # @ stack_limit/data_limit :
   • la zone DATA est limitée par défaut à 3,2Go pour les travaux monoprocessus (séquentiels ou multitâches) et multiprocessus MPI,
   • la zone STACK est limitée par défaut à 0.5Go.
3. Si une seule de ces directives est positionnée, l'autre prend la valeur 0.5Go.
4. Une compilation Fortran nécessite au minimum 700Mo dans la zone DATA.

Exemple en batch

• Exécutable nécessitant 5Go en DATA et 3Go en STACK :

     vargas : cat script.exemple
     # @ wall_clock_limit = 400 
     # @ data_limit       = 5.2GB
     # @ stack_limit      = 3.2GB,3.2GB
     # @ job_name         = Sortie.exemple2
     # @ output           = $(job_name).$(jobid)
     # @ error            = $(job_name).$(jobid)
     # @ queue
          ...
     cd $TMPDIR
          ...
     f90 prog.f90
     ./a.out
          ...
     > vargas : llsubmit script.exemple
     

Liste des différents messages d'erreurs

Lorsqu'on dépasse la limite autorisée l'exécutable s'arrête faute de mémoire et on obtient un message d'erreur.
Les différents types de messages que l'on peut obtenir sont les suivants :

• zone DATA :
  • dépassement concernant les données statiques :

    exec(): 0509-036 Cannot load program test_memoire because of the
    following errors:
    0509-026 System error: There is not enough memory available now.

  • dépassement concernant les données allouées dynamiquement :

    1525-108 Error encountered while attempting to allocate a data object.
    The program will stop.

• zone STACK :

  Memory fault(coredump)

Informations supplémentaires : limitations mémoire en interactif ou en batch

• La structure de classes sur Vargas

© CNRS - IDRIS, 13/01/2012