Aller au contenu principal

Quotas disques et visualisation des taux d'occupation

Principe​

Les quotas garantissent un accès équitable aux ressources disques. Ils évitent qu'un groupe d'utilisateurs ne consomme tout l'espace et n'empêche les autres groupes de travailler. À l'IDRIS, les quotas limitent à la fois la quantité d'espace disque et le nombre de fichiers (inodes). Ces limites s'appliquent par utilisateur pour votre (unique) espace HOME et par projet pour vos espaces WORK et STORE (pour chacun de vos projets).

Vous pouvez consulter l'occupation de vos espaces disques en utilisant l'une des deux commandes présentées dans cette page :

  • idr_quota_user pour une vue de votre utilisation personnelle en tant qu'utilisateur ;
  • idr_quota_project pour une vue d'ensemble de votre projet et de la consommation de chacun de ses membres.
remarque

La commande idrquota n'est plus disponible. Il s'agissait de la première commande de visualisation des quotas qui avait été déployée sur Jean Zay. Les commandes idr_quota_user et idr_quota_project en sont une évolution.

Recommandation

Pensez à vérifier régulièrement l'occupation de vos espaces disques en utilisant l'une des deux commandes ci-dessus : si vous atteignez le quota, cela peut avoir des conséquences sur vos travaux slurm.

Dépassement des quotas​

Lorsqu'un utilisateur ou un projet atteint son quota ou est en dépassement de quota, aucun email d'avertissement n'est envoyé. Vous êtes néanmoins informé par des messages d'erreur du type Disk quota exceeded lorsque vous manipulez des fichiers dans l'espace disque concerné ou que votre binaire écrit dans cet espace.

Attention

Lorsque l'un des quotas est atteint (volumétrie ou nombre de fichiers/répertoires),

  • vous ne pouvez plus créer de fichiers dans l'espace disque concerné. Cela peut donc perturber les travaux en cours d'exécution s'ils ont été lancés depuis cet espace ou écrivent dans cet espace.
  • Éditer un fichier en étant en limite de quota disque peut ramener sa taille a zéro, donc en effacer le contenu.
Remarques
  • Il faut penser à vérifier les espaces disques communs $ALL_CCFRWORK et $ALL_CCFRSTORE qui sont aussi pris en compte pour les calcul des occupations disque.
  • Une cause récurrente de dépassement de quota (notamment sur le HOME) est l'utilisation d'environnements Conda personnels. Veuillez vous référer à la page dédiée à Python pour connaître les bonnes pratiques sur Jean Zay.

Lorsque vous êtes bloqués ou en passe de l'être :

  • Essayez de faire du ménage dans l'espace disque concerné en supprimant les fichiers devenus obsolètes.
  • Archivez les répertoires auxquels vous n'accédez plus ou rarement pour réduire le nombre de fichiers.
  • Déplacez vos fichiers/archives dans un autre espace en fonction de leurs usages (voir la page sur les espaces disques).
  • Le chef de projet ou son suppléant peuvent demander une augmentation des quotas de l'espace STORE et de la volumétrie de l'espace WORK via l'interface Extranet.

La commande idr_quota_user​

Par défaut, la commande idr_quota_user renvoie votre occupation personnelle en tant qu'utilisateur pour votre HOME et l'ensemble des espaces disques de votre projet actif. Par exemple, si votre projet actif est abc, vous verrez une sortie similaire à celle-ci :

idr_quota_user HOMEINODE:   |██-------------------------------| U: 9419/150000  6.28%STORAGE: |████████████████████████████████-| U: 2.98 GiB/3.00 GiB  99.31%
ABC STOREINODE:   |---------------------------------| U: 1/100000  0.00%           G: 12/100000  0.01%STORAGE: |---------------------------------| U: 4.00 KiB/50.00 TiB  0.00% G: 48.00 KiB/50.00 TiB  0.00%
ABC WORKINODE:   |███▒▒▒---------------------------| U: 50000/500000 10.00%       G: 100000/500000  20.00%STORAGE: |██████████▒▒▒▒▒▒▒▒▒▒-------------| U: 1.25 TiB/5.00 TiB  25.00% G: 2.5 TiB/5.00 TiB 50.00%
The quotas are refreshed daily. All the information is not in real time and may not reflect your real storage occupation.

Sur cet exemple de sortie, votre occupation personnelle est représentée par la barre "pleine", et quantifiée sur la droite après la lettre U (pour "User"). Cette occupation personnelle est aussi comparée à l'occupation globale du projet qui est représentée par la barre "ombrée", et quantifiée après la lettre G (pour "Group").

Remarques
  • Cette commande donne les informations concernant votre HOME qui vous est personnel et limité par un quota par utilisateur. Vous êtes donc bloqué lorsque vous atteignez 100% de votre HOME.
  • Pour les espaces WORK et STORE, les quotas sont par projet vous pouvez donc être bloqué par un autre membre du projet (100% au niveau du groupe).
  • Le retour de la commande idr_quota_user est immédiat mais n'est pas une information en temps réel : les données ne sont actualisées qu'une fois par jour pendant la nuit.

Vous pouvez affiner l'information retournée par la commande idr_quota_user en ajoutant un ou plusieurs des arguments suivants :

  • --project def pour afficher l'occupation d'un projet différent de votre projet actif (ici def) ;
  • --all-projects pour afficher l'occupation de l'ensemble des projets auxquels vous êtes rattaché ;
  • --space home work pour afficher l'occupation d'un (ou plusieurs) espace(s) disque(s) en particulier (ici HOME et WORK).

L'aide complète de la commande idr_quota_user est accessible en utilisant l'option -h :

idr_quota_user -h

La commande idr_quota_project​

Par défaut, la commande idr_quota_project renvoie l'occupation disque de chaque membre de votre projet actif pour l'ensemble des espaces disques associés au projet. Par exemple, si votre projet actif est abc, vous verrez une sortie similaire à celle-ci :

 idr_quota_project  PROJECT: abc SPACE: WORKPROJECT USED INODE: 34373/500000 6.87%PROJECT USED STORAGE: 1.42 GiB/5.00 TiB 0.03%┌─────────────────┬─────────────────┬─────────────────┬─────────────────┬──────────────────────┐│      LOGIN      │     INODE ▽    │     INODE %     │     STORAGE     │      STORAGE %       │├─────────────────┼─────────────────┼─────────────────┼─────────────────┼──────────────────────┤│      abc001     │            29852│            5.97%│       698.45 MiB│                 0.01%││      abc002     │             4508│            0.90%│       747.03 MiB│                 0.01%││      abc003     │                8│            0.00%│         6.19 MiB│                 0.00%││      abc004     │                1│            0.00%│           0.00 B│                 0.00%││      abc005     │                1│            0.00%│           0.00 B│                 0.00%│└─────────────────┴─────────────────┴─────────────────┴─────────────────┴──────────────────────┘PROJECT: abc SPACE: STOREPROJECT USED INODE: 13/100000 0.01%PROJECT USED STORAGE: 52.00 KiB/50.00 TiB 0.00%┌─────────────────┬─────────────────┬─────────────────┬─────────────────┬──────────────────────┐│      LOGIN      │     INODE ▽    │     INODE %     │     STORAGE     │      STORAGE %       │├─────────────────┼─────────────────┼─────────────────┼─────────────────┼──────────────────────┤│      abc001     │                2│            0.00%│         8.00 KiB│                 0.00%││      abc002     │                2│            0.00%│         8.00 KiB│                 0.00%││      abc003     │                2│            0.00%│         8.00 KiB│                 0.00%││      abc004     │                2│            0.00%│         8.00 KiB│                 0.00%││      abc005     │                1│            0.00%│         4.00 KiB│                 0.00%│└─────────────────┴─────────────────┴─────────────────┴─────────────────┴──────────────────────┘The quotas are refreshed daily. All the information is not in real time and may not reflect your real storage occupation.

Pour chaque espace disque rattaché au projet, un résumé de l'occupation globale est affiché, suivi d'un tableau détaillé de l'occupation de chaque membre du projet.

Remarques
  • Cette commande ne donne pas les informations concernant votre HOME car il vous est personnel donc pas lié à un projet.
  • Pour les espaces WORK et STORE, les quotas sont par projet vous pouvez donc être bloqué par un autre membre du projet (100% au niveau d'une des lignes PROJECT USED ...) mais le détail par utilisateur vous permet de contacter celui ou celle qui occupe le plus de place.
  • Le retour de la commande idr_quota_project est immédiat mais n'est pas une information en temps réel : les données ne sont actualisées qu'une fois par jour pendant la nuit.

Vous pouvez affiner l'information retournée par la commande idr_quota_project en ajoutant un ou plusieurs des arguments suivants :

  • --project def pour afficher l'occupation d'un projet différent de votre projet actif (ici def) ;
  • --space work pour afficher l'occupation d'un (ou plusieurs) espace(s) disque(s) en particulier (ici WORK) ;
  • --order storage pour trier les informations dans l'ordre décroissant des valeurs d'une colonne donnée (ici la colonne STORAGE)

L'aide complète de la commande idr_quota_project est accessible en utilisant l'option -h :

idr_quota_project -h

Remarques générales​

  • Les projets auxquels vous êtes rattaché correspondent aux groupes UNIX listés par la commande idrproj.
  • Les quotas ne sont pas relevés en temps réel et ne représentent peut-être pas l'état actuel d'occupation de vos espaces disques. Les commandes idr_quota_user et idr_quota_project sont actualisées tous les matins.
  • Pour connaître en temps réel la volumétrie en octet et inodes d'un répertoire donné my_directory, vous pouvez exécuter les commandes du -hd0 my_directory et du -hd0 --inodes my_directory, respectivement. Contrairement aux commandes idr_quota_..., le temps d'exécution des commandes du peut être important, et proportionnel à la taille du répertoire et son nombre de fichiers.
  • Pour le WORK et le STORE, les taux d'occupation affichés englobent à la fois l'occupation de votre espace personnel ($WORK ou $STORE) et votre occupation de l'espace commun ($ALL_CCFRWORK ou $ALL_CCFRSTORE).