NQS: Network Queuing System

Principes

NQS permet de répartir l'exécution de travaux ("job") en traitement par lots ("batch") en fonction des ressources réclamées et de la charge. DQS comme son nom l'indique gère un ensemble de machines Unix connectées en réseau. Chaque machine possède une ou plusieurs files d'attente ("queue"). Les attributs de la file d'attente déterminent les ressources qu'elle est susceptible de fournir. Ce peut être la taille mémoire, le temps maximum, la disponibilité d'un logiciel, une architecture de machine. Lorsque l'utilisateur soumet une requête au système DQS il précise dans celle-ci les ressources nécessaires à son exécution. NQS analyse les ressources demandées et envoie la requête à une file d'attente possédant les caractéristiques voulues, le choix se fait en fonction de la charge des différents machines.

Commandes de base

• qsub: soumettre un job
• qdel: annuler un job
• qstat: obtenir le statut de jobs ou d'une queue

Toutes les commandes ont un page de manuel unix que l'on peut obtenir en invoquant:

$ man <command>

Organisation a SINUS

Configuration

• monk: [configuration expérimentale]
  
  

Queue	Durée max	Mémoire max	Nom de jobs concurrents	Priorite sur	Actif
q1h	1h	384 Mo	1	q2h et q4h	L-V 9h-18h
q2h	2h	384 Mo	1	q4h	L-V 9h-18h
q4h	4h	384 Mo	1		L-V 9h-18h
q15h	15h	384 Mo	1		L-V 18h-9h
q63h	63h	384 Mo	1		V 18h-L 9h

Ces queues ne permettent qu'un job à la fois, car les jobs lancés sur monk ont besoin de toute la mémoire disponible. Les queues q1h q2h et q4h tournent durant la journée. Un job soumis sur q1h stoppe les jobs tournant sur q2h et q4h. De même q2h a priorité sur q4h. A partir de 18h seule q15h est démarrée. Du vendredi soir au lundi matin c'est q63h qui est active. Il est possible de soumettre des jobs à une queue stoppée

Soumission d'un job

Pour le moment il n'y a pas besoin de gérer des ressources. En fonction du temps cpu estimé de votre job, il faut le soumettre à une queue donnée avec la commande:

$ qsub -q <queue> <script.sh>

<script.sh> est le nom d'un script contenant les commandes à éxécuter. Il peut de plus contenir des options de qsub pour modifier les caractéristiques du job. Ces options figurent dans la page de manuel de qsub.

Exemple:

$ cat script.sh
# Batch pour NQS
# QSUB -r ma_compil
# QSUB -eo
# QSUB
f77 truc.f

Les lignes commencant par un # sont des commentaires pour le shell qui lira le script. Cependant, celles commencant par # QSUB seront interprétées par qsub. Ce script indique que le nom du script est 'ma_compil' (-r), que stdout et stderr devront être regroupés dans un fichier commun (-eo). La ligne QSUB finale indique la fin des options pour qsub. Les options les plus courantes sont:

• -a: demarrage apres une heure précise
• -e <fichier.err> : redirige stderr dans fichier.err
• -o <fichier.out> : redirige stdout dans fichier.out
• -eo : combine stderr et stdout dans le meme fichier
• -r : donne un nom au job
• -q : indique dans quelle queue soumettre le job
• Voir la page manuel de qsub pour la liste de toutes les options

Decider quelle queue utiliser

1. Pour voir quelles queues sont disponibles utiliser la commande qstat -x.
   
   monk$ qstat -x
   q1h@monk; type=BATCH; [ENABLED, INACTIVE]; pri=16 lim=1 0 exit; 0 run; 0 stage; 0 queued; 0 wait; 0 hold; 0 arrive; User run limit= 1
   
   q2h@monk; type=BATCH; [ENABLED, INACTIVE]; pri=16 lim=1 0 exit; 0 run; 0 stage; 0 queued; 0 wait; 0 hold; 0 arrive; User run limit= 1
   
   q4h@monk; type=BATCH; [ENABLED, INACTIVE]; pri=16 lim=1 0 exit; 0 run; 0 stage; 0 queued; 0 wait; 0 hold; 0 arrive; User run limit= 1
   
   q15h@monk; type=BATCH; [ENABLED, STOPPED]; pri=16 lim=1 0 exit; 0 run; 0 stage; 0 queued; 0 wait; 0 hold; 0 arrive; User run limit= 1
   
   q63h@monk; type=BATCH; [ENABLED, STOPPED]; pri=16 lim=1 0 exit; 0 run; 0 stage; 0 queued; 0 wait; 0 hold; 0 arrive; User run limit= 1
   
   Nous sommes entre 9h et 18h sur monk. Toutes les queues sont ENABLED=fonctionnent. Les queues q1h q2h et q4h sont INACTIVE: aucun job ne tourne. Les queues q15h et q63 sont STOPPED: nous savons qu'elles ne tournent que la nuit et le week-end, c'est normal.
   
   NB: on peut connaître le statut des queues d'une machine distante: A partir d'une autre machine tournant NQS, qstat -x @monk donne le même résultat.
   
2. En fonction de la durée du job choisissez une des queues disponible:
   job court devant tourner immédiatement: q1h q2h q4h
   job long devant touner la nuit: q15h
   job très long devant touner le week-end: q63
   NB: pas besoin d'attendre que la queue soit INACTIVE pour soumettre un job. Par exemple, dès lundi vous pouvez soumettre un job a q63h, mais il ne sera executé que le vendredi soir.
   

Controle d'un job

La commande qstat permet de connaitre la configuration de NQS sur une machine.

• qstat
• qstat: etat de mes jobs
• qstat -a: etat de tous les jobs
• qstat -x: etat de toutes les queues

_{Last modified: Mon Jun 2 16:55:33 MET DST 1997}