lpouillo/execo-g5k-tools

A repository for experimental engine based on execo to perform tests and measurements on the Grid'5000 platform

execo-g5k-tools's Issues

asclepios: keep dmesg output

A des fins de reproductibilité/compréhension a posteriori des expériences, ça serait bien de conserver la sortie de 'dmesg', même si ça n'a pas de sens de la comparer à celles des autres noeuds.

asclepios: broken option parsing

When init_options calls sys.exit(), the SystemExit exception is caught in main(), and main() tries to look up arguments that don't exist (yet):

Unexpected error: (<type 'exceptions.SystemExit'>, SystemExit(1,), <traceback object at 0x25788c0>)
Traceback (most recent call last):
  File "./asclepios", line 730, in <module>
    main()
  File "./asclepios", line 76, in main
    if args.kill_job:
UnboundLocalError: local variable 'args' referenced before assignment

resolved

asclepios : bw_oneone take too much time

asclepios: tuning des tests I/O avec fio

Pour les tests IO, ca serait plus rapide d'utiliser fio.

Pour l'écriture (à lancer en 1er):
fio --ioengine=libaio --direct=1 --bs=4m --size=1g --directory=/tmp --iodepth=32 --name=file1 --rw=write
la valeur qui nous intéresse est aggrb dans:
WRITE: io=1024.0MB, aggrb=370652KB/s, minb=370652KB/s, maxb=370652KB/s, mint=2829msec, maxt=2829msec
pour la lecture:
fio --ioengine=libaio --direct=1 --bs=4m --size=1g --directory=/tmp --iodepth=32 --name=file1 --rw=read
la valeur qui nous intéresse est aggrb dans:
READ: io=1024.0MB, aggrb=434733KB/s, minb=434733KB/s, maxb=434733KB/s, mint=2412msec, maxt=2412msec

la variabilité des résultats en écriture semble plus importante qu'en lecture. A voir s'il faut faire des tests plus longs, ou si c'est suffisant (là ça prend une poignée de secondes)

asclepios: tuning des tests cpu / memory

A priori, on peut utiliser sysbench pour faire des tests de durée constante (qui ne varieront pas selon le cluster testé).
Par exemple:
sysbench --test=cpu --cpu-max-prime=200000 --max-time=2 run
La métrique qui nous intéresse est la durée moyenne d'un event (avg: 72.29ms par exemple).
Ou éventuellement le "débit" en events (total number of events / total time taken by event execution), ce qui revient au même dans le cas mono-thread.

Pour le test mémoire, on peut faire:
sysbench --test=memory --memory-block-size=1G --memory-total-size=30G run

Passer kadeploy engine sous clusrer engine

asclepios: custom mode broken

It seems that custom mode is completely broken. For example, in init_options, asclepios tries to do:

get_cluster_attributes(args.cluster)['model']

Which fails if args.cluster == 'custom', of course

asclepios: sur econome, les disques sont parfois détectés comme des disques SCSI, et parfois comme des disques ATA

aucune idée du pourquoi pour l'instant. Peut-être lié à la manière dont ils sont initialisés lors du boot ?

asclepios: assumes that it can connect via a normal user account

I test asclepios using the 'min' environment. However it seems that the code assumes that it is able to connect using my normal user account, instead of the root account:

2015-06-09 14:24:48,781 DEBUG: 7/8 processes terminated in <Get([Host(u'econome-2.nantes.grid5000.fr'), Host(u'econome-3.nantes.grid5000.fr'), Host(u'econome-10.nantes.grid5000.fr'), Host(u'econome-12.nantes.grid5000.fr'), Host(u'econome-13.nantes.grid5000.fr'), Host(u'econome-14.nantes.grid5000.fr'), Host(u'econome-16.nantes.grid5000.fr'), Host(u'econome-17.nantes.grid5000.fr')], ['/tmp/lshw/{{shosts}}.xml'], local_location='econome_20150609_142447_+0200/lshw/')>

asclepios: BW_FRONTEND n'a pas vraiment de sens

... puisque la plupart des frontales sont des VM.
à mon avis, le plus simple est d'enlever ce test.

par contre, BW_ONEONE est vraiment long. est-ce qu'on ne pourrait pas se contenter de mesurer le débit avec "quelques" autres machines, histoires de garder un temps en O(n), et pas en O(n^2) ?

asclepios: --throughout ?

Je me disais que pour éviter d'avoir à sacrifier la finesse des résultats pour gagner en temps d'exécution,
asclepios pourrait avoir une option --throughout:

• sans l'option, on vise une durée totale de test de quelques minutes, idéale pour lancer asclepios avant une expérience
• avec l'option, on se permet d'aller jusqu'à une demi-heure de tests, idéal pour les admins ou une tache jenkins