Whamcloud - gitweb
2d9a6eef79c8726c04d70a4041a843773df4b819
[fs/lustre-release.git] / lustre / tests / test-framework.sh
1 #!/bin/bash
2 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
3
4 trap 'echo "test-framework exiting on error"' ERR
5 set -e
6 #set -x
7
8
9 export REFORMAT=""
10 export VERBOSE=false
11 export GMNALNID=${GMNALNID:-/usr/sbin/gmlndnid}
12 export CATASTROPHE=${CATASTROPHE:-/proc/sys/lnet/catastrophe}
13
14 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
15 assert_env() {
16     local failed=""
17     for name in $@; do
18         if [ -z "${!name}" ]; then
19             echo "$0: $name must be set"
20             failed=1
21         fi
22     done
23     [ $failed ] && exit 1 || true
24 }
25
26 usage() {
27     echo "usage: $0 [-r] [-f cfgfile]"
28     echo "       -r: reformat"
29
30     exit
31 }
32
33 init_test_env() {
34     export LUSTRE=`absolute_path $LUSTRE`
35     export TESTSUITE=`basename $0 .sh`
36     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
37
38     [ -d /r ] && export ROOT=${ROOT:-/r}
39     export TMP=${TMP:-$ROOT/tmp}
40
41     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
42     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
43     [ ! -f "$LCTL" ] && export LCTL=$(which lctl) 
44     export MKFS=${MKFS:-"$LUSTRE/utils/mkfs.lustre"}
45     [ ! -f "$MKFS" ] && export MKFS=$(which mkfs.lustre) 
46     export TUNEFS=${TUNEFS:-"$LUSTRE/utils/tunefs.lustre"}
47     [ ! -f "$TUNEFS" ] && export TUNEFS=$(which tunefs.lustre) 
48     export CHECKSTAT="${CHECKSTAT:-checkstat} "
49     export FSYTPE=${FSTYPE:-"ext3"}
50     export NAME=${NAME:-local}
51     export LPROC=/proc/fs/lustre
52
53     if [ "$ACCEPTOR_PORT" ]; then
54         export PORT_OPT="--port $ACCEPTOR_PORT"
55     fi
56
57     # Paths on remote nodes, if different 
58     export RLUSTRE=${RLUSTRE:-$LUSTRE}
59     export RPWD=${RPWD:-$PWD}
60
61     # command line
62     
63     while getopts "rvf:" opt $*; do 
64         case $opt in
65             f) CONFIG=$OPTARG;;
66             r) REFORMAT=--reformat;;
67             v) VERBOSE=true;;
68             \?) usage;;
69         esac
70     done
71
72     shift $((OPTIND - 1))
73     ONLY=${ONLY:-$*}
74 }
75
76 case `uname -r` in
77 2.4.*) EXT=".o"; USE_QUOTA=no; FSTYPE=ext3 ;;
78     *) EXT=".ko"; USE_QUOTA=yes; [ "$FSTYPE" ] || FSTYPE=ldiskfs ;;
79 esac
80
81 load_module() {
82     module=$1
83     shift
84     BASE=`basename $module $EXT`
85     lsmod | grep -q ${BASE} || \
86       if [ -f ${LUSTRE}/${module}${EXT} ]; then
87         insmod ${LUSTRE}/${module}${EXT} $@
88     else
89         # must be testing a "make install" or "rpm" installation
90         modprobe $BASE $@
91     fi
92 }
93
94 load_modules() {
95     if [ -n "$MODPROBE" ]; then
96         # use modprobe
97     return 0
98     fi
99     if [ "$HAVE_MODULES" = true ]; then
100     # we already loaded
101         return 0
102     fi
103     HAVE_MODULES=true
104
105     echo Loading modules from $LUSTRE
106     load_module ../lnet/libcfs/libcfs
107     # note that insmod will ignore anything in modprobe.conf
108     load_module ../lnet/lnet/lnet $LNETOPTS
109     LNETLND=${LNETLND:-"socklnd/ksocklnd"}
110     load_module ../lnet/klnds/$LNETLND
111     load_module lvfs/lvfs
112     load_module obdclass/obdclass
113     load_module ptlrpc/ptlrpc
114     [ "$USE_QUOTA" = "yes" ] && load_module quota/lquota
115     load_module mdc/mdc
116     load_module osc/osc
117     load_module lov/lov
118     load_module mds/mds
119     [ "$FSTYPE" = "ldiskfs" ] && load_module ldiskfs/ldiskfs
120     [ "$FSTYPE" = "ldiskfs2" ] && load_module ldiskfs/ldiskfs2
121     load_module lvfs/fsfilt_$FSTYPE
122     load_module ost/ost
123     load_module obdfilter/obdfilter
124     load_module llite/lustre
125     load_module mgc/mgc
126     load_module mgs/mgs
127     rm -f $TMP/ogdb-`hostname`
128     $LCTL modules > $TMP/ogdb-`hostname`
129     # 'mount' doesn't look in $PATH, just sbin
130     [ -f $LUSTRE/utils/mount.lustre ] && cp $LUSTRE/utils/mount.lustre /sbin/. || true
131 }
132
133 RMMOD=rmmod
134 if [ `uname -r | cut -c 3` -eq 4 ]; then
135     RMMOD="modprobe -r"
136 fi
137
138 wait_for_lnet() {
139     local UNLOADED=0
140     local WAIT=0
141     local MAX=60
142     MODULES=$($LCTL modules | awk '{ print $2 }')
143     while [ -n "$MODULES" ]; do
144     sleep 5
145     $RMMOD $MODULES >/dev/null 2>&1 || true
146     MODULES=$($LCTL modules | awk '{ print $2 }')
147         if [ -z "$MODULES" ]; then
148         return 0
149         else
150             WAIT=$((WAIT + 5))
151             echo "waiting, $((MAX - WAIT)) secs left"
152         fi
153         if [ $WAIT -eq $MAX ]; then
154             echo "LNET modules $MODULES will not unload"
155         lsmod
156             return 3
157         fi
158     done
159 }
160
161 unload_modules() {
162     lsmod | grep lnet > /dev/null && $LCTL dl && $LCTL dk $TMP/debug
163     local MODULES=$($LCTL modules | awk '{ print $2 }')
164     $RMMOD $MODULES >/dev/null 2>&1 || true
165      # do it again, in case we tried to unload ksocklnd too early
166     MODULES=$($LCTL modules | awk '{ print $2 }')
167     [ -n "$MODULES" ] && $RMMOD $MODULES >/dev/null || true
168     MODULES=$($LCTL modules | awk '{ print $2 }')
169     if [ -n "$MODULES" ]; then
170     echo "Modules still loaded: "
171     echo $MODULES 
172     if [ -e $LPROC ]; then
173         echo "Lustre still loaded"
174         cat $LPROC/devices || true
175         lsmod
176         return 2
177     else
178         echo "Lustre stopped, but LNET is still loaded"
179         wait_for_lnet || return 3
180     fi
181     fi
182     HAVE_MODULES=false
183
184     LEAK_LUSTRE=$(dmesg | tail -n 30 | grep "obd mem.*leaked" || true)
185     LEAK_PORTALS=$(dmesg | tail -n 20 | grep "Portals memory leaked" || true)
186     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
187         echo "$LEAK_LUSTRE" 1>&2
188         echo "$LEAK_PORTALS" 1>&2
189         mv $TMP/debug $TMP/debug-leak.`date +%s` || true
190         echo "Memory leaks detected"
191         [ "$LEAK_LUSTRE" -a $(echo $LEAK_LUSTRE | awk 'leaked=$8 {print leaked % 56}') == 0 ] && echo "ignoring known bug 10818" && return 0
192         return 254
193     fi
194     echo "modules unloaded."
195     return 0
196 }
197
198 # Facet functions
199 # start facet device options 
200 start() {
201     facet=$1
202     shift
203     device=$1
204     shift
205     echo "Starting ${facet}: $@ ${device} ${MOUNT%/*}/${facet}"
206     do_facet ${facet} mkdir -p ${MOUNT%/*}/${facet}
207     do_facet ${facet} mount -t lustre $@ ${device} ${MOUNT%/*}/${facet} 
208     RC=${PIPESTATUS[0]}
209     if [ $RC -ne 0 ]; then
210         echo mount -t lustre $@ ${device} ${MOUNT%/*}/${facet} 
211         echo Start of ${device} on ${facet} failed ${RC}
212     else 
213         do_facet ${facet} sync
214         label=`do_facet ${facet} "e2label ${device}" | grep -v "CMD: "`
215         [ -z "$label" ] && echo no label for ${device} && exit 1
216         eval export ${facet}_svc=${label}
217         eval export ${facet}_dev=${device}
218         eval export ${facet}_opt=\"$@\"
219         echo Started ${label}
220     fi
221     return $RC
222 }
223
224 stop() {
225     local running
226     facet=$1
227     shift
228     HOST=`facet_active_host $facet`
229     [ -z $HOST ] && echo stop: no host for $facet && return 0
230
231     running=`do_facet ${facet} "grep -c ${MOUNT%/*}/${facet}' ' /proc/mounts" | grep -v "CMD: "`
232     if [ ${running} -ne 0 ]; then
233         echo "Stopping ${MOUNT%/*}/${facet} (opts:$@)"
234         do_facet ${facet} umount -d $@ ${MOUNT%/*}/${facet}
235     fi
236
237     # umount should block, but we should wait for unrelated obd's
238     # like the MGS or MGC to also stop.
239     local WAIT=0
240     local INTERVAL=1
241     # conf-sanity 31 takes a long time cleanup
242     while [ $WAIT -lt 300 ]; do
243         running=$(do_facet ${facet} "[ -e $LPROC ] && grep ST' ' $LPROC/devices" | grep -v "CMD: ") || true
244         if [ -z "${running}" ]; then
245             return 0
246         fi
247         echo "waited $WAIT for${running}"
248         if [ $INTERVAL -lt 64 ]; then 
249             INTERVAL=$((INTERVAL + INTERVAL))
250         fi
251         sleep $INTERVAL
252         WAIT=$((WAIT + INTERVAL))
253     done
254     echo "service didn't stop after $WAIT seconds.  Still running:"
255     echo ${running}
256     exit 1
257 }
258
259 zconf_mount() {
260     local OPTIONS
261     local client=$1
262     local mnt=$2
263     # Only supply -o to mount if we have options
264     if [ -n "$MOUNTOPT" ]; then
265         OPTIONS="-o $MOUNTOPT"
266     fi
267     local device=$MGSNID:/$FSNAME
268     if [ -z "$mnt" -o -z "$FSNAME" ]; then
269         echo Bad zconf mount command: opt=$OPTIONS dev=$device mnt=$mnt
270         exit 1
271     fi
272
273     echo "Starting client: $OPTIONS $device $mnt" 
274     do_node $client mkdir -p $mnt
275     do_node $client mount -t lustre $OPTIONS $device $mnt || return 1
276
277     do_node $client "sysctl -w lnet.debug=$PTLDEBUG; sysctl -w lnet.subsystem_debug=${SUBSYSTEM# }"
278     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
279     return 0
280 }
281
282 zconf_umount() {
283     client=$1
284     mnt=$2
285     [ "$3" ] && force=-f
286     local running=`do_node $client "grep -c $mnt' ' /proc/mounts" | grep -v "CMD: "`
287     if [ $running -ne 0 ]; then
288         echo "Stopping client $mnt (opts:$force)"
289         do_node $client umount $force $mnt
290     fi
291 }
292
293 shutdown_facet() {
294     facet=$1
295     if [ "$FAILURE_MODE" = HARD ]; then
296         $POWER_DOWN `facet_active_host $facet`
297         sleep 2 
298     elif [ "$FAILURE_MODE" = SOFT ]; then
299         stop $facet
300     fi
301 }
302
303 reboot_facet() {
304     facet=$1
305     if [ "$FAILURE_MODE" = HARD ]; then
306         $POWER_UP `facet_active_host $facet`
307     else
308         sleep 10
309     fi
310 }
311
312 # verify that lustre actually cleaned up properly
313 cleanup_check() {
314     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
315         error "LBUG/LASSERT detected"
316     BUSY=`dmesg | grep -i destruct || true`
317     if [ "$BUSY" ]; then
318         echo "$BUSY" 1>&2
319         [ -e $TMP/debug ] && mv $TMP/debug $TMP/debug-busy.`date +%s`
320         exit 205
321     fi
322     LEAK_LUSTRE=`dmesg | tail -n 30 | grep "obd mem.*leaked" || true`
323     LEAK_PORTALS=`dmesg | tail -n 20 | grep "Portals memory leaked" || true`
324     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
325         echo "$0: $LEAK_LUSTRE" 1>&2
326         echo "$0: $LEAK_PORTALS" 1>&2
327         echo "$0: Memory leak(s) detected..." 1>&2
328         mv $TMP/debug $TMP/debug-leak.`date +%s`
329         exit 204
330     fi
331
332     [ "`lctl dl 2> /dev/null | wc -l`" -gt 0 ] && lctl dl && \
333         echo "$0: lustre didn't clean up..." 1>&2 && return 202 || true
334
335     if [ "`/sbin/lsmod 2>&1 | egrep 'lnet|libcfs'`" ]; then
336         echo "$0: modules still loaded..." 1>&2
337         /sbin/lsmod 1>&2
338         return 203
339     fi
340     return 0
341 }
342
343 wait_for_host() {
344     HOST=$1
345     check_network "$HOST" 900
346     while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
347 }
348
349 wait_for() {
350     facet=$1
351     HOST=`facet_active_host $facet`
352     wait_for_host $HOST
353 }
354
355 client_df() {
356     # not every config has many clients
357     if [ ! -z "$CLIENTS" ]; then
358         $PDSH $CLIENTS "df $MOUNT" > /dev/null
359     fi
360 }
361
362 client_reconnect() {
363     uname -n >> $MOUNT/recon
364     if [ ! -z "$CLIENTS" ]; then
365         $PDSH $CLIENTS "df $MOUNT; uname -n >> $MOUNT/recon" > /dev/null
366     fi
367     echo Connected clients:
368     cat $MOUNT/recon
369     ls -l $MOUNT/recon > /dev/null
370     rm $MOUNT/recon
371 }
372
373 facet_failover() {
374     facet=$1
375     echo "Failing $facet on node `facet_active_host $facet`"
376     shutdown_facet $facet
377     reboot_facet $facet
378     client_df &
379     DFPID=$!
380     echo "df pid is $DFPID"
381     change_active $facet
382     TO=`facet_active_host $facet`
383     echo "Failover $facet to $TO"
384     wait_for $facet
385     local dev=${facet}_dev
386     local opt=${facet}_opt
387     start $facet ${!dev} ${!opt}
388 }
389
390 obd_name() {
391     local facet=$1
392 }
393
394 replay_barrier() {
395     local facet=$1
396     do_facet $facet sync
397     df $MOUNT
398     local svc=${facet}_svc
399     do_facet $facet $LCTL --device %${!svc} readonly
400     do_facet $facet $LCTL --device %${!svc} notransno
401     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
402     $LCTL mark "local REPLAY BARRIER on ${!svc}"
403 }
404
405 replay_barrier_nodf() {
406     local facet=$1    echo running=${running}
407     do_facet $facet sync
408     local svc=${facet}_svc
409     echo Replay barrier on ${!svc}
410     do_facet $facet $LCTL --device %${!svc} readonly
411     do_facet $facet $LCTL --device %${!svc} notransno
412     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
413     $LCTL mark "local REPLAY BARRIER on ${!svc}"
414 }
415
416 mds_evict_client() {
417     UUID=`cat /proc/fs/lustre/mdc/${mds_svc}-mdc-*/uuid`
418     do_facet mds "echo $UUID > /proc/fs/lustre/mds/${mds_svc}/evict_client"
419 }
420
421 ost_evict_client() {
422     UUID=`cat /proc/fs/lustre/osc/${ost1_svc}-osc-*/uuid`
423     do_facet ost1 "echo $UUID > /proc/fs/lustre/obdfilter/${ost1_svc}/evict_client"
424 }
425
426 fail() {
427     facet_failover $* || error "failover: $?"
428     df $MOUNT || error "post-failover df: $?"
429 }
430
431 fail_abort() {
432     local facet=$1
433     stop $facet
434     change_active $facet
435     local svc=${facet}_svc
436     local dev=${facet}_dev
437     local opt=${facet}_opt
438     start $facet ${!dev} ${!opt}
439     do_facet $facet lctl --device %${!svc} abort_recovery
440     df $MOUNT || echo "first df failed: $?"
441     sleep 1
442     df $MOUNT || error "post-failover df: $?"
443 }
444
445 do_lmc() {
446     echo There is no lmc.  This is mountconf, baby.
447     exit 1
448 }
449
450 h2gm () {
451     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
452         ID=`$PDSH $1 $GMNALNID -l | cut -d\  -f2`
453         echo $ID"@gm"
454     fi
455 }
456
457 h2tcp() {
458     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
459         echo $1"@tcp" 
460     fi
461 }
462 declare -fx h2tcp
463
464 h2elan() {
465     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
466         if type __h2elan >/dev/null 2>&1; then
467             ID=$(__h2elan $1)
468         else
469             ID=`echo $1 | sed 's/[^0-9]*//g'`
470         fi
471         echo $ID"@elan"
472     fi
473 }
474 declare -fx h2elan
475
476 h2openib() {
477     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
478         ID=`echo $1 | sed 's/[^0-9]*//g'`
479         echo $ID"@openib"
480     fi
481 }
482 declare -fx h2openib
483
484 facet_host() {
485     local facet=$1
486     varname=${facet}_HOST
487     if [ -z "${!varname}" ]; then
488         if [ "${facet:0:3}" == "ost" ]; then
489             eval ${facet}_HOST=${ost_HOST}
490         fi
491     fi
492     echo -n ${!varname}
493 }
494
495 facet_active() {
496     local facet=$1
497     local activevar=${facet}active
498
499     if [ -f ./${facet}active ] ; then
500         source ./${facet}active
501     fi
502
503     active=${!activevar}
504     if [ -z "$active" ] ; then 
505         echo -n ${facet}
506     else
507         echo -n ${active}
508     fi
509 }
510
511 facet_active_host() {
512     local facet=$1
513     local active=`facet_active $facet`
514     if [ "$facet" == client ]; then
515         hostname
516     else
517         echo `facet_host $active`
518     fi
519 }
520
521 change_active() {
522     local facet=$1
523     failover=${facet}failover 
524     host=`facet_host $failover`
525     [ -z "$host" ] && return
526     curactive=`facet_active $facet`
527     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
528         eval export ${facet}active=$facet
529     else
530         eval export ${facet}active=$failover
531     fi
532     # save the active host for this facet
533     activevar=${facet}active
534     echo "$activevar=${!activevar}" > ./$activevar
535 }
536
537 do_node() {
538     HOST=$1
539     shift
540     local myPDSH=$PDSH
541     if [ "$HOST" = "$(hostname)" ]; then
542         myPDSH="no_dsh"
543     fi
544     if $VERBOSE; then
545         echo "CMD: $HOST $@"
546         $myPDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
547     fi
548     $myPDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests:/sbin:/usr/sbin; cd $RPWD; sh -c \"$@\")"
549 }
550
551 do_facet() {
552     facet=$1
553     shift
554     HOST=`facet_active_host $facet`
555     [ -z $HOST ] && echo No host defined for facet ${facet} && exit 1
556     do_node $HOST $@
557 }
558
559 add() {
560     local facet=$1
561     shift
562     # make sure its not already running
563     stop ${facet} -f
564     rm -f ${facet}active
565     do_facet ${facet} $MKFS $*
566 }
567
568 ostdevname() {
569     num=$1
570     DEVNAME=OSTDEV$num
571     #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
572     eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}}
573     echo -n $DEVPTR
574 }
575
576 ########
577 ## MountConf setup
578
579 stopall() {
580     # make sure we are using the primary server, so test-framework will
581     # be able to clean up properly.
582     activemds=`facet_active mds`
583     if [ $activemds != "mds" ]; then
584         fail mds
585     fi
586     
587     # assume client mount is local 
588     grep " $MOUNT " /proc/mounts && zconf_umount `hostname` $MOUNT $*
589     grep " $MOUNT2 " /proc/mounts && zconf_umount `hostname` $MOUNT2 $*
590     stop mds -f
591     for num in `seq $OSTCOUNT`; do
592         stop ost$num -f
593     done
594     return 0
595 }
596
597 cleanupall() {
598     stopall $*
599     unload_modules
600 }
601
602 formatall() {
603     [ "$FSTYPE" ] && FSTYPE_OPT="--backfstype $FSTYPE"
604
605     stopall
606     # We need ldiskfs here, may as well load them all
607     load_modules
608     echo Formatting mds, osts
609     if $VERBOSE; then
610         add mds $MDS_MKFS_OPTS $FSTYPE_OPT --reformat $MDSDEV || exit 10
611     else
612         add mds $MDS_MKFS_OPTS $FSTYPE_OPT --reformat $MDSDEV > /dev/null || exit 10
613     fi
614
615     for num in `seq $OSTCOUNT`; do
616         if $VERBOSE; then
617             add ost$num $OST_MKFS_OPTS $FSTYPE_OPT --reformat `ostdevname $num` || exit 10
618         else
619             add ost$num $OST_MKFS_OPTS $FSTYPE_OPT --reformat `ostdevname $num` > /dev/null || exit 10
620         fi
621     done
622 }
623
624 mount_client() {
625     grep " $1 " /proc/mounts || zconf_mount `hostname` $*
626 }
627
628 setupall() {
629     load_modules
630     echo Setup mdt, osts
631     start mds $MDSDEV $MDS_MOUNT_OPTS
632     for num in `seq $OSTCOUNT`; do
633         DEVNAME=`ostdevname $num`
634         start ost$num $DEVNAME $OST_MOUNT_OPTS
635     done
636     [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
637     mount_client $MOUNT
638     if [ "$MOUNT_2" ]; then
639         mount_client $MOUNT2
640     fi
641     sleep 5
642 }
643
644
645 ####### 
646 # General functions
647
648 check_network() {
649     local NETWORK=0
650     local WAIT=0
651     local MAX=$2
652     while [ $NETWORK -eq 0 ]; do
653         ping -c 1 -w 3 $1 > /dev/null
654         if [ $? -eq 0 ]; then
655             NETWORK=1
656         else
657             WAIT=$((WAIT + 5))
658             echo "waiting for $1, $((MAX - WAIT)) secs left"
659             sleep 5
660         fi
661         if [ $WAIT -gt $MAX ]; then
662             echo "Network not available"
663             exit 1
664         fi
665     done
666 }
667 check_port() {
668     while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
669         sleep 9
670     done
671 }
672
673 no_dsh() {
674     shift
675     eval $@
676 }
677
678 comma_list() {
679     # the sed converts spaces to commas, but leaves the last space
680     # alone, so the line doesn't end with a comma.
681     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
682 }
683
684 absolute_path() {
685     (cd `dirname $1`; echo $PWD/`basename $1`)
686 }
687
688 ##################################
689 # OBD_FAIL funcs
690
691 drop_request() {
692 # OBD_FAIL_MDS_ALL_REQUEST_NET
693     RC=0
694     do_facet mds sysctl -w lustre.fail_loc=0x123
695     do_facet client "$1" || RC=$?
696     do_facet mds sysctl -w lustre.fail_loc=0
697     return $RC
698 }
699
700 drop_reply() {
701 # OBD_FAIL_MDS_ALL_REPLY_NET
702     RC=0
703     do_facet mds sysctl -w lustre.fail_loc=0x122
704     do_facet client "$@" || RC=$?
705     do_facet mds sysctl -w lustre.fail_loc=0
706     return $RC
707 }
708
709 drop_reint_reply() {
710 # OBD_FAIL_MDS_REINT_NET_REP
711     RC=0
712     do_facet mds sysctl -w lustre.fail_loc=0x119
713     do_facet client "$@" || RC=$?
714     do_facet mds sysctl -w lustre.fail_loc=0
715     return $RC
716 }
717
718 pause_bulk() {
719 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
720     RC=0
721     do_facet ost1 sysctl -w lustre.fail_loc=0x214
722     do_facet client "$1" || RC=$?
723     do_facet client "sync"
724     do_facet ost1 sysctl -w lustre.fail_loc=0
725     return $RC
726 }
727
728 drop_ldlm_cancel() {
729 #define OBD_FAIL_LDLM_CANCEL             0x304
730     RC=0
731     do_facet client sysctl -w lustre.fail_loc=0x304
732     do_facet client "$@" || RC=$?
733     do_facet client sysctl -w lustre.fail_loc=0
734     return $RC
735 }
736
737 drop_bl_callback() {
738 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
739     RC=0
740     do_facet client sysctl -w lustre.fail_loc=0x305
741     do_facet client "$@" || RC=$?
742     do_facet client sysctl -w lustre.fail_loc=0
743     return $RC
744 }
745
746 drop_ldlm_reply() {
747 #define OBD_FAIL_LDLM_REPLY              0x30c
748     RC=0
749     do_facet mds sysctl -w lustre.fail_loc=0x30c
750     do_facet client "$@" || RC=$?
751     do_facet mds sysctl -w lustre.fail_loc=0
752     return $RC
753 }
754
755 clear_failloc() {
756     facet=$1
757     pause=$2
758     sleep $pause
759     echo "clearing fail_loc on $facet"
760     do_facet $facet "sysctl -w lustre.fail_loc=0"
761 }
762
763 cancel_lru_locks() {
764     $LCTL mark "cancel_lru_locks $1 start"
765     for d in `find $LPROC/ldlm/namespaces | egrep -i $1`; do
766         [ -f $d/lru_size ] && echo clear > $d/lru_size
767         [ -f $d/lock_unused_count ] && grep [1-9] $d/lock_unused_count /dev/null
768     done
769     $LCTL mark "cancel_lru_locks $1 stop"
770 }
771
772
773 pgcache_empty() {
774     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
775         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
776             echo there is still data in page cache $a ?
777             cat $a;
778             return 1;
779         fi
780     done
781     return 0
782 }
783
784 ##################################
785 # Test interface 
786 error() {
787     sysctl -w lustre.fail_loc=0 2> /dev/null || true
788     echo "${TESTSUITE}: **** FAIL:" $@
789     log "FAIL: $TESTNAME $@"
790     exit 1
791 }
792
793 build_test_filter() {
794     [ "$ONLY" ] && log "only running test `echo $ONLY`"
795     for O in $ONLY; do
796         eval ONLY_${O}=true
797     done
798     [ "$EXCEPT$ALWAYS_EXCEPT" ] && \
799         log "skipping tests: `echo $EXCEPT $ALWAYS_EXCEPT`"
800     for E in $EXCEPT $ALWAYS_EXCEPT; do
801         eval EXCEPT_${E}=true
802     done
803 }
804
805 _basetest() {
806     echo $*
807 }
808
809 basetest() {
810     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
811 }
812
813 run_test() {
814     export base=`basetest $1`
815     if [ ! -z "$ONLY" ]; then
816         testname=ONLY_$1
817         if [ ${!testname}x != x ]; then
818             run_one $1 "$2"
819             return $?
820         fi
821         testname=ONLY_$base
822         if [ ${!testname}x != x ]; then
823             run_one $1 "$2"
824             return $?
825         fi
826         echo -n "."
827         return 0
828     fi
829     testname=EXCEPT_$1
830     if [ ${!testname}x != x ]; then
831         log "skipping excluded test $1"
832         return 0
833     fi
834     testname=EXCEPT_$base
835     if [ ${!testname}x != x ]; then
836         log "skipping excluded test $1 (base $base)"
837         return 0
838     fi
839     run_one $1 "$2"
840     
841     return $?
842 }
843
844 EQUALS="======================================================================"
845 equals_msg() {
846     msg="$@"
847
848     local suffixlen=$((${#EQUALS} - ${#msg}))
849     [ $suffixlen -lt 5 ] && suffixlen=5
850     printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
851 }
852
853 log() {
854     echo "$*"
855     lsmod | grep lnet > /dev/null || load_modules
856     $LCTL mark "$*" 2> /dev/null || true
857 }
858
859 pass() {
860     echo PASS $@
861 }
862
863 check_mds() {
864     FFREE=`cat /proc/fs/lustre/mds/*/filesfree`
865     FTOTAL=`cat /proc/fs/lustre/mds/*/filestotal`
866     [ $FFREE -ge $FTOTAL ] && error "files free $FFREE > total $FTOTAL" || true
867 }
868
869 run_one() {
870     testnum=$1
871     message=$2
872     tfile=f${testnum}
873     tdir=d${base}
874
875     # Pretty tests run faster.
876     equals_msg $testnum: $message
877
878     BEFORE=`date +%s`
879     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
880     #check_mds
881     export TESTNAME=test_$testnum
882     test_${testnum} || error "test_$testnum failed with $?"
883     #check_mds
884     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
885         error "LBUG/LASSERT detected"
886     pass "($((`date +%s` - $BEFORE))s)"
887     unset TESTNAME
888 }
889
890 canonical_path() {
891     (cd `dirname $1`; echo $PWD/`basename $1`)
892 }
893