lustre/tests/test-framework.sh

   1 #!/bin/bash
   2 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
   3
   4 trap 'echo "test-framework exiting on error"' ERR
   5 set -e
   6 #set -x
   7
   8
   9 export REFORMAT=""
  10 export VERBOSE=false
  11 export GMNALNID=${GMNALNID:-/usr/sbin/gmlndnid}
  12 export CATASTROPHE=${CATASTROPHE:-/proc/sys/lnet/catastrophe}
  13
  14 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
  15 assert_env() {
  16     local failed=""
  17     for name in $@; do
  18         if [ -z "${!name}" ]; then
  19             echo "$0: $name must be set"
  20             failed=1
  21         fi
  22     done
  23     [ $failed ] && exit 1 || true
  24 }
  25
  26 usage() {
  27     echo "usage: $0 [-r] [-f cfgfile]"
  28     echo "       -r: reformat"
  29
  30     exit
  31 }
  32
  33 init_test_env() {
  34     export LUSTRE=`absolute_path $LUSTRE`
  35     export TESTSUITE=`basename $0 .sh`
  36     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  37
  38     [ -d /r ] && export ROOT=${ROOT:-/r}
  39     export TMP=${TMP:-$ROOT/tmp}
  40
  41     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
  42     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  43     [ ! -f "$LCTL" ] && export LCTL=$(which lctl)
  44     export MKFS=${MKFS:-"$LUSTRE/utils/mkfs.lustre"}
  45     [ ! -f "$MKFS" ] && export MKFS=$(which mkfs.lustre)
  46     export TUNEFS=${TUNEFS:-"$LUSTRE/utils/tunefs.lustre"}
  47     [ ! -f "$TUNEFS" ] && export TUNEFS=$(which tunefs.lustre)
  48     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  49     export FSYTPE=${FSTYPE:-"ext3"}
  50     export NAME=${NAME:-local}
  51     export LPROC=/proc/fs/lustre
  52
  53     if [ "$ACCEPTOR_PORT" ]; then
  54         export PORT_OPT="--port $ACCEPTOR_PORT"
  55     fi
  56
  57     # Paths on remote nodes, if different
  58     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  59     export RPWD=${RPWD:-$PWD}
  60
  61     # command line
  62
  63     while getopts "rvf:" opt $*; do
  64         case $opt in
  65             f) CONFIG=$OPTARG;;
  66             r) REFORMAT=--reformat;;
  67             v) VERBOSE=true;;
  68             \?) usage;;
  69         esac
  70     done
  71
  72     shift $((OPTIND - 1))
  73     ONLY=${ONLY:-$*}
  74 }
  75
  76 case `uname -r` in
  77 2.4.*) EXT=".o"; USE_QUOTA=no; FSTYPE=ext3 ;;
  78     *) EXT=".ko"; USE_QUOTA=yes; [ "$FSTYPE" ] || FSTYPE=ldiskfs ;;
  79 esac
  80
  81 load_module() {
  82     module=$1
  83     shift
  84     BASE=`basename $module $EXT`
  85     lsmod | grep -q ${BASE} || \
  86       if [ -f ${LUSTRE}/${module}${EXT} ]; then
  87         insmod ${LUSTRE}/${module}${EXT} $@
  88     else
  89         # must be testing a "make install" or "rpm" installation
  90         modprobe $BASE $@
  91     fi
  92 }
  93
  94 load_modules() {
  95     if [ -n "$MODPROBE" ]; then
  96         # use modprobe
  97     return 0
  98     fi
  99     if [ "$HAVE_MODULES" = true ]; then
 100     # we already loaded
 101         return 0
 102     fi
 103     HAVE_MODULES=true
 104
 105     echo Loading modules from $LUSTRE
 106     load_module ../lnet/libcfs/libcfs
 107     # note that insmod will ignore anything in modprobe.conf
 108     load_module ../lnet/lnet/lnet $LNETOPTS
 109     LNETLND=${LNETLND:-"socklnd/ksocklnd"}
 110     load_module ../lnet/klnds/$LNETLND
 111     load_module lvfs/lvfs
 112     load_module obdclass/obdclass
 113     load_module ptlrpc/ptlrpc
 114     [ "$USE_QUOTA" = "yes" ] && load_module quota/lquota
 115     load_module mdc/mdc
 116     load_module osc/osc
 117     load_module lov/lov
 118     load_module mds/mds
 119     [ "$FSTYPE" = "ldiskfs" ] && load_module ldiskfs/ldiskfs
 120     [ "$FSTYPE" = "ldiskfs2" ] && load_module ldiskfs/ldiskfs2
 121     load_module lvfs/fsfilt_$FSTYPE
 122     load_module ost/ost
 123     load_module obdfilter/obdfilter
 124     load_module llite/lustre
 125     load_module mgc/mgc
 126     load_module mgs/mgs
 127     rm -f $TMP/ogdb-`hostname`
 128     $LCTL modules > $TMP/ogdb-`hostname`
 129     # 'mount' doesn't look in $PATH, just sbin
 130     [ -f $LUSTRE/utils/mount.lustre ] && cp $LUSTRE/utils/mount.lustre /sbin/. || true
 131 }
 132
 133 RMMOD=rmmod
 134 if [ `uname -r | cut -c 3` -eq 4 ]; then
 135     RMMOD="modprobe -r"
 136 fi
 137
 138 wait_for_lnet() {
 139     local UNLOADED=0
 140     local WAIT=0
 141     local MAX=60
 142     MODULES=$($LCTL modules | awk '{ print $2 }')
 143     while [ -n "$MODULES" ]; do
 144     sleep 5
 145     $RMMOD $MODULES >/dev/null 2>&1 || true
 146     MODULES=$($LCTL modules | awk '{ print $2 }')
 147         if [ -z "$MODULES" ]; then
 148         return 0
 149         else
 150             WAIT=$((WAIT + 5))
 151             echo "waiting, $((MAX - WAIT)) secs left"
 152         fi
 153         if [ $WAIT -eq $MAX ]; then
 154             echo "LNET modules $MODULES will not unload"
 155         lsmod
 156             return 3
 157         fi
 158     done
 159 }
 160
 161 unload_modules() {
 162     lsmod | grep lnet > /dev/null && $LCTL dl && $LCTL dk $TMP/debug
 163     local MODULES=$($LCTL modules | awk '{ print $2 }')
 164     $RMMOD $MODULES >/dev/null 2>&1 || true
 165      # do it again, in case we tried to unload ksocklnd too early
 166     MODULES=$($LCTL modules | awk '{ print $2 }')
 167     [ -n "$MODULES" ] && $RMMOD $MODULES >/dev/null || true
 168     MODULES=$($LCTL modules | awk '{ print $2 }')
 169     if [ -n "$MODULES" ]; then
 170     echo "Modules still loaded: "
 171     echo $MODULES
 172     if [ -e $LPROC ]; then
 173         echo "Lustre still loaded"
 174         cat $LPROC/devices || true
 175         lsmod
 176         return 2
 177     else
 178         echo "Lustre stopped, but LNET is still loaded"
 179         wait_for_lnet || return 3
 180     fi
 181     fi
 182     HAVE_MODULES=false
 183
 184     LEAK_LUSTRE=$(dmesg | tail -n 30 | grep "obd mem.*leaked" || true)
 185     LEAK_PORTALS=$(dmesg | tail -n 20 | grep "Portals memory leaked" || true)
 186     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 187         echo "$LEAK_LUSTRE" 1>&2
 188         echo "$LEAK_PORTALS" 1>&2
 189         mv $TMP/debug $TMP/debug-leak.`date +%s` || true
 190         echo "Memory leaks detected"
 191         [ "$LEAK_LUSTRE" -a $(echo $LEAK_LUSTRE | awk 'leaked=$8 {print leaked % 56}') == 0 ] && echo "ignoring known bug 10818" && return 0
 192         return 254
 193     fi
 194     echo "modules unloaded."
 195     return 0
 196 }
 197
 198 # Facet functions
 199 # start facet device options
 200 start() {
 201     facet=$1
 202     shift
 203     device=$1
 204     shift
 205     echo "Starting ${facet}: $@ ${device} ${MOUNT%/*}/${facet}"
 206     do_facet ${facet} mkdir -p ${MOUNT%/*}/${facet}
 207     do_facet ${facet} mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 208     RC=${PIPESTATUS[0]}
 209     if [ $RC -ne 0 ]; then
 210         echo mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 211         echo Start of ${device} on ${facet} failed ${RC}
 212     else
 213         do_facet ${facet} sync
 214         label=`do_facet ${facet} "e2label ${device}" | grep -v "CMD: "`
 215         [ -z "$label" ] && echo no label for ${device} && exit 1
 216         eval export ${facet}_svc=${label}
 217         eval export ${facet}_dev=${device}
 218         eval export ${facet}_opt=\"$@\"
 219         echo Started ${label}
 220     fi
 221     return $RC
 222 }
 223
 224 stop() {
 225     local running
 226     facet=$1
 227     shift
 228     HOST=`facet_active_host $facet`
 229     [ -z $HOST ] && echo stop: no host for $facet && return 0
 230
 231     running=`do_facet ${facet} "grep -c ${MOUNT%/*}/${facet}' ' /proc/mounts" | grep -v "CMD: "`
 232     if [ ${running} -ne 0 ]; then
 233         echo "Stopping ${MOUNT%/*}/${facet} (opts:$@)"
 234         do_facet ${facet} umount -d $@ ${MOUNT%/*}/${facet}
 235     fi
 236
 237     # umount should block, but we should wait for unrelated obd's
 238     # like the MGS or MGC to also stop.
 239     local WAIT=0
 240     local INTERVAL=1
 241     # conf-sanity 31 takes a long time cleanup
 242     while [ $WAIT -lt 300 ]; do
 243         running=$(do_facet ${facet} "[ -e $LPROC ] && grep ST' ' $LPROC/devices" | grep -v "CMD: ") || true
 244         if [ -z "${running}" ]; then
 245             return 0
 246         fi
 247         echo "waited $WAIT for${running}"
 248         if [ $INTERVAL -lt 64 ]; then
 249             INTERVAL=$((INTERVAL + INTERVAL))
 250         fi
 251         sleep $INTERVAL
 252         WAIT=$((WAIT + INTERVAL))
 253     done
 254     echo "service didn't stop after $WAIT seconds.  Still running:"
 255     echo ${running}
 256     exit 1
 257 }
 258
 259 zconf_mount() {
 260     local OPTIONS
 261     local client=$1
 262     local mnt=$2
 263     # Only supply -o to mount if we have options
 264     if [ -n "$MOUNTOPT" ]; then
 265         OPTIONS="-o $MOUNTOPT"
 266     fi
 267     local device=$MGSNID:/$FSNAME
 268     if [ -z "$mnt" -o -z "$FSNAME" ]; then
 269         echo Bad zconf mount command: opt=$OPTIONS dev=$device mnt=$mnt
 270         exit 1
 271     fi
 272
 273     echo "Starting client: $OPTIONS $device $mnt"
 274     do_node $client mkdir -p $mnt
 275     do_node $client mount -t lustre $OPTIONS $device $mnt || return 1
 276
 277     do_node $client "sysctl -w lnet.debug=$PTLDEBUG; sysctl -w lnet.subsystem_debug=${SUBSYSTEM# }"
 278     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
 279     return 0
 280 }
 281
 282 zconf_umount() {
 283     client=$1
 284     mnt=$2
 285     [ "$3" ] && force=-f
 286     local running=`do_node $client "grep -c $mnt' ' /proc/mounts" | grep -v "CMD: "`
 287     if [ $running -ne 0 ]; then
 288         echo "Stopping client $mnt (opts:$force)"
 289         do_node $client umount $force $mnt
 290     fi
 291 }
 292
 293 shutdown_facet() {
 294     facet=$1
 295     if [ "$FAILURE_MODE" = HARD ]; then
 296         $POWER_DOWN `facet_active_host $facet`
 297         sleep 2
 298     elif [ "$FAILURE_MODE" = SOFT ]; then
 299         stop $facet
 300     fi
 301 }
 302
 303 reboot_facet() {
 304     facet=$1
 305     if [ "$FAILURE_MODE" = HARD ]; then
 306         $POWER_UP `facet_active_host $facet`
 307     else
 308         sleep 10
 309     fi
 310 }
 311
 312 # verify that lustre actually cleaned up properly
 313 cleanup_check() {
 314     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
 315         error "LBUG/LASSERT detected"
 316     BUSY=`dmesg | grep -i destruct || true`
 317     if [ "$BUSY" ]; then
 318         echo "$BUSY" 1>&2
 319         [ -e $TMP/debug ] && mv $TMP/debug $TMP/debug-busy.`date +%s`
 320         exit 205
 321     fi
 322     LEAK_LUSTRE=`dmesg | tail -n 30 | grep "obd mem.*leaked" || true`
 323     LEAK_PORTALS=`dmesg | tail -n 20 | grep "Portals memory leaked" || true`
 324     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 325         echo "$0: $LEAK_LUSTRE" 1>&2
 326         echo "$0: $LEAK_PORTALS" 1>&2
 327         echo "$0: Memory leak(s) detected..." 1>&2
 328         mv $TMP/debug $TMP/debug-leak.`date +%s`
 329         exit 204
 330     fi
 331
 332     [ "`lctl dl 2> /dev/null | wc -l`" -gt 0 ] && lctl dl && \
 333         echo "$0: lustre didn't clean up..." 1>&2 && return 202 || true
 334
 335     if [ "`/sbin/lsmod 2>&1 | egrep 'lnet|libcfs'`" ]; then
 336         echo "$0: modules still loaded..." 1>&2
 337         /sbin/lsmod 1>&2
 338         return 203
 339     fi
 340     return 0
 341 }
 342
 343 wait_for_host() {
 344     HOST=$1
 345     check_network "$HOST" 900
 346     while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 347 }
 348
 349 wait_for() {
 350     facet=$1
 351     HOST=`facet_active_host $facet`
 352     wait_for_host $HOST
 353 }
 354
 355 client_df() {
 356     # not every config has many clients
 357     if [ ! -z "$CLIENTS" ]; then
 358         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 359     fi
 360 }
 361
 362 client_reconnect() {
 363     uname -n >> $MOUNT/recon
 364     if [ ! -z "$CLIENTS" ]; then
 365         $PDSH $CLIENTS "df $MOUNT; uname -n >> $MOUNT/recon" > /dev/null
 366     fi
 367     echo Connected clients:
 368     cat $MOUNT/recon
 369     ls -l $MOUNT/recon > /dev/null
 370     rm $MOUNT/recon
 371 }
 372
 373 facet_failover() {
 374     facet=$1
 375     echo "Failing $facet on node `facet_active_host $facet`"
 376     shutdown_facet $facet
 377     reboot_facet $facet
 378     client_df &
 379     DFPID=$!
 380     echo "df pid is $DFPID"
 381     change_active $facet
 382     TO=`facet_active_host $facet`
 383     echo "Failover $facet to $TO"
 384     wait_for $facet
 385     local dev=${facet}_dev
 386     local opt=${facet}_opt
 387     start $facet ${!dev} ${!opt}
 388 }
 389
 390 obd_name() {
 391     local facet=$1
 392 }
 393
 394 replay_barrier() {
 395     local facet=$1
 396     do_facet $facet sync
 397     df $MOUNT
 398     local svc=${facet}_svc
 399     do_facet $facet $LCTL --device %${!svc} readonly
 400     do_facet $facet $LCTL --device %${!svc} notransno
 401     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 402     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 403 }
 404
 405 replay_barrier_nodf() {
 406     local facet=$1    echo running=${running}
 407     do_facet $facet sync
 408     local svc=${facet}_svc
 409     echo Replay barrier on ${!svc}
 410     do_facet $facet $LCTL --device %${!svc} readonly
 411     do_facet $facet $LCTL --device %${!svc} notransno
 412     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 413     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 414 }
 415
 416 mds_evict_client() {
 417     UUID=`cat /proc/fs/lustre/mdc/${mds_svc}-mdc-*/uuid`
 418     do_facet mds "echo $UUID > /proc/fs/lustre/mds/${mds_svc}/evict_client"
 419 }
 420
 421 ost_evict_client() {
 422     UUID=`cat /proc/fs/lustre/osc/${ost1_svc}-osc-*/uuid`
 423     do_facet ost1 "echo $UUID > /proc/fs/lustre/obdfilter/${ost1_svc}/evict_client"
 424 }
 425
 426 fail() {
 427     facet_failover $* || error "failover: $?"
 428     df $MOUNT || error "post-failover df: $?"
 429 }
 430
 431 fail_abort() {
 432     local facet=$1
 433     stop $facet
 434     change_active $facet
 435     local svc=${facet}_svc
 436     local dev=${facet}_dev
 437     local opt=${facet}_opt
 438     start $facet ${!dev} ${!opt}
 439     do_facet $facet lctl --device %${!svc} abort_recovery
 440     df $MOUNT || echo "first df failed: $?"
 441     sleep 1
 442     df $MOUNT || error "post-failover df: $?"
 443 }
 444
 445 do_lmc() {
 446     echo There is no lmc.  This is mountconf, baby.
 447     exit 1
 448 }
 449
 450 h2gm () {
 451     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 452         ID=`$PDSH $1 $GMNALNID -l | cut -d\  -f2`
 453         echo $ID"@gm"
 454     fi
 455 }
 456
 457 h2tcp() {
 458     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 459         echo $1"@tcp"
 460     fi
 461 }
 462 declare -fx h2tcp
 463
 464 h2elan() {
 465     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 466         if type __h2elan >/dev/null 2>&1; then
 467             ID=$(__h2elan $1)
 468         else
 469             ID=`echo $1 | sed 's/[^0-9]*//g'`
 470         fi
 471         echo $ID"@elan"
 472     fi
 473 }
 474 declare -fx h2elan
 475
 476 h2openib() {
 477     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 478         ID=`echo $1 | sed 's/[^0-9]*//g'`
 479         echo $ID"@openib"
 480     fi
 481 }
 482 declare -fx h2openib
 483
 484 facet_host() {
 485     local facet=$1
 486     varname=${facet}_HOST
 487     if [ -z "${!varname}" ]; then
 488         if [ "${facet:0:3}" == "ost" ]; then
 489             eval ${facet}_HOST=${ost_HOST}
 490         fi
 491     fi
 492     echo -n ${!varname}
 493 }
 494
 495 facet_active() {
 496     local facet=$1
 497     local activevar=${facet}active
 498
 499     if [ -f ./${facet}active ] ; then
 500         source ./${facet}active
 501     fi
 502
 503     active=${!activevar}
 504     if [ -z "$active" ] ; then
 505         echo -n ${facet}
 506     else
 507         echo -n ${active}
 508     fi
 509 }
 510
 511 facet_active_host() {
 512     local facet=$1
 513     local active=`facet_active $facet`
 514     if [ "$facet" == client ]; then
 515         hostname
 516     else
 517         echo `facet_host $active`
 518     fi
 519 }
 520
 521 change_active() {
 522     local facet=$1
 523     failover=${facet}failover
 524     host=`facet_host $failover`
 525     [ -z "$host" ] && return
 526     curactive=`facet_active $facet`
 527     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 528         eval export ${facet}active=$facet
 529     else
 530         eval export ${facet}active=$failover
 531     fi
 532     # save the active host for this facet
 533     activevar=${facet}active
 534     echo "$activevar=${!activevar}" > ./$activevar
 535 }
 536
 537 do_node() {
 538     HOST=$1
 539     shift
 540     local myPDSH=$PDSH
 541     if [ "$HOST" = "$(hostname)" ]; then
 542         myPDSH="no_dsh"
 543     fi
 544     if $VERBOSE; then
 545         echo "CMD: $HOST $@"
 546         $myPDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 547     fi
 548     $myPDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests:/sbin:/usr/sbin; cd $RPWD; sh -c \"$@\")"
 549 }
 550
 551 do_facet() {
 552     facet=$1
 553     shift
 554     HOST=`facet_active_host $facet`
 555     [ -z $HOST ] && echo No host defined for facet ${facet} && exit 1
 556     do_node $HOST $@
 557 }
 558
 559 add() {
 560     local facet=$1
 561     shift
 562     # make sure its not already running
 563     stop ${facet} -f
 564     rm -f ${facet}active
 565     do_facet ${facet} $MKFS $*
 566 }
 567
 568 ostdevname() {
 569     num=$1
 570     DEVNAME=OSTDEV$num
 571     #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
 572     eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}}
 573     echo -n $DEVPTR
 574 }
 575
 576 ########
 577 ## MountConf setup
 578
 579 stopall() {
 580     # make sure we are using the primary server, so test-framework will
 581     # be able to clean up properly.
 582     activemds=`facet_active mds`
 583     if [ $activemds != "mds" ]; then
 584         fail mds
 585     fi
 586
 587     # assume client mount is local
 588     grep " $MOUNT " /proc/mounts && zconf_umount `hostname` $MOUNT $*
 589     grep " $MOUNT2 " /proc/mounts && zconf_umount `hostname` $MOUNT2 $*
 590     stop mds -f
 591     for num in `seq $OSTCOUNT`; do
 592         stop ost$num -f
 593     done
 594     return 0
 595 }
 596
 597 cleanupall() {
 598     stopall $*
 599     unload_modules
 600 }
 601
 602 formatall() {
 603     [ "$FSTYPE" ] && FSTYPE_OPT="--backfstype $FSTYPE"
 604
 605     stopall
 606     # We need ldiskfs here, may as well load them all
 607     load_modules
 608     echo Formatting mds, osts
 609     if $VERBOSE; then
 610         add mds $MDS_MKFS_OPTS $FSTYPE_OPT --reformat $MDSDEV || exit 10
 611     else
 612         add mds $MDS_MKFS_OPTS $FSTYPE_OPT --reformat $MDSDEV > /dev/null || exit 10
 613     fi
 614
 615     for num in `seq $OSTCOUNT`; do
 616         if $VERBOSE; then
 617             add ost$num $OST_MKFS_OPTS $FSTYPE_OPT --reformat `ostdevname $num` || exit 10
 618         else
 619             add ost$num $OST_MKFS_OPTS $FSTYPE_OPT --reformat `ostdevname $num` > /dev/null || exit 10
 620         fi
 621     done
 622 }
 623
 624 mount_client() {
 625     grep " $1 " /proc/mounts || zconf_mount `hostname` $*
 626 }
 627
 628 setupall() {
 629     load_modules
 630     echo Setup mdt, osts
 631     start mds $MDSDEV $MDS_MOUNT_OPTS
 632     for num in `seq $OSTCOUNT`; do
 633         DEVNAME=`ostdevname $num`
 634         start ost$num $DEVNAME $OST_MOUNT_OPTS
 635     done
 636     [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
 637     mount_client $MOUNT
 638     if [ "$MOUNT2" ]; then
 639         mount_client $MOUNT2
 640     fi
 641     sleep 5
 642 }
 643
 644
 645 #######
 646 # General functions
 647
 648 check_network() {
 649     local NETWORK=0
 650     local WAIT=0
 651     local MAX=$2
 652     while [ $NETWORK -eq 0 ]; do
 653         ping -c 1 -w 3 $1 > /dev/null
 654         if [ $? -eq 0 ]; then
 655             NETWORK=1
 656         else
 657             WAIT=$((WAIT + 5))
 658             echo "waiting for $1, $((MAX - WAIT)) secs left"
 659             sleep 5
 660         fi
 661         if [ $WAIT -gt $MAX ]; then
 662             echo "Network not available"
 663             exit 1
 664         fi
 665     done
 666 }
 667 check_port() {
 668     while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 669         sleep 9
 670     done
 671 }
 672
 673 no_dsh() {
 674     shift
 675     eval $@
 676 }
 677
 678 comma_list() {
 679     # the sed converts spaces to commas, but leaves the last space
 680     # alone, so the line doesn't end with a comma.
 681     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 682 }
 683
 684 absolute_path() {
 685     (cd `dirname $1`; echo $PWD/`basename $1`)
 686 }
 687
 688 ##################################
 689 # OBD_FAIL funcs
 690
 691 drop_request() {
 692 # OBD_FAIL_MDS_ALL_REQUEST_NET
 693     RC=0
 694     do_facet mds sysctl -w lustre.fail_loc=0x123
 695     do_facet client "$1" || RC=$?
 696     do_facet mds sysctl -w lustre.fail_loc=0
 697     return $RC
 698 }
 699
 700 drop_reply() {
 701 # OBD_FAIL_MDS_ALL_REPLY_NET
 702     RC=0
 703     do_facet mds sysctl -w lustre.fail_loc=0x122
 704     do_facet client "$@" || RC=$?
 705     do_facet mds sysctl -w lustre.fail_loc=0
 706     return $RC
 707 }
 708
 709 drop_reint_reply() {
 710 # OBD_FAIL_MDS_REINT_NET_REP
 711     RC=0
 712     do_facet mds sysctl -w lustre.fail_loc=0x119
 713     do_facet client "$@" || RC=$?
 714     do_facet mds sysctl -w lustre.fail_loc=0
 715     return $RC
 716 }
 717
 718 pause_bulk() {
 719 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 720     RC=0
 721     do_facet ost1 sysctl -w lustre.fail_loc=0x214
 722     do_facet client "$1" || RC=$?
 723     do_facet client "sync"
 724     do_facet ost1 sysctl -w lustre.fail_loc=0
 725     return $RC
 726 }
 727
 728 drop_ldlm_cancel() {
 729 #define OBD_FAIL_LDLM_CANCEL             0x304
 730     RC=0
 731     do_facet client sysctl -w lustre.fail_loc=0x304
 732     do_facet client "$@" || RC=$?
 733     do_facet client sysctl -w lustre.fail_loc=0
 734     return $RC
 735 }
 736
 737 drop_bl_callback() {
 738 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 739     RC=0
 740     do_facet client sysctl -w lustre.fail_loc=0x305
 741     do_facet client "$@" || RC=$?
 742     do_facet client sysctl -w lustre.fail_loc=0
 743     return $RC
 744 }
 745
 746 drop_ldlm_reply() {
 747 #define OBD_FAIL_LDLM_REPLY              0x30c
 748     RC=0
 749     do_facet mds sysctl -w lustre.fail_loc=0x30c
 750     do_facet client "$@" || RC=$?
 751     do_facet mds sysctl -w lustre.fail_loc=0
 752     return $RC
 753 }
 754
 755 clear_failloc() {
 756     facet=$1
 757     pause=$2
 758     sleep $pause
 759     echo "clearing fail_loc on $facet"
 760     do_facet $facet "sysctl -w lustre.fail_loc=0"
 761 }
 762
 763 cancel_lru_locks() {
 764     $LCTL mark "cancel_lru_locks $1 start"
 765     for d in `find $LPROC/ldlm/namespaces | egrep -i $1`; do
 766         [ -f $d/lru_size ] && echo clear > $d/lru_size
 767         [ -f $d/lock_unused_count ] && grep [1-9] $d/lock_unused_count /dev/null
 768     done
 769     $LCTL mark "cancel_lru_locks $1 stop"
 770 }
 771
 772
 773 pgcache_empty() {
 774     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 775         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 776             echo there is still data in page cache $a ?
 777             cat $a;
 778             return 1;
 779         fi
 780     done
 781     return 0
 782 }
 783
 784 ##################################
 785 # Test interface
 786 error() {
 787     sysctl -w lustre.fail_loc=0 2> /dev/null || true
 788     echo "${TESTSUITE}: **** FAIL:" $@
 789     log "FAIL: $TESTNAME $@"
 790     exit 1
 791 }
 792
 793 build_test_filter() {
 794     [ "$ONLY" ] && log "only running test `echo $ONLY`"
 795     for O in $ONLY; do
 796         eval ONLY_${O}=true
 797     done
 798     [ "$EXCEPT$ALWAYS_EXCEPT" ] && \
 799         log "skipping tests: `echo $EXCEPT $ALWAYS_EXCEPT`"
 800     for E in $EXCEPT $ALWAYS_EXCEPT; do
 801         eval EXCEPT_${E}=true
 802     done
 803 }
 804
 805 _basetest() {
 806     echo $*
 807 }
 808
 809 basetest() {
 810     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 811 }
 812
 813 run_test() {
 814     export base=`basetest $1`
 815     if [ ! -z "$ONLY" ]; then
 816         testname=ONLY_$1
 817         if [ ${!testname}x != x ]; then
 818             run_one $1 "$2"
 819             return $?
 820         fi
 821         testname=ONLY_$base
 822         if [ ${!testname}x != x ]; then
 823             run_one $1 "$2"
 824             return $?
 825         fi
 826         echo -n "."
 827         return 0
 828     fi
 829     testname=EXCEPT_$1
 830     if [ ${!testname}x != x ]; then
 831         log "skipping excluded test $1"
 832         return 0
 833     fi
 834     testname=EXCEPT_$base
 835     if [ ${!testname}x != x ]; then
 836         log "skipping excluded test $1 (base $base)"
 837         return 0
 838     fi
 839     run_one $1 "$2"
 840
 841     return $?
 842 }
 843
 844 EQUALS="======================================================================"
 845 equals_msg() {
 846     msg="$@"
 847
 848     local suffixlen=$((${#EQUALS} - ${#msg}))
 849     [ $suffixlen -lt 5 ] && suffixlen=5
 850     printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 851 }
 852
 853 log() {
 854     echo "$*"
 855     lsmod | grep lnet > /dev/null || load_modules
 856     $LCTL mark "$*" 2> /dev/null || true
 857 }
 858
 859 pass() {
 860     echo PASS $@
 861 }
 862
 863 check_mds() {
 864     FFREE=`cat /proc/fs/lustre/mds/*/filesfree`
 865     FTOTAL=`cat /proc/fs/lustre/mds/*/filestotal`
 866     [ $FFREE -ge $FTOTAL ] && error "files free $FFREE > total $FTOTAL" || true
 867 }
 868
 869 run_one() {
 870     testnum=$1
 871     message=$2
 872     tfile=f${testnum}
 873     tdir=d${base}
 874
 875     # Pretty tests run faster.
 876     equals_msg $testnum: $message
 877
 878     BEFORE=`date +%s`
 879     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
 880     #check_mds
 881     export TESTNAME=test_$testnum
 882     test_${testnum} || error "test_$testnum failed with $?"
 883     #check_mds
 884     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
 885         error "LBUG/LASSERT detected"
 886     pass "($((`date +%s` - $BEFORE))s)"
 887     unset TESTNAME
 888 }
 889
 890 canonical_path() {
 891     (cd `dirname $1`; echo $PWD/`basename $1`)
 892 }
 893