lustre/tests/test-framework.sh

   1 #!/bin/bash
   2 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
   3
   4 set -e
   5 trap 'echo "test-framework exiting on error"' ERR
   6 #set -x
   7
   8
   9 export REFORMAT=""
  10 export VERBOSE=false
  11 export GMNALNID=${GMNALNID:-/usr/sbin/gmlndnid}
  12 export CATASTROPHE=${CATASTROPHE:-/proc/sys/lnet/catastrophe}
  13
  14 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
  15 assert_env() {
  16     local failed=""
  17     for name in $@; do
  18         if [ -z "${!name}" ]; then
  19             echo "$0: $name must be set"
  20             failed=1
  21         fi
  22     done
  23     [ $failed ] && exit 1 || true
  24 }
  25
  26 usage() {
  27     echo "usage: $0 [-r] [-f cfgfile]"
  28     echo "       -r: reformat"
  29
  30     exit
  31 }
  32
  33 init_test_env() {
  34     export LUSTRE=`absolute_path $LUSTRE`
  35     export TESTSUITE=`basename $0 .sh`
  36     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  37
  38     [ -d /r ] && export ROOT=${ROOT:-/r}
  39     export TMP=${TMP:-$ROOT/tmp}
  40
  41     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/utils/gss:$LUSTRE/tests
  42     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  43     export MKFS=${MKFS:-"$LUSTRE/utils/mkfs.lustre"}
  44     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  45     export FSYTPE=${FSTYPE:-"ldiskfs"}
  46     export LPROC=/proc/fs/lustre
  47     export LGSSD=${LGSSD:-"$LUSTRE/utils/gss/lgssd"}
  48     export LSVCGSSD=${LSVCGSSD:-"$LUSTRE/utils/gss/lsvcgssd"}
  49     export KRB5DIR=${KRB5DIR:-"/usr/kerberos"}
  50
  51     if [ "$ACCEPTOR_PORT" ]; then
  52         export PORT_OPT="--port $ACCEPTOR_PORT"
  53     fi
  54
  55     case "x$SEC" in
  56         xkrb5*)
  57             echo "Using GSS/krb5 ptlrpc security flavor"
  58             export USING_KRB5="y"
  59             ;;
  60     esac
  61
  62     # Paths on remote nodes, if different
  63     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  64     export RPWD=${RPWD:-$PWD}
  65
  66     # command line
  67
  68     while getopts "rvf:" opt $*; do
  69         case $opt in
  70             f) CONFIG=$OPTARG;;
  71             r) REFORMAT=--reformat;;
  72             v) VERBOSE=true;;
  73             \?) usage;;
  74         esac
  75     done
  76
  77     shift $((OPTIND - 1))
  78     ONLY=${ONLY:-$*}
  79 }
  80
  81 load_module() {
  82     EXT=".ko"
  83     module=$1
  84     shift
  85     BASE=`basename $module $EXT`
  86     lsmod | grep -q ${BASE} || \
  87       if [ -f ${LUSTRE}/${module}${EXT} ]; then
  88         insmod ${LUSTRE}/${module}${EXT} $@
  89     else
  90         # must be testing a "make install" or "rpm" installation
  91         # note failed to load ptlrpc_gss is considered not fatal
  92         if [ "$BASE" == "ptlrpc_gss" ]; then
  93             modprobe $BASE $@ || echo "gss/krb5 is not supported"
  94         else
  95             modprobe $BASE $@
  96         fi
  97     fi
  98 }
  99
 100 load_modules() {
 101     if [ -n "$MODPROBE" ]; then
 102         # use modprobe
 103         return 0
 104     fi
 105     if [ "$HAVE_MODULES" = true ]; then
 106         # we already loaded
 107         return 0
 108     fi
 109     HAVE_MODULES=true
 110
 111     echo Loading modules from $LUSTRE
 112     load_module ../lnet/libcfs/libcfs
 113     # note that insmod will ignore anything in modprobe.conf
 114     load_module ../lnet/lnet/lnet $LNETOPTS
 115     LNETLND=${LNETLND:-"socklnd/ksocklnd"}
 116     load_module ../lnet/klnds/$LNETLND
 117     load_module lvfs/lvfs
 118     load_module obdclass/obdclass
 119     load_module ptlrpc/ptlrpc
 120     load_module ptlrpc/gss/ptlrpc_gss
 121     load_module fid/fid
 122     load_module fld/fld
 123     load_module lmv/lmv
 124     load_module quota/lquota
 125     load_module mdc/mdc
 126     load_module osc/osc
 127     load_module lov/lov
 128     load_module mds/mds
 129     load_module mdd/mdd
 130     load_module mdt/mdt
 131     load_module cmm/cmm
 132     load_module ldiskfs/ldiskfs
 133     load_module lvfs/fsfilt_ldiskfs
 134     load_module osd/osd
 135     load_module ost/ost
 136     load_module obdfilter/obdfilter
 137     load_module llite/lustre
 138     load_module mgc/mgc
 139     load_module mgs/mgs
 140     load_module quota/lquota
 141     load_module quota/quotacheck_test
 142     load_module quota/quotactl_test
 143     load_module obdclass/llog_test
 144     load_module obdecho/obdecho
 145     load_module ldiskfs/quotafmt_test
 146
 147
 148     rm -f $TMP/ogdb-`hostname`
 149     $LCTL modules > $TMP/ogdb-`hostname`
 150     # 'mount' doesn't look in $PATH, just sbin
 151     [ -f $LUSTRE/utils/mount.lustre ] && cp $LUSTRE/utils/mount.lustre /sbin/. || true
 152 }
 153
 154 wait_for_lnet() {
 155     local UNLOADED=0
 156     local WAIT=0
 157     local MAX=60
 158     MODULES=$($LCTL modules | awk '{ print $2 }')
 159     while [ -n "$MODULES" ]; do
 160         sleep 5
 161         rmmod $MODULES >/dev/null 2>&1 || true
 162         MODULES=$($LCTL modules | awk '{ print $2 }')
 163         if [ -z "$MODULES" ]; then
 164             return 0
 165         else
 166             WAIT=$((WAIT + 5))
 167             echo "waiting, $((MAX - WAIT)) secs left"
 168         fi
 169         if [ $WAIT -eq $MAX ]; then
 170             echo "LNET modules $MODULES will not unload"
 171             lsmod
 172             return 3
 173         fi
 174     done
 175 }
 176
 177 unload_modules() {
 178     lsmod | grep lnet > /dev/null && $LCTL dl && $LCTL dk $TMP/debug
 179     local MODULES=$($LCTL modules | awk '{ print $2 }')
 180     rmmod ldiskfs/quotafmt_test obdclass/llog_test quota/quotactl_test quota/quotacheck_test 2>&1 || true
 181     rmmod $MODULES >/dev/null 2>&1 || true
 182      # do it again, in case we tried to unload ksocklnd too early
 183     MODULES=$($LCTL modules | awk '{ print $2 }')
 184     [ -n "$MODULES" ] && rmmod $MODULES >/dev/null || true
 185     MODULES=$($LCTL modules | awk '{ print $2 }')
 186     if [ -n "$MODULES" ]; then
 187         echo "Modules still loaded: "
 188         echo $MODULES
 189         if [ -e $LPROC ]; then
 190             echo "Lustre still loaded"
 191             cat $LPROC/devices || true
 192             lsmod
 193             return 2
 194         else
 195             echo "Lustre stopped, but LNET is still loaded"
 196             wait_for_lnet || return 3
 197         fi
 198     fi
 199     HAVE_MODULES=false
 200
 201     LEAK_LUSTRE=$(dmesg | tail -n 30 | grep "obd mem.*leaked" || true)
 202     LEAK_PORTALS=$(dmesg | tail -n 20 | grep "Portals memory leaked" || true)
 203     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 204         echo "$LEAK_LUSTRE" 1>&2
 205         echo "$LEAK_PORTALS" 1>&2
 206         mv $TMP/debug $TMP/debug-leak.`date +%s`
 207         echo "Memory leaks detected"
 208         return 254
 209     fi
 210     echo "modules unloaded."
 211     return 0
 212 }
 213
 214 check_gss_daemon_facet() {
 215     facet=$1
 216     dname=$2
 217
 218     num=`do_facet $facet ps -o cmd -C $dname | grep $dname | wc -l`
 219     if [ $num -ne 1 ]; then
 220         echo "$num instance of $dname on $facet"
 221         return 1
 222     fi
 223     return 0
 224 }
 225
 226 send_sigint() {
 227     local facet=$1
 228     shift
 229     do_facet $facet "killall -2 $@ 2>/dev/null || true"
 230 }
 231
 232 start_gss_daemons() {
 233     # starting on MDT
 234     for num in `seq $MDSCOUNT`; do
 235         do_facet mds$num "$LSVCGSSD -v"
 236         do_facet mds$num "$LGSSD -v"
 237     done
 238     # starting on OSTs
 239     for num in `seq $OSTCOUNT`; do
 240         do_facet ost$num "$LSVCGSSD -v"
 241     done
 242     # starting on client
 243     # FIXME: is "client" the right facet name?
 244     do_facet client "$LGSSD -v"
 245
 246     # wait daemons entering "stable" status
 247     sleep 5
 248
 249     #
 250     # check daemons are running
 251     #
 252     for num in `seq $MDSCOUNT`; do
 253         check_gss_daemon_facet mds$num lsvcgssd
 254         check_gss_daemon_facet mds$num lgssd
 255     done
 256     for num in `seq $OSTCOUNT`; do
 257         check_gss_daemon_facet ost$num lsvcgssd
 258     done
 259     check_gss_daemon_facet client lgssd
 260 }
 261
 262 stop_gss_daemons() {
 263     for num in `seq $MDSCOUNT`; do
 264         send_sigint mds$num lsvcgssd lgssd
 265     done
 266     for num in `seq $OSTCOUNT`; do
 267         send_sigint ost$num lsvcgssd
 268     done
 269     send_sigint client lgssd
 270 }
 271
 272 init_krb5_env() {
 273     if [ ! -z $SEC ]; then
 274         MDS_MOUNT_OPTS=$MDS_MOUNT_OPTS,sec=$SEC
 275         OST_MOUNT_OPTS=$OST_MOUNT_OPTS,sec=$SEC
 276     fi
 277
 278     if [ ! -z $USING_KRB5 ]; then
 279         start_gss_daemons
 280     fi
 281 }
 282
 283 cleanup_krb5_env() {
 284     if [ ! -z $USING_KRB5 ]; then
 285         stop_gss_daemons
 286         # maybe cleanup credential cache?
 287     fi
 288 }
 289
 290 mdsdevlabel() {
 291     local num=$1
 292     local device=`mdsdevname $num`
 293     local label=`do_facet mds$num "e2label ${device}" | grep -v "CMD: "`
 294     echo -n $label
 295 }
 296
 297 ostdevlabel() {
 298     local num=$1
 299     local device=`ostdevname $num`
 300     local label=`do_facet ost$num "e2label ${device}" | grep -v "CMD: "`
 301     echo -n $label
 302 }
 303
 304 # Facet functions
 305 # start facet device options
 306 start() {
 307     facet=$1
 308     shift
 309     device=$1
 310     shift
 311     echo "Starting ${facet}: $@ ${device} ${MOUNT%/*}/${facet}"
 312     do_facet ${facet} mkdir -p ${MOUNT%/*}/${facet}
 313     do_facet ${facet} mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 314     RC=${PIPESTATUS[0]}
 315     if [ $RC -ne 0 ]; then
 316         echo mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 317         echo Start of ${device} on ${facet} failed ${RC}
 318     else
 319         do_facet ${facet} sync
 320         label=`do_facet ${facet} "e2label ${device}" | grep -v "CMD: "`
 321         [ -z "$label" ] && echo no label for ${device} && exit 1
 322         eval export ${facet}_svc=${label}
 323         eval export ${facet}_dev=${device}
 324         eval export ${facet}_opt=\"$@\"
 325         echo Started ${label}
 326     fi
 327     return $RC
 328 }
 329
 330 stop() {
 331     local running
 332     facet=$1
 333     shift
 334     HOST=`facet_active_host $facet`
 335     [ -z $HOST ] && echo stop: no host for $facet && return 0
 336
 337     running=`do_facet ${facet} "grep -c ${MOUNT%/*}/${facet}' ' /proc/mounts" | grep -v "CMD: "`
 338     if [ ${running} -ne 0 ]; then
 339         echo "Stopping ${MOUNT%/*}/${facet} (opts:$@)"
 340         do_facet ${facet} umount -d $@ ${MOUNT%/*}/${facet}
 341     fi
 342
 343     [ -e /proc/fs/lustre ] && grep "ST " $LPROC/devices && echo "service didn't stop" && exit 1
 344     return 0
 345
 346 }
 347
 348 zconf_mount() {
 349     local OPTIONS
 350     local client=$1
 351     local mnt=$2
 352     # Only supply -o to mount if we have options
 353     if [ -n "$MOUNTOPT" ]; then
 354         OPTIONS="-o $MOUNTOPT"
 355     fi
 356     local device=$MGSNID:/$FSNAME
 357     if [ -z "$mnt" -o -z "$FSNAME" ]; then
 358         echo Bad zconf mount command: opt=$OPTIONS dev=$device mnt=$mnt
 359         exit 1
 360     fi
 361
 362     echo "Starting client: $OPTIONS $device $mnt"
 363     do_node $client mkdir -p $mnt
 364     do_node $client mount -t lustre $OPTIONS $device $mnt || return 1
 365
 366     do_node $client "sysctl -w lnet.debug=$PTLDEBUG; sysctl -w lnet.subsystem_debug=${SUBSYSTEM# }"
 367     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
 368     return 0
 369 }
 370
 371 zconf_umount() {
 372     client=$1
 373     mnt=$2
 374     [ "$3" ] && force=-f
 375     local running=`do_node $client "grep -c $mnt' ' /proc/mounts" | grep -v "CMD: "`
 376     if [ $running -ne 0 ]; then
 377         echo "Stopping client $mnt (opts:$force)"
 378         do_node $client umount $force $mnt
 379     fi
 380 }
 381
 382 shutdown_facet() {
 383     facet=$1
 384     if [ "$FAILURE_MODE" = HARD ]; then
 385         $POWER_DOWN `facet_active_host $facet`
 386         sleep 2
 387     elif [ "$FAILURE_MODE" = SOFT ]; then
 388         stop $facet
 389     fi
 390 }
 391
 392 reboot_facet() {
 393     facet=$1
 394     if [ "$FAILURE_MODE" = HARD ]; then
 395         $POWER_UP `facet_active_host $facet`
 396     else
 397         sleep 10
 398     fi
 399 }
 400
 401 # verify that lustre actually cleaned up properly
 402 cleanup_check() {
 403     [ -e $CATASTROPHE -a "`cat $CATASTROPHE`" = "1" ] && echo "LBUG" && exit 206
 404     BUSY=`dmesg | grep -i destruct || true`
 405     if [ "$BUSY" ]; then
 406         echo "$BUSY" 1>&2
 407         [ -e $TMP/debug ] && mv $TMP/debug $TMP/debug-busy.`date +%s`
 408         exit 205
 409     fi
 410     LEAK_LUSTRE=`dmesg | tail -n 30 | grep "obd mem.*leaked" || true`
 411     LEAK_PORTALS=`dmesg | tail -n 20 | grep "Portals memory leaked" || true`
 412     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 413         echo "$0: $LEAK_LUSTRE" 1>&2
 414         echo "$0: $LEAK_PORTALS" 1>&2
 415         echo "$0: Memory leak(s) detected..." 1>&2
 416         mv $TMP/debug $TMP/debug-leak.`date +%s`
 417         exit 204
 418     fi
 419
 420     [ "`lctl dl 2> /dev/null | wc -l`" -gt 0 ] && lctl dl && \
 421         echo "$0: lustre didn't clean up..." 1>&2 && return 202 || true
 422
 423     if [ "`/sbin/lsmod 2>&1 | egrep 'lnet|libcfs'`" ]; then
 424         echo "$0: modules still loaded..." 1>&2
 425         /sbin/lsmod 1>&2
 426         return 203
 427     fi
 428     return 0
 429 }
 430
 431 wait_for_host() {
 432     HOST=$1
 433     check_network "$HOST" 900
 434     while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 435 }
 436
 437 wait_for() {
 438     facet=$1
 439     HOST=`facet_active_host $facet`
 440     wait_for_host $HOST
 441 }
 442
 443 client_df() {
 444     # not every config has many clients
 445     if [ ! -z "$CLIENTS" ]; then
 446         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 447     fi
 448 }
 449
 450 client_reconnect() {
 451     uname -n >> $MOUNT/recon
 452     if [ ! -z "$CLIENTS" ]; then
 453         $PDSH $CLIENTS "df $MOUNT; uname -n >> $MOUNT/recon" > /dev/null
 454     fi
 455     echo Connected clients:
 456     cat $MOUNT/recon
 457     ls -l $MOUNT/recon > /dev/null
 458     rm $MOUNT/recon
 459 }
 460
 461 facet_failover() {
 462     facet=$1
 463     echo "Failing $facet on node `facet_active_host $facet`"
 464     shutdown_facet $facet
 465     reboot_facet $facet
 466     client_df &
 467     DFPID=$!
 468     echo "df pid is $DFPID"
 469     change_active $facet
 470     TO=`facet_active_host $facet`
 471     echo "Failover $facet to $TO"
 472     wait_for $facet
 473     local dev=${facet}_dev
 474     local opt=${facet}_opt
 475     start $facet ${!dev} ${!opt}
 476 }
 477
 478 obd_name() {
 479     local facet=$1
 480 }
 481
 482 replay_barrier() {
 483     local facet=$1
 484     do_facet $facet sync
 485     df $MOUNT
 486     local svc=${facet}_svc
 487     do_facet $facet $LCTL --device %${!svc} readonly
 488     do_facet $facet $LCTL --device %${!svc} notransno
 489     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 490     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 491 }
 492
 493 replay_barrier_nodf() {
 494     local facet=$1    echo running=${running}
 495     do_facet $facet sync
 496     local svc=${facet}_svc
 497     echo Replay barrier on ${!svc}
 498     do_facet $facet $LCTL --device %${!svc} readonly
 499     do_facet $facet $LCTL --device %${!svc} notransno
 500     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 501     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 502 }
 503
 504 mds_evict_client() {
 505     UUID=`cat /proc/fs/lustre/mdc/${mds_svc}-mdc-*/uuid`
 506     do_facet mds "echo $UUID > /proc/fs/lustre/mds/${mds_svc}/evict_client"
 507 }
 508
 509 ost_evict_client() {
 510     UUID=`grep ${ost1_svc}-osc- $LPROC/devices | egrep -v 'MDT' | awk '{print $5}'`
 511     do_facet ost1 "echo $UUID > /proc/fs/lustre/obdfilter/${ost1_svc}/evict_client"
 512 }
 513
 514 fail() {
 515     facet_failover $*
 516     df $MOUNT || error "post-failover df: $?"
 517 }
 518
 519 fail_abort() {
 520     local facet=$1
 521     stop $facet
 522     change_active $facet
 523     local svc=${facet}_svc
 524     local dev=${facet}_dev
 525     local opt=${facet}_opt
 526     start $facet ${!dev} ${!opt}
 527     do_facet $facet lctl --device %${!svc} abort_recovery
 528     df $MOUNT || echo "first df failed: $?"
 529     sleep 1
 530     df $MOUNT || error "post-failover df: $?"
 531 }
 532
 533 do_lmc() {
 534     echo There is no lmc.  This is mountconf, baby.
 535     exit 1
 536 }
 537
 538 h2gm () {
 539     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 540         ID=`$PDSH $1 $GMNALNID -l | cut -d\  -f2`
 541         echo $ID"@gm"
 542     fi
 543 }
 544
 545 h2tcp() {
 546     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 547         echo $1"@tcp"
 548     fi
 549 }
 550 declare -fx h2tcp
 551
 552 h2elan() {
 553     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 554         if type __h2elan >/dev/null 2>&1; then
 555             ID=$(__h2elan $1)
 556         else
 557             ID=`echo $1 | sed 's/[^0-9]*//g'`
 558         fi
 559         echo $ID"@elan"
 560     fi
 561 }
 562 declare -fx h2elan
 563
 564 h2openib() {
 565     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 566         ID=`echo $1 | sed 's/[^0-9]*//g'`
 567         echo $ID"@openib"
 568     fi
 569 }
 570 declare -fx h2openib
 571
 572 facet_host() {
 573     local facet=$1
 574     varname=${facet}_HOST
 575     if [ -z "${!varname}" ]; then
 576         if [ "${facet:0:3}" == "ost" ]; then
 577             eval ${facet}_HOST=${ost_HOST}
 578         fi
 579     fi
 580     echo -n ${!varname}
 581 }
 582
 583 facet_active() {
 584     local facet=$1
 585     local activevar=${facet}active
 586
 587     if [ -f ./${facet}active ] ; then
 588         source ./${facet}active
 589     fi
 590
 591     active=${!activevar}
 592     if [ -z "$active" ] ; then
 593         echo -n ${facet}
 594     else
 595         echo -n ${active}
 596     fi
 597 }
 598
 599 facet_active_host() {
 600     local facet=$1
 601     local active=`facet_active $facet`
 602     if [ "$facet" == client ]; then
 603         hostname
 604     else
 605         echo `facet_host $active`
 606     fi
 607 }
 608
 609 change_active() {
 610     local facet=$1
 611     failover=${facet}failover
 612     host=`facet_host $failover`
 613     [ -z "$host" ] && return
 614     curactive=`facet_active $facet`
 615     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 616         eval export ${facet}active=$facet
 617     else
 618         eval export ${facet}active=$failover
 619     fi
 620     # save the active host for this facet
 621     activevar=${facet}active
 622     echo "$activevar=${!activevar}" > ./$activevar
 623 }
 624
 625 do_node() {
 626     HOST=$1
 627     shift
 628     local myPDSH=$PDSH
 629     if [ "$HOST" = "$(hostname)" ]; then
 630         myPDSH="no_dsh"
 631     fi
 632     if $VERBOSE; then
 633         echo "CMD: $HOST $@"
 634         $myPDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 635     fi
 636     $myPDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests:/sbin:/usr/sbin; cd $RPWD; sh -c \"$@\")"
 637 }
 638
 639 do_facet() {
 640     facet=$1
 641     shift
 642     HOST=`facet_active_host $facet`
 643     [ -z $HOST ] && echo No host defined for facet ${facet} && exit 1
 644     do_node $HOST $@
 645 }
 646
 647 add() {
 648     local facet=$1
 649     shift
 650     # make sure its not already running
 651     stop ${facet} -f
 652     rm -f ${facet}active
 653     do_facet ${facet} $MKFS $*
 654 }
 655
 656 ostdevname() {
 657     num=$1
 658     DEVNAME=OSTDEV$num
 659     #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
 660     eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}}
 661     echo -n $DEVPTR
 662 }
 663
 664 mdsdevname() {
 665     num=$1
 666     DEVNAME=MDSDEV$num
 667     #if $MDSDEVn isn't defined, default is $MDSDEVBASE + num
 668     eval DEVPTR=${!DEVNAME:=${MDSDEVBASE}${num}}
 669     echo -n $DEVPTR
 670 }
 671
 672 ########
 673 ## MountConf setup
 674
 675 stopall() {
 676     # make sure we are using the primary server, so test-framework will
 677     # be able to clean up properly.
 678     activemds=`facet_active mds1`
 679     if [ $activemds != "mds1" ]; then
 680         fail mds1
 681     fi
 682
 683     # assume client mount is local
 684     grep " $MOUNT " /proc/mounts && zconf_umount `hostname` $MOUNT $*
 685     grep " $MOUNT2 " /proc/mounts && zconf_umount `hostname` $MOUNT2 $*
 686     for num in `seq $MDSCOUNT`; do
 687         stop mds$num -f
 688     done
 689     for num in `seq $OSTCOUNT`; do
 690         stop ost$num -f
 691     done
 692     return 0
 693 }
 694
 695 cleanupall() {
 696     stopall $*
 697     unload_modules
 698     cleanup_krb5_env
 699 }
 700
 701 mdsmkfsopts()
 702 {
 703     local nr=$1
 704     test $nr = 1 && echo -n $MDS_MKFS_OPTS || echo -n $MDSn_MKFS_OPTS
 705 }
 706
 707 formatall() {
 708     stopall
 709
 710     # We need ldiskfs here, may as well load them all
 711     load_modules
 712     echo "Formatting mdts, osts"
 713     for num in `seq $MDSCOUNT`; do
 714         echo "Format mds$num: $(mdsdevname $num)"
 715         if $VERBOSE; then
 716             add mds$num `mdsmkfsopts $num` --reformat `mdsdevname $num` || exit 9
 717         else
 718             add mds$num `mdsmkfsopts $num` --reformat `mdsdevname $num` > /dev/null || exit 9
 719         fi
 720     done
 721
 722     for num in `seq $OSTCOUNT`; do
 723         echo "Format ost$num: $(ostdevname $num)"
 724         if $VERBOSE; then
 725             add ost$num $OST_MKFS_OPTS --reformat `ostdevname $num` || exit 10
 726         else
 727             add ost$num $OST_MKFS_OPTS --reformat `ostdevname $num` > /dev/null || exit 10
 728         fi
 729     done
 730 }
 731
 732 mount_client() {
 733     grep " $1 " /proc/mounts || zconf_mount `hostname` $*
 734 }
 735
 736 setupall() {
 737     load_modules
 738     init_krb5_env
 739     echo "Setup mdts, osts"
 740     for num in `seq $MDSCOUNT`; do
 741         DEVNAME=`mdsdevname $num`
 742         start mds$num $DEVNAME $MDS_MOUNT_OPTS
 743     done
 744     for num in `seq $OSTCOUNT`; do
 745         DEVNAME=`ostdevname $num`
 746         start ost$num $DEVNAME $OST_MOUNT_OPTS
 747     done
 748     [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
 749     mount_client $MOUNT
 750     sleep 5
 751 }
 752
 753
 754 #######
 755 # General functions
 756
 757 check_network() {
 758     local NETWORK=0
 759     local WAIT=0
 760     local MAX=$2
 761     while [ $NETWORK -eq 0 ]; do
 762         ping -c 1 -w 3 $1 > /dev/null
 763         if [ $? -eq 0 ]; then
 764             NETWORK=1
 765         else
 766             WAIT=$((WAIT + 5))
 767             echo "waiting for $1, $((MAX - WAIT)) secs left"
 768             sleep 5
 769         fi
 770         if [ $WAIT -gt $MAX ]; then
 771             echo "Network not available"
 772             exit 1
 773         fi
 774     done
 775 }
 776 check_port() {
 777     while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 778         sleep 9
 779     done
 780 }
 781
 782 no_dsh() {
 783     shift
 784     eval $@
 785 }
 786
 787 comma_list() {
 788     # the sed converts spaces to commas, but leaves the last space
 789     # alone, so the line doesn't end with a comma.
 790     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 791 }
 792
 793 absolute_path() {
 794     (cd `dirname $1`; echo $PWD/`basename $1`)
 795 }
 796
 797 ##################################
 798 # OBD_FAIL funcs
 799
 800 drop_request() {
 801 # OBD_FAIL_MDS_ALL_REQUEST_NET
 802     RC=0
 803     do_facet mds sysctl -w lustre.fail_loc=0x123
 804     do_facet client "$1" || RC=$?
 805     do_facet mds sysctl -w lustre.fail_loc=0
 806     return $RC
 807 }
 808
 809 drop_reply() {
 810 # OBD_FAIL_MDS_ALL_REPLY_NET
 811     RC=0
 812     do_facet mds sysctl -w lustre.fail_loc=0x122
 813     do_facet client "$@" || RC=$?
 814     do_facet mds sysctl -w lustre.fail_loc=0
 815     return $RC
 816 }
 817
 818 drop_reint_reply() {
 819 # OBD_FAIL_MDS_REINT_NET_REP
 820     RC=0
 821     do_facet mds sysctl -w lustre.fail_loc=0x119
 822     do_facet client "$@" || RC=$?
 823     do_facet mds sysctl -w lustre.fail_loc=0
 824     return $RC
 825 }
 826
 827 pause_bulk() {
 828 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 829     RC=0
 830     do_facet ost1 sysctl -w lustre.fail_loc=0x214
 831     do_facet client "$1" || RC=$?
 832     do_facet client "sync"
 833     do_facet ost1 sysctl -w lustre.fail_loc=0
 834     return $RC
 835 }
 836
 837 drop_ldlm_cancel() {
 838 #define OBD_FAIL_LDLM_CANCEL             0x304
 839     RC=0
 840     do_facet client sysctl -w lustre.fail_loc=0x304
 841     do_facet client "$@" || RC=$?
 842     do_facet client sysctl -w lustre.fail_loc=0
 843     return $RC
 844 }
 845
 846 drop_bl_callback() {
 847 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 848     RC=0
 849     do_facet client sysctl -w lustre.fail_loc=0x305
 850     do_facet client "$@" || RC=$?
 851     do_facet client sysctl -w lustre.fail_loc=0
 852     return $RC
 853 }
 854
 855 clear_failloc() {
 856     facet=$1
 857     pause=$2
 858     sleep $pause
 859     echo "clearing fail_loc on $facet"
 860     do_facet $facet "sysctl -w lustre.fail_loc=0"
 861 }
 862
 863 cancel_lru_locks() {
 864     $LCTL mark "cancel_lru_locks start"
 865     for d in $LPROC/ldlm/namespaces/*-$1-*; do
 866         if [ -f $d/lru_size ]; then
 867             echo clear >> $d/lru_size
 868         fi
 869     done
 870     grep "[0-9]" $LPROC/ldlm/namespaces/*-$1-*/lock_unused_count /dev/null
 871     $LCTL mark "cancel_lru_locks stop"
 872 }
 873
 874
 875 pgcache_empty() {
 876     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 877         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 878             echo there is still data in page cache $a ?
 879             cat $a;
 880             return 1;
 881         fi
 882     done
 883     return 0
 884 }
 885
 886 ##################################
 887 # Test interface
 888 error() {
 889     sysctl -w lustre.fail_loc=0 2> /dev/null || true
 890     echo "${TESTSUITE}: **** FAIL:" $@
 891     log "FAIL: $@"
 892     exit 1
 893 }
 894
 895 build_test_filter() {
 896     [ "$ONLY" ] && log "only running test `echo $ONLY`"
 897     for O in $ONLY; do
 898         eval ONLY_${O}=true
 899     done
 900     [ "$EXCEPT$ALWAYS_EXCEPT" ] && \
 901         log "skipping tests: `echo $EXCEPT $ALWAYS_EXCEPT`"
 902     for E in $EXCEPT $ALWAYS_EXCEPT; do
 903         eval EXCEPT_${E}=true
 904     done
 905 }
 906
 907 _basetest() {
 908     echo $*
 909 }
 910
 911 basetest() {
 912     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 913 }
 914
 915 run_test() {
 916     export base=`basetest $1`
 917     if [ ! -z "$ONLY" ]; then
 918         testname=ONLY_$1
 919         if [ ${!testname}x != x ]; then
 920             run_one $1 "$2"
 921             return $?
 922         fi
 923         testname=ONLY_$base
 924         if [ ${!testname}x != x ]; then
 925             run_one $1 "$2"
 926             return $?
 927         fi
 928         echo -n "."
 929         return 0
 930     fi
 931     testname=EXCEPT_$1
 932     if [ ${!testname}x != x ]; then
 933         echo "skipping excluded test $1"
 934         return 0
 935     fi
 936     testname=EXCEPT_$base
 937     if [ ${!testname}x != x ]; then
 938         echo "skipping excluded test $1 (base $base)"
 939         return 0
 940     fi
 941     run_one $1 "$2"
 942
 943     return $?
 944 }
 945
 946 EQUALS="======================================================================"
 947 equals_msg() {
 948     msg="$@"
 949
 950     local suffixlen=$((${#EQUALS} - ${#msg}))
 951     [ $suffixlen -lt 5 ] && suffixlen=5
 952     printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 953 }
 954
 955 log() {
 956     echo "$*"
 957     lsmod | grep lnet > /dev/null || load_modules
 958     $LCTL mark "$*" 2> /dev/null || true
 959 }
 960
 961 pass() {
 962     echo PASS $@
 963 }
 964
 965 check_mds() {
 966     FFREE=`cat /proc/fs/lustre/mds/*/filesfree`
 967     FTOTAL=`cat /proc/fs/lustre/mds/*/filestotal`
 968     [ $FFREE -ge $FTOTAL ] && error "files free $FFREE > total $FTOTAL" || true
 969 }
 970
 971 run_one() {
 972     testnum=$1
 973     message=$2
 974     tfile=f${testnum}
 975     tdir=d${base}
 976
 977     # Pretty tests run faster.
 978     equals_msg $testnum: $message
 979
 980     BEFORE=`date +%s`
 981     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
 982     #check_mds
 983     test_${testnum} || error "test_$testnum failed with $?"
 984     #check_mds
 985     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
 986         error "LBUG/LASSERT detected"
 987     pass "($((`date +%s` - $BEFORE))s)"
 988 }
 989
 990 canonical_path() {
 991     (cd `dirname $1`; echo $PWD/`basename $1`)
 992 }
 993