lustre/tests/test-framework.sh

   1 #!/bin/bash
   2 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
   3
   4 trap 'echo "test-framework exiting on error"' ERR
   5 set -e
   6 #set -x
   7
   8
   9 export REFORMAT=${REFORMAT:-""}
  10 export VERBOSE=false
  11 export GMNALNID=${GMNALNID:-/usr/sbin/gmlndnid}
  12 export CATASTROPHE=${CATASTROPHE:-/proc/sys/lnet/catastrophe}
  13 #export PDSH="pdsh -S -Rssh -w"
  14
  15 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
  16 assert_env() {
  17     local failed=""
  18     for name in $@; do
  19         if [ -z "${!name}" ]; then
  20             echo "$0: $name must be set"
  21             failed=1
  22         fi
  23     done
  24     [ $failed ] && exit 1 || true
  25 }
  26
  27 usage() {
  28     echo "usage: $0 [-r] [-f cfgfile]"
  29     echo "       -r: reformat"
  30
  31     exit
  32 }
  33
  34 init_test_env() {
  35     export LUSTRE=`absolute_path $LUSTRE`
  36     export TESTSUITE=`basename $0 .sh`
  37     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  38
  39     [ -d /r ] && export ROOT=${ROOT:-/r}
  40     export TMP=${TMP:-$ROOT/tmp}
  41
  42     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/utils/gss:$LUSTRE/tests
  43     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  44     [ ! -f "$LCTL" ] && export LCTL=$(which lctl)
  45     export MKFS=${MKFS:-"$LUSTRE/utils/mkfs.lustre"}
  46     [ ! -f "$MKFS" ] && export MKFS=$(which mkfs.lustre)
  47     export TUNEFS=${TUNEFS:-"$LUSTRE/utils/tunefs.lustre"}
  48     [ ! -f "$TUNEFS" ] && export TUNEFS=$(which tunefs.lustre)
  49     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  50     export FSYTPE=${FSTYPE:-"ldiskfs"}
  51     export NAME=${NAME:-local}
  52     export LPROC=/proc/fs/lustre
  53     export LGSSD=${LGSSD:-"$LUSTRE/utils/gss/lgssd"}
  54     export LSVCGSSD=${LSVCGSSD:-"$LUSTRE/utils/gss/lsvcgssd"}
  55     export KRB5DIR=${KRB5DIR:-"/usr/kerberos"}
  56
  57     if [ "$ACCEPTOR_PORT" ]; then
  58         export PORT_OPT="--port $ACCEPTOR_PORT"
  59     fi
  60
  61     case "x$SEC" in
  62         xkrb5*)
  63             echo "Using GSS/krb5 ptlrpc security flavor"
  64             export USING_KRB5="y"
  65             ;;
  66     esac
  67
  68     # Paths on remote nodes, if different
  69     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  70     export RPWD=${RPWD:-$PWD}
  71
  72     # command line
  73
  74     while getopts "rvf:" opt $*; do
  75         case $opt in
  76             f) CONFIG=$OPTARG;;
  77             r) REFORMAT=--reformat;;
  78             v) VERBOSE=true;;
  79             \?) usage;;
  80         esac
  81     done
  82
  83     shift $((OPTIND - 1))
  84     ONLY=${ONLY:-$*}
  85 }
  86
  87 load_module() {
  88     EXT=".ko"
  89     module=$1
  90     shift
  91     BASE=`basename $module $EXT`
  92     lsmod | grep -q ${BASE} || \
  93       if [ -f ${LUSTRE}/${module}${EXT} ]; then
  94         insmod ${LUSTRE}/${module}${EXT} $@
  95     else
  96         # must be testing a "make install" or "rpm" installation
  97         # note failed to load ptlrpc_gss is considered not fatal
  98         if [ "$BASE" == "ptlrpc_gss" ]; then
  99             modprobe $BASE $@ || echo "gss/krb5 is not supported"
 100         else
 101             modprobe $BASE $@
 102         fi
 103     fi
 104 }
 105
 106 load_modules() {
 107     if [ -n "$MODPROBE" ]; then
 108         # use modprobe
 109     return 0
 110     fi
 111     if [ "$HAVE_MODULES" = true ]; then
 112     # we already loaded
 113         return 0
 114     fi
 115     HAVE_MODULES=true
 116
 117     echo Loading modules from $LUSTRE
 118     load_module ../lnet/libcfs/libcfs
 119     [ -z "$LNETOPTS" ] && \
 120         LNETOPTS=$(awk '/^options lnet/ { print $0}' /etc/modprobe.conf | sed 's/^options lnet //g')
 121     echo "lnet options: '$LNETOPTS'"
 122     # note that insmod will ignore anything in modprobe.conf
 123     load_module ../lnet/lnet/lnet $LNETOPTS
 124     LNETLND=${LNETLND:-"socklnd/ksocklnd"}
 125     load_module ../lnet/klnds/$LNETLND
 126     [ "$FSTYPE" = "ldiskfs" ] && load_module ../ldiskfs/ldiskfs/ldiskfs
 127     load_module lvfs/lvfs
 128     load_module obdclass/obdclass
 129     load_module lvfs/fsfilt_$FSTYPE
 130     load_module ptlrpc/ptlrpc
 131     load_module ptlrpc/gss/ptlrpc_gss
 132     # Now, some modules depend on lquota without USE_QUOTA check,
 133     # will fix later. Disable check "$USE_QUOTA" = "yes" temporary.
 134     #[ "$USE_QUOTA" = "yes" ] && load_module quota/lquota
 135     load_module quota/lquota
 136     load_module fid/fid
 137     load_module fld/fld
 138     load_module lmv/lmv
 139     load_module mdc/mdc
 140     load_module osc/osc
 141     load_module lov/lov
 142     load_module mds/mds
 143     load_module mdd/mdd
 144     load_module mdt/mdt
 145     load_module cmm/cmm
 146     load_module osd/osd
 147     load_module ost/ost
 148     load_module obdfilter/obdfilter
 149     load_module llite/lustre
 150     load_module mgc/mgc
 151     load_module mgs/mgs
 152     rm -f $TMP/ogdb-`hostname`
 153     $LCTL modules > $TMP/ogdb-`hostname`
 154     # 'mount' doesn't look in $PATH, just sbin
 155     [ -f $LUSTRE/utils/mount.lustre ] && cp $LUSTRE/utils/mount.lustre /sbin/. || true
 156 }
 157
 158 RMMOD=rmmod
 159 if [ `uname -r | cut -c 3` -eq 4 ]; then
 160     RMMOD="modprobe -r"
 161 fi
 162
 163 wait_for_lnet() {
 164     local UNLOADED=0
 165     local WAIT=0
 166     local MAX=60
 167     MODULES=$($LCTL modules | awk '{ print $2 }')
 168     while [ -n "$MODULES" ]; do
 169     sleep 5
 170     $RMMOD $MODULES > /dev/null 2>&1 || true
 171     MODULES=$($LCTL modules | awk '{ print $2 }')
 172         if [ -z "$MODULES" ]; then
 173         return 0
 174         else
 175             WAIT=$((WAIT + 5))
 176             echo "waiting, $((MAX - WAIT)) secs left"
 177         fi
 178         if [ $WAIT -eq $MAX ]; then
 179             echo "LNET modules $MODULES will not unload"
 180         lsmod
 181             return 3
 182         fi
 183     done
 184 }
 185
 186 unload_modules() {
 187     lsmod | grep lnet > /dev/null && $LCTL dl && $LCTL dk $TMP/debug
 188     local MODULES=$($LCTL modules | awk '{ print $2 }')
 189     $RMMOD $MODULES > /dev/null 2>&1 || true
 190      # do it again, in case we tried to unload ksocklnd too early
 191     MODULES=$($LCTL modules | awk '{ print $2 }')
 192     [ -n "$MODULES" ] && $RMMOD $MODULES > /dev/null 2>&1 || true
 193     MODULES=$($LCTL modules | awk '{ print $2 }')
 194     if [ -n "$MODULES" ]; then
 195     echo "Modules still loaded: "
 196     echo $MODULES
 197     if [ -e $LPROC ]; then
 198         echo "Lustre still loaded"
 199         cat $LPROC/devices || true
 200         lsmod
 201         return 2
 202     else
 203         echo "Lustre stopped but LNET is still loaded, waiting..."
 204         wait_for_lnet || return 3
 205     fi
 206     fi
 207     HAVE_MODULES=false
 208
 209     LEAK_LUSTRE=$(dmesg | tail -n 30 | grep "obd mem.*leaked" || true)
 210     LEAK_PORTALS=$(dmesg | tail -n 20 | grep "Portals memory leaked" || true)
 211     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 212         echo "$LEAK_LUSTRE" 1>&2
 213         echo "$LEAK_PORTALS" 1>&2
 214         mv $TMP/debug $TMP/debug-leak.`date +%s` || true
 215         echo "Memory leaks detected"
 216         return 254
 217     fi
 218     echo "modules unloaded."
 219     return 0
 220 }
 221
 222 check_gss_daemon_facet() {
 223     facet=$1
 224     dname=$2
 225
 226     num=`do_facet $facet ps -o cmd -C $dname | grep $dname | wc -l`
 227     if [ $num -ne 1 ]; then
 228         echo "$num instance of $dname on $facet"
 229         return 1
 230     fi
 231     return 0
 232 }
 233
 234 send_sigint() {
 235     local facet=$1
 236     shift
 237     do_facet $facet "killall -2 $@ 2>/dev/null || true"
 238 }
 239
 240 start_gss_daemons() {
 241     # starting on MDT
 242     for num in `seq $MDSCOUNT`; do
 243         do_facet mds$num "$LSVCGSSD -v"
 244         do_facet mds$num "$LGSSD -v"
 245     done
 246     # starting on OSTs
 247     for num in `seq $OSTCOUNT`; do
 248         do_facet ost$num "$LSVCGSSD -v"
 249     done
 250     # starting on client
 251     # FIXME: is "client" the right facet name?
 252     do_facet client "$LGSSD -v"
 253
 254     # wait daemons entering "stable" status
 255     sleep 5
 256
 257     #
 258     # check daemons are running
 259     #
 260     for num in `seq $MDSCOUNT`; do
 261         check_gss_daemon_facet mds$num lsvcgssd
 262         check_gss_daemon_facet mds$num lgssd
 263     done
 264     for num in `seq $OSTCOUNT`; do
 265         check_gss_daemon_facet ost$num lsvcgssd
 266     done
 267     check_gss_daemon_facet client lgssd
 268 }
 269
 270 stop_gss_daemons() {
 271     for num in `seq $MDSCOUNT`; do
 272         send_sigint mds$num lsvcgssd lgssd
 273     done
 274     for num in `seq $OSTCOUNT`; do
 275         send_sigint ost$num lsvcgssd
 276     done
 277     send_sigint client lgssd
 278 }
 279
 280 init_krb5_env() {
 281     if [ ! -z $SEC ]; then
 282         MDS_MOUNT_OPTS=$MDS_MOUNT_OPTS,sec=$SEC
 283         OST_MOUNT_OPTS=$OST_MOUNT_OPTS,sec=$SEC
 284     fi
 285
 286     if [ ! -z $USING_KRB5 ]; then
 287         start_gss_daemons
 288     fi
 289 }
 290
 291 cleanup_krb5_env() {
 292     if [ ! -z $USING_KRB5 ]; then
 293         stop_gss_daemons
 294         # maybe cleanup credential cache?
 295     fi
 296 }
 297
 298 mdsdevlabel() {
 299     local num=$1
 300     local device=`mdsdevname $num`
 301     local label=`do_facet mds$num "e2label ${device}" | grep -v "CMD: "`
 302     echo -n $label
 303 }
 304
 305 ostdevlabel() {
 306     local num=$1
 307     local device=`ostdevname $num`
 308     local label=`do_facet ost$num "e2label ${device}" | grep -v "CMD: "`
 309     echo -n $label
 310 }
 311
 312 # Facet functions
 313 # start facet device options
 314 start() {
 315     facet=$1
 316     shift
 317     device=$1
 318     shift
 319     echo "Starting ${facet}: $@ ${device} ${MOUNT%/*}/${facet}"
 320     do_facet ${facet} mkdir -p ${MOUNT%/*}/${facet}
 321     do_facet ${facet} mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 322     RC=${PIPESTATUS[0]}
 323     if [ $RC -ne 0 ]; then
 324         echo mount -t lustre $@ ${device} ${MOUNT%/*}/${facet}
 325         echo Start of ${device} on ${facet} failed ${RC}
 326     else
 327         do_facet ${facet} sync
 328         label=$(do_facet ${facet} "e2label ${device}")
 329         [ -z "$label" ] && echo no label for ${device} && exit 1
 330         eval export ${facet}_svc=${label}
 331         eval export ${facet}_dev=${device}
 332         eval export ${facet}_opt=\"$@\"
 333         echo Started ${label}
 334     fi
 335     return $RC
 336 }
 337
 338 stop() {
 339     local running
 340     facet=$1
 341     shift
 342     HOST=`facet_active_host $facet`
 343     [ -z $HOST ] && echo stop: no host for $facet && return 0
 344
 345     running=$(do_facet ${facet} "grep -c ${MOUNT%/*}/${facet}' ' /proc/mounts") || true
 346     if [ ${running} -ne 0 ]; then
 347         echo "Stopping ${MOUNT%/*}/${facet} (opts:$@)"
 348         do_facet ${facet} umount -d $@ ${MOUNT%/*}/${facet}
 349     fi
 350
 351     # umount should block, but we should wait for unrelated obd's
 352     # like the MGS or MGC to also stop.
 353     local WAIT=0
 354     local INTERVAL=1
 355     # conf-sanity 31 takes a long time cleanup
 356     while [ $WAIT -lt 300 ]; do
 357         running=$(do_facet ${facet} "[ -e $LPROC ] && grep ST' ' $LPROC/devices") || true
 358         if [ -z "${running}" ]; then
 359                 return 0
 360         fi
 361         echo "waited $WAIT for${running}"
 362         if [ $INTERVAL -lt 64 ]; then
 363             INTERVAL=$((INTERVAL + INTERVAL))
 364         fi
 365         sleep $INTERVAL
 366         WAIT=$((WAIT + INTERVAL))
 367     done
 368     echo "service didn't stop after $WAIT seconds.  Still running:"
 369     echo ${running}
 370     exit 1
 371 }
 372
 373 zconf_mount() {
 374     local OPTIONS
 375     local client=$1
 376     local mnt=$2
 377     # Only supply -o to mount if we have options
 378     if [ -n "$MOUNTOPT" ]; then
 379         OPTIONS="-o $MOUNTOPT"
 380     fi
 381     local device=$MGSNID:/$FSNAME
 382     if [ -z "$mnt" -o -z "$FSNAME" ]; then
 383         echo Bad zconf mount command: opt=$OPTIONS dev=$device mnt=$mnt
 384         exit 1
 385     fi
 386
 387     echo "Starting client: $OPTIONS $device $mnt"
 388     do_node $client mkdir -p $mnt
 389     do_node $client mount -t lustre $OPTIONS $device $mnt || return 1
 390
 391     do_node $client "sysctl -w lnet.debug=$PTLDEBUG; sysctl -w lnet.subsystem_debug=${SUBSYSTEM# }"
 392     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
 393     return 0
 394 }
 395
 396 zconf_umount() {
 397     client=$1
 398     mnt=$2
 399     [ "$3" ] && force=-f
 400     local running=$(do_node $client "grep -c $mnt' ' /proc/mounts") || true
 401     if [ $running -ne 0 ]; then
 402         echo "Stopping client $mnt (opts:$force)"
 403         do_node $client umount $force $mnt
 404     fi
 405 }
 406
 407 shutdown_facet() {
 408     facet=$1
 409     if [ "$FAILURE_MODE" = HARD ]; then
 410         $POWER_DOWN `facet_active_host $facet`
 411         sleep 2
 412     elif [ "$FAILURE_MODE" = SOFT ]; then
 413         stop $facet
 414     fi
 415 }
 416
 417 reboot_facet() {
 418     facet=$1
 419     if [ "$FAILURE_MODE" = HARD ]; then
 420         $POWER_UP `facet_active_host $facet`
 421     else
 422         sleep 10
 423     fi
 424 }
 425
 426 # verify that lustre actually cleaned up properly
 427 cleanup_check() {
 428     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
 429         error "LBUG/LASSERT detected"
 430     BUSY=`dmesg | grep -i destruct || true`
 431     if [ "$BUSY" ]; then
 432         echo "$BUSY" 1>&2
 433         [ -e $TMP/debug ] && mv $TMP/debug $TMP/debug-busy.`date +%s`
 434         exit 205
 435     fi
 436     LEAK_LUSTRE=`dmesg | tail -n 30 | grep "obd mem.*leaked" || true`
 437     LEAK_PORTALS=`dmesg | tail -n 20 | grep "Portals memory leaked" || true`
 438     if [ "$LEAK_LUSTRE" -o "$LEAK_PORTALS" ]; then
 439         echo "$0: $LEAK_LUSTRE" 1>&2
 440         echo "$0: $LEAK_PORTALS" 1>&2
 441         echo "$0: Memory leak(s) detected..." 1>&2
 442         mv $TMP/debug $TMP/debug-leak.`date +%s`
 443         exit 204
 444     fi
 445
 446     [ "`lctl dl 2> /dev/null | wc -l`" -gt 0 ] && lctl dl && \
 447         echo "$0: lustre didn't clean up..." 1>&2 && return 202 || true
 448
 449     if [ "`/sbin/lsmod 2>&1 | egrep 'lnet|libcfs'`" ]; then
 450         echo "$0: modules still loaded..." 1>&2
 451         /sbin/lsmod 1>&2
 452         return 203
 453     fi
 454     return 0
 455 }
 456
 457 wait_for_host() {
 458     HOST=$1
 459     check_network "$HOST" 900
 460     while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 461 }
 462
 463 wait_for() {
 464     facet=$1
 465     HOST=`facet_active_host $facet`
 466     wait_for_host $HOST
 467 }
 468
 469 client_df() {
 470     # not every config has many clients
 471     if [ ! -z "$CLIENTS" ]; then
 472         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 473     fi
 474 }
 475
 476 client_reconnect() {
 477     uname -n >> $MOUNT/recon
 478     if [ ! -z "$CLIENTS" ]; then
 479         $PDSH $CLIENTS "df $MOUNT; uname -n >> $MOUNT/recon" > /dev/null
 480     fi
 481     echo Connected clients:
 482     cat $MOUNT/recon
 483     ls -l $MOUNT/recon > /dev/null
 484     rm $MOUNT/recon
 485 }
 486
 487 facet_failover() {
 488     facet=$1
 489     echo "Failing $facet on node `facet_active_host $facet`"
 490     shutdown_facet $facet
 491     reboot_facet $facet
 492     client_df &
 493     DFPID=$!
 494     echo "df pid is $DFPID"
 495     change_active $facet
 496     TO=`facet_active_host $facet`
 497     echo "Failover $facet to $TO"
 498     wait_for $facet
 499     local dev=${facet}_dev
 500     local opt=${facet}_opt
 501     start $facet ${!dev} ${!opt} || error "Restart of $facet failed"
 502 }
 503
 504 obd_name() {
 505     local facet=$1
 506 }
 507
 508 replay_barrier() {
 509     local facet=$1
 510     do_facet $facet sync
 511     df $MOUNT
 512     local svc=${facet}_svc
 513     do_facet $facet $LCTL --device %${!svc} readonly
 514     do_facet $facet $LCTL --device %${!svc} notransno
 515     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 516     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 517 }
 518
 519 replay_barrier_nodf() {
 520     local facet=$1    echo running=${running}
 521     do_facet $facet sync
 522     local svc=${facet}_svc
 523     echo Replay barrier on ${!svc}
 524     do_facet $facet $LCTL --device %${!svc} readonly
 525     do_facet $facet $LCTL --device %${!svc} notransno
 526     do_facet $facet $LCTL mark "$facet REPLAY BARRIER on ${!svc}"
 527     $LCTL mark "local REPLAY BARRIER on ${!svc}"
 528 }
 529
 530 mds_evict_client() {
 531     UUID=`cat /proc/fs/lustre/mdc/${mds1_svc}-mdc-*/uuid`
 532     do_facet mds1 "echo $UUID > /proc/fs/lustre/mdt/${mds1_svc}/evict_client"
 533 }
 534
 535 ost_evict_client() {
 536     UUID=`grep ${ost1_svc}-osc- $LPROC/devices | egrep -v 'MDT' | awk '{print $5}'`
 537     do_facet ost1 "echo $UUID > /proc/fs/lustre/obdfilter/${ost1_svc}/evict_client"
 538 }
 539
 540 fail() {
 541     facet_failover $* || error "failover: $?"
 542     df $MOUNT || error "post-failover df: $?"
 543 }
 544
 545 fail_abort() {
 546     local facet=$1
 547     stop $facet
 548     change_active $facet
 549     local svc=${facet}_svc
 550     local dev=${facet}_dev
 551     local opt=${facet}_opt
 552     start $facet ${!dev} ${!opt}
 553     do_facet $facet lctl --device %${!svc} abort_recovery
 554     df $MOUNT || echo "first df failed: $?"
 555     sleep 1
 556     df $MOUNT || error "post-failover df: $?"
 557 }
 558
 559 do_lmc() {
 560     echo There is no lmc.  This is mountconf, baby.
 561     exit 1
 562 }
 563
 564 h2gm () {
 565     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 566         ID=`$PDSH $1 $GMNALNID -l | cut -d\  -f2`
 567         echo $ID"@gm"
 568     fi
 569 }
 570
 571 h2name_or_ip() {
 572     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 573         echo $1"@$2"
 574     fi
 575 }
 576
 577 h2ptl() {
 578    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 579        ID=`xtprocadmin -n $1 2>/dev/null | egrep -v 'NID' | awk '{print $1}'`
 580        if [ -z "$ID" ]; then
 581            echo "Could not get a ptl id for $1..."
 582            exit 1
 583        fi
 584        echo $ID"@ptl"
 585    fi
 586 }
 587 declare -fx h2ptl
 588
 589 h2tcp() {
 590     h2name_or_ip "$1" "tcp"
 591 }
 592 declare -fx h2tcp
 593
 594 h2elan() {
 595     if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 596         if type __h2elan >/dev/null 2>&1; then
 597             ID=$(__h2elan $1)
 598         else
 599             ID=`echo $1 | sed 's/[^0-9]*//g'`
 600         fi
 601         echo $ID"@elan"
 602     fi
 603 }
 604 declare -fx h2elan
 605
 606 h2openib() {
 607     h2name_or_ip "$1" "openib"
 608 }
 609 declare -fx h2openib
 610
 611 h2o2ib() {
 612     h2name_or_ip "$1" "o2ib"
 613 }
 614 declare -fx h2o2ib
 615
 616 facet_host() {
 617     local facet=$1
 618     varname=${facet}_HOST
 619     if [ -z "${!varname}" ]; then
 620         if [ "${facet:0:3}" == "ost" ]; then
 621             eval ${facet}_HOST=${ost_HOST}
 622         fi
 623     fi
 624     echo -n ${!varname}
 625 }
 626
 627 facet_active() {
 628     local facet=$1
 629     local activevar=${facet}active
 630
 631     if [ -f ./${facet}active ] ; then
 632         source ./${facet}active
 633     fi
 634
 635     active=${!activevar}
 636     if [ -z "$active" ] ; then
 637         echo -n ${facet}
 638     else
 639         echo -n ${active}
 640     fi
 641 }
 642
 643 facet_active_host() {
 644     local facet=$1
 645     local active=`facet_active $facet`
 646     if [ "$facet" == client ]; then
 647         hostname
 648     else
 649         echo `facet_host $active`
 650     fi
 651 }
 652
 653 change_active() {
 654     local facet=$1
 655     failover=${facet}failover
 656     host=`facet_host $failover`
 657     [ -z "$host" ] && return
 658     curactive=`facet_active $facet`
 659     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 660         eval export ${facet}active=$facet
 661     else
 662         eval export ${facet}active=$failover
 663     fi
 664     # save the active host for this facet
 665     activevar=${facet}active
 666     echo "$activevar=${!activevar}" > ./$activevar
 667 }
 668
 669 do_node() {
 670     HOST=$1
 671     shift
 672     local myPDSH=$PDSH
 673     if [ "$HOST" = "$(hostname)" ]; then
 674         myPDSH="no_dsh"
 675     fi
 676     if $VERBOSE; then
 677         echo "CMD: $HOST $@" >&2
 678         $myPDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 679     fi
 680     $myPDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests:/sbin:/usr/sbin; cd $RPWD; sh -c \"$@\")" | sed "s/^${HOST}: //"
 681     return ${PIPESTATUS[0]}
 682 }
 683
 684 do_facet() {
 685     facet=$1
 686     shift
 687     HOST=`facet_active_host $facet`
 688     [ -z $HOST ] && echo No host defined for facet ${facet} && exit 1
 689     do_node $HOST $@
 690 }
 691
 692 add() {
 693     local facet=$1
 694     shift
 695     # make sure its not already running
 696     stop ${facet} -f
 697     rm -f ${facet}active
 698     do_facet ${facet} $MKFS $*
 699 }
 700
 701 ostdevname() {
 702     num=$1
 703     DEVNAME=OSTDEV$num
 704     #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
 705     eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}}
 706     echo -n $DEVPTR
 707 }
 708
 709 mdsdevname() {
 710     num=$1
 711     DEVNAME=MDSDEV$num
 712     #if $MDSDEVn isn't defined, default is $MDSDEVBASE + num
 713     eval DEVPTR=${!DEVNAME:=${MDSDEVBASE}${num}}
 714     echo -n $DEVPTR
 715 }
 716
 717 ########
 718 ## MountConf setup
 719
 720 stopall() {
 721     # make sure we are using the primary server, so test-framework will
 722     # be able to clean up properly.
 723     activemds=`facet_active mds1`
 724     if [ $activemds != "mds1" ]; then
 725         fail mds1
 726     fi
 727
 728     # assume client mount is local
 729     grep " $MOUNT " /proc/mounts && zconf_umount `hostname` $MOUNT $*
 730     grep " $MOUNT2 " /proc/mounts && zconf_umount `hostname` $MOUNT2 $*
 731     for num in `seq $MDSCOUNT`; do
 732         stop mds$num -f
 733     done
 734     for num in `seq $OSTCOUNT`; do
 735         stop ost$num -f
 736     done
 737     return 0
 738 }
 739
 740 cleanupall() {
 741     stopall $*
 742     unload_modules
 743     cleanup_krb5_env
 744 }
 745
 746 mdsmkfsopts()
 747 {
 748     local nr=$1
 749     test $nr = 1 && echo -n $MDS_MKFS_OPTS || echo -n $MDSn_MKFS_OPTS
 750 }
 751
 752 formatall() {
 753     [ "$FSTYPE" ] && FSTYPE_OPT="--backfstype $FSTYPE"
 754
 755     stopall
 756     # We need ldiskfs here, may as well load them all
 757     load_modules
 758     [ "$CLIENTONLY" ] && return
 759     echo "Formatting mdts, osts"
 760     for num in `seq $MDSCOUNT`; do
 761         echo "Format mds$num: $(mdsdevname $num)"
 762         if $VERBOSE; then
 763             add mds$num `mdsmkfsopts $num` $FSTYPE_OPT --reformat `mdsdevname $num` || exit 9
 764         else
 765             add mds$num `mdsmkfsopts $num` $FSTYPE_OPT --reformat `mdsdevname $num` > /dev/null || exit 9
 766         fi
 767     done
 768
 769     for num in `seq $OSTCOUNT`; do
 770         echo "Format ost$num: $(ostdevname $num)"
 771         if $VERBOSE; then
 772             add ost$num $OST_MKFS_OPTS --reformat `ostdevname $num` || exit 10
 773         else
 774             add ost$num $OST_MKFS_OPTS --reformat `ostdevname $num` > /dev/null || exit 10
 775         fi
 776     done
 777 }
 778
 779 mount_client() {
 780     grep " $1 " /proc/mounts || zconf_mount `hostname` $*
 781 }
 782
 783 setupall() {
 784     load_modules
 785     init_krb5_env
 786     if [ -z "$CLIENTONLY" ]; then
 787         echo "Setup mdts, osts"
 788         for num in `seq $MDSCOUNT`; do
 789             DEVNAME=$(mdsdevname $num)
 790             echo $REFORMAT | grep -q "reformat" \
 791             || do_facet mds$num "$TUNEFS --writeconf $DEVNAME"
 792             start mds$num $DEVNAME $MDS_MOUNT_OPTS
 793         done
 794         for num in `seq $OSTCOUNT`; do
 795             DEVNAME=$(ostdevname $num)
 796             start ost$num $DEVNAME $OST_MOUNT_OPTS
 797         done
 798     fi
 799     [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
 800     mount_client $MOUNT
 801     if [ "$MOUNT_2" ]; then
 802         mount_client $MOUNT2
 803     fi
 804     sleep 5
 805 }
 806
 807
 808 #######
 809 # General functions
 810
 811 check_network() {
 812     local NETWORK=0
 813     local WAIT=0
 814     local MAX=$2
 815     while [ $NETWORK -eq 0 ]; do
 816         ping -c 1 -w 3 $1 > /dev/null
 817         if [ $? -eq 0 ]; then
 818             NETWORK=1
 819         else
 820             WAIT=$((WAIT + 5))
 821             echo "waiting for $1, $((MAX - WAIT)) secs left"
 822             sleep 5
 823         fi
 824         if [ $WAIT -gt $MAX ]; then
 825             echo "Network not available"
 826             exit 1
 827         fi
 828     done
 829 }
 830 check_port() {
 831     while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 832         sleep 9
 833     done
 834 }
 835
 836 no_dsh() {
 837     shift
 838     eval $@
 839 }
 840
 841 comma_list() {
 842     # the sed converts spaces to commas, but leaves the last space
 843     # alone, so the line doesn't end with a comma.
 844     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 845 }
 846
 847 absolute_path() {
 848     (cd `dirname $1`; echo $PWD/`basename $1`)
 849 }
 850
 851 ##################################
 852 # OBD_FAIL funcs
 853
 854 drop_request() {
 855 # OBD_FAIL_MDS_ALL_REQUEST_NET
 856     RC=0
 857     do_facet mds sysctl -w lustre.fail_loc=0x123
 858     do_facet client "$1" || RC=$?
 859     do_facet mds sysctl -w lustre.fail_loc=0
 860     return $RC
 861 }
 862
 863 drop_reply() {
 864 # OBD_FAIL_MDS_ALL_REPLY_NET
 865     RC=0
 866     do_facet mds sysctl -w lustre.fail_loc=0x122
 867     do_facet client "$@" || RC=$?
 868     do_facet mds sysctl -w lustre.fail_loc=0
 869     return $RC
 870 }
 871
 872 drop_reint_reply() {
 873 # OBD_FAIL_MDS_REINT_NET_REP
 874     RC=0
 875     do_facet mds sysctl -w lustre.fail_loc=0x119
 876     do_facet client "$@" || RC=$?
 877     do_facet mds sysctl -w lustre.fail_loc=0
 878     return $RC
 879 }
 880
 881 pause_bulk() {
 882 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 883     RC=0
 884     do_facet ost1 sysctl -w lustre.fail_loc=0x214
 885     do_facet client "$1" || RC=$?
 886     do_facet client "sync"
 887     do_facet ost1 sysctl -w lustre.fail_loc=0
 888     return $RC
 889 }
 890
 891 drop_ldlm_cancel() {
 892 #define OBD_FAIL_LDLM_CANCEL             0x304
 893     RC=0
 894     do_facet client sysctl -w lustre.fail_loc=0x304
 895     do_facet client "$@" || RC=$?
 896     do_facet client sysctl -w lustre.fail_loc=0
 897     return $RC
 898 }
 899
 900 drop_bl_callback() {
 901 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 902     RC=0
 903     do_facet client sysctl -w lustre.fail_loc=0x305
 904     do_facet client "$@" || RC=$?
 905     do_facet client sysctl -w lustre.fail_loc=0
 906     return $RC
 907 }
 908
 909 drop_ldlm_reply() {
 910 #define OBD_FAIL_LDLM_REPLY              0x30c
 911     RC=0
 912     do_facet mds sysctl -w lustre.fail_loc=0x30c
 913     do_facet client "$@" || RC=$?
 914     do_facet mds sysctl -w lustre.fail_loc=0
 915     return $RC
 916 }
 917
 918 clear_failloc() {
 919     facet=$1
 920     pause=$2
 921     sleep $pause
 922     echo "clearing fail_loc on $facet"
 923     do_facet $facet "sysctl -w lustre.fail_loc=0"
 924 }
 925
 926 cancel_lru_locks() {
 927     $LCTL mark "cancel_lru_locks $1 start"
 928     for d in `find $LPROC/ldlm/namespaces | egrep -i $1`; do
 929         [ -f $d/lru_size ] && echo clear > $d/lru_size
 930         [ -f $d/lock_unused_count ] && grep [1-9] $d/lock_unused_count /dev/null
 931     done
 932     $LCTL mark "cancel_lru_locks $1 stop"
 933 }
 934
 935
 936 pgcache_empty() {
 937     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 938         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 939             echo there is still data in page cache $a ?
 940             cat $a;
 941             return 1;
 942         fi
 943     done
 944     return 0
 945 }
 946
 947 ##################################
 948 # Test interface
 949 error() {
 950     sysctl -w lustre.fail_loc=0 2> /dev/null || true
 951     log "${TESTSUITE}: **** FAIL:" $@
 952     $LCTL dk $TMP/lustre-log-$TESTNAME.log
 953     log "FAIL: $TESTNAME $@"
 954     $LCTL dk $TMP/lustrefail_${TESTSUITE}_${TESTNAME}.$(date +%s)
 955     exit 1
 956 }
 957
 958 build_test_filter() {
 959     [ "$ONLY" ] && log "only running test `echo $ONLY`"
 960     for O in $ONLY; do
 961         eval ONLY_${O}=true
 962     done
 963     [ "$EXCEPT$ALWAYS_EXCEPT" ] && \
 964         log "skipping tests: `echo $EXCEPT $ALWAYS_EXCEPT`"
 965     for E in $EXCEPT $ALWAYS_EXCEPT; do
 966         eval EXCEPT_${E}=true
 967     done
 968 }
 969
 970 _basetest() {
 971     echo $*
 972 }
 973
 974 basetest() {
 975     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 976 }
 977
 978 run_test() {
 979     export base=`basetest $1`
 980     if [ ! -z "$ONLY" ]; then
 981         testname=ONLY_$1
 982         if [ ${!testname}x != x ]; then
 983             run_one $1 "$2"
 984             return $?
 985         fi
 986         testname=ONLY_$base
 987         if [ ${!testname}x != x ]; then
 988             run_one $1 "$2"
 989             return $?
 990         fi
 991         echo -n "."
 992         return 0
 993     fi
 994     testname=EXCEPT_$1
 995     if [ ${!testname}x != x ]; then
 996         log "skipping excluded test $1"
 997         return 0
 998     fi
 999     testname=EXCEPT_$base
1000     if [ ${!testname}x != x ]; then
1001         log "skipping excluded test $1 (base $base)"
1002         return 0
1003     fi
1004     run_one $1 "$2"
1005
1006     return $?
1007 }
1008
1009 EQUALS="======================================================================"
1010 equals_msg() {
1011     msg="$@"
1012
1013     local suffixlen=$((${#EQUALS} - ${#msg}))
1014     [ $suffixlen -lt 5 ] && suffixlen=5
1015     printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
1016 }
1017
1018 log() {
1019     echo "$*"
1020     lsmod | grep lnet > /dev/null || load_modules
1021     $LCTL mark "$*" 2> /dev/null || true
1022 }
1023
1024 pass() {
1025     echo PASS $@
1026 }
1027
1028 check_mds() {
1029     FFREE=`cat /proc/fs/lustre/mds/*/filesfree`
1030     FTOTAL=`cat /proc/fs/lustre/mds/*/filestotal`
1031     [ $FFREE -ge $FTOTAL ] && error "files free $FFREE > total $FTOTAL" || true
1032 }
1033
1034 run_one() {
1035     testnum=$1
1036     message=$2
1037     tfile=f${testnum}
1038     tdir=d${base}
1039
1040     # Pretty tests run faster.
1041     equals_msg $testnum: $message
1042
1043     BEFORE=`date +%s`
1044     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
1045     #check_mds
1046     export TESTNAME=test_$testnum
1047     test_${testnum} || error "test_$testnum failed with $?"
1048     #check_mds
1049     [ -f $CATASTROPHE ] && [ `cat $CATASTROPHE` -ne 0 ] && \
1050         error "LBUG/LASSERT detected"
1051     pass "($((`date +%s` - $BEFORE))s)"
1052     unset TESTNAME
1053 }
1054
1055 canonical_path() {
1056     (cd `dirname $1`; echo $PWD/`basename $1`)
1057 }
1058