lustre/tests/test-framework.sh

   1 #!/bin/sh
   2
   3 set -e
   4
   5 export REFORMAT=""
   6 export VERBOSE=false
   7
   8 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
   9 assert_env() {
  10     local failed=""
  11     for name in $@; do
  12       if [ -z "${!name}" ]; then
  13           echo "$0: $name must be set"
  14           failed=1
  15       fi
  16     done
  17     [ $failed ] && exit 1 || true
  18 }
  19
  20 usage() {
  21     echo "usage: $0 [-r] [-f cfgfile]"
  22     echo "       -r: reformat"
  23
  24     exit
  25 }
  26
  27 init_test_env() {
  28     export LUSTRE=`absolute_path $LUSTRE`
  29     export TESTSUITE=`basename $0 .sh`
  30     export XMLCONFIG=${XMLCONFIG:-${TESTSUITE}.xml}
  31     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  32
  33     [ -d /r ] && export ROOT=/r
  34     export TMP=${TMP:-$ROOT/tmp}
  35
  36     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
  37     export LLMOUNT=${LLMOUNT:-"llmount"}
  38     export LCONF=${LCONF:-"lconf"}
  39     export LMC=${LMC:-"lmc"}
  40     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  41     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  42     export FSYTPE=${FSTYPE:-"ext3"}
  43
  44     # Paths on remote nodes, if different
  45     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  46     export RPWD=${RPWD:-$PWD}
  47
  48     # command line
  49
  50     while getopts "rvf:" opt $*; do
  51         case $opt in
  52             f) CONFIG=$OPTARG;;
  53             r) REFORMAT=--reformat;;
  54             v) VERBOSE=true;;
  55             \?) usage;;
  56         esac
  57     done
  58
  59     # save the name of the config file for the upcall
  60     echo "XMLCONFIG=$LUSTRE/tests/$XMLCONFIG"  > $LUSTRE/tests/XMLCONFIG
  61 #    echo "CONFIG=`canonical_path $CONFIG`"  > $LUSTRE/tests/CONFIG
  62 }
  63
  64 # Facet functions
  65 start() {
  66     facet=$1
  67     shift
  68     active=`facet_active $facet`
  69     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  70         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  71         $@ $XMLCONFIG
  72 }
  73
  74 stop() {
  75     facet=$1
  76     active=`facet_active $facet`
  77     shift
  78     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  79         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  80         $@ --cleanup $XMLCONFIG
  81 }
  82
  83 zconf_mount() {
  84     client=$1
  85     mnt=$2
  86
  87     do_node $client mkdir $mnt 2> /dev/null || :
  88
  89     if [ -x /sbin/mount.lustre ] ; then
  90         do_node $client mount -t lustre -o nettype=$NETTYPE `facet_active_host mds1`:/mds1_svc/client_facet $mnt || return 1
  91     else
  92        # this is so cheating
  93        do_node $client $LCONF --nosetup --node client_facet $XMLCONFIG  > /dev/null || return 2
  94        $LCONF --nosetup --node client_facet $XMLCONFIG
  95        do_node $client $LLMOUNT `facet_active_host mds1`:/mds1_svc/client_facet $mnt -o nettype=$NETTYPE|| return 4
  96     fi
  97
  98     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
  99     return 0
 100 }
 101
 102 zconf_umount() {
 103     client=$1
 104     mnt=$2
 105     [ "$3" ] && force=-f
 106     do_node $client umount $force  $mnt || :
 107     do_node $client $LCONF --cleanup --nosetup --node client_facet $XMLCONFIG > /dev/null || :
 108 }
 109
 110 shutdown_facet() {
 111     facet=$1
 112     if [ "$FAILURE_MODE" = HARD ]; then
 113        $POWER_DOWN `facet_active_host $facet`
 114        sleep 2
 115     elif [ "$FAILURE_MODE" = SOFT ]; then
 116        stop $facet --force --failover --nomod
 117     fi
 118 }
 119
 120 reboot_facet() {
 121     facet=$1
 122     if [ "$FAILURE_MODE" = HARD ]; then
 123        $POWER_UP `facet_active_host $facet`
 124     fi
 125 }
 126
 127 wait_for_host() {
 128    HOST=$1
 129    check_network  $HOST 900
 130    while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 131 }
 132
 133 wait_for() {
 134    facet=$1
 135    HOST=`facet_active_host $facet`
 136    wait_for_host $HOST
 137 }
 138
 139 client_df() {
 140     # not every config has many clients
 141     if [ ! -z "$CLIENTS" ]; then
 142         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 143     fi
 144 }
 145
 146 facet_failover() {
 147     facet=$1
 148     echo "Failing $facet node `facet_active_host $facet`"
 149     shutdown_facet $facet
 150     reboot_facet $facet
 151     client_df &
 152     DFPID=$!
 153     echo "df pid is $DFPID"
 154     change_active $facet
 155     TO=`facet_active_host $facet`
 156     echo "Failover $facet to $TO"
 157     wait_for $facet
 158     start $facet
 159 }
 160
 161 replay_barrier() {
 162     local facet=$1
 163     do_facet $facet sync
 164     df $MOUNT
 165     do_facet $facet $LCTL --device %${facet}_svc readonly
 166     do_facet $facet $LCTL --device %${facet}_svc notransno
 167     do_facet $facet $LCTL mark "REPLAY BARRIER"
 168     $LCTL mark "REPLAY BARRIER"
 169 }
 170
 171 mds_evict_client() {
 172     UUID=`cat /proc/fs/lustre/mdc/*_MNT_*/uuid`
 173     do_facet mds "echo $UUID > /proc/fs/lustre/mds/mds1_svc/evict_client"
 174 }
 175
 176 fail() {
 177     local facet=$1
 178     facet_failover $facet
 179     df $MOUNT || error "post-failover df: $?"
 180 }
 181
 182 fail_abort() {
 183     local facet=$1
 184     stop $facet --force --failover --nomod
 185     change_active $facet
 186     start $facet
 187     do_facet $facet lctl --device %${facet}_svc abort_recovery
 188     df $MOUNT || echo "first df failed: $?"
 189     df $MOUNT || error "post-failover df: $?"
 190 }
 191
 192 do_lmc() {
 193     $LMC -m ${XMLCONFIG} $@
 194 }
 195
 196 h2gm () {
 197    if [ "$1" = "client" ]; then echo \'*\'; else
 198        $PDSH $1 $GMNALNID -l | cut -d\  -f2
 199    fi
 200 }
 201
 202 h2tcp() {
 203    if [ "$1" = "client" ]; then echo \'*\'; else
 204    echo $1
 205    fi
 206 }
 207 declare -fx h2tcp
 208
 209 h2elan() {
 210    if [ "$1" = "client" ]; then echo \'*\'; else
 211    echo $1 | sed 's/[^0-9]*//g'
 212    fi
 213 }
 214 declare -fx h2elan
 215
 216 facet_host() {
 217    local facet=$1
 218    varname=${facet}_HOST
 219    echo -n ${!varname}
 220 }
 221
 222 facet_nid() {
 223    facet=$1
 224    HOST=`facet_host $facet`
 225    if [ -z "$HOST" ]; then
 226         echo "The env variable ${facet}_HOST must be set."
 227         exit 1
 228    fi
 229    echo `h2$NETTYPE $HOST`
 230 }
 231
 232 facet_active() {
 233     local facet=$1
 234     local activevar=${facet}active
 235     active=${!activevar}
 236     if [ -z "$active" ] ; then
 237         echo -n ${facet}
 238     else
 239         echo -n ${active}
 240     fi
 241 }
 242
 243 facet_active_host() {
 244     local facet=$1
 245     local active=`facet_active $facet`
 246     if [ "$facet" == client ]; then
 247         hostname
 248     else
 249         echo `facet_host $active`
 250     fi
 251 }
 252
 253 change_active() {
 254     local facet=$1
 255     failover=${facet}failover
 256     host=`facet_host $failover`
 257     [ -z "$host" ] && return
 258     curactive=`facet_active $facet`
 259     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 260         eval export ${facet}active=$facet
 261     else
 262         eval export ${facet}active=$failover
 263     fi
 264     # save the active host for this facet
 265     activevar=${facet}active
 266     echo "$activevar=${!activevar}" > ./$activevar
 267 }
 268
 269 do_node() {
 270     HOST=$1
 271     shift
 272
 273     if $VERBOSE; then
 274         echo "CMD: $HOST $@"
 275         $PDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 276     fi
 277     $PDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; sh -c \"$@\")"
 278 }
 279 do_facet() {
 280     facet=$1
 281     shift
 282
 283     if [ "$facet" == "mds" ]; then
 284         if [ "$MDSCOUNT" -gt 1 ]; then
 285             for num in `seq $MDSCOUNT`; do
 286                 HOST=`facet_active_host $facet$num`
 287                 do_node $HOST $@
 288             done
 289            return
 290         fi
 291     fi
 292     HOST=`facet_active_host $facet`
 293     do_node $HOST $@
 294 }
 295
 296 add_facet() {
 297     local facet=$1
 298     shift
 299     echo "add facet $facet: `facet_host $facet`"
 300     do_lmc --add node --node ${facet}_facet $@ --timeout $TIMEOUT \
 301         --lustre_upcall $UPCALL --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM
 302     do_lmc --add net --node ${facet}_facet --nid `facet_nid $facet` \
 303         --nettype $NETTYPE
 304 }
 305
 306 add_mds() {
 307     facet=$1
 308     shift
 309     rm -f ${facet}active
 310     add_facet $facet
 311     do_lmc --add mds --node ${facet}_facet --mds ${facet}_svc --fstype $FSTYPE $*
 312 }
 313
 314 add_mdsfailover() {
 315     facet=$1
 316     shift
 317     add_facet ${facet}failover  --lustre_upcall $UPCALL
 318     do_lmc --add mds  --node ${facet}failover_facet --mds ${facet}_svc --fstype $FSTYPE $*
 319 }
 320
 321 add_ost() {
 322     facet=$1
 323     shift
 324     rm -f ${facet}active
 325     add_facet $facet
 326     do_lmc --add ost --node ${facet}_facet --ost ${facet}_svc --fstype $FSTYPE $*
 327 }
 328
 329 add_ostfailover() {
 330     facet=$1
 331     shift
 332     add_facet ${facet}failover
 333     do_lmc --add ost --failover --node ${facet}failover_facet --ost ${facet}_svc --fstype $FSTYPE $*
 334 }
 335
 336 add_lov() {
 337     lov=$1
 338     mds_facet=$2
 339     shift; shift
 340     do_lmc --add lov --mds ${mds_facet}_svc --lov $lov $*
 341 }
 342
 343 add_lov_to_lmv() {
 344     lov=$1
 345     lmv=$2
 346     shift; shift
 347     do_lmc --add lov --lmv $lmv --lov $lov $*
 348 }
 349
 350 add_lmv() {
 351     lmv=$1
 352     shift;
 353     do_lmc --add lmv --lmv $lmv $*
 354 }
 355
 356 add_client() {
 357     facet=$1
 358     shift;
 359     add_facet $facet --lustre_upcall $UPCALL
 360     do_lmc --add mtpt --node ${facet}_facet $*
 361 }
 362
 363
 364 #######
 365 # General functions
 366
 367 check_network() {
 368    local NETWORK=0
 369    local WAIT=0
 370    local MAX=$2
 371    while [ $NETWORK -eq 0 ]; do
 372       ping -c 1 -w 3 $1 > /dev/null
 373       if [ $? -eq 0 ]; then
 374          NETWORK=1
 375       else
 376          WAIT=$((WAIT + 5))
 377          echo "waiting for $1, $((MAX - WAIT)) secs left"
 378          sleep 5
 379       fi
 380       if [ $WAIT -gt $MAX ]; then
 381          echo "Network not available"
 382          exit 1
 383       fi
 384    done
 385 }
 386 check_port() {
 387    while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 388       sleep 9
 389    done
 390 }
 391
 392 no_dsh() {
 393    shift
 394    eval $@
 395 }
 396
 397 comma_list() {
 398     # the sed converts spaces to commas, but leaves the last space
 399     # alone, so the line doesn't end with a comma.
 400     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 401 }
 402
 403 absolute_path() {
 404    (cd `dirname $1`; echo $PWD/`basename $1`)
 405 }
 406
 407 ##################################
 408 # OBD_FAIL funcs
 409
 410 drop_request() {
 411 # OBD_FAIL_MDS_ALL_REQUEST_NET
 412     RC=0
 413     do_facet mds "echo 0x123 > /proc/sys/lustre/fail_loc"
 414     do_facet client "$1" || RC=$?
 415     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 416     return $RC
 417 }
 418
 419 drop_reply() {
 420 # OBD_FAIL_MDS_ALL_REPLY_NET
 421     RC=0
 422     do_facet mds "echo 0x122 > /proc/sys/lustre/fail_loc"
 423     do_facet client "$@" || RC=$?
 424     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 425     return $RC
 426 }
 427
 428 drop_reint_reply() {
 429 # OBD_FAIL_MDS_REINT_NET_REP
 430     RC=0
 431     do_facet mds "echo 0x119 > /proc/sys/lustre/fail_loc"
 432     do_facet client "$@" || RC=$?
 433     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 434     return $RC
 435 }
 436
 437 pause_bulk() {
 438 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 439     RC=0
 440     do_facet ost "echo 0x214 > /proc/sys/lustre/fail_loc"
 441     do_facet client "$1" || RC=$?
 442     do_facet client "sync"
 443     do_facet ost "echo 0 > /proc/sys/lustre/fail_loc"
 444     return $RC
 445 }
 446
 447 drop_ldlm_cancel() {
 448 #define OBD_FAIL_LDLM_CANCEL             0x304
 449     RC=0
 450     do_facet client "echo 0x304 > /proc/sys/lustre/fail_loc"
 451     do_facet client "$@" || RC=$?
 452     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 453     return $RC
 454 }
 455
 456 drop_bl_callback() {
 457 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 458     RC=0
 459     do_facet client "echo 0x305 > /proc/sys/lustre/fail_loc"
 460     do_facet client "$@" || RC=$?
 461     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 462     return $RC
 463 }
 464
 465 clear_failloc() {
 466     facet=$1
 467     pause=$2
 468     sleep $pause
 469     echo "clearing fail_loc on $facet"
 470     do_facet $facet "sysctl -w lustre.fail_loc=0"
 471 }
 472
 473 cancel_lru_locks() {
 474     $LCTL mark cancel_lru_locks
 475     for d in /proc/fs/lustre/ldlm/namespaces/$1*; do
 476         if [ -f $d/lru_size ]; then
 477             echo clear > $d/lru_size
 478             grep [0-9] $d/lock_unused_count
 479         fi
 480     done
 481 }
 482
 483
 484 pgcache_empty() {
 485     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 486         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 487                 echo there is still data in page cache $a ?
 488                 cat $a;
 489                 return 1;
 490         fi
 491     done
 492     return 0
 493 }
 494
 495 ##################################
 496 # Test interface
 497 error() {
 498     echo "${TESTSUITE}: **** FAIL:" $@
 499     log "FAIL: $@"
 500     exit 1
 501 }
 502
 503 build_test_filter() {
 504         for O in $ONLY; do
 505             eval ONLY_${O}=true
 506         done
 507         for E in $EXCEPT $ALWAYS_EXCEPT; do
 508             eval EXCEPT_${E}=true
 509         done
 510 }
 511
 512 _basetest() {
 513     echo $*
 514 }
 515
 516 basetest() {
 517     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 518 }
 519
 520 run_test() {
 521         export base=`basetest $1`
 522         if [ ! -z "$ONLY" ]; then
 523                  testname=ONLY_$1
 524                  if [ ${!testname}x != x ]; then
 525                      run_one $1 "$2"
 526                      return $?
 527                  fi
 528                  testname=ONLY_$base
 529                  if [ ${!testname}x != x ]; then
 530                      run_one $1 "$2"
 531                      return $?
 532                  fi
 533                  echo -n "."
 534                  return 0
 535         fi
 536         testname=EXCEPT_$1
 537         if [ ${!testname}x != x ]; then
 538                  echo "skipping excluded test $1"
 539                  return 0
 540         fi
 541         testname=EXCEPT_$base
 542         if [ ${!testname}x != x ]; then
 543                  echo "skipping excluded test $1 (base $base)"
 544                  return 0
 545         fi
 546         run_one $1 "$2"
 547
 548         return $?
 549 }
 550
 551 EQUALS="======================================================================"
 552 equals_msg() {
 553    msg="$@"
 554
 555    local suffixlen=$((${#EQUALS} - ${#msg}))
 556    [ $suffixlen -lt 5 ] && suffixlen=5
 557    printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 558 }
 559
 560 log() {
 561         echo "$*"
 562         lctl mark "$*" 2> /dev/null || true
 563 }
 564
 565 run_one() {
 566     testnum=$1
 567     message=$2
 568     tfile=f${testnum}
 569     tdir=d${base}
 570
 571     # Pretty tests run faster.
 572     equals_msg $testnum: $message
 573
 574     log "== test $1: $2"
 575     test_${testnum} || error "test_$testnum failed with $?"
 576 }
 577
 578 canonical_path() {
 579    (cd `dirname $1`; echo $PWD/`basename $1`)
 580 }
 581