lustre/tests/test-framework.sh

   1 #!/bin/sh
   2
   3 set -e
   4 export REFORMAT=""
   5 export VERBOSE=false
   6
   7 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
   8 assert_env() {
   9     local failed=""
  10     for name in $@; do
  11       if [ -z "${!name}" ]; then
  12           echo "$0: $name must be set"
  13           failed=1
  14       fi
  15     done
  16     [ $failed ] && exit 1 || true
  17 }
  18
  19 usage() {
  20     echo "usage: $0 [-r] [-f cfgfile]"
  21     echo "       -r: reformat"
  22
  23     exit
  24 }
  25
  26 init_test_env() {
  27     export LUSTRE=`absolute_path $LUSTRE`
  28     export TESTSUITE=`basename $0 .sh`
  29     export XMLCONFIG=${XMLCONFIG:-${TESTSUITE}.xml}
  30     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  31
  32     [ -d /r ] && test "x$ROOT" = "x" && export ROOT=/r
  33     export TMP=${TMP:-$ROOT/tmp}
  34
  35     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
  36     export LLMOUNT=${LLMOUNT:-"llmount"}
  37     export LCONF=${LCONF:-"lconf"}
  38     export LMC=${LMC:-"lmc"}
  39     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  40     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  41     DEF_FSTYPE=`test "x$(uname -r | grep -o '2.6')" = "x2.6" && echo "ldiskfs" || echo "ext3"`
  42     export FSTYPE=${FSTYPE:-$DEF_FSTYPE}
  43     #used only if FSTYPE == smfs, otherwise ignored by lconf
  44     MDS_BACKFSTYPE=${MDS_BACKFSTYPE:-$DEF_FSTYPE}
  45     OST_BACKFSTYPE=${OST_BACKFSTYPE:-$DEF_FSTYPE}
  46
  47     export SECURITY=${SECURITY:-"null"}
  48
  49     # Paths on remote nodes, if different
  50     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  51     export RPWD=${RPWD:-$PWD}
  52
  53     # command line
  54
  55     while getopts "rvf:" opt $*; do
  56         case $opt in
  57             f) CONFIG=$OPTARG;;
  58             r) REFORMAT=--reformat;;
  59             v) VERBOSE=true;;
  60             \?) usage;;
  61         esac
  62     done
  63
  64     shift $((OPTIND - 1))
  65     ONLY=${ONLY:-$*}
  66
  67     # save the name of the config file for the upcall
  68     echo "XMLCONFIG=$LUSTRE/tests/$XMLCONFIG"  > $LUSTRE/tests/XMLCONFIG
  69 #    echo "CONFIG=`canonical_path $CONFIG`"  > $LUSTRE/tests/CONFIG
  70 }
  71
  72 . krb5_env.sh
  73
  74 # Facet functions
  75 start() {
  76     facet=$1
  77     shift
  78     active=`facet_active $facet`
  79     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  80         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  81         --sec $SECURITY $@ $XMLCONFIG
  82 }
  83
  84 stop() {
  85     facet=$1
  86     active=`facet_active $facet`
  87     shift
  88     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  89         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  90         $@ --cleanup $XMLCONFIG
  91 }
  92
  93 zconf_mount() {
  94     client=$1
  95     mnt=$2
  96
  97     do_node $client mkdir $mnt 2> /dev/null || :
  98
  99     if [ -x /sbin/mount.lustre ] ; then
 100         do_node $client mount -t lustre -o sec=$SECURITY,nettype=$NETTYPE \
 101                 `facet_active_host mds1`:/mds1_svc/client_facet $mnt || return 2
 102     else
 103        # this is so cheating
 104        do_node $client $LCONF --nosetup --node client_facet $XMLCONFIG  > /dev/null || return 2
 105        do_node $client $LLMOUNT `facet_active_host mds1`:/mds1_svc/client_facet $mnt \
 106                -o sec=$SECURITY,nettype=$NETTYPE|| return 4
 107     fi
 108
 109     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
 110     return 0
 111 }
 112
 113 zconf_umount() {
 114     client=$1
 115     mnt=$2
 116     [ "$3" ] && force=-f
 117     do_node $client umount $force  $mnt || :
 118     do_node $client $LCONF --cleanup --nosetup --node client_facet $XMLCONFIG > /dev/null || :
 119 }
 120
 121 shutdown_facet() {
 122     facet=$1
 123     if [ "$FAILURE_MODE" = HARD ]; then
 124        $POWER_DOWN `facet_active_host $facet`
 125        sleep 2
 126     elif [ "$FAILURE_MODE" = SOFT ]; then
 127        stop $facet --force --failover --nomod
 128     fi
 129 }
 130
 131 reboot_facet() {
 132     facet=$1
 133     if [ "$FAILURE_MODE" = HARD ]; then
 134        $POWER_UP `facet_active_host $facet`
 135     fi
 136 }
 137
 138 wait_for_host() {
 139    HOST=$1
 140    check_network  $HOST 900
 141    while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 142 }
 143
 144 wait_for() {
 145    facet=$1
 146    HOST=`facet_active_host $facet`
 147    wait_for_host $HOST
 148 }
 149
 150 client_df() {
 151     # not every config has many clients
 152     if [ ! -z "$CLIENTS" ]; then
 153         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 154     fi
 155 }
 156
 157 facet_failover() {
 158     facet=$1
 159     echo "Failing $facet node `facet_active_host $facet`"
 160     shutdown_facet $facet
 161     reboot_facet $facet
 162     client_df &
 163     DFPID=$!
 164     echo "df pid is $DFPID"
 165     change_active $facet
 166     TO=`facet_active_host $facet`
 167     echo "Failover $facet to $TO"
 168     wait_for $facet
 169     start $facet
 170 }
 171
 172 replay_barrier() {
 173     local facet=$1
 174     do_facet $facet sync
 175     df $MOUNT
 176     do_facet $facet $LCTL --device %${facet}_svc readonly
 177     do_facet $facet $LCTL --device %${facet}_svc notransno
 178     do_facet $facet $LCTL mark "REPLAY BARRIER"
 179     $LCTL mark "REPLAY BARRIER"
 180 }
 181
 182 replay_barrier_nodf() {
 183     local facet=$1
 184     do_facet $facet sync
 185     do_facet $facet $LCTL --device %${facet}_svc readonly
 186     do_facet $facet $LCTL --device %${facet}_svc notransno
 187     do_facet $facet $LCTL mark "REPLAY BARRIER"
 188     $LCTL mark "REPLAY BARRIER"
 189 }
 190
 191 mds_evict_client() {
 192     UUID=`cat /proc/fs/lustre/mdc/*_MNT_*/uuid`
 193     do_facet mds "echo $UUID > /proc/fs/lustre/mds/mds1_svc/evict_client"
 194 }
 195
 196 fail() {
 197     local facet=$1
 198     facet_failover $facet
 199     df $MOUNT || error "post-failover df: $?"
 200 }
 201
 202 fail_drop() {
 203     local facet=$1
 204     local failcode=$2
 205     facet_failover $facet
 206     do_facet mds "echo $failcode > /proc/sys/lustre/fail_loc"
 207     cat /proc/sys/lustre/fail_loc
 208     df $MOUNT || error "post-failover df: $?"
 209     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 210 }
 211
 212 fail_abort() {
 213     local facet=$1
 214     stop $facet --force --failover --nomod
 215     change_active $facet
 216     start $facet
 217     do_facet $facet lctl --device %${facet}_svc abort_recovery
 218     df $MOUNT || echo "first df failed: $?"
 219     sleep 1
 220     df $MOUNT || error "post-failover df: $?"
 221 }
 222
 223 do_lmc() {
 224     $LMC -m ${XMLCONFIG} $@
 225 }
 226
 227 h2gm () {
 228    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 229        $PDSH $1 $GMNALNID -l | cut -d\  -f2
 230    fi
 231 }
 232
 233 h2tcp() {
 234    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 235    echo $1
 236    fi
 237 }
 238 declare -fx h2tcp
 239
 240 h2elan() {
 241    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 242    echo $1 | sed 's/[^0-9]*//g'
 243    fi
 244 }
 245 declare -fx h2elan
 246
 247 h2openib() {
 248    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 249    echo $1 | sed 's/[^0-9]*//g'
 250    fi
 251 }
 252 declare -fx h2openib
 253
 254
 255 facet_host() {
 256    local facet=$1
 257    varname=${facet}_HOST
 258    echo -n ${!varname}
 259 }
 260
 261 facet_nid() {
 262    facet=$1
 263    HOST=`facet_host $facet`
 264    if [ -z "$HOST" ]; then
 265         echo "The env variable ${facet}_HOST must be set."
 266         exit 1
 267    fi
 268    echo `h2$NETTYPE $HOST`
 269 }
 270
 271 facet_active() {
 272     local facet=$1
 273     local activevar=${facet}active
 274
 275     if [ -f ./${facet}active ] ; then
 276         source ./${facet}active
 277     fi
 278
 279     active=${!activevar}
 280     if [ -z "$active" ] ; then
 281         echo -n ${facet}
 282     else
 283         echo -n ${active}
 284     fi
 285 }
 286
 287 facet_active_host() {
 288     local facet=$1
 289     local active=`facet_active $facet`
 290     if [ "$facet" == client ]; then
 291         hostname
 292     else
 293         echo `facet_host $active`
 294     fi
 295 }
 296
 297 change_active() {
 298     local facet=$1
 299     failover=${facet}failover
 300     host=`facet_host $failover`
 301     [ -z "$host" ] && return
 302     curactive=`facet_active $facet`
 303     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 304         eval export ${facet}active=$facet
 305     else
 306         eval export ${facet}active=$failover
 307     fi
 308     # save the active host for this facet
 309     activevar=${facet}active
 310     echo "$activevar=${!activevar}" > ./$activevar
 311 }
 312
 313 do_node() {
 314     HOST=$1
 315     shift
 316
 317     if $VERBOSE; then
 318         echo "CMD: $HOST $@"
 319         $PDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 320     fi
 321     $PDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; sh -c \"$@\")"
 322 }
 323
 324 mds_list() {
 325     seq -f mds%g $MDSCOUNT
 326 }
 327
 328 do_facet() {
 329     facet=$1
 330     shift
 331
 332     if [ "$facet" == "mds" ]; then
 333         for mds in `mds_list`; do
 334            HOST=`facet_active_host $mds`
 335            do_node $HOST $@
 336         done
 337     else
 338         HOST=`facet_active_host $facet`
 339         do_node $HOST $@
 340     fi
 341 }
 342
 343 add_facet() {
 344     local facet=$1
 345     shift
 346     echo "add facet $facet: `facet_host $facet`"
 347     do_lmc --add node --node ${facet}_facet $@ --timeout $TIMEOUT \
 348         --lustre_upcall $UPCALL --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM
 349     do_lmc --add net --node ${facet}_facet --nid `facet_nid $facet` \
 350         --nettype $NETTYPE
 351 }
 352
 353 add_mds() {
 354     facet=$1
 355     shift
 356     rm -f ${facet}active
 357     add_facet $facet
 358     do_lmc --add mds --node ${facet}_facet --mds ${facet}_svc --fstype $FSTYPE --backfstype $MDS_BACKFSTYPE $*
 359 }
 360
 361 add_mdsfailover() {
 362     facet=$1
 363     shift
 364     add_facet ${facet}failover  --lustre_upcall $UPCALL
 365     do_lmc --add mds  --node ${facet}failover_facet --mds ${facet}_svc --fstype $FSTYPE --backfstype $MDS_BACKFSTYPE $*
 366 }
 367
 368 add_ost() {
 369     facet=$1
 370     shift
 371     rm -f ${facet}active
 372     add_facet $facet
 373     do_lmc --add ost --node ${facet}_facet --ost ${facet}_svc --fstype $FSTYPE --backfstype $OST_BACKFSTYPE $*
 374 }
 375
 376 del_ost() {
 377     facet=$1
 378     shift
 379     do_lmc --delete ost --node ${facet}_facet --ost ${facet}_svc $*
 380 }
 381
 382 deactivate_ost() {
 383     facet=$1
 384     shift
 385     do_lmc --deactivate ost --node ${facet}_facet --ost ${facet}_svc $*
 386 }
 387
 388 add_ostfailover() {
 389     facet=$1
 390     shift
 391     add_facet ${facet}failover
 392     do_lmc --add ost --failover --node ${facet}failover_facet --ost ${facet}_svc --fstype $FSTYPE --backfstype $OST_BACKFSTYPE $*
 393 }
 394
 395 add_lov() {
 396     lov=$1
 397     mds_facet=$2
 398     shift; shift
 399     do_lmc --add lov --mds ${mds_facet}_svc --lov $lov $*
 400 }
 401
 402 add_lov_to_lmv() {
 403     lov=$1
 404     lmv=$2
 405     shift; shift
 406     do_lmc --add lov --lmv $lmv --lov $lov $*
 407 }
 408
 409 add_lmv() {
 410     lmv=$1
 411     shift;
 412     do_lmc --add lmv --lmv $lmv $*
 413 }
 414
 415 add_client() {
 416     facet=$1
 417     mds=$2
 418     shift; shift
 419     add_facet $facet --lustre_upcall $UPCALL
 420     do_lmc --add mtpt --node ${facet}_facet --clientoptions async --mds ${mds}_svc $*
 421 }
 422
 423 config_commit() {
 424     do_lmc --commit
 425 }
 426
 427 #######
 428 # General functions
 429
 430 check_network() {
 431    local NETWORK=0
 432    local WAIT=0
 433    local MAX=$2
 434    while [ $NETWORK -eq 0 ]; do
 435       ping -c 1 -w 3 $1 > /dev/null
 436       if [ $? -eq 0 ]; then
 437          NETWORK=1
 438       else
 439          WAIT=$((WAIT + 5))
 440          echo "waiting for $1, $((MAX - WAIT)) secs left"
 441          sleep 5
 442       fi
 443       if [ $WAIT -gt $MAX ]; then
 444          echo "Network not available"
 445          exit 1
 446       fi
 447    done
 448 }
 449 check_port() {
 450    while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 451       sleep 9
 452    done
 453 }
 454
 455 no_dsh() {
 456    shift
 457    eval $@
 458 }
 459
 460 comma_list() {
 461     # the sed converts spaces to commas, but leaves the last space
 462     # alone, so the line doesn't end with a comma.
 463     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 464 }
 465
 466 absolute_path() {
 467    (cd `dirname $1`; echo $PWD/`basename $1`)
 468 }
 469
 470 ##################################
 471 # OBD_FAIL funcs
 472
 473 drop_request() {
 474 # OBD_FAIL_MDS_ALL_REQUEST_NET
 475     RC=0
 476     do_facet mds "echo 0x123 > /proc/sys/lustre/fail_loc"
 477     do_facet client "$1" || RC=$?
 478     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 479     return $RC
 480 }
 481
 482 drop_reply() {
 483 # OBD_FAIL_MDS_ALL_REPLY_NET
 484     RC=0
 485     do_facet mds "echo 0x122 > /proc/sys/lustre/fail_loc"
 486     do_facet client "$@" || RC=$?
 487     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 488     return $RC
 489 }
 490
 491 drop_reint_reply() {
 492 # OBD_FAIL_MDS_REINT_NET_REP
 493     RC=0
 494     do_facet mds "echo 0x119 > /proc/sys/lustre/fail_loc"
 495     do_facet client "$@" || RC=$?
 496     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 497     return $RC
 498 }
 499
 500 pause_bulk() {
 501 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 502     RC=0
 503     do_facet ost "echo 0x214 > /proc/sys/lustre/fail_loc"
 504     do_facet client "$1" || RC=$?
 505     do_facet client "sync"
 506     do_facet ost "echo 0 > /proc/sys/lustre/fail_loc"
 507     return $RC
 508 }
 509
 510 drop_ldlm_cancel() {
 511 #define OBD_FAIL_LDLM_CANCEL             0x304
 512     RC=0
 513     do_facet client "echo 0x304 > /proc/sys/lustre/fail_loc"
 514     do_facet client "$@" || RC=$?
 515     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 516     return $RC
 517 }
 518
 519 drop_bl_callback() {
 520 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 521     RC=0
 522     do_facet client "echo 0x305 > /proc/sys/lustre/fail_loc"
 523     do_facet client "$@" || RC=$?
 524     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 525     return $RC
 526 }
 527
 528 clear_failloc() {
 529     facet=$1
 530     pause=$2
 531     sleep $pause
 532     echo "clearing fail_loc on $facet"
 533     do_facet $facet "sysctl -w lustre.fail_loc=0"
 534 }
 535
 536 cancel_lru_locks() {
 537     $LCTL mark cancel_lru_locks
 538     for d in /proc/fs/lustre/ldlm/namespaces/$1*; do
 539         if [ -f $d/lru_size ]; then
 540             echo clear > $d/lru_size
 541             grep [0-9] $d/lock_unused_count
 542         fi
 543     done
 544 }
 545
 546
 547 pgcache_empty() {
 548     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 549         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 550                 echo there is still data in page cache $a ?
 551                 cat $a;
 552                 return 1;
 553         fi
 554     done
 555     return 0
 556 }
 557
 558 ##################################
 559 # Test interface
 560 error() {
 561     echo "${TESTSUITE}: **** FAIL:" $@
 562     log "FAIL: $@"
 563     exit 1
 564 }
 565
 566 build_test_filter() {
 567         [ "$ONLY" ] && log "only running $ONLY"
 568         for O in $ONLY; do
 569             eval ONLY_${O}=true
 570         done
 571         [ "$EXCEPT$ALWAYS_EXCEPT" ] && log "skipping $EXCEPT $ALWAYS_EXCEPT"
 572         for E in $EXCEPT $ALWAYS_EXCEPT; do
 573             eval EXCEPT_${E}=true
 574         done
 575 }
 576
 577 _basetest() {
 578     echo $*
 579 }
 580
 581 basetest() {
 582     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 583 }
 584
 585 run_test() {
 586         export base=`basetest $1`
 587         if [ ! -z "$ONLY" ]; then
 588                  testname=ONLY_$1
 589                  if [ ${!testname}x != x ]; then
 590                      run_one $1 "$2"
 591                      return $?
 592                  fi
 593                  testname=ONLY_$base
 594                  if [ ${!testname}x != x ]; then
 595                      run_one $1 "$2"
 596                      return $?
 597                  fi
 598                  echo -n "."
 599                  return 0
 600         fi
 601         testname=EXCEPT_$1
 602         if [ ${!testname}x != x ]; then
 603                  echo "skipping excluded test $1"
 604                  return 0
 605         fi
 606         testname=EXCEPT_$base
 607         if [ ${!testname}x != x ]; then
 608                  echo "skipping excluded test $1 (base $base)"
 609                  return 0
 610         fi
 611         run_one $1 "$2"
 612
 613         return $?
 614 }
 615
 616 EQUALS="======================================================================"
 617 equals_msg() {
 618    msg="$@"
 619
 620    local suffixlen=$((${#EQUALS} - ${#msg}))
 621    [ $suffixlen -lt 5 ] && suffixlen=5
 622    printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 623 }
 624
 625 log() {
 626         echo "$*"
 627         lctl mark "$*" 2> /dev/null || true
 628 }
 629
 630 pass() {
 631         echo PASS $@
 632 }
 633
 634 run_one() {
 635     testnum=$1
 636     message=$2
 637     tfile=f${testnum}
 638     tdir=d${base}
 639
 640     # Pretty tests run faster.
 641     equals_msg $testnum: $message
 642
 643     BEFORE=`date +%s`
 644     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
 645     test_${testnum} || error "test_$testnum failed with $?"
 646     pass "($((`date +%s` - $BEFORE))s)"
 647 }
 648
 649 canonical_path() {
 650    (cd `dirname $1`; echo $PWD/`basename $1`)
 651 }
 652