lustre/tests/test-framework.sh

   1 #!/bin/sh
   2
   3 set -e
   4
   5 export REFORMAT=""
   6 export VERBOSE=false
   7
   8 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
   9 assert_env() {
  10     local failed=""
  11     for name in $@; do
  12       if [ -z "${!name}" ]; then
  13           echo "$0: $name must be set"
  14           failed=1
  15       fi
  16     done
  17     [ $failed ] && exit 1 || true
  18 }
  19
  20 usage() {
  21     echo "usage: $0 [-r] [-f cfgfile]"
  22     echo "       -r: reformat"
  23
  24     exit
  25 }
  26
  27 init_test_env() {
  28     export LUSTRE=`absolute_path $LUSTRE`
  29     export TESTSUITE=`basename $0 .sh`
  30     export XMLCONFIG="${TESTSUITE}.xml"
  31     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  32
  33     [ -d /r ] && export ROOT=/r
  34     export TMP=${TMP:-$ROOT/tmp}
  35
  36     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
  37     export LLMOUNT=${LLMOUNT:-"llmount"}
  38     export LCONF=${LCONF:-"lconf"}
  39     export LMC=${LMC:-"lmc"}
  40     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  41     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  42     export FSYTPE=${FSTYPE:-"ext3"}
  43
  44     # Paths on remote nodes, if different
  45     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  46     export RPWD=${RPWD:-$PWD}
  47
  48     # command line
  49
  50     while getopts "rvf:" opt $*; do
  51         case $opt in
  52             f) CONFIG=$OPTARG;;
  53             r) REFORMAT=--reformat;;
  54             v) VERBOSE=true;;
  55             \?) usage;;
  56         esac
  57     done
  58
  59     # save the name of the config file for the upcall
  60     echo "XMLCONFIG=$LUSTRE/tests/$XMLCONFIG"  > $LUSTRE/tests/XMLCONFIG
  61 #    echo "CONFIG=`canonical_path $CONFIG`"  > $LUSTRE/tests/CONFIG
  62 }
  63
  64 # Facet functions
  65 start() {
  66     facet=$1
  67     shift
  68     active=`facet_active $facet`
  69     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  70         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  71         $@ $XMLCONFIG
  72 }
  73
  74 stop() {
  75     facet=$1
  76     active=`facet_active $facet`
  77     shift
  78     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  79         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  80         $@ --cleanup $XMLCONFIG
  81 }
  82
  83 zconf_mount() {
  84     client=$1
  85     mnt=$2
  86
  87     do_node $client mkdir $mnt 2> /dev/null || :
  88
  89     if [ -x /sbin/mount.lustre ] ; then
  90         do_node $client mount -t lustre -o nettype=$NETTYPE `facet_active_host mds`:/mds_svc/client_facet $mnt || return 1
  91     else
  92        # this is so cheating
  93        do_node $client $LCONF --nosetup --node client_facet $XMLCONFIG  > /dev/null || return 2
  94        $LCONF --nosetup --node client_facet $XMLCONFIG
  95        do_node $client $LLMOUNT `facet_active_host mds`:/mds_svc/client_facet $mnt -o nettype=$NETTYPE|| return 4
  96     fi
  97
  98     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
  99     return 0
 100 }
 101
 102 zconf_umount() {
 103     client=$1
 104     mnt=$2
 105     [ "$3" ] && force=-f
 106     do_node $client umount $force  $mnt || :
 107     do_node $client $LCONF --cleanup --nosetup --node client_facet $XMLCONFIG > /dev/null || :
 108 }
 109
 110 shutdown_facet() {
 111     facet=$1
 112     if [ "$FAILURE_MODE" = HARD ]; then
 113        $POWER_DOWN `facet_active_host $facet`
 114        sleep 2
 115     elif [ "$FAILURE_MODE" = SOFT ]; then
 116        stop $facet --force --failover --nomod
 117     fi
 118 }
 119
 120 reboot_facet() {
 121     facet=$1
 122     if [ "$FAILURE_MODE" = HARD ]; then
 123        $POWER_UP `facet_active_host $facet`
 124     fi
 125 }
 126
 127 wait_for_host() {
 128    HOST=$1
 129    check_network  $HOST 900
 130    while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 131 }
 132
 133 wait_for() {
 134    facet=$1
 135    HOST=`facet_active_host $facet`
 136    wait_for_host $HOST
 137 }
 138
 139 client_df() {
 140     # not every config has many clients
 141     if [ ! -z "$CLIENTS" ]; then
 142         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 143     fi
 144 }
 145
 146 facet_failover() {
 147     facet=$1
 148     echo "Failing $facet node `facet_active_host $facet`"
 149     shutdown_facet $facet
 150     reboot_facet $facet
 151     client_df &
 152     DFPID=$!
 153     echo "df pid is $DFPID"
 154     change_active $facet
 155     TO=`facet_active_host $facet`
 156     echo "Failover $facet to $TO"
 157     wait_for $facet
 158     start $facet
 159 }
 160
 161 replay_barrier() {
 162     local facet=$1
 163     do_facet $facet sync
 164     df $MOUNT
 165     do_facet $facet $LCTL --device %${facet}_svc readonly
 166     do_facet $facet $LCTL --device %${facet}_svc notransno
 167     do_facet $facet $LCTL mark "REPLAY BARRIER"
 168     $LCTL mark "REPLAY BARRIER"
 169 }
 170
 171 mds_evict_client() {
 172     UUID=`cat /proc/fs/lustre/mdc/*_MNT_*/uuid`
 173     do_facet mds "echo $UUID > /proc/fs/lustre/mds/mds_svc/evict_client"
 174 }
 175
 176 fail() {
 177     local facet=$1
 178     facet_failover $facet
 179     df $MOUNT || error "post-failover df: $?"
 180 }
 181
 182 fail_abort() {
 183     local facet=$1
 184     stop $facet --force --failover --nomod
 185     change_active $facet
 186     start $facet
 187     do_facet $facet lctl --device %${facet}_svc abort_recovery
 188     df $MOUNT || echo "first df failed: $?"
 189     df $MOUNT || error "post-failover df: $?"
 190 }
 191
 192 do_lmc() {
 193     $LMC -m ${XMLCONFIG} $@
 194 }
 195
 196 h2gm () {
 197    if [ "$1" = "client" ]; then echo \'*\'; else
 198        $PDSH $1 $GMNALNID -l | cut -d\  -f2
 199    fi
 200 }
 201
 202 h2tcp() {
 203    if [ "$1" = "client" ]; then echo \'*\'; else
 204    echo $1
 205    fi
 206 }
 207 declare -fx h2tcp
 208
 209 h2elan() {
 210    if [ "$1" = "client" ]; then echo \'*\'; else
 211    echo $1 | sed 's/[^0-9]*//g'
 212    fi
 213 }
 214 declare -fx h2elan
 215
 216 facet_host() {
 217    local facet=$1
 218    varname=${facet}_HOST
 219    echo -n ${!varname}
 220 }
 221
 222 facet_nid() {
 223    facet=$1
 224    HOST=`facet_host $facet`
 225    if [ -z "$HOST" ]; then
 226         echo "The env variable ${facet}_HOST must be set."
 227         exit 1
 228    fi
 229    echo `h2$NETTYPE $HOST`
 230 }
 231
 232 facet_active() {
 233     local facet=$1
 234     local activevar=${facet}active
 235     active=${!activevar}
 236     if [ -z "$active" ] ; then
 237         echo -n ${facet}
 238     else
 239         echo -n ${active}
 240     fi
 241 }
 242
 243 facet_active_host() {
 244     local facet=$1
 245     local active=`facet_active $facet`
 246     if [ "$facet" == client ]; then
 247         hostname
 248     else
 249         echo `facet_host $active`
 250     fi
 251 }
 252
 253 change_active() {
 254     local facet=$1
 255     failover=${facet}failover
 256     host=`facet_host $failover`
 257     [ -z "$host" ] && return
 258     curactive=`facet_active $facet`
 259     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 260         eval export ${facet}active=$facet
 261     else
 262         eval export ${facet}active=$failover
 263     fi
 264     # save the active host for this facet
 265     activevar=${facet}active
 266     echo "$activevar=${!activevar}" > ./$activevar
 267 }
 268
 269 do_node() {
 270     HOST=$1
 271     shift
 272
 273     if $VERBOSE; then
 274         echo "CMD: $HOST $@"
 275         $PDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 276     fi
 277     $PDSH $HOST "(PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; sh -c \"$@\")"
 278 }
 279 do_facet() {
 280     facet=$1
 281     shift
 282     HOST=`facet_active_host $facet`
 283     do_node $HOST $@
 284 }
 285
 286 add_facet() {
 287     local facet=$1
 288     shift
 289     echo "add facet $facet: `facet_host $facet`"
 290     do_lmc --add node --node ${facet}_facet $@ --timeout $TIMEOUT \
 291         --lustre_upcall $UPCALL --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM
 292     do_lmc --add net --node ${facet}_facet --nid `facet_nid $facet` \
 293         --nettype $NETTYPE
 294 }
 295
 296 add_mds() {
 297     facet=$1
 298     shift
 299     rm -f ${facet}active
 300     add_facet $facet
 301     do_lmc --add mds --node ${facet}_facet --mds ${facet}_svc --fstype $FSTYPE $*
 302 }
 303
 304 add_mdsfailover() {
 305     facet=$1
 306     shift
 307     add_facet ${facet}failover  --lustre_upcall $UPCALL
 308     do_lmc --add mds  --node ${facet}failover_facet --mds ${facet}_svc --fstype $FSTYPE $*
 309 }
 310
 311 add_ost() {
 312     facet=$1
 313     shift
 314     rm -f ${facet}active
 315     add_facet $facet
 316     do_lmc --add ost --node ${facet}_facet --ost ${facet}_svc --fstype $FSTYPE $*
 317 }
 318
 319 add_ostfailover() {
 320     facet=$1
 321     shift
 322     add_facet ${facet}failover
 323     do_lmc --add ost --failover --node ${facet}failover_facet --ost ${facet}_svc --fstype $FSTYPE $*
 324 }
 325
 326 add_lov() {
 327     lov=$1
 328     mds_facet=$2
 329     shift; shift
 330     do_lmc --add lov --mds ${mds_facet}_svc --lov $lov $*
 331
 332 }
 333
 334 add_client() {
 335     facet=$1
 336     mds=$2
 337     shift; shift
 338     add_facet $facet --lustre_upcall $UPCALL
 339     do_lmc --add mtpt --node ${facet}_facet --mds ${mds}_svc $*
 340
 341 }
 342
 343
 344 #######
 345 # General functions
 346
 347 check_network() {
 348    local NETWORK=0
 349    local WAIT=0
 350    local MAX=$2
 351    while [ $NETWORK -eq 0 ]; do
 352       ping -c 1 -w 3 $1 > /dev/null
 353       if [ $? -eq 0 ]; then
 354          NETWORK=1
 355       else
 356          WAIT=$((WAIT + 5))
 357          echo "waiting for $1, $((MAX - WAIT)) secs left"
 358          sleep 5
 359       fi
 360       if [ $WAIT -gt $MAX ]; then
 361          echo "Network not available"
 362          exit 1
 363       fi
 364    done
 365 }
 366 check_port() {
 367    while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 368       sleep 9
 369    done
 370 }
 371
 372 no_dsh() {
 373    shift
 374    eval $@
 375 }
 376
 377 comma_list() {
 378     # the sed converts spaces to commas, but leaves the last space
 379     # alone, so the line doesn't end with a comma.
 380     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 381 }
 382
 383 absolute_path() {
 384    (cd `dirname $1`; echo $PWD/`basename $1`)
 385 }
 386
 387 ##################################
 388 # OBD_FAIL funcs
 389
 390 drop_request() {
 391 # OBD_FAIL_MDS_ALL_REQUEST_NET
 392     RC=0
 393     do_facet mds "echo 0x123 > /proc/sys/lustre/fail_loc"
 394     do_facet client "$1" || RC=$?
 395     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 396     return $RC
 397 }
 398
 399 drop_reply() {
 400 # OBD_FAIL_MDS_ALL_REPLY_NET
 401     RC=0
 402     do_facet mds "echo 0x122 > /proc/sys/lustre/fail_loc"
 403     do_facet client "$@" || RC=$?
 404     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 405     return $RC
 406 }
 407
 408 drop_reint_reply() {
 409 # OBD_FAIL_MDS_REINT_NET_REP
 410     RC=0
 411     do_facet mds "echo 0x119 > /proc/sys/lustre/fail_loc"
 412     do_facet client "$@" || RC=$?
 413     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 414     return $RC
 415 }
 416
 417 pause_bulk() {
 418 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 419     RC=0
 420     do_facet ost "echo 0x214 > /proc/sys/lustre/fail_loc"
 421     do_facet client "$1" || RC=$?
 422     do_facet client "sync"
 423     do_facet ost "echo 0 > /proc/sys/lustre/fail_loc"
 424     return $RC
 425 }
 426
 427 drop_ldlm_cancel() {
 428 #define OBD_FAIL_LDLM_CANCEL             0x304
 429     RC=0
 430     do_facet client "echo 0x304 > /proc/sys/lustre/fail_loc"
 431     do_facet client "$@" || RC=$?
 432     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 433     return $RC
 434 }
 435
 436 drop_bl_callback() {
 437 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 438     RC=0
 439     do_facet client "echo 0x305 > /proc/sys/lustre/fail_loc"
 440     do_facet client "$@" || RC=$?
 441     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 442     return $RC
 443 }
 444
 445 clear_failloc() {
 446     facet=$1
 447     pause=$2
 448     sleep $pause
 449     echo "clearing fail_loc on $facet"
 450     do_facet $facet "sysctl -w lustre.fail_loc=0"
 451 }
 452
 453 cancel_lru_locks() {
 454     $LCTL mark cancel_lru_locks
 455     for d in /proc/fs/lustre/ldlm/namespaces/$1*; do
 456         if [ -f $d/lru_size ]; then
 457             echo clear > $d/lru_size
 458             grep [0-9] $d/lock_unused_count
 459         fi
 460     done
 461 }
 462
 463
 464 pgcache_empty() {
 465     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 466         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 467                 echo there is still data in page cache $a ?
 468                 cat $a;
 469                 return 1;
 470         fi
 471     done
 472     return 0
 473 }
 474
 475 ##################################
 476 # Test interface
 477 error() {
 478     echo "${TESTSUITE}: **** FAIL:" $@
 479     log "FAIL: $@"
 480     exit 1
 481 }
 482
 483 build_test_filter() {
 484         for O in $ONLY; do
 485             eval ONLY_${O}=true
 486         done
 487         for E in $EXCEPT $ALWAYS_EXCEPT; do
 488             eval EXCEPT_${E}=true
 489         done
 490 }
 491
 492 _basetest() {
 493     echo $*
 494 }
 495
 496 basetest() {
 497     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 498 }
 499
 500 run_test() {
 501         export base=`basetest $1`
 502         if [ ! -z "$ONLY" ]; then
 503                  testname=ONLY_$1
 504                  if [ ${!testname}x != x ]; then
 505                      run_one $1 "$2"
 506                      return $?
 507                  fi
 508                  testname=ONLY_$base
 509                  if [ ${!testname}x != x ]; then
 510                      run_one $1 "$2"
 511                      return $?
 512                  fi
 513                  echo -n "."
 514                  return 0
 515         fi
 516         testname=EXCEPT_$1
 517         if [ ${!testname}x != x ]; then
 518                  echo "skipping excluded test $1"
 519                  return 0
 520         fi
 521         testname=EXCEPT_$base
 522         if [ ${!testname}x != x ]; then
 523                  echo "skipping excluded test $1 (base $base)"
 524                  return 0
 525         fi
 526         run_one $1 "$2"
 527
 528         return $?
 529 }
 530
 531 EQUALS="======================================================================"
 532 equals_msg() {
 533    msg="$@"
 534
 535    local suffixlen=$((${#EQUALS} - ${#msg}))
 536    [ $suffixlen -lt 5 ] && suffixlen=5
 537    printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 538 }
 539
 540 log() {
 541         echo "$*"
 542         lctl mark "$*" 2> /dev/null || true
 543 }
 544
 545 run_one() {
 546     testnum=$1
 547     message=$2
 548     tfile=f${testnum}
 549     tdir=d${base}
 550
 551     # Pretty tests run faster.
 552     equals_msg $testnum: $message
 553
 554     log "== test $1: $2"
 555     test_${testnum} || error "test_$testnum failed with $?"
 556 }
 557
 558 canonical_path() {
 559    (cd `dirname $1`; echo $PWD/`basename $1`)
 560 }
 561