lustre/tests/test-framework.sh

   1 #!/bin/sh
   2
   3 set -e
   4 export REFORMAT=""
   5 export VERBOSE=false
   6
   7 # eg, assert_env LUSTRE MDSNODES OSTNODES CLIENTS
   8 assert_env() {
   9     local failed=""
  10     for name in $@; do
  11       if [ -z "${!name}" ]; then
  12           echo "$0: $name must be set"
  13           failed=1
  14       fi
  15     done
  16     [ $failed ] && exit 1 || true
  17 }
  18
  19 usage() {
  20     echo "usage: $0 [-r] [-f cfgfile]"
  21     echo "       -r: reformat"
  22
  23     exit
  24 }
  25
  26 init_test_env() {
  27     export LUSTRE=`absolute_path $LUSTRE`
  28     export TESTSUITE=`basename $0 .sh`
  29     export XMLCONFIG=${XMLCONFIG:-${TESTSUITE}.xml}
  30     export LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
  31
  32     [ -d /r ] && test "x$ROOT" = "x" && export ROOT=/r
  33     export TMP=${TMP:-$ROOT/tmp}
  34
  35     export PATH=:$PATH:$LUSTRE/utils:$LUSTRE/tests
  36     export LLMOUNT=${LLMOUNT:-"llmount"}
  37     export LCONF=${LCONF:-"lconf"}
  38     export LMC=${LMC:-"lmc"}
  39     export LCTL=${LCTL:-"$LUSTRE/utils/lctl"}
  40     export CHECKSTAT="${CHECKSTAT:-checkstat} "
  41     DEF_FSTYPE=`test "x$(uname -r | grep -o '2.6')" = "x2.6" && echo "ldiskfs" || echo "ext3"`
  42     export FSTYPE=${FSTYPE:-$DEF_FSTYPE}
  43     #used only if FSTYPE == smfs, otherwise ignored by lconf
  44     MDS_BACKFSTYPE=${MDS_BACKFSTYPE:-$DEF_FSTYPE}
  45     OST_BACKFSTYPE=${OST_BACKFSTYPE:-$DEF_FSTYPE}
  46
  47     export SECURITY=${SECURITY:-"null"}
  48
  49     # Paths on remote nodes, if different
  50     export RLUSTRE=${RLUSTRE:-$LUSTRE}
  51     export RPWD=${RPWD:-$PWD}
  52
  53     # command line
  54
  55     while getopts "rvf:" opt $*; do
  56         case $opt in
  57             f) CONFIG=$OPTARG;;
  58             r) REFORMAT=--reformat;;
  59             v) VERBOSE=true;;
  60             \?) usage;;
  61         esac
  62     done
  63
  64     shift $((OPTIND - 1))
  65     ONLY=${ONLY:-$*}
  66
  67     # save the name of the config file for the upcall
  68     echo "XMLCONFIG=$LUSTRE/tests/$XMLCONFIG"  > $LUSTRE/tests/XMLCONFIG
  69 #    echo "CONFIG=`canonical_path $CONFIG`"  > $LUSTRE/tests/CONFIG
  70 }
  71
  72 . krb5_env.sh
  73
  74 # Facet functions
  75 start() {
  76     facet=$1
  77     shift
  78     active=`facet_active $facet`
  79     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  80         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  81         --mds_sec $SECURITY $@ $XMLCONFIG
  82 }
  83
  84 stop() {
  85     facet=$1
  86     active=`facet_active $facet`
  87     shift
  88     do_facet $facet $LCONF --select ${facet}_svc=${active}_facet \
  89         --node ${active}_facet  --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM \
  90         $@ --cleanup $XMLCONFIG
  91 }
  92
  93 zconf_mount() {
  94     client=$1
  95     mnt=$2
  96
  97     do_node $client mkdir $mnt 2> /dev/null || :
  98
  99     if [ -x /sbin/mount.lustre ] ; then
 100         do_node $client mount -t lustre -o mds_sec=$SECURITY,nettype=$NETTYPE \
 101                 `facet_active_host mds1`:/mds1_svc/client_facet $mnt || return 2
 102     else
 103        # this is so cheating
 104        do_node $client $LCONF --nosetup --node client_facet $XMLCONFIG  > /dev/null || return 2
 105        do_node $client $LLMOUNT `facet_active_host mds1`:/mds1_svc/client_facet $mnt \
 106                -o mds_sec=$SECURITY,nettype=$NETTYPE|| return 4
 107     fi
 108
 109     [ -d /r ] && $LCTL modules > /r/tmp/ogdb-`hostname`
 110     return 0
 111 }
 112
 113 zconf_umount() {
 114     client=$1
 115     mnt=$2
 116     [ "$3" ] && force=-f
 117     do_node $client umount $force  $mnt || :
 118     do_node $client $LCONF --cleanup --nosetup --node client_facet $XMLCONFIG > /dev/null || :
 119 }
 120
 121 shutdown_facet() {
 122     facet=$1
 123     if [ "$FAILURE_MODE" = HARD ]; then
 124        $POWER_DOWN `facet_active_host $facet`
 125        sleep 2
 126     elif [ "$FAILURE_MODE" = SOFT ]; then
 127        stop $facet --force --failover --nomod
 128     fi
 129 }
 130
 131 reboot_facet() {
 132     facet=$1
 133     if [ "$FAILURE_MODE" = HARD ]; then
 134        $POWER_UP `facet_active_host $facet`
 135     fi
 136 }
 137
 138 wait_for_host() {
 139    HOST=$1
 140    check_network  $HOST 900
 141    while ! do_node $HOST "ls -d $LUSTRE " > /dev/null; do sleep 5; done
 142 }
 143
 144 wait_for() {
 145    facet=$1
 146    HOST=`facet_active_host $facet`
 147    wait_for_host $HOST
 148 }
 149
 150 client_df() {
 151     # not every config has many clients
 152     if [ ! -z "$CLIENTS" ]; then
 153         $PDSH $CLIENTS "df $MOUNT" > /dev/null
 154     fi
 155 }
 156
 157 facet_failover() {
 158     facet=$1
 159     echo "Failing $facet node `facet_active_host $facet`"
 160     shutdown_facet $facet
 161     reboot_facet $facet
 162     client_df &
 163     DFPID=$!
 164     echo "df pid is $DFPID"
 165     change_active $facet
 166     TO=`facet_active_host $facet`
 167     echo "Failover $facet to $TO"
 168     wait_for $facet
 169     start $facet
 170 }
 171
 172 replay_barrier() {
 173     local facet=$1
 174     do_facet $facet sync
 175     df $MOUNT
 176     do_facet $facet $LCTL --device %${facet}_svc readonly
 177     do_facet $facet $LCTL --device %${facet}_svc notransno
 178     do_facet $facet $LCTL mark "REPLAY BARRIER"
 179     $LCTL mark "REPLAY BARRIER"
 180 }
 181
 182 replay_barrier_nodf() {
 183     local facet=$1
 184     do_facet $facet sync
 185     do_facet $facet $LCTL --device %${facet}_svc readonly
 186     do_facet $facet $LCTL --device %${facet}_svc notransno
 187     do_facet $facet $LCTL mark "REPLAY BARRIER"
 188     $LCTL mark "REPLAY BARRIER"
 189 }
 190
 191 mds_evict_client() {
 192     UUID=`cat /proc/fs/lustre/mdc/*_MNT_*/uuid`
 193     do_facet mds "echo $UUID > /proc/fs/lustre/mds/mds1_svc/evict_client"
 194 }
 195
 196 fail() {
 197     local facet=$1
 198     facet_failover $facet
 199     df $MOUNT || error "post-failover df: $?"
 200 }
 201
 202 fail_drop() {
 203     local facet=$1
 204     local failcode=$2
 205     facet_failover $facet
 206     do_facet mds "echo $failcode > /proc/sys/lustre/fail_loc"
 207     df $MOUNT || error "post-failover df: $?"
 208     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 209 }
 210
 211 fail_abort() {
 212     local facet=$1
 213     stop $facet --force --failover --nomod
 214     change_active $facet
 215     start $facet
 216     do_facet $facet lctl --device %${facet}_svc abort_recovery
 217     df $MOUNT || echo "first df failed: $?"
 218     sleep 1
 219     df $MOUNT || error "post-failover df: $?"
 220 }
 221
 222 do_lmc() {
 223     $LMC -m ${XMLCONFIG} $@
 224 }
 225
 226 h2gm () {
 227    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 228        $PDSH $1 $GMNALNID -l | cut -d\  -f2
 229    fi
 230 }
 231
 232 h2tcp() {
 233    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 234    echo $1
 235    fi
 236 }
 237 declare -fx h2tcp
 238
 239 h2elan() {
 240    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 241    echo $1 | sed 's/[^0-9]*//g'
 242    fi
 243 }
 244 declare -fx h2elan
 245
 246 h2openib() {
 247    if [ "$1" = "client" -o "$1" = "'*'" ]; then echo \'*\'; else
 248    echo $1 | sed 's/[^0-9]*//g'
 249    fi
 250 }
 251 declare -fx h2openib
 252
 253
 254 facet_host() {
 255    local facet=$1
 256    varname=${facet}_HOST
 257    echo -n ${!varname}
 258 }
 259
 260 facet_nid() {
 261    facet=$1
 262    HOST=`facet_host $facet`
 263    if [ -z "$HOST" ]; then
 264         echo "The env variable ${facet}_HOST must be set."
 265         exit 1
 266    fi
 267    echo `h2$NETTYPE $HOST`
 268 }
 269
 270 facet_active() {
 271     local facet=$1
 272     local activevar=${facet}active
 273
 274     if [ -f ./${facet}active ] ; then
 275         source ./${facet}active
 276     fi
 277
 278     active=${!activevar}
 279     if [ -z "$active" ] ; then
 280         echo -n ${facet}
 281     else
 282         echo -n ${active}
 283     fi
 284 }
 285
 286 facet_active_host() {
 287     local facet=$1
 288     local active=`facet_active $facet`
 289     if [ "$facet" == client ]; then
 290         hostname
 291     else
 292         echo `facet_host $active`
 293     fi
 294 }
 295
 296 change_active() {
 297     local facet=$1
 298     failover=${facet}failover
 299     host=`facet_host $failover`
 300     [ -z "$host" ] && return
 301     curactive=`facet_active $facet`
 302     if [ -z "${curactive}" -o "$curactive" == "$failover" ] ; then
 303         eval export ${facet}active=$facet
 304     else
 305         eval export ${facet}active=$failover
 306     fi
 307     # save the active host for this facet
 308     activevar=${facet}active
 309     echo "$activevar=${!activevar}" > ./$activevar
 310 }
 311
 312 do_node() {
 313     HOST=$1
 314     shift
 315
 316     if $VERBOSE; then
 317         echo "CMD: $HOST $@"
 318         $PDSH $HOST $LCTL mark "$@" > /dev/null 2>&1 || :
 319     fi
 320     $PDSH $HOST "(PATH=$RLUSTRE/utils:$RLUSTRE/tests:/usr/sbin:/sbin:\$PATH; cd $RPWD; sh -c \"$@\")"
 321 }
 322
 323 mds_list() {
 324     seq -f mds%g $MDSCOUNT
 325 }
 326
 327 do_facet() {
 328     facet=$1
 329     shift
 330
 331     if [ "$facet" == "mds" ]; then
 332         for mds in `mds_list`; do
 333            HOST=`facet_active_host $mds`
 334            do_node $HOST $@
 335         done
 336     else
 337         HOST=`facet_active_host $facet`
 338         do_node $HOST $@
 339     fi
 340 }
 341
 342 add_facet() {
 343     local facet=$1
 344     shift
 345     echo "add facet $facet: `facet_host $facet`"
 346     do_lmc --add node --node ${facet}_facet $@ --timeout $TIMEOUT \
 347         --lustre_upcall $UPCALL --ptldebug $PTLDEBUG --subsystem $SUBSYSTEM
 348     do_lmc --add net --node ${facet}_facet --nid `facet_nid $facet` \
 349         --nettype $NETTYPE
 350 }
 351
 352 add_mds() {
 353     facet=$1
 354     shift
 355     rm -f ${facet}active
 356     add_facet $facet
 357     do_lmc --add mds --node ${facet}_facet --mds ${facet}_svc --fstype $FSTYPE --backfstype $MDS_BACKFSTYPE $*
 358 }
 359
 360 add_mdsfailover() {
 361     facet=$1
 362     shift
 363     add_facet ${facet}failover  --lustre_upcall $UPCALL
 364     do_lmc --add mds  --node ${facet}failover_facet --mds ${facet}_svc --fstype $FSTYPE --backfstype $MDS_BACKFSTYPE $*
 365 }
 366
 367 add_ost() {
 368     facet=$1
 369     shift
 370     rm -f ${facet}active
 371     add_facet $facet
 372     do_lmc --add ost --node ${facet}_facet --ost ${facet}_svc --fstype $FSTYPE --backfstype $OST_BACKFSTYPE $*
 373 }
 374
 375 del_ost() {
 376     facet=$1
 377     shift
 378     do_lmc --delete ost --node ${facet}_facet --ost ${facet}_svc $*
 379 }
 380 add_cmobd() {
 381     facet=$1
 382     cache_facet=$2
 383     master_facet=$3
 384     shift; shift; shift
 385     do_lmc --add cmobd --node mds1_facet --cmobd ${facet}_svc --cache_obd ${cache_facet} --master_obd ${master_facet}
 386 }
 387
 388 add_cobd() {
 389     facet=$1
 390     client_facet=$2
 391     master_facet=$3
 392     shift; shift; shift
 393     do_lmc --add cobd --node mds1_facet --cmobd ${facet}_svc --cache_obd ${cache_facet} --master_obd ${master_facet}
 394 }
 395
 396 deactivate_ost() {
 397     facet=$1
 398     shift
 399     do_lmc --deactivate ost --node ${facet}_facet --ost ${facet}_svc $*
 400 }
 401
 402 add_ostfailover() {
 403     facet=$1
 404     shift
 405     add_facet ${facet}failover
 406     do_lmc --add ost --failover --node ${facet}failover_facet --ost ${facet}_svc --fstype $FSTYPE --backfstype $OST_BACKFSTYPE $*
 407 }
 408
 409 add_lov() {
 410     lov=$1
 411     mds_facet=$2
 412     shift; shift
 413     do_lmc --add lov --mds ${mds_facet}_svc --lov $lov $*
 414 }
 415
 416 add_lov_to_lmv() {
 417     lov=$1
 418     lmv=$2
 419     shift; shift
 420     do_lmc --add lov --lmv $lmv --lov $lov $*
 421 }
 422
 423 add_lov_to_cache_master_lmv() {
 424     lov=$1
 425     cache_lmv=$2
 426     master_lmv=$3
 427     shift; shift; shift
 428     do_lmc --add lov --cachelmv $cache_lmv --masterlmv $master_lmv --lov $lov $*
 429 }
 430
 431 add_lmv() {
 432     lmv=$1
 433     shift;
 434     do_lmc --add lmv --lmv $lmv $*
 435 }
 436
 437 add_client() {
 438     facet=$1
 439     mds=$2
 440     shift; shift
 441     add_facet $facet --lustre_upcall $UPCALL
 442     do_lmc --add mtpt --node ${facet}_facet --clientoptions async --mds ${mds}_svc $*
 443 }
 444
 445 config_commit() {
 446     do_lmc --commit
 447 }
 448
 449 #######
 450 # General functions
 451
 452 check_network() {
 453    local NETWORK=0
 454    local WAIT=0
 455    local MAX=$2
 456    while [ $NETWORK -eq 0 ]; do
 457       ping -c 1 -w 3 $1 > /dev/null
 458       if [ $? -eq 0 ]; then
 459          NETWORK=1
 460       else
 461          WAIT=$((WAIT + 5))
 462          echo "waiting for $1, $((MAX - WAIT)) secs left"
 463          sleep 5
 464       fi
 465       if [ $WAIT -gt $MAX ]; then
 466          echo "Network not available"
 467          exit 1
 468       fi
 469    done
 470 }
 471 check_port() {
 472    while( !($DSH2 $1 "netstat -tna | grep -q $2") ) ; do
 473       sleep 9
 474    done
 475 }
 476
 477 no_dsh() {
 478    shift
 479    eval $@
 480 }
 481
 482 comma_list() {
 483     # the sed converts spaces to commas, but leaves the last space
 484     # alone, so the line doesn't end with a comma.
 485     echo "$*" | tr -s " " "\n" | sort -b -u | tr "\n" " " | sed 's/ \([^$]\)/,\1/g'
 486 }
 487
 488 absolute_path() {
 489    (cd `dirname $1`; echo $PWD/`basename $1`)
 490 }
 491
 492 ##################################
 493 # OBD_FAIL funcs
 494
 495 drop_request() {
 496 # OBD_FAIL_MDS_ALL_REQUEST_NET
 497     RC=0
 498     do_facet mds "echo 0x123 > /proc/sys/lustre/fail_loc"
 499     do_facet client "$1" || RC=$?
 500     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 501     return $RC
 502 }
 503
 504 drop_reply() {
 505 # OBD_FAIL_MDS_ALL_REPLY_NET
 506     RC=0
 507     do_facet mds "echo 0x122 > /proc/sys/lustre/fail_loc"
 508     do_facet client "$@" || RC=$?
 509     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 510     return $RC
 511 }
 512
 513 drop_reint_reply() {
 514 # OBD_FAIL_MDS_REINT_NET_REP
 515     RC=0
 516     do_facet mds "echo 0x119 > /proc/sys/lustre/fail_loc"
 517     do_facet client "$@" || RC=$?
 518     do_facet mds "echo 0 > /proc/sys/lustre/fail_loc"
 519     return $RC
 520 }
 521
 522 pause_bulk() {
 523 #define OBD_FAIL_OST_BRW_PAUSE_BULK      0x214
 524     RC=0
 525     do_facet ost "echo 0x214 > /proc/sys/lustre/fail_loc"
 526     do_facet client "$1" || RC=$?
 527     do_facet client "sync"
 528     do_facet ost "echo 0 > /proc/sys/lustre/fail_loc"
 529     return $RC
 530 }
 531
 532 drop_ldlm_cancel() {
 533 #define OBD_FAIL_LDLM_CANCEL             0x304
 534     RC=0
 535     do_facet client "echo 0x304 > /proc/sys/lustre/fail_loc"
 536     do_facet client "$@" || RC=$?
 537     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 538     return $RC
 539 }
 540
 541 drop_bl_callback() {
 542 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 543     RC=0
 544     do_facet client "echo 0x305 > /proc/sys/lustre/fail_loc"
 545     do_facet client "$@" || RC=$?
 546     do_facet client "echo 0 > /proc/sys/lustre/fail_loc"
 547     return $RC
 548 }
 549
 550 clear_failloc() {
 551     facet=$1
 552     pause=$2
 553     sleep $pause
 554     echo "clearing fail_loc on $facet"
 555     do_facet $facet "sysctl -w lustre.fail_loc=0"
 556 }
 557
 558 cancel_lru_locks() {
 559     $LCTL mark cancel_lru_locks
 560     for d in /proc/fs/lustre/ldlm/namespaces/$1*; do
 561         if [ -f $d/lru_size ]; then
 562             echo clear > $d/lru_size
 563             grep [0-9] $d/lock_unused_count
 564         fi
 565     done
 566 }
 567
 568
 569 pgcache_empty() {
 570     for a in /proc/fs/lustre/llite/*/dump_page_cache; do
 571         if [ `wc -l $a | awk '{print $1}'` -gt 1 ]; then
 572                 echo there is still data in page cache $a ?
 573                 cat $a;
 574                 return 1;
 575         fi
 576     done
 577     return 0
 578 }
 579
 580 ##################################
 581 # Test interface
 582 error() {
 583     echo "${TESTSUITE}: **** FAIL:" $@
 584     log "FAIL: $@"
 585     exit 1
 586 }
 587
 588 build_test_filter() {
 589         [ "$ONLY" ] && log "only running $ONLY"
 590         for O in $ONLY; do
 591             eval ONLY_${O}=true
 592         done
 593         [ "$EXCEPT$ALWAYS_EXCEPT" ] && log "skipping $EXCEPT $ALWAYS_EXCEPT"
 594         for E in $EXCEPT $ALWAYS_EXCEPT; do
 595             eval EXCEPT_${E}=true
 596         done
 597 }
 598
 599 _basetest() {
 600     echo $*
 601 }
 602
 603 basetest() {
 604     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 605 }
 606
 607 run_test() {
 608         export base=`basetest $1`
 609         if [ ! -z "$ONLY" ]; then
 610                  testname=ONLY_$1
 611                  if [ ${!testname}x != x ]; then
 612                      run_one $1 "$2"
 613                      return $?
 614                  fi
 615                  testname=ONLY_$base
 616                  if [ ${!testname}x != x ]; then
 617                      run_one $1 "$2"
 618                      return $?
 619                  fi
 620                  echo -n "."
 621                  return 0
 622         fi
 623         testname=EXCEPT_$1
 624         if [ ${!testname}x != x ]; then
 625                  echo "skipping excluded test $1"
 626                  return 0
 627         fi
 628         testname=EXCEPT_$base
 629         if [ ${!testname}x != x ]; then
 630                  echo "skipping excluded test $1 (base $base)"
 631                  return 0
 632         fi
 633         run_one $1 "$2"
 634
 635         return $?
 636 }
 637
 638 EQUALS="======================================================================"
 639 equals_msg() {
 640    msg="$@"
 641
 642    local suffixlen=$((${#EQUALS} - ${#msg}))
 643    [ $suffixlen -lt 5 ] && suffixlen=5
 644    printf '===== %s %.*s\n' "$msg" $suffixlen $EQUALS
 645 }
 646
 647 log() {
 648         echo "$*"
 649         lctl mark "$*" 2> /dev/null || true
 650 }
 651
 652 pass() {
 653         echo PASS $@
 654 }
 655
 656 run_one() {
 657     testnum=$1
 658     message=$2
 659     tfile=f${testnum}
 660     tdir=d${base}
 661
 662     # Pretty tests run faster.
 663     equals_msg $testnum: $message
 664
 665     BEFORE=`date +%s`
 666     log "== test $testnum: $message ============ `date +%H:%M:%S` ($BEFORE)"
 667     test_${testnum} || error "test_$testnum failed with $?"
 668     pass "($((`date +%s` - $BEFORE))s)"
 669 }
 670
 671 canonical_path() {
 672    (cd `dirname $1`; echo $PWD/`basename $1`)
 673 }
 674