lustre/tests/sanity-gns.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6 # e.g. ONLY="22 23" or ONLY="`seq 32 39`" or EXCEPT="31"
   7 set -e
   8
   9 ONLY=${ONLY:-"$*"}
  10 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-""}
  11 [ "$ALWAYS_EXCEPT$EXCEPT" ] && echo "Skipping tests: $ALWAYS_EXCEPT $EXCEPT"
  12
  13 SRCDIR=`dirname $0`
  14 export PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH
  15 export SECURITY=${SECURITY:-"null"}
  16
  17 TMP=${TMP:-/tmp}
  18 FSTYPE=${FSTYPE:-ext3}
  19
  20 CHECKSTAT=${CHECKSTAT:-"checkstat -v"}
  21 CREATETEST=${CREATETEST:-createtest}
  22 LFS=${LFS:-lfs}
  23 LSTRIPE=${LSTRIPE:-"$LFS setstripe"}
  24 LFIND=${LFIND:-"$LFS find"}
  25 LVERIFY=${LVERIFY:-ll_dirstripe_verify}
  26 LCTL=${LCTL:-lctl}
  27 MCREATE=${MCREATE:-mcreate}
  28 OPENFILE=${OPENFILE:-openfile}
  29 OPENUNLINK=${OPENUNLINK:-openunlink}
  30 TOEXCL=${TOEXCL:-toexcl}
  31 TRUNCATE=${TRUNCATE:-truncate}
  32 MUNLINK=${MUNLINK:-munlink}
  33 SOCKETSERVER=${SOCKETSERVER:-socketserver}
  34 SOCKETCLIENT=${SOCKETCLIENT:-socketclient}
  35 IOPENTEST1=${IOPENTEST1:-iopentest1}
  36 IOPENTEST2=${IOPENTEST2:-iopentest2}
  37 PTLDEBUG=${PTLDEBUG:-0}
  38
  39 . krb5_env.sh
  40
  41 if [ $UID -ne 0 ]; then
  42         RUNAS_ID="$UID"
  43         RUNAS=""
  44 else
  45         RUNAS_ID=${RUNAS_ID:-500}
  46         RUNAS=${RUNAS:-"runas -u $RUNAS_ID"}
  47 fi
  48
  49 if [ `using_krb5_sec $SECURITY` == 'y' ] ; then
  50     start_krb5_kdc || exit 1
  51     if [ $RUNAS_ID -ne $UID ]; then
  52         $RUNAS ./krb5_refresh_cache.sh || exit 2
  53     fi
  54 fi
  55
  56 export NAME=${NAME:-local}
  57
  58 SAVE_PWD=$PWD
  59
  60 clean() {
  61         echo -n "cln.."
  62         sh llmountcleanup.sh > /dev/null || exit 20
  63         I_MOUNTED=no
  64 }
  65 CLEAN=${CLEAN:-clean}
  66
  67 start() {
  68         echo -n "mnt.."
  69         sh llrmount.sh > /dev/null || exit 10
  70         I_MOUNTED=yes
  71         echo "done"
  72 }
  73 START=${START:-start}
  74
  75 log() {
  76         echo "$*"
  77         lctl mark "$*" 2> /dev/null || true
  78 }
  79
  80 trace() {
  81         log "STARTING: $*"
  82         strace -o $TMP/$1.strace -ttt $*
  83         RC=$?
  84         log "FINISHED: $*: rc $RC"
  85         return 1
  86 }
  87 TRACE=${TRACE:-""}
  88
  89 check_kernel_version() {
  90         VERSION_FILE=/proc/fs/lustre/kernel_version
  91         WANT_VER=$1
  92         [ ! -f $VERSION_FILE ] && echo "can't find kernel version" && return 1
  93         GOT_VER=`cat $VERSION_FILE`
  94         [ $GOT_VER -ge $WANT_VER ] && return 0
  95         log "test needs at least kernel version $WANT_VER, running $GOT_VER"
  96         return 1
  97 }
  98
  99 run_one() {
 100         if ! mount | grep -q $DIR; then
 101                 $START
 102         fi
 103         echo $PTLDEBUG >/proc/sys/portals/debug
 104         log "== test $1: $2"
 105         export TESTNAME=test_$1
 106         test_$1 || error "test_$1: exit with rc=$?"
 107         unset TESTNAME
 108         pass
 109         cd $SAVE_PWD
 110         $CLEAN
 111 }
 112
 113 build_test_filter() {
 114         for O in $ONLY; do
 115             eval ONLY_${O}=true
 116         done
 117         for E in $EXCEPT $ALWAYS_EXCEPT; do
 118             eval EXCEPT_${E}=true
 119         done
 120 }
 121
 122 _basetest() {
 123     echo $*
 124 }
 125
 126 basetest() {
 127     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 128 }
 129
 130 run_test() {
 131          base=`basetest $1`
 132          if [ "$ONLY" ]; then
 133                  testname=ONLY_$1
 134                  if [ ${!testname}x != x ]; then
 135                         run_one $1 "$2"
 136                         return $?
 137                  fi
 138                  testname=ONLY_$base
 139                  if [ ${!testname}x != x ]; then
 140                          run_one $1 "$2"
 141                          return $?
 142                  fi
 143                  echo -n "."
 144                  return 0
 145         fi
 146         testname=EXCEPT_$1
 147         if [ ${!testname}x != x ]; then
 148                  echo "skipping excluded test $1"
 149                  return 0
 150         fi
 151         testname=EXCEPT_$base
 152         if [ ${!testname}x != x ]; then
 153                  echo "skipping excluded test $1 (base $base)"
 154                  return 0
 155         fi
 156         run_one $1 "$2"
 157         return $?
 158 }
 159
 160 [ "$SANITYLOG" ] && rm -f $SANITYLOG || true
 161
 162 error() {
 163         log "FAIL: $@"
 164         if [ "$SANITYLOG" ]; then
 165                 echo "FAIL: $TESTNAME $@" >> $SANITYLOG
 166         else
 167                 exit 1
 168         fi
 169 }
 170
 171 pass() {
 172         echo PASS
 173 }
 174
 175 MOUNT="`mount | awk '/^'$NAME' .* lustre_lite / { print $3 }'`"
 176 if [ -z "$MOUNT" ]; then
 177         sh llmount.sh
 178         MOUNT="`mount | awk '/^'$NAME' .* lustre_lite / { print $3 }'`"
 179         [ -z "$MOUNT" ] && error "NAME=$NAME not mounted"
 180         I_MOUNTED=yes
 181 fi
 182
 183 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
 184
 185 DIR=${DIR:-$MOUNT}
 186 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
 187
 188 rm -rf $DIR/[Rdfs][1-9]*
 189 build_test_filter
 190
 191 echo preparing for tests involving mounts
 192 EXT2_DEV=${EXT2_DEV:-/tmp/SANITY.LOOP}
 193 touch $EXT2_DEV
 194 mke2fs -j -F $EXT2_DEV 8000 >/dev/null 2>&1
 195
 196 find_free_loop() {
 197     local LOOP_DEV=""
 198     test -b /dev/loop0 &&
 199         base="/dev/loop" || base="/dev/loop/"
 200
 201     for ((i=0;i<256;i++)); do
 202         test -b $base$i || continue
 203
 204         losetup $base$i >/dev/null 2>&1 || {
 205             LOOP_DEV="$base$i"
 206             break
 207         }
 208     done
 209     echo $LOOP_DEV
 210 }
 211
 212 setup_loop() {
 213     local LOOP_DEV=$1
 214     local LOOP_FILE=$2
 215
 216     dd if=/dev/zero of=$LOOP_FILE bs=1M count=10 2>/dev/null || return $?
 217
 218     losetup $LOOP_DEV $LOOP_FILE || {
 219         rc=$?
 220         cleanup_loop $LOOP_DEV $LOOP_FILE
 221         return $rc
 222     }
 223
 224     mke2fs -F $LOOP_DEV >/dev/null 2>&1 || {
 225         rc=$?
 226         cleanup_loop $LOOP_DEV $LOOP_FILE
 227         echo "cannot create test ext2 fs on $LOOP_DEV"
 228         return $?
 229     }
 230     return 0
 231 }
 232
 233 cleanup_loop() {
 234     local LOOP_DEV=$1
 235     local LOOP_FILE=$2
 236
 237     losetup -d $LOOP_DEV >/dev/null 2>&1
 238     rm -fr $LOOP_FILE >/dev/null 2>&1
 239 }
 240
 241 setup_upcall() {
 242     local INJECTION=""
 243     local UPCALL=$1
 244     local MODE=$2
 245     local LOG=$3
 246
 247     test "x$MODE" = "xDEADLOCK" &&
 248     INJECTION="touch \$MNTPATH/file"
 249
 250     cat > $UPCALL <<- EOF
 251 #!/bin/sh
 252
 253 MOUNT=\`which mount 2>/dev/null\`
 254 test "x\$MOUNT" = "x" && MOUNT="/bin/mount"
 255
 256 OPTIONS=\$1
 257 MNTPATH=\$2
 258
 259 test "x\$OPTIONS" = "x" || "x\$MNTPATH" = "x" &&
 260 exit 1
 261
 262 $INJECTION
 263 \$MOUNT \$OPTIONS \$MNTPATH > $LOG 2>&1
 264 exit \$?
 265 EOF
 266     chmod +x $UPCALL
 267     return $?
 268 }
 269
 270 cleanup_upcall() {
 271     local UPCALL=$1
 272     rm -fr $UPCALL
 273 }
 274
 275 show_log() {
 276     local LOG=$1
 277
 278     test -f $LOG && {
 279         echo "======================== upcall log ==========================="
 280         cat $LOG
 281         echo "==============================================================="
 282     } || {
 283         echo "upcall log file $LOG is not found"
 284     }
 285 }
 286
 287 check_gns() {
 288     local LOG="/tmp/gns-log"
 289     local UPCALL_PATH=""
 290
 291     local UPCALL=$1
 292     local OBJECT1=$2
 293     local OBJECT2=$3
 294     local TIMOUT=$4
 295     local TICK=$5
 296     local MODE=$6
 297
 298     rm -fr $LOG >/dev/null 2>&1
 299     UPCALL_PATH="/tmp/gns-upcall-$UPCALL.sh"
 300
 301     echo "generating upcall $UPCALL_PATH"
 302     setup_upcall $UPCALL_PATH $UPCALL $LOG || return $rc
 303     echo "======================== upcall script ==========================="
 304     cat $UPCALL_PATH 2>/dev/null || return $?
 305     echo "=================================================================="
 306
 307     echo "$UPCALL_PATH" > /proc/fs/lustre/llite/fs0/gns_upcall || return $?
 308     echo "upcall:  $(cat /proc/fs/lustre/llite/fs0/gns_upcall)"
 309
 310     case "$MODE" in
 311         GENERIC)
 312             echo -n "mount on open $OBJECT1/test_file1 (generic): "
 313             echo -n "test data" > $OBJECT1/test_file1 >/dev/null 2>&1 || return $?
 314             ;;
 315         CONCUR1)
 316             local i=1
 317             local nr=20
 318
 319             echo -n "mount on open $OBJECT1/test_file1 ($nr threads): "
 320             for ((;i<=$nr;i++)); do
 321                 echo -n "test data" > $OBJECT1/test_file$i >/dev/null 2>&1 &
 322             done
 323
 324             wait
 325             ;;
 326         CONCUR2)
 327             test "x$OBJECT2" = "x" && {
 328                 echo "not defined object2 for concurrent2 testing"
 329                 return 1
 330             }
 331             echo -n "mount on open $OBJECT1/test_file1: "
 332             echo -n "mount on open $OBJECT2/test_file1: "
 333             echo -n "test data" > $OBJECT1/test_file1 >/dev/null 2>&1 &
 334             echo -n "test data" > $OBJECT2/test_file1 >/dev/null 2>&1 &
 335             ;;
 336         *)
 337             echo "invalid testing mode $MODE"
 338             return 1
 339     esac
 340
 341     local ENTRY1="`basename $OBJECT1`"
 342     local ENTRY2="`basename $OBJECT2`"
 343
 344     cat /proc/mounts | grep -q "$ENTRY1" || {
 345         echo "fail"
 346         show_log $LOG
 347         cleanup_upcall $UPCALL_PATH
 348         return 1
 349     }
 350
 351     if test "x$MODE" = "xCONCUR2"; then
 352         cat /proc/mounts | grep -q "$ENTRY2" || {
 353             echo "fail"
 354             show_log $LOG
 355             cleanup_upcall $UPCALL_PATH
 356             return 1
 357         }
 358     fi
 359
 360     echo "success"
 361
 362     local sleep_time=$TIMOUT
 363     let sleep_time+=$TICK*2
 364     echo -n "waiting for umount ${sleep_time}s (timeout + tick*2): "
 365     sleep $sleep_time
 366
 367     cat /proc/mounts | grep -q "$ENTRY1" && {
 368         echo "failed"
 369         cleanup_upcall $UPCALL_PATH
 370         return 2
 371     }
 372
 373     if test "x$MODE" = "xCONCUR2"; then
 374         cat /proc/mounts | grep -q "$ENTRY2" && {
 375             echo "failed"
 376             cleanup_upcall $UPCALL_PATH
 377             return 2
 378         }
 379     fi
 380
 381     echo "success"
 382     cleanup_upcall $UPCALL_PATH
 383     return 0
 384 }
 385
 386 setup_object() {
 387     local OBJPATH=$1
 388     local OBJECT=$2
 389     local CONTENT=$3
 390
 391     mkdir -p $OBJPATH || return $?
 392     echo -n $CONTENT > $OBJPATH/$OBJECT || return $?
 393
 394     echo "======================== mount object ==========================="
 395     cat $OBJPATH/$OBJECT
 396     echo ""
 397     echo "================================================================="
 398
 399     chmod u+s $OBJPATH
 400     return $?
 401 }
 402
 403 cleanup_object() {
 404     local OBJPATH=$1
 405
 406     chmod u-s $OBJPATH >/dev/null 2>&1
 407     umount $OBJPATH >/dev/null 2>&1
 408     rm -fr $OBJPATH >/dev/null 2>&1
 409 }
 410
 411 setup_gns() {
 412     local OBJECT=$1
 413     local TIMOUT=$2
 414     local TICK=$3
 415
 416     echo "$OBJECT" > /proc/fs/lustre/llite/fs0/gns_object_name || error
 417     echo "$TIMOUT" > /proc/fs/lustre/llite/fs0/gns_timeout || error
 418     echo "$TICK" > /proc/fs/lustre/llite/fs0/gns_tick || error
 419
 420     echo ""
 421     echo "timeout: $(cat /proc/fs/lustre/llite/fs0/gns_timeout)s"
 422     echo "object:  $(cat /proc/fs/lustre/llite/fs0/gns_object_name)"
 423     echo "tick:    $(cat /proc/fs/lustre/llite/fs0/gns_tick)s"
 424     echo ""
 425
 426 }
 427
 428 test_1a() {
 429     local LOOP_DEV=$(find_free_loop 2>/dev/null)
 430     local UPCALL="/tmp/gns-upcall.sh"
 431     local LOOP_FILE="/tmp/gns_loop_1a"
 432     local OBJECT=".mntinfo"
 433     local TIMOUT=5
 434     local TICK=1
 435
 436     test "x$LOOP_DEV" != "x" && test -b $LOOP_DEV ||
 437         error "can't find free loop device"
 438
 439     echo "preparing loop device $LOOP_DEV <-> $LOOP_FILE..."
 440     cleanup_loop $LOOP_DEV $LOOP_FILE
 441     setup_loop $LOOP_DEV $LOOP_FILE || error
 442
 443     echo "setting up GNS timeouts and mount object..."
 444     setup_gns $OBJECT $TIMOUT $TICK || error
 445
 446     echo "preparing mount object at $DIR/gns_test_1a/$OBJECT..."
 447     setup_object $DIR/gns_test_1a $OBJECT "-t ext2 $LOOP_DEV" || error
 448
 449     echo ""
 450     echo "testing GNS with GENERIC upcall 3 times on the row"
 451     for ((i=0;i<3;i++)); do
 452         check_gns GENERIC $DIR/gns_test_1a $DIR/gns_test_1a $TIMOUT $TICK GENERIC || {
 453             cleanup_object $DIR/gns_test_1a
 454             cleanup_loop $LOOP_DEV $LOOP_FILE
 455             error
 456         }
 457     done
 458
 459     cleanup_object $DIR/gns_test_1a
 460     cleanup_loop $LOOP_DEV $LOOP_FILE
 461 }
 462
 463 run_test 1a " general GNS test - mount/umount (GENERIC) ================"
 464
 465 test_2a() {
 466     local LOOP_DEV=$(find_free_loop 2>/dev/null)
 467     local UPCALL="/tmp/gns-upcall.sh"
 468     local LOOP_FILE="/tmp/gns_loop_2a"
 469     local OBJECT=".mntinfo"
 470     local TIMOUT=5
 471     local TICK=1
 472
 473     test "x$LOOP_DEV" != "x" && test -b $LOOP_DEV ||
 474         error "can't find free loop device"
 475
 476     echo "preparing loop device $LOOP_DEV <-> $LOOP_FILE..."
 477     cleanup_loop $LOOP_DEV $LOOP_FILE
 478     setup_loop $LOOP_DEV $LOOP_FILE || error
 479
 480     echo "setting up GNS timeouts and mount object..."
 481     setup_gns $OBJECT $TIMOUT $TICK || error
 482
 483     echo "preparing mount object at $DIR/gns_test_2a/$OBJECT..."
 484     setup_object $DIR/gns_test_2a $OBJECT "-t ext2 $LOOP_DEV" || error
 485
 486     echo ""
 487     echo "testing GNS with DEADLOCK upcall 3 times on the row"
 488     for ((i=0;i<3;i++)); do
 489         check_gns DEADLOCK $DIR/gns_test_2a $DIR/gns_test_2a $TIMOUT $TICK GENERIC || {
 490             cleanup_object $DIR/gns_test_2a
 491             cleanup_loop $LOOP_DEV $LOOP_FILE
 492             error
 493         }
 494     done
 495
 496     cleanup_object $DIR/gns_test_2a
 497     cleanup_loop $LOOP_DEV $LOOP_FILE
 498 }
 499
 500 run_test 2a " general GNS test - mount/umount (DEADLOCK) ==============="
 501
 502 test_3a() {
 503     local LOOP_DEV=$(find_free_loop 2>/dev/null)
 504     local UPCALL="/tmp/gns-upcall.sh"
 505     local LOOP_FILE="/tmp/gns_loop_3a"
 506     local OBJECT=".mntinfo"
 507     local TIMOUT=5
 508     local TICK=1
 509
 510     test "x$LOOP_DEV" != "x" && test -b $LOOP_DEV ||
 511         error "can't find free loop device"
 512
 513     echo "preparing loop device $LOOP_DEV <-> $LOOP_FILE..."
 514     cleanup_loop $LOOP_DEV $LOOP_FILE
 515     setup_loop $LOOP_DEV $LOOP_FILE || error
 516
 517     echo "setting up GNS timeouts and mount object..."
 518     setup_gns $OBJECT $TIMOUT $TICK || error
 519
 520     echo "preparing mount object at $DIR/gns_test_3a/$OBJECT..."
 521     setup_object $DIR/gns_test_3a $OBJECT "-t ext2 $LOOP_DEV" || error
 522
 523     echo ""
 524     echo "testing GNS with DEADLOCK upcall 4 times on the row"
 525     local i=0
 526
 527     for ((;i<4;i++)); do
 528         local MODE="GENERIC"
 529
 530         test $(($i%2)) -eq 1 && MODE="DEADLOCK"
 531
 532         check_gns $MODE $DIR/gns_test_3a $DIR/gns_test_3a $TIMOUT $TICK GENERIC || {
 533             cleanup_object $DIR/gns_test_3a
 534             cleanup_loop $LOOP_DEV $LOOP_FILE
 535             error
 536         }
 537     done
 538
 539     cleanup_object $DIR/gns_test_3a
 540     cleanup_loop $LOOP_DEV $LOOP_FILE
 541 }
 542
 543 run_test 3a " general GNS test - mount/umount (GENERIC/DEADLOCK) ========"
 544
 545 test_4a() {
 546     local LOOP_DEV=$(find_free_loop 2>/dev/null)
 547     local UPCALL="/tmp/gns-upcall.sh"
 548     local LOOP_FILE="/tmp/gns_loop_4a"
 549     local OBJECT=".mntinfo"
 550     local TIMOUT=5
 551     local TICK=1
 552
 553     test "x$LOOP_DEV" != "x" && test -b $LOOP_DEV ||
 554         error "can't find free loop device"
 555
 556     echo "preparing loop device $LOOP_DEV <-> $LOOP_FILE..."
 557     cleanup_loop $LOOP_DEV $LOOP_FILE
 558     setup_loop $LOOP_DEV $LOOP_FILE || error
 559
 560     echo "setting up GNS timeouts and mount object..."
 561     setup_gns $OBJECT $TIMOUT $TICK || error
 562
 563     echo "preparing mount object at $DIR/gns_test_4a/$OBJECT..."
 564     setup_object $DIR/gns_test_4a $OBJECT "-t ext2 $LOOP_DEV" || error
 565
 566     echo ""
 567     echo "testing GNS with DEADLOCK upcall 4 times on the row"
 568     local i=0
 569
 570     for ((;i<4;i++)); do
 571         local MODE="GENERIC"
 572
 573         test $(($i%2)) -eq 1 && MODE="DEADLOCK"
 574
 575         check_gns $MODE $DIR/gns_test_4a $DIR/gns_test_4a $TIMOUT $TICK CONCUR1 || {
 576             cleanup_object $DIR/gns_test_4a
 577             cleanup_loop $LOOP_DEV $LOOP_FILE
 578             error
 579         }
 580     done
 581
 582     cleanup_object $DIR/gns_test_4a
 583     cleanup_loop $LOOP_DEV $LOOP_FILE
 584 }
 585
 586 run_test 4a " general GNS test - concurrent mount ======================="
 587
 588 test_5a() {
 589     local LOOP_DEV=$(find_free_loop 2>/dev/null)
 590     local UPCALL="/tmp/gns-upcall.sh"
 591     local LOOP_FILE="/tmp/gns_loop_5a"
 592     local OBJECT=".mntinfo"
 593     local TIMOUT=5
 594     local TICK=1
 595
 596     test "x$LOOP_DEV" != "x" && test -b $LOOP_DEV ||
 597         error "can't find free loop device"
 598
 599     echo "preparing loop device $LOOP_DEV <-> $LOOP_FILE..."
 600     cleanup_loop $LOOP_DEV $LOOP_FILE
 601     setup_loop $LOOP_DEV $LOOP_FILE || error
 602
 603     echo "setting up GNS timeouts and mount object..."
 604     setup_gns $OBJECT $TIMOUT $TICK || error
 605
 606     echo "preparing mount object at $DIR/gns_test_5a1/$OBJECT..."
 607     setup_object $DIR/gns_test_5a1 $OBJECT "-t ext2 $LOOP_DEV" || error
 608
 609     echo "preparing mount object at $DIR/gns_test_5a2/$OBJECT..."
 610     setup_object $DIR/gns_test_5a2 $OBJECT "-t ext2 $LOOP_DEV" || error
 611
 612     echo ""
 613     echo "testing GNS with GENERIC upcall"
 614     check_gns GENERIC $DIR/gns_test_5a1 $DIR/gns_test_5a2 $TIMOUT $TICK CONCUR2 || {
 615         cleanup_object $DIR/gns_test_5a1
 616         cleanup_object $DIR/gns_test_5a2
 617         cleanup_loop $LOOP_DEV $LOOP_FILE
 618         error
 619     }
 620
 621     cleanup_object $DIR/gns_test_5a1
 622     cleanup_object $DIR/gns_test_5a2
 623     cleanup_loop $LOOP_DEV $LOOP_FILE
 624 }
 625
 626 run_test 5a " general GNS test - concurrent mount of 2 GNS mounts ======="
 627
 628 TMPDIR=$OLDTMPDIR
 629 TMP=$OLDTMP
 630 HOME=$OLDHOME
 631
 632 log "cleanup: ==========================================================="
 633 if [ "`mount | grep ^$NAME`" ]; then
 634         rm -rf $DIR/[Rdfs][1-9]*
 635         if [ "$I_MOUNTED" = "yes" ]; then
 636                 sh llmountcleanup.sh || error
 637         fi
 638 fi
 639
 640 echo '=========================== finished ==============================='
 641 [ -f "$SANITYLOG" ] && cat $SANITYLOG && exit 1 || true