Whamcloud - gitweb
git://git.whamcloud.com / fs / lustre-release.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
b=12797
[fs/lustre-release.git] / lustre / tests / replay-dual.sh
diff --git a/lustre/tests/replay-dual.sh b/lustre/tests/replay-dual.sh
index 820a97b..026ffe2 100755 (executable)
--- a/lustre/tests/replay-dual.sh
+++ b/lustre/tests/replay-dual.sh
@@ -5,45 +5,31 @@ set -e
 # bug number:  6088 10124 10800
 ALWAYS_EXCEPT="8    15c   17    $REPLAY_DUAL_EXCEPT"
 
+SAVE_PWD=$PWD
 PTLDEBUG=${PTLDEBUG:--1}
 LUSTRE=${LUSTRE:-`dirname $0`/..}
+SETUP=${SETUP:-""}
+CLEANUP=${CLEANUP:-""}
+MOUNT_2=${MOUNT_2:-"yes"}
 . $LUSTRE/tests/test-framework.sh
 
 init_test_env $@
 
 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
 
-SETUP=${SETUP:-"setup"}
-CLEANUP=${CLEANUP:-"cleanup"}
 
 build_test_filter
 
-cleanup() {
-    stopall
-}
-
-if [ "$ONLY" == "cleanup" ]; then
-    sysctl -w lnet.debug=0
-    cleanup
-    exit
-fi
-
-setup() {
-    cleanup
-    formatall
-    setupall
-    mount_client $MOUNT2
-}
+cleanup_and_setup_lustre
 
-$SETUP
 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
 
 test_1() {
     touch $MOUNT1/a
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     touch $MOUNT2/b
 
-    fail mds
+    fail $SINGLEMDS
     checkstat $MOUNT2/a || return 1
     checkstat $MOUNT1/b || return 2
     rm $MOUNT2/a $MOUNT1/b
@@ -56,10 +42,10 @@ run_test 1 "|X| simple create"
 
 
 test_2() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     mkdir $MOUNT1/adir
 
-    fail mds
+    fail $SINGLEMDS
     checkstat $MOUNT2/adir || return 1
     rmdir $MOUNT2/adir
     checkstat $MOUNT2/adir && return 2
@@ -68,11 +54,11 @@ test_2() {
 run_test 2 "|X| mkdir adir"
 
 test_3() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     mkdir $MOUNT1/adir
     mkdir $MOUNT2/adir/bdir
 
-    fail mds
+    fail $SINGLEMDS
     checkstat $MOUNT2/adir      || return 1
     checkstat $MOUNT1/adir/bdir || return 2
     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
@@ -84,11 +70,11 @@ run_test 3 "|X| mkdir adir, mkdir adir/bdir "
 
 test_4() {
     mkdir $MOUNT1/adir
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     mkdir $MOUNT1/adir  && return 1
     mkdir $MOUNT2/adir/bdir
 
-    fail mds
+    fail $SINGLEMDS
     checkstat $MOUNT2/adir      || return 2
     checkstat $MOUNT1/adir/bdir || return 3
 
@@ -108,11 +94,11 @@ test_5() {
     # give multiop a chance to open
     sleep 1 
     rm -f $MOUNT1/a
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     kill -USR1 $pid
     wait $pid || return 1
 
-    fail mds
+    fail $SINGLEMDS
     [ -e $MOUNT2/a ] && return 2
     return 0
 }
@@ -128,22 +114,22 @@ test_6() {
     # give multiop a chance to open
     sleep 1 
     rm -f $MOUNT1/a
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     kill -USR1 $pid1
     wait $pid1 || return 1
 
-    fail mds
+    fail $SINGLEMDS
     kill -USR1 $pid2
     wait $pid2 || return 1
     [ -e $MOUNT2/a ] && return 2
     return 0
 }
-run_test 6 "open1, open2, unlink |X| close1 [fail mds] close2"
+run_test 6 "open1, open2, unlink |X| close1 [fail $SINGLEMDS] close2"
 
 test_8() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
-    fail mds
+    fail $SINGLEMDS
     checkstat $MOUNT2/$tfile || return 2
     rm $MOUNT1/$tfile || return 3
 
@@ -152,13 +138,13 @@ test_8() {
 run_test 8 "replay of resent request"
 
 test_9() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     mcreate $MOUNT1/$tfile-1
     mcreate $MOUNT2/$tfile-2
     # drop first reint reply
-    sysctl -w lustre.fail_loc=0x80000119
-    fail mds
-    sysctl -w lustre.fail_loc=0
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
+    fail $SINGLEMDS
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 
     rm $MOUNT1/$tfile-[1,2] || return 1
 
@@ -168,13 +154,13 @@ run_test 9 "resending a replayed create"
 
 test_10() {
     mcreate $MOUNT1/$tfile-1
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     munlink $MOUNT1/$tfile-1
     mcreate $MOUNT2/$tfile-2
     # drop first reint reply
-    sysctl -w lustre.fail_loc=0x80000119
-    fail mds
-    sysctl -w lustre.fail_loc=0
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
+    fail $SINGLEMDS
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 
     checkstat $MOUNT1/$tfile-1 && return 1
     checkstat $MOUNT1/$tfile-2 || return 2
@@ -185,23 +171,20 @@ test_10() {
 run_test 10 "resending a replayed unlink"
 
 test_11() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     mcreate $MOUNT1/$tfile-1
     mcreate $MOUNT2/$tfile-2
     mcreate $MOUNT1/$tfile-3
     mcreate $MOUNT2/$tfile-4
     mcreate $MOUNT1/$tfile-5
     # drop all reint replies for a while
-    sysctl -w lustre.fail_loc=0x0119
-    facet_failover mds
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x0119
+    # note that with this fail_loc set, facet_failover df will fail
+    facet_failover $SINGLEMDS
     #sleep for while, let both clients reconnect and timeout
     sleep $((TIMEOUT * 2))
-    sysctl -w lustre.fail_loc=0
-    while [ -z "$(ls $MOUNT1/$tfile-[1-5] 2>/dev/null)" ]; do
-       sleep 5
-       echo -n "."
-    done
-    ls $MOUNT1/$tfile-[1-5]
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
+
     rm $MOUNT1/$tfile-[1-5] || return 1
 
     return 0
@@ -209,17 +192,17 @@ test_11() {
 run_test 11 "both clients timeout during replay"
 
 test_12() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
 
     multiop $DIR/$tfile mo_c &
     MULTIPID=$!
     sleep 5
 
 #define OBD_FAIL_LDLM_ENQUEUE            0x302
-    sysctl -w lustre.fail_loc=0x80000302
-    facet_failover mds
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000302
+    facet_failover $SINGLEMDS
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
     df $MOUNT || return 1
-    sysctl -w lustre.fail_loc=0
 
     ls $DIR/$tfile
     kill -USR1 $MULTIPID || return 3
@@ -236,16 +219,16 @@ test_13() {
     MULTIPID=$!
     sleep 5
 
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
 
     kill -USR1 $MULTIPID || return 3
     wait $MULTIPID || return 4
 
     # drop close 
-    sysctl -w lustre.fail_loc=0x80000115
-    facet_failover mds
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000115
+    facet_failover $SINGLEMDS
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
     df $MOUNT || return 1
-    sysctl -w lustre.fail_loc=0
 
     ls $DIR/$tfile
     $CHECKSTAT -t file $DIR/$tfile || return 2
@@ -256,38 +239,38 @@ test_13() {
 run_test 13 "close resend timeout"
 
 test_14() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     createmany -o $MOUNT1/$tfile- 25
     createmany -o $MOUNT2/$tfile-2- 1
     createmany -o $MOUNT1/$tfile-3- 25
     umount $MOUNT2
 
-    facet_failover mds
-    # expect failover to fail
+    facet_failover $SINGLEMDS
+    # expect failover to fail due to missing client 2
     df $MOUNT && return 1
     sleep 1
 
     # first 25 files should have been replayed 
     unlinkmany $MOUNT1/$tfile- 25 || return 2
 
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail" 
     return 0
 }
 run_test 14 "timeouts waiting for lost client during replay"
 
 test_15() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     createmany -o $MOUNT1/$tfile- 25
     createmany -o $MOUNT2/$tfile-2- 1
     umount $MOUNT2
 
-    facet_failover mds
+    facet_failover $SINGLEMDS
     df $MOUNT || return 1
 
     unlinkmany $MOUNT1/$tfile- 25 || return 2
     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 }
 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
@@ -296,11 +279,11 @@ test_15a() {
     local ost_last_id=""
     local osc_last_id=""
     
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     echo "data" > "$MOUNT2/${tfile}-m2"
 
     umount $MOUNT2
-    facet_failover mds
+    facet_failover $SINGLEMDS
     df $MOUNT || return 1
     
     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
@@ -336,57 +319,57 @@ test_15a() {
            }
     done
 
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 }
 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 
 test_15b() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     echo "data" > "$MOUNT2/${tfile}-m2"
     umount $MOUNT2
 
     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
-    facet_failover mds
+    facet_failover $SINGLEMDS
 
     df $MOUNT || return 1
     do_facet ost1 "sysctl -w lustre.fail_loc=0"
     
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 }
 #CROW run_test 15b "multiple delayed OST clear orphans"
 
 test_15c() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     for ((i = 0; i < 2000; i++)); do
        echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
     done
     
     umount $MOUNT2
-    facet_failover mds
+    facet_failover $SINGLEMDS
 
     df $MOUNT || return 1
     
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 }
 run_test 15c "remove multiple OST orphans"
 
 test_16() {
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     createmany -o $MOUNT1/$tfile- 25
     createmany -o $MOUNT2/$tfile-2- 1
     umount $MOUNT2
 
-    facet_failover mds
+    facet_failover $SINGLEMDS
     sleep $TIMEOUT
-    facet_failover mds
+    facet_failover $SINGLEMDS
     df $MOUNT || return 1
 
     unlinkmany $MOUNT1/$tfile- 25 || return 2
 
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 
 }
@@ -407,7 +390,7 @@ test_17() {
 
     unlinkmany $MOUNT1/$tfile- 25 || return 2
 
-    zconf_mount `hostname` $MOUNT2
+    zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
     return 0
 
 }
@@ -424,7 +407,7 @@ test_18() { # bug 3822 - evicting client with enqueued lock
     statmany -s $MOUNT1/$tdir/f 1 500 &
     OPENPID=$!
     NOW=`date +%s`
-    do_facet mds sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
+    do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
     sleep 1
 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
@@ -438,9 +421,9 @@ test_18() { # bug 3822 - evicting client with enqueued lock
 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 
 test_19() { # Bug 10991 - resend of open request does not fail assertion.
-    replay_barrier mds
+    replay_barrier $SINGLEMDS
     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
-    fail mds
+    fail $SINGLEMDS
     checkstat $DIR2/${tfile}0 || return 2
     rm $DIR/${tfile}0 || return 3
 
@@ -448,10 +431,9 @@ test_19() { # Bug 10991 - resend of open request does not fail assertion.
 }
 run_test 19 "resend of open request"
 
-if [ "$ONLY" != "setup" ]; then
-   equals_msg test complete, cleaning up
-   SLEEP=$((`date +%s` - $NOW))
-   [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
-   $CLEANUP
-fi
-echo "$0: completed"
+equals_msg `basename $0`: test complete, cleaning up
+SLEEP=$((`date +%s` - $NOW))
+[ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
+check_and_cleanup_lustre
+[ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true
+
Lustre primary development and releases