Whamcloud - gitweb
LU-5810 tests: add client hostname to lctl mark
[fs/lustre-release.git] / lustre / tests / recovery-small.sh
index af5c209..a36eeb1 100755 (executable)
@@ -16,8 +16,8 @@ init_logging
 require_dsh_mds || exit 0
 
 # also long tests: 19, 21a, 21e, 21f, 23, 27
-#                                   1  2.5  2.5    4    4          (min)"
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="17  26a  26b    50   51     57"
+
+[ "$SLOW" = "no" ] && EXCEPT_SLOW=""
 
 [ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
 # bug number for skipped test:       LU-2547
@@ -196,6 +196,53 @@ test_10b() {
 }
 run_test 10b "re-send BL AST"
 
+test_10c() {
+       local before=$(date +%s)
+       local evict
+       local mdccli
+       local mdcpath
+       local conn_uuid
+       local workdir
+       local pid
+       local rc
+
+       workdir="${DIR}/${tdir}"
+       mkdir -p ${workdir} || error "can't create workdir $?"
+       stat ${workdir} > /dev/null ||
+               error "failed to stat ${workdir}: $?"
+       mdtidx=$($LFS getdirstripe -i ${workdir})
+       mdtname=$($LFS mdts ${workdir} | grep -e "^$mdtidx:" |
+                 awk '{sub("_UUID", "", $2); print $2;}')
+       #assume one client
+       mdccli=$($LCTL dl | grep "${mdtname}-mdc" | awk '{print $4;}')
+       conn_uuid=$($LCTL get_param -n mdc.${mdccli}.mds_conn_uuid)
+       mdcpath="mdc.${mdccli}.import=connection=${conn_uuid}"
+
+       drop_bl_callback_once "chmod 0777 ${workdir}" &
+       pid=$!
+
+       # let chmod blocked
+       sleep 1
+       # force client reconnect
+       $LCTL set_param "${mdcpath}"
+
+       # wait client reconnect
+       client_reconnect
+       wait $pid
+       rc=$?
+       evict=$($LCTL get_param mdc.${mdccli}.state |
+          awk -F"[ [,]" '/EVICTED]$/ { if (t<$4) {t=$4;} } END { print t }')
+
+       [[ $evict -le $before ]] ||
+               ( $LCTL get_param mdc.$FSNAME-MDT*.state;
+                   error "eviction happened: $EVICT before:$BEFORE" )
+
+       [ $rc -eq 0 ] || error "chmod must finished OK"
+       checkstat -v -p 0777 "${workdir}" ||
+               error "client checkstat failed: $?"
+}
+run_test 10c "re-send BL AST vs reconnect race (LU-5569)"
+
 test_10d() {
        local before=$(date +%s)
        local evict
@@ -231,6 +278,7 @@ test_10d() {
                (do_facet client $LCTL get_param osc.$FSNAME-OST0000*.state;
                    error "no eviction: $evict before:$before")
 
+       $LCTL set_param fail_err=0
        rm $TMP/$tfile
        umount_client $MOUNT2
 }
@@ -260,7 +308,7 @@ run_test 11 "wake up a thread waiting for completion after eviction (b=2460)"
 
 #b=2494
 test_12(){
-       $LCTL mark $MULTIOP $DIR/$tfile OS_c
+       $LCTL mark "$HOSTNAME: $MULTIOP $DIR/$tfile OS_c"
        do_facet $SINGLEMDS "lctl set_param fail_loc=0x115"
        clear_failloc $SINGLEMDS $((TIMEOUT * 2)) &
        multiop_bg_pause $DIR/$tfile OS_c ||
@@ -1948,8 +1996,8 @@ test_110g () {
 
        createmany -o $remote_dir/f 100
 
-       #define OBD_FAIL_MIGRATE_NET_REP        0x1702
-       do_facet mds$MDTIDX lctl set_param fail_loc=0x1702
+       #define OBD_FAIL_MIGRATE_NET_REP                0x1800
+       do_facet mds$MDTIDX lctl set_param fail_loc=0x1800
        $LFS migrate -m $MDTIDX $remote_dir || error "migrate failed"
        do_facet mds$MDTIDX lctl set_param fail_loc=0x0
 
@@ -2204,6 +2252,98 @@ test_113() {
 }
 run_test 113 "ldlm enqueue dropped reply should not cause deadlocks"
 
+T130_PID=0
+test_130_base() {
+       test_mkdir -p $DIR/$tdir
+
+       # Prevent interference from layout intent RPCs due to
+       # asynchronous writeback. These will be tested in 130c below.
+       do_nodes ${CLIENTS:-$HOSTNAME} sync
+
+       # get only LOOKUP lock on $tdir
+       cancel_lru_locks mdc
+       ls $DIR/$tdir/$tfile 2>/dev/null
+
+       # get getattr by fid on $tdir
+       #
+       # we need to race with unlink, unlink must complete before we will
+       # take a DLM lock, otherwise unlink will wait until getattr will
+       # complete; but later than getattr starts so that getattr found
+       # the object
+#define OBD_FAIL_MDS_INTENT_DELAY              0x160
+       set_nodes_failloc "$(mdts_nodes)" 0x80000160
+       stat $DIR/$tdir &
+       T130_PID=$!
+       sleep 2
+
+       rm -rf $DIR/$tdir
+
+       # drop the reply so that resend happens on an unlinked file.
+#define OBD_FAIL_MDS_LDLM_REPLY_NET     0x157
+       set_nodes_failloc "$(mdts_nodes)" 0x80000157
+}
+
+test_130a() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       test_130_base
+
+       wait $T130_PID || [ $? -eq 0 ] && error "stat should fail"
+       return 0
+}
+run_test 130a "enqueue resend on not existing file"
+
+test_130b() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       test_130_base
+       # let the reply to be dropped
+       sleep 10
+
+#define OBD_FAIL_SRV_ENOENT              0x217
+       set_nodes_failloc "$(mdts_nodes)" 0x80000217
+
+       wait $T130_PID || [ $? -eq 0 ] && error "stat should fail"
+       return 0
+}
+run_test 130b "enqueue resend on a stale inode"
+
+test_130c() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+
+       do_nodes ${CLIENTS:-$HOSTNAME} sync
+       echo XXX > $DIR/$tfile
+
+       cancel_lru_locks mdc
+
+       # Trigger writeback on $tfile.
+       #
+       # we need to race with unlink, unlink must complete before we will
+       # take a DLM lock, otherwise unlink will wait until intent will
+       # complete; but later than intent starts so that intent found
+       # the object
+#define OBD_FAIL_MDS_INTENT_DELAY              0x160
+       set_nodes_failloc "$(mdts_nodes)" 0x80000160
+       sync &
+       T130_PID=$!
+       sleep 2
+
+       rm $DIR/$tfile
+
+       # drop the reply so that resend happens on an unlinked file.
+#define OBD_FAIL_MDS_LDLM_REPLY_NET     0x157
+       set_nodes_failloc "$(mdts_nodes)" 0x80000157
+
+       # let the reply to be dropped
+       sleep 10
+
+#define OBD_FAIL_SRV_ENOENT              0x217
+       set_nodes_failloc "$(mdts_nodes)" 0x80000217
+
+       wait $T130_PID
+
+       return 0
+}
+run_test 130c "layout intent resend on a stale inode"
+
 complete $SECONDS
 check_and_cleanup_lustre
 exit_status