Whamcloud - gitweb
LU-14816 tests: mark sanity test_230d SLOW
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 82ba090..16d3553 100755 (executable)
@@ -77,8 +77,8 @@ if (( $LINUX_VERSION_CODE >= $(version_code 4.18.0) &&
        ALWAYS_EXCEPT+=" 411"
 fi
 
-#                                  5              12     8   12  (min)"
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="27m 60i 64b 68 71 115 135 136 300o"
+#                                  5              12     8   12  15   (min)"
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="27m 60i 64b 68 71 115 135 136 230d 300o"
 
 if [ "$mds1_FSTYPE" = "zfs" ]; then
        # bug number for skipped test:
@@ -3016,11 +3016,23 @@ test_27M() {
        test_mkdir $DIR/$tdir
 
        # Set default striping on directory
-       $LFS setstripe -C 4 $DIR/$tdir
+       local setcount=4
+       local stripe_opt
+
+       # if we run against a 2.12 server which lacks overstring support
+       # then the connect_flag will not report overstriping, even if client
+       # is 2.14+
+       if [[ $($LCTL get_param mdc.*.connect_flags) =~ overstriping ]]; then
+               stripe_opt="-C $setcount"
+       elif (( $OSTCOUNT >= $setcount )); then
+               stripe_opt="-c $setcount"
+       else
+               skip "server does not support overstriping"
+       fi
+       $LFS setstripe $stripe_opt $DIR/$tdir
 
        echo 1 > $DIR/$tdir/${tfile}.1
        local count=$($LFS getstripe -c $DIR/$tdir/${tfile}.1)
-       local setcount=4
        [ $count -eq $setcount ] ||
                error "(1) stripe count $count, should be $setcount"
 
@@ -3086,11 +3098,11 @@ test_27M() {
        # Clean up DOM layout
        $LFS setstripe -d $DIR/$tdir
 
+       save_layout_restore_at_exit $MOUNT
        # Now test that append striping works when layout is from root
        $LFS setstripe -c 2 $MOUNT
        # Make a special directory for this
        mkdir $DIR/${tdir}/${tdir}.2
-       stack_trap "$LFS setstripe -d $MOUNT" EXIT
 
        # Verify for normal file
        setcount=2
@@ -3709,6 +3721,28 @@ test_31q() {
 }
 run_test 31q "create striped directory on specific MDTs"
 
+#LU-14949
+test_31r() {
+       touch $DIR/$tfile.target
+       touch $DIR/$tfile.source
+
+       #OBD_FAIL_LLITE_OPEN_DELAY 0x1419
+       $LCTL set_param fail_loc=0x1419 fail_val=3
+       cat $DIR/$tfile.target &
+       CATPID=$!
+
+       # Guarantee open is waiting before we get here
+       sleep 1
+       mv $DIR/$tfile.source $DIR/$tfile.target
+
+       wait $CATPID
+       RC=$?
+       if [[ $RC -ne 0 ]]; then
+               error "open with cat failed, rc=$RC"
+       fi
+}
+run_test 31r "open-rename(replace) race"
+
 cleanup_test32_mount() {
        local rc=0
        trap 0
@@ -6097,6 +6131,47 @@ test_56d() {
 }
 run_test 56d "'lfs df -v' prints only configured devices"
 
+test_56e() {
+       err_enoent=2 # No such file or directory
+       err_eopnotsupp=95 # Operation not supported
+
+       enoent_mnt=/pmt1 # Invalid dentry. Path not present
+       notsup_mnt=/tmp  # Valid dentry, but Not a lustreFS
+
+       # Check for handling of path not exists
+       output=$($LFS df $enoent_mnt 2>&1)
+       ret=$?
+
+       fs=$(echo $output | awk -F: '{print $2}' | awk '{print $3}' | tr -d \')
+       [[ $fs = $enoent_mnt && $ret -eq $err_enoent ]] ||
+               error "expect failure $err_enoent, not $ret"
+
+       # Check for handling of non-Lustre FS
+       output=$($LFS df $notsup_mnt)
+       ret=$?
+
+       fs=$(echo $output | awk '{print $1}' | awk -F: '{print $2}')
+       [[ $fs = $notsup_mnt && $ret -eq $err_eopnotsupp ]] ||
+               error "expect success $err_eopnotsupp, not $ret"
+
+       # Check for multiple LustreFS argument
+       output=$($LFS df $MOUNT $MOUNT $MOUNT | grep -c "filesystem_summary:")
+       ret=$?
+
+       [[ $output -eq 3 && $ret -eq 0 ]] ||
+               error "expect success 3, not $output, rc = $ret"
+
+       # Check for correct non-Lustre FS handling among multiple
+       # LustreFS argument
+       output=$($LFS df $MOUNT $notsup_mnt $MOUNT |
+               grep -c "filesystem_summary:"; exit ${PIPESTATUS[0]})
+       ret=$?
+
+       [[ $output -eq 2 && $ret -eq $err_eopnotsupp ]] ||
+               error "expect success 2, not $output, rc = $ret"
+}
+run_test 56e "'lfs df' Handle non LustreFS & multiple LustreFS"
+
 NUMFILES=3
 NUMDIRS=3
 setup_56() {
@@ -7610,6 +7685,85 @@ test_56xf() {
 }
 run_test 56xf "FID is not lost during migration of a composite layout file"
 
+check_file_ost_range() {
+       local file="$1"
+       shift
+       local range="$*"
+       local -a file_range
+       local idx
+
+       file_range=($($LFS getstripe -y "$file" |
+               awk '/l_ost_idx:/ { print $NF }'))
+
+       if [[ "${#file_range[@]}" = 0 ]]; then
+               echo "No osts found for $file"
+               return 1
+       fi
+
+       for idx in "${file_range[@]}"; do
+               [[ " $range " =~ " $idx " ]] ||
+                       return 1
+       done
+
+       return 0
+}
+
+sub_test_56xg() {
+       local stripe_opt="$1"
+       local pool="$2"
+       shift 2
+       local pool_ostidx="$(seq $* | tr '\n' ' ')"
+
+       $LFS migrate $stripe_opt -p $pool $DIR/$tfile ||
+               error "Fail to migrate $tfile on $pool"
+       [[ "$($LFS getstripe -p $DIR/$tfile)" = "$pool" ]] ||
+               error "$tfile is not in pool $pool"
+       check_file_ost_range "$DIR/$tfile" $pool_ostidx ||
+               error "$tfile osts mismatch with pool $pool (osts $pool_ostidx)"
+}
+
+test_56xg() {
+       [[ $PARALLEL != "yes" ]] || skip "skip parallel run"
+       [[ $OSTCOUNT -ge 2 ]] || skip "needs >= 2 OSTs"
+       [[ $MDS1_VERSION -gt $(version_code 2.14.52) ]] ||
+               skip "Need MDS version newer than 2.14.52"
+
+       local -a pool_names=("${TESTNAME}_0" "${TESTNAME}_1" "${TESTNAME}_2")
+       local -a pool_ranges=("0 0" "1 1" "0 1")
+
+       # init pools
+       for i in "${!pool_names[@]}"; do
+               pool_add ${pool_names[$i]} ||
+                       error "pool_add failed (pool: ${pool_names[$i]})"
+               pool_add_targets ${pool_names[$i]} ${pool_ranges[$i]} ||
+                       error "pool_add_targets failed (pool: ${pool_names[$i]})"
+       done
+
+       # init the file to migrate
+       $LFS setstripe -c1 -i1 $DIR/$tfile ||
+               error "Unable to create $tfile on OST1"
+       dd if=/dev/urandom of=$DIR/$tfile bs=1M count=4 status=none ||
+               error "Unable to write on $tfile"
+
+       echo "1. migrate $tfile on pool ${pool_names[0]}"
+       sub_test_56xg "-c-1" "${pool_names[0]}" ${pool_ranges[0]}
+
+       echo "2. migrate $tfile on pool ${pool_names[2]}"
+       sub_test_56xg "-c-1 -S2M" "${pool_names[2]}" ${pool_ranges[2]}
+
+       echo "3. migrate $tfile on pool ${pool_names[1]}"
+       sub_test_56xg "-n -c-1" "${pool_names[1]}" ${pool_ranges[1]}
+
+       echo "4. migrate $tfile on pool ${pool_names[2]} with default stripe parameters"
+       sub_test_56xg "" "${pool_names[2]}" ${pool_ranges[2]}
+       echo
+
+       # Clean pools
+       destroy_test_pools ||
+               error "pool_destroy failed"
+}
+run_test 56xg "lfs migrate pool support"
+
 test_56y() {
        [ $MDS1_VERSION -lt $(version_code 2.4.53) ] &&
                skip "No HSM $(lustre_build_version $SINGLEMDS) MDS < 2.4.53"
@@ -9641,6 +9795,51 @@ test_77m() {
 }
 run_test 77m "Verify checksum_speed is correctly read"
 
+check_filefrag_77n() {
+       local nr_ext=0
+       local starts=()
+       local ends=()
+
+       while read extidx a b start end rest; do
+               if [[ "${extidx}" =~ ^[0-9]+: ]]; then
+                       nr_ext=$(( $nr_ext + 1 ))
+                       starts+=( ${start%..} )
+                       ends+=( ${end%:} )
+               fi
+       done < <( filefrag -sv $1 )
+
+       [[ $nr_ext -eq 2 ]] && [[ "${starts[-1]}" == $(( ${ends[0]} + 1 )) ]] && return 0
+       return 1
+}
+
+test_77n() {
+       [[ "$CKSUM_TYPES" =~ t10 ]] || skip "no T10 checksum support on osc"
+
+       touch $DIR/$tfile
+       $TRUNCATE $DIR/$tfile 0
+       dd if=/dev/urandom of=$DIR/$tfile bs=4k conv=notrunc count=1 seek=0
+       dd if=/dev/urandom of=$DIR/$tfile bs=4k conv=notrunc count=1 seek=2
+       check_filefrag_77n $DIR/$tfile ||
+               skip "$tfile blocks not contiguous around hole"
+
+       set_checksums 1
+       stack_trap "set_checksums $ORIG_CSUM" EXIT
+       stack_trap "set_checksum_type $ORIG_CSUM_TYPE" EXIT
+       stack_trap "rm -f $DIR/$tfile"
+
+       for algo in $CKSUM_TYPES; do
+               if [[ "$algo" =~ ^t10 ]]; then
+                       set_checksum_type $algo ||
+                               error "fail to set checksum type $algo"
+                       dd if=$DIR/$tfile of=/dev/null bs=12k count=1 iflag=direct ||
+                               error "fail to read $tfile with $algo"
+               fi
+       done
+       rm -f $DIR/$tfile
+       return 0
+}
+run_test 77n "Verify read from a hole inside contiguous blocks with T10PI"
+
 cleanup_test_78() {
        trap 0
        rm -f $DIR/$tfile
@@ -14184,31 +14383,30 @@ run_test 150bb "Verify fallocate modes both zero space"
 
 test_150c() {
        check_set_fallocate_or_skip
+       local striping="-c2"
 
        stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
        $LFS setstripe -c $OSTCOUNT -S1M $DIR/$tfile || error "setstripe failed"
        fallocate -l ${OSTCOUNT}m $DIR/$tfile || error "fallocate failed"
-       sync; sync_all_data
-       cancel_lru_locks $OSC
-       sleep 5
-       bytes=$(($(stat -c '%b * %B' $DIR/$tfile)))
-       want=$((OSTCOUNT * 1048576))
+       local bytes=$(($(stat -c '%b * %B' $DIR/$tfile)))
+       local want=$((OSTCOUNT * 1048576))
 
        # Must allocate all requested space, not more than 5% extra
        (( $bytes >= $want && $bytes < $want * 105 / 100 )) ||
                error "bytes $bytes is not $want"
 
        rm -f $DIR/$tfile
-       # verify fallocate on PFL file
-       $LFS setstripe -E1M -c1 -E16M -c3 -Eeof -c 4 $DIR/$tfile ||
+
+       echo "verify fallocate on PFL file"
+
+       [[ "x$DOM" == "xyes" ]] && striping="-L mdt"
+
+       $LFS setstripe -E1M $striping -E16M -c3 -Eeof -c 4 $DIR/$tfile ||
                error "Create $DIR/$tfile failed"
-       fallocate -l $((1048576 * 1024)) $DIR/$tfile ||
+       fallocate -l $((1048576 * 512)) $DIR/$tfile ||
                        error "fallocate failed"
-       sync; sync_all_data
-       cancel_lru_locks $OSC
-       sleep 5
-       local bytes=$(($(stat -c '%b * %B' $DIR/$tfile)))
-       local want=$((1024 * 1048576))
+       bytes=$(($(stat -c '%b * %B' $DIR/$tfile)))
+       want=$((512 * 1048576))
 
        # Must allocate all requested space, not more than 5% extra
        (( $bytes >= $want && $bytes < $want * 105 / 100 )) ||
@@ -14218,13 +14416,14 @@ run_test 150c "Verify fallocate Size and Blocks"
 
 test_150d() {
        check_set_fallocate_or_skip
+       local striping="-c2"
+
+       [[ "x$DOM" == "xyes" ]] && striping="-L mdt"
 
        stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
-       $LFS setstripe -c $OSTCOUNT -S1M $DIR/$tdir || error "setstripe failed"
+       $LFS setstripe -E1M $striping -E eof -c $OSTCOUNT -S1M $DIR/$tdir ||
+               error "setstripe failed"
        fallocate -o 1G -l ${OSTCOUNT}m $DIR/$tdir || error "fallocate failed"
-       sync; sync_all_data
-       cancel_lru_locks $OSC
-       sleep 5
        local bytes=$(($(stat -c '%b * %B' $DIR/$tdir)))
        local want=$((OSTCOUNT * 1048576))
 
@@ -14301,6 +14500,9 @@ test_150f() {
        check_set_fallocate_or_skip
        stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
 
+       [[ "x$DOM" == "xyes" ]] &&
+               $LFS setstripe -E1M -L mdt -E eof $DIR/$tfile
+
        echo "Verify fallocate punch: Range within the file range"
        yes 'A' | dd of=$DIR/$tfile bs=4096 count=5 ||
                error "dd failed for bs 4096 and count 5"
@@ -14376,8 +14578,13 @@ test_150g() {
        check_set_fallocate_or_skip
        stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
 
-       $LFS setstripe -c${OSTCOUNT} $DIR/$tfile ||
-               error "$LFS setstripe -c${OSTCOUNT} $DIR/$tfile failed"
+       if [[ "x$DOM" == "xyes" ]]; then
+               $LFS setstripe -E2M -L mdt -E eof -c${OSTCOUNT} $DIR/$tfile ||
+                       error "$LFS setstripe DoM + ${OSTCOUNT} OST failed"
+       else
+               $LFS setstripe -c${OSTCOUNT} $DIR/$tfile ||
+                       error "$LFS setstripe -c${OSTCOUNT} $DIR/$tfile failed"
+       fi
 
        # Get 100MB per OST of the available space to reduce run time
        # else 60% of the available space if we are running SLOW tests
@@ -15522,11 +15729,21 @@ test_160e() {
        # Create a user
        changelog_register || error "changelog_register failed"
 
-       # Delete a future user (expect fail)
        local MDT0=$(facet_svc $SINGLEMDS)
-       do_facet $SINGLEMDS $LCTL --device $MDT0 changelog_deregister "cl77"
-       local rc=$?
+       local rc
 
+       # No user (expect fail)
+       do_facet $SINGLEMDS $LCTL --device $MDT0 changelog_deregister
+       rc=$?
+       if [ $rc -eq 0 ]; then
+               error "Should fail without user"
+       elif [ $rc -ne 4 ]; then
+               error "changelog_deregister failed with $rc, expect 4(CMD_HELP)"
+       fi
+
+       # Delete a future user (expect fail)
+       do_facet $SINGLEMDS $LCTL --device $MDT0 changelog_deregister "cl77"
+       rc=$?
        if [ $rc -eq 0 ]; then
                error "Deleted non-existant user cl77"
        elif [ $rc -ne 2 ]; then
@@ -16255,7 +16472,7 @@ test_160o() {
 
        changelog_register --user test_160o -m unlnk+close+open ||
                error "changelog_register failed"
-       # drop server mask so it doesn't interfere
+
        do_facet $SINGLEMDS $LCTL --device $mdt \
                                changelog_register -u "Tt3_-#" &&
                error "bad symbols in name should fail"
@@ -16346,6 +16563,28 @@ test_160p() {
 }
 run_test 160p "Changelog orphan cleanup with no users"
 
+test_160q() {
+       local mdt="$(facet_svc $SINGLEMDS)"
+       local clu
+
+       [[ $PARALLEL != "yes" ]] || skip "skip parallel run"
+       remote_mds_nodsh && skip "remote MDS with nodsh"
+       [ $MDS1_VERSION -ge $(version_code 2.14.54) ] ||
+               skip "Need MDS version at least 2.14.54"
+
+       # set server mask to minimal value like server init does
+       changelog_chmask "MARK"
+       clu=$(do_facet $SINGLEMDS $LCTL --device $mdt changelog_register -n) ||
+               error "changelog_register failed"
+       # check effective mask again, should be treated as DEFMASK now
+       mask=$(do_facet $SINGLEMDS $LCTL get_param \
+                               mdd.$mdt.changelog_current_mask -n)
+       do_facet $SINGLEMDS $LCTL --device $mdt changelog_deregister $clu ||
+               error "changelog_deregister failed"
+       [[ $mask == *"HLINK"* ]] || error "mask is not DEFMASK as expected"
+}
+run_test 160q "changelog effective mask is DEFMASK if not set"
+
 test_161a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
 
@@ -18081,23 +18320,23 @@ test_208() {
        $MULTIOP $DIR/$tfile oO_CREAT:O_RDWR:eRE+eU || error "get lease error"
 
        echo "==== test 2: verify lease can be broken by upcoming open"
-       $MULTIOP $DIR/$tfile oO_RDONLY:eR_E-eUc &
+       $MULTIOP $DIR/$tfile oO_RDWR:eR_E-eUc &
        local PID=$!
        sleep 1
 
-       $MULTIOP $DIR/$tfile oO_RDONLY:c
+       $MULTIOP $DIR/$tfile oO_RDWR:c
        kill -USR1 $PID && wait $PID || error "break lease error"
 
        echo "==== test 3: verify lease can't be granted if an open already exists"
-       $MULTIOP $DIR/$tfile oO_RDONLY:_c &
+       $MULTIOP $DIR/$tfile oO_RDWR:_c &
        local PID=$!
        sleep 1
 
-       $MULTIOP $DIR/$tfile oO_RDONLY:eReUc && error "apply lease should fail"
+       $MULTIOP $DIR/$tfile oO_RDWR:eReUc && error "apply lease should fail"
        kill -USR1 $PID && wait $PID || error "open file error"
 
        echo "==== test 4: lease can sustain over recovery"
-       $MULTIOP $DIR/$tfile oO_RDONLY:eR_E+eUc &
+       $MULTIOP $DIR/$tfile oO_RDWR:eR_E+eUc &
        PID=$!
        sleep 1
 
@@ -18106,7 +18345,7 @@ test_208() {
        kill -USR1 $PID && wait $PID || error "lease broken over recovery"
 
        echo "==== test 5: lease broken can't be regained by replay"
-       $MULTIOP $DIR/$tfile oO_RDONLY:eR_E-eUc &
+       $MULTIOP $DIR/$tfile oO_RDWR:eR_E-eUc &
        PID=$!
        sleep 1
 
@@ -25048,7 +25287,7 @@ check_lfs_df() {
        [ "$1" == "blocks" ] && inodes= || inodes="-i"
 
        for count in {1..100}; do
-               cancel_lru_locks
+               do_rpc_nodes "$CLIENTS" cancel_lru_locks
                sync; sleep 0.2
 
                # read the lines of interest
@@ -27141,6 +27380,21 @@ test_902() {
 }
 run_test 902 "test short write doesn't hang lustre"
 
+# LU-14711
+test_903() {
+       $LFS setstripe -i 0 -c 1 $DIR/$tfile $DIR/${tfile}-2
+       echo "blah" > $DIR/${tfile}-2
+       dd if=/dev/zero of=$DIR/$tfile bs=1M count=6 conv=fsync
+       #define OBD_FAIL_OSC_SLOW_PAGE_EVICT 0x417
+       $LCTL set_param fail_loc=0x417 fail_val=20
+
+       mv $DIR/${tfile}-2 $DIR/$tfile # Destroys the big object
+       sleep 1 # To start the destroy
+       wait_destroy_complete 150 || error "Destroy taking too long"
+       cat $DIR/$tfile > /dev/null || error "Evicted"
+}
+run_test 903 "Test long page discard does not cause evictions"
+
 complete $SECONDS
 [ -f $EXT2_DEV ] && rm $EXT2_DEV || true
 check_and_cleanup_lustre