Whamcloud - gitweb
LU-13705 utils: improve llstat/llobdstat usability
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 7d68c91..737e16d 100755 (executable)
@@ -1641,7 +1641,7 @@ test_27ce() {
        [[ $($LCTL get_param mdc.*.import) =~ connect_flags.*overstriping ]] ||
                skip "server does not support overstriping"
        # We do one more stripe than we have OSTs
-       [ $OSTCOUNT -ge 159 ] || large_xattr_enabled ||
+       [ $OSTCOUNT -lt 159 ] || large_xattr_enabled ||
                skip_env "ea_inode feature disabled"
 
        test_mkdir -p $DIR/$tdir
@@ -2448,7 +2448,7 @@ test_27Cb() {
 
        test_mkdir -p $DIR/$tdir
        local setcount=$(($OSTCOUNT * 2))
-       [ $setcount -ge 160 ] || large_xattr_enabled ||
+       [ $setcount -lt 160 ] || large_xattr_enabled ||
                skip_env "ea_inode feature disabled"
 
        $LFS setstripe -C $setcount $DIR/$tdir/$tfile ||
@@ -2474,7 +2474,7 @@ test_27Cc() {
        test_mkdir -p $DIR/$tdir
        local setcount=$(($OSTCOUNT - 1))
 
-       [ $setcount -ge 160 ] || large_xattr_enabled ||
+       [ $setcount -lt 160 ] || large_xattr_enabled ||
                skip_env "ea_inode feature disabled"
 
        $LFS setstripe -C $setcount $DIR/$tdir/$tfile ||
@@ -2554,7 +2554,7 @@ test_27Cf() {
        test_mkdir -p $DIR/$tdir
 
        local setcount=$(($OSTCOUNT * 2))
-       [ $setcount -ge 160 ] || large_xattr_enabled ||
+       [ $setcount -lt 160 ] || large_xattr_enabled ||
                skip_env "ea_inode feature disabled"
 
        $LFS setstripe  -C $setcount $DIR/$tdir/ ||
@@ -3954,63 +3954,57 @@ test_33c() {
        local write_bytes
        local all_zeros
 
-       all_zeros=:
-       rm -fr $DIR/$tdir
+       all_zeros=true
        test_mkdir $DIR/$tdir
        # Read: 0, Write: 4, create/destroy: 2/0, stat: 1, punch: 0
 
-        sync
-        for ostnum in $(seq $OSTCOUNT); do
-                # test-framework's OST numbering is one-based, while Lustre's
-                # is zero-based
-                ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
-                # Parsing llobdstat's output sucks; we could grep the /proc
-                # path, but that's likely to not be as portable as using the
-                # llobdstat utility.  So we parse lctl output instead.
-                write_bytes=$(do_facet ost$ostnum lctl get_param -n \
-                        obdfilter/$ostname/stats |
-                        awk '/^write_bytes/ {print $7}' )
-                echo "baseline_write_bytes@$OSTnum/$ostname=$write_bytes"
-                if (( ${write_bytes:-0} > 0 ))
-                then
-                        all_zeros=false
-                        break;
-                fi
-        done
+       sync
+       for ostnum in $(seq $OSTCOUNT); do
+               # test-framework's OST numbering is one-based, while Lustre's
+               # is zero-based
+               ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
+               # check if at least some write_bytes stats are counted
+               write_bytes=$(do_facet ost$ostnum lctl get_param -n \
+                             obdfilter.$ostname.stats |
+                             awk '/^write_bytes/ {print $7}' )
+               echo "baseline_write_bytes@ost$ostnum/$ostname=$write_bytes"
+               if (( ${write_bytes:-0} > 0 )); then
+                       all_zeros=false
+                       break
+               fi
+       done
 
-        $all_zeros || return 0
+       $all_zeros || return 0
 
        # Write four bytes
        echo foo > $DIR/$tdir/bar
        # Really write them
        sync
 
-        # Total up write_bytes after writing.  We'd better find non-zeros.
-        for ostnum in $(seq $OSTCOUNT); do
-                ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
-                write_bytes=$(do_facet ost$ostnum lctl get_param -n \
-                        obdfilter/$ostname/stats |
-                        awk '/^write_bytes/ {print $7}' )
-                echo "write_bytes@$OSTnum/$ostname=$write_bytes"
-                if (( ${write_bytes:-0} > 0 ))
-                then
-                        all_zeros=false
-                        break;
-                fi
-        done
+       # Total up write_bytes after writing.  We'd better find non-zeros.
+       for ostnum in $(seq $OSTCOUNT); do
+               ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
+               write_bytes=$(do_facet ost$ostnum lctl get_param -n \
+                             obdfilter/$ostname/stats |
+                             awk '/^write_bytes/ {print $7}' )
+               echo "write_bytes@ost$ostnum/$ostname=$write_bytes"
+               if (( ${write_bytes:-0} > 0 )); then
+                       all_zeros=false
+                       break
+               fi
+       done
 
-        if $all_zeros
-        then
-                for ostnum in $(seq $OSTCOUNT); do
-                        ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
-                        echo "Check that write_bytes is present in obdfilter/*/stats:"
-                        do_facet ost$ostnum lctl get_param -n \
-                                obdfilter/$ostname/stats
-                done
-                error "OST not keeping write_bytes stats (b22312)"
-        fi
+       if $all_zeros; then
+               for ostnum in $(seq $OSTCOUNT); do
+                       ostname=$(printf "$FSNAME-OST%.4x" $((ostnum - 1)))
+                       echo "Check write_bytes is in obdfilter.*.stats:"
+                       do_facet ost$ostnum lctl get_param -n \
+                               obdfilter.$ostname.stats
+               done
+               error "OST not keeping write_bytes stats (b=22312)"
+       fi
 }
-run_test 33c "test llobdstat and write_bytes"
+run_test 33c "test write_bytes stats"
 
 test_33d() {
        [[ $MDSCOUNT -lt 2 ]] && skip_env "needs >= 2 MDTs"
@@ -5242,17 +5236,14 @@ test_44A() { # was test_44
 run_test 44A "zero length read from a sparse stripe"
 
 test_44a() {
-       local nstripe=$($LCTL lov_getconfig $DIR | grep default_stripe_count: |
-               awk '{ print $2 }')
+       local nstripe=$($LFS getstripe -c -d $DIR)
        [ -z "$nstripe" ] && skip "can't get stripe info"
        [[ $nstripe -gt $OSTCOUNT ]] &&
-               skip "Wrong default_stripe_count: $nstripe OSTCOUNT: $OSTCOUNT"
+               skip "Wrong default stripe_count: $nstripe OSTCOUNT: $OSTCOUNT"
 
-       local stride=$($LCTL lov_getconfig $DIR | grep default_stripe_size: |
-               awk '{ print $2 }')
+       local stride=$($LFS getstripe -S -d $DIR)
        if [[ $nstripe -eq 0 || $nstripe -eq -1 ]]; then
-               nstripe=$($LCTL lov_getconfig $DIR | grep obd_count: |
-                       awk '{ print $2 }')
+               nstripe=$($LFS df $DIR | grep OST: | wc -l)
        fi
 
        OFFSETS="0 $((stride/2)) $((stride-1))"
@@ -7759,6 +7750,38 @@ test_56ca() {
 }
 run_test 56ca "check lfs find --mirror-count|-N and --mirror-state"
 
+test_56da() { # LU-14179
+       local path=$DIR/$tdir
+
+       test_mkdir $path
+       cd $path
+
+       local longdir=$(str_repeat 'a' 255)
+
+       for i in {1..15}; do
+               path=$path/$longdir
+               test_mkdir $longdir
+               cd $longdir
+       done
+
+       local len=${#path}
+       local lastdir=$(str_repeat 'a' $((4096 - 1 - $len - 1)))
+
+       test_mkdir $lastdir
+       cd $lastdir
+       # PATH_MAX-1
+       (( ${#PWD} == 4095 )) || error "bad PWD length ${#PWD}, expect 4095"
+
+       # NAME_MAX
+       touch $(str_repeat 'f' 255)
+
+       $LFS find $DIR/$tdir --type d |& grep "lfs find: error" &&
+               error "lfs find reported an error"
+
+       rm -rf $DIR/$tdir
+}
+run_test 56da "test lfs find with long paths"
+
 test_57a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        # note test will not do anything if MDS is not local
@@ -8020,6 +8043,25 @@ test_60e() {
 }
 run_test 60e "no space while new llog is being created"
 
+test_60f() {
+       local old_path=$($LCTL get_param -n debug_path)
+
+       stack_trap "$LCTL set_param debug_path=$old_path"
+       stack_trap "rm -f $TMP/$tfile*"
+       rm -f $TMP/$tfile* 2> /dev/null
+       #define OBD_FAIL_PTLRPC_DUMP_LOG         0x50e
+       $LCTL set_param debug_path=$TMP/$tfile fail_loc=0x8000050e
+       test_mkdir $DIR/$tdir
+       # retry in case the open is cached and not released
+       for (( i = 0; i < 100 && $(ls $TMP/$tfile* | wc -l) == 0; i++ )); do
+               echo $i > $DIR/$tdir/$tfile.$i && cat $DIR/$tdir/$tfile.$i
+               sleep 0.1
+       done
+       ls $TMP/$tfile*
+       (( $(ls $TMP/$tfile* | wc -l) > 0 )) || error "$TMP/$tfile not dumped"
+}
+run_test 60f "change debug_path works"
+
 test_60g() {
        local pid
        local i
@@ -9587,18 +9629,9 @@ run_test 100 "check local port using privileged port ==========="
 
 function get_named_value()
 {
-    local tag
-
-    tag=$1
-    while read ;do
-        line=$REPLY
-        case $line in
-        $tag*)
-            echo $line | sed "s/^$tag[ ]*//"
-            break
-            ;;
-        esac
-    done
+    local tag=$1
+
+    grep -w "$tag" | sed "s/^$tag  *\([0-9]*\)  *.*/\1/"
 }
 
 export CACHE_MAX=$($LCTL get_param -n llite.*.max_cached_mb |
@@ -9617,10 +9650,10 @@ test_101a() {
        local nreads=10000
        local cache_limit=32
 
-       $LCTL set_param -n osc.*-osc*.rpc_stats 0
+       $LCTL set_param -n osc.*-osc*.rpc_stats=0
        trap cleanup_101a EXIT
-       $LCTL set_param -n llite.*.read_ahead_stats 0
-       $LCTL set_param -n llite.*.max_cached_mb $cache_limit
+       $LCTL set_param -n llite.*.read_ahead_stats=0
+       $LCTL set_param -n llite.*.max_cached_mb=$cache_limit
 
        #
        # randomly read 10000 of 64K chunks from file 3x 32MB in size
@@ -9630,7 +9663,7 @@ test_101a() {
 
        discard=0
        for s in $($LCTL get_param -n llite.*.read_ahead_stats |
-               get_named_value 'read but discarded' | cut -d" " -f1); do
+                  get_named_value 'read.but.discarded'); do
                        discard=$(($discard + $s))
        done
        cleanup_101a
@@ -9691,8 +9724,7 @@ ra_check_101() {
        local discard_limit=$((((STRIDE_LENGTH - 1)*3/(STRIDE_LENGTH*OSTCOUNT))* \
                             (STRIDE_LENGTH*OSTCOUNT - STRIDE_LENGTH)))
        DISCARD=$($LCTL get_param -n llite.*.read_ahead_stats |
-                       get_named_value 'read but discarded' |
-                       cut -d" " -f1 | calc_total)
+                 get_named_value 'read.but.discarded' | calc_total)
        if [[ $DISCARD -gt $discard_limit ]]; then
                $LCTL get_param llite.*.read_ahead_stats
                error "Too many ($DISCARD) discarded pages with size (${READ_SIZE})"
@@ -9725,7 +9757,7 @@ test_101b() {
                local READ_COUNT=$((STRIPE_SIZE/BSIZE))
                local STRIDE_LENGTH=$((STRIDE_SIZE/BSIZE))
                local OFFSET=$((STRIPE_SIZE/BSIZE*(OSTCOUNT - 1)))
-               $LCTL set_param -n llite.*.read_ahead_stats 0
+               $LCTL set_param -n llite.*.read_ahead_stats=0
                $READS -f $DIR/$tfile  -l $STRIDE_LENGTH -o $OFFSET \
                              -s $FILE_LENGTH -b $STRIPE_SIZE -a $READ_COUNT -n $ITERATION
                cancel_lru_locks osc
@@ -9748,7 +9780,7 @@ test_101c() {
        setup_test101bc $STRIPE_SIZE $FILE_LENGTH
 
        cancel_lru_locks osc
-       $LCTL set_param osc.*.rpc_stats 0
+       $LCTL set_param osc.*.rpc_stats=0
        $READS -f $DIR/$tfile -s$FILE_LENGTH -b$rsize -n$nreads -t 180
        $LCTL get_param osc.*.rpc_stats
        for osc_rpc_stats in $($LCTL get_param -N osc.*.rpc_stats); do
@@ -9771,7 +9803,7 @@ test_101c() {
        cleanup_test101bc
        true
 }
-run_test 101c "check stripe_size aligned read-ahead ================="
+run_test 101c "check stripe_size aligned read-ahead"
 
 test_101d() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
@@ -9794,7 +9826,7 @@ test_101d() {
        echo Disable read-ahead
        local old_RA=$($LCTL get_param -n llite.*.max_read_ahead_mb | head -n 1)
        $LCTL set_param -n llite.*.max_read_ahead_mb=0
-       stack_trap "$LCTL set_param -n llite.*.max_read_ahead_mb $old_RA" EXIT
+       stack_trap "$LCTL set_param -n llite.*.max_read_ahead_mb=$old_RA" EXIT
        $LCTL get_param -n llite.*.max_read_ahead_mb
 
        echo "Reading the test file $file with read-ahead disabled"
@@ -9847,14 +9879,14 @@ test_101e() {
        cancel_lru_locks $OSC
 
        echo "Reset readahead stats"
-       $LCTL set_param -n llite.*.read_ahead_stats 0
+       $LCTL set_param -n llite.*.read_ahead_stats=0
 
        for ((i = 0; i < $count; i++)); do
                dd if=$file.$i of=/dev/null bs=$bsize count=$size_KB 2>/dev/null
        done
 
        local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
-                    get_named_value 'misses' | cut -d" " -f1 | calc_total)
+                    get_named_value 'misses' | calc_total)
 
        for ((i = 0; i < $count; i++)); do
                rm -rf $file.$i 2>/dev/null
@@ -9879,7 +9911,7 @@ test_101f() {
        cancel_lru_locks osc
 
        echo Reset readahead stats
-       $LCTL set_param -n llite.*.read_ahead_stats 0
+       $LCTL set_param -n llite.*.read_ahead_stats=0
 
        echo mmap read the file with small block size
        iozone -i 1 -u 1 -l 1 -+n -r 32k -s 128m -B -f $DIR/$tfile \
@@ -9888,7 +9920,7 @@ test_101f() {
        echo checking missing pages
        $LCTL get_param llite.*.read_ahead_stats
        local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
-                       get_named_value 'misses' | cut -d" " -f1 | calc_total)
+                       get_named_value 'misses' | calc_total)
 
        $LCTL set_param debug="$old_debug"
        [ $miss -lt 3 ] || error "misses too much pages ('$miss')!"
@@ -9993,7 +10025,7 @@ test_101h() {
        echo "Read 10M of data but cross 64M bundary"
        dd if=$DIR/$tfile of=/dev/null bs=10M skip=6 count=1
        local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
-                       get_named_value 'misses' | cut -d" " -f1 | calc_total)
+                    get_named_value 'misses' | calc_total)
        [ $miss -eq 1 ] || error "expected miss 1 but got $miss"
        rm -f $p $DIR/$tfile
 }
@@ -10041,8 +10073,7 @@ test_101j() {
                local count=$(($file_size / $blk))
                dd if=$DIR/$tfile bs=$blk count=$count of=/dev/null
                local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
-                            get_named_value 'failed to fast read' |
-                            cut -d" " -f1 | calc_total)
+                            get_named_value 'failed.to.fast.read' | calc_total)
                $LCTL get_param -n llite.*.read_ahead_stats
                [ $miss -eq $count ] || error "expected $count got $miss"
        done
@@ -13854,6 +13885,168 @@ test_150e() {
 }
 run_test 150e "Verify 60% of available OST space consumed by fallocate"
 
+test_150f() {
+       local size
+       local blocks
+       local want_size_before=20480 # in bytes
+       local want_blocks_before=40 # 512 sized blocks
+       local want_blocks_after=24  # 512 sized blocks
+       local length=$(((want_blocks_before - want_blocks_after) * 512))
+
+       [[ $OST1_VERSION -ge $(version_code 2.14.0) ]] ||
+               skip "need at least 2.14.0 for fallocate punch"
+
+       if [ "$ost1_FSTYPE" = "zfs" ] || [ "$mds1_FSTYPE" = "zfs" ]; then
+               skip "LU-14160: punch mode is not implemented on OSD ZFS"
+       fi
+
+       check_set_fallocate_or_skip
+       stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
+
+       echo "Verify fallocate punch: Range within the file range"
+       yes 'A' | dd of=$DIR/$tfile bs=4096 count=5 ||
+               error "dd failed for bs 4096 and count 5"
+
+       # Call fallocate with punch range which is within the file range
+       fallocate -p --offset 4096 -l $length $DIR/$tfile ||
+               error "fallocate failed: offset 4096 and length $length"
+       # client must see changes immediately after fallocate
+       size=$(stat -c '%s' $DIR/$tfile)
+       blocks=$(stat -c '%b' $DIR/$tfile)
+
+       # Verify punch worked.
+       (( blocks == want_blocks_after )) ||
+               error "punch failed: blocks $blocks != $want_blocks_after"
+
+       (( size == want_size_before )) ||
+               error "punch failed: size $size != $want_size_before"
+
+       # Verify there is hole in file
+       local data_off=$(lseek_test -d 4096 $DIR/$tfile)
+       # precomputed md5sum
+       local expect="4a9a834a2db02452929c0a348273b4aa"
+
+       cksum=($(md5sum $DIR/$tfile))
+       [[ "${cksum[0]}" == "$expect" ]] ||
+               error "unexpected MD5SUM after punch: ${cksum[0]}"
+
+       # Start second sub-case for fallocate punch.
+       echo "Verify fallocate punch: Range overlapping and less than blocksize"
+       yes 'A' | dd of=$DIR/$tfile bs=4096 count=5 ||
+               error "dd failed for bs 4096 and count 5"
+
+       # Punch range less than block size will have no change in block count
+       want_blocks_after=40  # 512 sized blocks
+
+       # Punch overlaps two blocks and less than blocksize
+       fallocate -p --offset 4000 -l 3000 $DIR/$tfile ||
+               error "fallocate failed: offset 4000 length 3000"
+       size=$(stat -c '%s' $DIR/$tfile)
+       blocks=$(stat -c '%b' $DIR/$tfile)
+
+       # Verify punch worked.
+       (( blocks == want_blocks_after )) ||
+               error "punch failed: blocks $blocks != $want_blocks_after"
+
+       (( size == want_size_before )) ||
+               error "punch failed: size $size != $want_size_before"
+
+       # Verify if range is really zero'ed out. We expect Zeros.
+       # precomputed md5sum
+       expect="c57ec5d769c3dbe3426edc3f7d7e11d3"
+       cksum=($(md5sum $DIR/$tfile))
+       [[ "${cksum[0]}" == "$expect" ]] ||
+               error "unexpected MD5SUM after punch: ${cksum[0]}"
+}
+run_test 150f "Verify fallocate punch functionality"
+
+test_150g() {
+       local space
+       local size
+       local blocks
+       local blocks_after
+       local size_after
+       local BS=4096 # Block size in bytes
+
+       [[ $OST1_VERSION -ge $(version_code 2.14.0) ]] ||
+               skip "need at least 2.14.0 for fallocate punch"
+
+       if [ "$ost1_FSTYPE" = "zfs" ] || [ "$mds1_FSTYPE" = "zfs" ]; then
+               skip "LU-14160: punch mode is not implemented on OSD ZFS"
+       fi
+
+       check_set_fallocate_or_skip
+       stack_trap "rm -f $DIR/$tfile; wait_delete_completed"
+
+       $LFS setstripe -c${OSTCOUNT} $DIR/$tfile ||
+               error "$LFS setstripe -c${OSTCOUNT} $DIR/$tfile failed"
+
+       # Get 100MB per OST of the available space to reduce run time
+       # else 60% of the available space if we are running SLOW tests
+       if [ $SLOW == "no" ]; then
+               space=$((1024 * 100 * OSTCOUNT))
+       else
+               # Find OST with Minimum Size
+               space=$($LFS df | awk "/$FSNAME-OST/ { print \$4 }" |
+                       sort -un | head -1)
+               echo "min size OST: $space"
+               space=$(((space * 60)/100 * OSTCOUNT))
+       fi
+       # space in 1k units, round to 4k blocks
+       local blkcount=$((space * 1024 / $BS))
+
+       echo "Verify fallocate punch: Very large Range"
+       fallocate -l${space}k $DIR/$tfile ||
+               error "fallocate ${space}k $DIR/$tfile failed"
+       # write 1M at the end, start and in the middle
+       yes 'A' | dd of=$DIR/$tfile bs=$BS count=256 ||
+               error "dd failed: bs $BS count 256"
+       yes 'A' | dd of=$DIR/$tfile bs=$BS seek=$((blkcount - 256)) count=256 ||
+               error "dd failed: bs $BS count 256 seek $((blkcount - 256))"
+       yes 'A' | dd of=$DIR/$tfile bs=$BS seek=$((blkcount / 2)) count=1024 ||
+               error "dd failed: bs $BS count 256 seek $((blkcount / 2))"
+
+       # Gather stats.
+       size=$(stat -c '%s' $DIR/$tfile)
+
+       # gather punch length.
+       local punch_size=$((size - (BS * 2)))
+
+       echo "punch_size = $punch_size"
+       echo "size - punch_size: $((size - punch_size))"
+       echo "size - punch_size in blocks: $(((size - punch_size)/BS))"
+
+       # Call fallocate to punch all except 2 blocks. We leave the
+       # first and the last block
+       echo "fallocate -p --offset $BS -l $punch_size $DIR/$tfile"
+       fallocate -p --offset $BS -l $punch_size $DIR/$tfile ||
+               error "fallocate failed: offset $BS length $punch_size"
+
+       size_after=$(stat -c '%s' $DIR/$tfile)
+       blocks_after=$(stat -c '%b' $DIR/$tfile)
+
+       # Verify punch worked.
+       # Size should be kept
+       (( size == size_after )) ||
+               error "punch failed: size $size != $size_after"
+
+       # two 4k data blocks to remain plus possible 1 extra extent block
+       (( blocks_after <= ((BS / 512) * 3) )) ||
+               error "too many blocks remains: $blocks_after"
+
+       # Verify that file has hole between the first and the last blocks
+       local hole_start=$(lseek_test -l 0 $DIR/$tfile)
+       local hole_end=$(lseek_test -d $BS $DIR/$tfile)
+
+       echo "Hole at [$hole_start, $hole_end)"
+       (( hole_start == BS )) ||
+               error "no hole at offset $BS after punch"
+
+       (( hole_end == BS + punch_size )) ||
+               error "data at offset $hole_end < $((BS + punch_size))"
+}
+run_test 150g "Verify fallocate punch on large range"
+
 #LU-2902 roc_hit was not able to read all values from lproc
 function roc_hit_init() {
        local list=$(comma_list $(osts_nodes))
@@ -19011,6 +19204,28 @@ test_230r() {
 }
 run_test 230r "migrate with too many local locks"
 
+test_230s() {
+       [ $MDS1_VERSION -ge $(version_code 2.13.57) ] ||
+               skip "Need MDS version at least 2.13.57"
+
+       local mdts=$(comma_list $(mdts_nodes))
+       local restripe_status=$(do_facet mds1 $LCTL get_param -n \
+                               mdt.*MDT0000.enable_dir_restripe)
+
+       stack_trap "do_nodes $mdts $LCTL set_param \
+                   mdt.*.enable_dir_restripe=$restripe_status"
+
+       local st
+       for st in 0 1; do
+               do_nodes $mdts "$LCTL set_param mdt.*.enable_dir_restripe=$st"
+               test_mkdir $DIR/$tdir
+               $LFS mkdir $DIR/$tdir |& grep "File exists" ||
+                       error "$LFS mkdir doesn't return -EEXIST if target exists"
+               rmdir $DIR/$tdir
+       done
+}
+run_test 230s "lfs mkdir should return -EEXIST if target exists"
+
 test_231a()
 {
        # For simplicity this test assumes that max_pages_per_rpc
@@ -21353,6 +21568,17 @@ test_273a() {
 }
 run_test 273a "DoM: layout swapping should fail with DOM"
 
+test_273b() {
+       mkdir -p $DIR/$tdir
+       $LFS setstripe -E 1M -L mdt -E -1 -c -1 $DIR/$tdir
+
+#define OBD_FAIL_MDS_COMMITRW_DELAY      0x16b
+       do_facet mds1 $LCTL set_param fail_loc=0x8000016b fail_val=2
+
+       $MULTIOP $DIR/$tdir/$tfile Ouw2097152c
+}
+run_test 273b "DoM: race writeback and object destroy"
+
 test_275() {
        remote_ost_nodsh && skip "remote OST with nodsh"
        [ $OST1_VERSION -lt $(version_code 2.10.57) ] &&
@@ -21462,6 +21688,9 @@ test_280() {
        stop mgs || error "stop mgs failed"
        #for a race mgs would crash
        start mgs $(mgsdevname) $MGS_MOUNT_OPTS || error "start mgs failed"
+       # make sure we unmount client before remounting
+       wait
+       umount_client $MOUNT
        mount_client $MOUNT || error "mount client failed"
 }
 run_test 280 "Race between MGS umount and client llog processing"
@@ -21748,7 +21977,7 @@ test_300_check_default_striped_dir()
 
        echo "checking $dirname $default_count $default_index"
        $LFS setdirstripe -D -c $default_count -i $default_index \
-                               -t all_char $DIR/$tdir/$dirname ||
+                               -H all_char $DIR/$tdir/$dirname ||
                error "set default stripe on striped dir error"
        stripe_count=$($LFS getdirstripe -D -c $DIR/$tdir/$dirname)
        [ $stripe_count -eq $default_count ] ||
@@ -21765,8 +21994,9 @@ test_300_check_default_striped_dir()
        unlinkmany $DIR/$tdir/$dirname/f- 10    || error "unlink files failed"
        for dir in $(find $DIR/$tdir/$dirname/*); do
                stripe_count=$($LFS getdirstripe -c $dir)
-               [ $stripe_count -eq $default_count ] ||
-               [ $stripe_count -eq 0 ] || [ $default_count -eq 1 ] ||
+               (( $stripe_count == $default_count )) ||
+               (( $stripe_count == $MDSCOUNT && $default_count == -1 )) ||
+               (( $stripe_count == 0 )) || (( $default_count == 1 )) ||
                error "stripe count $default_count != $stripe_count for $dir"
 
                stripe_index=$($LFS getdirstripe -i $dir)
@@ -21818,7 +22048,7 @@ test_300g() {
        #check default stripe count/stripe index
        test_300_check_default_striped_dir normal_dir $MDSCOUNT 1
        test_300_check_default_striped_dir normal_dir 1 0
-       test_300_check_default_striped_dir normal_dir 2 1
+       test_300_check_default_striped_dir normal_dir -1 1
        test_300_check_default_striped_dir normal_dir 2 -1
 
        #delete default stripe information
@@ -21852,7 +22082,7 @@ test_300h() {
 
        test_300_check_default_striped_dir striped_dir $MDSCOUNT 1
        test_300_check_default_striped_dir striped_dir 1 0
-       test_300_check_default_striped_dir striped_dir 2 1
+       test_300_check_default_striped_dir striped_dir -1 1
        test_300_check_default_striped_dir striped_dir 2 -1
 
        #delete default stripe information
@@ -21892,15 +22122,17 @@ test_300i() {
                error "create dir0 under hash dir failed"
        $LFS setdirstripe -i0 -c$MDSCOUNT -H fnv_1a_64 $DIR/$tdir/hashdir/d1 ||
                error "create dir1 under hash dir failed"
+       $LFS setdirstripe -i0 -c$MDSCOUNT -H crush $DIR/$tdir/hashdir/d2 ||
+               error "create dir2 under hash dir failed"
 
        # unfortunately, we need to umount to clear dir layout cache for now
        # once we fully implement dir layout, we can drop this
        umount_client $MOUNT || error "umount failed"
        mount_client $MOUNT || error "mount failed"
 
-       $LFS find -H fnv_1a_64 $DIR/$tdir/hashdir
-       local dircnt=$($LFS find -H fnv_1a_64 $DIR/$tdir/hashdir | wc -l)
-       [ $dircnt -eq 1 ] || error "lfs find striped dir got:$dircnt,except:1"
+       $LFS find -H fnv_1a_64,crush $DIR/$tdir/hashdir
+       local dircnt=$($LFS find -H fnv_1a_64,crush $DIR/$tdir/hashdir | wc -l)
+       [ $dircnt -eq 2 ] || error "lfs find striped dir got:$dircnt,except:1"
 
        #set the stripe to be unknown hash type
        #define OBD_FAIL_UNKNOWN_LMV_STRIPE     0x1901
@@ -22329,7 +22561,7 @@ test_311() {
                skip "lustre < 2.8.54 does not contain LU-4825 fix"
        remote_mds_nodsh && skip "remote MDS with nodsh"
 
-       local old_iused=$($LFS df -i | grep OST0000 | awk '{ print $3 }')
+       local old_iused=$($LFS df -i | awk '/OST0000/ { print $3; exit; }')
        local mdts=$(comma_list $(mdts_nodes))
 
        mkdir -p $DIR/$tdir
@@ -22361,7 +22593,7 @@ test_311() {
 
        local new_iused
        for i in $(seq 120); do
-               new_iused=$($LFS df -i | grep OST0000 | awk '{ print $3 }')
+               new_iused=$($LFS df -i | awk '/OST0000/ { print $3; exit; }')
                # system may be too busy to destroy all objs in time, use
                # a somewhat small value to not fail autotest
                [ $((old_iused - new_iused)) -gt 400 ] && break
@@ -22607,12 +22839,15 @@ test_317() {
 run_test 317 "Verify blocks get correctly update after truncate"
 
 test_318() {
+       local llite_name="llite.$($LFS getname $MOUNT | awk '{print $1}')"
        local old_max_active=$($LCTL get_param -n \
-                           llite.*.max_read_ahead_async_active 2>/dev/null)
+                           ${llite_name}.max_read_ahead_async_active \
+                           2>/dev/null)
 
        $LCTL set_param llite.*.max_read_ahead_async_active=256
        local max_active=$($LCTL get_param -n \
-                          llite.*.max_read_ahead_async_active 2>/dev/null)
+                          ${llite_name}.max_read_ahead_async_active \
+                          2>/dev/null)
        [ $max_active -ne 256 ] && error "expected 256 but got $max_active"
 
        $LCTL set_param llite.*.max_read_ahead_async_active=0 ||
@@ -22620,7 +22855,7 @@ test_318() {
 
        $LCTL set_param llite.*.max_read_ahead_async_active=512
        max_active=$($LCTL get_param -n \
-                    llite.*.max_read_ahead_async_active 2>/dev/null)
+                    ${llite_name}.max_read_ahead_async_active 2>/dev/null)
        [ $max_active -eq 512 ] || error "expected 512 but got $max_active"
 
        # restore @max_active
@@ -22628,9 +22863,9 @@ test_318() {
                llite.*.max_read_ahead_async_active=$old_max_active
 
        local old_threshold=$($LCTL get_param -n \
-               llite.*.read_ahead_async_file_threshold_mb 2>/dev/null)
+               ${llite_name}.read_ahead_async_file_threshold_mb 2>/dev/null)
        local max_per_file_mb=$($LCTL get_param -n \
-               llite.*.max_read_ahead_per_file_mb 2>/dev/null)
+               ${llite_name}.max_read_ahead_per_file_mb 2>/dev/null)
 
        local invalid=$(($max_per_file_mb + 1))
        $LCTL set_param \
@@ -22642,7 +22877,7 @@ test_318() {
                llite.*.read_ahead_async_file_threshold_mb=$valid ||
                        error "set $valid should succeed"
        local threshold=$($LCTL get_param -n \
-               llite.*.read_ahead_async_file_threshold_mb 2>/dev/null)
+               ${llite_name}.read_ahead_async_file_threshold_mb 2>/dev/null)
        [ $threshold -eq $valid ] || error \
                "expect threshold $valid got $threshold"
        $LCTL set_param \
@@ -22764,7 +22999,7 @@ test_398c() { # LU-4198
                error "Locks were requested while doing AIO"
 
        # get the percentage of 1-page I/O
-       pct=$($LCTL get_param osc.${FSNAME}-OST0000-osc-ffff*.rpc_stats |
+       pct=$($LCTL get_param osc.${imp_name}.rpc_stats |
                grep -A 1 'pages per rpc' | grep -v 'pages per rpc' |
                awk '{print $7}')
        [ $pct -le 50 ] || error "$pct% of I/O are 1-page"
@@ -22831,7 +23066,7 @@ test_fake_rw() {
        $LFS setstripe -c 1 -i 0 $DIR/$tfile
 
        # get ost1 size - $FSNAME-OST0000
-       local ost1_avail_size=$($LFS df | awk /${ost1_svc}/'{ print $4 }')
+       local ost1_avail_size=$($LFS df $DIR | awk /${ost1_svc}/'{ print $4 }')
        local blocks=$((ost1_avail_size/2/1024)) # half avail space by megabytes
        [ $blocks -gt 1000 ] && blocks=1000 # 1G in maximum
 
@@ -24022,26 +24257,24 @@ test_421f() {
        cnt=$(ls -1 $DIR/$tdir | wc -l)
        [ $cnt == 1 ] || error "unexpected #files after (5): $cnt"
 
-       umount_client $MOUNT || error "failed to umount client"
-       mount_client $MOUNT "$MOUNT_OPTS,user_fid2path" ||
+       tmpdir=$(mktemp -d /tmp/lustre-XXXXXX)
+       stack_trap "rmdir $tmpdir"
+       mount_client $tmpdir "$MOUNT_OPTS,user_fid2path" ||
                error "failed to mount client'"
+       stack_trap "umount_client $tmpdir"
 
-       $RUNAS $LFS rmfid $DIR $FID || error "rmfid failed"
+       $RUNAS $LFS rmfid $tmpdir $FID || error "rmfid failed"
        # rmfid should succeed
-       cnt=$(ls -1 $DIR/$tdir | wc -l)
+       cnt=$(ls -1 $tmpdir/$tdir | wc -l)
        [ $cnt == 0 ] || error "unexpected #files after (6): $cnt"
 
        # rmfid shouldn't allow to remove files due to dir's permission
-       chmod a+rwx $DIR/$tdir
-       touch $DIR/$tdir/f
-       ls -la $DIR/$tdir
-       FID=$(lfs path2fid $DIR/$tdir/f)
-       $RUNAS $LFS rmfid $DIR $FID && error "rmfid didn't fail"
-
-       umount_client $MOUNT || error "failed to umount client"
-       mount_client $MOUNT "$MOUNT_OPTS" ||
-               error "failed to mount client'"
-
+       chmod a+rwx $tmpdir/$tdir
+       touch $tmpdir/$tdir/f
+       ls -la $tmpdir/$tdir
+       FID=$(lfs path2fid $tmpdir/$tdir/f)
+       $RUNAS $LFS rmfid $tmpdir $FID && error "rmfid didn't fail"
+       return 0
 }
 run_test 421f "rmfid checks permissions"
 
@@ -24225,6 +24458,32 @@ test_427() {
 }
 run_test 427 "Failed DNE2 update request shouldn't corrupt updatelog"
 
+test_428() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+       local cache_limit=$CACHE_MAX
+
+       stack_trap "$LCTL set_param -n llite.*.max_cached_mb=$cache_limit"
+       $LCTL set_param -n llite.*.max_cached_mb=64
+
+       mkdir $DIR/$tdir
+       $LFS setstripe -c 1 $DIR/$tdir
+       eval touch $DIR/$tdir/$tfile.{1..$OSTCOUNT}
+       stack_trap "rm -f $DIR/$tdir/$tfile.*"
+       #test write
+       for f in $(seq 4); do
+               dd if=/dev/zero of=$DIR/$tdir/$tfile.$f bs=128M count=1 &
+       done
+       wait
+
+       cancel_lru_locks osc
+       # Test read
+       for f in $(seq 4); do
+               dd if=$DIR/$tdir/$tfile.$f of=/dev/null bs=128M count=1 &
+       done
+       wait
+}
+run_test 428 "large block size IO should not hang"
+
 lseek_test_430() {
        local offset
        local file=$1