Whamcloud - gitweb
LU-13509 ptlrpc: Clear bd_registered in ptlrpc_unregister_bulk
[fs/lustre-release.git] / lustre / tests / sanity.sh
index c6bbc40..1fde0e9 100755 (executable)
@@ -1780,17 +1780,24 @@ run_test 27m "create file while OST0 was full"
 # OSCs keep a NOSPC flag that will be reset after ~5s (qos_maxage)
 # if the OST isn't full anymore.
 reset_enospc() {
-       local OSTIDX=${1:-""}
+       local ostidx=${1:-""}
+       local delay
+       local ready
+       local get_prealloc
 
        local list=$(comma_list $(osts_nodes))
-       [ "$OSTIDX" ] && list=$(facet_host ost$((OSTIDX + 1)))
+       [ "$ostidx" ] && list=$(facet_host ost$((ostidx + 1)))
 
        do_nodes $list lctl set_param fail_loc=0
-       sync    # initiate all OST_DESTROYs from MDS to OST
-       sleep_maxage
+       wait_delete_completed   # initiate all OST_DESTROYs from MDS to OST
+       delay=$(do_facet $SINGLEMDS lctl get_param -n lov.*.qos_maxage |
+               awk '{print $1 * 2;exit;}')
+       get_prealloc="$LCTL get_param -n osc.*MDT*.prealloc_status |
+                       grep -v \"^0$\""
+       wait_update_facet $SINGLEMDS "$get_prealloc" "" $delay
 }
 
-exhaust_precreations() {
+__exhaust_precreations() {
        local OSTIDX=$1
        local FAILLOC=$2
        local FAILIDX=${3:-$OSTIDX}
@@ -1821,14 +1828,19 @@ exhaust_precreations() {
        createmany -o $DIR/$tdir/${OST}/f $next_id $((last_id - next_id + 2))
        do_facet $mfacet lctl get_param osp.$mdtosc_proc2.prealloc*
        do_facet $ofacet lctl set_param fail_loc=$FAILLOC
+}
+
+exhaust_precreations() {
+       __exhaust_precreations $1 $2 $3
        sleep_maxage
 }
 
 exhaust_all_precreations() {
        local i
        for (( i=0; i < OSTCOUNT; i++ )) ; do
-               exhaust_precreations $i $1 -1
+               __exhaust_precreations $i $1 -1
        done
+       sleep_maxage
 }
 
 test_27n() {
@@ -6179,154 +6191,67 @@ test_56r() {
 }
 run_test 56r "check lfs find -size works"
 
-test_56ra() {
-       [[ $MDS1_VERSION -gt $(version_code 2.12.58) ]] ||
-               skip "MDS < 2.12.58 doesn't return LSOM data"
-       local dir=$DIR/$tdir
-
-       [[ $OSC == "mdc" ]] && skip "DoM files" && return
-
-       setup_56 $dir $NUMFILES $NUMDIRS "-c 1"
+test_56ra_sub() {
+       local expected=$1
+       local glimpses=$2
+       local cmd="$3"
 
        cancel_lru_locks $OSC
 
        local rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       local expected=12
-       local cmd="$LFS find -size 0 -type f -lazy $dir"
        local nums=$($cmd | wc -l)
 
        [ $nums -eq $expected ] ||
                error "'$cmd' wrong: found $nums, expected $expected"
 
        local rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find -size 0 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       $LCTL get_param osc.*.stats
-       [ $rpcs_after -eq $((rpcs_before + 12)) ] ||
-               error "'$cmd' should send 12 glimpse RPCs to OST"
 
-       cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=0
-       cmd="$LFS find ! -size 0 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       $LCTL get_param mdc.*.stats
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find ! -size 0 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 12)) ] ||
-               error "'$cmd' should send 12 glimpse RPCs to OST"
+       if (( rpcs_before + glimpses != rpcs_after )); then
+               echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
+               $LCTL get_param osc.*.stats | grep ldlm_glimpse_enqueue
 
-       echo "test" > $dir/$tfile
-       echo "test2" > $dir/$tfile.2 && sync
-       cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=1
-       cmd="$LFS find -size 5 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find -size 5 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 14)) ] ||
-               error "'$cmd' should send 14 glimpse RPCs to OST"
+               if [[ $glimpses == 0 ]]; then
+                       error "'$cmd' should not send glimpse RPCs to OST"
+               else
+                       error "'$cmd' should send $glimpses glimpse RPCs to OST"
+               fi
+       fi
+}
 
-       cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=1
-       cmd="$LFS find -size +5 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find -size +5 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 14)) ] ||
-               error "'$cmd' should send 14 glimpse RPCs to OST"
+test_56ra() {
+       [[ $MDS1_VERSION -gt $(version_code 2.12.58) ]] ||
+               skip "MDS < 2.12.58 doesn't return LSOM data"
+       local dir=$DIR/$tdir
 
-       cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=2
-       cmd="$LFS find -size +0 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find -size +0 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 14)) ] ||
-               error "'$cmd' should send 14 glimpse RPCs to OST"
+       [[ $OSC == "mdc" ]] && skip "DoM files" && return
 
+       setup_56 $dir $NUMFILES $NUMDIRS "-c 1"
+       # open and close all files to ensure LSOM is updated
        cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=2
-       cmd="$LFS find ! -size -5 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find ! -size -5 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 14)) ] ||
-               error "'$cmd' should send 14 glimpse RPCs to OST"
+       find $dir -type f | xargs cat > /dev/null
 
+       #   expect_found  glimpse_rpcs  command_to_run
+       test_56ra_sub 12  0 "$LFS find -size 0 -type f -lazy $dir"
+       test_56ra_sub 12 12 "$LFS find -size 0 -type f $dir"
+       test_56ra_sub  0  0 "$LFS find ! -size 0 -type f -lazy $dir"
+       test_56ra_sub  0 12 "$LFS find ! -size 0 -type f $dir"
+
+       echo "test" > $dir/$tfile
+       echo "test2" > $dir/$tfile.2 && sync
        cancel_lru_locks $OSC
-       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       expected=12
-       cmd="$LFS find -size -5 -type f -lazy $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       [ $rpcs_before -eq $rpcs_after ] ||
-               error "'$cmd' should not send glimpse RPCs to OST"
-       cmd="$LFS find -size -5 -type f $dir"
-       nums=$($cmd | wc -l)
-       [ $nums -eq $expected ] ||
-               error "'$cmd' wrong: found $nums, expected $expected"
-       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
-       echo "Before: $rpcs_before After: $rpcs_after $NUMFILES"
-       [ $rpcs_after -eq $((rpcs_before + 14)) ] ||
-               error "'$cmd' should send 14 glimpse RPCs to OST"
+       cat $dir/$tfile $dir/$tfile.2 > /dev/null
+
+       test_56ra_sub  1  0 "$LFS find -size 5 -type f -lazy $dir"
+       test_56ra_sub  1 14 "$LFS find -size 5 -type f $dir"
+       test_56ra_sub  1  0 "$LFS find -size +5 -type f -lazy $dir"
+       test_56ra_sub  1 14 "$LFS find -size +5 -type f $dir"
+
+       test_56ra_sub  2  0 "$LFS find -size +0 -type f -lazy $dir"
+       test_56ra_sub  2 14 "$LFS find -size +0 -type f $dir"
+       test_56ra_sub  2  0 "$LFS find ! -size -5 -type f -lazy $dir"
+       test_56ra_sub  2 14 "$LFS find ! -size -5 -type f $dir"
+       test_56ra_sub 12  0 "$LFS find -size -5 -type f -lazy $dir"
+       test_56ra_sub 12 14 "$LFS find -size -5 -type f $dir"
 }
 run_test 56ra "check lfs find -size -lazy works for data on OSTs"
 
@@ -11512,8 +11437,8 @@ test_121() { #bug #10589
 }
 run_test 121 "read cancel race ========="
 
-test_123a() { # was test 123, statahead(bug 11401)
-       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+test_123a_base() { # was test 123, statahead(bug 11401)
+       local lsx="$1"
 
        SLOWOK=0
        if ! grep -q "processor.*: 1" /proc/cpuinfo; then
@@ -11525,76 +11450,120 @@ test_123a() { # was test 123, statahead(bug 11401)
        test_mkdir $DIR/$tdir
        NUMFREE=$(df -i -P $DIR | tail -n 1 | awk '{ print $4 }')
        [[ $NUMFREE -gt 100000 ]] && NUMFREE=100000 || NUMFREE=$((NUMFREE-1000))
-        MULT=10
-        for ((i=100, j=0; i<=$NUMFREE; j=$i, i=$((i * MULT)) )); do
-                createmany -o $DIR/$tdir/$tfile $j $((i - j))
-
-                max=`lctl get_param -n llite.*.statahead_max | head -n 1`
-                lctl set_param -n llite.*.statahead_max 0
-                lctl get_param llite.*.statahead_max
-                cancel_lru_locks mdc
-                cancel_lru_locks osc
-                stime=`date +%s`
-                time ls -l $DIR/$tdir | wc -l
-                etime=`date +%s`
-                delta=$((etime - stime))
-                log "ls $i files without statahead: $delta sec"
-                lctl set_param llite.*.statahead_max=$max
-
-                swrong=`lctl get_param -n llite.*.statahead_stats | grep "statahead wrong:" | awk '{print $3}'`
-                lctl get_param -n llite.*.statahead_max | grep '[0-9]'
-                cancel_lru_locks mdc
-                cancel_lru_locks osc
-                stime=`date +%s`
-                time ls -l $DIR/$tdir | wc -l
-                etime=`date +%s`
-                delta_sa=$((etime - stime))
-                log "ls $i files with statahead: $delta_sa sec"
-                lctl get_param -n llite.*.statahead_stats
-                ewrong=`lctl get_param -n llite.*.statahead_stats | grep "statahead wrong:" | awk '{print $3}'`
+       MULT=10
+       for ((i=100, j=0; i<=$NUMFREE; j=$i, i=$((i * MULT)) )); do
+               createmany -o $DIR/$tdir/$tfile $j $((i - j))
+
+               max=$(lctl get_param -n llite.*.statahead_max | head -n 1)
+               lctl set_param -n llite.*.statahead_max 0
+               lctl get_param llite.*.statahead_max
+               cancel_lru_locks mdc
+               cancel_lru_locks osc
+               stime=$(date +%s)
+               time $lsx $DIR/$tdir | wc -l
+               etime=$(date +%s)
+               delta=$((etime - stime))
+               log "$lsx $i files without statahead: $delta sec"
+               lctl set_param llite.*.statahead_max=$max
+
+               swrong=$(lctl get_param -n llite.*.statahead_stats |
+                       grep "statahead wrong:" | awk '{print $3}')
+               lctl get_param -n llite.*.statahead_max | grep '[0-9]'
+               cancel_lru_locks mdc
+               cancel_lru_locks osc
+               stime=$(date +%s)
+               time $lsx $DIR/$tdir | wc -l
+               etime=$(date +%s)
+               delta_sa=$((etime - stime))
+               log "$lsx $i files with statahead: $delta_sa sec"
+               lctl get_param -n llite.*.statahead_stats
+               ewrong=$(lctl get_param -n llite.*.statahead_stats |
+                       grep "statahead wrong:" | awk '{print $3}')
 
                [[ $swrong -lt $ewrong ]] &&
                        log "statahead was stopped, maybe too many locks held!"
                [[ $delta -eq 0 || $delta_sa -eq 0 ]] && continue
 
-                if [ $((delta_sa * 100)) -gt $((delta * 105)) -a $delta_sa -gt $((delta + 2)) ]; then
-                    max=`lctl get_param -n llite.*.statahead_max | head -n 1`
-                    lctl set_param -n llite.*.statahead_max 0
-                    lctl get_param llite.*.statahead_max
-                    cancel_lru_locks mdc
-                    cancel_lru_locks osc
-                    stime=`date +%s`
-                    time ls -l $DIR/$tdir | wc -l
-                    etime=`date +%s`
-                    delta=$((etime - stime))
-                    log "ls $i files again without statahead: $delta sec"
-                    lctl set_param llite.*.statahead_max=$max
-                    if [ $((delta_sa * 100)) -gt $((delta * 105)) -a $delta_sa -gt $((delta + 2)) ]; then
-                        if [  $SLOWOK -eq 0 ]; then
-                                error "ls $i files is slower with statahead!"
-                        else
-                                log "ls $i files is slower with statahead!"
-                        fi
-                        break
-                    fi
-                fi
+               if [ $((delta_sa * 100)) -gt $((delta * 105)) -a $delta_sa -gt $((delta + 2)) ]; then
+                       max=$(lctl get_param -n llite.*.statahead_max |
+                               head -n 1)
+                       lctl set_param -n llite.*.statahead_max 0
+                       lctl get_param llite.*.statahead_max
+                       cancel_lru_locks mdc
+                       cancel_lru_locks osc
+                       stime=$(date +%s)
+                       time $lsx $DIR/$tdir | wc -l
+                       etime=$(date +%s)
+                       delta=$((etime - stime))
+                       log "$lsx $i files again without statahead: $delta sec"
+                       lctl set_param llite.*.statahead_max=$max
+                       if [ $((delta_sa * 100 > delta * 105 && delta_sa > delta + 2)) ]; then
+                               if [  $SLOWOK -eq 0 ]; then
+                                       error "$lsx $i files is slower with statahead!"
+                               else
+                                       log "$lsx $i files is slower with statahead!"
+                               fi
+                               break
+                       fi
+               fi
 
-                [ $delta -gt 20 ] && break
-                [ $delta -gt 8 ] && MULT=$((50 / delta))
-                [ "$SLOW" = "no" -a $delta -gt 5 ] && break
-        done
-        log "ls done"
+               [ $delta -gt 20 ] && break
+               [ $delta -gt 8 ] && MULT=$((50 / delta))
+               [ "$SLOW" = "no" -a $delta -gt 5 ] && break
+       done
+       log "$lsx done"
 
-        stime=`date +%s`
-        rm -r $DIR/$tdir
-        sync
-        etime=`date +%s`
-        delta=$((etime - stime))
-        log "rm -r $DIR/$tdir/: $delta seconds"
-        log "rm done"
-        lctl get_param -n llite.*.statahead_stats
+       stime=$(date +%s)
+       rm -r $DIR/$tdir
+       sync
+       etime=$(date +%s)
+       delta=$((etime - stime))
+       log "rm -r $DIR/$tdir/: $delta seconds"
+       log "rm done"
+       lctl get_param -n llite.*.statahead_stats
+}
+
+test_123aa() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+
+       test_123a_base "ls -l"
+}
+run_test 123aa "verify statahead work"
+
+test_123ab() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+
+       statx_supported || skip_env "Test must be statx() syscall supported"
+
+       test_123a_base "$STATX -l"
 }
-run_test 123a "verify statahead work"
+run_test 123ab "verify statahead work by using statx"
+
+test_123ac() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+
+       statx_supported || skip_env "Test must be statx() syscall supported"
+
+       local rpcs_before
+       local rpcs_after
+       local agl_before
+       local agl_after
+
+       cancel_lru_locks $OSC
+       rpcs_before=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
+       agl_before=$($LCTL get_param -n llite.*.statahead_stats |
+               awk '/agl.total:/ {print $3}')
+       test_123a_base "$STATX -c \"%n %i %A %h %u %g %W %X %Z\" -D"
+       test_123a_base "$STATX --cached=always -D"
+       agl_after=$($LCTL get_param -n llite.*.statahead_stats |
+               awk '/agl.total:/ {print $3}')
+       [ $agl_before -eq $agl_after ] ||
+               error "Should not trigger AGL thread - $agl_before:$agl_after"
+       rpcs_after=$(calc_stats $OSC.*$OSC*.stats ldlm_glimpse_enqueue)
+       [ $rpcs_after -eq $rpcs_before ] ||
+               error "$STATX should not send glimpse RPCs to $OSC"
+}
+run_test 123ac "verify statahead work by using statx without glimpse RPCs"
 
 test_123b () { # statahead(bug 15027)
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
@@ -12119,7 +12088,7 @@ set_dir_limits () {
 check_mds_dmesg() {
        local facets=$(get_facets MDS)
        for facet in ${facets//,/ }; do
-               do_facet $facet "dmesg | tail -3 | grep -q $1" && return 0
+               do_facet $facet "dmesg | tail -3 | grep $1" && return 0
        done
        return 1
 }
@@ -12134,55 +12103,49 @@ test_129() {
        remote_mds_nodsh && skip "remote MDS with nodsh"
 
        local ENOSPC=28
-       local EFBIG=27
        local has_warning=false
 
        rm -rf $DIR/$tdir
        mkdir -p $DIR/$tdir
 
        # block size of mds1
-       local maxsize=$(($($LCTL get_param -n mdc.*MDT0000*.blocksize) * 5))
-       set_dir_limits $maxsize $maxsize
+       local maxsize=$(($($LCTL get_param -n mdc.*MDT0000*.blocksize) * 8))
+       set_dir_limits $maxsize $((maxsize * 6 / 8))
+       stack_trap "set_dir_limits 0 0"
+       stack_trap "unlinkmany $DIR/$tdir/file_base_ 2000 || true"
        local dirsize=$(stat -c%s "$DIR/$tdir")
        local nfiles=0
-       while [[ $dirsize -le $maxsize ]]; do
-               $MULTIOP $DIR/$tdir/file_base_$nfiles Oc
+       while (( $dirsize <= $maxsize )); do
+               $MCREATE $DIR/$tdir/file_base_$nfiles
                rc=$?
-               if ! $has_warning; then
-                       check_mds_dmesg '"is approaching"' && has_warning=true
-               fi
                # check two errors:
-               # ENOSPC for new ext4 max_dir_size (kernel commit df981d03ee)
-               # EFBIG for previous versions included in ldiskfs series
-               if [ $rc -eq $EFBIG ] || [ $rc -eq $ENOSPC ]; then
+               # ENOSPC for ext4 max_dir_size, which has been used since
+               # kernel v3.6-rc1-8-gdf981d03ee, lustre v2_4_50_0-79-gaed82035c0
+               if (( rc == ENOSPC )); then
                        set_dir_limits 0 0
-                       echo "return code $rc received as expected"
+                       echo "rc=$rc returned as expected after $nfiles files"
 
                        createmany -o $DIR/$tdir/file_extra_$nfiles. 5 ||
-                               error_exit "create failed w/o dir size limit"
+                               error "create failed w/o dir size limit"
 
-                       check_mds_dmesg '"has reached"' ||
-                               error_exit "reached message should be output"
-
-                       [ $has_warning = "false" ] &&
-                               error_exit "warning message should be output"
+                       # messages may be rate limited if test is run repeatedly
+                       check_mds_dmesg '"is approaching max"' ||
+                               echo "warning message should be output"
+                       check_mds_dmesg '"has reached max"' ||
+                               echo "reached message should be output"
 
                        dirsize=$(stat -c%s "$DIR/$tdir")
 
                        [[ $dirsize -ge $maxsize ]] && return 0
-                       error_exit "current dir size $dirsize, " \
-                                  "previous limit $maxsize"
-               elif [ $rc -ne 0 ]; then
-                       set_dir_limits 0 0
-                       error_exit "return $rc received instead of expected " \
-                                  "$EFBIG or $ENOSPC, files in dir $dirsize"
+                       error "dirsize $dirsize < $maxsize after $nfiles files"
+               elif (( rc != 0 )); then
+                       break
                fi
                nfiles=$((nfiles + 1))
                dirsize=$(stat -c%s "$DIR/$tdir")
        done
 
-       set_dir_limits 0 0
-       error "exceeded dir size limit $maxsize($MDSCOUNT) : $dirsize bytes"
+       error "rc=$rc, size=$dirsize/$maxsize, mdt=$MDSCOUNT, nfiles=$nfiles"
 }
 run_test 129 "test directory size limit ========================"
 
@@ -12909,38 +12872,21 @@ test_133e() {
 }
 run_test 133e "Verifying OST {read,write}_bytes nid stats ================="
 
-proc_regexp="/{proc,sys}/{fs,sys,kernel/debug}/{lustre,lnet}/"
-
-# Some versions of find (4.5.11, 4.5.14) included in CentOS 7.3-7.5 do
-# not honor the -ignore_readdir_race option correctly. So we call
-# error_ignore() rather than error() in these cases. See LU-11152.
-error_133() {
-       if (find --version; do_facet mds1 find --version) |
-               grep -q '\b4\.5\.1[1-4]\b'; then
-               error_ignore LU-11152 "$@"
-       else
-               error "$@"
-       fi
-}
-
 test_133f() {
-       # First without trusting modes.
-       local proc_dirs=$(eval \ls -d $proc_regexp 2>/dev/null)
-       echo "proc_dirs='$proc_dirs'"
-       [ -n "$proc_dirs" ] || error "no proc_dirs on $HOSTNAME"
-       find $proc_dirs -exec cat '{}' \; &> /dev/null
+       [[ $(lustre_version_code $facet) -ge $(version_code 2.7.65) ]] ||
+               skip "too old lustre for get_param -R ($facet_ver)"
 
-       # Second verifying readability.
+       # verifying readability.
        $LCTL get_param -R '*' &> /dev/null
 
        # Verifing writability with badarea_io.
-       find $proc_dirs \
-               -ignore_readdir_race \
-               -type f \
-               -not -name force_lbug \
-               -not -name changelog_mask \
-               -exec badarea_io '{}' \; ||
-                       error_133 "find $proc_dirs failed"
+       $LCTL list_param -FR '*' | grep '=' | tr -d = |
+               egrep -v 'force_lbug|changelog_mask' | xargs badarea_io ||
+               error "client badarea_io failed"
+
+       # remount the FS in case writes/reads /proc break the FS
+       cleanup || error "failed to unmount"
+       setup || error "failed to setup"
 }
 run_test 133f "Check reads/writes of client lustre proc files with bad area io"
 
@@ -12957,10 +12903,10 @@ test_133g() {
                        log "$facet: too old lustre for get_param -R"
                fi
                if [ $facet_ver -ge $(version_code 2.5.54) ]; then
-                       do_facet $facet "$LCTL list_param -R '*' | grep '=' |
+                       do_facet $facet "$LCTL list_param -FR '*' | grep '=' |
                                tr -d = | egrep -v 'force_lbug|changelog_mask' |
                                xargs badarea_io" ||
-                                       error_133 "$facet badarea_io failed"
+                                       error "$facet badarea_io failed"
                else
                        skip_noexit "$facet: too old lustre for get_param -R"
                fi
@@ -12969,7 +12915,6 @@ test_133g() {
        # remount the FS in case writes/reads /proc break the FS
        cleanup || error "failed to unmount"
        setup || error "failed to setup"
-       true
 }
 run_test 133g "Check reads/writes of server lustre proc files with bad area io"
 
@@ -12980,24 +12925,21 @@ test_133h() {
                skip "Need MDS version at least 2.9.54"
 
        local facet
-
        for facet in client mds1 ost1; do
-               local facet_proc_dirs=$(do_facet $facet \
-                                       \\\ls -d $proc_regexp 2> /dev/null)
-               [ -z "$facet_proc_dirs" ] && error "no proc_dirs on $facet"
-               echo "${facet}_proc_dirs='$facet_proc_dirs'"
                # Get the list of files that are missing the terminating newline
-               local missing=($(do_facet $facet \
-                       find ${facet_proc_dirs} -type f \|              \
-                               while read F\; do                       \
-                                       awk -v FS='\v' -v RS='\v\v'     \
-                                       "'END { if(NR>0 &&              \
-                                       \\\$NF !~ /.*\\\n\$/)           \
-                                               print FILENAME}'"       \
-                                       '\$F'\;                         \
-                               done 2>/dev/null))
-               [ ${#missing[*]} -eq 0 ] ||
-                       error "files do not end with newline: ${missing[*]}"
+               local plist=$(do_facet $facet
+                       $LCTL list_param -FR '*' | grep '=' | tr -d =)
+               local ent
+               for ent in $plist; do
+                       local missing=$(do_facet $facet $LCTL get_param $ent \|\
+                               awk -v FS='\v' -v RS='\v\v' \
+                               "'END { if(NR>0 && \\\$NF !~ /.*\\\n\$/) \
+                                       print FILENAME}'" 2>/dev/null)
+                       [ -z $missing ] || {
+                               do_facet $facet $LCTL get_param $ent | od -An -tx1
+                               error "file does not end with newline: $facet-$ent"
+                       }
+               done
        done
 }
 run_test 133h "Proc files should end with newlines"
@@ -21685,6 +21627,7 @@ test_401a() { #LU-7437
        #count the number of parameters by "list_param -R"
        local params=$($LCTL list_param -R '*' 2>/dev/null | wc -l)
        #count the number of parameters by listing proc files
+       local proc_regexp="/{proc,sys}/{fs,sys,kernel/debug}/{lustre,lnet}/"
        local proc_dirs=$(eval \ls -d $proc_regexp 2>/dev/null)
        echo "proc_dirs='$proc_dirs'"
        [ -n "$proc_dirs" ] || error "no proc_dirs on $HOSTNAME"
@@ -22845,6 +22788,14 @@ test_423() {
 }
 run_test 423 "statfs should return a right data"
 
+test_424() {
+#define OBD_FAIL_PTLRPC_BULK_REPLY_ATTACH      0x522 | OBD_FAIL_ONCE
+       $LCTL set_param fail_loc=0x80000522
+       dd if=/dev/zero of=$DIR/$tfile bs=2M count=1 oflag=sync
+       rm -f $DIR/$tfile
+}
+run_test 424 "simulate ENOMEM in ptl_send_rpc bulk reply ME attach"
+
 prep_801() {
        [[ $MDS1_VERSION -lt $(version_code 2.9.55) ]] ||
        [[ $OST1_VERSION -lt $(version_code 2.9.55) ]] &&