Whamcloud - gitweb
LU-8150 mdt: Track open+create as mknod
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 08f125d..87d9bad 100644 (file)
@@ -8,13 +8,31 @@
 set -e
 
 ONLY=${ONLY:-"$*"}
-# bug number for skipped test: 13297 2108 9789 3637 9789 3561 12622 5188
-ALWAYS_EXCEPT="                42a  42b  42c  42d  45   51d   68b   $SANITY_EXCEPT"
+# bug number for skipped test: 13297 2108 9789 3637 9789 3561 5188
+ALWAYS_EXCEPT="                42a  42b  42c  42d  45   68b   $SANITY_EXCEPT"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
 # with LOD/OSP landing
-# bug number for skipped tests: LU-2036
-ALWAYS_EXCEPT="                 76     $ALWAYS_EXCEPT"
+# bug number for skipped tests: LU-2036 LU-8139
+ALWAYS_EXCEPT="                 76     101g    $ALWAYS_EXCEPT"
+
+is_sles11()                                            # LU-4341
+{
+       if [ -r /etc/SuSE-release ]
+       then
+               local vers=$(grep VERSION /etc/SuSE-release | awk '{print $3}')
+               local patchlev=$(grep PATCHLEVEL /etc/SuSE-release |
+                       awk '{ print $3 }')
+               if [ $vers -eq 11 ] && [ $patchlev -ge 3 ]; then
+                       return 0
+               fi
+       fi
+       return 1
+}
+
+if is_sles11; then                                     # LU-4341
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 170"
+fi
 
 SRCDIR=$(cd $(dirname $0); echo $PWD)
 export PATH=$PATH:/sbin
@@ -38,7 +56,6 @@ SOCKETCLIENT=${SOCKETCLIENT:-socketclient}
 MEMHOG=${MEMHOG:-memhog}
 DIRECTIO=${DIRECTIO:-directio}
 ACCEPTOR_PORT=${ACCEPTOR_PORT:-988}
-UMOUNT=${UMOUNT:-"umount -d"}
 STRIPES_PER_OBJ=-1
 CHECK_GRANT=${CHECK_GRANT:-"yes"}
 GRANT_CHECK_LIST=${GRANT_CHECK_LIST:-""}
@@ -58,11 +75,13 @@ init_test_env $@
 . ${CONFIG:=$LUSTRE/tests/cfg/${NAME}.sh}
 init_logging
 
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 24D 27m 64b 68 71 77f 78 115 124b 230d"
+#                                  5              12          (min)"
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="24D 27m 64b 68 71 115 300o"
 
 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
        # bug number for skipped test: LU-4536 LU-1957 LU-2805
        ALWAYS_EXCEPT="$ALWAYS_EXCEPT  65ic    180     184c"
+       #                                               4   13    (min)"
        [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 51b 51ba"
 fi
 
@@ -88,17 +107,11 @@ check_swap_layouts_support()
 }
 
 check_and_setup_lustre
-
 DIR=${DIR:-$MOUNT}
 assert_DIR
 
 MDT0=$($LCTL get_param -n mdc.*.mds_server_uuid |
        awk '{ gsub(/_UUID/,""); print $1 }' | head -n1)
-LOVNAME=$($LCTL get_param -n llite.*.lov.common_name | tail -n 1)
-OSTCOUNT=$($LCTL get_param -n lov.$LOVNAME.numobd)
-STRIPECOUNT=$($LCTL get_param -n lov.$LOVNAME.stripecount)
-STRIPESIZE=$($LCTL get_param -n lov.$LOVNAME.stripesize)
-ORIGFREE=$($LCTL get_param -n lov.$LOVNAME.kbytesavail)
 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
 
 [ -f $DIR/d52a/foo ] && chattr -a $DIR/d52a/foo
@@ -276,7 +289,7 @@ run_test 7a "mkdir .../d7; mcreate .../d7/f; chmod .../d7/f ===="
 
 test_7b() {
        if [ ! -d $DIR/$tdir ]; then
-               mkdir $DIR/$tdir
+               test_mkdir $DIR/$tdir
        fi
        $MCREATE $DIR/$tdir/$tfile
        echo -n foo > $DIR/$tdir/$tfile
@@ -354,6 +367,7 @@ test_15() {
        mv $DIR/$tdir/$tfile $DIR/$tdir/${tfile}_2
        $CHECKSTAT -t file $DIR/$tdir/${tfile}_2 ||
                error "$tdir/${tfile_2} not a file after rename"
+       rm $DIR/$tdir/${tfile}_2 || error "unlink failed after rename"
 }
 run_test 15 "touch .../d15/f; mv .../d15/f .../d15/f2 =========="
 
@@ -519,7 +533,7 @@ run_test 17k "symlinks: rsync with xattrs enabled ========================="
 test_17l() { # LU-279
        [[ -z "$(which getfattr 2>/dev/null)" ]] &&
                skip "no getfattr command" && return 0
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        touch $DIR/$tdir/$tfile
        ln -s $DIR/$tdir/$tfile $DIR/$tdir/$tfile.lnk
        for path in "$DIR/$tdir" "$DIR/$tdir/$tfile" "$DIR/$tdir/$tfile.lnk"; do
@@ -538,11 +552,7 @@ run_test 17l "Ensure lgetxattr's returned xattr size is consistent ========"
 test_17m() {
        local short_sym="0123456789"
        local WDIR=$DIR/${tdir}m
-       local mds_index
-       local devname
-       local cmd
        local i
-       local rc=0
 
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.0) ] &&
@@ -554,7 +564,7 @@ test_17m() {
 
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
 
-       mkdir -p $WDIR
+       test_mkdir -p $WDIR
        long_sym=$short_sym
        # create a long symlink file
        for ((i = 0; i < 4; ++i)); do
@@ -575,49 +585,42 @@ test_17m() {
        echo "recreate the 512 symlink files with a shorter string"
        for ((i = 0; i < 512; ++i)); do
                # rewrite the symlink file with a shorter string
-               ln -sf ${long_sym} $WDIR/long-$i
-               ln -sf ${short_sym} $WDIR/short-$i
+               ln -sf ${long_sym} $WDIR/long-$i || error "long_sym failed"
+               ln -sf ${short_sym} $WDIR/short-$i || error "short_sym failed"
        done
 
-       mds_index=$($LFS getstripe -M $WDIR)
-       mds_index=$((mds_index+1))
-       devname=$(mdsdevname $mds_index)
-       cmd="$E2FSCK -fnvd $devname"
+       local mds_index=$(($($LFS getstripe -M $WDIR) + 1))
+       local devname=$(mdsdevname $mds_index)
 
-       echo "stop and checking mds${mds_index}: $cmd"
+       echo "stop and checking mds${mds_index}:"
        # e2fsck should not return error
        stop mds${mds_index}
-       do_facet mds${mds_index} $cmd || rc=$?
+       run_e2fsck $(facet_active_host mds${mds_index}) $devname -n
+       rc=$?
 
        start mds${mds_index} $devname $MDS_MOUNT_OPTS || error "start failed"
        df $MOUNT > /dev/null 2>&1
-       [ $rc -ne 0 ] && error "e2fsck should not report error upon "\
-               "short/long symlink MDT: rc=$rc"
-       return $rc
+       [ $rc -eq 0 ] ||
+               error "e2fsck detected error for short/long symlink: rc=$rc"
 }
 run_test 17m "run e2fsck against MDT which contains short/long symlink"
 
 check_fs_consistency_17n() {
        local mdt_index
-       local devname
-       local cmd
        local rc=0
 
        # create/unlink in 17n only change 2 MDTs(MDT1/MDT2),
        # so it only check MDT1/MDT2 instead of all of MDTs.
-       for mdt_index in $(seq 1 2); do
-               devname=$(mdsdevname $mdt_index)
-               cmd="$E2FSCK -fnvd $devname"
-
-               echo "stop and checking mds${mdt_index}: $cmd"
+       for mdt_index in 1 2; do
+               local devname=$(mdsdevname $mdt_index)
                # e2fsck should not return error
                stop mds${mdt_index}
-               do_facet mds${mdt_index} $cmd || rc=$?
+               run_e2fsck $(facet_active_host mds$mdt_index) $devname -n ||
+                       rc=$((rc + $?))
 
                start mds${mdt_index} $devname $MDS_MOUNT_OPTS ||
-                       error "mount mds${mdt_index} failed"
+                       error "mount mds$mdt_index failed"
                df $MOUNT > /dev/null 2>&1
-               [ $rc -ne 0 ] && break
        done
        return $rc
 }
@@ -637,7 +640,7 @@ test_17n() {
 
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
 
-       mkdir $DIR/$tdir
+       test_mkdir $DIR/$tdir
        for ((i=0; i<10; i++)); do
                $LFS mkdir -i1 -c2 $DIR/$tdir/remote_dir_${i} ||
                        error "create remote dir error $i"
@@ -663,7 +666,7 @@ test_17n() {
                mkdir -p $DIR/$tdir/remote_dir_${i}
                createmany -o $DIR/$tdir/remote_dir_${i}/f 10 ||
                        error "create files under remote dir failed $i"
-               $LFS mv --mdt-index 1 $DIR/$tdir/remote_dir_${i} ||
+               $LFS migrate --mdt-index 1 $DIR/$tdir/remote_dir_${i} ||
                        error "migrate remote dir error $i"
        done
        check_fs_consistency_17n || error "e2fsck report error after migration"
@@ -684,18 +687,17 @@ test_17o() {
 
        local WDIR=$DIR/${tdir}o
        local mdt_index
-       local mdtdevname
        local rc=0
 
-       mkdir -p $WDIR
+       test_mkdir -p $WDIR
        mdt_index=$($LFS getstripe -M $WDIR)
        mdt_index=$((mdt_index+1))
-       mdtdevname=$(mdsdevname $mdt_index)
 
        touch $WDIR/$tfile
-       stop mds${mdt_index}
-       start mds${mdt_index} $mdtdevname $MDS_MOUNT_OPTS ||
-               error "mount mds${mdt_index} failed"
+
+       #fail mds will wait the failover finish then set
+       #following fail_loc to avoid interfer the recovery process.
+       fail mds${mdt_index}
 
        #define OBD_FAIL_OSD_LMA_INCOMPAT 0x194
        do_facet mds${mdt_index} lctl set_param fail_loc=0x194
@@ -1041,7 +1043,7 @@ test_24v() {
        # Performance issue on ZFS see LU-4072 (c.f. LU-2887)
        [ $(facet_fstype $SINGLEMDS) = "zfs" ] && NRFILES=10000
 
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        createmany -m $DIR/$tdir/$tfile $NRFILES
 
        cancel_lru_locks mdc
@@ -1080,34 +1082,36 @@ run_test 24w "Reading a file larger than 4Gb"
 
 test_24x() {
        [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 2 MDTs" && return
+
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.56) ]] &&
+               skip "Need MDS version at least 2.7.56" && return
+
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        local MDTIDX=1
        local remote_dir=$DIR/$tdir/remote_dir
 
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        $LFS mkdir -i $MDTIDX $remote_dir ||
                error "create remote directory failed"
 
-       mkdir -p $DIR/$tdir/src_dir
+       test_mkdir -p $DIR/$tdir/src_dir
        touch $DIR/$tdir/src_file
-       mkdir -p $remote_dir/tgt_dir
+       test_mkdir -p $remote_dir/tgt_dir
        touch $remote_dir/tgt_file
 
-       mrename $remote_dir $DIR/ &&
-               error "rename dir cross MDT works!"
+       mrename $DIR/$tdir/src_dir $remote_dir/tgt_dir ||
+               error "rename dir cross MDT failed!"
 
-       mrename $DIR/$tdir/src_dir $remote_dir/tgt_dir &&
-               error "rename dir cross MDT works!"
+       mrename $DIR/$tdir/src_file $remote_dir/tgt_file ||
+               error "rename file cross MDT failed!"
 
-       mrename $DIR/$tdir/src_file $remote_dir/tgt_file &&
-               error "rename file cross MDT works!"
-
-       ln $DIR/$tdir/src_file $remote_dir/tgt_file1 &&
-               error "ln file cross MDT should not work!"
+       touch $DIR/$tdir/ln_file
+       ln $DIR/$tdir/ln_file $remote_dir/ln_name ||
+               error "ln file cross MDT failed"
 
        rm -rf $DIR/$tdir || error "Can not delete directories"
 }
-run_test 24x "cross rename/link should be failed"
+run_test 24x "cross MDT rename/link"
 
 test_24y() {
        [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 2 MDTs" && return
@@ -1115,13 +1119,13 @@ test_24y() {
        local MDTIDX=1
        local remote_dir=$DIR/$tdir/remote_dir
 
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        $LFS mkdir -i $MDTIDX $remote_dir ||
                   error "create remote directory failed"
 
-       mkdir -p $remote_dir/src_dir
+       test_mkdir -p $remote_dir/src_dir
        touch $remote_dir/src_file
-       mkdir -p $remote_dir/tgt_dir
+       test_mkdir -p $remote_dir/tgt_dir
        touch $remote_dir/tgt_file
 
        mrename $remote_dir/src_dir $remote_dir/tgt_dir ||
@@ -1137,37 +1141,11 @@ test_24y() {
 }
 run_test 24y "rename/link on the same dir should succeed"
 
-test_24z() {
-       [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 2 MDTs" && return
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       local MDTIDX=1
-       local remote_src=$DIR/$tdir/remote_dir
-       local remote_tgt=$DIR/$tdir/remote_tgt
-
-       mkdir -p $DIR/$tdir
-       $LFS mkdir -i $MDTIDX $remote_src ||
-                  error "create remote directory failed"
-
-       $LFS mkdir -i $MDTIDX $remote_tgt ||
-                  error "create remote directory failed"
-
-       mrename $remote_src $remote_tgt &&
-               error "rename remote dirs should not work!"
-
-       # If target dir does not exists, it should succeed
-       rm -rf $remote_tgt
-       mrename $remote_src $remote_tgt ||
-               error "rename remote dirs(tgt dir does not exists) failed!"
-
-       rm -rf $DIR/$tdir || error "Can not delete directories"
-}
-run_test 24z "rename one remote dir to another remote dir should fail"
-
 test_24A() { # LU-3182
        local NFILES=5000
 
        rm -rf $DIR/$tdir
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        createmany -m $DIR/$tdir/$tfile $NFILES
        local t=$(ls $DIR/$tdir | wc -l)
        local u=$(ls $DIR/$tdir | sort -u | wc -l)
@@ -1184,7 +1162,7 @@ test_24B() { # LU-4805
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local count
 
-       mkdir $DIR/$tdir
+       test_mkdir $DIR/$tdir
        $LFS setdirstripe -i0 -c$MDSCOUNT $DIR/$tdir/striped_dir ||
                error "create striped dir failed"
 
@@ -1251,6 +1229,38 @@ test_24D() { # LU-6101
 }
 run_test 24D "readdir() returns correct number of entries after cursor reload"
 
+test_24E() {
+       [[ $MDSCOUNT -lt 4 ]] && skip "needs >= 4 MDTs" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+
+       mkdir -p $DIR/$tdir
+       mkdir $DIR/$tdir/src_dir
+       $LFS mkdir -i 1 $DIR/$tdir/src_dir/src_child ||
+               error "create remote source failed"
+
+       touch $DIR/$tdir/src_dir/src_child/a
+
+       $LFS mkdir -i 2 $DIR/$tdir/tgt_dir ||
+               error "create remote target dir failed"
+
+       $LFS mkdir -i 3 $DIR/$tdir/tgt_dir/tgt_child ||
+               error "create remote target child failed"
+
+       mrename $DIR/$tdir/src_dir/src_child $DIR/$tdir/tgt_dir/tgt_child ||
+               error "rename dir cross MDT failed!"
+
+       find $DIR/$tdir
+
+       $CHECKSTAT -t dir $DIR/$tdir/src_dir/src_child &&
+               error "src_child still exists after rename"
+
+       $CHECKSTAT -t file $DIR/$tdir/tgt_dir/tgt_child/a ||
+               error "missing file(a) after rename"
+
+       rm -rf $DIR/$tdir || error "Can not delete directories"
+}
+run_test 24E "cross MDT rename/link"
+
 test_25a() {
        echo '== symlink sanity ============================================='
 
@@ -1353,6 +1363,9 @@ test_27d() {
 run_test 27d "create file with default settings ================"
 
 test_27e() {
+       # LU-5839 adds check for existed layout before setting it
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.56) ]] &&
+               skip "Need MDS version at least 2.7.56" && return
        test_mkdir -p $DIR/d27
        $SETSTRIPE -c 2 $DIR/d27/f12 || error "setstripe failed"
        $SETSTRIPE -c 2 $DIR/d27/f12 && error "setstripe succeeded twice"
@@ -1418,6 +1431,9 @@ run_test 27l "check setstripe permissions (should return error)"
 test_27m() {
        [[ $OSTCOUNT -lt 2 ]] && skip_env "$OSTCOUNT < 2 OSTs -- skipping" &&
                return
+
+       ORIGFREE=$($LCTL get_param -n lov.$FSNAME-clilov-*.kbytesavail |
+                  head -n1)
        if [[ $ORIGFREE -gt $MAXFREE ]]; then
                skip "$ORIGFREE > $MAXFREE skipping out-of-space test on OST0"
                return
@@ -1757,7 +1773,7 @@ test_27y() {
        done
 
        OSTIDX=$(index_from_ostuuid $OST)
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        $SETSTRIPE -c 1 $DIR/$tdir      # 1 stripe / file
 
        for OSC in $MDS_OSCS; do
@@ -1837,7 +1853,7 @@ check_seq_oid()
                log "want: stripe:$stripe_nr ost:$obdidx oid:$oid/$hex seq:$seq"
 
                seq=$(echo $seq | sed -e "s/^0x//g")
-               if [ $seq == 0 ]; then
+               if [ $seq == 0 ] || [ $(facet_fstype ost$ost) == zfs ]; then
                        oid_hex=$(echo $oid)
                else
                        oid_hex=$(echo $hex | sed -e "s/^0x//g")
@@ -1861,6 +1877,7 @@ check_seq_oid()
                                $(facet_mntpt ost$ost)/$obj_file)
                        unmount_fstype ost$ost
                        start ost$ost $dev $OST_MOUNT_OPTS
+                       clients_up
                fi
 
                [ -z "$ff" ] && error "$obj_file: no filter_fid info"
@@ -2004,6 +2021,7 @@ run_test 27C "check full striping across all OSTs"
 
 test_27D() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
        local POOL=${POOL:-testpool}
        local first_ost=0
        local last_ost=$(($OSTCOUNT - 1))
@@ -2011,7 +2029,7 @@ test_27D() {
        local ost_list=$(seq $first_ost $ost_step $last_ost)
        local ost_range="$first_ost $last_ost $ost_step"
 
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        pool_add $POOL || error "pool_add failed"
        pool_add_targets $POOL $ost_range || error "pool_add_targets failed"
        llapi_layout_test -d$DIR/$tdir -p$POOL -o$OSTCOUNT ||
@@ -2024,6 +2042,8 @@ run_test 27D "validate llapi_layout API"
 # accessing a widely striped file.
 test_27E() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+       [ $(lustre_version_code client) -lt $(version_code 2.5.57) ] &&
+               skip "client does not have LU-3338 fix" && return
 
        # 72 bytes is the minimum space required to store striping
        # information for a file striped across one OST:
@@ -2049,6 +2069,46 @@ test_27E() {
 }
 run_test 27E "check that default extended attribute size properly increases"
 
+test_27F() { # LU-5346/LU-7975
+
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.8.51) ]] &&
+               skip "Need MDS version at least 2.8.51" && return
+
+       test_mkdir -p $DIR/$tdir
+       rm -f $DIR/$tdir/f0
+       $SETSTRIPE -c 2 $DIR/$tdir
+
+       # stop all OSTs to reproduce situation for LU-7975 ticket
+       for num in $(seq $OSTCOUNT); do
+               stop ost$num
+       done
+
+       # open/create f0 with O_LOV_DELAY_CREATE
+       # truncate f0 to a non-0 size
+       # close
+       multiop $DIR/$tdir/f0 oO_RDWR:O_CREAT:O_LOV_DELAY_CREATE:T1050000c
+
+       $CHECKSTAT -s 1050000 $DIR/$tdir/f0 || error "checkstat failed"
+       # open/write it again to force delayed layout creation
+       cat /etc/hosts > $DIR/$tdir/f0 &
+       catpid=$!
+
+       # restart OSTs
+       for num in $(seq $OSTCOUNT); do
+               start ost$num $(ostdevname $num) $OST_MOUNT_OPTS ||
+                       error "ost$num failed to start"
+       done
+
+       wait $catpid || error "cat failed"
+
+       cmp /etc/hosts $DIR/$tdir/f0 || error "cmp failed"
+       [[ $($GETSTRIPE -c $DIR/$tdir/f0) == 2 ]] || error "wrong stripecount"
+
+}
+run_test 27F "Client resend delayed layout creation with non-zero size"
+
 # createtest also checks that device nodes are created and
 # then visible correctly (#2091)
 test_28() { # bug 2091
@@ -2058,8 +2118,8 @@ test_28() { # bug 2091
 run_test 28 "create/mknod/mkdir with bad file types ============"
 
 test_29() {
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       cancel_lru_locks mdc
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return 0
+       cancel_lru_locks
        test_mkdir $DIR/d29
        touch $DIR/d29/foo
        log 'first d29'
@@ -2069,7 +2129,7 @@ test_29() {
        for lock_count in $(lctl get_param -n ldlm.namespaces.*mdc*.lock_count); do
                let LOCKCOUNTORIG=$LOCKCOUNTORIG+$lock_count
        done
-       [ $LOCKCOUNTORIG -eq 0 ] && echo "No mdc lock count" && return 1
+       [ $LOCKCOUNTORIG -eq 0 ] && error "No mdc lock count" && return 1
 
        declare -i LOCKUNUSEDCOUNTORIG=0
        for unused_count in $(lctl get_param -n ldlm.namespaces.*mdc*.lock_unused_count); do
@@ -2305,7 +2365,7 @@ link_one() {
 }
 
 test_31o() { # LU-2901
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        for LOOP in $(seq 100); do
                rm -f $DIR/$tdir/$tfile*
                for THREAD in $(seq 8); do
@@ -2323,7 +2383,7 @@ run_test 31o "duplicate hard links with same filename"
 test_31p() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
-       mkdir $DIR/$tdir
+       test_mkdir $DIR/$tdir
        $LFS setdirstripe -i0 -c2 $DIR/$tdir/striped_dir
        $LFS setdirstripe -D -c2 -t all_char $DIR/$tdir/striped_dir
 
@@ -2341,7 +2401,7 @@ run_test 31p "remove of open striped directory"
 
 cleanup_test32_mount() {
        trap 0
-       $UMOUNT -d $DIR/$tdir/ext2-mountpoint
+       $UMOUNT $DIR/$tdir/ext2-mountpoint
 }
 
 test_32a() {
@@ -2548,7 +2608,7 @@ run_test 32p "open d32p/symlink->tmp/symlink->lustre-root/$tfile"
 
 cleanup_testdir_mount() {
        trap 0
-       $UMOUNT -d $DIR/$tdir
+       $UMOUNT $DIR/$tdir
 }
 
 test_32q() {
@@ -2676,7 +2736,7 @@ test_33d() {
        local MDTIDX=1
        local remote_dir=$DIR/$tdir/remote_dir
 
-       mkdir -p $DIR/$tdir
+       test_mkdir -p $DIR/$tdir
        $LFS mkdir -i $MDTIDX $remote_dir ||
                error "create remote directory failed"
 
@@ -2691,8 +2751,7 @@ test_33d() {
                                        error "create" || true
        $RUNAS $OPENFILE -f O_RDWR:O_CREAT -m 0444 $remote_dir/f33 &&
                                    error "open RDWR" || true
-       $RUNAS $OPENFILE -f 1286739555 $remote_dir/f33 &&
-                                   error "create" || true
+       $RUNAS $OPENFILE -f 1286739555 $remote_dir/f33 || true
 }
 run_test 33d "openfile with 444 modes and malformed flags under remote dir"
 
@@ -2995,7 +3054,7 @@ run_test 36h "utime on file racing with OST BRW write =========="
 test_36i() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
-       mkdir $DIR/$tdir
+       test_mkdir $DIR/$tdir
        $LFS setdirstripe -i0 -c$MDSCOUNT $DIR/$tdir/striped_dir
 
        local mtime=$(stat -c%Y $DIR/$tdir/striped_dir)
@@ -3317,29 +3376,27 @@ test_39l() {
        # test setting directory atime to future
        touch -a -d @$TEST_39_ATIME $DIR/$tdir
        local atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" = $TEST_39_ATIME ] || \
+       [ "$atime" = $TEST_39_ATIME ] ||
                error "atime is not set to future: $atime, $TEST_39_ATIME"
 
        # test setting directory atime from future to now
-       local d1=$(date +%s)
-       ls $DIR/$tdir
-       local d2=$(date +%s)
+       local now=$(date +%s)
+       touch -a -d @$now $DIR/$tdir
 
-       cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
-               error "atime is not updated from future: $atime, $d1<atime<$d2"
+       [ "$atime" -eq "$now"  ] ||
+               error "atime is not updated from future: $atime, $now"
 
        do_facet $SINGLEMDS lctl set_param -n mdd.*MDT0000*.atime_diff=2
        sleep 3
 
        # test setting directory atime when now > dir atime + atime_diff
-       d1=$(date +%s)
+       local d1=$(date +%s)
        ls $DIR/$tdir
-       d2=$(date +%s)
+       local d2=$(date +%s)
        cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
+       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] ||
                error "atime is not updated  : $atime, should be $d2"
 
        do_facet $SINGLEMDS lctl set_param -n mdd.*MDT0000*.atime_diff=60
@@ -3349,7 +3406,7 @@ test_39l() {
        ls $DIR/$tdir
        cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
+       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] ||
                error "atime is updated to $atime, should remain $d1<atime<$d2"
 
        do_facet $SINGLEMDS \
@@ -3412,7 +3469,7 @@ run_test 39n "check that O_NOATIME is honored"
 test_39o() {
        TESTDIR=$DIR/$tdir/$tfile
        [ -e $TESTDIR ] && rm -rf $TESTDIR
-       test_mkdir -p $TESTDIR
+       mkdir -p $TESTDIR
        cd $TESTDIR
        links1=2
        ls
@@ -3434,7 +3491,7 @@ test_39p() {
        local MDTIDX=1
        TESTDIR=$DIR/$tdir/$tfile
        [ -e $TESTDIR ] && rm -rf $TESTDIR
-       mkdir -p $TESTDIR
+       test_mkdir -p $TESTDIR
        cd $TESTDIR
        links1=2
        ls
@@ -3453,6 +3510,18 @@ test_39p() {
 run_test 39p "remote directory cached attributes updated after create ========"
 
 
+test_39p() { # LU-8041
+       local testdir=$DIR/$tdir
+       mkdir -p $testdir
+       multiop_bg_pause $testdir D_c || error "multiop failed"
+       local multipid=$!
+       cancel_lru_locks mdc
+       kill -USR1 $multipid
+       local atime=$(stat -c %X $testdir)
+       [ "$atime" -ne 0 ] || error "atime is zero"
+}
+run_test 39p "close won't zero out atime"
+
 test_40() {
        dd if=/dev/zero of=$DIR/$tfile bs=4096 count=1
        $RUNAS $OPENFILE -f O_WRONLY:O_TRUNC $DIR/$tfile &&
@@ -3887,7 +3956,6 @@ test_48b() { # bug 2399
        test_mkdir .foo && error "'mkdir .foo' worked after removing cwd"
        ls . > /dev/null && error "'ls .' worked after removing cwd"
        ls .. > /dev/null || error "'ls ..' failed after removing cwd"
-       is_patchless || ( cd . && error "'cd .' worked after removing cwd" )
        test_mkdir . && error "'mkdir .' worked after removing cwd"
        rmdir . && error "'rmdir .' worked after removing cwd"
        ln -s . foo && error "'ln -s .' worked after removing cwd"
@@ -3908,8 +3976,6 @@ test_48c() { # bug 2350
        test_mkdir .foo && error "mkdir .foo worked after removing cwd"
        $TRACE ls . && error "'ls .' worked after removing cwd"
        $TRACE ls .. || error "'ls ..' failed after removing cwd"
-       is_patchless || ( $TRACE cd . &&
-                       error "'cd .' worked after removing cwd" )
        $TRACE test_mkdir . && error "'mkdir .' worked after removing cwd"
        $TRACE rmdir . && error "'rmdir .' worked after removing cwd"
        $TRACE ln -s . foo && error "'ln -s .' worked after removing cwd"
@@ -3931,13 +3997,10 @@ test_48d() { # bug 2350
        test_mkdir .foo && error "mkdir .foo worked after removing parent"
        $TRACE ls . && error "'ls .' worked after removing parent"
        $TRACE ls .. && error "'ls ..' worked after removing parent"
-       is_patchless || ( $TRACE cd . &&
-                       error "'cd .' worked after recreate parent" )
        $TRACE test_mkdir . && error "'mkdir .' worked after removing parent"
        $TRACE rmdir . && error "'rmdir .' worked after removing parent"
        $TRACE ln -s . foo && error "'ln -s .' worked after removing parent"
-       is_patchless || ( $TRACE cd .. &&
-                       error "'cd ..' worked after removing parent" || true )
+       true
 }
 run_test 48d "Access removed parent subdir (should return errors)"
 
@@ -4012,87 +4075,62 @@ test_51a() {    # was test_51
 }
 run_test 51a "special situations: split htree with empty entry =="
 
-export NUMTEST=70000
 test_51b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       local BASE=$DIR/d${base}.${TESTSUITE}
+       local dir=$DIR/$tdir
+
+       local nrdirs=$((65536 + 100))
 
        # cleanup the directory
-       rm -fr $BASE
+       rm -fr $dir
 
-       test_mkdir -p -c1 $BASE
+       test_mkdir -p -c1 $dir
 
        $LFS df
        $LFS df -i
-       local mdtidx=$(printf "%04x" $($LFS getstripe -M $BASE))
+       local mdtidx=$(printf "%04x" $($LFS getstripe -M $dir))
        local numfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.filesfree)
-       [[ $numfree -lt 21000 ]] &&
+       [[ $numfree -lt $nrdirs ]] &&
                skip "not enough free inodes ($numfree) on MDT$mdtidx" &&
                return
 
-       [[ $numfree -lt $NUMTEST ]] && NUMTEST=$(($numfree - 50)) &&
-               echo "reduced count to $NUMTEST due to inodes on MDT$mdtidx"
-
        # need to check free space for the directories as well
        local blkfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.kbytesavail)
        numfree=$((blkfree / 4))
-       [[ $numfree -lt $NUMTEST ]] && NUMTEST=$((numfree - 50)) &&
-               echo "reduced count to $NUMTEST due to blocks on MDT$mdtidx"
-
-       createmany -d $BASE/d $NUMTEST && echo $NUMTEST > $BASE/fnum ||
-       {
-               $LFS df
-               $LFS df -i
-               echo "failed" > $BASE/fnum
-               error "failed to create $NUMTEST subdirs in MDT$mdtidx:$BASE"
-       }
-}
-run_test 51b "exceed 64k subdirectory nlink limit"
+       [[ $numfree -lt $nrdirs ]] && skip "not enough blocks ($numfree)" &&
+               return
 
-test_51ba() { # LU-993
-       local BASE=$DIR/d${base}.${TESTSUITE}
-       # unlink all but 100 subdirectories, then check it still works
-       local LEFT=100
-       [ -f $BASE/fnum ] && local NUMPREV=$(cat $BASE/fnum) && rm $BASE/fnum
+       # create files
+       createmany -d $dir/d $nrdirs ||
+               error "failed to create $nrdirs subdirs in MDT$mdtidx:$dir"
 
-       [ "$NUMPREV" != "failed" ] && NUMTEST=$NUMPREV
-       local DELETE=$((NUMTEST - LEFT))
+       # really created :
+       nrdirs=$(ls -U $dir | wc -l)
 
-       # continue on to run this test even if 51b didn't finish,
-       # just to delete the many subdirectories created.
-       [ ! -d "${BASE}/d1" ] && skip "test_51b() not run" && return 0
+       # unlink all but 100 subdirectories, then check it still works
+       local left=100
+       local delete=$((nrdirs - left))
 
        # for ldiskfs the nlink count should be 1, but this is OSD specific
        # and so this is listed for informational purposes only
-       echo "nlink before: $(stat -c %h $BASE), created before: $NUMTEST"
-       unlinkmany -d $BASE/d $DELETE
-       RC=$?
+       echo "nlink before: $(stat -c %h $dir), created before: $nrdirs"
+       unlinkmany -d $dir/d $delete ||
+               error "unlink of first $delete subdirs failed"
 
-       if [ $RC -ne 0 ]; then
-               if [ "$NUMPREV" == "failed" ]; then
-                       skip "previous setup failed"
-                       return 0
-               else
-                       error "unlink of first $DELETE subdirs failed"
-                       return $RC
-               fi
-       fi
+       echo "nlink between: $(stat -c %h $dir)"
+       local found=$(ls -U $dir | wc -l)
+       [ $found -ne $left ] &&
+               error "can't find subdirs: found only $found, expected $left"
 
-       echo "nlink between: $(stat -c %h $BASE)"
-       # trim the first line of ls output
-       local FOUND=$(($(ls -l ${BASE} | wc -l) - 1))
-       [ $FOUND -ne $LEFT ] &&
-               error "can't find subdirs: found only $FOUND/$LEFT"
-
-       unlinkmany -d $BASE/d $DELETE $LEFT ||
-               error "unlink of second $LEFT subdirs failed"
+       unlinkmany -d $dir/d $delete $left ||
+               error "unlink of second $left subdirs failed"
        # regardless of whether the backing filesystem tracks nlink accurately
        # or not, the nlink count shouldn't be more than "." and ".." here
-       local AFTER=$(stat -c %h $BASE)
-       [[ $AFTER -gt 2 ]] && error "nlink after: $AFTER > 2" ||
-               echo "nlink after: $AFTER"
+       local after=$(stat -c %h $dir)
+       [[ $after -gt 2 ]] && error "nlink after: $after > 2" ||
+               echo "nlink after: $after"
 }
-run_test 51ba "verify nlink for many subdirectory cleanup"
+run_test 51b "exceed 64k subdirectory nlink limit on create, verify unlink"
 
 test_51d() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
@@ -4100,11 +4138,11 @@ test_51d() {
                skip_env "skipping test with few OSTs" && return
        test_mkdir -p $DIR/$tdir
        createmany -o $DIR/$tdir/t- 1000
-       $GETSTRIPE $DIR/$tdir > $TMP/files
+       $GETSTRIPE $DIR/$tdir > $TMP/$tfile
        for N in $(seq 0 $((OSTCOUNT - 1))); do
                OBJS[$N]=$(awk -vobjs=0 '($1 == '$N') { objs += 1 } \
-                       END { printf("%0.0f", objs) }' $TMP/files)
-               OBJS0[$N]=$(grep -A 1 idx $TMP/files | awk -vobjs=0 \
+                       END { printf("%0.0f", objs) }' $TMP/$tfile)
+               OBJS0[$N]=$(grep -A 1 idx $TMP/$tfile | awk -vobjs=0 \
                        '($1 == '$N') { objs += 1 } \
                        END { printf("%0.0f", objs) }')
                log "OST$N has ${OBJS[$N]} objects, ${OBJS0[$N]} are index 0"
@@ -4128,8 +4166,9 @@ test_51d() {
                              " (${OBJS0[$N]} < ${OBJS0[$NLAST]}"
                NLAST=$N
        done
+       rm -f $TMP/$tfile
 }
-run_test 51d "check object distribution ===================="
+run_test 51d "check object distribution"
 
 test_51e() {
        if [ "$(facet_fstype $SINGLEMDS)" != ldiskfs ]; then
@@ -4163,10 +4202,10 @@ test_52a() {
        lsattr $DIR/$tdir/foo | egrep -q "^-+a[-e]+ $DIR/$tdir/foo" ||
                                                     error "lsattr"
        chattr -a $DIR/$tdir/foo || error "chattr -a failed"
-        cp -r $DIR/$tdir /tmp/
-       rm -fr $DIR/$tdir || error "cleanup rm failed"
+       cp -r $DIR/$tdir $TMP/
+       rm -fr $DIR/$tdir $TMP/$tdir || error "cleanup rm failed"
 }
-run_test 52a "append-only flag test (should return errors) ====="
+run_test 52a "append-only flag test (should return errors)"
 
 test_52b() {
        [ -f $DIR/$tdir/foo ] && chattr -i $DIR/$tdir/foo
@@ -4290,7 +4329,7 @@ cleanup_54c() {
        loopdev="$DIR/loop54c"
 
        trap 0
-       $UMOUNT -d $DIR/$tdir || rc=$?
+       $UMOUNT $DIR/$tdir || rc=$?
        losetup -d $loopdev || true
        losetup -d $LOOPDEV || true
        rm -rf $loopdev $DIR/$tfile $DIR/$tdir
@@ -4835,7 +4874,9 @@ test_56w() {
     local file_size=$((stripe_size * OSTCOUNT))
     local file_num=$((NUMDIRS * NUMFILES + NUMFILES))
     local required_space=$((file_num * file_size))
-    local free_space=$($LCTL get_param -n lov.$LOVNAME.kbytesavail)
+
+    local free_space=$($LCTL get_param -n lov.$FSNAME-clilov-*.kbytesavail |
+                       head -n1)
     [[ $free_space -le $((required_space / 1024)) ]] &&
         skip_env "need at least $required_space bytes free space," \
                  "have $free_space kbytes" && return
@@ -4926,7 +4967,7 @@ test_56x() {
                skip_env "need 2 OST, skipping test" && return
 
        local dir0=$DIR/$tdir/$testnum
-       mkdir -p $dir0 || error "creating dir $dir0"
+       test_mkdir -p $dir0 || error "creating dir $dir0"
 
        local ref1=/etc/passwd
        local file1=$dir0/file1
@@ -4943,14 +4984,37 @@ test_56x() {
 }
 run_test 56x "lfs migration support"
 
+test_56xa() {
+       check_swap_layouts_support && return 0
+       [[ $OSTCOUNT -lt 2 ]] &&
+               skip_env "need 2 OST, skipping test" && return
+
+       local dir0=$DIR/$tdir/$testnum
+       test_mkdir -p $dir0 || error "creating dir $dir0"
+
+       local ref1=/etc/passwd
+       local file1=$dir0/file1
+
+       $SETSTRIPE -c 2 $file1
+       cp $ref1 $file1
+       $LFS migrate --block -c 1 $file1 || error "migrate failed rc = $?"
+       local stripe=$($GETSTRIPE -c $file1)
+       [[ $stripe == 1 ]] || error "stripe of $file1 is $stripe != 1"
+       cmp $file1 $ref1 || error "content mismatch $file1 differs from $ref1"
+
+       # clean up
+       rm -f $file1
+}
+run_test 56xa "lfs migration --block support"
+
 test_56y() {
        [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.53) ] &&
-               skip "No HSM support on MDS of $(get_lustre_version)," \
-                        "need 2.4.53 at least" && return
-       local res=""
+               skip "No HSM $(lustre_build_version $SINGLEMDS) MDS < 2.4.53" &&
+               return
 
+       local res=""
        local dir0=$DIR/$tdir/$testnum
-       mkdir -p $dir0 || error "creating dir $dir0"
+       test_mkdir -p $dir0 || error "creating dir $dir0"
        local f1=$dir0/file1
        local f2=$dir0/file2
 
@@ -5119,28 +5183,106 @@ test_60a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
        do_facet mgs "! which run-llog.sh &> /dev/null" &&
-               skip_env "missing subtest run-llog.sh" && return
+               do_facet mgs "! ls run-llog.sh &> /dev/null" &&
+                       skip_env "missing subtest run-llog.sh" && return
+
        log "$TEST60_HEAD - from kernel mode"
+       do_facet mgs "$LCTL set_param debug=warning; $LCTL dk > /dev/null"
        do_facet mgs sh run-llog.sh
+       do_facet mgs $LCTL dk > $TMP/$tfile
+
+       # LU-6388: test llog_reader
+       local llog_reader=$(do_facet mgs "which llog_reader 2> /dev/null")
+       llog_reader=${llog_reader:-$LUSTRE/utils/llog_reader}
+       [ -z $(do_facet mgs ls -d $llog_reader 2> /dev/null) ] &&
+                       skip_env "missing llog_reader" && return
+       local fstype=$(facet_fstype mgs)
+       [ $fstype != ldiskfs -a $fstype != zfs ] &&
+               skip_env "Only for ldiskfs or zfs type mgs" && return
+
+       local mntpt=$(facet_mntpt mgs)
+       local mgsdev=$(mgsdevname 1)
+       local fid_list
+       local fid
+       local rec_list
+       local rec
+       local rec_type
+       local obj_file
+       local path
+       local seq
+       local oid
+       local pass=true
+
+       #get fid and record list
+       fid_list=($(awk '/9_sub.*record/ { print $NF }' /$TMP/$tfile |
+               tail -n 4))
+       rec_list=($(awk '/9_sub.*record/ { print $((NF-3)) }' /$TMP/$tfile |
+               tail -n 4))
+       #remount mgs as ldiskfs or zfs type
+       stop mgs || error "stop mgs failed"
+       mount_fstype mgs || error "remount mgs failed"
+       for ((i = 0; i < ${#fid_list[@]}; i++)); do
+               fid=${fid_list[i]}
+               rec=${rec_list[i]}
+               seq=$(echo $fid | awk -F ':' '{ print $1 }' | sed -e "s/^0x//g")
+               oid=$(echo $fid | awk -F ':' '{ print $2 }' | sed -e "s/^0x//g")
+               oid=$((16#$oid))
+
+               case $fstype in
+                       ldiskfs )
+                               obj_file=$mntpt/O/$seq/d$((oid%32))/$oid ;;
+                       zfs )
+                               obj_file=$mntpt/oi.$(($((16#$seq))&127))/$fid ;;
+               esac
+               echo "obj_file is $obj_file"
+               do_facet mgs $llog_reader $obj_file
+
+               rec_type=$(do_facet mgs $llog_reader $obj_file | grep "type=" |
+                       awk '{ print $3 }' | sed -e "s/^type=//g")
+               if [ $rec_type != $rec ]; then
+                       echo "FAILED test_60a wrong record type $rec_type," \
+                             "should be $rec"
+                       pass=false
+                       break
+               fi
+
+               #check obj path if record type is LLOG_LOGID_MAGIC
+               if [ "$rec" == "1064553b" ]; then
+                       path=$(do_facet mgs $llog_reader $obj_file |
+                               grep "path=" | awk '{ print $NF }' |
+                               sed -e "s/^path=//g")
+                       if [ $obj_file != $mntpt/$path ]; then
+                               echo "FAILED test_60a wrong obj path" \
+                                     "$montpt/$path, should be $obj_file"
+                               pass=false
+                               break
+                       fi
+               fi
+       done
+       rm -f $TMP/$tfile
+       #restart mgs before "error", otherwise it will block the next test
+       stop mgs || error "stop mgs failed"
+       start mgs $(mgsdevname) $MGS_MOUNT_OPTS || error "start mgs failed"
+       $pass || error "test failed, see FAILED test_60a messages for specifics"
 }
-run_test 60a "llog sanity tests run from kernel module =========="
+run_test 60a "llog_test run from kernel module and test llog_reader =========="
 
 test_60b() { # bug 6411
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        dmesg > $DIR/$tfile
-       LLOG_COUNT=`dmesg | awk "/$TEST60_HEAD/{marker = 1; from_marker = 0;}
-                                /llog.test/ {
-                                        if (marker)
-                                                from_marker++
-                                        from_begin++
-                                }
-                                END {
-                                        if (marker)
-                                                print from_marker
-                                        else
-                                                print from_begin
-                                }"`
-       [[ $LLOG_COUNT -gt 50 ]] &&
+       LLOG_COUNT=$(dmesg | awk "/$TEST60_HEAD/ { marker = 1; from_marker = 0; }
+                               /llog.test/ {
+                                       if (marker)
+                                               from_marker++
+                                       from_begin++
+                               }
+                               END {
+                                       if (marker)
+                                               print from_marker
+                                       else
+                                               print from_begin
+                               }")
+       [[ $LLOG_COUNT -gt 100 ]] &&
                error "CDEBUG_LIMIT not limiting messages ($LLOG_COUNT)" || true
 }
 run_test 60b "limit repeated messages from CERROR/CWARN ========"
@@ -5162,20 +5304,29 @@ test_60d() {
 
        # verify "lctl mark" is even working"
        MESSAGE="test message ID $RANDOM $$"
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" || error "didn't find debug marker in log"
 
        lctl set_param printk=0 || error "set lnet.printk failed"
        lctl get_param -n printk | grep emerg || error "lnet.printk dropped emerg"
        MESSAGE="new test message ID $RANDOM $$"
        # Assume here that libcfs_debug_mark_buffer() uses D_WARNING
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" && error "D_WARNING wasn't masked" || true
 
        lctl set_param -n printk="$SAVEPRINTK"
 }
 run_test 60d "test printk console message masking"
 
+test_60e() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       touch $DIR/$tfile
+#define OBD_FAIL_MDS_LLOG_CREATE_FAILED2  0x15b
+       do_facet mds1 lctl set_param fail_loc=0x15b
+       rm $DIR/$tfile
+}
+run_test 60e "no space while new llog is being created"
+
 test_61() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        f="$DIR/f61"
@@ -5271,28 +5422,35 @@ run_test 65a "directory with no stripe info ===================="
 test_65b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        test_mkdir -p $DIR/$tdir
+       local STRIPESIZE=$($GETSTRIPE -S $DIR/$tdir)
+
        $SETSTRIPE -S $((STRIPESIZE * 2)) -i 0 -c 1 $DIR/$tdir ||
                                                error "setstripe"
        touch $DIR/$tdir/f2
        $LVERIFY $DIR/$tdir $DIR/$tdir/f2 || error "lverify failed"
 }
-run_test 65b "directory setstripe -S $((STRIPESIZE * 2)) -i 0 -c 1"
+run_test 65b "directory setstripe -S stripe_size*2 -i 0 -c 1"
 
 test_65c() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        if [[ $OSTCOUNT -gt 1 ]]; then
                test_mkdir -p $DIR/$tdir
+               local STRIPESIZE=$($GETSTRIPE -S $DIR/$tdir)
+
                $SETSTRIPE -S $(($STRIPESIZE * 4)) -i 1 \
                        -c $(($OSTCOUNT - 1)) $DIR/$tdir || error "setstripe"
                touch $DIR/$tdir/f3
                $LVERIFY $DIR/$tdir $DIR/$tdir/f3 || error "lverify failed"
        fi
 }
-run_test 65c "directory setstripe -S $((STRIPESIZE*4)) -i 1 -c $((OSTCOUNT-1))"
+run_test 65c "directory setstripe -S stripe_size*4 -i 1 -c $((OSTCOUNT-1))"
 
 test_65d() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        test_mkdir -p $DIR/$tdir
+       local STRIPECOUNT=$($GETSTRIPE -c $DIR/$tdir)
+       local STRIPESIZE=$($GETSTRIPE -S $DIR/$tdir)
+
        if [[ $STRIPECOUNT -le 0 ]]; then
                sc=1
        elif [[ $STRIPECOUNT -gt 2000 ]]; then
@@ -5306,7 +5464,7 @@ test_65d() {
        $LVERIFY $DIR/$tdir $DIR/$tdir/f4 $DIR/$tdir/f5 ||
                error "lverify failed"
 }
-run_test 65d "directory setstripe -S $STRIPESIZE -c stripe_count"
+run_test 65d "directory setstripe -S stripe_size -c stripe_count"
 
 test_65e() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
@@ -5330,6 +5488,8 @@ run_test 65f "dir setstripe permission (should return error) ==="
 test_65g() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
         test_mkdir -p $DIR/$tdir
+       local STRIPESIZE=$($GETSTRIPE -S $DIR/$tdir)
+
         $SETSTRIPE -S $((STRIPESIZE * 2)) -i 0 -c 1 $DIR/$tdir ||
                                                        error "setstripe"
         $SETSTRIPE -d $DIR/$tdir || error "setstripe"
@@ -5341,6 +5501,8 @@ run_test 65g "directory setstripe -d ==========================="
 test_65h() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
         test_mkdir -p $DIR/$tdir
+       local STRIPESIZE=$($GETSTRIPE -S $DIR/$tdir)
+
         $SETSTRIPE -S $((STRIPESIZE * 2)) -i 0 -c 1 $DIR/$tdir ||
                                                        error "setstripe"
         test_mkdir -p $DIR/$tdir/dd1
@@ -5539,7 +5701,7 @@ test_68b() {  # was test_68
 run_test 68b "support swapping to Lustre ========================"
 
 # bug5265, obdfilter oa2dentry return -ENOENT
-# #define OBD_FAIL_OST_ENOENT 0x217
+# #define OBD_FAIL_SRV_ENOENT 0x217
 test_69() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        remote_ost_nodsh && skip "remote OST with nodsh" && return
@@ -5568,8 +5730,9 @@ test_69() {
 run_test 69 "verify oa2dentry return -ENOENT doesn't LBUG ======"
 
 test_71() {
-    test_mkdir -p $DIR/$tdir
-    sh rundbench -C -D $DIR/$tdir 2 || error "dbench failed!"
+       test_mkdir -p $DIR/$tdir
+       $LFS setdirstripe -D -c$MDSCOUNT $DIR/$tdir
+       sh rundbench -C -D $DIR/$tdir 2 || error "dbench failed!"
 }
 run_test 71 "Running dbench on lustre (don't segment fault) ===="
 
@@ -6100,7 +6263,7 @@ test_99b() {
        # some versions of cvs import exit(1) when asked to import links or
        # files they can't read.  ignore those files.
        TOIGNORE=$(find . -type l -printf '-I %f\n' -o \
-                       ! -perm +4 -printf '-I %f\n')
+                       ! -perm /4 -printf '-I %f\n')
        $RUNAS cvs -d $DIR/d99cvsroot import -m "nomesg" $TOIGNORE \
                d99reposname vtag rtag
 }
@@ -6437,41 +6600,88 @@ test_101e() {
 }
 run_test 101e "check read-ahead for small read(1k) for small files(500k)"
 
-cleanup_test101f() {
-    trap 0
-    $LCTL set_param -n llite.*.max_read_ahead_whole_mb $MAX_WHOLE_MB
-    rm -rf $DIR/$tfile 2>/dev/null
+test_101f() {
+       which iozone || { skip "no iozone installed" && return; }
+
+       # create a test file
+       iozone -i 0 -+n -r 1m -s 128m -w -f $DIR/$tfile > /dev/null 2>&1
+
+       echo Cancel LRU locks on lustre client to flush the client cache
+       cancel_lru_locks osc
+
+       echo Reset readahead stats
+       $LCTL set_param -n llite.*.read_ahead_stats 0
+
+       echo mmap read the file with small block size
+       iozone -i 1 -+n -r 32k -s 128m -B -f $DIR/$tfile > /dev/null 2>&1
+
+       echo checking missing pages
+       local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
+                       get_named_value 'misses' | cut -d" " -f1 | calc_total)
+
+       [ $miss -lt 3 ] || error "misses too much pages!"
+       rm -f $DIR/$tfile
 }
+run_test 101f "check mmap read performance"
 
-test_101f() {
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-    local file=$DIR/$tfile
-    local nreads=1000
+test_101g() {
+       local rpcs
+       local osts=$(get_facets OST)
+       local list=$(comma_list $(osts_nodes))
+       local p="$TMP/$TESTSUITE-$TESTNAME.parameters"
 
-    MAX_WHOLE_MB=$($LCTL get_param -n llite.*.max_read_ahead_whole_mb)
-    $LCTL set_param -n llite.*.max_read_ahead_whole_mb 2
-    dd if=/dev/zero of=${file} bs=2097152 count=1 2>/dev/null
-    trap cleanup_test101f EXIT
+       save_lustre_params $osts "obdfilter.*.brw_size" > $p
 
-    echo Cancel LRU locks on lustre client to flush the client cache
-    cancel_lru_locks osc
+       $LFS setstripe -c 1 $DIR/$tfile
+
+       if [ $(lustre_version_code ost1) -ge $(version_code 2.8.52) ]; then
+               set_osd_param $list '' brw_size 16M
+
+               echo "remount client to enable large RPC size"
+               remount_client $MOUNT || error "remount_client failed"
+
+               for mp in $($LCTL get_param -n osc.*.max_pages_per_rpc); do
+                       [ "$mp" -eq 4096 ] ||
+                               error "max_pages_per_rpc not correctly set"
+               done
+
+               $LCTL set_param -n osc.*.rpc_stats=0
+
+               # 10*16 MiB should be enough for the test
+               dd if=/dev/zero of=$DIR/$tfile bs=16M count=10
+               cancel_lru_locks osc
+               dd of=/dev/null if=$DIR/$tfile bs=16M count=10
+
+               # calculate 16 MiB RPCs
+               rpcs=$($LCTL get_param 'osc.*.rpc_stats' |
+                      sed -n '/pages per rpc/,/^$/p' |
+                      awk 'BEGIN { sum = 0 }; /4096:/ { sum += $2 };
+                           END { print sum }')
+               echo $rpcs RPCs
+               [ "$rpcs" -eq 10 ] || error "not all RPCs are 16 MiB BRW rpcs"
+       fi
+
+       echo "set RPC size to 4MB"
 
-    echo Reset readahead stats
-    $LCTL set_param -n llite.*.read_ahead_stats 0
-    # Random read in a 2M file, because max_read_ahead_whole_mb = 2M,
-    # readahead should read in 2M file on second read, so only miss
-    # 2 pages.
-    echo Random 4K reads on 2M file for 1000 times
-    $READS -f $file -s 2097152 -b 4096 -n $nreads
+       $LCTL set_param -n osc.*.max_pages_per_rpc=4M osc.*.rpc_stats=0
+       dd if=/dev/zero of=$DIR/$tfile bs=4M count=25
+       cancel_lru_locks osc
+       dd of=/dev/null if=$DIR/$tfile bs=4M count=25
+
+       # calculate 4 MiB RPCs
+       rpcs=$($LCTL get_param 'osc.*.rpc_stats' |
+               sed -n '/pages per rpc/,/^$/p' |
+               awk 'BEGIN { sum = 0 }; /1024:/ { sum += $2 };
+                    END { print sum }')
+       echo $rpcs RPCs
+       [ "$rpcs" -eq 25 ] || error "not all RPCs are 4 MiB BRW rpcs"
 
-    echo checking missing pages
-    local miss=$($LCTL get_param -n llite.*.read_ahead_stats |
-          get_named_value 'misses' | cut -d" " -f1 | calc_total)
+       restore_lustre_params < $p
+       remount_client $MOUNT || error "remount_client failed"
 
-    [ $miss -lt 3 ] || error "misses too much pages!"
-    cleanup_test101f
+       rm -f $p $DIR/$tfile
 }
-run_test 101f "check read-ahead for max_read_ahead_whole_mb"
+run_test 101g "Big bulk(4/16 MiB) readahead"
 
 setup_test102() {
        test_mkdir -p $DIR/$tdir
@@ -6691,7 +6901,7 @@ grow_xattr() {
        local xsize=${1:-1024}  # in bytes
        local file=$DIR/$tfile
 
-       [ -z $(lctl get_param -n mdc.*.connect_flags | grep xattr) ] &&
+       [ -z "$(lctl get_param -n mdc.*.connect_flags | grep xattr)" ] &&
                skip "must have user_xattr" && return 0
        [ -z "$(which setfattr 2>/dev/null)" ] &&
                skip_env "could not find setfattr" && return 0
@@ -6864,7 +7074,7 @@ test_102n() { # LU-4101 mdt: protect internal xattrs
        # Get 'before' xattrs of $file1.
        getfattr --absolute-names --dump --match=- $file1 > $xattr0
 
-       for name in lov lma lmv link fid version som hsm lfsck_namespace; do
+       for name in lov lma lmv link fid version som hsm; do
                # Try to copy xattr from $file0 to $file1.
                value=$(getxattr $file0 trusted.$name 2> /dev/null)
 
@@ -6937,15 +7147,41 @@ test_102p() { # LU-4703 setxattr did not check ownership
 run_test 102p "check setxattr(2) correctly fails without permission"
 
 test_102q() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.92) ] &&
+               skip "MDS needs to be at least 2.6.92" && return
        orphan_linkea_check $DIR/$tfile || error "orphan_linkea_check"
 }
 run_test 102q "flistxattr should not return trusted.link EAs for orphans"
 
 test_102r() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.93) ] &&
+               skip "MDS needs to be at least 2.6.93" && return
        touch $DIR/$tfile || error "touch"
        setfattr -n user.$(basename $tfile) $DIR/$tfile || error "setfattr"
        getfattr -n user.$(basename $tfile) $DIR/$tfile || error "getfattr"
        rm $DIR/$tfile || error "rm"
+
+       #normal directory
+       mkdir -p $DIR/$tdir || error "mkdir"
+       setfattr -n user.$(basename $tdir) $DIR/$tdir || error "setfattr dir"
+       getfattr -n user.$(basename $tdir) $DIR/$tdir || error "getfattr dir"
+       setfattr -x user.$(basename $tdir) $DIR/$tdir ||
+               error "$testfile error deleting user.author1"
+       getfattr -d -m user.$(basename $tdir) 2> /dev/null |
+               grep "user.$(basename $tdir)" &&
+               error "$tdir did not delete user.$(basename $tdir)"
+       rmdir $DIR/$tdir || error "rmdir"
+
+       #striped directory
+       test_mkdir -p $DIR/$tdir || error "make striped dir"
+       setfattr -n user.$(basename $tdir) $DIR/$tdir || error "setfattr dir"
+       getfattr -n user.$(basename $tdir) $DIR/$tdir || error "getfattr dir"
+       setfattr -x user.$(basename $tdir) $DIR/$tdir ||
+               error "$testfile error deleting user.author1"
+       getfattr -d -m user.$(basename $tdir) 2> /dev/null |
+               grep "user.$(basename $tdir)" &&
+               error "$tdir did not delete user.$(basename $tdir)"
+       rmdir $DIR/$tdir || error "rm striped dir"
 }
 run_test 102r "set EAs with empty values"
 
@@ -7261,6 +7497,8 @@ free_min_max () {
 
 test_116a() { # was previously test_116()
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+
        [[ $OSTCOUNT -lt 2 ]] && skip_env "$OSTCOUNT < 2 OSTs" && return
 
        echo -n "Free space priority "
@@ -7354,9 +7592,10 @@ test_116a() { # was previously test_116()
        echo "Wrote ${DIFF}KB to smaller OST $MINI1"
        DIFF2=$(($MAXV1 - ${AVAIL[$MAXI1]}))
        echo "Wrote ${DIFF2}KB to larger OST $MAXI1"
-       FILL=$(($DIFF2 * 100 / $DIFF - 100))
-       [ $DIFF -gt 0 ] &&
+       if [[ $DIFF -gt 0 ]]; then
+               FILL=$(($DIFF2 * 100 / $DIFF - 100))
                echo "Wrote ${FILL}% more data to larger OST $MAXI1"
+       fi
 
        # Figure out which files were written where
        UUID=$(lctl get_param -n lov.${FSNAME}-clilov-*.target_obd |
@@ -7369,9 +7608,10 @@ test_116a() { # was previously test_116()
        echo $UUID
        MAXC=$($GETSTRIPE --ost $UUID $DIR/$tdir | grep $DIR | wc -l)
        echo "$MAXC files created on larger OST $MAXI1"
-       FILL=$(($MAXC * 100 / $MINC - 100))
-       [[ $MINC -gt 0 ]] &&
+       if [[ $MINC -gt 0 ]]; then
+               FILL=$(($MAXC * 100 / $MINC - 100))
                echo "Wrote ${FILL}% more files to larger OST $MAXI1"
+       fi
        [[ $MAXC -gt $MINC ]] ||
                error_ignore LU-9 "stripe QOS didn't balance free space"
        simple_cleanup_common
@@ -7380,6 +7620,8 @@ run_test 116a "stripe QOS: free space balance ==================="
 
 test_116b() { # LU-2093
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+
 #define OBD_FAIL_MDS_OSC_CREATE_FAIL     0x147
        local old_rr=$(do_facet $SINGLEMDS lctl get_param -n \
                       lo*.$FSNAME-MDT0000-mdtlov.qos_threshold_rr | head -1)
@@ -7456,7 +7698,7 @@ test_118b()
 
        reset_async
 
-       #define OBD_FAIL_OST_ENOENT 0x217
+       #define OBD_FAIL_SRV_ENOENT 0x217
        set_nodes_failloc "$(osts_nodes)" 0x217
        $MULTIOP $DIR/$tfile oO_CREAT:O_RDWR:O_SYNC:w4096c
        RC=$?
@@ -7991,16 +8233,20 @@ run_test 120d "Early Lock Cancel: setattr test"
 
 test_120e() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-        test_mkdir -p -c1 $DIR/$tdir
-        [ -z "`lctl get_param -n mdc.*.connect_flags | grep early_lock_cancel`" ] && \
-               skip "no early lock cancel on server" && return 0
-        lru_resize_disable mdc
-        lru_resize_disable osc
-        dd if=/dev/zero of=$DIR/$tdir/f1 count=1
-        cancel_lru_locks mdc
-        cancel_lru_locks osc
-        dd if=$DIR/$tdir/f1 of=/dev/null
-        stat $DIR/$tdir $DIR/$tdir/f1 > /dev/null
+       ! $($LCTL get_param -n mdc.*.connect_flags | grep -q early_lock_can) &&
+               skip "no early lock cancel on server" && return 0
+       local dlmtrace_set=false
+
+       test_mkdir -p -c1 $DIR/$tdir
+       lru_resize_disable mdc
+       lru_resize_disable osc
+       ! $LCTL get_param debug | grep -q dlmtrace &&
+               $LCTL set_param debug=+dlmtrace && dlmtrace_set=true
+       dd if=/dev/zero of=$DIR/$tdir/f1 count=1
+       cancel_lru_locks mdc
+       cancel_lru_locks osc
+       dd if=$DIR/$tdir/f1 of=/dev/null
+       stat $DIR/$tdir $DIR/$tdir/f1 > /dev/null
        # XXX client can not do early lock cancel of OST lock
        # during unlink (LU-4206), so cancel osc lock now.
        cancel_lru_locks osc
@@ -8016,8 +8262,11 @@ test_120e() {
               awk '/ldlm_cancel/ {print $2}')
        blk2=$($LCTL get_param -n ldlm.services.ldlm_cbd.stats |
               awk '/ldlm_bl_callback/ {print $2}')
-       [ $can1 -eq $can2 ] || error $((can2-can1)) "cancel RPC occured."
-       [ $blk1 -eq $blk2 ] || error $((blk2-blk1)) "blocking RPC occured."
+       [ $can1 -ne $can2 ] && error "$((can2 - can1)) cancel RPC occured" &&
+               $LCTL dk $TMP/cancel.debug.txt
+       [ $blk1 -ne $blk2 ] && error "$((blk2 - blk1)) blocking RPC occured" &&
+               $LCTL dk $TMP/blocking.debug.txt
+       $dlmtrace_set && $LCTL set_param debug=-dlmtrace
        lru_resize_enable mdc
        lru_resize_enable osc
 }
@@ -8395,6 +8644,38 @@ test_124b() {
 }
 run_test 124b "lru resize (performance test) ======================="
 
+test_124c() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ -z "$($LCTL get_param -n mdc.*.connect_flags | grep lru_resize)" ] &&
+               skip "no lru resize on server" && return 0
+
+       # cache ununsed locks on client
+       local nr=100
+       cancel_lru_locks mdc
+       test_mkdir -p $DIR/$tdir || error "failed to create $DIR/$tdir"
+       createmany -o $DIR/$tdir/f $nr ||
+               error "failed to create $nr files in $DIR/$tdir"
+       ls -l $DIR/$tdir > /dev/null
+
+       local nsdir="ldlm.namespaces.*-MDT0000-mdc-*"
+       local unused=$($LCTL get_param -n $nsdir.lock_unused_count)
+       local max_age=$($LCTL get_param -n $nsdir.lru_max_age)
+       local recalc_p=$($LCTL get_param -n $nsdir.pool.recalc_period)
+       echo "unused=$unused, max_age=$max_age, recalc_p=$recalc_p"
+
+       # set lru_max_age to 1 sec
+       $LCTL set_param $nsdir.lru_max_age=1000 # jiffies
+       echo "sleep $((recalc_p * 2)) seconds..."
+       sleep $((recalc_p * 2))
+
+       local remaining=$($LCTL get_param -n $nsdir.lock_unused_count)
+       # restore lru_max_age
+       $LCTL set_param -n $nsdir.lru_max_age $max_age
+       [ $remaining -eq 0 ] || error "$remaining locks are not canceled"
+       unlinkmany $DIR/$tdir/f $nr
+}
+run_test 124c "LRUR cancel very aged locks"
+
 test_125() { # 13358
        [ -z "$(lctl get_param -n llite.*.client_type | grep local)" ] && skip "must run as local client" && return
        [ -z "$(lctl get_param -n mdc.*-mdc-*.connect_flags | grep acl)" ] && skip "must have acl enabled" && return
@@ -8490,11 +8771,13 @@ test_127b() { # bug LU-333
                 esac
         done < $TMP/${tfile}.tmp
 
-        #check that we actually got some stats
-        [ "$read_bytes" ] || error "Missing read_bytes stats"
-        [ "$write_bytes" ] || error "Missing write_bytes stats"
-        [ "$read_bytes" != 0 ] || error "no read done"
-        [ "$write_bytes" != 0 ] || error "no write done"
+       #check that we actually got some stats
+       [ "$read_bytes" ] || error "Missing read_bytes stats"
+       [ "$write_bytes" ] || error "Missing write_bytes stats"
+       [ "$read_bytes" != 0 ] || error "no read done"
+       [ "$write_bytes" != 0 ] || error "no write done"
+
+       rm -f $TMP/${tfile}.tmp
 }
 run_test 127b "verify the llite client stats are sane"
 
@@ -8506,8 +8789,9 @@ test_128() { # bug 15212
        EOF
 
        result=$(grep error $TMP/$tfile.log)
-       rm -f $DIR/$tfile
-       [ -z "$result" ] || error "consecutive find's under interactive lfs failed"
+       rm -f $DIR/$tfile $TMP/$tfile.log
+       [ -z "$result" ] ||
+               error "consecutive find's under interactive lfs failed"
 }
 run_test 128 "interactive lfs for 2 consecutive find's"
 
@@ -8525,7 +8809,18 @@ set_dir_limits () {
                do_facet $facet "test -e $LDPROC/$canondev/max_dir_size" ||
                                                LDPROC=/sys/fs/ldiskfs
                do_facet $facet "echo $1 >$LDPROC/$canondev/max_dir_size"
+               do_facet $facet "test -e $LDPROC/$canondev/warning_dir_size" ||
+                                               LDPROC=/sys/fs/ldiskfs
+               do_facet $facet "echo $2 >$LDPROC/$canondev/warning_dir_size"
+       done
+}
+
+check_mds_dmesg() {
+       local facets=$(get_facets MDS)
+       for facet in ${facets//,/ }; do
+               do_facet $facet "dmesg | tail -3 | grep -q $1" && return 0
        done
+       return 1
 }
 
 test_129() {
@@ -8537,31 +8832,40 @@ test_129() {
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        ENOSPC=28
        EFBIG=27
+       has_warning=0
 
        rm -rf $DIR/$tdir
-       test_mkdir -p $DIR/$tdir
+       mkdir -p $DIR/$tdir
 
        # block size of mds1
        local MDT_DEV=$(mdsdevname ${SINGLEMDS//mds/})
        local MDSBLOCKSIZE=$($LCTL get_param -n mdc.*MDT0000*.blocksize)
-       local MAX=$((MDSBLOCKSIZE * 3))
-       set_dir_limits $MAX
+       local MAX=$((MDSBLOCKSIZE * 5))
+       set_dir_limits $MAX $MAX
        local I=$(stat -c%s "$DIR/$tdir")
        local J=0
-       local STRIPE_COUNT=1
-       [[ $MDSCOUNT -ge 2 ]] && STRIPE_COUNT=$($LFS getdirstripe -c $DIR/$tdir)
-       MAX=$((MAX*STRIPE_COUNT))
        while [[ $I -le $MAX ]]; do
                $MULTIOP $DIR/$tdir/$J Oc
                rc=$?
+               if [ $has_warning -eq 0 ]; then
+                       check_mds_dmesg '"is approaching"' &&
+                               has_warning=1
+               fi
                #check two errors ENOSPC for new version of ext4 max_dir_size patch
                #mainline kernel commit df981d03eeff7971ac7e6ff37000bfa702327ef1
                #and EFBIG for previous versions
                if [ $rc -eq $EFBIG -o $rc -eq $ENOSPC ]; then
-                       set_dir_limits 0
+                       set_dir_limits 0 0
                        echo "return code $rc received as expected"
-                       multiop $DIR/$tdir/$J Oc ||
-                               error_exit "multiop failed w/o dir size limit"
+
+                       createmany -o $DIR/$tdir/$J_file_ 1000 ||
+                               error_exit "create failed w/o dir size limit"
+
+                       check_mds_dmesg '"has reached"' ||
+                               error_exit "has reached message should be output"
+
+                       [ $has_warning ] ||
+                               error_exit "warning message should be output"
 
                        I=$(stat -c%s "$DIR/$tdir")
 
@@ -8574,7 +8878,7 @@ test_129() {
                        fi
                        error_exit "current dir size $I, previous limit $MAX"
                elif [ $rc -ne 0 ]; then
-                       set_dir_limits 0
+                       set_dir_limits 0 0
                        error_exit "return code $rc received instead of expected " \
                                   "$EFBIG or $ENOSPC, files in dir $I"
                fi
@@ -8582,7 +8886,7 @@ test_129() {
                I=$(stat -c%s "$DIR/$tdir")
        done
 
-       set_dir_limits 0
+       set_dir_limits 0 0
        error "exceeded dir size limit $MAX($MDSCOUNT) : $I bytes"
 }
 run_test 129 "test directory size limit ========================"
@@ -8612,8 +8916,8 @@ test_130a() {
                skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
        [ $RC != 0 ] && error "filefrag $fm_file failed"
 
-       filefrag_op=$(filefrag -ve $fm_file | grep -A 100 "ext:" |
-                     grep -v "ext:" | grep -v "found")
+       filefrag_op=$(filefrag -ve $fm_file |
+                       sed -n '/ext:/,/found/{/ext:/d; /found/d; p}')
        lun=$($GETSTRIPE -i $fm_file)
 
        start_blk=`echo $filefrag_op | cut -d: -f2 | cut -d. -f1`
@@ -8645,10 +8949,7 @@ run_test 130a "FIEMAP (1-stripe file)"
 
 test_130b() {
        [ "$OSTCOUNT" -lt "2" ] &&
-               skip_env "skipping FIEMAP on 2-stripe file test" && return
-
-       [ "$OSTCOUNT" -ge "10" ] &&
-               skip_env "skipping FIEMAP with >= 10 OSTs" && return
+               skip_env "skipping FIEMAP on $OSTCOUNT-stripe file" && return
 
        local filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
        [ -n "$filefrag_op" ] && skip_env "filefrag does not support FIEMAP" &&
@@ -8657,30 +8958,34 @@ test_130b() {
        trap cleanup_130 EXIT RETURN
 
        local fm_file=$DIR/$tfile
-       $SETSTRIPE -S 65536 -c 2 $fm_file || error "setstripe on $fm_file"
+       $SETSTRIPE -S 65536 -c $OSTCOUNT $fm_file ||
+                       error "setstripe on $fm_file"
        [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
                skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
 
-       dd if=/dev/zero of=$fm_file bs=1M count=2 ||
+       dd if=/dev/zero of=$fm_file bs=1M count=$OSTCOUNT ||
                error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=$(filefrag -ve $fm_file | grep -A 100 "ext:" |
-                     grep -v "ext:" | grep -v "found")
+       filefrag_op=$(filefrag -ve $fm_file |
+                       sed -n '/ext:/,/found/{/ext:/d; /found/d; p}')
 
-       last_lun=$(echo $filefrag_op | cut -d: -f5)
+       last_lun=$(echo $filefrag_op | cut -d: -f5 |
+               sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
 
        IFS=$'\n'
        tot_len=0
        num_luns=1
        for line in $filefrag_op
        do
-               frag_lun=`echo $line | cut -d: -f5`
-               ext_len=`echo $line | cut -d: -f4`
+               frag_lun=$(echo $line | cut -d: -f5 |
+                       sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
+               ext_len=$(echo $line | cut -d: -f4)
                if (( $frag_lun != $last_lun )); then
                        if (( tot_len != 1024 )); then
                                cleanup_130
-                               error "FIEMAP on $fm_file failed; returned len $tot_len for OST $last_lun instead of 256"
+                               error "FIEMAP on $fm_file failed; returned " \
+                               "len $tot_len for OST $last_lun instead of 1024"
                                return
                        else
                                (( num_luns += 1 ))
@@ -8690,25 +8995,23 @@ test_130b() {
                (( tot_len += ext_len ))
                last_lun=$frag_lun
        done
-       if (( num_luns != 2 || tot_len != 1024 )); then
+       if (( num_luns != $OSTCOUNT || tot_len != 1024 )); then
                cleanup_130
-               error "FIEMAP on $fm_file failed; returned wrong number of luns or wrong len for OST $last_lun"
+               error "FIEMAP on $fm_file failed; returned wrong number of " \
+                       "luns or wrong len for OST $last_lun"
                return
        fi
 
        cleanup_130
 
-       echo "FIEMAP on 2-stripe file succeeded"
+       echo "FIEMAP on $OSTCOUNT-stripe file succeeded"
 }
-run_test 130b "FIEMAP (2-stripe file)"
+run_test 130b "FIEMAP ($OSTCOUNT-stripe file)"
 
 test_130c() {
        [ "$OSTCOUNT" -lt "2" ] &&
                skip_env "skipping FIEMAP on 2-stripe file" && return
 
-       [ "$OSTCOUNT" -ge "10" ] &&
-               skip_env "skipping FIEMAP with >= 10 OSTs" && return
-
        filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
        [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" &&
                return
@@ -8720,30 +9023,36 @@ test_130c() {
        [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
                skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
 
-       dd if=/dev/zero of=$fm_file seek=1 bs=1M count=1 || error "dd failed on $fm_file"
+       dd if=/dev/zero of=$fm_file seek=1 bs=1M count=1 ||
+                       error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=`filefrag -ve $fm_file | grep -A 100 "ext:" | grep -v "ext:" | grep -v "found"`
+       filefrag_op=$(filefrag -ve $fm_file |
+               sed -n '/ext:/,/found/{/ext:/d; /found/d; p}')
 
-       last_lun=`echo $filefrag_op | cut -d: -f5`
+       last_lun=$(echo $filefrag_op | cut -d: -f5 |
+               sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
 
        IFS=$'\n'
        tot_len=0
        num_luns=1
        for line in $filefrag_op
        do
-               frag_lun=`echo $line | cut -d: -f5`
-               ext_len=`echo $line | cut -d: -f4`
+               frag_lun=$(echo $line | cut -d: -f5 |
+                       sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
+               ext_len=$(echo $line | cut -d: -f4)
                if (( $frag_lun != $last_lun )); then
                        logical=`echo $line | cut -d: -f2 | cut -d. -f1`
                        if (( logical != 512 )); then
                                cleanup_130
-                               error "FIEMAP on $fm_file failed; returned logical start for lun $logical instead of 512"
+                               error "FIEMAP on $fm_file failed; returned " \
+                               "logical start for lun $logical instead of 512"
                                return
                        fi
                        if (( tot_len != 512 )); then
                                cleanup_130
-                               error "FIEMAP on $fm_file failed; returned len $tot_len for OST $last_lun instead of 1024"
+                               error "FIEMAP on $fm_file failed; returned " \
+                               "len $tot_len for OST $last_lun instead of 1024"
                                return
                        else
                                (( num_luns += 1 ))
@@ -8755,7 +9064,8 @@ test_130c() {
        done
        if (( num_luns != 2 || tot_len != 512 )); then
                cleanup_130
-               error "FIEMAP on $fm_file failed; returned wrong number of luns or wrong len for OST $last_lun"
+               error "FIEMAP on $fm_file failed; returned wrong number of " \
+                       "luns or wrong len for OST $last_lun"
                return
        fi
 
@@ -8766,18 +9076,18 @@ test_130c() {
 run_test 130c "FIEMAP (2-stripe file with hole)"
 
 test_130d() {
-       [ "$OSTCOUNT" -lt "3" ] && skip_env "skipping FIEMAP on N-stripe file test" && return
-
-       [ "$OSTCOUNT" -ge "10" ] &&
-               skip_env "skipping FIEMAP with >= 10 OSTs" && return
+       [ "$OSTCOUNT" -lt "3" ] &&
+               skip_env "skipping FIEMAP on N-stripe file test" && return
 
        filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
-       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" && return
+       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" &&
+               return
 
        trap cleanup_130 EXIT RETURN
 
        local fm_file=$DIR/$tfile
-       $SETSTRIPE -S 65536 -c $OSTCOUNT $fm_file||error "setstripe on $fm_file"
+       $SETSTRIPE -S 65536 -c $OSTCOUNT $fm_file ||
+                       error "setstripe on $fm_file"
        [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
                skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
 
@@ -8786,22 +9096,25 @@ test_130d() {
                error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=`filefrag -ve $fm_file | grep -A 100 "ext:" |
-               grep -v "ext:" | grep -v "found"`
+       filefrag_op=$(filefrag -ve $fm_file |
+                       sed -n '/ext:/,/found/{/ext:/d; /found/d; p}')
 
-       last_lun=`echo $filefrag_op | cut -d: -f5`
+       last_lun=$(echo $filefrag_op | cut -d: -f5 |
+               sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
 
        IFS=$'\n'
        tot_len=0
        num_luns=1
        for line in $filefrag_op
        do
-               frag_lun=`echo $line | cut -d: -f5`
-               ext_len=`echo $line | cut -d: -f4`
+               frag_lun=$(echo $line | cut -d: -f5 |
+                       sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
+               ext_len=$(echo $line | cut -d: -f4)
                if (( $frag_lun != $last_lun )); then
                        if (( tot_len != 1024 )); then
                                cleanup_130
-                               error "FIEMAP on $fm_file failed; returned len $tot_len for OST $last_lun instead of 1024"
+                               error "FIEMAP on $fm_file failed; returned " \
+                               "len $tot_len for OST $last_lun instead of 1024"
                                return
                        else
                                (( num_luns += 1 ))
@@ -8813,7 +9126,8 @@ test_130d() {
        done
        if (( num_luns != actual_stripecnt || tot_len != 1024 )); then
                cleanup_130
-               error "FIEMAP on $fm_file failed; returned wrong number of luns or wrong len for OST $last_lun"
+               error "FIEMAP on $fm_file failed; returned wrong number of " \
+                       "luns or wrong len for OST $last_lun"
                return
        fi
 
@@ -8824,10 +9138,8 @@ test_130d() {
 run_test 130d "FIEMAP (N-stripe file)"
 
 test_130e() {
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "skipping continuation FIEMAP test" && return
-
-       [ "$OSTCOUNT" -ge "10" ] &&
-               skip_env "skipping FIEMAP with >= 10 OSTs" && return
+       [ "$OSTCOUNT" -lt "2" ] &&
+               skip_env "skipping continuation FIEMAP test" && return
 
        filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
        [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" && return
@@ -8847,21 +9159,26 @@ test_130e() {
        done
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=`filefrag -ve $fm_file | grep -A 12000 "ext:" | grep -v "ext:" | grep -v "found"`
+       filefrag_op=$(filefrag -ve $fm_file |
+                       sed -n '/ext:/,/found/{/ext:/d; /found/d; p}')
 
-       last_lun=`echo $filefrag_op | cut -d: -f5`
+       last_lun=$(echo $filefrag_op | cut -d: -f5 |
+               sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
 
        IFS=$'\n'
        tot_len=0
        num_luns=1
        for line in $filefrag_op
        do
-               frag_lun=`echo $line | cut -d: -f5`
-               ext_len=`echo $line | cut -d: -f4`
+               frag_lun=$(echo $line | cut -d: -f5 |
+                       sed -e 's/^[ \t]*/0x/' | sed -e 's/0x0x/0x/')
+               ext_len=$(echo $line | cut -d: -f4)
                if (( $frag_lun != $last_lun )); then
                        if (( tot_len != $EXPECTED_LEN )); then
                                cleanup_130
-                               error "FIEMAP on $fm_file failed; returned len $tot_len for OST $last_lun instead of $EXPECTED_LEN"
+                               error "FIEMAP on $fm_file failed; returned " \
+                               "len $tot_len for OST $last_lun instead " \
+                               "of $EXPECTED_LEN"
                                return
                        else
                                (( num_luns += 1 ))
@@ -8873,7 +9190,8 @@ test_130e() {
        done
        if (( num_luns != 2 || tot_len != $EXPECTED_LEN )); then
                cleanup_130
-               error "FIEMAP on $fm_file failed; returned wrong number of luns or wrong len for OST $last_lun"
+               error "FIEMAP on $fm_file failed; returned wrong number " \
+                       "of luns or wrong len for OST $last_lun"
                return
        fi
 
@@ -8966,8 +9284,10 @@ test_133a() {
        touch ${testdir}/${tfile} || "touch failed"
        check_stats $SINGLEMDS "open" 1
        check_stats $SINGLEMDS "close" 1
-       mknod ${testdir}/${tfile}-pipe p || "mknod failed"
-       check_stats $SINGLEMDS "mknod" 1
+       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.8.54) ] && {
+               mknod ${testdir}/${tfile}-pipe p || "mknod failed"
+               check_stats $SINGLEMDS "mknod" 2
+       }
        rm -f ${testdir}/${tfile}-pipe || "pipe remove failed"
        check_stats $SINGLEMDS "unlink" 1
        rm -f ${testdir}/${tfile} || error "file remove failed"
@@ -9227,31 +9547,25 @@ test_133e() {
 }
 run_test 133e "Verifying OST {read,write}_bytes nid stats ================="
 
-test_133f() {
-       local proc_dirs
-
-       local dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/ \
-/sys/fs/lustre/ /sys/fs/lnet/"
-       local dir
-       for dir in $dirs; do
-               if [ -d $dir ]; then
-                       proc_dirs="$proc_dirs $dir"
-               fi
-       done
-
-       local facet
+proc_dirs=""
+for dir in /proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/ \
+          /sys/fs/lustre/ /sys/fs/lnet/ /sys/kernel/debug/lnet/ \
+          /sys/kernel/debug/lustre/; do
+       [[ -d $dir ]] && proc_dirs+=" $dir"
+done
 
+test_133f() {
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        remote_ost_nodsh && skip "remote OST with nodsh" && return
        # First without trusting modes.
        find $proc_dirs -exec cat '{}' \; &> /dev/null
 
        # Second verifying readability.
-       find $proc_dirs \
-               -type f \
-               -exec cat '{}' \; &> /dev/null ||
-                       error "proc file read failed"
+       $LCTL get_param -R '*' &> /dev/null || error "proc file read failed"
 
+       # eventually, this can also be replaced with "lctl get_param -R",
+       # but not until that option is always available on the server
+       local facet
        for facet in $SINGLEMDS ost1; do
                do_facet $facet find $proc_dirs \
                        ! -name req_history \
@@ -9267,20 +9581,7 @@ test_133f() {
 run_test 133f "Check for LBUGs/Oopses/unreadable files in /proc"
 
 test_133g() {
-       local proc_dirs
-
-       local dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/ \
-/sys/fs/lustre/ /sys/fs/lnet/"
-       local dir
-       for dir in $dirs; do
-               if [ -d $dir ]; then
-                       proc_dirs="$proc_dirs $dir"
-               fi
-       done
-
-       local facet
-
-       # Second verifying readability.
+       # Second verifying writability.
        find $proc_dirs \
                -type f \
                -not -name force_lbug \
@@ -9294,6 +9595,7 @@ test_133g() {
        [ $(lustre_version_code ost1) -le $(version_code 2.5.54) ] &&
                skip "Too old lustre on ost1" && return
 
+       local facet
        for facet in $SINGLEMDS ost1; do
                do_facet $facet find $proc_dirs \
                        -type f \
@@ -9311,6 +9613,81 @@ test_133g() {
 }
 run_test 133g "Check for Oopses on bad io area writes/reads in /proc"
 
+test_134a() {
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.54) ]] &&
+               skip "Need MDS version at least 2.7.54" && return
+
+       mkdir -p $DIR/$tdir || error "failed to create $DIR/$tdir"
+       cancel_lru_locks mdc
+
+       local nsdir="ldlm.namespaces.*-MDT0000-mdc-*"
+       local unused=$($LCTL get_param -n $nsdir.lock_unused_count)
+       [ $unused -eq 0 ] || "$unused locks are not cleared"
+
+       local nr=1000
+       createmany -o $DIR/$tdir/f $nr ||
+               error "failed to create $nr files in $DIR/$tdir"
+       unused=$($LCTL get_param -n $nsdir.lock_unused_count)
+
+       #define OBD_FAIL_LDLM_WATERMARK_LOW     0x327
+       do_facet mds1 $LCTL set_param fail_loc=0x327
+       do_facet mds1 $LCTL set_param fail_val=500
+       touch $DIR/$tdir/m
+
+       echo "sleep 10 seconds ..."
+       sleep 10
+       local lck_cnt=$($LCTL get_param -n $nsdir.lock_unused_count)
+
+       do_facet mds1 $LCTL set_param fail_loc=0
+       do_facet mds1 $LCTL set_param fail_val=0
+       [ $lck_cnt -lt $unused ] ||
+               error "No locks reclaimed, before:$unused, after:$lck_cnt"
+
+       rm $DIR/$tdir/m
+       unlinkmany $DIR/$tdir/f $nr
+}
+run_test 134a "Server reclaims locks when reaching lock_reclaim_threshold"
+
+test_134b() {
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.54) ]] &&
+               skip "Need MDS version at least 2.7.54" && return
+
+       mkdir -p $DIR/$tdir || error "failed to create $DIR/$tdir"
+       cancel_lru_locks mdc
+
+       local low_wm=$(do_facet mds1 $LCTL get_param -n \
+                       ldlm.lock_reclaim_threshold_mb)
+       # disable reclaim temporarily
+       do_facet mds1 $LCTL set_param ldlm.lock_reclaim_threshold_mb=0
+
+       #define OBD_FAIL_LDLM_WATERMARK_HIGH     0x328
+       do_facet mds1 $LCTL set_param fail_loc=0x328
+       do_facet mds1 $LCTL set_param fail_val=500
+
+       $LCTL set_param debug=+trace
+
+       local nr=600
+       createmany -o $DIR/$tdir/f $nr &
+       local create_pid=$!
+
+       echo "Sleep $TIMEOUT seconds ..."
+       sleep $TIMEOUT
+       if ! ps -p $create_pid  > /dev/null 2>&1; then
+               do_facet mds1 $LCTL set_param fail_loc=0
+               do_facet mds1 $LCTL set_param fail_val=0
+               do_facet mds1 $LCTL set_param \
+                       ldlm.lock_reclaim_threshold_mb=${low_wm}m
+               error "createmany finished incorrectly!"
+       fi
+       do_facet mds1 $LCTL set_param fail_loc=0
+       do_facet mds1 $LCTL set_param fail_val=0
+       do_facet mds1 $LCTL set_param ldlm.lock_reclaim_threshold_mb=${low_wm}m
+       wait $create_pid || return 1
+
+       unlinkmany $DIR/$tdir/f $nr
+}
+run_test 134b "Server rejects lock request when reaching lock_limit_mb"
+
 test_140() { #bug-17379
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
         test_mkdir -p $DIR/$tdir || error "Creating dir $DIR/$tdir"
@@ -9682,6 +10059,7 @@ test_154a() {
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.51) ]] ||
                { skip "Need MDS version at least 2.2.51"; return 0; }
        [ -z "$(which setfacl)" ] && skip "must have setfacl tool" && return
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        cp /etc/hosts $DIR/$tfile
 
@@ -9708,6 +10086,7 @@ test_154b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.51) ]] ||
                { skip "Need MDS version at least 2.2.51"; return 0; }
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
@@ -9804,6 +10183,7 @@ test_154e()
 run_test 154e ".lustre is not returned by readdir"
 
 test_154f() {
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
        # create parent directory on a single MDT to avoid cross-MDT hardlinks
        test_mkdir -p -c1 $DIR/$tdir/d
        # test dirs inherit from its stripe
@@ -9876,6 +10256,7 @@ test_154f() {
 
        rm -f $DIR/f
        restore_lustre_params < $save
+       rm -f $save
 }
 run_test 154f "get parent fids by reading link ea"
 
@@ -9883,6 +10264,7 @@ test_154g()
 {
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.92) ]] ||
                { skip "Need MDS version at least 2.6.92"; return 0; }
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        mkdir -p $DIR/$tdir
        llapi_fid_test -d $DIR/$tdir
@@ -10017,142 +10399,141 @@ test_156() {
        local AFTER
        local file="$DIR/$tfile"
 
-       [ "$(facet_fstype ost1)" = "zfs" ] &&
-               skip "LU-1956/LU-2261: stats unimplemented on OSD ZFS" &&
+       [ "$(facet_fstype ost1)" = "zfs" -a \
+          $(lustre_version_code ost1 -lt $(version_code 2.6.93)) ] &&
+               skip "LU-1956/LU-2261: stats not implemented on OSD ZFS" &&
                return
 
        roc_hit_init
 
-    log "Turn on read and write cache"
-    set_cache read on
-    set_cache writethrough on
-
-    log "Write data and read it back."
-    log "Read should be satisfied from the cache."
-    dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
-    BEFORE=`roc_hit`
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == CPAGES"; then
-        error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
-
-    log "Read again; it should be satisfied from the cache."
-    BEFORE=$AFTER
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == CPAGES"; then
-        error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Turn on read and write cache"
+       set_cache read on
+       set_cache writethrough on
 
+       log "Write data and read it back."
+       log "Read should be satisfied from the cache."
+       dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
+       BEFORE=$(roc_hit)
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == CPAGES"; then
+               error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    log "Turn off the read cache and turn on the write cache"
-    set_cache read off
-    set_cache writethrough on
+       log "Read again; it should be satisfied from the cache."
+       BEFORE=$AFTER
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == CPAGES"; then
+               error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    log "Read again; it should be satisfied from the cache."
-    BEFORE=`roc_hit`
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == CPAGES"; then
-        error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Turn off the read cache and turn on the write cache"
+       set_cache read off
+       set_cache writethrough on
 
-    log "Read again; it should not be satisfied from the cache."
-    BEFORE=$AFTER
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == 0"; then
-        error "IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Read again; it should be satisfied from the cache."
+       BEFORE=$(roc_hit)
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == CPAGES"; then
+               error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    log "Write data and read it back."
-    log "Read should be satisfied from the cache."
-    dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
-    BEFORE=`roc_hit`
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == CPAGES"; then
-        error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Read again; it should not be satisfied from the cache."
+       BEFORE=$AFTER
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == 0"; then
+               error "IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    log "Read again; it should not be satisfied from the cache."
-    BEFORE=$AFTER
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == 0"; then
-        error "IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Write data and read it back."
+       log "Read should be satisfied from the cache."
+       dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
+       BEFORE=$(roc_hit)
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == CPAGES"; then
+               error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
+       log "Read again; it should not be satisfied from the cache."
+       BEFORE=$AFTER
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == 0"; then
+               error "IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    log "Turn off read and write cache"
-    set_cache read off
-    set_cache writethrough off
+       log "Turn off read and write cache"
+       set_cache read off
+       set_cache writethrough off
 
-    log "Write data and read it back"
-    log "It should not be satisfied from the cache."
-    rm -f $file
-    dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
-    cancel_lru_locks osc
-    BEFORE=`roc_hit`
-    cat $file >/dev/null
-    AFTER=`roc_hit`
+       log "Write data and read it back"
+       log "It should not be satisfied from the cache."
+       rm -f $file
+       dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
+       cancel_lru_locks osc
+       BEFORE=$(roc_hit)
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
        if ! let "AFTER - BEFORE == 0"; then
                error_ignore bz20762 "IN CACHE: before: $BEFORE, after: $AFTER"
        else
                log "cache hits:: before: $BEFORE, after: $AFTER"
        fi
 
-    log "Turn on the read cache and turn off the write cache"
-    set_cache read on
-    set_cache writethrough off
+       log "Turn on the read cache and turn off the write cache"
+       set_cache read on
+       set_cache writethrough off
 
-    log "Write data and read it back"
-    log "It should not be satisfied from the cache."
-    rm -f $file
-    dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
-    BEFORE=`roc_hit`
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
+       log "Write data and read it back"
+       log "It should not be satisfied from the cache."
+       rm -f $file
+       dd if=/dev/urandom of=$file bs=4k count=$CPAGES || error "dd failed"
+       BEFORE=$(roc_hit)
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
        if ! let "AFTER - BEFORE == 0"; then
                error_ignore bz20762 "IN CACHE: before: $BEFORE, after: $AFTER"
        else
                log "cache hits:: before: $BEFORE, after: $AFTER"
        fi
 
-    log "Read again; it should be satisfied from the cache."
-    BEFORE=`roc_hit`
-    cancel_lru_locks osc
-    cat $file >/dev/null
-    AFTER=`roc_hit`
-    if ! let "AFTER - BEFORE == CPAGES"; then
-        error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
-    else
-        log "cache hits:: before: $BEFORE, after: $AFTER"
-    fi
+       log "Read again; it should be satisfied from the cache."
+       BEFORE=$(roc_hit)
+       cancel_lru_locks osc
+       cat $file >/dev/null
+       AFTER=$(roc_hit)
+       if ! let "AFTER - BEFORE == CPAGES"; then
+               error "NOT IN CACHE: before: $BEFORE, after: $AFTER"
+       else
+               log "cache hits:: before: $BEFORE, after: $AFTER"
+       fi
 
-    rm -f $file
+       rm -f $file
 }
-run_test 156 "Verification of tunables ============================"
+run_test 156 "Verification of tunables"
 
 #Changelogs
 err17935 () {
@@ -10317,6 +10698,8 @@ test_160b() { # LU-3587
 run_test 160b "Verify that very long rename doesn't crash in changelog"
 
 test_160c() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+
        local rc=0
        local server_version=$(lustre_version_code $SINGLEMDS)
 
@@ -10348,6 +10731,36 @@ test_160c() {
 }
 run_test 160c "verify that changelog log catch the truncate event"
 
+test_160d() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       local server_version=$(lustre_version_code mds1)
+       local CL_MASK_PARAM="mdd.$MDT0.changelog_mask"
+
+       [[ $server_version -ge $(version_code 2.7.60) ]] ||
+               { skip "Need MDS version at least 2.7.60+"; return; }
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+
+       # Registration step
+       local USER=$(do_facet mds1 $LCTL --device $MDT0 \
+               changelog_register -n)
+
+       mkdir -p $DIR/$tdir/migrate_dir
+       $LFS changelog_clear $MDT0 $USER 0
+
+       $LFS migrate -m 1 $DIR/$tdir/migrate_dir || error "migrate fails"
+       $LFS changelog $MDT0
+       MIGRATES=$($LFS changelog $MDT0 | tail -5 | grep -c "MIGRT")
+       $LFS changelog_clear $MDT0 $USER 0
+       [ $MIGRATES -eq 1 ] ||
+               error "MIGRATE changelog mask count $MIGRATES != 1"
+
+       # Deregistration step
+       do_facet mds1 $LCTL --device $MDT0 changelog_deregister $USER
+}
+run_test 160d "verify that changelog log catch the migrate event"
+
 test_161a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        test_mkdir -p -c1 $DIR/$tdir
@@ -10393,8 +10806,7 @@ run_test 161a "link ea sanity"
 
 test_161b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       [ $MDSCOUNT -lt 2 ] &&
-               skip "skipping remote directory test" && return
+       [ $MDSCOUNT -lt 2 ] && skip "skipping remote directory test" && return
        local MDTIDX=1
        local remote_dir=$DIR/$tdir/remote_dir
 
@@ -10552,7 +10964,7 @@ check_path() {
     echo "fid $fid resolves to path $path (expected $expected)"
 }
 
-test_162() {
+test_162a() { # was test_162
        # Make changes to filesystem
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        test_mkdir -p -c1 $DIR/$tdir/d2
@@ -10600,7 +11012,7 @@ test_162() {
 
        return 0
 }
-run_test 162 "path lookup sanity"
+run_test 162a "path lookup sanity"
 
 test_162b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
@@ -10636,6 +11048,8 @@ run_test 162b "striped directory path lookup sanity"
 
 # LU-4239: Verify fid2path works with paths 100 or more directories deep
 test_162c() {
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.51) ]] &&
+               skip "Need MDS version at least 2.7.51" && return
        test_mkdir $DIR/$tdir.local
        test_mkdir $DIR/$tdir.remote
        local lpath=$tdir.local
@@ -10900,31 +11314,32 @@ test_181() { # bug 22177
 run_test 181 "Test open-unlinked dir ========================"
 
 test_182() {
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       # disable MDC RPC lock wouldn't crash client
        local fcount=1000
-       local tcount=4
+       local tcount=10
 
        mkdir -p $DIR/$tdir || error "creating dir $DIR/$tdir"
-#define OBD_FAIL_MDC_RPCS_SEM          0x804
-       $LCTL set_param fail_loc=0x804
 
-       for (( i=0; i < $tcount; i++ )) ; do
+       $LCTL set_param mdc.*.rpc_stats=clear
+
+       for (( i = 0; i < $tcount; i++ )) ; do
                mkdir $DIR/$tdir/$i
+       done
+
+       for (( i = 0; i < $tcount; i++ )) ; do
                createmany -o $DIR/$tdir/$i/f- $fcount &
        done
        wait
 
-       for (( i=0; i < $tcount; i++ )) ; do
+       for (( i = 0; i < $tcount; i++ )) ; do
                unlinkmany $DIR/$tdir/$i/f- $fcount &
        done
        wait
 
-       rm -rf $DIR/$tdir
+       $LCTL get_param mdc.*.rpc_stats
 
-       $LCTL set_param fail_loc=0
+       rm -rf $DIR/$tdir
 }
-run_test 182 "Disable MDC RPCs semaphore wouldn't crash client ================"
+run_test 182 "Test parallel modify metadata operations ================"
 
 test_183() { # LU-2275
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
@@ -11137,6 +11552,7 @@ test_185() { # LU-2441
        local mtime1=$(stat -c "%Y" $DIR/$tdir)
        local fid=$($MULTIOP $DIR/$tdir VFw4096c) ||
                error "cannot create/write a volatile file"
+       [ "$FILESET" == "" ] &&
        $CHECKSTAT -t file $MOUNT/.lustre/fid/$fid 2>/dev/null &&
                error "FID is still valid after close"
 
@@ -11151,8 +11567,10 @@ test_185() { # LU-2441
        # is unfortunately eaten by multiop_bg_pause
        local n=$((${fidv[1]} + 1))
        local next_fid="${fidv[0]}:$(printf "0x%x" $n):${fidv[2]}"
-       $CHECKSTAT -t file $MOUNT/.lustre/fid/$next_fid ||
-               error "FID is missing before close"
+       if [ "$FILESET" == "" ]; then
+               $CHECKSTAT -t file $MOUNT/.lustre/fid/$next_fid ||
+                       error "FID is missing before close"
+       fi
        kill -USR1 $multi_pid
        # 1 second delay, so if mtime change we will see it
        sleep 1
@@ -11162,6 +11580,10 @@ test_185() { # LU-2441
 run_test 185 "Volatile file support"
 
 test_187a() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.0) ] &&
+               skip "Need MDS version at least 2.3.0" && return
+
        local dir0=$DIR/$tdir/$testnum
        mkdir -p $dir0 || error "creating dir $dir0"
 
@@ -11179,6 +11601,10 @@ test_187a() {
 run_test 187a "Test data version change"
 
 test_187b() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.0) ] &&
+               skip "Need MDS version at least 2.3.0" && return
+
        local dir0=$DIR/$tdir/$testnum
        mkdir -p $dir0 || error "creating dir $dir0"
 
@@ -11195,6 +11621,7 @@ run_test 187b "Test data version change on volatile file"
 test_200() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        local POOL=${POOL:-cea1}
        local POOL_ROOT=${POOL_ROOT:-$DIR/d200.pools}
@@ -11372,40 +11799,57 @@ elif [ -n "$LOADL_STEPID" ]; then # LoadLeveller
 elif [ -n "$JOB_ID" ]; then # Sun Grid Engine
        JOBENV=JOB_ID
 else
-       JOBENV=FAKE_JOBID
+       $LCTL list_param jobid_name > /dev/null 2>&1
+       if [ $? -eq 0 ]; then
+               JOBENV=nodelocal
+       else
+               JOBENV=FAKE_JOBID
+       fi
 fi
 
 verify_jobstats() {
-       local cmd=$1
-       local target=$2
+       local cmd=($1)
+       shift
+       local facets="$@"
+
+# we don't really need to clear the stats for this test to work, since each
+# command has a unique jobid, but it makes debugging easier if needed.
+#      for facet in $facets; do
+#              local dev=$(convert_facet2label $facet)
+#              # clear old jobstats
+#              do_facet $facet lctl set_param *.$dev.job_stats="clear"
+#      done
+
+       # use a new JobID for each test, or we might see an old one
+       [ "$JOBENV" = "FAKE_JOBID" ] &&
+               FAKE_JOBID=id.$testnum.$(basename ${cmd[0]}).$RANDOM
 
-       # clear old jobstats
-       do_facet $SINGLEMDS lctl set_param mdt.*.job_stats="clear"
-       do_facet ost1 lctl set_param obdfilter.*.job_stats="clear"
+       JOBVAL=${!JOBENV}
 
-       # use a new JobID for this test, or we might see an old one
-       [ "$JOBENV" = "FAKE_JOBID" ] && FAKE_JOBID=test_id.$testnum.$RANDOM
+       [ "$JOBENV" = "nodelocal" ] && {
+               FAKE_JOBID=id.$testnum.$(basename ${cmd[0]}).$RANDOM
+               $LCTL set_param jobid_name=$FAKE_JOBID
+               JOBVAL=$FAKE_JOBID
+       }
 
-       JOBVAL=${!JOBENV}
-       log "Test: $cmd"
+       log "Test: ${cmd[*]}"
        log "Using JobID environment variable $JOBENV=$JOBVAL"
 
        if [ $JOBENV = "FAKE_JOBID" ]; then
-               FAKE_JOBID=$JOBVAL $cmd
+               FAKE_JOBID=$JOBVAL ${cmd[*]}
        else
-               $cmd
+               ${cmd[*]}
        fi
 
-       if [ "$target" = "mdt" -o "$target" = "both" ]; then
-               FACET="$SINGLEMDS" # will need to get MDS number for DNE
-               do_facet $FACET lctl get_param mdt.*.job_stats |
-                       grep $JOBVAL || error "No job stats found on MDT $FACET"
-       fi
-       if [ "$target" = "ost" -o "$target" = "both" ]; then
-               FACET=ost1
-               do_facet $FACET lctl get_param obdfilter.*.job_stats |
-                       grep $JOBVAL || error "No job stats found on OST $FACET"
-       fi
+       # all files are created on OST0000
+       for facet in $facets; do
+               local stats="*.$(convert_facet2label $facet).job_stats"
+               if [ $(do_facet $facet lctl get_param $stats |
+                      grep -c $JOBVAL) -ne 1 ]; then
+                       do_facet $facet lctl get_param $stats
+                       error "No jobstats for $JOBVAL found on $facet::$stats"
+               fi
+       done
 }
 
 jobstats_set() {
@@ -11415,54 +11859,84 @@ jobstats_set() {
        wait_update $HOSTNAME "$LCTL get_param -n jobid_var" $NEW_JOBENV
 }
 
+cleanup_205() {
+       do_facet $SINGLEMDS \
+               $LCTL set_param mdt.*.job_cleanup_interval=$OLD_INTERVAL
+       [ $OLD_JOBENV != $JOBENV ] && jobstats_set $OLD_JOBENV
+       do_facet $SINGLEMDS lctl --device $MDT0 changelog_deregister $CL_USER
+}
+
 test_205() { # Job stats
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
+
        [ -z "$(lctl get_param -n mdc.*.connect_flags | grep jobstats)" ] &&
                skip "Server doesn't support jobstats" && return 0
        [[ $JOBID_VAR = disable ]] && skip "jobstats is disabled" && return
 
-       local cmd
        OLD_JOBENV=$($LCTL get_param -n jobid_var)
        if [ $OLD_JOBENV != $JOBENV ]; then
                jobstats_set $JOBENV
-               trap jobstats_set EXIT
+               trap cleanup_205 EXIT
        fi
 
-       local user=$(do_facet $SINGLEMDS $LCTL --device $MDT0 \
-                    changelog_register -n)
-       echo "Registered as changelog user $user"
+       CL_USER=$(do_facet $SINGLEMDS lctl --device $MDT0 changelog_register -n)
+       echo "Registered as changelog user $CL_USER"
+
+       OLD_INTERVAL=$(do_facet $SINGLEMDS \
+                      lctl get_param -n mdt.*.job_cleanup_interval)
+       local interval_new=5
+       do_facet $SINGLEMDS \
+               $LCTL set_param mdt.*.job_cleanup_interval=$interval_new
+       local start=$SECONDS
 
+       local cmd
        # mkdir
-       cmd="mkdir $DIR/$tfile"
-       verify_jobstats "$cmd" "mdt"
+       cmd="mkdir $DIR/$tdir"
+       verify_jobstats "$cmd" "$SINGLEMDS"
        # rmdir
-       cmd="rm -fr $DIR/$tfile"
-       verify_jobstats "$cmd" "mdt"
+       cmd="rmdir $DIR/$tdir"
+       verify_jobstats "$cmd" "$SINGLEMDS"
+       # mkdir on secondary MDT
+       if [ $MDSCOUNT -gt 1 ]; then
+               cmd="lfs mkdir -i 1 $DIR/$tdir.remote"
+               verify_jobstats "$cmd" "mds2"
+       fi
        # mknod
        cmd="mknod $DIR/$tfile c 1 3"
-       verify_jobstats "$cmd" "mdt"
+       verify_jobstats "$cmd" "$SINGLEMDS"
        # unlink
        cmd="rm -f $DIR/$tfile"
-       verify_jobstats "$cmd" "mdt"
+       verify_jobstats "$cmd" "$SINGLEMDS"
+       # create all files on OST0000 so verify_jobstats can find OST stats
        # open & close
        cmd="$SETSTRIPE -i 0 -c 1 $DIR/$tfile"
-       verify_jobstats "$cmd" "mdt"
+       verify_jobstats "$cmd" "$SINGLEMDS"
        # setattr
        cmd="touch $DIR/$tfile"
-       verify_jobstats "$cmd" "both"
+       verify_jobstats "$cmd" "$SINGLEMDS ost1"
        # write
        cmd="dd if=/dev/zero of=$DIR/$tfile bs=1M count=1 oflag=sync"
-       verify_jobstats "$cmd" "ost"
+       verify_jobstats "$cmd" "ost1"
        # read
+       cancel_lru_locks osc
        cmd="dd if=$DIR/$tfile of=/dev/null bs=1M count=1 iflag=direct"
-       verify_jobstats "$cmd" "ost"
+       verify_jobstats "$cmd" "ost1"
        # truncate
        cmd="$TRUNCATE $DIR/$tfile 0"
-       verify_jobstats "$cmd" "both"
+       verify_jobstats "$cmd" "$SINGLEMDS ost1"
        # rename
-       cmd="mv -f $DIR/$tfile $DIR/jobstats_test_rename"
-       verify_jobstats "$cmd" "mdt"
+       cmd="mv -f $DIR/$tfile $DIR/$tdir.rename"
+       verify_jobstats "$cmd" "$SINGLEMDS"
+       # jobstats expiry - sleep until old stats should be expired
+       local left=$((interval_new + 2 - (SECONDS - start)))
+       [ $left -ge 0 ] && echo "sleep $left for expiry" && sleep $((left + 1))
+       cmd="mkdir $DIR/$tdir.expire"
+       verify_jobstats "$cmd" "$SINGLEMDS"
+       [ $(do_facet $SINGLEMDS lctl get_param *.*.job_stats |
+           grep -c "job_id.*mkdir") -gt 1 ] && error "old jobstats not expired"
 
        # Ensure that jobid are present in changelog (if supported by MDS)
        if [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.52) ]
@@ -11482,10 +11956,7 @@ test_205() { # Job stats
                        error "Unexpected jobids when jobid_var=$JOBENV"
        fi
 
-       # cleanup
-       rm -f $DIR/jobstats_test_rename
-
-       [ $OLD_JOBENV != $JOBENV ] && jobstats_set $OLD_JOBENV
+       cleanup_205
 }
 run_test 205 "Verify job stats"
 
@@ -11540,9 +12011,9 @@ test_208() {
        # for now as only exclusive open is supported. After generic lease
        # is done, this test suite should be revised. - Jinshan
 
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.4.52) ]] ||
                { skip "Need MDS version at least 2.4.52"; return 0; }
-       remote_mds_nodsh && skip "remote MDS with nodsh" && return
 
        echo "==== test 1: verify get lease work"
        $MULTIOP $DIR/$tfile oO_CREAT:O_RDWR:eRE+eU || error "get lease error"
@@ -11870,11 +12341,14 @@ run_test 219 "LU-394: Write partial won't cause uncontiguous pages vec at LND"
 test_220() { #LU-325
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        remote_ost_nodsh && skip "remote OST with nodsh" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       remote_mgs_nodsh && skip "remote MGS with nodsh" && return
        local OSTIDX=0
 
-       test_mkdir -p $DIR/$tdir
-       local OST=$($LFS osts | grep ${OSTIDX}": " | \
-               awk '{print $2}' | sed -e 's/_UUID$//')
+       # create on MDT0000 so the last_id and next_id are correct
+       mkdir $DIR/$tdir
+       local OST=$($LFS df $DIR | awk '/OST:'$OSTIDX'/ { print $1 }')
+       OST=${OST%_UUID}
 
        # on the mdt's osc
        local mdtosc_proc1=$(get_mdtosc_proc_path $SINGLEMDS $OST)
@@ -12008,12 +12482,19 @@ test_224c() { # LU-6441
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        local pages_per_rpc=$($LCTL get_param \
                                osc.*.max_pages_per_rpc)
-       local at_max=$(do_facet mgs "$LCTL get_param -n at_max")
-       local timeout=$(do_facet mgs "$LCTL get_param -n timeout")
+       local at_max=$($LCTL get_param -n at_max)
+       local timeout=$($LCTL get_param -n timeout)
+       local test_at="$LCTL get_param -n at_max"
+       local param_at="$FSNAME.sys.at_max"
+       local test_timeout="$LCTL get_param -n timeout"
+       local param_timeout="$FSNAME.sys.timeout"
 
        $LCTL set_param -n osc.*.max_pages_per_rpc=1024
-       do_facet mgs "$LCTL conf_param $FSNAME.sys.at_max=0"
-       do_facet mgs "$LCTL conf_param $FSNAME.sys.timeout=5"
+
+       set_conf_param_and_check client "$test_at" "$param_at" 0 ||
+               error "conf_param at_max=0 failed"
+       set_conf_param_and_check client "$test_timeout" "$param_timeout" 5 ||
+               error "conf_param timeout=5 failed"
 
        #define OBD_FAIL_PTLRPC_CLIENT_BULK_CB3   0x520
        $LCTL set_param fail_loc=0x520
@@ -12021,10 +12502,11 @@ test_224c() { # LU-6441
        sync
        $LCTL set_param fail_loc=0
 
-       do_facet mgs "$LCTL conf_param $FSNAME.sys.at_max=" \
-                               "$at_max"
-       do_facet mgs "$LCTL conf_param $FSNAME.sys.timeout=" \
-                               "$timeout"
+       set_conf_param_and_check client "$test_at" "$param_at" $at_max ||
+               error "conf_param at_max=$at_max failed"
+       set_conf_param_and_check client "$test_timeout" "$param_timeout" \
+               $timeout || error "conf_param timeout=$timeout failed"
+
        $LCTL set_param -n $pages_per_rpc
 }
 run_test 224c "Don't hang if one of md lost during large bulk RPC"
@@ -12032,6 +12514,7 @@ run_test 224c "Don't hang if one of md lost during large bulk RPC"
 MDSSURVEY=${MDSSURVEY:-$(which mds-survey 2>/dev/null || true)}
 test_225a () {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        if [ -z ${MDSSURVEY} ]; then
              skip_env "mds-survey not found" && return
        fi
@@ -12061,7 +12544,7 @@ run_test 225a "Metadata survey sanity with zero-stripe"
 
 test_225b () {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        if [ -z ${MDSSURVEY} ]; then
              skip_env "mds-survey not found" && return
        fi
@@ -12311,8 +12794,8 @@ run_test 228c "NOT shrink the last entry in OI index node to recycle idle leaf"
 
 test_229() { # LU-2482, LU-3448
        [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.53) ] &&
-               skip "No HSM support on MDS of $(get_lustre_version)," \
-                        "need 2.4.53 at least" && return
+               skip "No HSM $(lustre_build_version $SINGLEMDS) MDS < 2.4.53" &&
+               return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
 
@@ -12410,8 +12893,8 @@ test_230b() {
        ln -s $migrate_dir/$tfile $migrate_dir/${tfile}_ln
        ln -s $other_dir/$tfile $migrate_dir/${tfile}_ln_other
 
-       $LFS mv -v -M $MDTIDX $migrate_dir ||
-               error "migrate remote dir error"
+       $LFS migrate -m $MDTIDX $migrate_dir ||
+               error "fails on migrating remote dir to MDT1"
 
        echo "migratate to MDT1, then checking.."
        for ((i = 0; i < 10; i++)); do
@@ -12474,8 +12957,9 @@ test_230b() {
 
        #migrate back to MDT0
        MDTIDX=0
-       $LFS mv -v -M $MDTIDX $migrate_dir ||
-               error "migrate remote dir error"
+
+       $LFS migrate -m $MDTIDX $migrate_dir ||
+               error "fails on migrating remote dir to MDT0"
 
        echo "migrate back to MDT0, checking.."
        for file in $(find $migrate_dir); do
@@ -12532,6 +13016,7 @@ run_test 230b "migrate directory"
 
 test_230c() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local MDTIDX=1
        local mdt_index
@@ -12551,8 +13036,14 @@ test_230c() {
        do_facet mds1 lctl set_param fail_loc=0x20001801
        do_facet mds1 lctl  set_param fail_val=5
        local t=$(ls $migrate_dir | wc -l)
-       $LFS mv --mdt-index $MDTIDX $migrate_dir &&
+       $LFS migrate --mdt-index $MDTIDX $migrate_dir &&
                error "migrate should fail after 5 entries"
+
+       mkdir $migrate_dir/dir &&
+               error "mkdir succeeds under migrating directory"
+       touch $migrate_dir/file &&
+               error "touch file succeeds under migrating directory"
+
        local u=$(ls $migrate_dir | wc -l)
        [ "$u" == "$t" ] || error "$u != $t during migration"
 
@@ -12563,7 +13054,7 @@ test_230c() {
        do_facet mds1 lctl set_param fail_loc=0
        do_facet mds1 lctl set_param fail_val=0
 
-       $LFS mv -M $MDTIDX $migrate_dir ||
+       $LFS migrate -m $MDTIDX $migrate_dir ||
                error "migrate open files should failed with open files"
 
        echo "Finish migration, then checking.."
@@ -12595,7 +13086,8 @@ test_230d() {
                        error "create files under remote dir failed $i"
        done
 
-       $LFS mv -M $MDTIDX -v $migrate_dir || error "migrate remote dir error"
+       $LFS migrate -m $MDTIDX $migrate_dir ||
+               error "migrate remote dir error"
 
        echo "Finish migration, then checking.."
        for file in $(find $migrate_dir); do
@@ -12608,55 +13100,206 @@ test_230d() {
 }
 run_test 230d "check migrate big directory"
 
-test_231a()
-{
-       # For simplicity this test assumes that max_pages_per_rpc
-       # is the same across all OSCs
-       local max_pages=$($LCTL get_param -n osc.*.max_pages_per_rpc | head -n1)
-       local bulk_size=$((max_pages * 4096))
+test_230e() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local i
+       local j
+       local a_fid
+       local b_fid
 
        mkdir -p $DIR/$tdir
+       mkdir $DIR/$tdir/migrate_dir
+       mkdir $DIR/$tdir/other_dir
+       touch $DIR/$tdir/migrate_dir/a
+       ln $DIR/$tdir/migrate_dir/a $DIR/$tdir/other_dir/b
+       ls $DIR/$tdir/other_dir
 
-       # clear the OSC stats
-       $LCTL set_param osc.*.stats=0 &>/dev/null
+       $LFS migrate -m 1 $DIR/$tdir/migrate_dir ||
+               error "migrate dir fails"
 
-       # Client writes $bulk_size - there must be 1 rpc for $max_pages.
-       dd if=/dev/zero of=$DIR/$tdir/$tfile bs=$bulk_size count=1 \
-               oflag=direct &>/dev/null || error "dd failed"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir)
+       [ $mdt_index == 1 ] || error "migrate_dir is not on MDT1"
 
-       local nrpcs=$($LCTL get_param osc.*.stats |awk '/ost_write/ {print $2}')
-       if [ x$nrpcs != "x1" ]; then
-               error "found $nrpc ost_write RPCs, not 1 as expected"
-       fi
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir/a)
+       [ $mdt_index == 0 ] || error "a is not on MDT0"
 
-       # Drop the OSC cache, otherwise we will read from it
-       cancel_lru_locks osc
+       $LFS migrate -m 1 $DIR/$tdir/other_dir ||
+               error "migrate dir fails"
 
-       # clear the OSC stats
-       $LCTL set_param osc.*.stats=0 &>/dev/null
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/other_dir)
+       [ $mdt_index == 1 ] || error "other_dir is not on MDT1"
 
-       # Client reads $bulk_size.
-       dd if=$DIR/$tdir/$tfile of=/dev/null bs=$bulk_size count=1 \
-               iflag=direct &>/dev/null || error "dd failed"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir/a)
+       [ $mdt_index == 1 ] || error "a is not on MDT1"
 
-       nrpcs=$($LCTL get_param osc.*.stats | awk '/ost_read/ { print $2 }')
-       if [ x$nrpcs != "x1" ]; then
-               error "found $nrpc ost_read RPCs, not 1 as expected"
-       fi
-}
-run_test 231a "checking that reading/writing of BRW RPC size results in one RPC"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/other_dir/b)
+       [ $mdt_index == 1 ] || error "b is not on MDT1"
 
-test_231b() {
-       mkdir -p $DIR/$tdir
-       local i
-       for i in {0..1023}; do
-               dd if=/dev/zero of=$DIR/$tdir/$tfile conv=notrunc \
-                       seek=$((2 * i)) bs=4096 count=1 &>/dev/null ||
-                       error "dd of=$DIR/$tdir/$tfile seek=$((2 * i)) failed"
-       done
-       sync
+       a_fid=$($LFS path2fid $DIR/$tdir/migrate_dir/a)
+       b_fid=$($LFS path2fid $DIR/$tdir/other_dir/b)
+
+       [ "$a_fid" = "$b_fid" ] || error "different fid after migration"
+
+       rm -rf $DIR/$tdir || error "rm dir failed after migration"
 }
-run_test 231b "must not assert on fully utilized OST request buffer"
+run_test 230e "migrate mulitple local link files"
+
+test_230f() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local a_fid
+       local ln_fid
+
+       mkdir -p $DIR/$tdir
+       mkdir $DIR/$tdir/migrate_dir
+       $LFS mkdir -i1 $DIR/$tdir/other_dir
+       touch $DIR/$tdir/migrate_dir/a
+       ln $DIR/$tdir/migrate_dir/a $DIR/$tdir/other_dir/ln1
+       ln $DIR/$tdir/migrate_dir/a $DIR/$tdir/other_dir/ln2
+       ls $DIR/$tdir/other_dir
+
+       # a should be migrated to MDT1, since no other links on MDT0
+       $LFS migrate -m 1 $DIR/$tdir/migrate_dir ||
+               error "migrate dir fails"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir)
+       [ $mdt_index == 1 ] || error "migrate_dir is not on MDT1"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir/a)
+       [ $mdt_index == 1 ] || error "a is not on MDT1"
+
+       # a should stay on MDT1, because it is a mulitple link file
+       $LFS migrate -m 0 $DIR/$tdir/migrate_dir ||
+               error "migrate dir fails"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir/a)
+       [ $mdt_index == 1 ] || error "a is not on MDT1"
+
+       $LFS migrate -m 1 $DIR/$tdir/migrate_dir ||
+               error "migrate dir fails"
+
+       a_fid=$($LFS path2fid $DIR/$tdir/migrate_dir/a)
+       ln_fid=$($LFS path2fid $DIR/$tdir/other_dir/ln1)
+       [ "$a_fid" = "$ln_fid" ] || error "different fid after migrate to MDT1"
+
+       rm -rf $DIR/$tdir/other_dir/ln1 || error "unlink ln1 fails"
+       rm -rf $DIR/$tdir/other_dir/ln2 || error "unlink ln2 fails"
+
+       # a should be migrated to MDT0, since no other links on MDT1
+       $LFS migrate -m 0 $DIR/$tdir/migrate_dir ||
+               error "migrate dir fails"
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir/a)
+       [ $mdt_index == 0 ] || error "a is not on MDT0"
+
+       rm -rf $DIR/$tdir || error "rm dir failed after migration"
+}
+run_test 230f "migrate mulitple remote link files"
+
+test_230g() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       mkdir -p $DIR/$tdir/migrate_dir
+
+       $LFS migrate -m 1000 $DIR/$tdir/migrate_dir &&
+               error "migrating dir to non-exist MDT succeeds"
+       true
+}
+run_test 230g "migrate dir to non-exist MDT"
+
+test_230h() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.64) ] &&
+               skip "Need MDS version at least 2.7.64" && return
+       local mdt_index
+
+       mkdir -p $DIR/$tdir/migrate_dir
+
+       $LFS migrate -m1 $DIR &&
+               error "migrating mountpoint1 should fail"
+
+       $LFS migrate -m1 $DIR/$tdir/.. &&
+               error "migrating mountpoint2 should fail"
+
+       $LFS migrate -m1 $DIR/$tdir/migrate_dir/.. ||
+               error "migrating $tdir fail"
+
+       mdt_index=$($LFS getstripe -M $DIR/$tdir)
+       [ $mdt_index == 1 ] || error "$mdt_index != 1 after migration"
+
+       mdt_index=$($LFS getstripe -M $DIR/$tdir/migrate_dir)
+       [ $mdt_index == 1 ] || error "$mdt_index != 1 after migration"
+
+}
+run_test 230h "migrate .. and root"
+
+test_230i() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       mkdir -p $DIR/$tdir/migrate_dir
+
+       $LFS migrate -m 1 $DIR/$tdir/migrate_dir/ ||
+               error "migration fails with a tailing slash"
+
+       $LFS migrate -m 0 $DIR/$tdir/migrate_dir// ||
+               error "migration fails with two tailing slashes"
+}
+run_test 230i "lfs migrate -m tolerates trailing slashes"
+
+test_231a()
+{
+       # For simplicity this test assumes that max_pages_per_rpc
+       # is the same across all OSCs
+       local max_pages=$($LCTL get_param -n osc.*.max_pages_per_rpc | head -n1)
+       local bulk_size=$((max_pages * 4096))
+
+       mkdir -p $DIR/$tdir
+
+       # clear the OSC stats
+       $LCTL set_param osc.*.stats=0 &>/dev/null
+       stop_writeback
+
+       # Client writes $bulk_size - there must be 1 rpc for $max_pages.
+       dd if=/dev/zero of=$DIR/$tdir/$tfile bs=$bulk_size count=1 \
+               oflag=direct &>/dev/null || error "dd failed"
+
+       sync; sleep 1; sync # just to be safe
+       local nrpcs=$($LCTL get_param osc.*.stats |awk '/ost_write/ {print $2}')
+       if [ x$nrpcs != "x1" ]; then
+               $LCTL get_param osc.*.stats
+               error "found $nrpcs ost_write RPCs, not 1 as expected"
+       fi
+
+       start_writeback
+       # Drop the OSC cache, otherwise we will read from it
+       cancel_lru_locks osc
+
+       # clear the OSC stats
+       $LCTL set_param osc.*.stats=0 &>/dev/null
+
+       # Client reads $bulk_size.
+       dd if=$DIR/$tdir/$tfile of=/dev/null bs=$bulk_size count=1 \
+               iflag=direct &>/dev/null || error "dd failed"
+
+       nrpcs=$($LCTL get_param osc.*.stats | awk '/ost_read/ { print $2 }')
+       if [ x$nrpcs != "x1" ]; then
+               $LCTL get_param osc.*.stats
+               error "found $nrpcs ost_read RPCs, not 1 as expected"
+       fi
+}
+run_test 231a "checking that reading/writing of BRW RPC size results in one RPC"
+
+test_231b() {
+       mkdir -p $DIR/$tdir
+       local i
+       for i in {0..1023}; do
+               dd if=/dev/zero of=$DIR/$tdir/$tfile conv=notrunc \
+                       seek=$((2 * i)) bs=4096 count=1 &>/dev/null ||
+                       error "dd of=$DIR/$tdir/$tfile seek=$((2 * i)) failed"
+       done
+       sync
+}
+run_test 231b "must not assert on fully utilized OST request buffer"
 
 test_232() {
        mkdir -p $DIR/$tdir
@@ -12675,6 +13318,7 @@ run_test 232 "failed lock should not block umount"
 test_233a() {
        [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.64) ] ||
        { skip "Need MDS version at least 2.3.64"; return; }
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        local fid=$($LFS path2fid $MOUNT)
        stat $MOUNT/.lustre/fid/$fid > /dev/null ||
@@ -12685,6 +13329,7 @@ run_test 233a "checking that OBF of the FS root succeeds"
 test_233b() {
        [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.5.90) ] ||
        { skip "Need MDS version at least 2.5.90"; return; }
+       [ -n "$FILESET" ] && skip "SKIP due to FILESET set" && return
 
        local fid=$($LFS path2fid $MOUNT/.lustre)
        stat $MOUNT/.lustre/fid/$fid > /dev/null ||
@@ -12821,6 +13466,28 @@ test_239() {
 }
 run_test 239 "osp_sync test"
 
+test_239a() { #LU-5297
+       touch $DIR/$tfile
+       #define OBD_FAIL_OSP_CHECK_INVALID_REC     0x2100
+       do_facet $SINGLEMDS $LCTL set_param fail_loc=0x2100
+       chgrp $RUNAS_GID $DIR/$tfile
+       wait_delete_completed
+}
+run_test 239a "process invalid osp sync record correctly"
+
+test_239b() { #LU-5297
+       touch $DIR/$tfile1
+       #define OBD_FAIL_OSP_CHECK_ENOMEM     0x2101
+       do_facet $SINGLEMDS $LCTL set_param fail_loc=0x2101
+       chgrp $RUNAS_GID $DIR/$tfile1
+       wait_delete_completed
+       do_facet $SINGLEMDS $LCTL set_param fail_loc=0
+       touch $DIR/$tfile2
+       chgrp $RUNAS_GID $DIR/$tfile2
+       wait_delete_completed
+}
+run_test 239b "process osp sync record with ENOMEM error correctly"
+
 test_240() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
@@ -12844,7 +13511,7 @@ run_test 240 "race between ldlm enqueue and the connection RPC (no ASSERT)"
 test_241_bio() {
        for LOOP in $(seq $1); do
                dd if=$DIR/$tfile of=/dev/null bs=40960 count=1 2>/dev/null
-               cancel_lru_locks osc
+               cancel_lru_locks osc || true
        done
 }
 
@@ -12906,6 +13573,198 @@ test_244()
 }
 run_test 244 "sendfile with group lock tests"
 
+test_245() {
+       local flagname="multi_mod_rpcs"
+       local connect_data_name="max_mod_rpcs"
+       local out
+
+       # check if multiple modify RPCs flag is set
+       out=$($LCTL get_param mdc.$FSNAME-MDT0000-*.import |
+               grep "connect_flags:")
+       echo "$out"
+
+       echo "$out" | grep -qw $flagname
+       if [ $? -ne 0 ]; then
+               echo "connect flag $flagname is not set"
+               return
+       fi
+
+       # check if multiple modify RPCs data is set
+       out=$($LCTL get_param mdc.$FSNAME-MDT0000-*.import)
+       echo "$out"
+
+       echo "$out" | grep -qw $connect_data_name ||
+               error "import should have connect data $connect_data_name"
+}
+run_test 245 "check mdc connection flag/data: multiple modify RPCs"
+
+test_246() { # LU-7371
+       [ $(lustre_version_code ost1) -lt $(version_code 2.7.62) ] &&
+               skip "Need OST version >= 2.7.62" && return 0
+       do_facet ost1 $LCTL set_param fail_val=4095
+#define OBD_FAIL_OST_READ_SIZE         0x234
+       do_facet ost1 $LCTL set_param fail_loc=0x234
+       $LFS setstripe $DIR/$tfile -i 0 -c 1
+       dd if=/dev/zero of=$DIR/$tfile bs=4095 count=1 > /dev/null 2>&1
+       cancel_lru_locks $FSNAME-OST0000
+       dd if=$DIR/$tfile of=/dev/null bs=1048576 || error "Read failed"
+}
+run_test 246 "Read file of size 4095 should return right length"
+
+test_247a() {
+       lctl get_param -n mdc.$FSNAME-MDT0000*.import |
+               grep -q subtree ||
+               { skip "Fileset feature is not supported"; return; }
+
+       local submount=${MOUNT}_$tdir
+
+       mkdir $MOUNT/$tdir
+       mkdir -p $submount || error "mkdir $submount failed"
+       FILESET="$FILESET/$tdir" mount_client $submount ||
+               error "mount $submount failed"
+       echo foo > $submount/$tfile || error "write $submount/$tfile failed"
+       [ $(cat $MOUNT/$tdir/$tfile) = "foo" ] ||
+               error "read $MOUNT/$tdir/$tfile failed"
+       umount_client $submount || error "umount $submount failed"
+       rmdir $submount
+}
+run_test 247a "mount subdir as fileset"
+
+test_247b() {
+       lctl get_param -n mdc.$FSNAME-MDT0000*.import | grep -q subtree ||
+               { skip "Fileset feature is not supported"; return; }
+
+       local submount=${MOUNT}_$tdir
+
+       rm -rf $MOUNT/$tdir
+       mkdir -p $submount || error "mkdir $submount failed"
+       SKIP_FILESET=1
+       FILESET="$FILESET/$tdir" mount_client $submount &&
+               error "mount $submount should fail"
+       rmdir $submount
+}
+run_test 247b "mount subdir that dose not exist"
+
+test_247c() {
+       lctl get_param -n mdc.$FSNAME-MDT0000*.import | grep -q subtree ||
+               { skip "Fileset feature is not supported"; return; }
+
+       local submount=${MOUNT}_$tdir
+
+       mkdir -p $MOUNT/$tdir/dir1
+       mkdir -p $submount || error "mkdir $submount failed"
+       FILESET="$FILESET/$tdir" mount_client $submount ||
+               error "mount $submount failed"
+       local fid=$($LFS path2fid $MOUNT/)
+       $LFS fid2path $submount $fid && error "fid2path should fail"
+       umount_client $submount || error "umount $submount failed"
+       rmdir $submount
+}
+run_test 247c "running fid2path outside root"
+
+test_247d() {
+       lctl get_param -n mdc.$FSNAME-MDT0000*.import | grep -q subtree ||
+               { skip "Fileset feature is not supported"; return; }
+
+       local submount=${MOUNT}_$tdir
+
+       mkdir -p $MOUNT/$tdir/dir1
+       mkdir -p $submount || error "mkdir $submount failed"
+       FILESET="$FILESET/$tdir" mount_client $submount ||
+               error "mount $submount failed"
+       local fid=$($LFS path2fid $submount/dir1)
+       $LFS fid2path $submount $fid || error "fid2path should succeed"
+       umount_client $submount || error "umount $submount failed"
+       rmdir $submount
+}
+run_test 247d "running fid2path inside root"
+
+# LU-8037
+test_247e() {
+       lctl get_param -n mdc.$FSNAME-MDT0000*.import |
+               grep -q subtree ||
+               { skip "Fileset feature is not supported"; return; }
+
+       local submount=${MOUNT}_$tdir
+
+       mkdir $MOUNT/$tdir
+       mkdir -p $submount || error "mkdir $submount failed"
+       FILESET="$FILESET/.." mount_client $submount &&
+               error "mount $submount should fail"
+       rmdir $submount
+}
+run_test 247e "mount .. as fileset"
+
+test_248() {
+       local my_error=error
+
+       # This test case is time sensitive and maloo uses kvm to run auto test.
+       # Therefore the complete time of I/O task is unreliable and depends on
+       # the work load on the host machine when the task is running.
+       which virt-what 2> /dev/null && [ "$(virt-what)" != "kvm" ] ||
+               { echo "no virt-what installed or running in kvm; ignore error";
+                 my_error="error_ignore env=kvm"; }
+
+       # create a large file for fast read verification
+       dd if=/dev/zero of=$DIR/$tfile bs=128M count=1 > /dev/null 2>&1
+
+       # make sure the file is created correctly
+       $CHECKSTAT -s $((128*1024*1024)) $DIR/$tfile ||
+               { rm -f $DIR/$tfile; skip "file creation error" && return; }
+
+       local saved_fast_read=$($LCTL get_param -n llite.*.fast_read)
+
+       echo "Test 1: verify that fast read is 4 times faster on cache read"
+
+       # small read with fast read enabled
+       $LCTL set_param -n llite.*.fast_read=1
+       local t_fast=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=4k 2>&1 |
+                  awk '/real/ { print $2 }')
+
+       # small read with fast read disabled
+       $LCTL set_param -n llite.*.fast_read=0
+       local t_slow=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=4k 2>&1 |
+                  awk '/real/ { print $2 }')
+
+       # verify that fast read is 4 times faster for cache read
+       [ $(bc <<< "4 * $t_fast < $t_slow") -eq 1 ] ||
+               $my_error "fast read was not 4 times faster: $t_fast vs $t_slow"
+
+       echo "Test 2: verify the performance between big and small read"
+       $LCTL set_param -n llite.*.fast_read=1
+
+       # 1k non-cache read
+       cancel_lru_locks osc
+       local t_1k=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=1k 2>&1 |
+            awk '/real/ { print $2 }')
+
+       # 1M non-cache read
+       cancel_lru_locks osc
+       local t_1m=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=1M 2>&1 |
+            awk '/real/ { print $2 }')
+
+       # verify that big IO is not 4 times faster than small IO
+       [ $(bc <<< "4 * $t_1k >= $t_1m") -eq 1 ] ||
+               $my_error "bigger IO is way too fast: $t_1k vs $t_1m"
+
+       $LCTL set_param -n llite.*.fast_read=$saved_fast_read
+       rm -f $DIR/$tfile
+}
+run_test 248 "fast read verification"
+
+test_249() { # LU-7890
+       rm -f $DIR/$tfile
+       $SETSTRIPE -c 1 $DIR/$tfile
+
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.8.53) ] &&
+       skip "Need at least version 2.8.54"
+
+       # Offset 2T == 4k * 512M
+       dd if=/dev/zero of=$DIR/$tfile bs=4k count=1 seek=512M ||
+               error "dd to 2T offset failed"
+}
+run_test 249 "Write above 2T file size"
+
 test_250() {
        [ "$(facet_fstype ost$(($($GETSTRIPE -i $DIR/$tfile) + 1)))" = "zfs" ] \
         && skip "no 16TB file size limit on ZFS" && return
@@ -12920,6 +13779,179 @@ test_250() {
 }
 run_test 250 "Write above 16T limit"
 
+test_251() {
+       $SETSTRIPE -c -1 -S 1048576 $DIR/$tfile
+
+       #define OBD_FAIL_LLITE_LOST_LAYOUT 0x1407
+       #Skip once - writing the first stripe will succeed
+       $LCTL set_param fail_loc=0xa0001407 fail_val=1
+       $MULTIOP $DIR/$tfile o:O_RDWR:w2097152c 2>&1 | grep -q "short write" &&
+               error "short write happened"
+
+       $LCTL set_param fail_loc=0xa0001407 fail_val=1
+       $MULTIOP $DIR/$tfile or2097152c 2>&1 | grep -q "short read" &&
+               error "short read happened"
+
+       rm -f $DIR/$tfile
+}
+run_test 251 "Handling short read and write correctly"
+
+test_252() {
+       local tgt
+       local dev
+       local out
+       local uuid
+       local num
+       local gen
+
+       if [ "$(facet_fstype ost1)" != "ldiskfs" -o \
+            "$(facet_fstype mds1)" != "ldiskfs" ]; then
+               skip "can only run lr_reader on ldiskfs target"
+               return
+       fi
+
+       # check lr_reader on OST0000
+       tgt=ost1
+       dev=$(facet_device $tgt)
+       out=$(do_facet $tgt $LR_READER $dev)
+       [ $? -eq 0 ] || error "$LR_READER failed on target $tgt device $dev"
+       echo "$out"
+       uuid=$(echo "$out" | grep -i uuid | awk '{ print $2 }')
+       [ "$uuid" == "$(ostuuid_from_index 0)" ] ||
+               error "Invalid uuid returned by $LR_READER on target $tgt"
+       echo -e "uuid returned by $LR_READER is '$uuid'\n"
+
+       # check lr_reader -c on MDT0000
+       tgt=mds1
+       dev=$(facet_device $tgt)
+       if ! do_facet $tgt $LR_READER -h | grep -q OPTIONS; then
+               echo "$LR_READER does not support additional options"
+               return 0
+       fi
+       out=$(do_facet $tgt $LR_READER -c $dev)
+       [ $? -eq 0 ] || error "$LR_READER failed on target $tgt device $dev"
+       echo "$out"
+       num=$(echo "$out" | grep -c "mdtlov")
+       [ "$num" -eq $((MDSCOUNT - 1)) ] ||
+               error "Invalid number of mdtlov clients returned by $LR_READER"
+       echo -e "Number of mdtlov clients returned by $LR_READER is '$num'\n"
+
+       # check lr_reader -cr on MDT0000
+       out=$(do_facet $tgt $LR_READER -cr $dev)
+       [ $? -eq 0 ] || error "$LR_READER failed on target $tgt device $dev"
+       echo "$out"
+       echo "$out" | grep -q "^reply_data:$" ||
+               error "$LR_READER should have returned 'reply_data' section"
+       num=$(echo "$out" | grep -c "client_generation")
+       echo -e "Number of reply data returned by $LR_READER is '$num'\n"
+}
+run_test 252 "check lr_reader tool"
+
+test_254() {
+       local cl_user
+
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       do_facet mds1 $LCTL get_param -n mdd.$MDT0.changelog_size ||
+               { skip "MDS does not support changelog_size" && return; }
+
+       cl_user=$(do_facet mds1 $LCTL --device $MDT0 changelog_register -n)
+       echo "Registered as changelog user $cl_user"
+
+       $LFS changelog_clear $MDT0 $cl_user 0
+
+       local size1=$(do_facet mds1 \
+                     $LCTL get_param -n mdd.$MDT0.changelog_size)
+       echo "Changelog size $size1"
+
+       rm -rf $DIR/$tdir
+       $LFS mkdir -i 0 $DIR/$tdir
+       # change something
+       mkdir -p $DIR/$tdir/pics/2008/zachy
+       touch $DIR/$tdir/pics/2008/zachy/timestamp
+       cp /etc/hosts $DIR/$tdir/pics/2008/zachy/pic1.jpg
+       mv $DIR/$tdir/pics/2008/zachy $DIR/$tdir/pics/zach
+       ln $DIR/$tdir/pics/zach/pic1.jpg $DIR/$tdir/pics/2008/portland.jpg
+       ln -s $DIR/$tdir/pics/2008/portland.jpg $DIR/$tdir/pics/desktop.jpg
+       rm $DIR/$tdir/pics/desktop.jpg
+
+       local size2=$(do_facet mds1 \
+                     $LCTL get_param -n mdd.$MDT0.changelog_size)
+       echo "Changelog size after work $size2"
+
+       do_facet mds1 $LCTL --device $MDT0 changelog_deregister $cl_user
+
+       if (( size2 <= size1 )); then
+               error "Changelog size after work should be greater than original"
+       fi
+       return 0
+}
+run_test 254 "Check changelog size"
+
+test_256() {
+       local cl_user
+       local cat_sl
+       local mdt_dev
+
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       [ "$(facet_fstype mds1)" != "ldiskfs" ] &&
+               skip "non-ldiskfs backend" && return
+
+       mdt_dev=$(mdsdevname 1)
+       echo $mdt_dev
+       cl_user=$(do_facet mds1 \
+       "$LCTL get_param -n mdd.$MDT0.changelog_users | grep cl")
+       if [[ -n $cl_user ]]; then
+               skip "active changelog user"
+               return
+       fi
+
+       cl_user=$(do_facet mds1 $LCTL --device $MDT0 changelog_register -n)
+       echo "Registered as changelog user $cl_user"
+
+       rm -rf $DIR/$tdir
+       mkdir -p $DIR/$tdir
+
+       $LFS changelog_clear $MDT0 $cl_user 0
+
+       # change something
+       touch $DIR/$tdir/{1..10}
+
+       # stop the MDT
+       stop mds1 || error "Fail to stop MDT."
+
+       # remount the MDT
+       start mds1 $mdt_dev $MDS_MOUNT_OPTS || error "Fail to start MDT."
+
+       #after mount new plainllog is used
+       touch $DIR/$tdir/{11..19}
+       cat_sl=$(do_facet mds1 \
+       "$DEBUGFS -R \\\"dump changelog_catalog cat.dmp\\\" $mdt_dev; \
+        llog_reader cat.dmp | grep \\\"type=1064553b\\\" | wc -l")
+
+       if (( cat_sl != 2 )); then
+               do_facet mds1 $LCTL --device $MDT0 changelog_deregister $cl_user
+               error "Changelog catalog has wrong number of slots $cat_sl"
+       fi
+
+       $LFS changelog_clear $MDT0 $cl_user 0
+
+       cat_sl=$(do_facet mds1 \
+       "$DEBUGFS -R \\\"dump changelog_catalog cat.dmp\\\" $mdt_dev; \
+        llog_reader cat.dmp | grep \\\"type=1064553b\\\" | wc -l")
+
+       do_facet mds1 $LCTL --device $MDT0 changelog_deregister $cl_user
+
+       if (( cat_sl == 2 )); then
+               error "Empty plain llog was not deleted from changelog catalog"
+       fi
+       if (( cat_sl != 1 )); then
+               error "Active plain llog shouldn\`t be deleted from catalog"
+       fi
+}
+run_test 256 "Check llog delete for empty and not full state"
+
 cleanup_test_300() {
        trap 0
        umask $SAVE_UMASK
@@ -12941,6 +13973,8 @@ test_striped_dir() {
        local mode=$(stat -c%a $DIR/$tdir/striped_dir)
        [ "$mode" = "755" ] || error "expect 755 got $mode"
 
+       $LFS getdirstripe $DIR/$tdir/striped_dir > /dev/null 2>&1 ||
+               error "getdirstripe failed"
        stripe_count=$($LFS getdirstripe -c $DIR/$tdir/striped_dir)
        if [ "$stripe_count" != "2" ]; then
                error "stripe_count is $stripe_count, expect 2"
@@ -12987,6 +14021,8 @@ test_striped_dir() {
 }
 
 test_300a() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
@@ -12996,6 +14032,8 @@ test_300a() {
 run_test 300a "basic striped dir sanity test"
 
 test_300b() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local i
@@ -13026,6 +14064,8 @@ test_300b() {
 run_test 300b "check ctime/mtime for striped dir"
 
 test_300c() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local file_count
@@ -13049,6 +14089,8 @@ test_300c() {
 run_test 300c "chown && check ls under striped directory"
 
 test_300d() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -13080,6 +14122,8 @@ test_300d() {
 run_test 300d "check default stripe under striped directory"
 
 test_300e() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -13107,19 +14151,16 @@ test_300e() {
        $LFS setdirstripe -i 0 -c 2 -t all_char $DIR/$tdir/striped_dir/stp_c ||
                error "set striped dir under striped dir error"
 
-       mrename $DIR/$tdir/striped_dir/a $DIR/$tdir/striped_dir/b &&
-               error "rename file under striped dir should fail"
-
-       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir/dir_b &&
-               error "rename dir under striped dir should fail"
+       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir/dir_b ||
+               error "rename dir under striped dir fails"
 
-       mrename $DIR/$tdir/striped_dir/stp_a $DIR/$tdir/striped_dir/stp_b &&
-               error "rename dir under different stripes should fail"
+       mrename $DIR/$tdir/striped_dir/stp_a $DIR/$tdir/striped_dir/stp_b ||
+               error "rename dir under different stripes fails"
 
        mrename $DIR/$tdir/striped_dir/a $DIR/$tdir/striped_dir/c ||
                error "rename file under striped dir should succeed"
 
-       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir/dir_c ||
+       mrename $DIR/$tdir/striped_dir/dir_b $DIR/$tdir/striped_dir/dir_c ||
                error "rename dir under striped dir should succeed"
 
        rm -rf $DIR/$tdir
@@ -13127,6 +14168,8 @@ test_300e() {
 run_test 300e "check rename under striped directory"
 
 test_300f() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -13151,21 +14194,15 @@ test_300f() {
        $LFS setdirstripe -i 0 -c 2 $DIR/$tdir/striped_dir/stp_b ||
                error "create striped dir under striped dir fails"
 
-       mrename $DIR/$tdir/striped_dir/a $DIR/$tdir/striped_dir1/b &&
-               error "rename file under different striped dir should fail"
-
-       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir1/dir_b &&
+       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir1/dir_b ||
                error "rename dir under different striped dir should fail"
 
-       mrename $DIR/$tdir/striped_dir/stp_a $DIR/$tdir/striped_dir1/stp_b &&
+       mrename $DIR/$tdir/striped_dir/stp_a $DIR/$tdir/striped_dir1/stp_b ||
                error "rename striped dir under diff striped dir should fail"
 
        mrename $DIR/$tdir/striped_dir/a $DIR/$tdir/striped_dir1/a ||
                error "rename file under diff striped dirs fails"
 
-       mrename $DIR/$tdir/striped_dir/dir_a $DIR/$tdir/striped_dir1/dir_a ||
-               error "rename dir under diff striped dirs fails"
-
        rm -rf $DIR/$tdir
 }
 run_test 300f "check rename cross striped directory"
@@ -13200,6 +14237,7 @@ test_300_check_default_striped_dir()
        for dir in $(find $DIR/$tdir/$dirname/*); do
                stripe_count=$($LFS getdirstripe -c $dir)
                [ $stripe_count -eq $default_count ] ||
+               [ $stripe_count -eq 0 -o $default_count -eq 1 ] ||
                error "stripe count $default_count != $stripe_count for $dir"
 
                stripe_index=$($LFS getdirstripe -i $dir)
@@ -13219,6 +14257,8 @@ test_300_check_default_striped_dir()
 }
 
 test_300g() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local dir
        local stripe_count
@@ -13250,6 +14290,8 @@ test_300g() {
 run_test 300g "check default striped directory for normal directory"
 
 test_300h() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local dir
        local stripe_count
@@ -13278,6 +14320,8 @@ test_300h() {
 run_test 300h "check default striped directory for striped directory"
 
 test_300i() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -13317,6 +14361,313 @@ test_300i() {
 }
 run_test 300i "client handle unknown hash type striped directory"
 
+test_300j() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local stripe_count
+       local file
+
+       mkdir $DIR/$tdir
+
+       #define OBD_FAIL_SPLIT_UPDATE_REC       0x1702
+       $LCTL set_param fail_loc=0x1702
+       $LFS setdirstripe -i 0 -c$MDSCOUNT -t all_char $DIR/$tdir/striped_dir ||
+               error "set striped dir error"
+
+       createmany -o $DIR/$tdir/striped_dir/f- 10 ||
+               error "create files under striped dir failed"
+
+       $LCTL set_param fail_loc=0
+
+       rm -rf $DIR/$tdir || error "unlink striped dir fails"
+
+       return 0
+}
+run_test 300j "test large update record"
+
+test_300k() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local stripe_count
+       local file
+
+       mkdir $DIR/$tdir
+
+       #define OBD_FAIL_LARGE_STRIPE   0x1703
+       $LCTL set_param fail_loc=0x1703
+       $LFS setdirstripe -i 0 -c512 $DIR/$tdir/striped_dir ||
+               error "set striped dir error"
+       $LCTL set_param fail_loc=0
+
+       $LFS getdirstripe $DIR/$tdir/striped_dir ||
+               error "getstripeddir fails"
+       rm -rf $DIR/$tdir/striped_dir ||
+               error "unlink striped dir fails"
+
+       return 0
+}
+run_test 300k "test large striped directory"
+
+test_300l() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local stripe_index
+
+       test_mkdir -p $DIR/$tdir/striped_dir
+       chown $RUNAS_ID $DIR/$tdir/striped_dir ||
+                       error "chown $RUNAS_ID failed"
+       $LFS setdirstripe -i 1 -D $DIR/$tdir/striped_dir ||
+               error "set default striped dir failed"
+
+       #define OBD_FAIL_MDS_STALE_DIR_LAYOUT    0x158
+       $LCTL set_param fail_loc=0x80000158
+       $RUNAS mkdir $DIR/$tdir/striped_dir/test_dir || error "create dir fails"
+
+       stripe_index=$($LFS getdirstripe -i $DIR/$tdir/striped_dir/test_dir)
+       [ $stripe_index -eq 1 ] ||
+               error "expect 1 get $stripe_index for $dir"
+}
+run_test 300l "non-root user to create dir under striped dir with stale layout"
+
+test_300m() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -ge 2 ] && skip "Only for single MDT" && return
+
+       mkdir -p $DIR/$tdir/striped_dir
+       $LFS setdirstripe -D -c 1 $DIR/$tdir/striped_dir ||
+               error "set default stripes dir error"
+
+       mkdir $DIR/$tdir/striped_dir/a || error "mkdir a fails"
+
+       stripe_count=$($LFS getdirstripe -c $DIR/$tdir/striped_dir/a)
+       [ $stripe_count -eq 0 ] ||
+                       error "expect 0 get $stripe_count for a"
+
+       $LFS setdirstripe -D -c 2 $DIR/$tdir/striped_dir ||
+               error "set default stripes dir error"
+
+       mkdir $DIR/$tdir/striped_dir/b || error "mkdir b fails"
+
+       stripe_count=$($LFS getdirstripe -c $DIR/$tdir/striped_dir/b)
+       [ $stripe_count -eq 0 ] ||
+                       error "expect 0 get $stripe_count for b"
+
+       $LFS setdirstripe -D -c1 -i2 $DIR/$tdir/striped_dir ||
+               error "set default stripes dir error"
+
+       mkdir $DIR/$tdir/striped_dir/c &&
+               error "default stripe_index is invalid, mkdir c should fails"
+
+       rm -rf $DIR/$tdir || error "rmdir fails"
+}
+run_test 300m "setstriped directory on single MDT FS"
+
+cleanup_300n() {
+       local list=$(comma_list $(mdts_nodes))
+
+       trap 0
+       do_nodes $list $LCTL set_param -n mdt.*.enable_remote_dir_gid=0
+}
+
+test_300n() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local stripe_index
+       local list=$(comma_list $(mdts_nodes))
+
+       trap cleanup_300n RETURN EXIT
+       mkdir -p $DIR/$tdir
+       chmod 777 $DIR/$tdir
+       $RUNAS $LFS setdirstripe -i0 -c$MDSCOUNT \
+                               $DIR/$tdir/striped_dir > /dev/null 2>&1 &&
+               error "create striped dir succeeds with gid=0"
+
+       do_nodes $list $LCTL set_param -n mdt.*.enable_remote_dir_gid=-1
+       $RUNAS $LFS setdirstripe -i0 -c$MDSCOUNT $DIR/$tdir/striped_dir ||
+               error "create striped dir fails with gid=-1"
+
+       do_nodes $list $LCTL set_param -n mdt.*.enable_remote_dir_gid=0
+       $RUNAS $LFS setdirstripe -i 1 -c$MDSCOUNT -D \
+                               $DIR/$tdir/striped_dir > /dev/null 2>&1 &&
+               error "set default striped dir succeeds with gid=0"
+
+
+       do_nodes $list $LCTL set_param -n mdt.*.enable_remote_dir_gid=-1
+       $RUNAS $LFS setdirstripe -i 1 -c$MDSCOUNT -D $DIR/$tdir/striped_dir ||
+               error "set default striped dir fails with gid=-1"
+
+
+       do_nodes $list $LCTL set_param -n mdt.*.enable_remote_dir_gid=0
+       $RUNAS mkdir $DIR/$tdir/striped_dir/test_dir ||
+                                       error "create test_dir fails"
+       $RUNAS mkdir $DIR/$tdir/striped_dir/test_dir1 ||
+                                       error "create test_dir1 fails"
+       $RUNAS mkdir $DIR/$tdir/striped_dir/test_dir2 ||
+                                       error "create test_dir2 fails"
+       cleanup_300n
+}
+run_test 300n "non-root user to create dir under striped dir with default EA"
+
+test_300o() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.55) ] &&
+               skip "Need MDS version at least 2.7.55" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local numfree1
+       local numfree2
+
+       mkdir -p $DIR/$tdir
+
+       numfree1=$(lctl get_param -n mdc.*MDT0000*.filesfree)
+       numfree2=$(lctl get_param -n mdc.*MDT0001*.filesfree)
+       if [ $numfree1 -lt 66000 -o $numfree2 -lt 66000 ]; then
+               skip "not enough free inodes $numfree1 $numfree2"
+               return
+       fi
+
+       numfree1=$(lctl get_param -n mdc.*MDT0000-mdc-*.kbytesfree)
+       numfree2=$(lctl get_param -n mdc.*MDT0001-mdc-*.kbytesfree)
+       if [ $numfree1 -lt 300000 -o $numfree2 -lt 300000 ]; then
+               skip "not enough free space $numfree1 $numfree2"
+               return
+       fi
+
+       $LFS setdirstripe -c2 $DIR/$tdir/striped_dir ||
+               error "setdirstripe fails"
+
+       createmany -d $DIR/$tdir/striped_dir/d 131000 ||
+               error "create dirs fails"
+
+       $LCTL set_param ldlm.namespaces.*mdc-*.lru_size=0
+       ls $DIR/$tdir/striped_dir > /dev/null ||
+               error "ls striped dir fails"
+       unlinkmany -d $DIR/$tdir/striped_dir/d 131000 ||
+               error "unlink big striped dir fails"
+}
+run_test 300o "unlink big sub stripe(> 65000 subdirs)"
+
+test_300p() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       mkdir -p $DIR/$tdir
+
+       #define OBD_FAIL_OUT_ENOSPC     0x1704
+       do_facet mds2 lctl set_param fail_loc=0x80001704
+       $LFS setdirstripe -c2 $DIR/$tdir/bad_striped_dir > /dev/null 2>&1 &&
+                       error "create striped directory should fail"
+
+       [ -e $DIR/$tdir/bad_striped_dir ] && error "striped dir exists"
+
+       $LFS setdirstripe -c2 $DIR/$tdir/bad_striped_dir
+       true
+}
+run_test 300p "create striped directory without space"
+
+test_300q() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       local fd=$(free_fd)
+       local cmd="exec $fd<$tdir"
+       cd $DIR
+       $LFS mkdir -c $MDSCOUNT $tdir || error "create $tdir fails"
+       eval $cmd
+       cmd="exec $fd<&-"
+       trap "eval $cmd" EXIT
+       cd $tdir || error "cd $tdir fails"
+       rmdir  ../$tdir || error "rmdir $tdir fails"
+       mkdir local_dir && error "create dir succeeds"
+       $LFS setdirstripe -i1 remote_dir && error "create remote dir succeeds"
+       eval $cmd
+       return 0
+}
+run_test 300q "create remote directory under orphan directory"
+
+prepare_remote_file() {
+       mkdir $DIR/$tdir/src_dir ||
+               error "create remote source failed"
+
+       cp /etc/hosts $DIR/$tdir/src_dir/a || error
+       touch $DIR/$tdir/src_dir/a
+
+       $LFS mkdir -i 1 $DIR/$tdir/tgt_dir ||
+               error "create remote target dir failed"
+
+       touch $DIR/$tdir/tgt_dir/b
+
+       mrename $DIR/$tdir/src_dir/a $DIR/$tdir/tgt_dir/b ||
+               error "rename dir cross MDT failed!"
+
+       $CHECKSTAT -t file $DIR/$tdir/src_dir/a &&
+               error "src_child still exists after rename"
+
+       $CHECKSTAT -t file $DIR/$tdir/tgt_dir/b ||
+               error "missing file(a) after rename"
+
+       diff /etc/hosts $DIR/$tdir/tgt_dir/b ||
+               error "diff after rename"
+}
+
+test_310a() {
+       [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 4 MDTs" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       local remote_file=$DIR/$tdir/tgt_dir/b
+
+       mkdir -p $DIR/$tdir
+
+       prepare_remote_file || error "prepare remote file failed"
+
+       #open-unlink file
+       $OPENUNLINK $remote_file $remote_file || error
+       $CHECKSTAT -a $remote_file || error
+}
+run_test 310a "open unlink remote file"
+
+test_310b() {
+       [[ $MDSCOUNT -lt 2 ]] && skip "needs >= 4 MDTs" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       local remote_file=$DIR/$tdir/tgt_dir/b
+
+       mkdir -p $DIR/$tdir
+
+       prepare_remote_file || error "prepare remote file failed"
+
+       ln $remote_file $DIR/$tfile || error "link failed for remote file"
+       $MULTIOP $DIR/$tfile Ouc || error "mulitop failed"
+       $CHECKSTAT -t file $remote_file || error "check file failed"
+}
+run_test 310b "unlink remote file with multiple links while open"
+
+test_310c() {
+       [[ $MDSCOUNT -lt 4 ]] && skip "needs >= 4 MDTs" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       local remote_file=$DIR/$tdir/tgt_dir/b
+
+       mkdir -p $DIR/$tdir
+
+       prepare_remote_file || error "prepare remote file failed"
+
+       ln $remote_file $DIR/$tfile || error "link failed for remote file"
+       multiop_bg_pause $remote_file O_uc ||
+                       error "mulitop failed for remote file"
+       MULTIPID=$!
+       $MULTIOP $DIR/$tfile Ouc
+       kill -USR1 $MULTIPID
+       wait $MULTIPID
+}
+run_test 310c "open-unlink remote file with multiple links"
+
 test_400a() { # LU-1606, was conf-sanity test_74
        local extra_flags=''
        local out=$TMP/$tfile
@@ -13339,6 +14690,7 @@ test_400a() { # LU-1606, was conf-sanity test_74
                $CC -Wall -Werror $extra_flags -llustreapi -o $out $prog ||
                        error "client api broken"
        done
+       rm -f $out
 }
 run_test 400a "Lustre client api program can compile and link"
 
@@ -13371,9 +14723,175 @@ test_400b() { # LU-1606, LU-5011
                $CC -Wall -Werror -include $header -c -x c /dev/null -o $out ||
                        error "cannot compile '$header'"
        done
+       rm -f $out
 }
 run_test 400b "packaged headers can be compiled"
 
+test_401a() { #LU-7437
+       #count the number of parameters by "list_param -R"
+       local params=$($LCTL list_param -R '*' 2>/dev/null | wc -l)
+       #count the number of parameters by listing proc files
+       local procs=$(find -L $proc_dirs -mindepth 1 -printf '%P\n' 2>/dev/null|
+                     sort -u | wc -l)
+
+       [ $params -eq $procs ] ||
+               error "found $params parameters vs. $procs proc files"
+
+       # test the list_param -D option only returns directories
+       params=$($LCTL list_param -R -D '*' 2>/dev/null | wc -l)
+       #count the number of parameters by listing proc directories
+       procs=$(find -L $proc_dirs -mindepth 1 -type d -printf '%P\n' 2>/dev/null |
+               sort -u | wc -l)
+
+       [ $params -eq $procs ] ||
+               error "found $params parameters vs. $procs proc files"
+}
+run_test 401a "Verify if 'lctl list_param -R' can list parameters recursively"
+
+test_401b() {
+       local save=$($LCTL get_param -n jobid_var)
+       local tmp=testing
+
+       $LCTL set_param foo=bar jobid_var=$tmp bar=baz &&
+               error "no error returned when setting bad parameters"
+
+       local jobid_new=$($LCTL get_param -n foe jobid_var baz)
+       [[ "$jobid_new" == "$tmp" ]] || error "jobid tmp $jobid_new != $tmp"
+
+       $LCTL set_param -n fog=bam jobid_var=$save bat=fog
+       local jobid_old=$($LCTL get_param -n foe jobid_var bag)
+       [[ "$jobid_old" == "$save" ]] || error "jobid new $jobid_old != $save"
+}
+run_test 401b "Verify 'lctl {get,set}_param' continue after error"
+
+test_401c() {
+       local jobid_var_old=$($LCTL get_param -n jobid_var)
+       local jobid_var_new
+
+       $LCTL set_param jobid_var= &&
+               error "no error returned for 'set_param a='"
+
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_old" == "$jobid_var_new" ]] ||
+               error "jobid_var was changed by setting without value"
+
+       $LCTL set_param jobid_var &&
+               error "no error returned for 'set_param a'"
+
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_old" == "$jobid_var_new" ]] ||
+               error "jobid_var was changed by setting without value"
+}
+run_test 401c "Verify 'lctl set_param' without value fails in either format."
+
+test_401d() {
+       local jobid_var_old=$($LCTL get_param -n jobid_var)
+       local jobid_var_new
+       local new_value="foo=bar"
+
+       $LCTL set_param jobid_var=$new_value ||
+               error "'set_param a=b' did not accept a value containing '='"
+
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_new" == "$new_value" ]] ||
+               error "'set_param a=b' failed on a value containing '='"
+
+       # Reset the jobid_var to test the other format
+       $LCTL set_param jobid_var=$jobid_var_old
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_new" == "$jobid_var_old" ]] ||
+               error "failed to reset jobid_var"
+
+       $LCTL set_param jobid_var $new_value ||
+               error "'set_param a b' did not accept a value containing '='"
+
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_new" == "$new_value" ]] ||
+               error "'set_param a b' failed on a value containing '='"
+
+       $LCTL set_param jobid_var $jobid_var_old
+       jobid_var_new=$($LCTL get_param -n jobid_var)
+       [[ "$jobid_var_new" == "$jobid_var_old" ]] ||
+               error "failed to reset jobid_var"
+}
+run_test 401d "Verify 'lctl set_param' accepts values containing '='"
+
+test_402() {
+       $LFS setdirstripe -i 0 $DIR/$tdir || error "setdirstripe -i 0 failed"
+#define OBD_FAIL_MDS_FLD_LOOKUP 0x15c
+       do_facet mds1 "lctl set_param fail_loc=0x8000015c"
+       touch $DIR/$tdir/$tfile && error "touch should fail with ENOENT" ||
+               echo "Touch failed - OK"
+}
+run_test 402 "Return ENOENT to lod_generate_and_set_lovea"
+
+test_403() {
+       local file1=$DIR/$tfile.1
+       local file2=$DIR/$tfile.2
+       local tfile=$TMP/$tfile
+
+       rm -f $file1 $file2 $tfile
+
+       touch $file1
+       ln $file1 $file2
+
+       # 30 sec OBD_TIMEOUT in ll_getattr()
+       # right before populating st_nlink
+       $LCTL set_param fail_loc=0x80001409
+       stat -c %h $file1 > $tfile &
+
+       # create an alias, drop all locks and reclaim the dentry
+       < $file2
+       cancel_lru_locks mdc
+       cancel_lru_locks osc
+       sysctl -w vm.drop_caches=2
+
+       wait
+
+       [ `cat $tfile` -gt 0 ] || error "wrong nlink count: `cat $tfile`"
+
+       rm -f $tfile $file1 $file2
+}
+run_test 403 "i_nlink should not drop to zero due to aliasing"
+
+test_404() { # LU-6601
+       local mosps=$(do_facet $SINGLEMDS $LCTL dl |
+               awk '/osp .*-osc-MDT/ { print $4}')
+
+       local osp
+       for osp in $mosps; do
+               echo "Deactivate: " $osp
+               do_facet $SINGLEMDS $LCTL --device %$osp deactivate
+               local stat=$(do_facet $SINGLEMDS $LCTL dl |
+                       awk -vp=$osp '$4 == p { print $2 }')
+               [ $stat = IN ] || {
+                       do_facet $SINGLEMDS $LCTL dl | grep -w $osp
+                       error "deactivate error"
+               }
+               echo "Activate: " $osp
+               do_facet $SINGLEMDS $LCTL --device %$osp activate
+               local stat=$(do_facet $SINGLEMDS $LCTL dl |
+                       awk -vp=$osp '$4 == p { print $2 }')
+               [ $stat = UP ] || {
+                       do_facet $SINGLEMDS $LCTL dl | grep -w $osp
+                       error "activate error"
+               }
+       done
+}
+run_test 404 "validate manual {de}activated works properly for OSPs"
+
+test_405() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.92) ] &&
+               skip "Layout swap lock is not supported" && return
+
+       check_swap_layouts_support && return 0
+
+       test_mkdir -p $DIR/$tdir
+       swap_lock_test -d $DIR/$tdir ||
+               error "One layout swap locked test failed"
+}
+run_test 405 "Various layout swap lock tests"
+
 #
 # tests that do cleanup/setup should be run at the end
 #