Whamcloud - gitweb
LU-14658 tests: fix conf-sanity 122b test
[fs/lustre-release.git] / lustre / tests / conf-sanity.sh
index 92feb15..e3a56c7 100644 (file)
@@ -4,33 +4,36 @@ set -e
 
 ONLY=${ONLY:-"$*"}
 
-# bug number for skipped test:
-ALWAYS_EXCEPT="$CONF_SANITY_EXCEPT"
+SRCDIR=$(dirname $0)
+PTLDEBUG=${PTLDEBUG:--1}
+LUSTRE=${LUSTRE:-$(dirname $0)/..}
+. $LUSTRE/tests/test-framework.sh
+init_test_env $@
+init_logging
+
+#                                  tool to create lustre filesystem images
+ALWAYS_EXCEPT="$CONF_SANITY_EXCEPT 32newtarball"
+
+# bug number for skipped test: LU-11915
+ALWAYS_EXCEPT="$ALWAYS_EXCEPT 110"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
-# bug number for skipped test:
-# a tool to create lustre filesystem images
-ALWAYS_EXCEPT="32newtarball $ALWAYS_EXCEPT"
 if $SHARED_KEY; then
-# bug number for skipped tests:                LU-9795 (all below)
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT   0       31      32a     32d     35a"
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT   53a     53b     54b     76a     76b"
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT   76c     76d     78      103"
+       # bug number for skipped tests: LU-9795 (all below)
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT   84      86      103"
 fi
 
-SRCDIR=$(dirname $0)
-PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH
+if ! combined_mgs_mds; then
+       # bug number for skipped test: LU-11991         LU-11990
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  32a 32b 32c 32d 32e      66"
+       # bug number for skipped test: LU-9897  LU-12032
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  84       123F"
+fi
 
-PTLDEBUG=${PTLDEBUG:--1}
-SAVE_PWD=$PWD
-LUSTRE=${LUSTRE:-$(dirname $0)/..}
-RLUSTRE=${RLUSTRE:-$LUSTRE}
-export MULTIOP=${MULTIOP:-multiop}
+#                                  8  22  40  165  (min)
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="45 69 106 111"
 
-. $LUSTRE/tests/test-framework.sh
-init_test_env $@
-. ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
-get_lustre_env
+build_test_filter
 
 # use small MDS + OST size to speed formatting time
 # do not use too small MDSSIZE/OSTSIZE, which affect the default journal size
@@ -38,9 +41,9 @@ get_lustre_env
 STORED_MDSSIZE=$MDSSIZE
 STORED_OSTSIZE=$OSTSIZE
 MDSSIZE=200000
-[ $(facet_fstype $SINGLEMDS) = "zfs" ] && MDSSIZE=400000
+[ "$mds1_FSTYPE" = zfs ] && MDSSIZE=400000
 OSTSIZE=200000
-[ $(facet_fstype ost1) = "zfs" ] && OSTSIZE=400000
+[ "$ost1_FSTYPE" = zfs ] && OSTSIZE=400000
 
 fs2mds_HOST=$mds_HOST
 fs2ost_HOST=$ost_HOST
@@ -50,39 +53,15 @@ MDSDEV1_2=$fs2mds_DEV
 OSTDEV1_2=$fs2ost_DEV
 OSTDEV2_2=$fs3ost_DEV
 
-if ! combined_mgs_mds; then
-       # bug number for skipped test: LU-9860 LU-9860 LU-9860
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  43b     53b     54b"
-       # bug number for skipped test: LU-9875 LU-9879 LU-9879 LU-9879 LU-9879
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  70e     80      84      87      100"
-       # bug number for skipped test: LU-8110 LU-9879 LU-9879 LU-9879
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  102     104     105     107"
-fi
-
 # pass "-E lazy_itable_init" to mke2fs to speed up the formatting time
 if [[ "$LDISKFS_MKFS_OPTS" != *lazy_itable_init* ]]; then
        LDISKFS_MKFS_OPTS=$(csa_add "$LDISKFS_MKFS_OPTS" -E lazy_itable_init)
 fi
 
-[ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
-# bug number for skipped test:
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT"
-# UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
-
-[ $MDSCOUNT -ge 2 ] &&
-# bug number for skipped test: LU-11915
-       ALWAYS_EXCEPT+="       110"
-# UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
-
-init_logging
-
 #
 require_dsh_mds || exit 0
 require_dsh_ost || exit 0
 
-#                                  8  22  40  165  (min)
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="45 69 106 111"
-
 assert_DIR
 
 gen_config() {
@@ -90,7 +69,7 @@ gen_config() {
        # and stop to generate the startup logs.
        start_mds
        start_ost
-        wait_osc_import_state mds ost FULL
+       wait_osc_import_state mds ost FULL
        stop_ost
        stop_mds
 }
@@ -114,7 +93,7 @@ writeconf_or_reformat() {
 }
 
 reformat() {
-        formatall
+       formatall
 }
 
 start_mgs () {
@@ -132,6 +111,16 @@ start_mdt() {
        start $facet ${dev} $MDS_MOUNT_OPTS $@ || return 94
 }
 
+stop_mdt_no_force() {
+       local num=$1
+       local facet=mds$num
+       local dev=$(mdsdevname $num)
+       shift 1
+
+       echo "stop mds service on `facet_active_host $facet`"
+       stop $facet || return 97
+}
+
 stop_mdt() {
        local num=$1
        local facet=mds$num
@@ -149,6 +138,9 @@ start_mds() {
        for num in $(seq $MDSCOUNT); do
                start_mdt $num $@ || return 94
        done
+       for num in $(seq $MDSCOUNT); do
+               wait_clients_import_state ${CLIENTS:-$HOSTNAME} mds${num} FULL
+       done
 }
 
 start_mgsmds() {
@@ -166,14 +158,15 @@ stop_mds() {
 }
 
 stop_mgs() {
-       echo "stop mgs service on `facet_active_host mgs`"
-       # These tests all use non-failover stop
-       stop mgs -f  || return 97
+       echo "stop mgs service on `facet_active_host mgs`"
+       # These tests all use non-failover stop
+       stop mgs -f  || return 97
 }
 
 start_ost() {
        echo "start ost1 service on `facet_active_host ost1`"
        start ost1 $(ostdevname 1) $OST_MOUNT_OPTS $@ || return 95
+       wait_clients_import_state ${CLIENTS:-$HOSTNAME} ost1 FULL
 }
 
 stop_ost() {
@@ -185,6 +178,7 @@ stop_ost() {
 start_ost2() {
        echo "start ost2 service on `facet_active_host ost2`"
        start ost2 $(ostdevname 2) $OST_MOUNT_OPTS $@ || return 92
+       wait_clients_import_state ${CLIENTS:-$HOSTNAME} ost2 FULL
 }
 
 stop_ost2() {
@@ -194,16 +188,11 @@ stop_ost2() {
 }
 
 mount_client() {
-       local MOUNTPATH=$1
-       echo "mount $FSNAME on ${MOUNTPATH}....."
-       zconf_mount $(hostname) $MOUNTPATH || return 96
-}
+       local mountpath=$1
+       local mountopt="$2"
 
-remount_client() {
-       local mountopt="remount,$1"
-       local MOUNTPATH=$2
-       echo "remount '$1' lustre on ${MOUNTPATH}....."
-       zconf_mount $(hostname) $MOUNTPATH "$mountopt" || return 96
+       echo "mount $FSNAME ${mountopt:+with opts $mountopt} on $mountpath....."
+       zconf_mount $HOSTNAME $mountpath $mountopt || return 96
 }
 
 umount_client() {
@@ -268,8 +257,8 @@ check_mount() {
        do_facet client "cp /etc/passwd $DIR/a" || return 71
        do_facet client "rm $DIR/a" || return 72
        # make sure lustre is actually mounted (touch will block,
-        # but grep won't, so do it after)
-        do_facet client "grep $MOUNT' ' /proc/mounts > /dev/null" || return 73
+       # but grep won't, so do it after)
+       do_facet client "grep $MOUNT' ' /proc/mounts > /dev/null" || return 73
        echo "setup single mount lustre success"
 }
 
@@ -285,8 +274,6 @@ generate_name() {
        cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w $1 | head -n 1
 }
 
-build_test_filter
-
 if [ "$ONLY" == "setup" ]; then
        setup
        exit
@@ -485,10 +472,7 @@ test_5e() {
 run_test 5e "delayed connect, don't crash (bug 10268)"
 
 test_5f() {
-       if combined_mgs_mds ; then
-               skip "needs separate mgs and mds"
-               return 0
-       fi
+       combined_mgs_mds && skip "needs separate mgs and mds"
 
        grep " $MOUNT " /etc/mtab &&
                error false "unexpected entry in mtab before mount" && return 10
@@ -523,8 +507,8 @@ run_test 5f "mds down, cleanup after failed mount (bug 2712)"
 
 test_5g() {
        modprobe lustre
-       [ $(lustre_version_code client) -lt $(version_code 2.9.53) ] &&
-               { skip "automount of debugfs missing before 2.9.53" && return 0; }
+       [ "$CLIENT_VERSION" -lt $(version_code 2.9.53) ] &&
+               skip "automount of debugfs missing before 2.9.53"
        umount /sys/kernel/debug
        $LCTL get_param -n devices | egrep -v "error" && \
                error "lctl can't access debugfs data"
@@ -532,6 +516,35 @@ test_5g() {
 }
 run_test 5g "handle missing debugfs"
 
+test_5h() {
+       setup
+
+       stop mds1
+       #define OBD_FAIL_MDS_FS_SETUP            0x135
+       do_facet mds1 "$LCTL set_param fail_loc=0x80000135"
+       start_mdt 1 && error "start mdt should fail"
+       start_mdt 1 || error "start mdt failed"
+       client_up || error "client_up failed"
+       cleanup
+}
+run_test 5h "start mdt failure at mdt_fs_setup()"
+
+test_5i() {
+       (( $MDS1_VERSION >= $(version_code 2.12.54) )) ||
+               skip "Need MDS version at least 2.12.54"
+
+       setup
+
+       stop mds1
+       #define OBD_FAIL_QUOTA_INIT              0xA05
+       do_facet mds1 "$LCTL set_param fail_loc=0x80000A05"
+       start_mdt 1 && error "start mdt should fail"
+       start_mdt 1 || error "start mdt failed"
+       client_up || error "client_up failed"
+       cleanup
+}
+run_test 5i "start mdt failure at mdt_quota_init()"
+
 test_6() {
        setup
        manual_umount_client
@@ -583,6 +596,27 @@ test_9() {
 }
 run_test 9 "test ptldebug and subsystem for mkfs"
 
+test_10a() {
+       setup
+
+       if ! combined_mgs_mds; then
+               files=$(do_facet mgs "find /{proc/fs,sys/fs,sys/kernel/debug}/lustre -type l -exec test ! -e {} \; -print")
+               [ -z $files ] || echo "MGS $files is a broken symlink"
+       fi
+
+       files=$(do_facet mds1 "find /{proc/fs,sys/fs,sys/kernel/debug}/lustre -type l -exec test ! -e {} \; -print")
+       [ -z $files ] || echo "MDS $files is a broken symlink"
+
+       files=$(do_facet ost1 "find /{proc/fs,sys/fs,sys/kernel/debug}/lustre -type l -exec test ! -e {} \; -print")
+       [ -z $files ] || echo "OSS $files is a broken symlink"
+
+       files=$(do_facet client "find /{proc/fs,sys/fs,sys/kernel/debug}/lustre -type l -exec test ! -e {} \; -print")
+       [ -z $files ] || echo "clients $files is a broken symlink"
+
+       cleanup || error "cleanup failed with rc $?"
+}
+run_test 10a "find lctl param broken symlinks"
+
 #
 # Test 16 was to "verify that lustre will correct the mode of OBJECTS".
 # But with new MDS stack we don't care about the mode of local objects
@@ -590,9 +624,8 @@ run_test 9 "test ptldebug and subsystem for mkfs"
 #
 
 test_17() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        setup
@@ -619,9 +652,8 @@ test_17() {
 run_test 17 "Verify failed mds_postsetup won't fail assertion (2936) (should return errs)"
 
 test_18() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        local MDSDEV=$(mdsdevname ${SINGLEMDS//mds/})
@@ -660,7 +692,7 @@ test_18() {
                        log "use file $MDSDEV with MIN=$MIN"
        fi
 
-       [ -z "$OK" ] && skip_env "$MDSDEV too small for ${MIN}kB MDS" && return
+       [ -z "$OK" ] && skip_env "$MDSDEV too small for ${MIN}kB MDS"
 
        echo "mount mds with large journal..."
 
@@ -706,10 +738,10 @@ test_20() {
        mount_client $MOUNT || error "mount_client $MOUNT failed"
        check_mount || error "check_mount failed"
        rm -f $DIR/$tfile || error "remove $DIR/$tfile failed."
-       remount_client ro $MOUNT || error "remount_client with ro failed"
+       mount_client $MOUNT remount,ro || error "remount client with ro failed"
        touch $DIR/$tfile && error "$DIR/$tfile created incorrectly"
        [ -e $DIR/$tfile ] && error "$DIR/$tfile exists incorrectly"
-       remount_client rw $MOUNT || error "remount_client with rw failed"
+       mount_client $MOUNT remount,rw || error "remount client with rw failed"
        touch $DIR/$tfile || error "touch $DIR/$tfile failed"
        MCNT=$(grep -c $MOUNT' ' /etc/mtab)
        [ "$MCNT" -ne 1 ] && error "$MOUNT in /etc/mtab $MCNT times"
@@ -751,12 +783,10 @@ test_21c() {
 run_test 21c "start mds between two osts, stop mds last"
 
 test_21d() {
-        if combined_mgs_mds ; then
-                skip "need separate mgs device" && return 0
-        fi
-        stopall
+       combined_mgs_mds && skip "need separate mgs device"
 
-        reformat
+       stopall
+       reformat
 
        start_mgs || error "unable to start MGS"
        start_ost || error "unable to start OST1"
@@ -764,12 +794,18 @@ test_21d() {
        start_mds || error "MDS start failed"
        wait_osc_import_state mds ost2 FULL
 
+       local zkeeper=${KEEP_ZPOOL}
+       stack_trap "KEEP_ZPOOL=$zkeeper" EXIT
+       KEEP_ZPOOL="true"
+
        stop_ost || error "Unable to stop OST1"
        stop_ost2 || error "Unable to stop OST2"
        stop_mds || error "Unable to stop MDS"
        stop_mgs
        #writeconf to remove all ost2 traces for subsequent tests
        writeconf_or_reformat
+       KEEP_ZPOOL="${zkeeper}"
+
        start_mgs || error "unable to start MGS"
 }
 run_test 21d "start mgs then ost and then mds"
@@ -784,7 +820,7 @@ cleanup_21e() {
 test_21e() { # LU-5863
        if [[ -z "$fs3ost_DEV" || -z "$fs2ost_DEV" || -z "$fs2mds_DEV" ]]; then
                is_blkdev $SINGLEMDS $(mdsdevname ${SINGLEMDS//mds/}) &&
-               skip_env "mixed loopback and real device not working" && return
+               skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -930,7 +966,7 @@ test_24a() {
 
        if [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" ]; then
                is_blkdev $SINGLEMDS $MDSDEV &&
-               skip_env "mixed loopback and real device not working" && return
+               skip_env "mixed loopback and real device not working"
        fi
 
        [ -n "$ost1_HOST" ] && fs2ost_HOST=$ost1_HOST
@@ -994,12 +1030,14 @@ run_test 24a "Multiple MDTs on a single node"
 
 test_24b() {
        local MDSDEV=$(mdsdevname ${SINGLEMDS//mds/})
+       combined_mgs_mds ||
+               skip "needs combined MGT and MDT device"
 
        if [ -z "$fs2mds_DEV" ]; then
                local dev=${SINGLEMDS}_dev
                local MDSDEV=${!dev}
                is_blkdev $SINGLEMDS $MDSDEV &&
-               skip_env "mixed loopback and real device not working" && return
+               skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -1008,15 +1046,17 @@ test_24b() {
        add fs2mds $(mkfs_opts mds1 ${fs2mdsdev} ) --mgs --fsname=${FSNAME}2 \
                --reformat $fs2mdsdev $fs2mdsvdev || exit 10
        setup
-       start fs2mds $fs2mdsdev $MDS_MOUNT_OPTS &&
+       start fs2mds $fs2mdsdev $MDS_MOUNT_OPTS && {
+               cleanup
                error "start MDS should fail"
+       }
        stop fs2mds -f
        cleanup || error "cleanup failed with rc $?"
 }
 run_test 24b "Multiple MGSs on a single node (should return err)"
 
 test_25() {
-       setup
+       setup_noconfig
        check_mount || error "check_mount failed"
        local MODULES=$($LCTL modules | awk '{ print $2 }')
        rmmod $MODULES 2>/dev/null || true
@@ -1042,6 +1082,7 @@ test_26() {
 run_test 26 "MDT startup failure cleans LOV (should return errs)"
 
 test_27a() {
+       cleanup
        start_ost || error "Unable to start OST1"
        start_mds || error "Unable to start MDS"
        echo "Requeue thread should have started: "
@@ -1055,7 +1096,7 @@ run_test 27a "Reacquire MGS lock if OST started first"
 
 test_27b() {
        # FIXME. ~grev
-       setup
+       setup_noconfig
        local device=$(do_facet $SINGLEMDS "$LCTL get_param -n devices" |
                        awk '($3 ~ "mdt" && $4 ~ "MDT0000") { print $4 }')
 
@@ -1072,32 +1113,45 @@ test_27b() {
 run_test 27b "Reacquire MGS lock after failover"
 
 test_28A() { # was test_28
-       setup
-       TEST="llite.$FSNAME-*.max_read_ahead_whole_mb"
-       PARAM="$FSNAME.llite.max_read_ahead_whole_mb"
-       ORIG=$($LCTL get_param -n $TEST)
-       FINAL=$(($ORIG + 1))
-       set_persistent_param_and_check client "$TEST" "$PARAM" $FINAL
-       FINAL=$(($FINAL + 1))
-       set_persistent_param_and_check client "$TEST" "$PARAM" $FINAL
+       setup_noconfig
+
+       local TEST="llite.$FSNAME-*.max_read_ahead_whole_mb"
+       local PARAM="$FSNAME.llite.max_read_ahead_whole_mb"
+       local orig=$($LCTL get_param -n $TEST)
+       local max=$($LCTL get_param -n \
+                       llite.$FSNAME-*.max_read_ahead_per_file_mb)
+
+       orig=${orig%%.[0-9]*}
+       max=${max%%.[0-9]*}
+       echo "ORIG:$orig MAX:$max"
+       [[ $max -le $orig ]] && orig=$((max - 3))
+       echo "ORIG:$orig MAX:$max"
+
+       local final=$((orig + 1))
+
+       set_persistent_param_and_check client "$TEST" "$PARAM" $final
+       final=$((final + 1))
+       set_persistent_param_and_check client "$TEST" "$PARAM" $final
        umount_client $MOUNT || error "umount_client $MOUNT failed"
        mount_client $MOUNT || error "mount_client $MOUNT failed"
-       RESULT=$($LCTL get_param -n $TEST)
-       if [ $RESULT -ne $FINAL ]; then
-               error "New config not seen: wanted $FINAL got $RESULT"
+
+       local result=$($LCTL get_param -n $TEST)
+
+       if [ $result -ne $final ]; then
+               error "New config not seen: wanted $final got $result"
        else
-               echo "New config success: got $RESULT"
+               echo "New config success: got $result"
        fi
-       set_persistent_param_and_check client "$TEST" "$PARAM" $ORIG
+       set_persistent_param_and_check client "$TEST" "$PARAM" $orig
        cleanup || error "cleanup failed with rc $?"
 }
 run_test 28A "permanent parameter setting"
 
 test_28a() { # LU-4221
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.5.52) ]] ||
-               { skip "Need OST version at least 2.5.52" && return 0; }
-       [ "$(facet_fstype ost1)" = "zfs" ] &&
-               skip "LU-4221: no such proc params for ZFS OSTs" && return
+       [[ "$OST1_VERSION" -ge $(version_code 2.5.52) ]] ||
+               skip "Need OST version at least 2.5.52"
+       [ "$ost1_FSTYPE" = zfs ] &&
+               skip "LU-4221: no such proc params for ZFS OSTs"
 
        local name
        local param
@@ -1106,7 +1160,7 @@ test_28a() { # LU-4221
        local new
        local device="$FSNAME-OST0000"
 
-       setup
+       setup_noconfig
 
        # In this test we will set three kinds of proc parameters with
        # lctl set_param -P or lctl conf_param:
@@ -1142,8 +1196,8 @@ test_28a() { # LU-4221
 run_test 28a "set symlink parameters permanently with lctl"
 
 test_29() {
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >= 2 OSTs" && return
-        setup > /dev/null 2>&1
+       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >= 2 OSTs"
+       setup_noconfig > /dev/null 2>&1
        start_ost2 || error "Unable to start OST2"
        sleep 10
 
@@ -1153,10 +1207,10 @@ test_29() {
        # on the MDS servers which is tested with wait_osp_* below.
        # For ost_server_uuid that only exist on client so filtering
        # is safe.
-       local PROC_ACT="osc.$FSNAME-OST0001-osc-*.active"
-       local PROC_UUID="osc.$FSNAME-OST0001-osc-[!M]*.ost_server_uuid"
+       local PROC_ACT="os[cp].$FSNAME-OST0001-osc-[^M]*.active"
+       local PROC_UUID="os[cp].$FSNAME-OST0001-osc-[^M]*.ost_server_uuid"
 
-        ACTV=$($LCTL get_param -n $PROC_ACT)
+       ACTV=$($LCTL get_param -n $PROC_ACT)
        DEAC=$((1 - $ACTV))
        set_persistent_param_and_check client $PROC_ACT $PARAM $DEAC
        # also check ost_server_uuid status
@@ -1196,7 +1250,7 @@ test_29() {
 run_test 29 "permanently remove an OST"
 
 test_30a() {
-       setup
+       setup_noconfig
 
        echo Big config llog
        TEST="llite.$FSNAME-*.max_read_ahead_whole_mb"
@@ -1226,6 +1280,8 @@ test_30a() {
        mount_client $MOUNT || error "mount_client $MOUNT failed"
        FINAL=$($LCTL get_param -n $TEST)
        echo "deleted (default) value=$FINAL, orig=$ORIG"
+       ORIG=${ORIG%%.[0-9]*}
+       FINAL=${FINAL%%.[0-9]*}
        # assumes this parameter started at the default value
        [ "$FINAL" -eq "$ORIG" ] || fail "Deleted value=$FINAL, orig=$ORIG"
 
@@ -1234,7 +1290,7 @@ test_30a() {
 run_test 30a "Big config llog and permanent parameter deletion"
 
 test_30b() {
-       setup
+       setup_noconfig
 
        local orignids=$($LCTL get_param -n \
                osc.$FSNAME-OST0000-osc-[^M]*.import | grep failover_nids)
@@ -1321,7 +1377,6 @@ test_32newtarball() {
        local dst=.
        local src=/etc/rc.d
        local tmp=$TMP/t32_image_create
-       local server_version=$(lustre_version_code $SINGLEMDS)
        local remote_dir
        local striped_dir
        local pushd_dir
@@ -1352,7 +1407,7 @@ test_32newtarball() {
 
        setupall
 
-       [[ $server_version -ge $(version_code 2.3.50) ]] ||
+       [[ "$MDS1_VERSION" -ge $(version_code 2.3.50) ]] ||
                $LFS quotacheck -ug /mnt/$FSNAME
        $LFS setquota -u $T32_QID -b 0 -B $T32_BLIMIT -i 0 -I $T32_ILIMIT \
                /mnt/$FSNAME
@@ -1364,7 +1419,7 @@ test_32newtarball() {
                $LFS mkdir -i 1 $remote_dir
                tar cf - -C $tmp/src . | tar xf - -C $remote_dir
 
-               if [[ $server_version -ge $(version_code 2.7.0) ]]; then
+               if [[ "$MDS1_VERSION" -ge $(version_code 2.7.0) ]]; then
                        striped_dir=/mnt/$FSNAME/striped_dir_old
                        $LFS mkdir -i 1 -c 2 $striped_dir
                        tar cf - -C $tmp/src . | tar xf - -C $striped_dir
@@ -1380,7 +1435,7 @@ test_32newtarball() {
        pushd_dir=/mnt/$FSNAME
        if [[ $MDSCOUNT -ge 2 ]]; then
                pushd_dir=$remote_dir
-               if [[ $server_version -ge $(version_code 2.7.0) ]]; then
+               if [[ "$MDS1_VERSION" -ge $(version_code 2.7.0) ]]; then
                        pushd $striped_dir
                        ls -Rni --time-style=+%s >$tmp/img/list2
                        popd
@@ -1395,7 +1450,7 @@ test_32newtarball() {
        $LCTL get_param -n version | head -n 1 |
                sed -e 's/^lustre: *//' >$tmp/img/commit
 
-       [[ $server_version -ge $(version_code 2.3.50) ]] ||
+       [[ "$MDS1_VERSION" -ge $(version_code 2.3.50) ]] ||
                $LFS quotaon -ug /mnt/$FSNAME
        $LFS quota -u $T32_QID -v /mnt/$FSNAME
        $LFS quota -v -u $T32_QID /mnt/$FSNAME |
@@ -1409,6 +1464,16 @@ test_32newtarball() {
        echo $T32_BLIMIT > $tmp/img/blimit
        echo $T32_ILIMIT > $tmp/img/ilimit
 
+       $MULTIOP /mnt/$FSNAME/orph_file Ouw_c&
+       pid=$!
+       sync
+       stop_mdt_no_force 1
+       debugfs -R "ls /PENDING" ${MDSDEV1:-$MDSDEV}
+       cp ${MDSDEV1:-$MDSDEV} $tmp/img
+       start_mdt 1
+       kill -s USR1 $pid
+       wait $pid
+
        stopall
 
        pushd $tmp/src
@@ -1422,7 +1487,6 @@ test_32newtarball() {
        uname -r >$tmp/img/kernel
        uname -m >$tmp/img/arch
 
-       mv ${MDSDEV1:-$MDSDEV} $tmp/img
        for num in $(seq 2 $MDSCOUNT); do
                local devname=$(mdsdevname $num)
                local facet=mds$num
@@ -1436,7 +1500,7 @@ test_32newtarball() {
                          sed -e 's/\./_/g')    # E.g., "1.8.7" -> "1_8"
        dst=$(cd $dst; pwd)
        pushd $tmp/img
-       tar cjvf $dst/disk$version-$(facet_fstype $SINGLEMDS).tar.bz2 -S *
+       tar cjvf $dst/disk$version-"$mds1_FSTYPE".tar.bz2 -S *
        popd
 
        rm -r $tmp
@@ -1448,34 +1512,24 @@ test_32newtarball() {
 # variable "tarballs".
 #
 t32_check() {
+       [ "$CLIENTONLY" ] && skip "Client-only testing"
+
        local node=$(facet_active_host $SINGLEMDS)
        local r="do_node $node"
 
-       if [ "$CLIENTONLY" ]; then
-               skip "Client-only testing"
-               exit 0
-       fi
-
-       if ! $r which $TUNEFS; then
-               skip_env "tunefs.lustre required on $node"
-               exit 0
-       fi
+       ! $r which "$TUNEFS" && skip_env "tunefs.lustre required on $node"
 
-       local IMGTYPE=$(facet_fstype $SINGLEMDS)
+       local IMGTYPE="$mds1_FSTYPE"
 
        tarballs=$($r find $RLUSTRE/tests -maxdepth 1 \
                   -name \'disk*-$IMGTYPE.tar.bz2\')
 
-       if [ -z "$tarballs" ]; then
-               skip "No applicable tarballs found"
-               exit 0
-       fi
+       [ -z "$tarballs" ] && skip "No applicable tarballs found"
 }
 
 t32_test_cleanup() {
        local tmp=$TMP/t32
        local facet=$SINGLEMDS
-       local fstype=$(facet_fstype $facet)
        local rc=$?
 
        if $shall_cleanup_lustre; then
@@ -1493,7 +1547,7 @@ t32_test_cleanup() {
 
        $r rm -rf $tmp
        rm -rf $tmp
-       if [[ $fstype == zfs ]]; then
+       if [[ "$mds1_FSTYPE" == zfs ]]; then
                local poolname
                local poolname_list="t32fs-mdt1 t32fs-ost1"
 
@@ -1523,20 +1577,19 @@ t32_reload_modules() {
        local node=$1
        local all_removed=false
        local i=0
-       local fstype=$(facet_fstype $SINGLEMDS)
 
-       [ $fstype == "zfs" ] && do_rpc_nodes $node "service zed stop"
+       [ "$mds1_FSTYPE" == zfs ] && do_rpc_nodes $node "service zed stop"
 
        while ((i < 20)); do
                echo "Unloading modules on $node: Attempt $i"
-               do_rpc_nodes $node $LUSTRE_RMMOD $fstype &&
+               do_rpc_nodes $node $LUSTRE_RMMOD "$mds1_FSTYPE" &&
                        all_removed=true
                do_rpc_nodes $node check_mem_leak || return 1
                if $all_removed; then
                        do_rpc_nodes $node load_modules
                        return 0
                fi
-               if [ $fstype == "zfs" ]; then
+               if [ "$mds1_FSTYPE" == zfs ]; then
                        do_rpc_nodes $node "$ZPOOL status -v"
                fi
                sleep 5
@@ -1570,7 +1623,6 @@ t32_verify_quota() {
        local facet=$1
        local fsname=$2
        local mnt=$3
-       local fstype=$(facet_fstype $SINGLEMDS)
        local qval
        local cmd
 
@@ -1578,7 +1630,7 @@ t32_verify_quota() {
        # lustre will estimate the object count usage. This fails quota
        # verification in 32b. The object quota usage should be accurate after
        # zfs-0.7.0 is released.
-       [ $fstype == "zfs" ] && {
+       [ "$mds1_FSTYPE" == zfs ] && {
                local zfs_version=$(do_facet $facet cat /sys/module/zfs/version)
 
                [ $(version_code $zfs_version) -lt $(version_code 0.7.0) ] && {
@@ -1626,11 +1678,11 @@ t32_verify_quota() {
        }
 
        set_persistent_param_and_check $facet \
-               "osd-$fstype.$fsname-MDT0000.quota_slave.enabled" \
+               "osd-$mds1_FSTYPE.$fsname-MDT0000.quota_slave.enabled" \
                "$fsname.quota.mdt" ug
 
        set_persistent_param_and_check $facet \
-               "osd-$fstype.$fsname-OST0000.quota_slave.enabled" \
+               "osd-$mds1_FSTYPE.$fsname-OST0000.quota_slave.enabled" \
                "$fsname.quota.ost" ug
 
        chmod 0777 $mnt
@@ -1656,6 +1708,7 @@ t32_test() {
        local writeconf=$2
        local dne_upgrade=${dne_upgrade:-"no"}
        local dom_upgrade=${dom_upgrade:-"no"}
+       local project_upgrade=${project_upgrade:-"no"}
        local ff_convert=${ff_convert:-"no"}
        local shall_cleanup_mdt=false
        local shall_cleanup_mdt1=false
@@ -1679,7 +1732,6 @@ t32_test() {
        local nrpcs_orig
        local nrpcs
        local list
-       local fstype=$(facet_fstype $SINGLEMDS)
        local mdt_dev=$tmp/mdt
        local mdt2_dev=$tmp/mdt2
        local ost_dev=$tmp/ost
@@ -1723,12 +1775,12 @@ t32_test() {
        # - ost device img version < 2.3.64
        # - ost server version >= 2.5
        [ $(version_code $img_commit) -ge $(version_code 2.3.64) -o \
-               $(lustre_version_code ost1) -lt $(version_code 2.5.0) ] &&
+               "$OST1_VERSION" -lt $(version_code 2.5.0) ] &&
                        ff_convert="no"
 
        ! $r test -f $mdt2_dev || mdt2_is_available=true
 
-       if [[ $fstype == zfs ]]; then
+       if [[ "$mds1_FSTYPE" == zfs ]]; then
                # import pool first
                local poolname
                local poolname_list="t32fs-mdt1 t32fs-ost1"
@@ -1753,6 +1805,16 @@ t32_test() {
                                error_noexit "import zfs pool failed"
                                return 1
                        }
+       elif [ "$project_upgrade" != "no" ]; then
+               ! $r tune2fs -O project $mdt_dev &&
+                       error_noexit "enable project on mdt0 failed" &&
+                               return 1
+               $mdt2_is_available && ! $r tune2fs "-O project" $mdt2_dev &&
+                       error_noexit "enable project on mdt failed" &&
+                               return 1
+               ! $r tune2fs -O project $ost_dev &&
+                       error_noexit "enable project on mdt failed" &&
+                               return 1
        fi
 
        $r $LCTL set_param debug="$PTLDEBUG"
@@ -1773,7 +1835,7 @@ t32_test() {
 
        if [ "$writeconf" ]; then
                mopts=writeconf
-               if [ $fstype == "ldiskfs" ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mopts="loop,$mopts"
                        $r $TUNEFS --quota $mdt_dev || {
                                $r losetup -a
@@ -1790,15 +1852,15 @@ t32_test() {
                fi
        else
                if [ -n "$($LCTL list_nids | grep -v '\(tcp\|lo\)[[:digit:]]*$')" ]; then
-                       [[ $(lustre_version_code mgs) -ge $(version_code 2.3.59) ]] ||
-                       { skip "LU-2200: Cannot run over Inifiniband w/o lctl replace_nids "
-                               "(Need MGS version at least 2.3.59)"; return 0; }
+                       [[ "$MGS_VERSION" -ge $(version_code 2.3.59) ]] ||
+                       skip "LU-2200: Cannot run over IB w/o lctl replace_nids "
+                               "(Need MGS version at least 2.3.59)"
 
                        local osthost=$(facet_active_host ost1)
                        local ostnid=$(do_node $osthost $LCTL list_nids | head -1)
 
                        mopts=nosvc
-                       if [ $fstype == "ldiskfs" ]; then
+                       if [ "$mds1_FSTYPE" == ldiskfs ]; then
                                mopts="loop,$mopts"
                        fi
                        $r $MOUNT_CMD -o $mopts $mdt_dev $tmp/mnt/mdt
@@ -1808,7 +1870,7 @@ t32_test() {
                fi
 
                mopts=exclude=$fsname-OST0000
-               if [ $fstype == "ldiskfs" ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mopts="loop,$mopts"
                fi
        fi
@@ -1840,17 +1902,18 @@ t32_test() {
                local fs2mdsvdev=$(mdsvdevname 1_2)
 
                echo "mkfs new MDT on ${fs2mdsdev}...."
-               if [ $(facet_fstype mds1) == ldiskfs ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mkfsoptions="--mkfsoptions=\\\"-J size=8\\\""
                fi
 
-               add $SINGLEMDS $(mkfs_opts mds2 $fs2mdsdev $fsname) --reformat \
-                          $mkfsoptions $fs2mdsdev $fs2mdsvdev > /dev/null || {
+               add $SINGLEMDS $(mds2failover_HOST="" \
+                       mkfs_opts mds2 $fs2mdsdev $fsname) --reformat \
+                       $mkfsoptions $fs2mdsdev $fs2mdsvdev > /dev/null || {
                        error_noexit "Mkfs new MDT failed"
                        return 1
                }
 
-               [[ $(facet_fstype mds1) != zfs ]] || import_zpool mds1
+               [[ "$mds1_FSTYPE" != zfs ]] || import_zpool mds1
 
                $r $TUNEFS --dryrun $fs2mdsdev || {
                        error_noexit "tunefs.lustre before mounting the MDT"
@@ -1884,7 +1947,7 @@ t32_test() {
        }
        if [ "$writeconf" ]; then
                mopts=mgsnode=$nid,$writeconf
-               if [ $fstype == "ldiskfs" ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mopts="loop,$mopts"
                        $r $TUNEFS --quota $ost_dev || {
                                $r losetup -a
@@ -1894,7 +1957,7 @@ t32_test() {
                fi
        else
                mopts=mgsnode=$nid
-               if [ $fstype == "ldiskfs" ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mopts="loop,$mopts"
                fi
        fi
@@ -1973,7 +2036,7 @@ t32_test() {
                return 1
        }
 
-       if [ "$ff_convert" != "no" -a $(facet_fstype ost1) == "ldiskfs" ]; then
+       if [ "$ff_convert" != "no" -a "$ost1_FSTYPE" == ldiskfs ]; then
                $r $LCTL lfsck_start -M $fsname-OST0000 || {
                        error_noexit "Start OI scrub on OST0"
                        return 1
@@ -2037,11 +2100,10 @@ t32_test() {
                shall_cleanup_lustre=true
                $r $LCTL set_param debug="$PTLDEBUG"
 
-               # Leave re-enabling this to a separate patch for LU-11558
-               # t32_verify_quota $SINGLEMDS $fsname $tmp/mnt/lustre || {
-               #       error_noexit "verify quota failed"
-               #       return 1
-               #}
+               t32_verify_quota $SINGLEMDS $fsname $tmp/mnt/lustre || {
+                       error_noexit "verify quota failed"
+                       return 1
+               }
 
                if $r test -f $tmp/list; then
                        #
@@ -2132,9 +2194,9 @@ t32_test() {
                        $LFS setdirstripe -D -c2 $tmp/mnt/lustre/striped_dir
 
                        pushd $tmp/mnt/lustre
-                       tar -cf - . --exclude=./striped_dir \
-                                   --exclude=./striped_dir_old \
-                                   --exclude=./remote_dir |
+                       tar -c --exclude=./striped_dir \
+                               --exclude=./striped_dir_old \
+                               --exclude=./remote_dir -f - .|
                                tar -xvf - -C striped_dir 1>/dev/null || {
                                error_noexit "cp to striped dir failed"
                                return 1
@@ -2253,7 +2315,7 @@ t32_test() {
                fi
 
                # migrate files/dirs to remote MDT, then move them back
-               if [ $(lustre_version_code mds1) -ge $(version_code 2.7.50) -a \
+               if [ "$MDS1_VERSION" -ge $(version_code 2.7.50) -a \
                     $dne_upgrade != "no" ]; then
                        $r $LCTL set_param -n   \
                                mdt.${fsname}*.enable_remote_dir=1 2>/dev/null
@@ -2313,12 +2375,32 @@ t32_test() {
                }
                shall_cleanup_lustre=false
        else
+               $MOUNT_CMD $nid:/$fsname $tmp/mnt/lustre || {
+                       error_noexit "Mounting the client"
+                       return 1
+               }
+
+               if [ "$mds1_FSTYPE" == ldiskfs -a \
+                   "$project_upgrade" != "no" ]; then
+                       ! $LFS project -d -p 1 $tmp/mnt/lustre/* &&
+                               error_noexit "set project failed" &&
+                                       return 1
+               fi
+
+               [[ $(do_facet mds1 pgrep orph_.*-MDD | wc -l) == 0 ]] ||
+                       error "MDD orphan cleanup thread not quit"
+
+               umount $tmp/mnt/lustre || {
+                       error_noexit "Unmounting the client"
+                       return 1
+               }
+
                if [[ "$dne_upgrade" != "no" ]] || $mdt2_is_available; then
                        $r $UMOUNT $tmp/mnt/mdt1 || {
                                error_noexit "Unmounting the MDT2"
                                return 1
                        }
-                       if [[ $fstype == zfs ]]; then
+                       if [[ "$mds1_FSTYPE" == zfs ]]; then
                            $r "$ZPOOL export t32fs-mdt2"
                        fi
                        shall_cleanup_mdt1=false
@@ -2328,7 +2410,7 @@ t32_test() {
                        error_noexit "Unmounting the MDT"
                        return 1
                }
-               if [[ $fstype == zfs ]]; then
+               if [[ "$mds1_FSTYPE" == zfs ]]; then
                    $r "$ZPOOL export t32fs-mdt1"
                fi
                shall_cleanup_mdt=false
@@ -2337,7 +2419,7 @@ t32_test() {
                        error_noexit "Unmounting the OST"
                        return 1
                }
-               if [[ $fstype == zfs ]]; then
+               if [[ "$mds1_FSTYPE" == zfs ]]; then
                    $r "$ZPOOL export t32fs-ost1"
                fi
                shall_cleanup_ost=false
@@ -2347,7 +2429,7 @@ t32_test() {
                        return 1
                }
 
-               if [[ $fstype == zfs ]]; then
+               if [[ "$mds1_FSTYPE" == zfs ]]; then
                        local poolname=t32fs-mdt1
                        $r "modprobe zfs;
                            $ZPOOL list -H $poolname >/dev/null 2>&1 ||
@@ -2366,7 +2448,7 @@ t32_test() {
                }
 
                mopts=exclude=$fsname-OST0000
-               if [ $fstype == "ldiskfs" ]; then
+               if [ "$mds1_FSTYPE" == ldiskfs ]; then
                        mopts="loop,$mopts"
                fi
                $r $MOUNT_CMD -o $mopts $mdt_dev $tmp/mnt/mdt || {
@@ -2384,6 +2466,7 @@ test_32a() {
 
        t32_check
        for tarball in $tarballs; do
+               banner "testing $tarball upgrade"
                t32_test $tarball || let "rc += $?"
        done
        return $rc
@@ -2397,6 +2480,7 @@ test_32b() {
 
        t32_check
        for tarball in $tarballs; do
+               banner "testing $tarball upgrade with writeconf"
                t32_test $tarball writeconf || let "rc += $?"
        done
        return $rc
@@ -2408,12 +2492,13 @@ test_32c() {
        local tarball
        local rc=0
 
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        t32_check
        for tarball in $tarballs; do
                # Do not support 1_8 and 2_1 direct upgrade to DNE2 anymore */
-               echo $tarball | grep "1_8" && continue
-               echo $tarball | grep "2_1" && continue
+               [[ "$tarball" =~ "1_8" ]] && echo "skip $tarball" && continue
+               [[ "$tarball" =~ "2_1" ]] && echo "skip $tarball" && continue
+               banner "testing $tarball upgrade with DNE"
                load_modules
                dne_upgrade=yes t32_test $tarball writeconf || rc=$?
        done
@@ -2428,15 +2513,21 @@ test_32d() {
 
        t32_check
        for tarball in $tarballs; do
-               ff_convert=yes t32_test $tarball || rc=$?
+               banner "testing $tarball upgrade with ff convert and project upgrade"
+               project_upgrade="no"
+               [[ "$MDS1_VERSION" -ge $(version_code 2.13.54) ]] &&
+                       [[ "$tarball" =~ "disk2_4-ldiskfs" ]] &&
+                               project_upgrade="yes"
+               project_upgrade=$project_upgrade ff_convert=yes t32_test \
+                       $tarball || rc=$?
        done
        return $rc
 }
-run_test 32d "convert ff test"
+run_test 32d "convert ff and project quota upgrade test"
 
 test_32e() {
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.10.56) ]] ||
-               { skip "Need MDS version at least 2.10.56"; return 0; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.10.56) ]] ||
+               skip "Need MDS version at least 2.10.56"
 
        local tarballs
        local tarball
@@ -2444,8 +2535,9 @@ test_32e() {
 
        t32_check
        for tarball in $tarballs; do
-               echo $tarball | grep "2_9" || continue
+               [[ "$tarball" =~ "2_9" ]] || continue
                #load_modules
+               banner "testing $tarball upgrade with DoM"
                dom_upgrade=yes t32_test $tarball writeconf || let "rc += $?"
        done
        return $rc
@@ -2463,8 +2555,7 @@ test_33a() { # bug 12333, was test_33
                local dev=${SINGLEMDS}_dev
                local MDSDEV=${!dev}
                is_blkdev $SINGLEMDS $MDSDEV &&
-                       skip_env "mixed loopback and real device not working" &&
-                       return
+                       skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -2472,7 +2563,7 @@ test_33a() { # bug 12333, was test_33
        local fs2mdsvdev=$(mdsvdevname 1_2)
        local fs2ostvdev=$(ostvdevname 1_2)
 
-       if [ $(facet_fstype mds1) == ldiskfs ]; then
+       if [ "$mds1_FSTYPE" == ldiskfs ]; then
                mkfsoptions="--mkfsoptions=\\\"-J size=8\\\"" # See bug 17931.
        fi
 
@@ -2623,7 +2714,7 @@ test_35a() { # bug 12459
 run_test 35a "Reconnect to the last active server first"
 
 test_35b() { # bug 18674
-       remote_mds || { skip "local MDS" && return 0; }
+       remote_mds || skip "local MDS"
        setup
 
        debugsave
@@ -2713,10 +2804,10 @@ test_35b() { # bug 18674
 run_test 35b "Continue reconnection retries, if the active server is busy"
 
 test_36() { # 12743
-       [ $OSTCOUNT -lt 2 ] && skip_env "needs >= 2 OSTs" && return
+       [ $OSTCOUNT -lt 2 ] && skip_env "needs >= 2 OSTs"
 
        [ "$ost_HOST" = "`hostname`" -o "$ost1_HOST" = "`hostname`" ] ||
-               { skip "remote OST" && return 0; }
+               skip "remote OST"
 
        local rc=0
        local FSNAME2=test1234
@@ -2726,7 +2817,7 @@ test_36() { # 12743
 
        if [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" -o -z "$fs3ost_DEV" ]; then
                is_blkdev $SINGLEMDS $MDSDEV &&
-               skip_env "mixed loopback and real device not working" && return
+                       skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -2736,6 +2827,7 @@ test_36() { # 12743
        local fs2ostvdev=$(ostvdevname 1_2)
        local fs3ostvdev=$(ostvdevname 2_2)
 
+       load_modules
        add fs2mds $(mkfs_opts mds1 ${fs2mdsdev}) --mgs --fsname=${FSNAME2} \
                --reformat $fs2mdsdev $fs2mdsvdev || exit 10
        # XXX after we support non 4K disk blocksize in ldiskfs, specify a
@@ -2801,9 +2893,8 @@ test_37() {
        local opts=$MDS_MOUNT_OPTS
        local rc=0
 
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        echo "MDS :     $mdsdev"
@@ -2817,6 +2908,8 @@ test_37() {
        if ! do_facet $SINGLEMDS test -b $mdsdev; then
                opts=$(csa_add "$opts" -o loop)
        fi
+
+       load_modules
        mount_op=$(do_facet $SINGLEMDS mount -v -t lustre $opts \
                $mdsdev_sym $mntpt 2>&1)
        rc=${PIPESTATUS[0]}
@@ -2834,7 +2927,6 @@ test_37() {
 run_test 37 "verify set tunables works for symlink device"
 
 test_38() { # bug 14222
-       local fstype=$(facet_fstype $SINGLEMDS)
        local mntpt=$(facet_mntpt $SINGLEMDS)
 
        setup
@@ -2929,14 +3021,12 @@ test_40() { # bug 15759
 run_test 40 "race during service thread startup"
 
 test_41a() { #bug 14134
-       if [ $(facet_fstype $SINGLEMDS) == ldiskfs ] &&
+       if [ "$mds1_FSTYPE" == ldiskfs ] &&
           ! do_facet $SINGLEMDS test -b $(mdsdevname 1); then
                skip "Loop devices does not work with nosvc option"
-               return
        fi
 
-       combined_mgs_mds ||
-               { skip "needs combined MGT and MDT device" && return 0; }
+       combined_mgs_mds || skip "needs combined MGT and MDT device"
 
        start_mdt 1 -o nosvc -n
        if [ $MDSCOUNT -ge 2 ]; then
@@ -2960,13 +3050,12 @@ test_41a() { #bug 14134
 run_test 41a "mount mds with --nosvc and --nomgs"
 
 test_41b() {
-       if [ $(facet_fstype $SINGLEMDS) == ldiskfs ] &&
+       if [ "$mds1_FSTYPE" == ldiskfs ] &&
           ! do_facet $SINGLEMDS test -b $(mdsdevname 1); then
                skip "Loop devices does not work with nosvc option"
-               return
        fi
 
-       ! combined_mgs_mds && skip "needs combined mgs device" && return 0
+       ! combined_mgs_mds && skip "needs combined mgs device"
 
        stopall
        reformat
@@ -2994,15 +3083,14 @@ test_41b() {
 run_test 41b "mount mds with --nosvc and --nomgs on first mount"
 
 test_41c() {
-       local server_version=$(lustre_version_code $SINGLEMDS)
        local oss_list=$(comma_list $(osts_nodes))
 
-       [[ $server_version -ge $(version_code 2.6.52) ]] ||
-       [[ $server_version -ge $(version_code 2.5.26) &&
-          $server_version -lt $(version_code 2.5.50) ]] ||
-       [[ $server_version -ge $(version_code 2.5.4) &&
-          $server_version -lt $(version_code 2.5.11) ]] ||
-               { skip "Need MDS version 2.5.4+ or 2.5.26+ or 2.6.52+"; return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.6.52) ]] ||
+       [[ "$MDS1_VERSION" -ge $(version_code 2.5.26) &&
+          "$MDS1_VERSION" -lt $(version_code 2.5.50) ]] ||
+       [[ "$MDS1_VERSION" -ge $(version_code 2.5.4) &&
+          "$MDS1_VERSION" -lt $(version_code 2.5.11) ]] ||
+               skip "Need MDS version 2.5.4+ or 2.5.26+ or 2.6.52+"
 
        # ensure mds1 ost1 have been created even if running sub-test standalone
        cleanup
@@ -3021,14 +3109,13 @@ test_41c() {
 
        local mds1dev=$(mdsdevname 1)
        local mds1mnt=$(facet_mntpt mds1)
-       local mds1fstype=$(facet_fstype mds1)
        local mds1opts=$MDS_MOUNT_OPTS
 
-       if [ $mds1fstype == ldiskfs ] &&
+       if [ "$mds1_FSTYPE" == ldiskfs ] &&
           ! do_facet mds1 test -b $mds1dev; then
                mds1opts=$(csa_add "$mds1opts" -o loop)
        fi
-       if [[ $mds1fstype == zfs ]]; then
+       if [[ "$mds1_FSTYPE" == zfs ]]; then
                import_zpool mds1 || return ${PIPESTATUS[0]}
        fi
 
@@ -3067,14 +3154,13 @@ test_41c() {
 
        local ost1dev=$(ostdevname 1)
        local ost1mnt=$(facet_mntpt ost1)
-       local ost1fstype=$(facet_fstype ost1)
        local ost1opts=$OST_MOUNT_OPTS
 
-       if [ $ost1fstype == ldiskfs ] &&
+       if [ "$ost1_FSTYPE" == ldiskfs ] &&
           ! do_facet ost1 test -b $ost1dev; then
                ost1opts=$(csa_add "$ost1opts" -o loop)
        fi
-       if [[ $ost1fstype == zfs ]]; then
+       if [[ "$ost1_FSTYPE" == zfs ]]; then
                import_zpool ost1 || return ${PIPESTATUS[0]}
        fi
 
@@ -3165,14 +3251,13 @@ test_42() { #bug 14693
 run_test 42 "allow client/server mount/unmount with invalid config param"
 
 test_43a() {
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.5.58) ]] ||
-               { skip "Need MDS version at least 2.5.58" && return 0; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.5.58) ]] ||
+               skip "Need MDS version at least 2.5.58"
        [ $UID -ne 0 -o $RUNAS_ID -eq 0 ] && skip_env "run as root"
 
        ID1=${ID1:-501}
        USER1=$(getent passwd | grep :$ID1:$ID1: | cut -d: -f1)
-       [ -z "$USER1" ] && skip_env "missing user with uid=$ID1 gid=$ID1" &&
-               return
+       [ -z "$USER1" ] && skip_env "missing user with uid=$ID1 gid=$ID1"
 
        setup
        chmod ugo+x $DIR || error "chmod 0 failed"
@@ -3203,7 +3288,7 @@ test_43a() {
        echo "222" > $DIR/$tfile-rootfile || error "write 2 failed"
        chmod go-rw $DIR/$tfile-rootfile  || error "chmod 2 faield"
 
-       mkdir $DIR/$tdir-rootdir || error "mkdir failed"
+       mkdir_on_mdt0 $DIR/$tdir-rootdir || error "mkdir failed"
        chmod go-rwx $DIR/$tdir-rootdir || error "chmod 3 failed"
        touch $DIR/$tdir-rootdir/tfile-1 || error "touch failed"
 
@@ -3317,12 +3402,12 @@ test_43a() {
 run_test 43a "check root_squash and nosquash_nids"
 
 test_43b() { # LU-5690
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.7.62) ]] ||
-               { skip "Need MGS version 2.7.62+"; return; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.7.62) ]] ||
+               skip "Need MGS version 2.7.62+"
 
        if [[ -z "$fs2mds_DEV" ]]; then
                is_blkdev $SINGLEMDS $(mdsdevname ${SINGLEMDS//mds/}) &&
-               skip_env "mixed loopback and real device not working" && return
+               skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -3514,16 +3599,13 @@ test_48() { # bz-17636 LU-7473
        # LOV EA, and so on. These EA will use some EA space that is shared by
        # ACL entries. So here we only check some reasonable ACL entries count,
        # instead of the max number that is calculated from the max_ea_size.
-       if [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.8.57) ];
-       then
+       if [ "$MDS1_VERSION" -lt $(version_code 2.8.57) ]; then
                count=28        # hard coded of RPC protocol
-       elif [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
-               count=4000      # max_num 4091 max_ea_size = 32768
-       elif ! large_xattr_enabled; then
-               count=450       # max_num 497 max_ea_size = 4012
+       elif large_xattr_enabled; then
+               count=4500      # max_num 8187 max_ea_size = 65452
+                               # not create too many (4500) to save test time
        else
-               count=4500      # max_num 8187 max_ea_size = 1048492
-                               # not create too much (>5000) to save test time
+               count=450       # max_num 497 max_ea_size = 4012
        fi
 
        echo "It is expected to hold at least $count ACL entries"
@@ -3791,10 +3873,10 @@ test_50f() {
 run_test 50f "normal statfs one server in down"
 
 test_50g() {
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >=2 OSTs" && return
+       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >=2 OSTs"
        setup
        start_ost2 || error "Unable to start OST2"
-        wait_osc_import_state mds ost2 FULL
+       wait_osc_import_state mds ost2 FULL
        wait_osc_import_ready client ost2
 
        if [[ $PERM_CMD == *"set_param -P"* ]]; then
@@ -3825,9 +3907,9 @@ run_test 50g "deactivated OST should not cause panic"
 # LU-642
 test_50h() {
        # prepare MDT/OST, make OSC inactive for OST1
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >=2 OSTs" && return
+       [ "$OSTCOUNT" -lt "2" ] && skip_env "needs >=2 OSTs"
 
-       [ $(facet_fstype ost1) == zfs ] && import_zpool ost1
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
        do_facet ost1 "$TUNEFS --param osc.active=0 `ostdevname 1`" ||
                error "tunefs OST1 failed"
        start_mds  || error "Unable to start MDT"
@@ -3863,7 +3945,7 @@ run_test 50h "LU-642: activate deactivated OST"
 
 test_50i() {
        # prepare MDT/OST, make OSC inactive for OST1
-       [ "$MDSCOUNT" -lt "2" ] && skip_env "needs >= 2 MDTs" && return
+       [ "$MDSCOUNT" -lt "2" ] && skip "needs >= 2 MDTs"
 
        load_modules
        [ $(facet_fstype mds2) == zfs ] && import_zpool mds2
@@ -3874,7 +3956,7 @@ test_50i() {
        start_ost2 || error "Unable to start OST2"
        mount_client $MOUNT || error "client start failed"
 
-       mkdir $DIR/$tdir || error "mkdir $DIR/$tdir failed"
+       mkdir_on_mdt0 $DIR/$tdir || error "mkdir $DIR/$tdir failed"
 
        if [[ $PERM_CMD == *"set_param -P"* ]]; then
                $PERM_CMD mdc.${FSNAME}-MDT0001-mdc-*.active=0 &&
@@ -3890,7 +3972,7 @@ test_50i() {
                "${FSNAME}-MDT0001.mdc.active" 1
 
        wait_clients_import_state ${CLIENTS:-$HOSTNAME} mds2 FULL
-       if [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.7.60) ]
+       if [ "$MDS1_VERSION" -ge $(version_code 2.7.60) ]
        then
                wait_dne_interconnect
        fi
@@ -3999,9 +4081,8 @@ diff_files_xattrs()
 }
 
 test_52() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        start_mds || error "Unable to start MDS"
@@ -4049,7 +4130,7 @@ test_52() {
        if ! do_node $ost1node test -b $ost1_dev; then
                loop="-o loop"
        fi
-       do_node $ost1node mount -t $(facet_fstype ost1) $loop $ost1_dev \
+       do_node $ost1node mount -t "$ost1_FSTYPE" $loop $ost1_dev \
                $ost1mnt ||
                error "Unable to mount ost1 as ldiskfs"
 
@@ -4141,8 +4222,7 @@ thread_sanity() {
        fi
 
        [ $tmin -eq $tmax -a $tmin -eq $tstarted ] &&
-               skip_env "module parameter forced $facet thread count" &&
-               tmin=3 && tmax=$((3 * tmax))
+               skip_env "module parameter forced $facet thread count"
 
        # Check that we can change min/max
        do_facet $facet "$LCTL set_param \
@@ -4224,9 +4304,8 @@ test_53b() {
 run_test 53b "check MDS thread count params"
 
 test_54a() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        do_rpc_nodes $(facet_host ost1) run_llverdev $(ostdevname 1) -p ||
@@ -4236,9 +4315,8 @@ test_54a() {
 run_test 54a "test llverdev and partial verify of device"
 
 test_54b() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        setup
@@ -4254,9 +4332,8 @@ lov_objid_size()
 }
 
 test_55() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        local mdsdev=$(mdsdevname 1)
@@ -4288,12 +4365,11 @@ test_55() {
                stopall
        done
 
-       reformat
+       reformat_and_config
 }
 run_test 55 "check lov_objid size"
 
 test_56a() {
-       local server_version=$(lustre_version_code $SINGLEMDS)
        local mds_journal_size_orig=$MDSJOURNALSIZE
        local n
 
@@ -4312,9 +4388,9 @@ test_56a() {
        echo ok
        $LFS osts
 
-       if [[ $server_version -ge $(version_code 2.6.54) ]] ||
-          [[ $server_version -ge $(version_code 2.5.4) &&
-             $server_version -lt $(version_code 2.5.11) ]]; then
+       if [[ "$MDS1_VERSION" -ge $(version_code 2.6.54) ]] ||
+          [[ "$MDS1_VERSION" -ge $(version_code 2.5.4) &&
+             "$MDS1_VERSION" -lt $(version_code 2.5.11) ]]; then
                wait_osc_import_state mds ost1 FULL
                wait_osc_import_state mds ost2 FULL
                $LFS setstripe --stripe-count=-1 $DIR/$tfile ||
@@ -4326,7 +4402,7 @@ test_56a() {
 
        stopall
        MDSJOURNALSIZE=$mds_journal_size_orig
-       reformat
+       reformat_and_config
 }
 run_test 56a "check big OST indexes and out-of-index-order start"
 
@@ -4338,11 +4414,11 @@ cleanup_56b() {
        stop mds2
        stop mds3
        stopall
-       reformat
+       reformat_and_config
 }
 
 test_56b() {
-       [ $MDSCOUNT -lt 3 ] && skip "needs >= 3 MDTs" && return
+       [ $MDSCOUNT -lt 3 ] && skip "needs >= 3 MDTs"
 
        trap cleanup_56b EXIT RETURN ERR
        stopall
@@ -4432,12 +4508,12 @@ test_57a() { # bug 22656
        local NID=$(do_facet ost1 "$LCTL get_param nis" |
                    tail -1 | awk '{print $1}')
        writeconf_or_reformat
-       [ $(facet_fstype ost1) == zfs ] && import_zpool ost1
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
        do_facet ost1 "$TUNEFS --failnode=$NID `ostdevname 1`" ||
                error "tunefs failed"
        start_mgsmds
        start_ost && error "OST registration from failnode should fail"
-       reformat
+       cleanup
 }
 run_test 57a "initial registration from failnode should fail (should return errs)"
 
@@ -4446,12 +4522,12 @@ test_57b() {
        local NID=$(do_facet ost1 "$LCTL get_param nis" |
                    tail -1 | awk '{print $1}')
        writeconf_or_reformat
-       [ $(facet_fstype ost1) == zfs ] && import_zpool ost1
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
        do_facet ost1 "$TUNEFS --servicenode=$NID `ostdevname 1`" ||
                error "tunefs failed"
        start_mgsmds
        start_ost || error "OST registration from servicenode should not fail"
-       reformat
+       cleanup
 }
 run_test 57b "initial registration from servicenode should not fail"
 
@@ -4479,7 +4555,7 @@ test_58() { # bug 22658
        # restart MDS with missing llog files
        start_mds || error "unable to start MDS"
        do_facet $SINGLEMDS "$LCTL set_param fail_loc=0"
-       reformat
+       cleanup
 }
 run_test 58 "missing llog files must not prevent MDT from mounting"
 
@@ -4517,13 +4593,12 @@ test_59() {
 run_test 59 "writeconf mount option"
 
 test_60() { # LU-471
-       local num
-
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
+       local num
+
        for num in $(seq $MDSCOUNT); do
                add mds${num} $(mkfs_opts mds${num} $(mdsdevname $num)) \
                        --mkfsoptions='\" -E stride=64 -O ^uninit_bg\"' \
@@ -4540,17 +4615,18 @@ test_60() { # LU-471
        echo $dump | grep uninit_bg > /dev/null && error "uninit_bg is set"
        # we set stride extended options
        echo $dump | grep stride > /dev/null || error "stride is not set"
-       reformat
+       stop_mds
+       reformat_and_config
 }
 run_test 60 "check mkfs.lustre --mkfsoptions -E -O options setting"
 
 test_61() { # LU-80
-       local lxattr=false
+       local lxattr=$(large_xattr_enabled)
 
-       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.1.53) ] ||
-               { skip "Need MDS version at least 2.1.53"; return 0; }
+       [ "$MDS1_VERSION" -ge $(version_code 2.1.53) ] ||
+               skip "Need MDS version at least 2.1.53"
 
-       if [ $(facet_fstype $SINGLEMDS) == ldiskfs ] &&
+       if [ "$mds1_FSTYPE" == ldiskfs ] &&
             ! large_xattr_enabled; then
                lxattr=true
 
@@ -4561,8 +4637,7 @@ test_61() { # LU-80
                done
        fi
 
-       combined_mgs_mds || stop_mgs || error "stopping MGS service failed"
-       setup_noconfig || error "setting up the filesystem failed"
+       setup || error "setting up the filesystem failed"
        client_up || error "starting client failed"
 
        local file=$DIR/$tfile
@@ -4572,7 +4647,7 @@ test_61() { # LU-80
        local small_value="bar"
 
        local name="trusted.big"
-       log "save large xattr $name on $file"
+       log "save large xattr of $(max_xattr_size) bytes on $name on $file"
        setfattr -n $name -v $large_value $file ||
                error "saving $name on $file failed"
 
@@ -4605,7 +4680,7 @@ test_61() { # LU-80
        log "remove large xattr $name from $file"
        setfattr -x $name $file || error "removing $name from $file failed"
 
-       if $lxattr; then
+       if $lxattr && [ "$mds1_FSTYPE" == ldiskfs ]; then
                stopall || error "stopping for e2fsck run"
                for num in $(seq $MDSCOUNT); do
                        run_e2fsck $(facet_active_host mds$num) \
@@ -4617,23 +4692,21 @@ test_61() { # LU-80
 
        # need to delete this file to avoid problems in other tests
        rm -f $file
-       stopall || error "stopping systems failed"
+       cleanup || error "stopping systems failed"
 }
 run_test 61 "large xattr"
 
 test_62() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
+       [[ "$MDS1_VERSION" -ge $(version_code 2.2.51) ]] ||
+               skip "Need MDS version at least 2.2.51"
 
        # MRP-118
        local mdsdev=$(mdsdevname 1)
        local ostdev=$(ostdevname 1)
 
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.51) ]] ||
-               { skip "Need MDS version at least 2.2.51"; return 0; }
-
        echo "disable journal for mds"
        do_facet mds1 $TUNE2FS -O ^has_journal $mdsdev || error "tune2fs failed"
        start_mds && error "MDT start should fail"
@@ -4646,9 +4719,8 @@ test_62() {
 run_test 62 "start with disabled journal"
 
 test_63() {
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        do_rpc_nodes $(facet_active_host $SINGLEMDS) load_module ldiskfs
@@ -4656,7 +4728,10 @@ test_63() {
                           awk '/ldiskfs_inode_cache/ { print $5 / $6 }')
        if [ -z "$inode_slab" ]; then
                skip "ldiskfs module has not been loaded"
-               return
+       fi
+
+       if grep -q "CONFIG_DEBUG_LOCK_ALLOC=y" /boot/config-$(uname -r); then
+               skip "test is not compatible with CONFIG_DEBUG_LOCK_ALLOC=y"
        fi
 
        echo "$inode_slab ldiskfs inodes per page"
@@ -4665,7 +4740,7 @@ test_63() {
        # If kmalloc-128 is also 1 per page - this is a debug kernel
        # and so this is not an error.
        local kmalloc128=$(do_facet $SINGLEMDS "cat /proc/slabinfo" |
-                          awk '/^(kmalloc|size)-128 / { print $5 / $6 }')
+                          awk '/^(dma-kmalloc|size)-128 / { print $5 / $6 }')
        # 32 128-byte chunks in 4k
        [ "${kmalloc128%.*}" -lt "32" ] ||
                error "ldiskfs inode too big, only $inode_slab objs/page, " \
@@ -4690,8 +4765,8 @@ run_test 64 "check lfs df --lazy "
 
 test_65() { # LU-2237
        # Currently, the test is only valid for ldiskfs backend
-       [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
-               skip "ldiskfs only test" && return
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
+               skip "ldiskfs only test"
 
        local devname=$(mdsdevname ${SINGLEMDS//mds/})
        local brpt=$(facet_mntpt brpt)
@@ -4715,7 +4790,7 @@ test_65() { # LU-2237
        # remove the "last_rcvd" file
        do_facet $SINGLEMDS "mkdir -p $brpt"
        do_facet $SINGLEMDS \
-               "mount -t $(facet_fstype $SINGLEMDS) $opts $devname $brpt"
+               "mount -t $mds1_FSTYPE $opts $devname $brpt"
        do_facet $SINGLEMDS "rm -f ${brpt}/last_rcvd"
        do_facet $SINGLEMDS "$UMOUNT $brpt"
 
@@ -4729,8 +4804,8 @@ test_65() { # LU-2237
 run_test 65 "re-create the lost last_rcvd file when server mount"
 
 test_66() {
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.3.59) ]] ||
-               { skip "Need MGS version at least 2.3.59"; return 0; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.3.59) ]] ||
+               skip "Need MGS version at least 2.3.59"
 
        setup
        local OST1_NID=$(do_facet ost1 $LCTL list_nids | head -1)
@@ -4818,7 +4893,7 @@ test_66() {
 
        check_mount || error "error after nid replace"
        cleanup || error "cleanup failed"
-       reformat
+       reformat_and_config
 }
 run_test 66 "replace nids"
 
@@ -4886,17 +4961,13 @@ test_68() {
        local START
        local END
 
-       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.4.53) ] ||
-               { skip "Need MDS version at least 2.4.53"; return 0; }
+       [ "$MDS1_VERSION" -ge $(version_code 2.4.53) ] ||
+               skip "Need MDS version at least 2.4.53"
 
        umount_client $MOUNT || error "umount client failed"
 
-       if ! combined_mgs_mds; then
-               start_mgs || error "start mgs failed"
-       fi
-
-       start_mdt 1 || error "MDT start failed"
-       start_ost || error "Unable to start OST1"
+       start_mgsmds
+       start_ost
 
        # START-END - the sequences we'll be reserving
        START=$(do_facet $SINGLEMDS \
@@ -4935,14 +5006,12 @@ run_test 68 "be able to reserve specific sequences in FLDB"
 # just "precreate" the missing objects. In the past it might try to recreate
 # millions of objects after an OST was reformatted
 test_69() {
-       local server_version=$(lustre_version_code $SINGLEMDS)
+       [[ "$MDS1_VERSION" -lt $(version_code 2.4.2) ]] &&
+               skip "Need MDS version at least 2.4.2"
 
-       [[ $server_version -lt $(version_code 2.4.2) ]] &&
-               skip "Need MDS version at least 2.4.2" && return
-
-       [[ $server_version -ge $(version_code 2.4.50) ]] &&
-       [[ $server_version -lt $(version_code 2.5.0) ]] &&
-               skip "Need MDS version at least 2.5.0" && return
+       [[ "$MDS1_VERSION" -ge $(version_code 2.4.50) ]] &&
+       [[ "$MDS1_VERSION" -lt $(version_code 2.5.0) ]] &&
+               skip "Need MDS version at least 2.5.0"
 
        setup
        mkdir $DIR/$tdir || error "mkdir $DIR/$tdir failed"
@@ -4951,7 +5020,7 @@ test_69() {
        local OSTNAME=$(ostname_from_index 0)
        local mdtosc_proc1=$(get_mdtosc_proc_path mds1 $OSTNAME)
        local last_id=$(do_facet mds1 $LCTL get_param -n \
-                       osc.$mdtosc_proc1.prealloc_last_id)
+                       osp.$mdtosc_proc1.prealloc_last_id)
 
        # Want to have OST LAST_ID over 5 * OST_MAX_PRECREATE to
        # verify that the LAST_ID recovery is working properly. If
@@ -4966,8 +5035,9 @@ test_69() {
        if [ $num_create -gt 0 ]; then
                # Check the number of inodes available on OST0
                local files=0
-               local ifree=$($LFS df -i $MOUNT | awk '/OST0000/ { print $4 }')
-               log "On OST0, $ifree inodes available. Want $num_create."
+               local ifree=$($LFS df -i $MOUNT |
+                       awk '/OST0000/ { print $4 }'; exit ${PIPESTATUS[0]})
+               log "On OST0, $ifree inodes available. Want $num_create. rc=$?"
 
                $LFS setstripe -i 0 $DIR/$tdir ||
                        error "$LFS setstripe -i 0 $DIR/$tdir failed"
@@ -5003,8 +5073,9 @@ test_69() {
        local idx=$($LFS getstripe -i $DIR/$tdir/$tfile-last)
        [ $idx -ne 0 ] && error "$DIR/$tdir/$tfile-last on $idx not 0" || true
 
-       local iused=$($LFS df -i $MOUNT | awk '/OST0000/ { print $3 }')
-       log "On OST0, $iused used inodes"
+       local iused=$($LFS df -i $MOUNT |
+               awk '/OST0000/ { print $3 }'; exit ${PIPESTATUS[0]})
+       log "On OST0, $iused used inodes rc=$?"
        [ $iused -ge $((ost_max_pre/2 + 1000)) ] &&
                error "OST replacement created too many inodes; $iused"
        cleanup || error "cleanup failed with $?"
@@ -5012,7 +5083,7 @@ test_69() {
 run_test 69 "replace an OST with the same index"
 
 test_70a() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        local MDTIDX=1
 
        cleanup || error "cleanup failed with $?"
@@ -5037,7 +5108,7 @@ test_70a() {
 run_test 70a "start MDT0, then OST, then MDT1"
 
 test_70b() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        local MDTIDX=1
 
        start_ost || error "OST0 start fail"
@@ -5058,7 +5129,7 @@ test_70b() {
 run_test 70b "start OST, MDT1, MDT0"
 
 test_70c() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        local MDTIDX=1
 
        start_mds || error "MDS start fail"
@@ -5082,7 +5153,7 @@ test_70c() {
 run_test 70c "stop MDT0, mkdir fail, create remote dir fail"
 
 test_70d() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        local MDTIDX=1
 
        start_mds || error "MDS start fail"
@@ -5109,12 +5180,14 @@ test_70d() {
 run_test 70d "stop MDT1, mkdir succeed, create remote dir fail"
 
 test_70e() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
 
-       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.7.62) ] ||
-               { skip "Need MDS version at least 2.7.62"; return 0; }
+       [ "$MDS1_VERSION" -ge $(version_code 2.7.62) ] ||
+               skip "Need MDS version at least 2.7.62"
 
-       cleanup || error "cleanup failed with $?"
+       reformat || error "reformat failed with $?"
+
+       load_modules
 
        local mdsdev=$(mdsdevname 1)
        local ostdev=$(ostdevname 1)
@@ -5123,6 +5196,10 @@ test_70e() {
        local opts_mds="$(mkfs_opts mds1 $mdsdev) --reformat $mdsdev $mdsvdev"
        local opts_ost="$(mkfs_opts ost1 $ostdev) --reformat $ostdev $ostvdev"
 
+       if ! combined_mgs_mds ; then
+               start_mgs
+       fi
+
        add mds1 $opts_mds || error "add mds1 failed"
        start_mdt 1 || error "start mdt1 failed"
        add ost1 $opts_ost || error "add ost1 failed"
@@ -5163,9 +5240,9 @@ test_70e() {
 run_test 70e "Sync-on-Cancel will be enabled by default on DNE"
 
 test_71a() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        if combined_mgs_mds; then
-               skip "needs separate MGS/MDT" && return
+               skip "needs separate MGS/MDT"
        fi
        local MDTIDX=1
 
@@ -5194,9 +5271,9 @@ test_71a() {
 run_test 71a "start MDT0 OST0, MDT1, OST1"
 
 test_71b() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
        if combined_mgs_mds; then
-               skip "needs separate MGS/MDT" && return
+               skip "needs separate MGS/MDT"
        fi
        local MDTIDX=1
 
@@ -5224,10 +5301,9 @@ test_71b() {
 run_test 71b "start MDT1, OST0, MDT0, OST1"
 
 test_71c() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       if combined_mgs_mds; then
-               skip "needs separate MGS/MDT" && return
-       fi
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       combined_mgs_mds && skip "needs separate MGS/MDT"
+
        local MDTIDX=1
 
        start_ost || error "OST0 start fail"
@@ -5255,10 +5331,9 @@ test_71c() {
 run_test 71c "start OST0, OST1, MDT1, MDT0"
 
 test_71d() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       if combined_mgs_mds; then
-               skip "needs separate MGS/MDT" && return
-       fi
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       combined_mgs_mds && skip "needs separate MGS/MDT"
+
        local MDTIDX=1
 
        start_ost || error "OST0 start fail"
@@ -5286,10 +5361,9 @@ test_71d() {
 run_test 71d "start OST0, MDT1, MDT0, OST1"
 
 test_71e() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       if combined_mgs_mds; then
-               skip "needs separate MGS/MDT" && return
-       fi
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       combined_mgs_mds && skip "needs separate MGS/MDT"
+
        local MDTIDX=1
 
        start_ost || error "OST0 start fail"
@@ -5317,14 +5391,17 @@ test_71e() {
 run_test 71e "start OST0, MDT1, OST1, MDT0"
 
 test_72() { #LU-2634
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
+               skip "ldiskfs only test"
+
        local mdsdev=$(mdsdevname 1)
        local ostdev=$(ostdevname 1)
        local cmd="$E2FSCK -fnvd $mdsdev"
        local fn=3
        local add_options
 
-       [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
-               skip "ldiskfs only test" && return
+       cleanup
+       load_modules
 
        if combined_mgs_mds; then
                add_options='--reformat'
@@ -5368,7 +5445,7 @@ test_72() { #LU-2634
 run_test 72 "test fast symlink with extents flag enabled"
 
 test_73() { #LU-3006
-       [ $(facet_fstype ost1) == zfs ] && import_zpool ost1
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
        do_facet ost1 "$TUNEFS --failnode=1.2.3.4@$NETTYPE $(ostdevname 1)" ||
                error "1st tunefs failed"
        start_mgsmds || error "start mds failed"
@@ -5377,20 +5454,20 @@ test_73() { #LU-3006
        $LCTL get_param -n osc.*OST0000-osc-[^M]*.import | grep failover_nids |
                grep 1.2.3.4@$NETTYPE || error "failover nids haven't changed"
        umount_client $MOUNT || error "umount client failed"
-       stopall
-       reformat
+       stop_ost
+       stop_mds
 }
 run_test 73 "failnode to update from mountdata properly"
 
 test_75() { # LU-2374
-       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.1) ]] &&
-                       skip "Need MDS version at least 2.4.1" && return
+       [[ "$MDS1_VERSION" -lt $(version_code 2.4.1) ]] &&
+               skip "Need MDS version at least 2.4.1"
 
        local index=0
        local opts_mds="$(mkfs_opts mds1 $(mdsdevname 1)) \
-               --reformat $(mdsdevname 1) $(mdsvdevname 1)"
+               --replace --reformat $(mdsdevname 1) $(mdsvdevname 1)"
        local opts_ost="$(mkfs_opts ost1 $(ostdevname 1)) \
-               --reformat $(ostdevname 1) $(ostvdevname 1)"
+               --replace --reformat $(ostdevname 1) $(ostvdevname 1)"
 
        #check with default parameters
        add mds1 $opts_mds || error "add mds1 failed for default params"
@@ -5405,21 +5482,16 @@ test_75() { # LU-2374
 
        add mds1 $opts_mds || error "add mds1 failed for new params"
        add ost1 $opts_ost || error "add ost1 failed for new params"
-       if ! combined_mgs_mds; then
-               stop_mgs || error "stop mgs failed"
-       fi
-       reformat
+
+       reformat_and_config
        return 0
 }
 run_test 75 "The order of --index should be irrelevant"
 
 test_76a() {
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.4.52) ]] ||
-               { skip "Need MDS version at least 2.4.52" && return 0; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.4.52) ]] ||
+               skip "Need MDS version at least 2.4.52"
 
-       if ! combined_mgs_mds; then
-               start_mgs || error "start mgs failed"
-       fi
        setup
        local MDMB_PARAM="osc.*.max_dirty_mb"
        echo "Change MGS params"
@@ -5477,8 +5549,8 @@ test_76a() {
 run_test 76a "set permanent params with lctl across mounts"
 
 test_76b() { # LU-4783
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.5.57) ]] ||
-               { skip "Need MGS version at least 2.5.57" && return 0; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.5.57) ]] ||
+               skip "Need MGS version at least 2.5.57"
        stopall
        setupall
        do_facet mgs $LCTL get_param mgs.MGS.live.params ||
@@ -5488,8 +5560,8 @@ test_76b() { # LU-4783
 run_test 76b "verify params log setup correctly"
 
 test_76c() {
-       [[ $(lustre_version_code mgs) -ge $(version_code 2.8.54) ]] ||
-               { skip "Need MDS version at least 2.4.52" && return 0; }
+       [[ "$MGS_VERSION" -ge $(version_code 2.8.54) ]] ||
+               skip "Need MDS version at least 2.4.52"
        setupall
        local MASK_PARAM="mdd.*.changelog_mask"
        echo "Change changelog_mask"
@@ -5538,13 +5610,12 @@ test_76d() { #LU-9399
 run_test 76d "verify llite.*.xattr_cache can be set by 'lctl set_param -P' correctly"
 
 test_77() { # LU-3445
-       local server_version=$(lustre_version_code $SINGLEMDS)
-       [[ $server_version -ge $(version_code 2.8.55) ]] ||
-               { skip "Need MDS version 2.8.55+ "; return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.8.55) ]] ||
+               skip "Need MDS version 2.8.55+ "
 
        if [[ -z "$fs2ost_DEV" || -z "$fs2mds_DEV" ]]; then
                is_blkdev $SINGLEMDS $(mdsdevname ${SINGLEMDS//mds/}) &&
-               skip_env "mixed loopback and real device not working" && return
+               skip_env "mixed loopback and real device not working"
        fi
 
        local fs2mdsdev=$(mdsdevname 1_2)
@@ -5579,9 +5650,9 @@ test_77() { # LU-3445
 run_test 77 "comma-separated MGS NIDs and failover node NIDs"
 
 test_78() {
-       [[ $(facet_fstype $SINGLEMDS) != ldiskfs ||
-          $(facet_fstype ost1) != ldiskfs ]] &&
-               skip "ldiskfs only test" && return
+       [[ "$mds1_FSTYPE" != ldiskfs ||
+          "$ost1_FSTYPE" != ldiskfs ]] &&
+               skip "ldiskfs only test"
 
        # reformat the Lustre filesystem with a smaller size
        local saved_MDSCOUNT=$MDSCOUNT
@@ -5713,7 +5784,8 @@ test_78() {
        # check whether the MDT or OST filesystem was shrunk or not
        if ! $shrunk; then
                combined_mgs_mds || stop_mgs || error "(9) stop mgs failed"
-               reformat || error "(10) reformat Lustre filesystem failed"
+               reformat_and_config ||
+                       error "(10) reformat Lustre filesystem failed"
                return 0
        fi
 
@@ -5738,13 +5810,13 @@ test_78() {
 
        MDSCOUNT=$saved_MDSCOUNT
        OSTCOUNT=$saved_OSTCOUNT
-       reformat || error "(14) reformat Lustre filesystem failed"
+       reformat_and_config || error "(14) reformat Lustre filesystem failed"
 }
 run_test 78 "run resize2fs on MDT and OST filesystems"
 
 test_79() { # LU-4227
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.5.59) ]] ||
-               { skip "Need MDS version at least 2.5.59"; return 0; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.5.59) ]] ||
+               skip "Need MDS version at least 2.5.59"
 
        local mdsdev1=$(mdsdevname 1)
        local mdsvdev1=$(mdsvdevname 1)
@@ -5763,15 +5835,15 @@ test_79() { # LU-4227
        mgsnode_opt=$(echo $opts_mds2 |
                awk '{ for ( i = 1; i < NF; i++ )
                        if ( $i ~ "--mgsnode" ) { print $i; break } }')
-       [ -n $mgsnode_opt ] &&
+       [ -n "$mgsnode_opt" ] &&
                opts_mds2=$(echo $opts_mds2 | sed -e "s/$mgsnode_opt//")
 
        mgsnode_opt=$(echo $opts_ost1 |
                awk '{ for ( i = 1; i < NF; i++ )
                        if ( $i ~ "--mgsnode" ) { print $i; break } }')
-       [ -n $mgsnode_opt ] &&
+       [ -n "$mgsnode_opt" ] &&
                opts_ost1=$(echo $opts_ost1 | sed -e "s/$mgsnode_opt//")
-
+       load_modules
        # -MGS, format a mdt without --mgs option
        add mds1 $opts_mds1 $mdsdev1 $mdsvdev1 &&
                error "Must specify --mgs when formatting mdt combined with mgs"
@@ -5784,7 +5856,7 @@ test_79() { # LU-4227
        add ost1 $opts_ost1 $ostdev1 $ostvdev2 &&
                error "Must specify --mgsnode when formatting an ost"
 
-       reformat
+       reformat_and_config
 }
 run_test 79 "format MDT/OST without mgs option (should return errors)"
 
@@ -5800,7 +5872,9 @@ test_80() {
        start_ost2 || error "Failed to start OST2"
 
        do_facet ost1 "$LCTL set_param fail_loc=0"
-       stopall
+       stop_ost2
+       stop_ost
+       stop_mds
 }
 run_test 80 "mgc import reconnect race"
 
@@ -5831,16 +5905,19 @@ restore_ostindex() {
        done
        OSTCOUNT=$saved_ostcount
 
-       formatall
+       reformat
+       if ! combined_mgs_mds ; then
+               start_mgs
+       fi
 }
 
 # The main purpose of this test is to ensure the OST_INDEX_LIST functions as
 # expected. This test uses OST_INDEX_LIST to format OSTs with a randomly
 # assigned index and ensures we can mount such a formatted file system
 test_81() { # LU-4665
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.54) ]] ||
-               { skip "Need MDS version at least 2.6.54" && return; }
-       [[ $OSTCOUNT -ge 3 ]] || { skip_env "needs >= 3 OSTs" && return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.6.54) ]] ||
+               skip "Need MDS version at least 2.6.54"
+       [[ $OSTCOUNT -ge 3 ]] || skip_env "needs >= 3 OSTs"
 
        stopall
 
@@ -5878,8 +5955,16 @@ test_81() { # LU-4665
 
        # Check max_easize.
        local max_easize=$($LCTL get_param -n llite.*.max_easize)
-       [[ $max_easize -eq 128 ]] ||
-               error "max_easize is $max_easize, should be 128 bytes"
+       # 65452 is XATTR_SIZE_MAX less ldiskfs ea overhead
+       if large_xattr_enabled; then
+               [[ $max_easize -ge 65452 ]] ||
+                       error "max_easize is $max_easize, should be at least 65452 bytes"
+       else
+               # LU-11868
+               # 4012 is 4096 less ldiskfs ea overhead
+               [[ $max_easize -ge 4012 ]] ||
+                       error "max_easize is $max_easize, should be at least 4012 bytes"
+       fi
 
        restore_ostindex
 }
@@ -5900,9 +5985,9 @@ run_test 81 "sparse OST indexing"
 #
 # 5. Lastly ensure this functionality fails with directories.
 test_82a() { # LU-4665
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.54) ]] ||
-               { skip "Need MDS version at least 2.6.54" && return; }
-       [[ $OSTCOUNT -ge 3 ]] || { skip_env "needs >= 3 OSTs" && return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.6.54) ]] ||
+               skip "Need MDS version at least 2.6.54"
+       [[ $OSTCOUNT -ge 3 ]] || skip_env "needs >= 3 OSTs"
 
        stopall
 
@@ -5932,16 +6017,17 @@ test_82a() { # LU-4665
 
        # Collect debug information - start of test
        do_nodes $(comma_list $(mdts_nodes)) \
-                  $LCTL get_param osc.*.prealloc_*_id
+                  $LCTL get_param osp.*.prealloc_*_id
 
        mount_client $MOUNT || error "mount client $MOUNT failed"
        wait_osts_up
 
-       $LFS df $MOUNT || error "$LFS df $MOUNT failed"
+       $LFS df $MOUNT
+       check_lfs_df_ret_val $? || error "$LFS df $MOUNT failed"
        mkdir $DIR/$tdir || error "mkdir $DIR/$tdir failed"
 
        stack_trap "do_nodes $(comma_list $(mdts_nodes)) \
-                  $LCTL get_param osc.*.prealloc_*_id" EXIT
+                  $LCTL get_param osp.*.prealloc_*_id" EXIT
 
        # 1. If the file does not exist, new file will be created
        #    with specified OSTs.
@@ -5993,8 +6079,8 @@ test_82a() { # LU-4665
        local dir=$DIR/$tdir/$tdir
        mkdir $dir || error "mkdir $dir failed"
        cmd="$LFS setstripe -o $ost_indices $dir"
-       if [[ $(lustre_version_code $SINGLEMDS) -gt $(version_code 2.11.53) &&
-          $(lustre_version_code client -gt $(version_code 2.11.53)) ]]; then
+       if [ "$MDS1_VERSION" -gt $(version_code 2.11.53) ] &&
+               [ "$CLIENT_VERSION" -gt $(version_code 2.11.53) ]; then
                echo -e "\n$cmd"
                eval $cmd || error "unable to specify OST indices on directory"
        else
@@ -6011,9 +6097,6 @@ cleanup_82b() {
        # Remove OSTs from a pool and destroy the pool.
        destroy_pool $ost_pool || true
 
-       if ! combined_mgs_mds ; then
-               umount_mgs_client
-       fi
        restore_ostindex
 }
 
@@ -6022,9 +6105,9 @@ cleanup_82b() {
 # the supplied OST index list points to OSTs not contained in the user
 # supplied pool.
 test_82b() { # LU-4665
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.54) ]] ||
-               { skip "Need MDS version at least 2.6.54" && return; }
-       [[ $OSTCOUNT -ge 4 ]] || { skip_env "needs >= 4 OSTs" && return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.6.54) ]] ||
+               skip "Need MDS version at least 2.6.54"
+       [[ $OSTCOUNT -ge 4 ]] || skip_env "needs >= 4 OSTs"
 
        stopall
 
@@ -6053,12 +6136,10 @@ test_82b() { # LU-4665
        done
 
        mount_client $MOUNT || error "mount client $MOUNT failed"
-       if ! combined_mgs_mds ; then
-               mount_mgs_client
-       fi
 
        wait_osts_up
-       $LFS df $MOUNT || error "$LFS df $MOUNT failed"
+       $LFS df $MOUNT
+       check_lfs_df_ret_val $? || error "$LFS df $MOUNT failed"
        mkdir $DIR/$tdir || error "mkdir $DIR/$tdir failed"
 
        # Create a new pool and add OSTs into it.
@@ -6116,11 +6197,10 @@ test_82b() { # LU-4665
 run_test 82b "specify OSTs for file with --pool and --ost-list options"
 
 test_83() {
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.6.91) ]] ||
-               { skip "Need OST version at least 2.6.91" && return 0; }
-       if [ $(facet_fstype ost1) != ldiskfs ]; then
+       [[ "$OST1_VERSION" -ge $(version_code 2.6.91) ]] ||
+               skip "Need OST version at least 2.6.91"
+       if [ "$ost1_FSTYPE" != ldiskfs ]; then
                skip "ldiskfs only test"
-               return
        fi
 
        local dev
@@ -6130,25 +6210,24 @@ test_83() {
 
        dev=$(ostdevname 1)
        ostmnt=$(facet_mntpt ost1)
-       fstype=$(facet_fstype ost1)
 
        # Mount the OST as an ldiskfs filesystem.
-       log "mount the OST $dev as a $fstype filesystem"
+       log "mount the OST $dev as a $ost1_FSTYPE filesystem"
        add ost1 $(mkfs_opts ost1 $dev) $FSTYPE_OPT \
                --reformat $dev > /dev/null ||
                error "format ost1 error"
 
        if ! test -b $dev; then
-               mnt_opts=$(csa_add "$OST_MOUNT_OPTS" -o loop)
+               mnt_opts=$(csa_add "$OST_MOUNT_FS_OPTS" -o loop)
        fi
        echo "mnt_opts $mnt_opts"
-       do_facet ost1 mount -t $fstype $dev \
+       do_facet ost1 mount -t "$ost1_FSTYPE" $dev \
                $ostmnt $mnt_opts
        # Run llverfs on the mounted ldiskfs filesystem.
        # It is needed to get ENOSPACE.
-       log "run llverfs in partial mode on the OST $fstype $ostmnt"
+       log "run llverfs in partial mode on the OST $ost1_FSTYPE $ostmnt"
        do_rpc_nodes $(facet_host ost1) run_llverfs $ostmnt -vpl \
-               "no" || error "run_llverfs error on $fstype"
+               "no" || error "run_llverfs error on $ost1_FSTYPE"
 
        # Unmount the OST.
        log "unmount the OST $dev"
@@ -6164,7 +6243,7 @@ test_83() {
        err=$(do_facet ost1 dmesg | grep "VFS: Busy inodes after unmount of")
        echo "string err $err"
        [ -z "$err" ] || error $err
-       reformat
+       reformat_and_config
 }
 run_test 83 "ENOSPACE on OST doesn't cause message VFS: \
 Busy inodes after unmount ..."
@@ -6234,8 +6313,8 @@ test_84() {
 run_test 84 "check recovery_hard_time"
 
 test_85() {
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.7.55) ]] ||
-               { skip "Need OST version at least 2.7.55" && return 0; }
+       [[ "$OST1_VERSION" -ge $(version_code 2.7.55) ]] ||
+               skip "Need OST version at least 2.7.55"
 ##define OBD_FAIL_OSD_OST_EA_FID_SET 0x197
        do_facet ost1 "lctl set_param fail_loc=0x197"
        start_ost
@@ -6253,29 +6332,20 @@ cleanup_86() {
 }
 
 test_86() {
-       local server_version=$(lustre_version_code $SINGLEMDS)
-       [ "$(facet_fstype ost1)" = "zfs" ] &&
-               skip "LU-6442: no such mkfs params for ZFS OSTs" && return
-       [[ $server_version -ge $(version_code 2.7.56) ]] ||
-               { skip "Need server version newer than 2.7.55"; return 0; }
-
-       local OST_OPTS="$(mkfs_opts ost1 $(ostdevname 1)) \
-               --reformat $(ostdevname 1) $(ostvdevname 1)"
+       [ "$ost1_FSTYPE" = zfs ] &&
+               skip "LU-6442: no such mkfs params for ZFS OSTs"
+       [[ "$MDS1_VERSION" -ge $(version_code 2.7.56) ]] ||
+               skip "Need server version newer than 2.7.55"
 
        local NEWSIZE=1024
        local OLDSIZE=$(do_facet ost1 "$DEBUGFS -c -R stats $(ostdevname 1)" |
                awk '/Flex block group size: / { print $NF; exit; }')
 
-       local opts=OST_OPTS
-       if [[ ${!opts} != *mkfsoptions* ]]; then
-               eval opts=\"${!opts} \
-                       --mkfsoptions='\\\"-O flex_bg -G $NEWSIZE\\\"'\"
-       else
-               val=${!opts//--mkfsoptions=\\\"/ \
-                       --mkfsoptions=\\\"-O flex_bg -G $NEWSIZE }
-               eval opts='${val}'
-       fi
+       [ "$OLDSIZE" == "$NEWSIZE" ] && skip "$NEWSIZE groups already"
 
+       local opts=" -O flex_bg -G $NEWSIZE"
+       opts=$(OST_FS_MKFS_OPTS+="$opts" mkfs_opts ost1 $(ostdevname 1))
+       opts+=" --reformat $(ostdevname 1) $(ostvdevname 1)"
        echo "params: $opts"
 
        trap cleanup_86 EXIT ERR
@@ -6294,12 +6364,13 @@ test_86() {
 run_test 86 "Replacing mkfs.lustre -G option"
 
 test_87() { #LU-6544
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.9.51) ]] ||
-               { skip "Need MDS version at least 2.9.51" && return; }
-       [[ $(facet_fstype $SINGLEMDS) != ldiskfs ]] &&
-               { skip "ldiskfs only test" && return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.9.51) ]] ||
+               skip "Need MDS version at least 2.9.51"
+       [[ "$mds1_FSTYPE" != ldiskfs ]] &&
+               skip "ldiskfs only test"
        [[ $OSTCOUNT -gt 59 ]] &&
-               { skip "Ignore wide striping situation" && return; }
+               skip "Ignore wide striping situation"
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
 
        local mdsdev=$(mdsdevname 1)
        local mdsvdev=$(mdsvdevname 1)
@@ -6335,6 +6406,10 @@ test_87() { #LU-6544
        unload_modules
        reformat
 
+       if ! combined_mgs_mds ; then
+               start_mgs
+       fi
+
        add mds1 $(mkfs_opts mds1 ${mdsdev}) --stripe-count-hint=$stripe_cnt \
                --reformat $mdsdev $mdsvdev || error "add mds1 failed"
        start_mdt 1 > /dev/null || error "start mdt1 failed"
@@ -6374,13 +6449,17 @@ test_87() { #LU-6544
                       more than $left_size-byte space left in inode."
        echo "Verified: at most $left_size-byte space left in inode."
 
-       stopall
+       unmount_ldiskfs $SINGLEMDS
+
+       for i in $(seq $OSTCOUNT); do
+               stop ost$i -f || error "stop ost$i failed"
+       done
 }
 run_test 87 "check if MDT inode can hold EAs with N stripes properly"
 
 test_88() {
-       [ "$(facet_fstype mds1)" == "zfs" ] &&
-               skip "LU-6662: no implementation for ZFS" && return
+       [ "$mds1_FSTYPE" == zfs ] &&
+               skip "LU-6662: no implementation for ZFS"
 
        load_modules
 
@@ -6402,8 +6481,8 @@ test_88() {
 run_test 88 "check the default mount options can be overridden"
 
 test_89() { # LU-7131
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.9.54) ]] ||
-               { skip "Need MDT version at least 2.9.54" && return 0; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.9.54) ]] ||
+               skip "Need MDT version at least 2.9.54"
 
        local key=failover.node
        local val1=192.0.2.254@tcp0 # Reserved IPs, see RFC 5735
@@ -6413,12 +6492,15 @@ test_89() { # LU-7131
 
        stopall
 
-       [ $(facet_fstype mds1) == zfs ] && import_zpool mds1
+       if [[ "$mds1_FSTYPE" == zfs ]]; then
+               import_zpool mds1 || return ${PIPESTATUS[0]}
+       fi
+
        # Check that parameters are added correctly
        echo "tunefs --param $key=$val1"
-       do_facet mds "$TUNEFS --param $key=$val1 $mdsdev >/dev/null" ||
+       do_facet mds1 "$TUNEFS --param $key=$val1 $mdsdev >/dev/null" ||
                error "tunefs --param $key=$val1 failed"
-       params=$(do_facet mds $TUNEFS --dryrun $mdsdev) ||
+       params=$(do_facet mds1 $TUNEFS --dryrun $mdsdev) ||
                error "tunefs --dryrun failed"
        params=${params##*Parameters:}
        params=${params%%exiting*}
@@ -6427,9 +6509,9 @@ test_89() { # LU-7131
 
        # Check that parameters replace existing instances when added
        echo "tunefs --param $key=$val2"
-       do_facet mds "$TUNEFS --param $key=$val2 $mdsdev >/dev/null" ||
+       do_facet mds1 "$TUNEFS --param $key=$val2 $mdsdev >/dev/null" ||
                error "tunefs --param $key=$val2 failed"
-       params=$(do_facet mds $TUNEFS --dryrun $mdsdev) ||
+       params=$(do_facet mds1 $TUNEFS --dryrun $mdsdev) ||
                error "tunefs --dryrun failed"
        params=${params##*Parameters:}
        params=${params%%exiting*}
@@ -6440,9 +6522,9 @@ test_89() { # LU-7131
 
        # Check that a parameter is erased properly
        echo "tunefs --erase-param $key"
-       do_facet mds "$TUNEFS --erase-param $key $mdsdev >/dev/null" ||
+       do_facet mds1 "$TUNEFS --erase-param $key $mdsdev >/dev/null" ||
                error "tunefs --erase-param $key failed"
-       params=$(do_facet mds $TUNEFS --dryrun $mdsdev) ||
+       params=$(do_facet mds1 $TUNEFS --dryrun $mdsdev) ||
                error "tunefs --dryrun failed"
        params=${params##*Parameters:}
        params=${params%%exiting*}
@@ -6450,29 +6532,32 @@ test_89() { # LU-7131
                error "on-disk parameter not erased correctly via tunefs"
 
        # Check that all the parameters are erased
+       do_facet mds1 "$TUNEFS --param $key=$val1 $mdsdev >/dev/null" ||
+               error "tunefs --param $key=$val1 failed"
        echo "tunefs --erase-params"
-       do_facet mds "$TUNEFS --erase-params $mdsdev >/dev/null" ||
+       do_facet mds1 "$TUNEFS --erase-params $mdsdev >/dev/null" ||
                error "tunefs --erase-params failed"
-       params=$(do_facet mds $TUNEFS --dryrun $mdsdev) ||
+       params=$(do_facet mds1 $TUNEFS --dryrun $mdsdev) ||
                error "tunefs --dryrun failed"
        params=${params##*Parameters:}
        params=${params%%exiting*}
-       [ -z $params ] ||
-               error "all on-disk parameters not erased correctly via tunefs"
+       params=$(echo $params | tr ' ' '\n')
+       [ -z "$params" ] ||
+               error "all on-disk parameters not erased correctly via tunefs $params"
 
        # Check the order of options --erase-params and --param
        echo "tunefs --param $key=$val1 --erase-params"
-       do_facet mds \
+       do_facet mds1 \
                "$TUNEFS --param $key=$val1 --erase-params $mdsdev >/dev/null"||
                error "tunefs --param $key=$val1 --erase-params failed"
-       params=$(do_facet mds $TUNEFS --dryrun $mdsdev) ||
+       params=$(do_facet mds1 $TUNEFS --dryrun $mdsdev) ||
                error "tunefs --dryrun failed"
        params=${params##*Parameters:}
        params=${params%%exiting*}
        [ $(echo $params | tr ' ' '\n') == "$key=$val1" ] ||
                error "on-disk param not added correctly with --erase-params"
 
-       reformat
+       reformat_and_config
 }
 run_test 89 "check tunefs --param and --erase-param{s} options"
 
@@ -6561,15 +6646,11 @@ check_max_mod_rpcs_in_flight() {
 }
 
 test_90a() {
-       reformat
-       if ! combined_mgs_mds ; then
-               start_mgs
-       fi
        setup
 
        [[ $($LCTL get_param mdc.*.import |
             grep "connect_flags:.*multi_mod_rpc") ]] ||
-               { skip "Need MDC with 'multi_mod_rpcs' feature"; return 0; }
+               skip "Need MDC with 'multi_mod_rpcs' feature"
 
        # check default value
        $LFS mkdir -c1 $DIR/$tdir || error "mkdir $DIR/$tdir failed"
@@ -6589,7 +6670,7 @@ test_90b() {
 
        [[ $($LCTL get_param mdc.*.import |
             grep "connect_flags:.*multi_mod_rpc") ]] ||
-               { skip "Need MDC with 'multi_mod_rpcs' feature"; return 0; }
+               skip "Need MDC with 'multi_mod_rpcs' feature"
 
        ### test 1.
        # update max_mod_rpcs_in_flight
@@ -6601,9 +6682,8 @@ test_90b() {
        tmp=$($LCTL get_param -n mdc.$FSNAME-MDT*-mdc-*.import |
                grep -c "multi_mod_rpcs")
        if [ "$tmp" -ne $MDSCOUNT ]; then
-               echo "Client not able to send multiple modify RPCs in parallel"
                cleanup
-               return
+               skip "Client not able to send multiple modify RPCs in parallel"
        fi
 
        # update max_mod_rpcs_in_flight
@@ -6636,62 +6716,114 @@ test_90b() {
 }
 run_test 90b "check max_mod_rpcs_in_flight is enforced after update"
 
+save_params_90c() {
+       # get max_rpcs_in_flight value
+       mrif_90c=$($LCTL get_param -n \
+                  mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight)
+       echo "max_rpcs_in_flight is $mrif_90c"
+
+       # get max_mod_rpcs_in_flight value
+       mmrif_90c=$($LCTL get_param -n \
+                   mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight)
+       echo "max_mod_rpcs_in_flight is $mmrif_90c"
+
+       # get MDT max_mod_rpcs_per_client value
+       mmrpc_90c=$(do_facet mds1 \
+                   cat /sys/module/mdt/parameters/max_mod_rpcs_per_client)
+       echo "max_mod_rpcs_per_client is $mmrpc_90c"
+}
+
+restore_params_90c() {
+       trap 0
+
+       # restore max_rpcs_in_flight value
+       do_facet mgs $LCTL set_param -P \
+               mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight=$mrif_90c
+
+       # restore max_mod_rpcs_in_flight value
+       do_facet mgs $LCTL set_param -P \
+               mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$mmrif_90c
+
+       # restore MDT max_mod_rpcs_per_client value
+       do_facet mds1 "echo $mmrpc_90c > \
+                      /sys/module/mdt/parameters/max_mod_rpcs_per_client"
+}
+
 test_90c() {
        local tmp
-       local mrif
-       local mmrpc
 
        setup
 
        [[ $($LCTL get_param mdc.*.import |
             grep "connect_flags:.*multi_mod_rpc") ]] ||
-               { skip "Need MDC with 'multi_mod_rpcs' feature"; return 0; }
+               skip "Need MDC with 'multi_mod_rpcs' feature"
 
        # check client is able to send multiple modify RPCs in paralell
        tmp=$($LCTL get_param -n mdc.$FSNAME-MDT*-mdc-*.import |
                grep -c "multi_mod_rpcs")
        if [ "$tmp" -ne $MDSCOUNT ]; then
-               skip "Client not able to send multiple modify RPCs in parallel"
                cleanup
-               return
+               skip "Client not able to send multiple modify RPCs in parallel"
        fi
 
-       # get max_rpcs_in_flight value
-       mrif=$($LCTL get_param -n mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight)
-       echo "max_rpcs_in_flight is $mrif"
-
-       # get MDT max_mod_rpcs_per_client
-       mmrpc=$(do_facet mds1 \
-                   cat /sys/module/mdt/parameters/max_mod_rpcs_per_client)
-       echo "max_mod_rpcs_per_client is $mmrpc"
+       save_params_90c
+       stack_trap restore_params_90c
 
        # testcase 1
        # attempt to set max_mod_rpcs_in_flight to max_rpcs_in_flight value
        # prerequisite: set max_mod_rpcs_per_client to max_rpcs_in_flight value
-       umount_client $MOUNT
-       do_facet mds1 \
-               "echo $mrif > /sys/module/mdt/parameters/max_mod_rpcs_per_client"
-       mount_client $MOUNT
+       do_facet mds1 "echo $mrif_90c > \
+                      /sys/module/mdt/parameters/max_mod_rpcs_per_client"
 
-       $LCTL set_param \
-           mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$mrif &&
-           error "set max_mod_rpcs_in_flight to $mrif should fail"
+       # if max_mod_rpcs_in_flight is set to be equal to or larger than
+       # max_rpcs_in_flight, then max_rpcs_in_flight will be increased
+       if [[ "$CLIENT_VERSION" -ge $(version_code 2.13.53) ]]; then
+               $LCTL set_param \
+               mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$mrif_90c ||
+                       error "set max_mod_rpcs_in_flight to $mrif_90c failed"
+
+               local new_mrif=$($LCTL get_param -n \
+                                mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight)
+               ((new_mrif == mrif_90c + 1)) ||
+                       error "max_rpcs_in_flight was not increased"
+       fi
 
        umount_client $MOUNT
-       do_facet mds1 \
-               "echo $mmrpc > /sys/module/mdt/parameters/max_mod_rpcs_per_client"
+       do_facet mds1 "echo $mmrpc_90c > \
+                      /sys/module/mdt/parameters/max_mod_rpcs_per_client"
        mount_client $MOUNT
 
        # testcase 2
        # attempt to set max_mod_rpcs_in_flight to max_mod_rpcs_per_client+1
        # prerequisite: set max_rpcs_in_flight to max_mod_rpcs_per_client+2
        $LCTL set_param \
-           mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight=$((mmrpc + 2))
+               mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight=$((mmrpc_90c + 2))
 
        $LCTL set_param \
-           mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$((mmrpc + 1)) &&
-           error "set max_mod_rpcs_in_flight to $((mmrpc + 1)) should fail"
+       mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$((mmrpc_90c + 1)) &&
+       error "set max_mod_rpcs_in_flight to $((mmrpc_90c + 1)) should fail"
+
+       # testcase 3
+       # attempt to set max_mod_rpcs_in_flight permanently
+       do_facet mgs $LCTL set_param -P \
+               mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight=$mrif_90c
+
+       do_facet mgs $LCTL set_param -P \
+               mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight=$mrif_90c
+
+       remount_client $MOUNT
 
+       wait_update_facet --verbose client "$LCTL get_param -n \
+               mdc.$FSNAME-MDT0000-mdc-*.max_rpcs_in_flight" \
+               "$((mrif_90c + 1))" ||
+               error "expected '$((mrif_90c + 1))' for max_rpcs_in_flight"
+
+       wait_update_facet --verbose client "$LCTL get_param -n \
+               mdc.$FSNAME-MDT0000-mdc-*.max_mod_rpcs_in_flight" \
+               "$mrif_90c" ||
+               error "expected '$mrif_90c' for max_mod_rpcs_in_flight"
+
+       restore_params_90c
        cleanup
 }
 run_test 90c "check max_mod_rpcs_in_flight update limits"
@@ -6707,7 +6839,7 @@ test_90d() {
 
        [[ $($LCTL get_param mdc.*.import |
             grep "connect_flags:.*multi_mod_rpc") ]] ||
-               { skip "Need MDC with 'multi_mod_rpcs' feature"; return 0; }
+               skip "Need MDC with 'multi_mod_rpcs' feature"
 
        $LFS mkdir -c1 $DIR/$tdir || error "mkdir $DIR/$tdir failed"
        idx=$(printf "%04x" $($LFS getdirstripe -i $DIR/$tdir))
@@ -6717,9 +6849,8 @@ test_90d() {
        tmp=$($LCTL get_param -N \
                mdc.$FSNAME-MDT$idx-mdc-*.max_mod_rpcs_in_flight)
        if [ -z "$tmp" ]; then
-               skip "Client does not support multiple modify RPCs in flight"
                cleanup
-               return
+               skip "Client does not support multiple modify RPCs in flight"
        fi
 
        # get current value of max_mod_rcps_in_flight
@@ -6772,7 +6903,7 @@ check_uuid_on_ost() {
 
 check_uuid_on_mdt() {
        local nid=$1
-       do_facet $SINGLEMDS "$LCTL get_param mdt.${FSNAME}*.exports.'$nid'.uuid"
+       do_facet $SINGLEMDS "$LCTL get_param mdt.${mds1_svc}*.exports.'$nid'.uuid"
 }
 
 test_91() {
@@ -6780,10 +6911,10 @@ test_91() {
        local nid
        local found
 
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.7.63) ]] ||
-               { skip "Need OST version at least 2.7.63" && return 0; }
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.7.63) ]] ||
-               { skip "Need MDT version at least 2.7.63" && return 0; }
+       [[ "$OST1_VERSION" -ge $(version_code 2.7.63) ]] ||
+               skip "Need OST version at least 2.7.63"
+       [[ "$MDS1_VERSION" -ge $(version_code 2.7.63) ]] ||
+               skip "Need MDT version at least 2.7.63"
 
        start_mds || error "MDS start failed"
        start_ost || error "unable to start OST"
@@ -6816,6 +6947,7 @@ test_91() {
        echo "evict $nid"
        do_facet $SINGLEMDS \
                "$LCTL set_param -n mdt.${mds1_svc}.evict_client nid:$nid"
+       sleep 1 # eviction above is async, give it some time to proceed
 
        found=$(check_uuid_on_mdt $nid | grep $uuid)
        [ -n "$found" ] && error "found $uuid $nid on MDT"
@@ -6838,63 +6970,33 @@ generate_ldev_conf() {
        local ldevconfpath=$1
        local fstype=
        local fsldevformat=""
-       touch $ldevconfpath
+       rm -f $ldevconfpath
 
-       fstype=$(facet_fstype mgs)
-       if [ "$fstype" == "zfs" ]; then
-               fsldevformat="$fstype:"
-       else
+       local facets="mgs,$(get_facets OST),$(get_facets MDS)"
+       for facet in ${facets//,/ }; do
                fsldevformat=""
-       fi
-
-       printf "%s\t-\t%s-MGS0000\t%s%s\n" \
-               $mgs_HOST \
-               $FSNAME \
-               $fsldevformat \
-               $(mgsdevname) > $ldevconfpath
-
-       local mdsfo_host=$mdsfailover_HOST;
-       if [ -z "$mdsfo_host" ]; then
-               mdsfo_host="-"
-       fi
-
-       for num in $(seq $MDSCOUNT); do
-               fstype=$(facet_fstype mds$num)
-               if [ "$fstype" == "zfs" ]; then
-                       fsldevformat="$fstype:"
-               else
-                       fsldevformat=""
+               fstype=$(facet_fstype $facet)
+               [ "$fstype" = zfs ] && fsldevformat="$fstype:"
+               local host=$(facet_host $facet)
+               local fo="-"
+               local varfo=${facet}failover_HOST
+               if [ $facet == mgs ] && combined_mgs_mds; then
+                       varfo=mds1failover_HOST
                fi
-
-               printf "%s\t%s\t%s-MDT%04d\t%s%s\n" \
-                       $mds_HOST \
-                       $mdsfo_host \
+               [ -n "${!varfo}" ] && fo=${!varfo}
+               local type=$(echo $facet | tr -d "[:digit:]" | \
+                       tr "[:lower:]" "[:upper:]" | sed s/MDS/MDT/ )
+               local num=1
+               [ ${facet} == mgs ] ||
+                       num=$(facet_number $facet)
+               printf "%s\t%s\t%s-%s%04x\t%s%s\n" \
+                       ${host} \
+                       ${fo} \
                        $FSNAME \
-                       $num \
+                       $type \
+                       $(( num - 1 )) \
                        $fsldevformat \
-                       $(mdsdevname $num) >> $ldevconfpath
-       done
-
-       local ostfo_host=$ostfailover_HOST;
-       if [ -z "$ostfo_host" ]; then
-               ostfo_host="-"
-       fi
-
-       for num in $(seq $OSTCOUNT); do
-               fstype=$(facet_fstype ost$num)
-               if [ "$fstype" == "zfs" ]; then
-                       fsldevformat="$fstype:"
-               else
-                       fsldevformat=""
-               fi
-
-               printf "%s\t%s\t%s-OST%04d\t%s%s\n" \
-                       $ost_HOST \
-                       $ostfo_host \
-                       $FSNAME \
-                       $num \
-                       $fsldevformat \
-                       $(ostdevname $num) >> $ldevconfpath
+                       $(facet_device $facet) >> $ldevconfpath
        done
 
        echo "----- $ldevconfpath -----"
@@ -6916,8 +7018,8 @@ generate_nids() {
 }
 
 compare_ldev_output() {
-       ldev_output=$1
-       expected_output=$2
+       local ldev_output=$1
+       local expected_output=$2
 
        sort $expected_output -o $expected_output
        sort $ldev_output -o $ldev_output
@@ -6948,35 +7050,32 @@ test_92() {
        generate_nids $NIDSPATH
 
        # echo the mgs nid and compare it to environment variable MGSNID
-       # also, ldev.conf and nids is a server side thing, use the OSS
-       # hostname
-       local output
-       output=$($LDEV -c $LDEVCONFPATH -H $ost_HOST -n $NIDSPATH echo %m)
-
-       echo "-- START OF LDEV OUTPUT --"
-       echo -e "$output"
-       echo "--- END OF LDEV OUTPUT ---"
-
-       # ldev failed, error
-       if [ $? -ne 0 ]; then
-               rm $LDEVCONFPATH $NIDSPATH
-               error "ldev failed to execute!"
-       fi
-
-       # need to process multiple lines because of combined MGS and MDS
-       echo -e $output | awk '{ print $2 }' | while read -r line ; do
-               if [ "$line" != "$MGSNID" ]; then
-                       rm $LDEVCONFPATH $NIDSPATH
-                       error "ldev failed mgs nid '$line', expected '$MGSNID'"
-               fi
+       local facets="$(get_facets OST),$(get_facets MDS),mgs"
+       for facet in ${facets//,/ }; do
+               local host=$(facet_host $facet)
+               local output=$($LDEV -c $LDEVCONFPATH -H $host -n $NIDSPATH echo %m)
+
+               echo "-- START OF LDEV OUTPUT --"
+               echo -e "$output"
+               echo "--- END OF LDEV OUTPUT ---"
+
+               [ -z "$output" ] &&
+                       error "ldev failed to execute!"
+
+               # need to process multiple lines because of
+               # several targets on host
+               echo -e $output | awk '{ print $2 }' | while read -r line ; do
+                       [ "$line" = "$MGSNID" ] ||
+                               error "ldev failed mgs nid '$line', \
+                                       expected '$MGSNID'"
+               done
        done
-
-       rm $LDEVCONFPATH $NIDSPATH
+       rm -f $LDEVCONFPATH $NIDSPATH
 }
 run_test 92 "ldev returns MGS NID correctly in command substitution"
 
 test_93() {
-       [ $MDSCOUNT -lt 3 ] && skip "needs >= 3 MDTs" && return
+       [ $MDSCOUNT -lt 3 ] && skip "needs >= 3 MDTs"
 
        reformat
        #start mgs or mgs/mdt0
@@ -7030,11 +7129,11 @@ test_94() {
        printf "%s-MGS0000\n" $FSNAME > $EXPECTED_OUTPUT
 
        for num in $(seq $MDSCOUNT); do
-               printf "%s-MDT%04d\n" $FSNAME $num >> $EXPECTED_OUTPUT
+               printf "%s-MDT%04x\n" $FSNAME $((num - 1)) >> $EXPECTED_OUTPUT
        done
 
        for num in $(seq $OSTCOUNT); do
-               printf "%s-OST%04d\n" $FSNAME $num >> $EXPECTED_OUTPUT
+               printf "%s-OST%04x\n" $FSNAME $((num - 1)) >> $EXPECTED_OUTPUT
        done
 
        compare_ldev_output $LDEV_OUTPUT $EXPECTED_OUTPUT
@@ -7162,19 +7261,13 @@ test_96() {
 
        echo "$mgs_HOST-$(facet_fstype mgs)" > $EXPECTED_OUTPUT
 
-       if [ "$mgs_HOST" == "$mds_HOST" ]; then
-               for num in $(seq $MDSCOUNT); do
-                       echo "$mds_HOST-$(facet_fstype mds$num)" \
-                       >> $EXPECTED_OUTPUT
-               done
-       fi
-
-       if [ "$mgs_HOST" == "$ost_HOST" ]; then
-               for num in $(seq $OSTCOUNT); do
-                       echo "$ost_HOST-$(facet_fstype ost$num)" \
+       local facets="$(get_facets OST),$(get_facets MDS)"
+       for facet in ${facets//,/ }; do
+               local host=$(facet_host $facet)
+               [ "$mgs_HOST" == "$host" ] &&
+                       echo "$host-$(facet_fstype $facet)" \
                        >> $EXPECTED_OUTPUT
-               done
-       fi
+       done
 
        compare_ldev_output $LDEV_OUTPUT $EXPECTED_OUTPUT
 
@@ -7210,7 +7303,7 @@ test_97() {
        fi
 
        for num in $(seq $MDSCOUNT); do
-               printf "%s-MDT%04d\n" $FSNAME $num >> $EXPECTED_OUTPUT
+               printf "%s-MDT%04x\n" $FSNAME $((num - 1)) >> $EXPECTED_OUTPUT
        done
 
        compare_ldev_output $LDEV_OUTPUT $EXPECTED_OUTPUT
@@ -7230,7 +7323,7 @@ test_97() {
 
        rm $EXPECTED_OUTPUT
        for num in $(seq $OSTCOUNT); do
-               printf "%s-OST%04d\n" $FSNAME $num >> $EXPECTED_OUTPUT
+               printf "%s-OST%04x\n" $FSNAME $((num - 1)) >> $EXPECTED_OUTPUT
        done
 
        compare_ldev_output $LDEV_OUTPUT $EXPECTED_OUTPUT
@@ -7272,7 +7365,7 @@ test_98()
        for ((x = 1; x <= 400; x++)); do
                mountopt="$mountopt,user_xattr"
        done
-       remount_client $mountopt $MOUNT  2>&1 | grep "too long" ||
+       mount_client $MOUNT remount,$mountopt 2>&1 | grep "too long" ||
                error "Buffer overflow check failed"
        cleanup || error "cleanup failed"
 }
@@ -7280,15 +7373,15 @@ run_test 98 "Buffer-overflow check while parsing mount_opts"
 
 test_99()
 {
-       [[ $(facet_fstype ost1) != ldiskfs ]] &&
-               { skip "ldiskfs only test" && return; }
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.8.57) ]] ||
-               { skip "Need OST version at least 2.8.57" && return 0; }
+       [[ "$ost1_FSTYPE" != ldiskfs ]] &&
+               skip "ldiskfs only test"
+       [[ "$OST1_VERSION" -ge $(version_code 2.8.57) ]] ||
+               skip "Need OST version at least 2.8.57"
 
        local ost_opts="$(mkfs_opts ost1 $(ostdevname 1)) \
                --reformat $(ostdevname 1) $(ostvdevname 1)"
        do_facet ost1 $DEBUGFS -c -R stats `ostdevname 1` | grep "meta_bg" &&
-               skip "meta_bg already set" && return
+               skip "meta_bg already set"
 
        local opts=ost_opts
        if [[ ${!opts} != *mkfsoptions* ]]; then
@@ -7302,18 +7395,18 @@ test_99()
 
        echo "params: $opts"
 
+       load_modules
        add ost1 $opts || error "add ost1 failed with new params"
 
        do_facet ost1 $DEBUGFS -c -R stats `ostdevname 1` | grep "meta_bg" ||
                error "meta_bg is not set"
-
-       reformat
 }
 run_test 99 "Adding meta_bg option"
 
 test_100() {
        reformat
-       start_mds || error "MDS start failed"
+
+       start_mgsmds || error "MDS start failed"
        start_ost || error "unable to start OST"
        mount_client $MOUNT || error "client start failed"
        check_mount || error "check_mount failed"
@@ -7321,9 +7414,9 @@ test_100() {
        # Desired output
        # MGS:
        #     0@lo
-       # lustre-MDT0000:
+       # $FSNAME-MDT0000:
        #     0@lo
-       # lustre-OST0000:
+       # $FSNAME-OST0000:
        #     0@lo
        do_facet mgs 'lshowmount -v' | awk 'BEGIN {NR == 0; rc=1} /MGS:/ {rc=0}
                END {exit rc}' || error "lshowmount have no output MGS"
@@ -7338,7 +7431,7 @@ test_100() {
 }
 run_test 100 "check lshowmount lists MGS, MDT, OST and 0@lo"
 
-test_101() {
+test_101a() {
        local createmany_pid
        local dev=$FSNAME-OST0000-osc-MDT0000
        setup
@@ -7365,23 +7458,48 @@ test_101() {
        unlinkmany $DIR1/$tdir/$tfile-%d 50000
        cleanup
 }
-run_test 101 "Race MDT->OST reconnection with create"
+run_test 101a "Race MDT->OST reconnection with create"
+
+test_101b () {
+       local dev=$FSNAME-OST0000-osc-MDT0000
+       local dir=$DIR1/$tdir
+       setup
+
+       mkdir $dir
+       $LFS setstripe -c 1 -i 0 $dir
+       do_facet $SINGLEMDS "$LCTL --device $dev deactivate;"
+#define OBD_FAIL_OSP_CON_EVENT_DELAY 0x2107
+       do_facet mds1 "$LCTL set_param fail_loc=0x80002107 fail_val=20"
+       do_facet $SINGLEMDS "$LCTL --device $dev activate;"
+       stop_ost
+       sleep 25
+       start_ost
+
+       wait_osc_import_state client ost1 FULL
+       touch $dir/$tfile || error "Can't create file"
+
+       cleanup
+}
+run_test 101b "Race events DISCONNECT and ACTIVE in osp"
 
 test_102() {
-       [[ $(lustre_version_code $SINGLEMDS) -gt $(version_code 2.9.53) ]] ||
+       [[ "$MDS1_VERSION" -gt $(version_code 2.9.53) ]] ||
                skip "Need server version greater than 2.9.53"
+       [[ “$(mdsdevname 1)” != “$(mgsdevname)” ]] &&
+               [[ “$(facet_host mds1)” = “$(facet_host mgs)” ]] &&
+               skip "MGS must be on different node or combined"
+
        cleanup || error "cleanup failed with $?"
 
        local mds1dev=$(mdsdevname 1)
        local mds1mnt=$(facet_mntpt mds1)
-       local mds1fstype=$(facet_fstype mds1)
        local mds1opts=$MDS_MOUNT_OPTS
 
-       if [ $mds1fstype == ldiskfs ] &&
+       if [ "$mds1_FSTYPE" == ldiskfs ] &&
           ! do_facet mds1 test -b $mds1dev; then
                mds1opts=$(csa_add "$mds1opts" -o loop)
        fi
-       if [[ $mds1fstype == zfs ]]; then
+       if [[ "$mds1_FSTYPE" == zfs ]]; then
                import_zpool mds1 || return ${PIPESTATUS[0]}
        fi
 
@@ -7412,34 +7530,34 @@ test_renamefs() {
        echo "rename $FSNAME to $newname"
 
        if ! combined_mgs_mds ; then
-               local facet=$(mgsdevname)
+               local dev=$(mgsdevname)
 
                do_facet mgs \
-                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $facet"||
-                       error "(7) Fail to rename MGS"
-               if [ "$(facet_fstype $facet)" = "zfs" ]; then
+                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $dev" ||
+                               error "(7) Fail to rename MGS"
+               if [ "$(facet_fstype mgs)" = "zfs" ]; then
                        reimport_zpool mgs $newname-mgs
                fi
        fi
 
        for num in $(seq $MDSCOUNT); do
-               local facet=$(mdsdevname $num)
+               local dev=$(mdsdevname $num)
 
                do_facet mds${num} \
-                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $facet"||
-                       error "(8) Fail to rename MDT $num"
-               if [ "$(facet_fstype $facet)" = "zfs" ]; then
+                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $dev" ||
+                               error "(8) Fail to rename MDT $num"
+               if [ "$(facet_fstype mds${num})" = "zfs" ]; then
                        reimport_zpool mds${num} $newname-mdt${num}
                fi
        done
 
        for num in $(seq $OSTCOUNT); do
-               local facet=$(ostdevname $num)
+               local dev=$(ostdevname $num)
 
                do_facet ost${num} \
-                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $facet"||
-                       error "(9) Fail to rename OST $num"
-               if [ "$(facet_fstype $facet)" = "zfs" ]; then
+                       "$TUNEFS --fsname=$newname --rename=$FSNAME -v $dev" ||
+                               error "(9) Fail to rename OST $num"
+               if [ "$(facet_fstype ost${num})" = "zfs" ]; then
                        reimport_zpool ost${num} $newname-ost${num}
                fi
        done
@@ -7483,9 +7601,6 @@ test_103() {
        cp $LUSTRE/tests/test-framework.sh $DIR/$tdir ||
                error "(2) Fail to copy test-framework.sh"
 
-       if ! combined_mgs_mds ; then
-               mount_mgs_client
-       fi
        do_facet mgs $LCTL pool_new $FSNAME.pool1 ||
                error "(3) Fail to create $FSNAME.pool1"
        # name the pool name as the fsname
@@ -7497,9 +7612,6 @@ test_103() {
        $LFS setstripe -p $FSNAME $DIR/$tdir/d0 ||
                error "(6) Fail to setstripe on $DIR/$tdir/d0"
 
-       if ! combined_mgs_mds ; then
-               umount_mgs_client
-       fi
        KEEP_ZPOOL=true
        stopall
 
@@ -7509,9 +7621,6 @@ test_103() {
        FSNAME="mylustre"
        setupall
 
-       if ! combined_mgs_mds ; then
-               mount_mgs_client
-       fi
        test_103_check_pool $save_fsname 7
 
        if [ $OSTCOUNT -ge 2 ]; then
@@ -7520,9 +7629,6 @@ test_103() {
 
        $LFS setstripe -p $save_fsname $DIR/$tdir/f0 ||
                error "(16) Fail to setstripe on $DIR/$tdir/f0"
-       if ! combined_mgs_mds ; then
-               umount_mgs_client
-       fi
 
        stopall
 
@@ -7531,14 +7637,8 @@ test_103() {
        FSNAME="tfs"
        setupall
 
-       if ! combined_mgs_mds ; then
-               mount_mgs_client
-       fi
        test_103_check_pool $save_fsname 17
 
-       if ! combined_mgs_mds ; then
-               umount_mgs_client
-       fi
        stopall
 
        test_renamefs $save_fsname
@@ -7549,7 +7649,7 @@ test_103() {
 }
 run_test 103 "rename filesystem name"
 
-test_104() { # LU-6952
+test_104a() { # LU-6952
        local mds_mountopts=$MDS_MOUNT_OPTS
        local ost_mountopts=$OST_MOUNT_OPTS
        local mds_mountfsopts=$MDS_MOUNT_FS_OPTS
@@ -7557,7 +7657,7 @@ test_104() { # LU-6952
                        awk '{ print $2 }')
 
        [[ $(version_code $lctl_ver) -lt $(version_code 2.9.55) ]] &&
-               { skip "this test needs utils above 2.9.55" && return 0; }
+               skip "this test needs utils above 2.9.55"
 
        # specify "acl" in mount options used by mkfs.lustre
        if [ -z "$MDS_MOUNT_FS_OPTS" ]; then
@@ -7571,6 +7671,10 @@ test_104() { # LU-6952
 
        #reformat/remount the MDT to apply the MDT_MOUNT_FS_OPT options
        formatall
+       if ! combined_mgs_mds ; then
+               start_mgs
+       fi
+
        if [ -z "$MDS_MOUNT_OPTS" ]; then
                MDS_MOUNT_OPTS="-o noacl"
        else
@@ -7594,11 +7698,23 @@ test_104() { # LU-6952
        MDS_MOUNT_OPTS=$mds_mountopts
        OST_MOUNT_OPTS=$ost_mountopts
        MDS_MOUNT_FS_OPTS=$mds_mountfsopts
+}
+run_test 104a "Make sure user defined options are reflected in mount"
 
-       formatall
-       setupall
+test_104b() { # LU-12859
+       mount_client $MOUNT3 flock,localflock
+       stack_trap "umount_client $MOUNT3" EXIT
+       mount | grep "$MOUNT3 .*,flock" && error "flock is still set"
+       mount | grep "$MOUNT3 .*,localflock" || error "localflock is not set"
+       umount_client $MOUNT3
+       mount_client $MOUNT3 localflock,flock
+       mount | grep "$MOUNT3 .*,localflock" && error "localflock is still set"
+       mount | grep "$MOUNT3 .*,flock" || error "flock is not set"
+       umount_client $MOUNT3
+       mount_client $MOUNT3 localflock,flock,noflock
+       flock_is_enabled $MOUNT3 && error "some flock is still enabled" || true
 }
-run_test 104 "Make sure user defined options are reflected in mount"
+run_test 104b "Mount uses last flock argument"
 
 error_and_umount() {
        umount $TMP/$tdir
@@ -7609,7 +7725,7 @@ error_and_umount() {
 test_105() {
        cleanup -f
        reformat
-       setup
+       setup_noconfig
        mkdir -p $TMP/$tdir
        mount --bind $DIR $TMP/$tdir || error "mount bind mnt pt failed"
        rm -f $TMP/$tdir/$tfile
@@ -7642,7 +7758,7 @@ test_106() {
        local repeat=5
 
        reformat
-       setupall
+       setup_noconfig
        mkdir -p $DIR/$tdir || error "create $tdir failed"
        lfs setstripe -c 1 -i 0 $DIR/$tdir
 #define OBD_FAIL_CAT_RECORDS                        0x1312
@@ -7660,13 +7776,13 @@ test_106() {
 #shows that osp code is buggy
        do_facet mds1 $LCTL set_param fail_loc=0 fail_val=0
 
-       stopall
+       cleanup
 }
 run_test 106 "check osp llog processing when catalog is wrapped"
 
 test_107() {
-       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.10.50) ]] ||
-               { skip "Need MDS version > 2.10.50"; return; }
+       [[ "$MDS1_VERSION" -ge $(version_code 2.10.50) ]] ||
+               skip "Need MDS version > 2.10.50"
        local cmd
 
        start_mgsmds || error "start_mgsmds failed"
@@ -7696,7 +7812,7 @@ t_108_prep() {
        $rcmd mkdir -p $tmp/{mnt,images} || error "failed to mkdir remotely"
 
        for facet in $facets; do
-               [ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
+               [ "$mds1_FSTYPE" = zfs ] &&
                        $rcmd $ZPOOL -f export lustre-$facet > /dev/null 2>&1
                $rcmd mkdir $tmp/mnt/$facet ||
                        error "failed to mkdir $tmp/mnt/$facet"
@@ -7764,7 +7880,7 @@ t_108_cleanup() {
        for facet in $facets; do
                $rcmd umount -f $tmp/mnt/$facet ||
                        error "failed to umount $facet"
-               if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
+               if [ "$mds1_FSTYPE" = zfs ]; then
                        $rcmd $ZPOOL export -f lustre-$facet ||
                                error "failed to export lustre-$facet"
                fi
@@ -7774,13 +7890,10 @@ t_108_cleanup() {
 }
 
 test_108a() {
-       [ "$CLIENTONLY" ] && skip "Client-only testing" && return
-
-       [ $(facet_fstype $SINGLEMDS) != "zfs" ] &&
-               skip "zfs only test" && return
-
-       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.10.58) ] &&
-               skip "Need server version at least 2.10.58" && return
+       [ "$CLIENTONLY" ] && skip "Client-only testing"
+       [ "$mds1_FSTYPE" != zfs ] && skip "zfs only test"
+       [ "$MDS1_VERSION" -lt $(version_code 2.10.58) ] &&
+               skip "Need server version at least 2.10.58"
 
        stopall
        load_modules
@@ -7819,10 +7932,10 @@ test_108a() {
 
        echo "changing server nid..."
        $rcmd mount -t lustre -o nosvc lustre-mdt1/mdt1 $tmp/mnt/mdt1
-       $rcmd lctl replace_nids lustre-MDT0000 $nid
-       $rcmd lctl replace_nids lustre-MDT0001 $nid
-       $rcmd lctl replace_nids lustre-OST0000 $nid
-       $rcmd lctl replace_nids lustre-OST0001 $nid
+       $rcmd lctl replace_nids $FSNAME-MDT0000 $nid
+       $rcmd lctl replace_nids $FSNAME-MDT0001 $nid
+       $rcmd lctl replace_nids $FSNAME-OST0000 $nid
+       $rcmd lctl replace_nids $FSNAME-OST0001 $nid
        $rcmd umount $tmp/mnt/mdt1
 
        for facet in $facets; do
@@ -7841,13 +7954,10 @@ test_108a() {
 run_test 108a "migrate from ldiskfs to ZFS"
 
 test_108b() {
-       [ "$CLIENTONLY" ] && skip "Client-only testing" && return
-
-       [ $(facet_fstype $SINGLEMDS) != "ldiskfs" ] &&
-               skip "ldiskfs only test" && return
-
-       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.10.58) ] &&
-               skip "Need server version at least 2.10.58" && return
+       [ "$CLIENTONLY" ] && skip "Client-only testing"
+       [ "$mds1_FSTYPE" != ldiskfs ] && skip "ldiskfs only test"
+       [ "$MDS1_VERSION" -lt $(version_code 2.10.58) ] &&
+               skip "Need server version at least 2.10.58"
 
        stopall
        load_modules
@@ -7884,10 +7994,10 @@ test_108b() {
 
        echo "changing server nid..."
        $rcmd mount -t lustre -o nosvc,loop $tmp/images/mdt1 $tmp/mnt/mdt1
-       $rcmd lctl replace_nids lustre-MDT0000 $nid
-       $rcmd lctl replace_nids lustre-MDT0001 $nid
-       $rcmd lctl replace_nids lustre-OST0000 $nid
-       $rcmd lctl replace_nids lustre-OST0001 $nid
+       $rcmd lctl replace_nids $FSNAME-MDT0000 $nid
+       $rcmd lctl replace_nids $FSNAME-MDT0001 $nid
+       $rcmd lctl replace_nids $FSNAME-OST0000 $nid
+       $rcmd lctl replace_nids $FSNAME-OST0001 $nid
        $rcmd umount $tmp/mnt/mdt1
 
        for facet in $facets; do
@@ -7897,7 +8007,7 @@ test_108b() {
        done
 
        for facet in $scrub_list; do
-               $rcmd $LCTL lfsck_start -M lustre-$facet -t scrub ||
+               $rcmd $LCTL lfsck_start -M $FSNAME-$facet -t scrub ||
                        error "failed to start OI scrub on $facet"
        done
 
@@ -7909,7 +8019,6 @@ test_108b() {
 }
 run_test 108b "migrate from ZFS to ldiskfs"
 
-
 #
 # set number of permanent parameters
 #
@@ -7969,7 +8078,7 @@ test_109_clear_conf()
 
        local mgsdev
        if ! combined_mgs_mds ; then
-               mgsdev=$MGSDEV
+               mgsdev=$(mgsdevname)
                stop_mgs || error "stop_mgs failed"
                start_mgs "-o nosvc" || error "start_mgs nosvc failed"
        else
@@ -8008,8 +8117,11 @@ test_109_file_shortened() {
 
 test_109a()
 {
-       [ "$(facet_fstype mgs)" == "zfs" ] &&
-               skip "LU-8727: no implementation for ZFS" && return
+       [ $MDS1_VERSION -lt $(version_code 2.10.59) ] &&
+               skip "Needs MDS version 2.10.59 or later."
+       [ "$(facet_fstype mgs)" == zfs ] &&
+               skip "LU-8727: no implementation for ZFS"
+
        stopall
        reformat
        setup_noconfig
@@ -8051,8 +8163,11 @@ run_test 109a "test lctl clear_conf fsname"
 
 test_109b()
 {
-       [ "$(facet_fstype mgs)" == "zfs" ] &&
-               skip "LU-8727: no implementation for ZFS" && return
+       [ $MDS1_VERSION -lt $(version_code 2.10.59) ] &&
+               skip "Needs MDS version 2.10.59 or later."
+       [ "$(facet_fstype mgs)" == zfs ] &&
+               skip "LU-8727: no implementation for ZFS"
+
        stopall
        reformat
        setup_noconfig
@@ -8077,7 +8192,6 @@ test_109b()
                error "failed to clear client config"
 
        setup_noconfig
-
        #
        # check that configurations are intact
        #
@@ -8094,7 +8208,7 @@ run_test 109b "test lctl clear_conf one config"
 
 test_110()
 {
-       [[ $(facet_fstype $SINGLEMDS) != ldiskfs ]] &&
+       [[ "$mds1_FSTYPE" != ldiskfs ]] &&
                skip "Only applicable to ldiskfs-based MDTs"
 
        do_facet $SINGLEMDS $DEBUGFS -w -R supported_features |grep large_dir ||
@@ -8103,7 +8217,10 @@ test_110()
                skip "large_dir option is not supported on OSS"
 
        stopall # stop all targets before modifying the target counts
-       stack_trap "MDSCOUNT=$MDSCOUNT OSTCOUNT=$OSTCOUNT" EXIT
+       local old_mdscount=$MDSCOUNT
+       local old_ostcount=$OSTCOUNT
+       local replace=""
+       stack_trap "MDSCOUNT=$old_mdscount OSTCOUNT=$old_ostcount" EXIT
        MDSCOUNT=1
        OSTCOUNT=1
 
@@ -8125,26 +8242,33 @@ test_110()
        (( MDSSIZE < CONF_SANITY_110_LINKS / 3 * 4/3 * 4/3 )) &&
                CONF_SANITY_110_LINKS=$((MDSSIZE * 3 * 3/4 * 3/4))
 
+       combined_mgs_mds || replace=" --replace "
        local opts="$(mkfs_opts mds1 $(mdsdevname 1)) \
-                   --reformat $(mdsdevname 1) $(mdsvdevname 1)"
-       if [[ $opts != *mkfsoptions* ]]; then
-               opts+=" --mkfsoptions=\\\"-O large_dir -b 1024 -i 65536\\\""
-       else
-               opts="${opts//--mkfsoptions=\\\"/ \
-                       --mkfsoptions=\\\"-O large_dir -b 1024 -i 65536 }"
+                   $replace --reformat $(mdsdevname 1) $(mdsvdevname 1)"
+       if [[ $opts != *large_dir* ]]; then
+               if [[ $opts != *mkfsoptions* ]]; then
+                       opts+=" --mkfsoptions=\\\"-O large_dir -b 1024 -i 65536\\\""
+               else
+                       opts="${opts//--mkfsoptions=\\\"/ \
+                               --mkfsoptions=\\\"-O large_dir -b 1024 -i 65536 }"
+               fi
        fi
        echo "MDT params: $opts"
+       load_modules
+       combined_mgs_mds || start_mgs
        add mds1 $opts || error "add mds1 failed with new params"
        start mds1 $(mdsdevname 1) $MDS_MOUNT_OPTS
 
        opts="$(mkfs_opts ost1 $(ostdevname 1)) \
-               --reformat $(ostdevname 1) $(ostvdevname 1)"
+               $replace --reformat $(ostdevname 1) $(ostvdevname 1)"
 
-       if [[ $opts != *mkfsoptions* ]]; then
-               opts+=" --mkfsoptions=\\\"-O large_dir\\\" "
-       else
-               opts="${opts//--mkfsoptions=\\\"/ \
-                       --mkfsoptions=\\\"-O large_dir }"
+       if [[ $opts != *large_dir* ]]; then
+               if [[ $opts != *mkfsoptions* ]]; then
+                       opts+=" --mkfsoptions=\\\"-O large_dir\\\" "
+               else
+                       opts="${opts//--mkfsoptions=\\\"/ \
+                               --mkfsoptions=\\\"-O large_dir }"
+               fi
        fi
        echo "OST params: $opts"
        add ost1 $opts || error "add ost1 failed with new params"
@@ -8175,14 +8299,17 @@ test_110()
        echo "waiting for PIDs$pids to complete"
        wait $pids || error "createmany failed after $group groups"
 
+       umount_client $MOUNT2 -f
        cleanup
 
        run_e2fsck $(facet_active_host mds1) $(mdsdevname 1) -n
+       MDSCOUNT=$old_mdscount
+       OSTCOUNT=$old_ostcount
 }
 run_test 110 "Adding large_dir with 3-level htree"
 
 test_111() {
-       [[ $(facet_fstype $SINGLEMDS) != ldiskfs ]] &&
+       [[ "$mds1_FSTYPE" != ldiskfs ]] &&
                skip "Only applicable to ldiskfs-based MDTs"
 
        is_dm_flakey_dev $SINGLEMDS $(mdsdevname 1) &&
@@ -8196,32 +8323,42 @@ test_111() {
 
        # cleanup before changing target counts
        cleanup
+       local old_mdscount=$MDSCOUNT
+       local old_ostcount=$OSTCOUNT
+       local old_mdssize=$MDSSIZE
+       local replace=""
        stack_trap "MDSSIZE=$MDSSIZE MDSCOUNT=$MDSCOUNT OSTCOUNT=$OSTCOUNT" EXIT
        MDSCOUNT=1
        OSTCOUNT=1
        (( MDSSIZE < 2400000 )) && MDSSIZE=2400000 # need at least 2.4GB
 
        local mdsdev=$(mdsdevname 1)
-
+       combined_mgs_mds || replace=" --replace "
        local opts="$(mkfs_opts mds1 $(mdsdevname 1)) \
-                   --reformat $(mdsdevname 1) $(mdsvdevname 1)"
-       if [[ $opts != *mkfsoptions* ]]; then
-               opts+=" --mkfsoptions=\\\"-O large_dir -i 1048576 \\\" "
-       else
-               opts="${opts//--mkfsoptions=\\\"/ \
-                       --mkfsoptions=\\\"-O large_dir -i 1048576 }"
+                   $replace --reformat $(mdsdevname 1) $(mdsvdevname 1)"
+       if [[ $opts != *large_dir* ]]; then
+               if [[ $opts != *mkfsoptions* ]]; then
+                       opts+=" --mkfsoptions=\\\"-O large_dir -i 1048576 \\\" "
+               else
+                       opts="${opts//--mkfsoptions=\\\"/ \
+                               --mkfsoptions=\\\"-O large_dir -i 1048576 }"
+               fi
        fi
        echo "MDT params: $opts"
+       load_modules
+       combined_mgs_mds || start_mgs
        __touch_device mds 1
        add mds1 $opts || error "add mds1 failed with new params"
        start mds1 $(mdsdevname 1) $MDS_MOUNT_OPTS
 
        opts="$(mkfs_opts ost1 $(ostdevname 1)) \
-               --reformat $(ostdevname 1) $(ostvdevname 1)"
-       if [[ $opts != *mkfsoptions* ]]; then
-               opts+=" --mkfsoptions=\\\"-O large_dir \\\""
-       else
-               opts="${opts//--mkfsoptions=\\\"/ --mkfsoptions=\\\"-O large_dir }"
+               $replace --reformat $(ostdevname 1) $(ostvdevname 1)"
+       if [[ $opts != *large_dir* ]]; then
+               if [[ $opts != *mkfsoptions* ]]; then
+                       opts+=" --mkfsoptions=\\\"-O large_dir \\\""
+               else
+                       opts="${opts//--mkfsoptions=\\\"/ --mkfsoptions=\\\"-O large_dir }"
+               fi
        fi
        echo "OST params: $opts"
        __touch_device ost 1
@@ -8283,32 +8420,83 @@ test_111() {
                (( left > 1200 )) && needskip=1
        done
 
+       umount_client $MOUNT2 -f
        cleanup
 
        (( $needskip )) && skip "ETA ${left}s after $num files / ${taken}s is too long"
 
        run_e2fsck $(facet_active_host mds1) $(mdsdevname 1) -n
+       MDSCOUNT=$old_mdscount
+       OSTCOUNT=$old_ostcount
+       MDSSIZE=$old_mdssize
 }
 run_test 111 "Adding large_dir with over 2GB directory"
 
+test_112() {
+       start_mds || error "MDS start failed"
+       start_ost || error "OSS start failed"
+       echo "start ost2 service on $(facet_active_host ost2)"
+       start ost2 $(ostdevname 2) $(csa_add "$OST_MOUNT_OPTS" -o no_precreate) ||
+               error "start ost2 facet failed"
+       local val=$(do_facet ost2 \
+                  "$LCTL get_param -n obdfilter.$FSNAME-OST0001*.no_precreate")
+       (( $val == 1 )) || error "obdfilter.$FSNAME-OST0001*.no_precreate=$val"
+
+       mount_client $MOUNT || error "mount client failed"
+       wait_osc_import_state mds1 ost1 FULL
+       wait_osc_import_state client ost1 FULL
+       wait_osc_import_state client ost2 FULL
+
+       $LFS setstripe -i 0 $DIR/$tfile.0 ||
+               error "problem creating $tfile.0 on OST0000"
+       $LFS setstripe -i 1 $DIR/$tfile.1 && $LFS getstripe $DIR/$tfile.1 &&
+               (( $($LFS getstripe -i $DIR/$tfile.1) == 1 )) &&
+               error "allowed to create $tfile.1 on OST0001"
+       do_facet ost2 $LCTL set_param obdfilter.*.no_precreate=0
+       sleep_maxage
+       $LFS setstripe -i 1 $DIR/$tfile.2 ||
+               error "failed to create $tfile.2 on ost1 facet"
+       # files not cleaned with ONLY_REPEAT because of client unmount below
+       rm -f $DIR/$tfile.[012]
+       stop_ost2 || error "stop ost2 facet failed"
+       cleanup
+}
+run_test 112 "mount OST with nocreate option"
 
 cleanup_115()
 {
        trap 0
        stopall
        rm -f $TMP/$tdir/lustre-mdt
-       formatall
 }
 
 test_115() {
-       IMAGESIZE=$((3072 << 30)) # 3072 GiB
-
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ "$mds1_FSTYPE" != ldiskfs ]; then
                skip "Only applicable to ldiskfs-based MDTs"
-               return
        fi
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+
+       local dbfs_ver=$(do_facet $SINGLEMDS $DEBUGFS -V 2>&1)
+
+       echo "debugfs version: $dbfs_ver"
+       echo "$dbfs_ver" | egrep -w "1.44.3.wc1|1.44.5.wc1|1.45.2.wc1" &&
+               skip_env "This version of debugfs doesn't show inode number"
+
+       IMAGESIZE=$((3072 << 30)) # 3072 GiB
 
        stopall
+
+       local saved_flakey=${FLAKEY}
+       stack_trap "FLAKEY=$saved_flakey" EXIT
+       FLAKEY=false
+
+       echo "client1: "
+       lctl dl
+       mount | grep lustre
+       echo "mds1: "
+       do_facet mds1 "hostname; lctl dl; mount"
+       echo "ost1: "
+       do_facet ost1 "hostname; lctl dl; mount"
        # We need MDT size 3072GB, because it is smallest
        # partition that can store 2B inodes
        do_facet $SINGLEMDS "mkdir -p $TMP/$tdir"
@@ -8317,59 +8505,55 @@ test_115() {
        do_facet $SINGLEMDS "touch $mdsimgname"
        trap cleanup_115 RETURN EXIT
        do_facet $SINGLEMDS "$TRUNCATE $mdsimgname $IMAGESIZE" ||
-               { skip "Backend FS doesn't support sparse files"; return 0; }
+               skip "Backend FS doesn't support sparse files"
        local mdsdev=$(do_facet $SINGLEMDS "losetup -f")
        do_facet $SINGLEMDS "losetup $mdsdev $mdsimgname"
 
-       local mds_opts="$(mkfs_opts mds1 ${mdsdev}) --device-size=$IMAGESIZE   \
-               --mkfsoptions='-O lazy_itable_init,ea_inode,^resize_inode,meta_bg \
-               -i 1024'"
+       local mds_opts="$(mkfs_opts mds1 $(mdsdevname 1))        \
+               --mkfsoptions='-O ea_inode,^resize_inode,meta_bg \
+               -N 2247484000 -E lazy_itable_init' --device-size=$IMAGESIZE"
        add mds1 $mds_opts --mgs --reformat $mdsdev ||
-               { skip_env "format large MDT failed"; return 0; }
-       add ost1 $(mkfs_opts ost1 $(ostdevname 1)) --index=$i \
-                       --reformat $(ostdevname 1) $(ostvdevname 1)
-
-       start $SINGLEMDS ${mdsdev} $MDS_MOUNT_OPTS || error "start MDS failed"
+               skip_env "format large MDT failed"
+       opts="$(mkfs_opts ost1 $(ostdevname 1)) \
+               $replace --reformat $(ostdevname 1) $(ostvdevname 1)"
+       add ost1 $opts || error "add ost1 failed with new params"
+       start $SINGLEMDS  $mdsdev $MDS_MOUNT_OPTS || error "start MDS failed"
        start_ost || error "start OSS failed"
        mount_client $MOUNT || error "mount client failed"
 
        mkdir -p $DIR/$tdir || error "mkdir $DIR/$tdir fail"
-       for goal in $(do_facet $SINGLEMDS "ls /sys/fs/ldiskfs/*/inode_goal"); do
-               do_facet $SINGLEMDS "echo 2147483947 >> $goal; grep . $goal"
-       done
-
+       goal="/sys/fs/ldiskfs/$(basename $mdsdev)/inode_goal"
+       echo goal: $goal
+       # 2147483648 is 0x80000000
+       do_facet $SINGLEMDS "echo 2147483648 >> $goal; grep . $goal"
        touch $DIR/$tdir/$tfile
 
-       # Add > 5k bytes to xattr
-       for i in {1..30}; do
-               ln $DIR/$tdir/$tfile $DIR/$tdir/$(printf "link%0250d" $i) ||
-                       error "Can't make link"
+       # attrs from 1 to 16 go to block, 17th - to inode
+       for i in {1..17}; do
+               local nm="trusted.ea$i"
+               setfattr -n $nm -v $(printf "xattr%0250d" $i) $DIR/$tdir/$tfile
        done
 
-       sync; sleep 5; sync
+       do_facet $SINGLEMDS $DEBUGFS -c -R "stat ROOT/$tdir/$tfile" $mdsdev
 
+       # inode <2147483649> trusted.ea16 (255)
        local inode_num=$(do_facet $SINGLEMDS \
-                        "$DEBUGFS -c -R 'stat ROOT/$tdir/$tfile' $mdsimgname" |
-                        awk '/link =/ { print $4 }' |
+                       "$DEBUGFS -c -R 'stat ROOT/$tdir/$tfile' $mdsdev" |
+                        awk '/ea17/ { print $2 }' |
                         sed -e 's/>//' -e 's/<//' -e 's/\"//')
        echo "inode num: $inode_num"
-       [ $inode_num -ge 2147483947 ] || error "inode $inode_num too small"
+       [ $inode_num -ge 2147483648 ] || error "inode $inode_num too small"
        do_facet $SINGLEMDS "losetup -d $mdsdev"
        cleanup_115
 }
 run_test 115 "Access large xattr with inodes number over 2TB"
 
 test_116() {
-       [ $(facet_fstype $SINGLEMDS) != "ldiskfs" ] &&
-               skip "ldiskfs only test" && return
-
-       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.10.59) ] &&
-               skip "Need server version at least 2.10.59" && return
-
-       do_facet $SINGLEMDS which mkfs.xfs || {
+       [ "$mds1_FSTYPE" != ldiskfs ] && skip "ldiskfs only test"
+       [ "$MDS1_VERSION" -lt $(version_code 2.10.59) ] &&
+               skip "Need server version at least 2.10.59"
+       do_facet $SINGLEMDS which mkfs.xfs ||
                skip_env "No mkfs.xfs installed"
-               return
-       }
 
        stopall
        load_modules
@@ -8397,11 +8581,15 @@ test_116() {
 
        MDSSIZE=$old_mdssize
        MDSISIZE=$old_mdsisize
-       do_facet $SINGLEMDS $MKFS $opts17t $tmpmnt/$mdtimg ||
+
+       do_facet $SINGLEMDS $MKFS \
+               ${opts17t/-E /-E lazy_itable_init,lazy_journal_init,} \
+               $tmpmnt/$mdtimg ||
                error "failed to mkfs for $tmpmnt/$mdtimg"
 
        do_facet $SINGLEMDS $TUNE2FS -l $tmpmnt/$mdtimg |
                grep -qw 'features.*extent' || error "extent should be enabled"
+       reformat_and_config
 }
 run_test 116 "big size MDT support"
 
@@ -8414,11 +8602,55 @@ test_117() {
 }
 run_test 117 "lctl get_param return errors properly"
 
+test_119() {
+       local had_config
+       local size_mb
+
+       [[ "$MDSCOUNT" -ge 2 ]] || skip "Need more at least 2 MDTs"
+
+       had_config=$(do_facet mds1 "$LCTL get_param debug | grep config")
+       do_facet mds1 "$LCTL set_param debug=+config"
+       do_facet mds1 "$LCTL clear"
+
+       setup
+       do_facet mds2 "$TUNEFS --writeconf $(mdsdevname 2)" &>/dev/null
+       # mount after writeconf will make "add osp" added to mdt0 config:
+       # 53 (224)marker  60 (flags=0x01, v2.5.1.0) lustre-MDT0001  'add osp'
+       # 54 (080)add_uuid  nid=...  0:  1:...
+       # 55 (144)attach    0:lustre-MDT0001-osp-MDT0000  1:osp  2:...
+       # 56 (144)setup     0:lustre-MDT0001-osp-MDT0000  1:...  2:...
+       # 57 (136)modify_mdc_tgts add 0:lustre-MDT0000-mdtlov  1:...  2:1  3:1
+       # duplicate modify_mdc_tgts caused crashes
+
+       debug_size_save
+       # using larger debug_mb size to avoid lctl dk log truncation
+       size_mb=$((DEBUG_SIZE_SAVED * 4))
+       for i in {1..3}; do
+               stop_mdt 2
+               # though config processing stops after failed attach and setup
+               # it will proceed after the failed command after each writeconf
+               # this is the original scenario of the issue
+               do_facet mds2 "$TUNEFS --writeconf $(mdsdevname 2)" &>/dev/null
+               do_facet mds1 "$LCTL set_param debug_mb=$size_mb"
+               start_mdt 2
+
+               wait_update_facet_cond mds1 \
+                       "$LCTL dk | grep -c Processed.log.$FSNAME-MDT0000" \
+                       ">" 1 300
+       done
+       debug_size_restore
+
+       [[ -z "$had_config" ]] && do_facet mds1 lctl set_param debug=-config
+
+       reformat
+}
+run_test 119 "writeconf on slave mdt shouldn't duplicate mdc/osp and crash"
+
 test_120() { # LU-11130
        [ "$MDSCOUNT" -lt 2 ] && skip "mdt count < 2"
-       [ $(facet_fstype $SINGLEMDS) != "ldiskfs" ] &&
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
                skip "ldiskfs only test"
-       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.56) ] &&
+       [ "$MDS1_VERSION" -lt $(version_code 2.11.56) ] &&
                skip "Need DNE2 capable MD target with LU-11130 fix"
 
        setup
@@ -8439,31 +8671,105 @@ test_120() { # LU-11130
 }
 run_test 120 "cross-target rename should not create bad symlinks"
 
-test_122() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       [[ $(lustre_version_code ost1) -ge $(version_code 2.11.53) ]] ||
-               { skip "Need OST version at least 2.11.53" && return 0; }
+test_121(){
+       stopall
+       start_mgsmds || error "MGS MDS Start failed"
+       fail mgs
+       stop_mds || error "Stopping MDSes failed"
+       #failback
+       start_mds
+       fail mgs
+       stop_mds || error "Stopping MDSes failed"
+}
+run_test 121 "failover MGS"
 
+test_122a() {
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       [[ "$OST1_VERSION" -ge $(version_code 2.11.53) ]] ||
+               skip "Need OST version at least 2.11.53"
 
        reformat
        LOAD_MODULES_REMOTE=true load_modules
 #define OBD_FAIL_OFD_SET_OID 0x1e0
        do_facet ost1 $LCTL set_param fail_loc=0x00001e0
 
-       setupall
+       setup_noconfig
        $LFS mkdir -i1 -c1 $DIR/$tdir
        $LFS setstripe -i0 -c1 $DIR/$tdir
        do_facet ost1 $LCTL set_param fail_loc=0
        createmany -o $DIR/$tdir/file_ 1000 ||
                error "Fail to create a new sequence"
 
+       cleanup
+}
+run_test 122a "Check OST sequence update"
+
+test_122b() {
+       [[ "$OST1_VERSION" -ge $(version_code 2.11.53) ]] ||
+               skip "Need OST version at least 2.11.53"
+       local err
+
        reformat
+       LOAD_MODULES_REMOTE=true load_modules
+#define OBD_FAIL_OFD_SET_OID 0x1e0
+       do_facet ost1 $LCTL set_param fail_loc=0x00001e0
+
+       stack_trap cleanup EXIT
+       setup_noconfig
+       do_facet ost1 $LCTL set_param obdfilter.*.precreate_batch=256
+       $LFS mkdir -i0 -c1 $DIR/$tdir || error "failed to create directory"
+       $LFS setstripe -i0 -c1 $DIR/$tdir || error "failed to setstripe"
+       do_facet ost1 $LCTL set_param fail_loc=0
+       # overflow IDIF 32bit and create > OST_MAX_PRECREATE*5
+       # so a new wrong sequence would differ from an original with error
+       #define OST_MAX_PRECREATE 20000
+       local ost_max_precreate=20100
+       local num_create=$(( ost_max_precreate * 5 ))
+
+       # Check the number of inodes available on OST0
+       local files=0
+       local ifree=$($LFS df -i $MOUNT |
+               awk '/OST0000/ { print $4 }'; exit ${PIPESTATUS[0]})
+
+       log "On OST0, $ifree inodes available. Want $num_create. rc=$?"
+
+       if [ $ifree -lt 10000 ]; then
+               files=$(( ifree - 50 ))
+       else
+               files=10000
+       fi
+
+       local j=$((num_create / files + 1))
+
+       for i in $(seq 1 $j); do
+               createmany -o $DIR/$tdir/$tfile-$i- $files ||
+                       error "createmany fail create $files files: $?"
+               unlinkmany $DIR/$tdir/$tfile-$i- $files ||
+                       error "unlinkmany failed unlink $files files"
+       done
+       sync
+       touch $DIR/$tdir/$tfile
+       do_facet ost1 sync
+       #we need a write req during recovery for ofd_seq_load
+       replay_barrier ost1
+       dd if=/dev/urandom of=$DIR/$tdir/$tfile bs=1024k count=1 oflag=sync ||
+                error "failed to write file"
+
+       # OBD_FAIL_OST_CREATE_NET 0x204
+       do_facet ost1 $LCTL set_param fail_loc=0x80000204
+       fail ost1
+       createmany -o $DIR/$tdir/file_ 100
+       sync
+
+       err=$(do_facet ost1 dmesg | tac | sed "/Recovery over/,$ d" |
+             grep "OST replaced or reformatted")
+       [ -z "$err" ] || error $err
 }
-run_test 122 "Check OST sequence update"
+run_test 122b "Check OST sequence wouldn't change when IDIF 32bit overflows"
 
 test_123aa() {
        remote_mgs_nodsh && skip "remote MGS with nodsh"
-       [ -d $MOUNT/.lustre ] || setupall
+       [ -d $MOUNT/.lustre ] || setup
 
        # test old logid format until removal from llog_ioctl.c::str2logid()
        if [ $MGS_VERSION -lt $(version_code 3.1.53) ]; then
@@ -8486,22 +8792,26 @@ test_123ab() {
        [[ $MGS_VERSION -gt $(version_code 2.11.51) ]] ||
                skip "Need server with working llog_print support"
 
-       [ -d $MOUNT/.lustre ] || setupall
+       [ -d $MOUNT/.lustre ] || setup
 
        local yaml
        local orig_val
+       local mgs_arg=""
+
+       [[ $MGS_VERSION -gt $(version_code 2.13.54) ]] ||
+               mgs_arg="--device MGS"
 
        orig_val=$(do_facet mgs $LCTL get_param jobid_name)
-       do_facet mgs $LCTL set_param -P jobid_name="testname"
+       do_facet mgs $LCTL set_param -P jobid_name="TESTNAME"
 
-       yaml=$(do_facet mgs $LCTL --device MGS llog_print params |
+       yaml=$(do_facet mgs $LCTL $mgs_arg llog_print params |
               grep jobid_name | tail -n 1)
 
        local param=$(awk '{ print $10 }' <<< "$yaml")
        local val=$(awk '{ print $12 }' <<< "$yaml")
        #return to the default
        do_facet mgs $LCTL set_param -P jobid_name=$orig_val
-       [ $val = "testname" ] || error "bad value: $val"
+       [ $val = "TESTNAME" ] || error "bad value: $val"
        [ $param = "jobid_name," ] || error "Bad param: $param"
 }
 run_test 123ab "llog_print params output values from set_param -P"
@@ -8513,12 +8823,16 @@ test_123ac() { # LU-11566
 
        local start=10
        local end=50
+       local mgs_arg=""
 
-       [ -d $MOUNT/.lustre ] || setupall
+       [[ $MGS_VERSION -gt $(version_code 2.13.54) ]] ||
+               mgs_arg="--device MGS"
+
+       [ -d $MOUNT/.lustre ] || setup
 
        # - { index: 10, event: add_uuid, nid: 192.168.20.1@tcp(0x20000c0a81401,
        #     node: 192.168.20.1@tcp }
-       do_facet mgs $LCTL --device MGS \
+       do_facet mgs $LCTL $mgs_arg \
                llog_print --start $start --end $end $FSNAME-client | tr -d , |
                while read DASH BRACE INDEX idx EVENT BLAH BLAH BLAH; do
                (( idx >= start )) || error "llog_print index $idx < $start"
@@ -8533,7 +8847,7 @@ test_123ad() { # LU-11566
        do_facet mgs "$LCTL help llog_print" 2>&1 | grep -q -- --start ||
                skip "Need 'lctl llog_print --start' on MGS"
 
-       [ -d $MOUNT/.lustre ] || setupall
+       [ -d $MOUNT/.lustre ] || setup
 
        # append a new record, to avoid issues if last record was cancelled
        local old=$($LCTL get_param -n osc.*-OST0000-*.max_dirty_mb | head -1)
@@ -8553,8 +8867,162 @@ test_123ad() { # LU-11566
 }
 run_test 123ad "llog_print shows all records"
 
+test_123ae() { # LU-11566
+       local max
+       local mgs_arg=""
+       local log
+       local id
+       local orig
+       local new
+       local rpcs
+
+       remote_mgs_nodsh && skip "remote MGS with nodsh"
+       [ -d $MOUNT/.lustre ] || setupall
+
+       max=$($LCTL get_param -n osc.*-OST0000-*.max_dirty_mb | head -1)
+       pgs=$($LCTL get_param -n osc.*-OST0000-*.max_pages_per_rpc | head -1)
+       [[ $MGS_VERSION -gt $(version_code 2.13.54) ]] ||
+               mgs_arg="--device MGS"
+
+       if do_facet mgs "$LCTL help llog_cancel" 2>&1| grep -q -- --log_id; then
+               # save one set_param -P record in case none exist
+
+               do_facet mgs $LCTL set_param -P osc.*.max_pages_per_rpc=$pgs
+               stack_trap "do_facet mgs $LCTL set_param -P -d \
+                               osc.*.max_pages_per_rpc"
+
+               log=params
+               orig=$(do_facet mgs $LCTL $mgs_arg llog_print $log |
+                       tail -1 | awk '{ print $4 }' | tr -d , )
+               do_facet mgs $LCTL set_param -P osc.*.max_dirty_mb=$max
+               do_facet mgs $LCTL $mgs_arg llog_print $log | tail -1 |
+                       grep "parameter: osc.*.max_dirty_mb" ||
+                       error "new set_param -P wasn't stored in params log"
+
+               # - { index: 71, event: set_param, device: general,
+               #     param: osc.*.max_dirty_mb, value: 256 }
+               id=$(do_facet mgs $LCTL $mgs_arg llog_print $log |
+                    tail -1 | awk '{ print $4 }' | tr -d , )
+               do_facet mgs $LCTL $mgs_arg llog_cancel $log --log_idx=$id
+               local new=$(do_facet mgs $LCTL $mgs_arg llog_print $log |
+                           tail -1 | awk '{ print $4 }' | tr -d , )
+               (( new == orig )) ||
+                       error "new llog_cancel now $new, not at $orig records"
+       fi
+
+       # test old positional parameters for a while still
+       if [ "$MGS_VERSION" -le $(version_code 3.1.53) ]; then
+               log=$FSNAME-client
+
+               do_facet mgs $LCTL conf_param \
+                       $FSNAME-OST0000.osc.max_pages_per_rpc=$pgs
+               stack_trap "do_facet mgs $LCTL conf_param -d \
+                               $FSNAME-OST0000.osc.max_pages_per_rpc"
+
+               orig=$(do_facet mgs $LCTL --device MGS llog_print $log |
+                      tail -1 | awk '{ print $4 }' | tr -d , )
+               do_facet mgs $LCTL conf_param $FSNAME-OST0000.osc.max_dirty_mb=$max
+               do_facet mgs $LCTL --device MGS llog_print $log |
+                       tail -1 | grep "parameter: osc.max_dirty_mb" ||
+                       error "old conf_param wasn't stored in params log"
+               do_facet mgs $LCTL --device MGS llog_print $log
+               # - { index: 71, event: conf_param, device: testfs-OST0000-osc,
+               #     param: osc.max_dirty_mb=256 }
+               id=$(do_facet mgs $LCTL --device MGS llog_print $log |
+                    tail -1 | awk '{ print $4 }' | tr -d , )
+               do_facet mgs $LCTL --device MGS llog_cancel $log $id
+               do_facet mgs $LCTL --device MGS llog_print $log
+               new=$(do_facet mgs $LCTL --device MGS llog_print $log |
+                     tail -1 | awk '{ print $4 }' | tr -d , )
+               (( new == orig )) ||
+                       error "old llog_cancel now $new, not at $orig records"
+       fi
+}
+run_test 123ae "llog_cancel can cancel requested record"
+
+test_123af() { #LU-13609
+       [ "$MGS_VERSION" -ge $(version_code 2.13.54) -a \
+          "$MDS1_VERSION" -ge $(version_code 2.13.54) ] ||
+               skip "Need both MGS and MDS version at least 2.13.54"
+
+       [ -d $MOUNT/.lustre ] || setupall
+       stack_trap "do_facet mds1 $LCTL set_param fail_loc=0" EXIT
+
+       local device
+       local facet
+       local cmd
+       local orig_clist
+       local orig_count
+       local new_clist
+       local new_count
+
+       for device in "MGS" "$FSNAME-MDT0000"; do
+               cmd="--device $device llog_catlist"
+               echo "lctl $cmd ..."
+               if [ "$device" = "MGS" ]; then
+                       facet="mgs"
+               else
+                       facet="mds1"
+               fi
+               orig_clist=($(do_facet $facet $LCTL $cmd | awk '{ print $2 }'))
+               orig_count=${#orig_clist[@]}
+               echo "orig_clist: ${orig_clist[@]}"
+
+               #define OBD_FAIL_CATLIST 0x131b
+               #fetch to llog records from the second one
+               do_facet $facet $LCTL set_param fail_loc=0x131b fail_val=2
+
+               new_clist=($(do_facet $facet $LCTL $cmd | awk '{ print $2 }'))
+               new_count=${#new_clist[@]}
+               echo "new_clist: ${new_clist[@]}"
+
+               [ $new_count -eq $((orig_count - 1)) ] ||
+                       error "$new_count != $orig_count - 1"
+               for i in $(seq 0 $new_count); do
+                       j=$((i + 1))
+                       [ "${orig_clist[$j]}" = "${new_clist[$i]}" ] ||
+                               error "${orig_clist[$j]} != ${new_clist[$i]}"
+               done
+               do_facet mds1 $LCTL set_param fail_loc=0
+               echo "done"
+       done
+}
+run_test 123af "llog_catlist can show all config files correctly"
+
+test_123ag() { # LU-15142
+       local rec
+       local orig_val
+
+       remote_mgs_nodsh && skip "remote MGS with nodsh"
+       (( $MGS_VERSION >= $(version_code 2.14.55) )) ||
+               skip "Need server version least 2.14.55"
+
+       [ -d $MOUNT/.lustre ] || setup
+
+       orig_val=$(do_facet mgs $LCTL get_param jobid_name)
+       stack_trap "do_facet mgs $LCTL set_param -P jobid_name=$orig_val"
+
+       do_facet mgs $LCTL set_param -P jobid_name="TESTNAME1"
+       do_facet mgs $LCTL set_param -P -d jobid_name
+       rec=$(do_facet mgs $LCTL --device MGS llog_print params |
+               grep -c jobid_name)
+       (( rec == 0 )) || error "parameter was not deleted, check #1"
+       do_facet mgs $LCTL set_param -P jobid_name="TESTNAME1"
+       rec=$(do_facet mgs $LCTL --device MGS llog_print params |
+               grep -c jobid_name)
+       (( rec == 1)) || error "parameter is not set"
+       # usage with ordinary set_param format works too
+       do_facet mgs $LCTL set_param -P -d jobid_name="ANY"
+       rec=$(do_facet mgs $LCTL --device MGS llog_print params |
+               grep -c jobid_name)
+       (( rec == 0 )) || error "parameter was not deleted, check #2"
+}
+run_test 123ag "llog_print skips values deleted by set_param -P -d"
+
 test_123F() {
-       setupall
+       remote_mgs_nodsh && skip "remote MGS with nodsh"
+
+       [ -d $MOUNT/.lustre ] || setup
        local yaml_file="$TMP/$tfile.yaml"
        do_facet mgs rm "$yaml_file"
        local cfgfiles=$(do_facet mgs "lctl --device MGS llog_catlist" |
@@ -8562,7 +9030,7 @@ test_123F() {
 
        # set jobid_var to a different value for test
        local orig_val=$(do_facet mgs $LCTL get_param jobid_var)
-       do_facet mgs $LCTL set_param -P jobid_var="testname"
+       do_facet mgs $LCTL set_param -P jobid_var="TESTNAME"
 
        for i in $cfgfiles params; do
                do_facet mgs "lctl --device MGS llog_print ${i} >> $yaml_file"
@@ -8573,10 +9041,7 @@ test_123F() {
        echo "Writeconf"
        writeconf_all
        echo "Remounting"
-       mountmgs
-       mountmds
-       mountoss
-       mountcli
+       setup_noconfig
 
        # Reapply the config from before
        echo "Setting configuration parameters"
@@ -8585,19 +9050,26 @@ test_123F() {
        local set_val=$(do_facet mgs $LCTL get_param jobid_var)
        do_facet mgs $LCTL set_param -P $orig_val
 
-       [ $set_val == "jobid_var=testname" ] ||
-               error "$set_val is not testname"
+       [ $set_val == "jobid_var=TESTNAME" ] ||
+               error "$set_val is not TESTNAME"
 
        do_facet mgs rm "$yaml_file"
+       cleanup
 }
 run_test 123F "clear and reset all parameters using set_param -F"
 
 test_124()
 {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       [ -z $mds2failover_HOST ] && skip "needs MDT failover setup" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       [ -z $mds2failover_HOST ] && skip "needs MDT failover setup"
 
        setup
+       do_facet mgs $LCTL --device MGS llog_print $FSNAME-client |
+               grep 1.2.3.4@tcp && error "Should not be fake nid"
+       do_facet mgs $LCTL conf_param $FSNAME-MDT0001.failover.node=1.2.3.4@tcp\
+               || error "Set params error"
+       do_facet mgs $LCTL --device MGS llog_print $FSNAME-client |
+               grep 1.2.3.4@tcp || error "Fake nid should be added"
        cleanup
 
        load_modules
@@ -8622,6 +9094,309 @@ test_124()
 }
 run_test 124 "check failover after replace_nids"
 
+get_max_sectors_kb() {
+       local facet="$1"
+       local device="$2"
+       local dev_base=$(basename $(do_facet ${facet} "readlink -f ${device}"))
+       local max_sectors_path="/sys/block/${dev_base}/queue/max_sectors_kb"
+
+       do_facet ${facet} "[[ -e ${max_sectors_path} ]] &&
+                          cat ${max_sectors_path}"
+}
+
+get_max_hw_sectors_kb() {
+       local facet="$1"
+       local device="$2"
+       local dev_base=$(basename $(do_facet ${facet} "readlink -f ${device}"))
+       local max_hw_path="/sys/block/${dev_base}/queue/max_hw_sectors_kb"
+
+       do_facet ${facet} "[[ -e ${max_hw_path} ]] && cat ${max_hw_path}"
+}
+
+set_max_sectors_kb() {
+       local facet="$1"
+       local device="$2"
+       local value="$3"
+       local dev_base=$(basename $(do_facet ${facet} "readlink -f ${device}"))
+       local max_sectors_path="/sys/block/${dev_base}/queue/max_sectors_kb"
+
+       do_facet ${facet} "[[ -e ${max_sectors_path} ]] &&
+                          echo ${value} > ${max_sectors_path}"
+       rc=$?
+
+       [[ $rc -ne 0 ]] && echo "Failed to set ${max_sectors_path} to ${value}"
+
+       return $rc
+}
+
+# Return 0 if all slave devices have max_sectors_kb == max_hw_sectors_kb
+# Otherwise return > 0
+check_slaves_max_sectors_kb()
+{
+       local facet="$1"
+       local device="$2"
+       local dev_base=$(basename $(do_facet ${facet} "readlink -f ${device}"))
+       local slaves_dir=/sys/block/${dev_base}/slaves
+       local slave_devices=$(do_facet ${facet} "ls ${slaves_dir} 2>/dev/null")
+       [[ -z ${slave_devices} ]] && return 0
+
+       local slave max_sectors new_max_sectors max_hw_sectors path
+       local rc=0
+       for slave in ${slave_devices}; do
+               path="/dev/${slave}"
+               ! is_blkdev ${facet} ${path} && continue
+               max_sectors=$(get_max_sectors_kb ${facet} ${path})
+               max_hw_sectors=$(get_max_hw_sectors_kb ${facet} ${path})
+               new_max_sectors=${max_hw_sectors}
+               [[ ${new_max_sectors} -gt ${RQ_SIZE_LIMIT} ]] &&
+                       new_max_sectors=${RQ_SIZE_LIMIT}
+
+               if [[ ${max_sectors} -ne ${new_max_sectors} ]]; then
+                       echo "${path} ${max_sectors} ${new_max_sectors}"
+                       ((rc++))
+               fi
+               check_slaves_max_sectors_kb ${facet} ${path}
+               ((rc + $?))
+       done
+
+       return $rc
+}
+
+test_125()
+{
+       local facet_list="mgs mds1 ost1"
+       combined_mgs_mds && facet_list="mgs ost1"
+
+       local facet
+       for facet in ${facet_list}; do
+               [[ $(facet_fstype ${facet}) != ldiskfs ]] &&
+                       skip "ldiskfs only test" &&
+                       return 0
+               ! is_blkdev ${facet} $(facet_device ${facet}) &&
+                       skip "requires all real devices" &&
+                       return 0
+       done
+
+       local rc=0
+       # We don't increase IO request size limit past 16MB. See comments in
+       # lustre/utils/libmount_utils_ldiskfs.c:tune_max_sectors_kb()
+       RQ_SIZE_LIMIT=$((16 * 1024))
+       local device old_max_sectors new_max_sectors max_hw_sectors
+       for facet in ${facet_list}; do
+               device=$(facet_device ${facet})
+               old_max_sectors=$(get_max_sectors_kb ${facet} ${device})
+               max_hw_sectors=$(get_max_hw_sectors_kb ${facet} ${device})
+
+               # The expected value after l_tunedisk is executed
+               new_max_sectors=$old_max_sectors
+               [[ ${new_max_sectors_kb} -gt ${RQ_SIZE_LIMIT} ]] &&
+                       new_max_sectors_kb=${RQ_SIZE_LIMIT}
+
+               # Ensure the current value of max_sectors_kb does not equal
+               # max_hw_sectors_kb, so we can tell whether l_tunedisk did
+               # anything
+               set_max_sectors_kb ${facet} ${device} $((new_max_sectors - 1))
+
+               # Value before l_tunedisk
+               local pre_max_sectors=$(get_max_sectors_kb ${facet} ${device})
+               if [[ ${pre_max_sectors} -ne $((new_max_sectors - 1)) ]]; then
+                       echo "unable to satsify test pre-condition:"
+                       echo "${pre_max_sectors} != $((new_max_sectors - 1))"
+                       ((rc++))
+                       continue
+               fi
+
+               echo "Before: ${facet} ${device} ${pre_max_sectors} ${max_hw_sectors}"
+
+               do_facet ${facet} "l_tunedisk ${device}"
+
+               # Value after l_tunedisk
+               local post_max_sectors=$(get_max_sectors_kb ${facet} ${device})
+
+               echo "After: ${facet} ${device} ${post_max_sectors} ${max_hw_sectors}"
+
+               if [[ ${facet} != ost1 ]]; then
+                       if [[ ${post_max_sectors} -ne ${pre_max_sectors} ]]; then
+                               echo "l_tunedisk modified max_sectors_kb of ${facet}"
+                               ((rc++))
+                       fi
+
+                       set_max_sectors_kb ${facet} ${device} ${old_max_sectors}
+               else
+                       if [[ ${post_max_sectors} -eq ${pre_max_sectors} ]]; then
+                               echo "l_tunedisk failed to modify max_sectors_kb of ${facet}"
+                               ((rc++))
+                       fi
+
+                       check_slaves_max_sectors_kb ${facet} ${device} ||
+                               ((rc++))
+               fi
+       done
+
+       return $rc
+}
+run_test 125 "check l_tunedisk only tunes OSTs and their slave devices"
+
+test_126() {
+       [[ "$MDS1_VERSION" -ge $(version_code 2.13.52) ]] ||
+               skip "Need MDS version at least 2.13.52"
+
+       cleanup
+       do_rpc_nodes $(facet_active_host $SINGLEMDS) load_module ../libcfs/libcfs/libcfs
+       #define OBD_FAIL_OBD_SETUP 0x60d
+       do_facet mds1 $LCTL set_param fail_loc=0x60d
+       do_rpc_nodes $(facet_active_host $SINGLEMDS) load_modules &
+       for i in {1..40}; do
+               do_facet mds1 lsmod | grep -q osd_$mds1_FSTYPE && break
+               sleep 1
+       done
+       clear_failloc $SINGLEMDS 20 &
+       start mds1 $(mdsdevname 1) $MDS_MOUNT_OPTS
+}
+run_test 126 "mount in parallel shouldn't cause a crash"
+
+test_127() {
+       [[ "$ost1_FSTYPE" == ldiskfs ]] || skip "ldiskfs only test"
+
+       cleanup
+       setup
+       zconf_umount_clients $RCLIENTS $MOUNT
+
+       wait_osp_active ost ${FSNAME}-OST0000 0 1
+       local osc_tgt="$FSNAME-OST0000-osc-$($LFS getname -i $DIR)"
+       local avail1=($($LCTL get_param -n osc.${osc_tgt}.kbytesavail))
+
+       $LFS setstripe -i 0 $DIR/$tfile || error "failed creating $DIR/$tfile"
+       dd if=/dev/zero of=$DIR/$tfile bs=1M oflag=direct || true
+
+       local avail2=($($LCTL get_param -n osc.${osc_tgt}.kbytesavail))
+
+       if ((avail2 * 100 / avail1 > 1)); then
+               lfs df $DIR
+               ls -l $DIR/$tfile
+               error "more than 1% space left: before=$avail1 after=$avail2"
+       fi
+
+       local mbs=$(($(stat -c %s $DIR/$tfile) / (1024 * 1024)))
+
+       dd if=/dev/zero of=$DIR/$tfile bs=1M count=$mbs conv=notrunc \
+               oflag=direct || error "overwrite failed"
+}
+run_test 127 "direct io overwrite on full ost"
+
+test_128()
+{
+       combined_mgs_mds && skip "need separate mgs device"
+       [ "$ost2_FSTYPE" == zfs ] && import_zpool ost2
+
+       format_ost 2
+       # Try to apply nolocallogs to the virgin OST. Should fail.
+       do_facet ost2 "$TUNEFS --nolocallogs $(ostdevname 2)" &&
+               error "nolocallogs should not be allowed on the virgin target"
+
+       setupall
+       stopall
+
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
+       # Start OST without MGS (local configs)
+       do_facet ost1 "$TUNEFS --dryrun $(ostdevname 1)"
+       start_ost || error "unable to start OST1"
+       stop_ost || error "Unable to stop OST1"
+
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
+       # Do not allow reading local configs, should fail
+       do_facet ost1 "$TUNEFS --nolocallogs $(ostdevname 1)" ||
+               error "Can not set nolocallogs"
+       start_ost && error "OST1 started, but should fail"
+
+       # Connect to MGS successfully, reset nolocallogs flag
+       [ "$ost1_FSTYPE" == zfs ] && import_zpool ost1
+       start_mgs || error "unable to start MGS"
+       start_ost || error "unable to start OST1"
+
+       do_facet ost1 "$TUNEFS --dryrun $(ostdevname 1)" | grep "nolocallogs" &&
+               error "nolocallogs expected to be reset"
+
+       stop_ost || error "Unable to stop OST1"
+}
+run_test 128 "Force using remote logs with --nolocallogs"
+
+test_129()
+{
+       stopall
+       start_mds || error "MDS start failed"
+       format_ost 1
+       start ost1 $(ostdevname 1) $OST_MOUNT_OPTS &&
+               error "start ost1 should fail" || true
+       start ost1 $(ostdevname 1) $OST_MOUNT_OPTS &&
+               error "second start ost1 should fail" || true
+       do_facet ost1 "$TUNEFS --writeconf $(ostdevname 1)"
+       start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
+               error "start ost1 failed"
+       stop ost1
+       stop_mds
+}
+run_test 129 "attempt to connect an OST with the same index should fail"
+
+test_130()
+{
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       setupall
+       stop_mdt 2 || error "mdt2 stop failed"
+       do_facet mds2 "$TUNEFS --writeconf $(mdsdevname 2)"
+       start_mdt 2 || error "mdt2 start failed"
+       do_facet mds2 "$LCTL dl" | grep MDT0001-osp-MDT0001 &&
+               error "Illegal OSP device created" || true
+}
+run_test 130 "re-register an MDT after writeconf"
+
+test_131() {
+       [ "$mds1_FSTYPE" == "ldiskfs" ] || skip "ldiskfs only test"
+       do_facet mds1 $DEBUGFS -R features $(mdsdevname 1) |
+               grep -q project || skip "skip project quota not supported"
+
+       local projid
+
+       setupall
+       test_mkdir -c $MDSCOUNT -p $DIR/$tdir
+       $LFS project -p 1000 $DIR/$tdir || error "set dir project id failed"
+       createmany -o $DIR/$tdir/f 512
+       for ((i = 0; i < 512; ++i)); do
+               $LFS project -p $i $DIR/$tdir/f${i} ||
+                       error "set f${i} project id failed"
+       done
+
+       test_mkdir -c $MDSCOUNT -p $DIR/$tdir.inherit
+       $LFS project -p 1001 -s $DIR/$tdir.inherit
+       createmany -o $DIR/$tdir.inherit/f 128
+       (( $($LFS project $DIR/$tdir.inherit/f* |
+               awk '$1 == 1001 { print }' | wc -l) == 128 )) ||
+                       error "files did not inherit projid 1001"
+
+       stopall
+
+       for i in $(seq $MDSCOUNT); do
+               mds_backup_restore mds$i ||
+                       error "Backup/restore on mds$i failed"
+       done
+
+       setupall
+
+       projid=($($LFS project -d $DIR/$tdir))
+       [ ${projid[0]} == "1000" ] ||
+               error "projid expected 1000 not ${projid[0]}"
+       for ((i = 0; i < 512; ++i)); do
+               projid=($($LFS project $DIR/$tdir/f${i}))
+               [ ${projid[0]} == "$i" ] ||
+                       error "projid expected $i not ${projid[0]}"
+       done
+
+       (( $($LFS project $DIR/$tdir.inherit/f* |
+               awk '$1 == 1001 { print }' | wc -l) == 128 )) ||
+                       error "restore did not copy projid 1001"
+}
+run_test 131 "MDT backup restore with project ID"
+
 if ! combined_mgs_mds ; then
        stop mgs
 fi