Whamcloud - gitweb
LU-13284 tests: few tests miss MDS_MOUNT_OPTS/OST_MOUNT_OPTS
[fs/lustre-release.git] / lustre / tests / sanity-lfsck.sh
index 69f2783..755d823 100644 (file)
@@ -8,18 +8,18 @@ set -e
 
 ONLY=${ONLY:-"$*"}
 
-#Bug number for excepting test
-ALWAYS_EXCEPT="$SANITY_LFSCK_EXCEPT"
-
-[ "$SLOW" = "no" ] && EXCEPT_SLOW=""
-# UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
-
-LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
+LUSTRE=${LUSTRE:-$(dirname $0)/..}
 . $LUSTRE/tests/test-framework.sh
 init_test_env $@
-. ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
 init_logging
 
+# bug number for skipped test:
+ALWAYS_EXCEPT="$SANITY_LFSCK_EXCEPT "
+# UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
+
+[ "$SLOW" = "no" ] && EXCEPT_SLOW=""
+build_test_filter
+
 require_dsh_mds || exit 0
 
 load_modules
@@ -29,8 +29,8 @@ if ! check_versions; then
        exit 0
 fi
 
-[[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.60) ]] &&
-       skip "Need MDS version at least 2.3.60" && exit 0
+(( $MDS1_VERSION >= $(version_code 2.3.60) )) ||
+       skip "Need MDS version at least 2.3.60"
 
 LTIME=${LTIME:-120}
 
@@ -40,9 +40,9 @@ SAVED_OSTCOUNT=${OSTCOUNT}
 # use small MDS + OST size to speed formatting time
 # do not use too small MDSSIZE/OSTSIZE, which affect the default journal size
 MDSSIZE=100000
-[ $(facet_fstype $SINGLEMDS) == zfs ] && MDSSIZE=300000
+[ "$mds1_FSTYPE" == zfs ] && MDSSIZE=300000
 OSTSIZE=100000
-[ $(facet_fstype ost1) == zfs ] && OSTSIZE=300000
+[ "$ost1_FSTYPE" == zfs ] && OSTSIZE=300000
 
 # no need too many OSTs, to reduce the format/start/stop overhead
 cleanupall
@@ -51,21 +51,6 @@ cleanupall
 # build up a clean test environment.
 REFORMAT="yes" check_and_setup_lustre
 
-[[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.4.90) ]] &&
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2c"
-
-[[ $(lustre_version_code ost1) -lt $(version_code 2.5.55) ]] &&
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 11 12 13 14 15 16 17 18 19 20 21"
-
-[[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.50) ]] &&
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2d 2e 3 22 23 24 25 26 27 28 29 30 31"
-
-# DNE does not support striped directory on zfs-based backend yet.
-[ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 31"
-
-build_test_filter
-
 MDT_DEV="${FSNAME}-MDT0000"
 OST_DEV="${FSNAME}-OST0000"
 MDT_DEVNAME=$(mdsdevname ${SINGLEMDS//mds/})
@@ -81,9 +66,9 @@ SHOW_LAYOUT="do_facet $SINGLEMDS \
                $LCTL get_param -n mdd.${MDT_DEV}.lfsck_layout"
 SHOW_LAYOUT_ON_OST="do_facet ost1 \
                $LCTL get_param -n obdfilter.${OST_DEV}.lfsck_layout"
-MOUNT_OPTS_SCRUB="-o user_xattr"
-MOUNT_OPTS_NOSCRUB="-o user_xattr,noscrub"
-MOUNT_OPTS_SKIP_LFSCK="-o user_xattr,skip_lfsck"
+MOUNT_OPTS_SCRUB="$MDS_MOUNT_OPTS -o user_xattr"
+MOUNT_OPTS_NOSCRUB="$MDS_MOUNT_OPTS -o user_xattr,noscrub"
+MOUNT_OPTS_SKIP_LFSCK="$MDS_MOUNT_OPTS -o user_xattr,skip_lfsck"
 
 lfsck_prep() {
        local ndirs=$1
@@ -120,7 +105,7 @@ lfsck_prep() {
 }
 
 run_e2fsck_on_mdt0() {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] && return
+       [ $mds1_FSTYPE == ldiskfs ] || return 0
 
        stop $SINGLEMDS > /dev/null || error "(0) Fail to the stop MDT0"
        run_e2fsck $(facet_active_host $SINGLEMDS) $(mdsdevname 1) "-n" |
@@ -256,8 +241,8 @@ run_test 1a "LFSCK can find out and repair crashed FID-in-dirent"
 
 test_1b()
 {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "OI Scrub not implemented for ZFS" && return
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
+               skip "OI Scrub not implemented for ZFS"
 
        lfsck_prep 1 1
 
@@ -339,6 +324,70 @@ test_1c() {
 }
 run_test 1c "LFSCK can find out and repair lost FID-in-dirent"
 
+test_1d() {
+       [ $MDS1_VERSION -lt $(version_code 2.13.57) ] &&
+               skip "MDS older than 2.13.57"
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+
+       check_mount_and_prep
+
+       touch $DIR/$tdir/$tfile
+       mkdir $DIR/$tdir/subdir
+       $LFS mkdir -i 1 $DIR/$tdir/remotedir
+       $LFS path2fid $DIR/$tdir
+       ll_decode_linkea $DIR/$tdir/$tfile
+       ll_decode_linkea $DIR/$tdir/subdir
+       ll_decode_linkea $DIR/$tdir/remotedir
+
+       local mntpt=$(facet_mntpt mds1)
+
+       # unlink OI files to remove the stale entry
+       local saved_opts=$MDS_MOUNT_OPTS
+
+       stopall
+       mount_fstype mds1 $mntpt
+       # increase $tdir FID oid in LMA
+       do_facet mds1 "getfattr -d -m trusted.lma -e hex \
+               --absolute-names $mntpt/ROOT/$tdir | \
+               sed -E 's/0(.{8})$/1\1/' | setfattr --restore=-"
+       unmount_fstype mds1 $mntpt
+       setupall
+
+       # the FID oid in LMA was increased above, and it's not in OI table,
+       # run scrub first to generate mapping in OI, so the following namespace
+       # check can fix linkea correctly, this is not necessary normally.
+       do_facet mds1 $LCTL lfsck_start -M ${MDT_DEV} -t scrub ||
+               error "failed to start LFSCK for scrub!"
+       wait_update_facet mds1 "$LCTL get_param -n \
+               osd-*.$(facet_svc mds1).oi_scrub |
+               awk '/^status/ { print \\\$2 }'" "completed" 32 ||
+               error "unexpected status"
+
+       $START_NAMESPACE -r -A || error "fail to start LFSCK for namespace!"
+       wait_update_facet mds1 "$LCTL get_param -n \
+               mdd.${MDT_DEV}.lfsck_namespace |
+               awk '/^status/ { print \\\$2 }'" "completed" 32 || {
+               $SHOW_NAMESPACE
+               error "unexpected status"
+       }
+       $LFS path2fid $DIR/$tdir
+       ll_decode_linkea $DIR/$tdir/$tfile
+       ll_decode_linkea $DIR/$tdir/subdir
+       ll_decode_linkea $DIR/$tdir/remotedir
+
+       local pfid
+       local fid
+
+       fid=$($LFS path2fid $DIR/$tdir)
+       for f in $tfile subdir remotedir; do
+               pfid=$(ll_decode_linkea $DIR/$tdir/$f |
+                       awk '/pfid/ { print $3 }')
+               pfid=${pfid%,}
+               [ "$pfid" == "$fid" ] || error "$fid in LMA != $pfid in linkea"
+       done
+}
+run_test 1d "LFSCK can fix mismatch of FID in LMA and FID in child linkea"
+
 test_2a() {
        lfsck_prep 1 1
 
@@ -419,6 +468,9 @@ run_test 2b "LFSCK can find out and remove invalid linkEA entry"
 
 test_2c()
 {
+       (( $MDS1_VERSION > $(version_code 2.4.90) )) ||
+               skip "MDS older than 2.4.90"
+
        lfsck_prep 1 1
 
        #define OBD_FAIL_LFSCK_LINKEA_MORE2     0x1605
@@ -456,6 +508,9 @@ run_test 2c "LFSCK can find out and remove repeated linkEA entry"
 
 test_2d()
 {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-4788"
+
        lfsck_prep 1 1
 
        #define OBD_FAIL_LFSCK_NO_LINKEA        0x161d
@@ -493,7 +548,9 @@ run_test 2d "LFSCK can recover the missing linkEA entry"
 
 test_2e()
 {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5511"
 
        check_mount_and_prep
 
@@ -522,6 +579,9 @@ run_test 2e "namespace LFSCK can verify remote object linkEA"
 
 test_3()
 {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-4788"
+
        lfsck_prep 4 4
 
        mkdir $DIR/$tdir/dummy || error "(1) Fail to mkdir"
@@ -564,8 +624,8 @@ run_test 3 "LFSCK can verify multiple-linked objects"
 
 test_4()
 {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "OI Scrub not implemented for ZFS" && return
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
+               skip "OI Scrub not implemented for ZFS"
 
        lfsck_prep 3 3
        cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
@@ -624,8 +684,8 @@ run_test 4 "FID-in-dirent can be rebuilt after MDT file-level backup/restore"
 
 test_5()
 {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "OI Scrub not implemented for ZFS" && return
+       [ "$mds1_FSTYPE" != ldiskfs ] &&
+               skip "OI Scrub not implemented for ZFS"
 
        lfsck_prep 1 1 1
        cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
@@ -784,7 +844,10 @@ test_6b() {
        local D_POS1=$($SHOW_NAMESPACE |
                       awk '/^latest_start_position/ { print $4 }')
 
-       if [ "$D_POS0" == "N/A" -o "$D_POS1" == "N/A" ]; then
+       echo "Additional debug for 6b"
+       $SHOW_NAMESPACE
+       if [ "$D_POS0" == "N/A" -o "$D_POS0" == "0x0" \
+            -o "$D_POS1" == "0x0" -o "$D_POS1" == "N/A" ]; then
                [[ $O_POS0 -lt $O_POS1 ]] ||
                        error "(7.1) $O_POS1 is not larger than $O_POS0"
        else
@@ -1102,7 +1165,7 @@ test_9a() {
                            BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
                           (RUN_TIME1 + RUN_TIME2) * 7 / 10))
        [ $SPEED -gt $MIN_SPEED ] || {
-               if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+               if [ $mds1_FSTYPE != ldiskfs ]; then
                        error_ignore LU-5624 \
                        "(5.1) Got speed $SPEED, expected more than $MIN_SPEED"
                else
@@ -1200,7 +1263,7 @@ test_9b() {
                            BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
                           (RUN_TIME1 + RUN_TIME2) * 7 / 10))
        [ $SPEED -gt $MIN_SPEED ] || {
-               if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+               if [ $mds1_FSTYPE != ldiskfs ]; then
                        error_ignore LU-5624 \
                        "(9.1) Got speed $SPEED, expected more than $MIN_SPEED"
                else
@@ -1235,8 +1298,7 @@ run_test 9b "LFSCK speed control (2)"
 
 test_10()
 {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "lookup(..)/linkea on ZFS issue" && return
+       [[ $mds1_FSTYPE == ldiskfs ]] || skip "lookup(..)/linkea on ZFS issue"
 
        lfsck_prep 1 1
 
@@ -1325,8 +1387,11 @@ ost_remove_lastid() {
 }
 
 test_11a() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-1267"
+
        check_mount_and_prep
-       $SETSTRIPE -c 1 -i 0 $DIR/$tdir
+       $LFS setstripe -c 1 -i 0 $DIR/$tdir
        createmany -o $DIR/$tdir/f 64 || error "(0) Fail to create 64 files."
 
        echo "stopall"
@@ -1366,8 +1431,11 @@ test_11a() {
 run_test 11a "LFSCK can rebuild lost last_id"
 
 test_11b() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-1267"
+
        check_mount_and_prep
-       $SETSTRIPE -c 1 -i 0 $DIR/$tdir
+       $LFS setstripe -c 1 -i 0 $DIR/$tdir
 
        echo "set fail_loc=0x160d to skip the updating LAST_ID on-disk"
        #define OBD_FAIL_LFSCK_SKIP_LASTID      0x160d
@@ -1380,9 +1448,8 @@ test_11b() {
        local proc_path="${FSNAME}-OST0000-osc-MDT0000"
        local seq=$(do_facet mds1 $LCTL get_param -n \
                    osp.${proc_path}.prealloc_last_seq)
-       local lastid1=$(do_facet ost1 "lctl get_param -n \
-               obdfilter.${ost1_svc}.last_id" | grep $seq |
-               awk -F: '{ print $2 }')
+       local id_used=$(do_facet mds1 $LCTL get_param -n \
+                       osp.${proc_path}.prealloc_last_id)
 
        umount_client $MOUNT
        stop ost1 || error "(1) Fail to stop ost1"
@@ -1394,23 +1461,23 @@ test_11b() {
                error "(2) Fail to start ost1"
 
        for ((i = 0; i < 60; i++)); do
-               lastid2=$(do_facet ost1 "lctl get_param -n \
-                       obdfilter.${ost1_svc}.last_id" | grep $seq |
-                       awk -F: '{ print $2 }')
-               [ ! -z $lastid2 ] && break;
+               id_ost1=$(do_facet ost1 \
+                         "$LCTL get_param -n obdfilter.$ost1_svc.last_id" |
+                         awk -F: "/$seq/ { print \$2 }")
+               [ -n "$id_ost1" ] && break
                sleep 1
        done
 
        echo "the on-disk LAST_ID should be smaller than the expected one"
-       [ $lastid1 -gt $lastid2 ] ||
-               error "(4) expect lastid1 [ $lastid1 ] > lastid2 [ $lastid2 ]"
+       [ $id_used -gt $id_ost1 ] ||
+               error "(4) expect id_used '$id_used' > id_ost1 '$id_ost1'"
 
        echo "trigger LFSCK for layout on ost1 to rebuild the on-disk LAST_ID"
        $START_LAYOUT_ON_OST -r || error "(5) Fail to start LFSCK on OST!"
 
-       wait_update_facet ost1 "$LCTL get_param -n \
-               obdfilter.${OST_DEV}.lfsck_layout |
-               awk '/^status/ { print \\\$2 }'" "completed" 32 || {
+       wait_update_facet ost1 \
+               "$LCTL get_param -n obdfilter.$ost1_svc.lfsck_layout |
+                awk '/^status/ { print \\\$2 }'" "completed" 32 || {
                $SHOW_LAYOUT_ON_OST
                error "(6) unexpected status"
        }
@@ -1421,12 +1488,12 @@ test_11b() {
                error "(8) Fail to start ost1"
 
        echo "the on-disk LAST_ID should have been rebuilt"
-       wait_update_facet ost1 "$LCTL get_param -n \
-               obdfilter.${ost1_svc}.last_id | grep $seq |
-               awk -F: '{ print \\\$2 }'" "$lastid1" 60 || {
-               do_facet ost1 $LCTL get_param -n \
-               obdfilter.${ost1_svc}.last_id
-               error "(9) expect lastid1 $seq:$lastid1"
+       # last_id may be larger than $id_used if objects were created/skipped
+       wait_update_facet_cond ost1 \
+               "$LCTL get_param -n obdfilter.$ost1_svc.last_id |
+                awk -F: '/$seq/ { print \\\$2 }'" "-ge" "$id_used" 60 || {
+               do_facet ost1 $LCTL get_param obdfilter.$ost1_svc.last_id
+               error "(9) expect last_id >= id_used $seq:$id_used"
        }
 
        do_facet ost1 $LCTL set_param fail_loc=0
@@ -1435,7 +1502,9 @@ test_11b() {
 run_test 11b "LFSCK can rebuild crashed last_id"
 
 test_12a() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3950"
 
        check_mount_and_prep
        for k in $(seq $MDSCOUNT); do
@@ -1501,6 +1570,9 @@ test_12a() {
 run_test 12a "single command to trigger LFSCK on all devices"
 
 test_12b() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3950"
+
        check_mount_and_prep
 
        echo "Start LFSCK without '-M' specified."
@@ -1524,6 +1596,9 @@ test_12b() {
 run_test 12b "auto detect Lustre device"
 
 test_13() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3593"
+
        echo "#####"
        echo "The lmm_oi in layout EA should be consistent with the MDT-object"
        echo "FID; otherwise, the LFSCK should re-generate the lmm_oi from the"
@@ -1558,6 +1633,9 @@ test_13() {
 run_test 13 "LFSCK can repair crashed lmm_oi"
 
 test_14a() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3590"
+
        echo "#####"
        echo "The OST-object referenced by the MDT-object should be there;"
        echo "otherwise, the LFSCK should re-create the missing OST-object."
@@ -1659,6 +1737,9 @@ test_14a() {
 run_test 14a "LFSCK can repair MDT-object with dangling LOV EA reference (1)"
 
 test_14b() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3590"
+
        echo "#####"
        echo "The OST-object referenced by the MDT-object should be there;"
        echo "otherwise, the LFSCK should re-create the missing OST-object."
@@ -1731,6 +1812,9 @@ test_14b() {
 run_test 14b "LFSCK can repair MDT-object with dangling LOV EA reference (2)"
 
 test_15a() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3591"
+
        echo "#####"
        echo "If the OST-object referenced by the MDT-object back points"
        echo "to some non-exist MDT-object, then the LFSCK should repair"
@@ -1775,6 +1859,9 @@ test_15a() {
 run_test 15a "LFSCK can repair unmatched MDT-object/OST-object pairs (1)"
 
 test_15b() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3591"
+
        echo "#####"
        echo "If the OST-object referenced by the MDT-object back points"
        echo "to other MDT-object that doesn't recognize the OST-object,"
@@ -1822,10 +1909,11 @@ test_15b() {
 run_test 15b "LFSCK can repair unmatched MDT-object/OST-object pairs (2)"
 
 test_15c() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-
-       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.7.55) ] &&
-               skip "Skip the test after 2.7.55 see LU-6437" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION < $(version_code 2.7.55) )) ||
+               skip "MDS newer than 2.7.55, LU-6475"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3591"
 
        echo "#####"
        echo "According to current metadata migration implementation,"
@@ -1871,6 +1959,9 @@ test_15c() {
 run_test 15c "LFSCK can repair unmatched MDT-object/OST-object pairs (3)"
 
 test_16() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3594"
+
        echo "#####"
        echo "If the OST-object's owner information does not match the owner"
        echo "information stored in the MDT-object, then the LFSCK trust the"
@@ -1913,6 +2004,9 @@ test_16() {
 run_test 16 "LFSCK can repair inconsistent MDT-object/OST-object owner"
 
 test_17() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3594"
+
        echo "#####"
        echo "If more than one MDT-objects reference the same OST-object,"
        echo "and the OST-object only recognizes one MDT-object, then the"
@@ -1989,6 +2083,9 @@ run_test 17 "LFSCK can repair multiple references"
 $LCTL set_param debug=+cache > /dev/null
 
 test_18a() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3336"
+
        echo "#####"
        echo "The target MDT-object is there, but related stripe information"
        echo "is lost or partly lost. The LFSCK should regenerate the missing"
@@ -2127,6 +2224,10 @@ test_18a() {
 run_test 18a "Find out orphan OST-object and repair it (1)"
 
 test_18b() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3336"
+
        echo "#####"
        echo "The target MDT-object is lost. The LFSCK should re-create the"
        echo "MDT-object under .lustre/lost+found/MDTxxxx. The admin should"
@@ -2186,6 +2287,28 @@ test_18b() {
        cancel_lru_locks mdc
        cancel_lru_locks osc
 
+       # dryrun mode only check orphans, not repaie
+       echo "Trigger layout LFSCK --dryrun to find out orphan OST-object"
+       $START_LAYOUT --dryrun -o -r ||
+               error "Fail to start layout LFSCK in dryrun mode"
+       wait_all_targets_blocked layout completed 2
+
+       local PARAMS=$($SHOW_LAYOUT | awk '/^param/ { print $2 }')
+       [ "$PARAMS" == "dryrun,all_targets,orphan" ] ||
+               error "Expect 'dryrun,all_targets,orphan', got '$PARAMS'"
+
+       local orphans=$(do_facet mds1 $LCTL get_param -n \
+                       mdd.$(facet_svc mds1).lfsck_layout |
+                       awk '/^inconsistent_orphan/ { print $2 }')
+       [ $orphans -eq 3 ] ||
+               error "Expect 3 found on mds1, but got: $orphans"
+
+       # orphan parents should not be created
+       local subdir
+       for subdir in $MOUNT/.lustre/lost+found/*; do
+               [ ! "$(ls -A $subdir)" ] || error "$subdir not empty"
+       done
+
        echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
        $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
 
@@ -2262,6 +2385,10 @@ test_18b() {
 run_test 18b "Find out orphan OST-object and repair it (2)"
 
 test_18c() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3336"
+
        echo "#####"
        echo "The target MDT-object is lost, and the OST-object FID is missing."
        echo "The LFSCK should re-create the MDT-object with new FID under the "
@@ -2379,6 +2506,9 @@ test_18c() {
 run_test 18c "Find out orphan OST-object and repair it (3)"
 
 test_18d() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3336"
+
        echo "#####"
        echo "The target MDT-object layout EA is corrupted, but the right"
        echo "OST-object is still alive as orphan. The layout LFSCK will"
@@ -2487,6 +2617,10 @@ test_18d() {
 run_test 18d "Find out orphan OST-object and repair it (4)"
 
 test_18e() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3336"
+
        echo "#####"
        echo "The target MDT-object layout EA slot is occpuied by some new"
        echo "created OST-object when repair dangling reference case. Such"
@@ -2777,6 +2911,8 @@ test_18f() {
 run_test 18f "Skip the failed OST(s) when handle orphan OST-objects"
 
 test_18g() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+
        echo "#####"
        echo "The target MDT-object is lost, but related OI mapping is there"
        echo "The LFSCK should recreate the lost MDT-object without affected"
@@ -2913,6 +3049,9 @@ run_test 18h "LFSCK can repair crashed PFL extent range"
 $LCTL set_param debug=-cache > /dev/null
 
 test_19a() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3951"
+
        check_mount_and_prep
        $LFS setstripe -c 1 -i 0 $DIR/$tdir
 
@@ -2941,6 +3080,9 @@ test_19a() {
 run_test 19a "OST-object inconsistency self detect"
 
 test_19b() {
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-3951"
+
        check_mount_and_prep
        $LFS setstripe -c 1 -i 0 $DIR/$tdir
 
@@ -2990,6 +3132,9 @@ PATTERN_WITHOUT_HOLE="raid0"
 
 test_20a() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-4887"
 
        echo "#####"
        echo "The target MDT-object and some of its OST-object are lost."
@@ -3329,6 +3474,9 @@ run_test 20a "Handle the orphan with dummy LOV EA slot properly"
 
 test_20b() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.5.55) )) ||
+               skip "MDS older than 2.5.55, LU-4887"
 
        echo "#####"
        echo "The target MDT-object and some of its OST-object are lost."
@@ -3637,8 +3785,8 @@ test_20b() {
 run_test 20b "Handle the orphan with dummy LOV EA slot properly - PFL case"
 
 test_21() {
-       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.5.59) ]] &&
-               skip "ignore the test if MDS is older than 2.5.59" && return
+       (( $MDS1_VERSION > $(version_code 2.5.59) )) ||
+               skip "MDS older than 2.5.59, LU-4887"
 
        check_mount_and_prep
        createmany -o $DIR/$tdir/f 100 || error "(0) Fail to create 100 files"
@@ -3665,6 +3813,8 @@ run_test 21 "run all LFSCK components by default"
 
 test_22a() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5511"
 
        echo "#####"
        echo "The parent_A references the child directory via some name entry,"
@@ -3707,6 +3857,8 @@ run_test 22a "LFSCK can repair unmatched pairs (1)"
 
 test_22b() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5511"
 
        echo "#####"
        echo "The parent_A references the child directory via the name entry_B,"
@@ -3756,6 +3908,8 @@ run_test 22b "LFSCK can repair unmatched pairs (2)"
 
 test_23a() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5512"
 
        echo "#####"
        echo "The name entry is there, but the MDT-object for such name "
@@ -3808,6 +3962,9 @@ test_23a() {
 run_test 23a "LFSCK can repair dangling name entry (1)"
 
 test_23b() {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5512"
+
        echo "#####"
        echo "The objectA has multiple hard links, one of them corresponding"
        echo "to the name entry_B. But there is something wrong for the name"
@@ -3907,6 +4064,9 @@ cleanup_23c() {
 }
 
 test_23c() {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5512"
+
        echo "#####"
        echo "The objectA has multiple hard links, one of them corresponding"
        echo "to the name entry_B. But there is something wrong for the name"
@@ -4011,6 +4171,9 @@ run_test 23c "LFSCK can repair dangling name entry (3)"
 
 test_24() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5513"
 
        echo "#####"
        echo "Two MDT-objects back reference the same name entry via their"
@@ -4032,7 +4195,7 @@ test_24() {
        $LFS path2fid $DIR/$tdir/d0/dummy
 
        local pfid
-       if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
+       if [ $mds1_FSTYPE != ldiskfs ]; then
                pfid=$($LFS path2fid $DIR/$tdir/d0/guard)
        else
                pfid=$($LFS path2fid $DIR/$tdir/d0/dummy)
@@ -4085,8 +4248,9 @@ test_24() {
 run_test 24 "LFSCK can repair multiple-referenced name entry"
 
 test_25() {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "ldiskfs only test" && return
+       [[ $mds1_FSTYPE == ldiskfs ]] || skip "only ldiskfs fixes dirent type"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5515"
 
        echo "#####"
        echo "The file type in the name entry does not match the file type"
@@ -4126,6 +4290,9 @@ test_25() {
 run_test 25 "LFSCK can repair bad file type in the name entry"
 
 test_26a() {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5516"
+
        echo "#####"
        echo "The local name entry back referenced by the MDT-object is lost."
        echo "The namespace LFSCK will add the missing local name entry back"
@@ -4174,7 +4341,9 @@ test_26a() {
 run_test 26a "LFSCK can add the missing local name entry back to the namespace"
 
 test_26b() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5516"
 
        echo "#####"
        echo "The remote name entry back referenced by the MDT-object is lost."
@@ -4221,6 +4390,10 @@ test_26b() {
 run_test 26b "LFSCK can add the missing remote name entry back to the namespace"
 
 test_27a() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5516"
+
        echo "#####"
        echo "The local parent referenced by the MDT-object linkEA is lost."
        echo "The namespace LFSCK will re-create the lost parent as orphan."
@@ -4273,7 +4446,10 @@ test_27a() {
 run_test 27a "LFSCK can recreate the lost local parent directory as orphan"
 
 test_27b() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5516"
 
        echo "#####"
        echo "The remote parent referenced by the MDT-object linkEA is lost."
@@ -4326,7 +4502,9 @@ test_27b() {
 run_test 27b "LFSCK can recreate the lost remote parent directory as orphan"
 
 test_28() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5506"
 
        echo "#####"
        echo "The target name entry is lost. The LFSCK should insert the"
@@ -4420,6 +4598,9 @@ test_28() {
 run_test 28 "Skip the failed MDT(s) when handle orphan MDT-objects"
 
 test_29a() {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5517"
+
        echo "#####"
        echo "The object's nlink attribute is larger than the object's known"
        echo "name entries count. The LFSCK will repair the object's nlink"
@@ -4465,6 +4646,9 @@ test_29a() {
 #run_test 29a "LFSCK can repair bad nlink count (1)"
 
 test_29b() {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5517"
+
        echo "#####"
        echo "The object's nlink attribute is smaller than the object's known"
        echo "name entries count. The LFSCK will repair the object's nlink"
@@ -4508,6 +4692,9 @@ run_test 29b "LFSCK can repair bad nlink count (2)"
 
 test_29c()
 {
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5517"
+
        echo "#####"
        echo "The namespace LFSCK will create many hard links to the target"
        echo "file as to exceed the linkEA size limitation. Under such case"
@@ -4602,8 +4789,10 @@ test_29c()
 run_test 29c "verify linkEA size limitation"
 
 test_30() {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
-               skip "ldiskfs only test" && return
+       [[ $mds1_FSTYPE == ldiskfs ]] || skip "only ldiskfs has lost+found"
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5518"
 
        echo "#####"
        echo "The namespace LFSCK will move the orphans from backend"
@@ -4687,7 +4876,9 @@ test_30() {
 run_test 30 "LFSCK can recover the orphans from backend /lost+found"
 
 test_31a() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For the name entry under a striped directory, if the name"
@@ -4721,6 +4912,10 @@ test_31a() {
        [ $repaired -ge 1 ] ||
                error "(5) Fail to repair bad name hash: $repaired"
 
+       local rc=$($LFS find -H badtype $DIR/$tdir/striped_dir | wc -l)
+       [ $rc -ge 1 ] ||
+               error "Fail to find flag bad type: $rc"
+
        umount_client $MOUNT || error "(6) umount failed"
        mount_client $MOUNT || error "(7) mount failed"
 
@@ -4737,7 +4932,9 @@ test_31a() {
 run_test 31a "The LFSCK can find/repair the name entry with bad name hash (1)"
 
 test_31b() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For the name entry under a striped directory, if the name"
@@ -4756,7 +4953,7 @@ test_31b() {
 
        #define OBD_FAIL_LFSCK_BAD_NAME_HASH    0x1628
        $LCTL set_param fail_loc=0x1628 fail_val=1
-       createmany -d $DIR/$tdir/striped_dir/d $MDSCOUNT ||
+       createmany -d $DIR/$tdir/striped_dir/d $((MDSCOUNT * 5)) ||
                error "(2) Fail to create file under striped directory"
        $LCTL set_param fail_loc=0 fail_val=0
 
@@ -4769,13 +4966,14 @@ test_31b() {
        local repaired=$(do_facet mds2 $LCTL get_param -n \
                         mdd.$(facet_svc mds2).lfsck_namespace |
                         awk '/^name_hash_repaired/ { print $2 }')
+       echo "repaired $repaired name entries with bad hash"
        [ $repaired -ge 1 ] ||
                error "(5) Fail to repair bad name hash: $repaired"
 
        umount_client $MOUNT || error "(6) umount failed"
        mount_client $MOUNT || error "(7) mount failed"
 
-       for ((i = 0; i < $MDSCOUNT; i++)); do
+       for ((i = 0; i < $((MDSCOUNT * 5)); i++)); do
                stat $DIR/$tdir/striped_dir/d$i ||
                        error "(8) Fail to stat d$i after LFSCK"
                rmdir $DIR/$tdir/striped_dir/d$i ||
@@ -4788,7 +4986,9 @@ test_31b() {
 run_test 31b "The LFSCK can find/repair the name entry with bad name hash (2)"
 
 test_31c() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the master MDT-object of the striped directory"
@@ -4819,6 +5019,9 @@ test_31c() {
        [ $repaired -eq 1 ] ||
                error "(4) Fail to re-generate master LMV EA: $repaired"
 
+       local rc=$($LFS find -H lostlmv $DIR/$tdir/striped_dir | wc -l)
+       [ $rc -eq 1 ] || error "Fail to find flag lost LMV: $rc"
+
        umount_client $MOUNT || error "(5) umount failed"
        mount_client $MOUNT || error "(6) mount failed"
 
@@ -4831,7 +5034,9 @@ test_31c() {
 run_test 31c "Re-generate the lost master LMV EA for striped directory"
 
 test_31d() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the master MDT-object of the striped directory"
@@ -4885,7 +5090,9 @@ test_31d() {
 run_test 31d "Set broken striped directory (modified after broken) as read-only"
 
 test_31e() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the slave MDT-object of the striped directory"
@@ -4923,6 +5130,8 @@ run_test 31e "Re-generate the lost slave LMV EA for striped directory (1)"
 
 test_31f() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the slave MDT-object of the striped directory"
@@ -4961,6 +5170,8 @@ run_test 31f "Re-generate the lost slave LMV EA for striped directory (2)"
 
 test_31g() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the stripe index in the slave LMV EA is"
@@ -5006,6 +5217,8 @@ run_test 31g "Repair the corrupted slave LMV EA"
 
 test_31h() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       (( $MDS1_VERSION > $(version_code 2.6.50) )) ||
+               skip "MDS older than 2.6.50, LU-5519"
 
        echo "#####"
        echo "For some reason, the shard's name entry in the striped"
@@ -5139,9 +5352,8 @@ run_test 33 "check LFSCK paramters"
 
 test_34()
 {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
-       [ $(facet_fstype $SINGLEMDS) != zfs ] &&
-               skip "Only valid for ZFS backend" && return
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs"
+       [ "$mds1_FSTYPE" != zfs ] && skip "Only valid for ZFS backend"
 
        lfsck_prep 1 1
 
@@ -5233,6 +5445,11 @@ test_36a() {
 
        check_mount_and_prep
 
+       lfs df $DIR
+       lfs df -i $DIR
+       lctl get_param osc.*.*grant*
+       stack_trap "lfs df $DIR; lfs df -i $DIR; lctl get_param osc.*.*grant*"
+
        $LFS setstripe -N -E 1M -o 0,1 -E -1 -o 2 -N -E 2M -o 1,2 -E -1 -o 0 \
                -N -E 3M -o 2,0 -E -1 -o 1 $DIR/$tdir/f0 ||
                error "(0) Fail to create mirror file $DIR/$tdir/f0"
@@ -5350,6 +5567,7 @@ test_36a() {
 run_test 36a "rebuild LOV EA for mirrored file (1)"
 
 test_36b() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
        [ $OSTCOUNT -lt 3 ] && skip "needs >= 3 OSTs" && return
 
        echo "#####"
@@ -5437,6 +5655,7 @@ test_36b() {
 run_test 36b "rebuild LOV EA for mirrored file (2)"
 
 test_36c() {
+       [ -n "$FILESET" ] && skip "Not functional for FILESET set"
        [ $OSTCOUNT -lt 3 ] && skip "needs >= 3 OSTs" && return
 
        echo "#####"
@@ -5532,6 +5751,273 @@ test_36c() {
 }
 run_test 36c "rebuild LOV EA for mirrored file (3)"
 
+test_37()
+{
+       local PID
+       local rc
+       local t_dir="$DIR/$tdir/d0"
+       check_mount_and_prep
+
+       $LFS mkdir -i 0 $t_dir || error "(2) Fail to mkdir $t_dir on MDT0"
+       multiop_bg_pause $t_dir D_c || { error "multiop failed: $?"; return 1; }
+       PID=$!
+       rmdir $t_dir
+
+       $START_NAMESPACE -r -A || {
+           error "(3) Fail to start LFSCK for namespace!"; kill -USR1 $PID; }
+
+       wait_all_targets_blocked namespace completed 4
+       stat $t_dir && rc=1
+       kill -USR1 $PID
+       return $rc
+}
+run_test 37 "LFSCK must skip a ORPHAN"
+
+test_38()
+{
+       [[ "$MDS1_VERSION" -le $(version_code 2.12.51) ]] &&
+               skip "Need MDS version newer than 2.12.51"
+
+       test_mkdir $DIR/$tdir
+       local uuid1=$(cat /proc/sys/kernel/random/uuid)
+       local uuid2=$(cat /proc/sys/kernel/random/uuid)
+
+       # create foreign file
+       $LFS setstripe --foreign=none --flags 0xda05 \
+               -x "${uuid1}@${uuid2}" $DIR/$tdir/$tfile ||
+               error "$DIR/$tdir/$tfile: create failed"
+
+       $LFS getstripe -v $DIR/$tdir/$tfile |
+               grep "lfm_magic:.*0x0BD70BD0" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign magic"
+       # lfm_length is LOV EA size - sizeof(lfm_magic) - sizeof(lfm_length)
+       $LFS getstripe -v $DIR/$tdir/$tfile | grep "lfm_length:.*73" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign size"
+       $LFS getstripe -v $DIR/$tdir/$tfile | grep "lfm_type:.*none" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign type"
+       $LFS getstripe -v $DIR/$tdir/$tfile |
+               grep "lfm_flags:.*0x0000DA05" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign flags"
+       $LFS getstripe $DIR/$tdir/$tfile |
+               grep "lfm_value:.*${uuid1}@${uuid2}" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign value"
+
+       # modify striping should fail
+       $LFS setstripe -c 2 $DIR/$tdir/$tfile &&
+               error "$DIR/$tdir/$tfile: setstripe should fail"
+
+       $START_NAMESPACE -r -A || error "Fail to start LFSCK for namespace"
+
+       wait_all_targets_blocked namespace completed 1
+
+       # check that "global" namespace_repaired == 0 !!!
+       local repaired=$(do_facet mds1 \
+                        "$LCTL lfsck_query -t all -M ${FSNAME}-MDT0000 |
+                        awk '/^namespace_repaired/ { print \\\$2 }'")
+       [ $repaired -eq 0 ] ||
+               error "(2) Expect no namespace repair, but got: $repaired"
+
+       $START_LAYOUT -A -r || error "Fail to start LFSCK for layout"
+
+       wait_all_targets_blocked layout completed 2
+
+       # check that "global" layout_repaired == 0 !!!
+       local repaired=$(do_facet mds1 \
+                        "$LCTL lfsck_query -t all -M ${FSNAME}-MDT0000 |
+                        awk '/^layout_repaired/ { print \\\$2 }'")
+       [ $repaired -eq 0 ] ||
+               error "(2) Expect no layout repair, but got: $repaired"
+
+       echo "post-lfsck checks of foreign file"
+
+       $LFS getstripe -v $DIR/$tdir/$tfile |
+               grep "lfm_magic:.*0x0BD70BD0" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign magic"
+       # lfm_length is LOV EA size - sizeof(lfm_magic) - sizeof(lfm_length)
+       $LFS getstripe -v $DIR/$tdir/$tfile | grep "lfm_length:.*73" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign size"
+       $LFS getstripe -v $DIR/$tdir/$tfile | grep "lfm_type:.*none" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign type"
+       $LFS getstripe -v $DIR/$tdir/$tfile |
+               grep "lfm_flags:.*0x0000DA05" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign flags"
+       $LFS getstripe $DIR/$tdir/$tfile |
+               grep "lfm_value:.*${uuid1}@${uuid2}" ||
+               error "$DIR/$tdir/$tfile: invalid LOV EA foreign value"
+
+       # modify striping should fail
+       $LFS setstripe -c 2 $DIR/$tdir/$tfile &&
+               error "$DIR/$tdir/$tfile: setstripe should fail"
+
+       # R/W should fail
+       cat $DIR/$tdir/$tfile && "$DIR/$tdir/$tfile: read should fail"
+       cat /etc/passwd > $DIR/$tdir/$tfile &&
+               error "$DIR/$tdir/$tfile: write should fail"
+
+       #remove foreign file
+       rm $DIR/$tdir/$tfile ||
+               error "$DIR/$tdir/$tfile: remove of foreign file has failed"
+}
+run_test 38 "LFSCK does not break foreign file and reverse is also true"
+
+test_39()
+{
+       [[ "$MDS1_VERSION" -le $(version_code 2.12.51) ]] &&
+               skip "Need MDS version newer than 2.12.51"
+
+       test_mkdir $DIR/$tdir
+       local uuid1=$(cat /proc/sys/kernel/random/uuid)
+       local uuid2=$(cat /proc/sys/kernel/random/uuid)
+
+       # create foreign dir
+       $LFS mkdir --foreign=none --xattr="${uuid1}@${uuid2}" --flags=0xda05 \
+               $DIR/$tdir/${tdir}2 ||
+               error "$DIR/$tdir/${tdir}2: create failed"
+
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 |
+               grep "lfm_magic:.*0x0CD50CD0" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA magic"
+       # lfm_length is LMV EA size - sizeof(lfm_magic) - sizeof(lfm_length)
+       # - sizeof(lfm_type) - sizeof(lfm_flags)
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 | grep "lfm_length:.*73" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA size"
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 | grep "lfm_type:.*none" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA type"
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 |
+               grep "lfm_flags:.*0x0000DA05" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA flags"
+       $LFS getdirstripe $DIR/$tdir/${tdir}2 |
+               grep "lfm_value.*${uuid1}@${uuid2}" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA value"
+
+       # file create in dir should fail
+       touch $DIR/$tdir/${tdir}2/$tfile &&
+               "$DIR/${tdir}2: file create should fail"
+
+       # chmod should work
+       chmod 777 $DIR/$tdir/${tdir}2 ||
+               error "$DIR/${tdir}2: chmod failed"
+
+       # chown should work
+       chown $RUNAS_ID:$RUNAS_GID $DIR/$tdir/${tdir}2 ||
+               error "$DIR/${tdir}2: chown failed"
+
+       $START_NAMESPACE -r -A || error "Fail to start LFSCK for namespace"
+
+       wait_all_targets_blocked namespace completed 1
+
+       # check that "global" namespace_repaired == 0 !!!
+       local repaired=$(do_facet mds1 \
+                        "$LCTL lfsck_query -t all -M ${FSNAME}-MDT0000 |
+                        awk '/^namespace_repaired/ { print \\\$2 }'")
+       [ $repaired -eq 0 ] ||
+               error "(2) Expect nothing to be repaired, but got: $repaired"
+
+       $START_LAYOUT -A -r || error "Fail to start LFSCK for layout"
+
+       wait_all_targets_blocked layout completed 2
+
+       # check that "global" layout_repaired == 0 !!!
+       local repaired=$(do_facet mds1 \
+                        "$LCTL lfsck_query -t all -M ${FSNAME}-MDT0000 |
+                        awk '/^layout_repaired/ { print \\\$2 }'")
+       [ $repaired -eq 0 ] ||
+               error "(2) Expect no layout repair, but got: $repaired"
+
+       echo "post-lfsck checks of foreign dir"
+
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 |
+               grep "lfm_magic:.*0x0CD50CD0" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA magic"
+       # lfm_length is LMV EA size - sizeof(lfm_magic) - sizeof(lfm_length)
+       # - sizeof(lfm_type) - sizeof(lfm_flags)
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 | grep "lfm_length:.*73" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA size"
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 | grep "lfm_type:.*none" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA type"
+       $LFS getdirstripe -v $DIR/$tdir/${tdir}2 |
+               grep "lfm_flags:.*0x0000DA05" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA flags"
+       $LFS getdirstripe $DIR/$tdir/${tdir}2 |
+               grep "lfm_value.*${uuid1}@${uuid2}" ||
+               error "$DIR/$tdir/${tdir}2: invalid LMV EA value"
+
+       # file create in dir should fail
+       touch $DIR/$tdir/${tdir}2/$tfile &&
+               "$DIR/${tdir}2: file create should fail"
+
+       # chmod should work
+       chmod 777 $DIR/$tdir/${tdir}2 ||
+               error "$DIR/${tdir}2: chmod failed"
+
+       # chown should work
+       chown $RUNAS_ID:$RUNAS_GID $DIR/$tdir/${tdir}2 ||
+               error "$DIR/${tdir}2: chown failed"
+
+       #remove foreign dir
+       rmdir $DIR/$tdir/${tdir}2 ||
+               error "$DIR/$tdir/${tdir}2: remove of foreign dir has failed"
+}
+run_test 39 "LFSCK does not break foreign dir and reverse is also true"
+
+test_40a() {
+       [[ $MDSCOUNT -ge 2 ]] || skip "needs >= 2 MDTs"
+
+       check_mount_and_prep
+       $LFS mkdir -i 1 $DIR/$tdir/dir1
+       $LFS setstripe -E 1M -c1 -S 1M -E 128M -c2 -S 4M -E eof $DIR/$tdir/dir1
+
+       touch $DIR/$tdir/dir1/f1
+       local layout1=$(get_layout_param $DIR/$tdir/dir1/f1)
+
+       echo "Migrate $DIR/$tdir/dir1 from MDT1 to MDT0"
+       $LFS migrate -m 0 $DIR/$tdir/dir1
+
+       echo "trigger LFSCK for layout"
+       do_facet $SINGLEMDS $LCTL lfsck_start -M ${MDT_DEV} -t layout -r
+
+       wait_update_facet $SINGLEMDS "$LCTL get_param -n \
+               mdd.${MDT_DEV}.lfsck_layout |
+               awk '/^status/ { print \\\$2 }'" "completed" 32 || {
+               $SHOW_LAYOUT
+               error "(2) unexpected status"
+       }
+
+       local layout2=$(get_layout_param $DIR/$tdir/dir1/f1)
+
+       [[ "$layout1" == "$layout2" ]] || error "layout lost after lfsck"
+}
+run_test 40a "LFSCK correctly fixes lmm_oi in composite layout"
+
+test_41()
+{
+       local old_debug=$(do_facet $SINGLEMDS $LCTL get_param -n debug)
+
+       do_facet $SINGLEMDS $LCTL set_param debug=+lfsck
+       $LFS setstripe -E 1G -z 64M -E -1 -z 128M $DIR/$tfile
+       do_facet $SINGLEMDS $LCTL dk > /dev/null
+
+       echo "trigger LFSCK for SEL layout"
+       do_facet $SINGLEMDS $LCTL lfsck_start -M ${MDT_DEV} -A -t all -r -n on
+       wait_update_facet $SINGLEMDS "$LCTL get_param -n \
+               mdd.${MDT_DEV}.lfsck_layout |
+               awk '/^status/ { print \\\$2 }'" "completed" 32 || {
+               $SHOW_LAYOUT
+               error "(2) unexpected status"
+       }
+
+       local errors=$(do_facet $SINGLEMDS $LCTL dk |
+                      grep "lfsck_layout_verify_header")
+
+       [[ "x$errors" == "x" ]] || {
+               echo "$errors"
+               error "lfsck failed"
+       }
+
+       do_facet $SINGLEMDS "$LCTL set_param debug='$old_debug'"
+}
+run_test 41 "SEL support in LFSCK"
+
 # restore MDS/OST size
 MDSSIZE=${SAVED_MDSSIZE}
 OSTSIZE=${SAVED_OSTSIZE}