Whamcloud - gitweb
LU-10337 mdt: Allow open of open orphans
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 868be7a..4e192ec 100755 (executable)
@@ -14,12 +14,14 @@ ALWAYS_EXCEPT="$SANITY_EXCEPT  42a     42b     42c     77k"
 
 # skipped tests: LU-8411 LU-9096 LU-9054 ..
 ALWAYS_EXCEPT="  407     253     312     $ALWAYS_EXCEPT"
-# skipped tests: LU-4684
-ALWAYS_EXCEPT="  17n 160d 230 316      $ALWAYS_EXCEPT"
+
+if $SHARED_KEY; then
+# bug number for skipped tests:        LU-9795 (all below)
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT   17n     60a     133g    300f"
+fi
 
 # Check Grants after these tests
 GRANT_CHECK_LIST="$GRANT_CHECK_LIST 42a 42b 42c 42d 42e 63a 63b 64a 64b 64c"
-
 SRCDIR=$(cd $(dirname $0); echo $PWD)
 export PATH=$PATH:/sbin
 
@@ -110,8 +112,8 @@ elif [ -r /etc/os-release ]; then
                        # bug number for skipped test:
                        #                LU-10334 LU-10335 LU-10335 LU-10335
                        ALWAYS_EXCEPT+=" 103a     130a     130b     130c"
-                       #                LU-10335 LU-10335 LU-10365 LU-10366
-                       ALWAYS_EXCEPT+=" 130d     130e     400a     410"
+                       #                LU-10335 LU-10335 LU-10366
+                       ALWAYS_EXCEPT+=" 130d     130e     410"
                fi
        fi
 fi
@@ -2298,8 +2300,8 @@ test_27G() { #LU-10629
 run_test 27G "Clear OST pool from stripe"
 
 test_27H() {
-       [[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.11.53) ]] &&
-               skip "Need MDS version newer than 2.11.53"
+       [[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.11.54) ]] &&
+               skip "Need MDS version newer than 2.11.54"
        [[ $OSTCOUNT -lt 3 ]] && skip_env "needs >= 3 OSTs"
        test_mkdir $DIR/$tdir
        $LFS setstripe -o 0 -o 2 $DIR/$tdir || error "setstripe failed"
@@ -2313,6 +2315,13 @@ test_27H() {
        (( $($LFS getstripe -y $DIR/$tdir/$tfile |
             egrep -c "l_ost_idx: [02]$") == "2" )) ||
                error "expected l_ost_idx: [02]$ not matched"
+
+       # make sure ost list have been cleared
+       local stripesize=$($GETSTRIPE -S $DIR/$tdir)
+       $LFS setstripe -S $((stripesize * 4)) -i 1 \
+               -c $((OSTCOUNT - 1)) $DIR/$tdir || error "setstripe"
+       touch $DIR/$tdir/f3
+       $LVERIFY $DIR/$tdir $DIR/$tdir/f3 || error "lverify failed"
 }
 run_test 27H "Set specific OSTs stripe"
 
@@ -5510,7 +5519,7 @@ test_56wb() {
 run_test 56wb "check lfs_migrate pool support"
 
 test_56wc() {
-       local file1="$DIR/$tdir/file 1"
+       local file1="$DIR/$tdir/file1"
 
        echo -n "Creating test dir..."
        test_mkdir $DIR/$tdir &> /dev/null || error "cannot create dir"
@@ -6276,18 +6285,19 @@ test_60b() { # bug 6411
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
 
        dmesg > $DIR/$tfile
-       LLOG_COUNT=$(dmesg | awk "/$TEST60_HEAD/ { marker = 1; from_marker = 0; }
-                               /llog.test/ {
-                                       if (marker)
-                                               from_marker++
-                                       from_begin++
-                               }
-                               END {
-                                       if (marker)
-                                               print from_marker
-                                       else
-                                               print from_begin
-                               }")
+       LLOG_COUNT=$(do_facet mgs dmesg |
+                    awk "/$TEST60_HEAD/ { marker = 1; from_marker = 0; }
+                         /llog_[a-z]*.c:[0-9]/ {
+                               if (marker)
+                                       from_marker++
+                               from_begin++
+                         }
+                         END {
+                               if (marker)
+                                       print from_marker
+                               else
+                                       print from_begin
+                         }")
        [[ $LLOG_COUNT -gt 100 ]] &&
                error "CDEBUG_LIMIT not limiting messages ($LLOG_COUNT)" || true
 }
@@ -10674,7 +10684,6 @@ check_stats() {
                 ;;
        *) error "Wrong facet '$facet'" ;;
        esac
-       echo $res
        [ "$res" ] || error "The counter for $op on $facet was not incremented"
        # if the argument $3 is zero, it means any stat increment is ok.
        if [[ $want -gt 0 ]]; then
@@ -10733,6 +10742,8 @@ test_133a() {
 run_test 133a "Verifying MDT stats ========================================"
 
 test_133b() {
+       local res
+
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        remote_ost_nodsh && skip "remote OST with nodsh"
        remote_mds_nodsh && skip "remote MDS with nodsh"
@@ -10756,13 +10767,35 @@ test_133b() {
                ls -l ${testdir}/${tfile} > /dev/null|| error "ls failed"
                check_stats $SINGLEMDS "getattr" 1
        fi
+       rm -rf $DIR/${tdir}
+
+       # when DNE is enabled, MDT uses STATFS RPC to ping other targets
+       # so the check below is not reliable
+       [ $MDSCOUNT -eq 1 ] || return 0
+
        # Sleep to avoid a cached response.
        #define OBD_STATFS_CACHE_SECONDS 1
        sleep 2
+       do_facet $SINGLEMDS $LCTL set_param mdt.*.md_stats=clear
+       do_facet ost1 $LCTL set_param obdfilter.*.stats=clear
        $LFS df || error "lfs failed"
        check_stats $SINGLEMDS "statfs" 1
 
-       rm -rf $DIR/${tdir}
+       # check aggregated statfs (LU-10018)
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.54) ] &&
+               return 0
+       [ $(lustre_version_code client) -lt $(version_code 2.11.54) ] &&
+               return 0
+       sleep 2
+       do_facet $SINGLEMDS $LCTL set_param mdt.*.md_stats=clear
+       do_facet ost1 $LCTL set_param obdfilter.*.stats=clear
+       df $DIR
+       check_stats $SINGLEMDS "statfs" 1
+       res=$(do_facet ost1 \
+             $LCTL get_param obdfilter.$FSNAME-OST0000.stats | grep "statfs")
+       [ "$res" ] && error "OST got STATFS"
+
+       return 0
 }
 run_test 133b "Verifying extra MDT stats =================================="
 
@@ -11003,7 +11036,7 @@ test_133f() {
        find $proc_dirs -exec cat '{}' \; &> /dev/null
 
        # Second verifying readability.
-       $LCTL get_param -R '*' &> /dev/null || error "proc file read failed"
+       $LCTL get_param -R '*' &> /dev/null
 
        # Verifing writability with badarea_io.
        find $proc_dirs \
@@ -11829,8 +11862,7 @@ test_155_big_load() {
 save_writethrough() {
        local facets=$(get_facets OST)
 
-       save_lustre_params $facets "obdfilter.*.writethrough_cache_enable" > $1
-       save_lustre_params $facets "osd-*.*.writethrough_cache_enable" >> $1
+       save_lustre_params $facets "osd-*.*.writethrough_cache_enable" > $1
 }
 
 test_155a() {
@@ -13575,6 +13607,20 @@ test_184e() {
 }
 run_test 184e "Recreate layout after stripeless layout swaps"
 
+test_184f() {
+       # Create a file with name longer than sizeof(struct stat) ==
+       # 144 to see if we can get chars from the file name to appear
+       # in the returned striping. Note that 'f' == 0x66.
+       local file=$(for ((i = 0; i < 200; i++)); do echo -n f; done)
+
+       mkdir -p $DIR/$tdir
+       mcreate $DIR/$tdir/$file
+       if lfs find --stripe-count 0x6666 $DIR/$tdir | grep $file; then
+               error "IOC_MDC_GETFILEINFO returned garbage striping"
+       fi
+}
+run_test 184f "IOC_MDC_GETFILEINFO for files with long names but no striping"
+
 test_185() { # LU-2441
        # LU-3553 - no volatile file support in old servers
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.60) ]] ||
@@ -13883,8 +13929,8 @@ verify_jobstats() {
 jobstats_set() {
        local new_jobenv=$1
 
-       do_facet mgs $LCTL conf_param $FSNAME.sys.jobid_var=$new_jobenv
-       wait_update $HOSTNAME "$LCTL get_param -n jobid_var" $new_jobenv
+       set_persistent_param_and_check client "jobid_var" \
+               "$FSNAME.sys.jobid_var" $new_jobenv
 }
 
 test_205() { # Job stats
@@ -13900,9 +13946,13 @@ test_205() { # Job stats
 
        local old_jobenv=$($LCTL get_param -n jobid_var)
        [ $old_jobenv != $JOBENV ] && jobstats_set $JOBENV
-       stack_trap "do_facet mgs \
-               $LCTL conf_param $FSNAME.sys.jobid_var=$old_jobenv" EXIT
 
+       if [[ $PERM_CMD = *"set_param -P"* ]]; then
+               stack_trap "do_facet mgs $PERM_CMD jobid_var=$old_jobenv" EXIT
+       else
+               stack_trap "do_facet mgs $PERM_CMD \
+                       $FSNAME.sys.jobid_var=$old_jobenv" EXIT
+       fi
        changelog_register
 
        local old_interval=$(do_facet $SINGLEMDS lctl get_param -n \
@@ -14534,17 +14584,15 @@ test_224c() { # LU-6441
                                osc.*.max_pages_per_rpc)
        local at_max=$($LCTL get_param -n at_max)
        local timeout=$($LCTL get_param -n timeout)
-       local test_at="$LCTL get_param -n at_max"
+       local test_at="at_max"
        local param_at="$FSNAME.sys.at_max"
-       local test_timeout="$LCTL get_param -n timeout"
+       local test_timeout="timeout"
        local param_timeout="$FSNAME.sys.timeout"
 
        $LCTL set_param -n osc.*.max_pages_per_rpc=1024
 
-       set_conf_param_and_check client "$test_at" "$param_at" 0 ||
-               error "conf_param at_max=0 failed"
-       set_conf_param_and_check client "$test_timeout" "$param_timeout" 5 ||
-               error "conf_param timeout=5 failed"
+       set_persistent_param_and_check client "$test_at" "$param_at" 0
+       set_persistent_param_and_check client "$test_timeout" "$param_timeout" 5
 
        #define OBD_FAIL_PTLRPC_CLIENT_BULK_CB3   0x520
        do_facet ost1 $LCTL set_param fail_loc=0x520
@@ -14553,10 +14601,9 @@ test_224c() { # LU-6441
        sync
        do_facet ost1 $LCTL set_param fail_loc=0
 
-       set_conf_param_and_check client "$test_at" "$param_at" $at_max ||
-               error "conf_param at_max=$at_max failed"
-       set_conf_param_and_check client "$test_timeout" "$param_timeout" \
-               $timeout || error "conf_param timeout=$timeout failed"
+       set_persistent_param_and_check client "$test_at" "$param_at" $at_max
+       set_persistent_param_and_check client "$test_timeout" "$param_timeout" \
+               $timeout
 
        $LCTL set_param -n $pages_per_rpc
        restore_lustre_params < $p
@@ -14874,6 +14921,8 @@ run_test 229 "getstripe/stat/rm/attr changes work on released files"
 test_230a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local MDTIDX=1
 
@@ -14900,6 +14949,8 @@ run_test 230a "Create remote directory and files under the remote directory"
 test_230b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local MDTIDX=1
        local mdt_index
@@ -15063,11 +15114,14 @@ test_230b() {
 run_test 230b "migrate directory"
 
 test_230c() {
-       [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
+       [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
        remote_mds_nodsh && skip "remote MDS with nodsh"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local MDTIDX=1
+       local total=3
        local mdt_index
        local file
        local migrate_dir=$DIR/$tdir/migrate_dir
@@ -15076,35 +15130,59 @@ test_230c() {
        #the directory is still accessiable.
        test_mkdir $DIR/$tdir
        test_mkdir -i0 -c1 $migrate_dir
+       test_mkdir -i1 -c1 $DIR/$tdir/remote_dir
        stat $migrate_dir
-       createmany -o $migrate_dir/f 10 ||
+       createmany -o $migrate_dir/f $total ||
                error "create files under ${migrate_dir} failed"
 
-       #failed after migrating 5 entries
+       # fail after migrating top dir, and this will fail only once, so the
+       # first sub file migration will fail (currently f3), others succeed.
        #OBD_FAIL_MIGRATE_ENTRIES       0x1801
-       do_facet mds1 lctl set_param fail_loc=0x20001801
-       do_facet mds1 lctl  set_param fail_val=5
+       do_facet mds1 lctl set_param fail_loc=0x1801
        local t=$(ls $migrate_dir | wc -l)
        $LFS migrate --mdt-index $MDTIDX $migrate_dir &&
-               error "migrate should fail after 5 entries"
-
-       mkdir $migrate_dir/dir &&
-               error "mkdir succeeds under migrating directory"
-       touch $migrate_dir/file &&
-               error "touch file succeeds under migrating directory"
-
+               error "migrate should fail"
        local u=$(ls $migrate_dir | wc -l)
        [ "$u" == "$t" ] || error "$u != $t during migration"
 
-       for file in $(find $migrate_dir); do
-               stat $file || error "stat $file failed"
+       # add new dir/file should succeed
+       mkdir $migrate_dir/dir ||
+               error "mkdir failed under migrating directory"
+       touch $migrate_dir/file ||
+               error "create file failed under migrating directory"
+
+       # add file with existing name should fail
+       for file in $migrate_dir/f*; do
+               stat $file > /dev/null || error "stat $file failed"
+               $OPENFILE -f O_CREAT:O_EXCL $file &&
+                       error "open(O_CREAT|O_EXCL) $file should fail"
+               $MULTIOP $file m && error "create $file should fail"
+               touch $DIR/$tdir/remote_dir/$tfile ||
+                       error "touch $tfile failed"
+               ln $DIR/$tdir/remote_dir/$tfile $file &&
+                       error "link $file should fail"
+               mdt_index=$($LFS getstripe -m $file)
+               if [ $mdt_index == 0 ]; then
+                       # file failed to migrate is not allowed to rename to
+                       mv $DIR/$tdir/remote_dir/$tfile $file &&
+                               error "rename to $file should fail"
+               else
+                       mv $DIR/$tdir/remote_dir/$tfile $file ||
+                               error "rename to $file failed"
+               fi
+               echo hello >> $file || error "write $file failed"
        done
 
-       do_facet mds1 lctl set_param fail_loc=0
-       do_facet mds1 lctl set_param fail_val=0
+       # resume migration with different options should fail
+       $LFS migrate -m 0 $migrate_dir &&
+               error "migrate -m 0 $migrate_dir should fail"
+
+       $LFS migrate -m $MDTIDX -c 2 $migrate_dir &&
+               error "migrate -c 2 $migrate_dir should fail"
 
+       # resume migration should succeed
        $LFS migrate -m $MDTIDX $migrate_dir ||
-               error "migrate open files should failed with open files"
+               error "migrate $migrate_dir failed"
 
        echo "Finish migration, then checking.."
        for file in $(find $migrate_dir); do
@@ -15115,20 +15193,37 @@ test_230c() {
 
        rm -rf $DIR/$tdir || error "rm dir failed after migration"
 }
-run_test 230c "check directory accessiblity if migration is failed"
+run_test 230c "check directory accessiblity if migration failed"
 
 test_230d() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
+       # LU-11235
+       [ "$(facet_fstype mds1)" == "zfs" ] && skip "skip ZFS backend"
 
-       local MDTIDX=1
-       local mdt_index
        local migrate_dir=$DIR/$tdir/migrate_dir
+       local old_index
+       local new_index
+       local old_count
+       local new_count
+       local new_hash
+       local mdt_index
        local i
        local j
 
+       old_index=$((RANDOM % MDSCOUNT))
+       old_count=$((MDSCOUNT - old_index))
+       new_index=$((RANDOM % MDSCOUNT))
+       new_count=$((MDSCOUNT - new_index))
+       new_hash="all_char"
+
+       [ $old_count -gt 1 ] && old_count=$((old_count - RANDOM % old_count))
+       [ $new_count -gt 1 ] && new_count=$((new_count - RANDOM % new_count))
+
        test_mkdir $DIR/$tdir
-       test_mkdir -i0 -c1 $migrate_dir
+       test_mkdir -i $old_index -c $old_count $migrate_dir
 
        for ((i=0; i<100; i++)); do
                test_mkdir -i0 -c1 $migrate_dir/dir_${i}
@@ -15136,14 +15231,23 @@ test_230d() {
                        error "create files under remote dir failed $i"
        done
 
-       $LFS migrate -m $MDTIDX $migrate_dir ||
+       echo -n "Migrate from MDT$old_index "
+       [ $old_count -gt 1 ] && echo -n "... MDT$((old_index + old_count - 1)) "
+       echo -n "to MDT$new_index"
+       [ $new_count -gt 1 ] && echo -n " ... MDT$((new_index + new_count - 1))"
+       echo
+
+       echo "$LFS migrate -m$new_index -c$new_count -H $new_hash $migrate_dir"
+       $LFS migrate -m $new_index -c $new_count -H $new_hash $migrate_dir ||
                error "migrate remote dir error"
 
        echo "Finish migration, then checking.."
        for file in $(find $migrate_dir); do
                mdt_index=$($LFS getstripe -m $file)
-               [ $mdt_index == $MDTIDX ] ||
-                       error "$file is not on MDT${MDTIDX}"
+               if [ $mdt_index -lt $new_index ] ||
+                  [ $mdt_index -gt $((new_index + new_count - 1)) ]; then
+                       error "$file is on MDT$mdt_index"
+               fi
        done
 
        rm -rf $DIR/$tdir || error "rm dir failed after migration"
@@ -15153,6 +15257,8 @@ run_test 230d "check migrate big directory"
 test_230e() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local i
        local j
@@ -15199,6 +15305,8 @@ run_test 230e "migrate mulitple local link files"
 test_230f() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local a_fid
        local ln_fid
@@ -15248,6 +15356,8 @@ run_test 230f "migrate mulitple remote link files"
 test_230g() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        mkdir -p $DIR/$tdir/migrate_dir
 
@@ -15260,8 +15370,8 @@ run_test 230g "migrate dir to non-exist MDT"
 test_230h() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
-       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.64) ] &&
-               skip "Need MDS version at least 2.7.64"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        local mdt_index
 
@@ -15273,21 +15383,19 @@ test_230h() {
        $LFS migrate -m1 $DIR/$tdir/.. &&
                error "migrating mountpoint2 should fail"
 
-       $LFS migrate -m1 $DIR/$tdir/migrate_dir/.. ||
-               error "migrating $tdir fail"
-
-       mdt_index=$($LFS getstripe -m $DIR/$tdir)
-       [ $mdt_index == 1 ] || error "$mdt_index != 1 after migration"
-
-       mdt_index=$($LFS getstripe -m $DIR/$tdir/migrate_dir)
-       [ $mdt_index == 1 ] || error "$mdt_index != 1 after migration"
+       # same as mv
+       $LFS migrate -m1 $DIR/$tdir/migrate_dir/.. &&
+               error "migrating $tdir/migrate_dir/.. should fail"
 
+       true
 }
 run_test 230h "migrate .. and root"
 
 test_230i() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
        [ $MDSCOUNT -lt 2 ] && skip_env "needs >= 2 MDTs"
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.52) ] &&
+               skip "Need MDS version at least 2.11.52"
 
        mkdir -p $DIR/$tdir/migrate_dir
 
@@ -15494,18 +15602,6 @@ test_236() {
 }
 run_test 236 "Layout swap on open unlinked file"
 
-# test to verify file handle related system calls
-# (name_to_handle_at/open_by_handle_at)
-# The new system calls are supported in glibc >= 2.14.
-
-test_237() {
-       echo "Test file_handle syscalls" > $DIR/$tfile ||
-               error "write failed"
-       check_fhandle_syscalls $DIR/$tfile ||
-               error "check_fhandle_syscalls failed"
-}
-run_test 237 "Verify name_to_handle_at/open_by_handle_at syscalls"
-
 # LU-4659 linkea consistency
 test_238() {
        local server_version=$(lustre_version_code $SINGLEMDS)
@@ -17214,6 +17310,140 @@ test_271f() {
 }
 run_test 271f "DoM: read on open (200K file and read tail)"
 
+test_272a() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
+               skip "Need MDS version at least 2.11.50"
+
+       local dom=$DIR/$tdir/dom
+       mkdir -p $DIR/$tdir
+
+       $LFS setstripe -E 256K -L mdt -E -1 -c1 $dom
+       dd if=/dev/urandom of=$dom bs=512K count=1 ||
+               error "failed to write data into $dom"
+       local old_md5=$(md5sum $dom)
+
+       $LFS migrate -E 256K -L mdt -E -1 -c2 $dom ||
+               error "failed to migrate to the same DoM component"
+
+       [ $($LFS getstripe -c $dom) -eq 2 ] ||
+               error "layout was not changed silently"
+
+       local new_md5=$(md5sum $dom)
+
+       [ "$old_md5" != "$new_md5" ] &&
+               error "md5sum differ: $old_md5, $new_md5"
+       return 0
+}
+run_test 272a "DoM migration: new layout with the same DOM component"
+
+test_272b() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
+               skip "Need MDS version at least 2.11.50"
+
+       local dom=$DIR/$tdir/dom
+       mkdir -p $DIR/$tdir
+       $LFS setstripe -E 1M -L mdt -E -1 -c1 $dom
+
+       local mdtidx=$($LFS getstripe -m $dom)
+       local mdtname=MDT$(printf %04x $mdtidx)
+       local facet=mds$((mdtidx + 1))
+
+       local mdtfree1=$(do_facet $facet \
+               lctl get_param -n osd*.*$mdtname.kbytesfree)
+       dd if=/dev/urandom of=$dom bs=2M count=1 ||
+               error "failed to write data into $dom"
+       local old_md5=$(md5sum $dom)
+       cancel_lru_locks mdc
+       local mdtfree1=$(do_facet $facet \
+               lctl get_param -n osd*.*$mdtname.kbytesfree)
+
+       $LFS migrate -c2 $dom ||
+               error "failed to migrate to the new composite layout"
+       [ $($LFS getstripe -L $dom) == 'mdt' ] &&
+               error "MDT stripe was not removed"
+
+       cancel_lru_locks mdc
+       local new_md5=$(md5sum $dom)
+       [ "$old_md5" != "$new_md5" ] &&
+               error "$old_md5 != $new_md5"
+
+       # Skip free space checks with ZFS
+       if [ "$(facet_fstype $facet)" != "zfs" ]; then
+               local mdtfree2=$(do_facet $facet \
+                               lctl get_param -n osd*.*$mdtname.kbytesfree)
+               [ $mdtfree2 -gt $mdtfree1 ] ||
+                       error "MDT space is not freed after migration"
+       fi
+       return 0
+}
+run_test 272b "DoM migration: DOM file to the OST-striped file (plain)"
+
+test_272c() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
+               skip "Need MDS version at least 2.11.50"
+
+       local dom=$DIR/$tdir/$tfile
+       mkdir -p $DIR/$tdir
+       $LFS setstripe -E 1M -L mdt -E -1 -c1 $dom
+
+       local mdtidx=$($LFS getstripe -m $dom)
+       local mdtname=MDT$(printf %04x $mdtidx)
+       local facet=mds$((mdtidx + 1))
+
+       dd if=/dev/urandom of=$dom bs=2M count=1 oflag=direct ||
+               error "failed to write data into $dom"
+       local old_md5=$(md5sum $dom)
+       cancel_lru_locks mdc
+       local mdtfree1=$(do_facet $facet \
+               lctl get_param -n osd*.*$mdtname.kbytesfree)
+
+       $LFS migrate -E 2M -c1 -E -1 -c2 $dom ||
+               error "failed to migrate to the new composite layout"
+       [ $($LFS getstripe -L $dom) == 'mdt' ] &&
+               error "MDT stripe was not removed"
+
+       cancel_lru_locks mdc
+       local new_md5=$(md5sum $dom)
+       [ "$old_md5" != "$new_md5" ] &&
+               error "$old_md5 != $new_md5"
+
+       # Skip free space checks with ZFS
+       if [ "$(facet_fstype $facet)" != "zfs" ]; then
+               local mdtfree2=$(do_facet $facet \
+                               lctl get_param -n osd*.*$mdtname.kbytesfree)
+               [ $mdtfree2 -gt $mdtfree1 ] ||
+                       error "MDS space is not freed after migration"
+       fi
+       return 0
+}
+run_test 272c "DoM migration: DOM file to the OST-striped file (composite)"
+
+test_273a() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.50) ] &&
+               skip "Need MDS version at least 2.11.50"
+
+       # Layout swap cannot be done if either file has DOM component,
+       # this will never be supported, migration should be used instead
+
+       local dom=$DIR/$tdir/$tfile
+       mkdir -p $DIR/$tdir
+
+       $LFS setstripe -c2 ${dom}_plain
+       $LFS setstripe -E 1M -L mdt -E -1 -c2 ${dom}_dom
+       $LFS swap_layouts ${dom}_plain ${dom}_dom &&
+               error "can swap layout with DoM component"
+       $LFS swap_layouts ${dom}_dom ${dom}_plain &&
+               error "can swap layout with DoM component"
+
+       $LFS setstripe -E 1M -c1 -E -1 -c2 ${dom}_comp
+       $LFS swap_layouts ${dom}_comp ${dom}_dom &&
+               error "can swap layout with DoM component"
+       $LFS swap_layouts ${dom}_dom ${dom}_comp &&
+               error "can swap layout with DoM component"
+       return 0
+}
+run_test 273a "DoM: layout swapping should fail with DOM"
+
 test_275() {
        remote_ost_nodsh && skip "remote OST with nodsh"
        [ $(lustre_version_code ost1) -lt $(version_code 2.10.57) ] &&
@@ -17752,7 +17982,7 @@ test_300k() {
 
        #define OBD_FAIL_LARGE_STRIPE   0x1703
        $LCTL set_param fail_loc=0x1703
-       $LFS setdirstripe -i 0 -c512 $DIR/$tdir/striped_dir ||
+       $LFS setdirstripe -i 0 -c192 $DIR/$tdir/striped_dir ||
                error "set striped dir error"
        $LCTL set_param fail_loc=0
 
@@ -18396,12 +18626,12 @@ test_400a() { # LU-1606, was conf-sanity test_74
 
        if ! [[ -d $prefix ]]; then
                # Assume we're running in tree and fixup the include path.
-               extra_flags+=" -I$LUSTRE/include"
-               extra_flags+=" -L$LUSTRE/utils"
+               extra_flags+=" -I$LUSTRE/../lnet/include/uapi -I$LUSTRE/include/uapi -I$LUSTRE/include"
+               extra_flags+=" -L$LUSTRE/utils/.lib"
        fi
 
        for prog in $LUSTRE_TESTS_API_DIR/*.c; do
-               $CC -Wall -Werror $extra_flags -llustreapi -o $out $prog ||
+               $CC -Wall -Werror $extra_flags -o $out $prog -llustreapi ||
                        error "client api broken"
        done
        rm -f $out
@@ -18818,9 +19048,9 @@ test_411() {
        echo 1M > $cgdir/memory.limit_in_bytes
 
        # Should not LBUG, just be killed by oom-killer
-       sh -c "echo \$$ > $cgdir/tasks && dd if=$DIR/$tfile of=/dev/null" &&
-               error "fail to trigger a memory allocation error"
-
+       # dd will return 0 even allocation failure in some environment.
+       # So don't check return value
+       sh -c "echo \$$ > $cgdir/tasks && dd if=$DIR/$tfile of=/dev/null"
        cleanup_test411_cgroup $cgdir
 
        return 0
@@ -18932,6 +19162,20 @@ test_415() {
 }
 run_test 415 "lock revoke is not missing"
 
+
+test_416() {
+       [ $(lustre_version_code mds1) -lt $(version_code 2.11.55) ] &&
+               skip "Need server version at least 2.11.55"
+
+       # define OBD_FAIL_OSD_TXN_START    0x19a
+       do_facet mds1 lctl set_param fail_loc=0x19a
+
+       lfs mkdir -c $MDSCOUNT $DIR/$tdir
+
+       true
+}
+run_test 416 "transaction start failure won't cause system hung"
+
 prep_801() {
        [[ $(lustre_version_code mds1) -lt $(version_code 2.9.55) ]] ||
        [[ $(lustre_version_code ost1) -lt $(version_code 2.9.55) ]] &&
@@ -19556,6 +19800,38 @@ test_807() {
 }
 run_test 807 "verify LSOM syncing tool"
 
+check_som_nologged()
+{
+       local lines=$($LFS changelog $FSNAME-MDT0000 |
+               grep 'x=trusted.som' | wc -l)
+       [ $lines -ne 0 ] && error "trusted.som xattr is logged in Changelogs"
+}
+
+test_808() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.11.55) ] &&
+               skip "Need MDS version at least 2.11.55" && return
+
+       # Registration step
+       changelog_register || error "changelog_register failed"
+
+       touch $DIR/$tfile || error "touch $tfile failed"
+       check_som_nologged
+
+       dd if=/dev/zero of=$DIR/$tfile bs=1048576 count=1 ||
+               error "write $tfile failed"
+       check_som_nologged
+
+       $TRUNCATE $DIR/$tfile 1234
+       check_som_nologged
+
+       $TRUNCATE $DIR/$tfile 1048576
+       check_som_nologged
+
+       # Deregistration step
+       changelog_deregister || error "changelog_deregister failed"
+}
+run_test 808 "Check trusted.som xattr not logged in Changelogs"
+
 #
 # tests that do cleanup/setup should be run at the end
 #