Whamcloud - gitweb
LU-5710 all: second batch of corrected typos and grammar errors
[fs/lustre-release.git] / lustre / tests / sanity.sh
index e4162eb..5d4cc9f 100644 (file)
@@ -58,11 +58,11 @@ init_test_env $@
 . ${CONFIG:=$LUSTRE/tests/cfg/${NAME}.sh}
 init_logging
 
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 27m 64b 68 71 77f 78 115 124b 230d"
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 24D 27m 64b 68 71 77f 78 115 124b 230d"
 
 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
-       # bug number for skipped test: LU-1593  LU-5242 LU-1957 LU-2805
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  34h      132     180     184c"
+       # bug number for skipped test: LU-4536 LU-5242   LU-1957 LU-2805
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  65ic     78 79 80 180     184c"
        [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 51b 51ba"
 fi
 
@@ -664,7 +664,7 @@ test_17n() {
        check_fs_consistency_17n ||
                error "e2fsck report error after create files under remote dir"
 
-       for ((i=0;i<10;i++)); do
+       for ((i = 0; i < 10; i++)); do
                rm -rf $DIR/$tdir/remote_dir_${i} ||
                        error "destroy remote dir error $i"
        done
@@ -675,16 +675,16 @@ test_17n() {
        [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.50) ] &&
                skip "lustre < 2.4.50 does not support migrate mv " && return
 
-       for ((i=0; i<10; i++)); do
+       for ((i = 0; i < 10; i++)); do
                mkdir -p $DIR/$tdir/remote_dir_${i}
                createmany -o $DIR/$tdir/remote_dir_${i}/f 10 ||
                        error "create files under remote dir failed $i"
-               $LFS mv -M 1 $DIR/$tdir/remote_dir_${i} ||
+               $LFS mv --mdt-index 1 $DIR/$tdir/remote_dir_${i} ||
                        error "migrate remote dir error $i"
        done
        check_fs_consistency_17n || error "e2fsck report error after migration"
 
-       for ((i=0;i<10;i++)); do
+       for ((i = 0; i < 10; i++)); do
                rm -rf $DIR/$tdir/remote_dir_${i} ||
                        error "destroy remote dir error $i"
        done
@@ -1251,6 +1251,23 @@ test_24C() {
 }
 run_test 24C "check .. in striped dir"
 
+test_24D() { # LU-6101
+       local NFILES=50000
+
+       rm -rf $DIR/$tdir
+       mkdir -p $DIR/$tdir
+       createmany -m $DIR/$tdir/$tfile $NFILES
+       local t=$(ls $DIR/$tdir | wc -l)
+       local u=$(ls $DIR/$tdir | sort -u | wc -l)
+       local v=$(ls -ai $DIR/$tdir | sort -u | wc -l)
+       if [ $t -ne $NFILES -o $u -ne $NFILES -o $v -ne $((NFILES + 2)) ] ; then
+               error "Expected $NFILES files, got $t ($u unique $v .&..)"
+       fi
+
+       rm -rf $DIR/$tdir || error "Can not delete directories"
+}
+run_test 24D "readdir() returns correct number of entries after cursor reload"
+
 test_25a() {
        echo '== symlink sanity ============================================='
 
@@ -1380,8 +1397,10 @@ test_27g() {
 run_test 27g "$GETSTRIPE with no objects"
 
 test_27i() {
-       touch $DIR/d27/fsome || error "touch failed"
-       [[ $($GETSTRIPE -c $DIR/d27/fsome) -gt 0 ]] || error "missing objects"
+       test_mkdir $DIR/$tdir
+       touch $DIR/$tdir/$tfile || error "touch failed"
+       [[ $($GETSTRIPE -c $DIR/$tdir/$tfile) -gt 0 ]] ||
+               error "missing objects"
 }
 run_test 27i "$GETSTRIPE with some objects"
 
@@ -1464,34 +1483,33 @@ exhaust_precreations() {
        local OSTIDX=$1
        local FAILLOC=$2
        local FAILIDX=${3:-$OSTIDX}
+       local ofacet=ost$((OSTIDX + 1))
 
-       test_mkdir -p $DIR/$tdir
-       local MDSIDX=$(get_mds_dir "$DIR/$tdir")
-       echo OSTIDX=$OSTIDX MDSIDX=$MDSIDX
+       test_mkdir -p -c1 $DIR/$tdir
+       local mdtidx=$($LFS getstripe -M $DIR/$tdir)
+       local mfacet=mds$((mdtidx + 1))
+       echo OSTIDX=$OSTIDX MDTIDX=$mdtidx
 
        local OST=$(ostname_from_index $OSTIDX)
-       local MDT_INDEX=$(lfs df | grep "\[MDT:$((MDSIDX - 1))\]" | awk '{print $1}' | \
-                         sed -e 's/_UUID$//;s/^.*-//')
 
        # on the mdt's osc
-       local mdtosc_proc1=$(get_mdtosc_proc_path mds${MDSIDX} $OST)
-       local last_id=$(do_facet mds${MDSIDX} lctl get_param -n \
+       local mdtosc_proc1=$(get_mdtosc_proc_path $mfacet $OST)
+       local last_id=$(do_facet $mfacet lctl get_param -n \
                        osc.$mdtosc_proc1.prealloc_last_id)
-       local next_id=$(do_facet mds${MDSIDX} lctl get_param -n \
+       local next_id=$(do_facet $mfacet lctl get_param -n \
                        osc.$mdtosc_proc1.prealloc_next_id)
 
-       local mdtosc_proc2=$(get_mdtosc_proc_path mds${MDSIDX})
-       do_facet mds${MDSIDX} lctl get_param osc.$mdtosc_proc2.prealloc*
+       local mdtosc_proc2=$(get_mdtosc_proc_path $mfacet)
+       do_facet $mfacet lctl get_param osc.$mdtosc_proc2.prealloc*
 
        test_mkdir -p $DIR/$tdir/${OST}
        $SETSTRIPE -i $OSTIDX -c 1 $DIR/$tdir/${OST}
 #define OBD_FAIL_OST_ENOSPC              0x215
-       do_facet ost$((OSTIDX + 1)) lctl set_param fail_val=$FAILIDX
-       do_facet ost$((OSTIDX + 1)) lctl set_param fail_loc=0x215
+       do_facet $ofacet lctl set_param fail_val=$FAILIDX fail_loc=0x215
        echo "Creating to objid $last_id on ost $OST..."
        createmany -o $DIR/$tdir/${OST}/f $next_id $((last_id - next_id + 2))
-       do_facet mds${MDSIDX} lctl get_param osc.$mdtosc_proc2.prealloc*
-       do_facet ost$((OSTIDX + 1)) lctl set_param fail_loc=$FAILLOC
+       do_facet $mfacet lctl get_param osc.$mdtosc_proc2.prealloc*
+       do_facet $ofacet lctl set_param fail_loc=$FAILLOC
        sleep_maxage
 }
 
@@ -2019,6 +2037,35 @@ test_27D() {
 }
 run_test 27D "validate llapi_layout API"
 
+# Verify that default_easize is increased from its initial value after
+# accessing a widely striped file.
+test_27E() {
+       [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+
+       # 72 bytes is the minimum space required to store striping
+       # information for a file striped across one OST:
+       # (sizeof(struct lov_user_md_v3) +
+       #  sizeof(struct lov_user_ost_data_v1))
+       local min_easize=72
+       $LCTL set_param -n llite.*.default_easize $min_easize ||
+               error "lctl set_param failed"
+       local easize=$($LCTL get_param -n llite.*.default_easize)
+
+       [ $easize -eq $min_easize ] ||
+               error "failed to set default_easize"
+
+       $LFS setstripe -c $OSTCOUNT $DIR/$tfile ||
+               error "setstripe failed"
+       cat $DIR/$tfile
+       rm $DIR/$tfile
+
+       easize=$($LCTL get_param -n llite.*.default_easize)
+
+       [ $easize -gt $min_easize ] ||
+               error "default_easize not updated"
+}
+run_test 27E "check that default extended attribute size properly increases"
+
 # createtest also checks that device nodes are created and
 # then visible correctly (#2091)
 test_28() { # bug 2091
@@ -2713,6 +2760,35 @@ test_33e() {
 }
 run_test 33e "mkdir and striped directory should have same mode"
 
+cleanup_33f() {
+       trap 0
+       do_facet $SINGLEMDS $LCTL set_param mdt.*.enable_remote_dir_gid=0
+}
+
+test_33f() {
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       mkdir $DIR/$tdir
+       chmod go+rwx $DIR/$tdir
+       do_facet $SINGLEMDS $LCTL set_param mdt.*.enable_remote_dir_gid=-1
+       trap cleanup_33f EXIT
+
+       $RUNAS lfs mkdir -c$MDSCOUNT $DIR/$tdir/striped_dir ||
+               error "cannot create striped directory"
+
+       $RUNAS touch $DIR/$tdir/striped_dir/{0..16} ||
+               error "cannot create files in striped directory"
+
+       $RUNAS rm $DIR/$tdir/striped_dir/{0..16} ||
+               error "cannot remove files in striped directory"
+
+       $RUNAS rmdir $DIR/$tdir/striped_dir ||
+               error "cannot remove striped directory"
+
+       cleanup_33f
+}
+run_test 33f "nonroot user can create, access, and remove a striped directory"
+
 TEST_34_SIZE=${TEST_34_SIZE:-2000000000000}
 test_34a() {
        rm -f $DIR/f34
@@ -4780,6 +4856,8 @@ test_56v() {
 run_test 56v "check 'lfs find -mdt match with lfs getstripe -M' ======="
 
 test_56w() {
+       [[ $OSTCOUNT -lt 2 ]] && skip_env "$OSTCOUNT < 2 OSTs -- skipping" &&
+               return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        TDIR=$DIR/${tdir}w
 
@@ -4950,13 +5028,26 @@ test_56z() { # LU-4824
                error "$LFS find did not return an error"
        # Make a directory unsearchable. This should NOT be the last entry in
        # directory order.  Arbitrarily pick the 6th entry
-       chmod 700 $(lfs find $DIR/$tdir -type d | sed '6!d')
+       chmod 700 $($LFS find $DIR/$tdir -type d | sed '6!d')
        local count=$($RUNAS $LFS find $DIR/non_existent $DIR/$tdir | wc -l)
        # The user should be able to see 10 directories and 9 files
        [ $count == 19 ] || error "$LFS find did not continue after error"
 }
 run_test 56z "lfs find should continue after an error"
 
+test_56aa() { # LU-5937
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+
+       mkdir $DIR/$tdir
+       $LFS setdirstripe -c$MDSCOUNT $DIR/$tdir/striped_dir
+
+       createmany -o $DIR/$tdir/striped_dir/${tfile}- 1024
+       local dirs=$(lfs find --size +8k $DIR/$tdir/)
+
+       [ -n "$dirs" ] || error "lfs find --size wrong under striped dir"
+}
+run_test 56aa "lfs find --size under striped dir"
+
 test_57a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        # note test will not do anything if MDS is not local
@@ -4987,16 +5078,17 @@ test_57b() {
        fi
 
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
-       local dir=$DIR/d57b
+       local dir=$DIR/$tdir
 
        local FILECOUNT=100
        local FILE1=$dir/f1
        local FILEN=$dir/f$FILECOUNT
 
        rm -rf $dir || error "removing $dir"
-       test_mkdir -p $dir || error "creating $dir"
-       local num=$(get_mds_dir $dir)
-       local mymds=mds$num
+       test_mkdir -p -c1 $dir || error "creating $dir"
+       local mdtidx=$($LFS getstripe -M $dir)
+       local mdtname=MDT$(printf %04x $mdtidx)
+       local facet=mds$((mdtidx + 1))
 
        echo "mcreating $FILECOUNT files"
        createmany -m $dir/f 1 $FILECOUNT || \
@@ -5009,9 +5101,9 @@ test_57b() {
        sync
        sleep 1
        df $dir  #make sure we get new statfs data
-       local MDSFREE=$(do_facet $mymds \
-               lctl get_param -n osd*.*MDT000$((num -1)).kbytesfree)
-       local MDCFREE=$(lctl get_param -n mdc.*MDT000$((num -1))-mdc-*.kbytesfree)
+       local MDSFREE=$(do_facet $facet \
+               lctl get_param -n osd*.*$mdtname.kbytesfree)
+       local MDCFREE=$(lctl get_param -n mdc.*$mdtname-mdc-*.kbytesfree)
        echo "opening files to create objects/EAs"
        local FILE
        for FILE in `seq -f $dir/f%g 1 $FILECOUNT`; do
@@ -5024,9 +5116,9 @@ test_57b() {
 
        sleep 1  #make sure we get new statfs data
        df $dir
-       local MDSFREE2=$(do_facet $mymds \
-               lctl get_param -n osd*.*MDT000$((num -1)).kbytesfree)
-       local MDCFREE2=$(lctl get_param -n mdc.*MDT000$((num -1))-mdc-*.kbytesfree)
+       local MDSFREE2=$(do_facet $facet \
+               lctl get_param -n osd*.*$mdtname.kbytesfree)
+       local MDCFREE2=$(lctl get_param -n mdc.*$mdtname-mdc-*.kbytesfree)
        if [[ $MDCFREE2 -lt $((MDCFREE - 16)) ]]; then
                if [ "$MDSFREE" != "$MDSFREE2" ]; then
                        error "MDC before $MDCFREE != after $MDCFREE2"
@@ -5883,7 +5975,7 @@ test_78() { # bug 10901
        [[ $F78SIZE -gt $MEMTOTAL ]] && F78SIZE=$MEMTOTAL
        [[ $F78SIZE -gt 512 ]] && F78SIZE=512
        [[ $F78SIZE -gt $((MAXFREE / 1024)) ]] && F78SIZE=$((MAXFREE / 1024))
-       SMALLESTOST=$(lfs df $DIR | grep OST | awk '{ print $4 }' | sort -n |
+       SMALLESTOST=$($LFS df $DIR | grep OST | awk '{ print $4 }' | sort -n |
                head -n1)
        echo "Smallest OST: $SMALLESTOST"
        [[ $SMALLESTOST -lt 10240 ]] &&
@@ -6578,14 +6670,14 @@ compare_stripe_info1() {
                        for offset in $(seq 0 $[$STRIPE_COUNT - 1]); do
                                local size=$((STRIPE_SIZE * num))
                                local file=file"$num-$offset-$count"
-                               stripe_size=$(lfs getstripe -S $PWD/$file)
+                               stripe_size=$($LFS getstripe -S $PWD/$file)
                                [[ $stripe_size -ne $size ]] &&
                                    error "$file: size $stripe_size != $size"
-                               stripe_count=$(lfs getstripe -c $PWD/$file)
+                               stripe_count=$($LFS getstripe -c $PWD/$file)
                                # allow fewer stripes to be created, ORI-601
                                [[ $stripe_count -lt $(((3 * count + 3) / 4)) ]] &&
                                    error "$file: count $stripe_count != $count"
-                               stripe_index=$(lfs getstripe -i $PWD/$file)
+                               stripe_index=$($LFS getstripe -i $PWD/$file)
                                [[ $stripe_index -ne 0 ]] &&
                                        stripe_index_all_zero=false
                        done
@@ -6879,6 +6971,19 @@ test_102p() { # LU-4703 setxattr did not check ownership
 }
 run_test 102p "check setxattr(2) correctly fails without permission"
 
+test_102q() {
+       orphan_linkea_check $DIR/$tfile || error "orphan_linkea_check"
+}
+run_test 102q "flistxattr should not return trusted.link EAs for orphans"
+
+test_102r() {
+       touch $DIR/$tfile || error "touch"
+       setfattr -n user.$(basename $tfile) $DIR/$tfile || error "setfattr"
+       getfattr -n user.$(basename $tfile) $DIR/$tfile || error "getfattr"
+       rm $DIR/$tfile || error "rm"
+}
+run_test 102r "set EAs with empty values"
+
 run_acl_subtest()
 {
     $LUSTRE/tests/acl/run $LUSTRE/tests/acl/$1.test
@@ -7310,12 +7415,10 @@ run_test 116a "stripe QOS: free space balance ==================="
 
 test_116b() { # LU-2093
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       [ -z "$($LCTL get_param -n lo*.$FSNAME-MDT0000-mdtlov.qos_threshold_rr |
-               head -1 2>/dev/null)" ] && skip "no QOS" && return
 #define OBD_FAIL_MDS_OSC_CREATE_FAIL     0x147
-       local old_rr
-       old_rr=$(do_facet $SINGLEMDS lctl get_param -n \
-               lo*.$FSNAME-MDT0000-mdtlov.qos_threshold_rr | head -1)
+       local old_rr=$(do_facet $SINGLEMDS lctl get_param -n \
+                      lo*.$FSNAME-MDT0000-mdtlov.qos_threshold_rr | head -1)
+       [ -z "$old_rr" ] && skip "no QOS" && return 0
        do_facet $SINGLEMDS lctl set_param \
                lo*.$FSNAME-MDT0000-mdtlov.qos_threshold_rr=0
        mkdir -p $DIR/$tdir
@@ -8195,6 +8298,10 @@ test_124a() {
         local MAX_HRS=10
        local LIMIT=$($LCTL get_param -n $NSDIR.pool.limit)
        log "LIMIT=$LIMIT"
+       if [ $LIMIT -lt $LRU_SIZE ]; then
+           skip "Limit is too small $LIMIT"
+           return 0
+       fi
 
         # Make LVF so higher that sleeping for $SLEEP is enough to _start_
         # killing locks. Some time was spent for creating locks. This means
@@ -8854,81 +8961,6 @@ test_131e() {
 }
 run_test 131e "test read hitting hole"
 
-get_ost_param() {
-        local token=$1
-        local gl_sum=0
-        for node in $(osts_nodes); do
-                gl=$(do_node $node "$LCTL get_param -n ost.OSS.ost.stats" | awk '/'$token'/ {print $2}' | head -n 1)
-                [ x$gl = x"" ] && gl=0
-                gl_sum=$((gl_sum + gl))
-        done
-        echo $gl_sum
-}
-
-som_mode_switch() {
-        local som=$1
-        local gl1=$2
-        local gl2=$3
-
-        if [ x$som = x"enabled" ]; then
-                [ $((gl2 - gl1)) -gt 0 ] && error "no glimpse RPC is expected"
-                MOUNT_OPTS=`echo $MOUNT_OPTS |
-                    sed 's/som_preview,\|,som_preview\|som_preview//g'`
-                do_facet mgs "$LCTL conf_param $FSNAME.mdt.som=disabled"
-        else
-                [ $((gl2 - gl1)) -gt 0 ] || error "some glimpse RPC is expected"
-                MOUNT_OPTS="${MOUNT_OPTS:+$MOUNT_OPTS,}som_preview"
-                do_facet mgs "$LCTL conf_param $FSNAME.mdt.som=enabled"
-        fi
-
-        # do remount to make new mount-conf parameters actual
-        echo remounting...
-        sync
-        stopall
-        setupall
-}
-
-test_132() { #1028, SOM
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-        remote_mds_nodsh && skip "remote MDS with nodsh" && return
-        local num=$(get_mds_dir $DIR)
-        local mymds=mds${num}
-        local MOUNT_OPTS_SAVE=$MOUNT_OPTS
-
-        dd if=/dev/zero of=$DIR/$tfile count=1 2>/dev/null
-        cancel_lru_locks osc
-
-        som1=$(do_facet $mymds "$LCTL get_param -n mdt.*.som" | head -n 1)
-
-        gl1=$(get_ost_param "ldlm_glimpse_enqueue")
-        stat $DIR/$tfile >/dev/null
-        gl2=$(get_ost_param "ldlm_glimpse_enqueue")
-        echo "====> SOM is "$som1", "$((gl2 - gl1))" glimpse RPC occured"
-        rm $DIR/$tfile
-        som_mode_switch $som1 $gl1 $gl2
-
-        dd if=/dev/zero of=$DIR/$tfile count=1 2>/dev/null
-        cancel_lru_locks osc
-
-        som2=$(do_facet $mymds "$LCTL get_param -n mdt.*.som" | head -n 1)
-        if [ $som1 == $som2 ]; then
-            error "som is still "$som2
-            if [ x$som2 = x"enabled" ]; then
-                som2="disabled"
-            else
-                som2="enabled"
-            fi
-        fi
-
-        gl1=$(get_ost_param "ldlm_glimpse_enqueue")
-        stat $DIR/$tfile >/dev/null
-        gl2=$(get_ost_param "ldlm_glimpse_enqueue")
-        echo "====> SOM is "$som2", "$((gl2 - gl1))" glimpse RPC occured"
-        som_mode_switch $som2 $gl1 $gl2
-        MOUNT_OPTS=$MOUNT_OPTS_SAVE
-}
-run_test 132 "som avoids glimpse rpc"
-
 check_stats() {
        local res
        local count
@@ -9292,10 +9324,10 @@ test_133g() {
                error "find $proc_dirs failed"
 
        [ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.5.54) ] &&
-               skip "Too old lustre on MDS"
+               skip "Too old lustre on MDS" && return
 
        [ $(lustre_version_code ost1) -le $(version_code 2.5.54) ] &&
-               skip "Too old lustre on ost1"
+               skip "Too old lustre on ost1" && return
 
        for facet in $SINGLEMDS ost1; do
                do_facet $facet find $proc_dirs \
@@ -9671,7 +9703,7 @@ test_154A() {
        [ -z "$FID" ] && error "path2fid unable to get $DIR/$tfile FID"
 
        # check that we get the same pathname back
-       local FOUND=$($LFS fid2path $MOUNT $FID)
+       local FOUND=$($LFS fid2path $MOUNT "$FID")
        [ -z "$FOUND" ] && error "fid2path unable to get $FID path"
        [ "$FOUND" != "$DIR/$tfile" ] &&
                error "fid2path(path2fid($DIR/$tfile)) = $FOUND != $DIR/$tfile"
@@ -9753,7 +9785,8 @@ test_154c() {
                N=$((N + 1))
        done
 
-       $LFS fid2path $MOUNT $FID1 $FID2 $FID3 | while read PATHNAME; do
+       $LFS fid2path $MOUNT "$FID1" "$FID2" "$FID3" | while read PATHNAME;
+       do
                [ "$PATHNAME" = "$DIR/$tfile.$N" ] ||
                        error "fid2path pathname $PATHNAME != $DIR/$tfile.$N:"
                N=$((N + 1))
@@ -9777,13 +9810,13 @@ test_154d() {
        rm -f $DIR/$tfile
        touch $DIR/$tfile
 
-       fid=$($LFS path2fid $DIR/$tfile)
+       local fid=$($LFS path2fid $DIR/$tfile)
        # Open the file
        fd=$(free_fd)
        cmd="exec $fd<$DIR/$tfile"
        eval $cmd
-       fid_list=$(do_facet $SINGLEMDS $LCTL get_param $proc_ofile)
-       echo $fid_list | grep $fid
+       local fid_list=$(do_facet $SINGLEMDS $LCTL get_param $proc_ofile)
+       echo "$fid_list" | grep "$fid"
        rc=$?
 
        cmd="exec $fd>/dev/null"
@@ -9881,6 +9914,16 @@ test_154f() {
 }
 run_test 154f "get parent fids by reading link ea"
 
+test_154g()
+{
+       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.92) ]] ||
+               { skip "Need MDS version at least 2.6.92"; return 0; }
+
+       mkdir -p $DIR/$tdir
+       llapi_fid_test -d $DIR/$tdir
+}
+run_test 154g "various llapi FID tests"
+
 test_155_small_load() {
     local temp=$TMP/$tfile
     local file=$DIR/$tfile
@@ -10530,6 +10573,8 @@ check_path() {
     local fid=$2
 
     local path=$(${LFS} fid2path $*)
+    # Remove the '//' indicating a remote directory
+    path=$(echo $path | sed 's#//#/#g')
     RC=$?
 
     if [ $RC -ne 0 ]; then
@@ -10624,6 +10669,33 @@ test_162b() {
 }
 run_test 162b "striped directory path lookup sanity"
 
+# LU-4239: Verify fid2path works with paths 100 or more directories deep
+test_162c() {
+       test_mkdir $DIR/$tdir.local
+       test_mkdir $DIR/$tdir.remote
+       local lpath=$tdir.local
+       local rpath=$tdir.remote
+
+       for ((i = 0; i <= 101; i++)); do
+               lpath="$lpath/$i"
+               mkdir $DIR/$lpath
+               FID=$($LFS path2fid $DIR/$lpath | tr -d '[]') ||
+                       error "get fid for local directory $DIR/$lpath failed"
+               check_path "$DIR/$lpath" $MOUNT $FID --link 0 ||
+                       error "check path for local directory $DIR/$lpath failed"
+
+               rpath="$rpath/$i"
+               test_mkdir $DIR/$rpath
+               FID=$($LFS path2fid $DIR/$rpath | tr -d '[]') ||
+                       error "get fid for remote directory $DIR/$rpath failed"
+               check_path "$DIR/$rpath" $MOUNT $FID --link 0 ||
+                       error "check path for remote directory $DIR/$rpath failed"
+       done
+
+       return 0
+}
+run_test 162c "fid2path works with paths 100 or more directories deep"
+
 test_169() {
        # do directio so as not to populate the page cache
        log "creating a 10 Mb file"
@@ -10985,7 +11057,7 @@ test_184c() {
        local ref2=$dir0/ref2
        local file1=$dir0/file1
        local file2=$dir0/file2
-       # create a file large enough for the concurent test
+       # create a file large enough for the concurrent test
        dd if=/dev/urandom of=$ref1 bs=1M count=$((RANDOM % 50 + 20))
        dd if=/dev/urandom of=$ref2 bs=1M count=$((RANDOM % 50 + 20))
        echo "ref file size: ref1($(stat -c %s $ref1))," \
@@ -11054,6 +11126,41 @@ test_184d() {
 }
 run_test 184d "allow stripeless layouts swap"
 
+test_184e() {
+       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.94) ]] ||
+               { skip "Need MDS version at least 2.6.94"; return 0; }
+       check_swap_layouts_support && return 0
+       [ -z "$(which getfattr 2>/dev/null)" ] &&
+               skip "no getfattr command" && return 0
+
+       local file1=$DIR/$tdir/$tfile-1
+       local file2=$DIR/$tdir/$tfile-2
+       local file3=$DIR/$tdir/$tfile-3
+       local lovea
+
+       mkdir -p $DIR/$tdir
+       touch $file1 || error "create $file1 failed"
+       $OPENFILE -f O_CREAT:O_LOV_DELAY_CREATE $file2 ||
+               error "create $file2 failed"
+       $OPENFILE -f O_CREAT:O_LOV_DELAY_CREATE $file3 ||
+               error "create $file3 failed"
+
+       $LFS swap_layouts $file1 $file2 ||
+               error "swap $file1 $file2 layouts failed"
+
+       lovea=$(getfattr -n trusted.lov $file1 | grep ^trusted)
+       [[ -z "$lovea" ]] || error "$file1 shouldn't have lovea"
+
+       echo 123 > $file1 || error "Should be able to write into $file1"
+
+       $LFS swap_layouts $file1 $file3 ||
+               error "swap $file1 $file3 layouts failed"
+
+       echo 123 > $file1 || error "Should be able to write into $file1"
+
+       rm -rf $file1 $file2 $file3
+}
+run_test 184e "Recreate layout after stripeless layout swaps"
 
 test_185() { # LU-2441
        # LU-3553 - no volatile file support in old servers
@@ -11135,6 +11242,7 @@ test_200() {
        local ost_range="$first_ost $last_ost $ost_step"
        local test_path=$POOL_ROOT/$POOL_DIR_NAME
        local file_dir=$POOL_ROOT/file_tst
+       local subdir=$test_path/subdir
 
        local rc=0
        while : ; do
@@ -11145,6 +11253,8 @@ test_200() {
                mkdir -p $test_path
                pool_set_dir      $POOL $test_path      || { rc=$? ; break; }
                pool_check_dir    $POOL $test_path      || { rc=$? ; break; }
+               mkdir -p $subdir
+               pool_check_dir    $POOL $subdir         || { rc=$? ; break; }
                pool_dir_rel_path $POOL $POOL_DIR_NAME $POOL_ROOT \
                                                        || { rc=$? ; break; }
                # former test_200e test_200f
@@ -11798,7 +11908,7 @@ test_220() { #LU-325
        local OSTIDX=0
 
        test_mkdir -p $DIR/$tdir
-       local OST=$(lfs osts | grep ${OSTIDX}": " | \
+       local OST=$($LFS osts | grep ${OSTIDX}": " | \
                awk '{print $2}' | sed -e 's/_UUID$//')
 
        # on the mdt's osc
@@ -12247,7 +12357,8 @@ test_230a() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local MDTIDX=1
 
-       mkdir -p $DIR/$tdir/test_230_local
+       test_mkdir $DIR/$tdir
+       test_mkdir -i0 -c1 $DIR/$tdir/test_230_local
        local mdt_idx=$($GETSTRIPE -M $DIR/$tdir/test_230_local)
        [ $mdt_idx -ne 0 ] &&
                error "create local directory on wrong MDT $mdt_idx"
@@ -12278,8 +12389,9 @@ test_230b() {
        local migrate_dir=$DIR/$tdir/migrate_dir
        local other_dir=$DIR/$tdir/other_dir
 
-       mkdir -p $migrate_dir
-       mkdir -p $other_dir
+       test_mkdir $DIR/$tdir
+       test_mkdir -i0 -c1 $migrate_dir
+       test_mkdir -i0 -c1 $other_dir
        for ((i=0; i<10; i++)); do
                mkdir -p $migrate_dir/dir_${i}
                createmany -o $migrate_dir/dir_${i}/f 10 ||
@@ -12309,10 +12421,10 @@ test_230b() {
        ln -s $other_dir/$tfile $migrate_dir/${tfile}_ln_other
 
        $LFS mv -v -M $MDTIDX $migrate_dir ||
-                       error "migrate remote dir error"
+               error "migrate remote dir error"
 
        echo "migratate to MDT1, then checking.."
-       for ((i=0; i<10; i++)); do
+       for ((i = 0; i < 10; i++)); do
                for file in $(find $migrate_dir/dir_${i}); do
                        mdt_index=$($LFS getstripe -M $file)
                        [ $mdt_index == $MDTIDX ] ||
@@ -12364,16 +12476,16 @@ test_230b() {
 
        stripe_count=$($LFS getstripe -c $migrate_dir/dir_default_stripe2)
        [ $stripe_count = 2 ] ||
-                       error "dir strpe_count $d != 2 after migration."
+               error "dir strpe_count $d != 2 after migration."
 
        stripe_count=$($LFS getstripe -c $migrate_dir/${tfile}_stripe2)
        [ $stripe_count = 2 ] ||
-                       error "file strpe_count $d != 2 after migration."
+               error "file strpe_count $d != 2 after migration."
 
        #migrate back to MDT0
        MDTIDX=0
        $LFS mv -v -M $MDTIDX $migrate_dir ||
-                       error "migrate remote dir error"
+               error "migrate remote dir error"
 
        echo "migrate back to MDT0, checking.."
        for file in $(find $migrate_dir); do
@@ -12434,36 +12546,38 @@ test_230c() {
        local MDTIDX=1
        local mdt_index
        local file
+       local migrate_dir=$DIR/$tdir/migrate_dir
 
        #If migrating directory fails in the middle, all entries of
        #the directory is still accessiable.
-       mkdir -p $DIR/$tdir
-       stat $DIR/$tdir
-       createmany -o $DIR/$tdir/f 10 ||
-               error "create files under ${tdir} failed"
+       test_mkdir $DIR/$tdir
+       test_mkdir -i0 -c1 $migrate_dir
+       stat $migrate_dir
+       createmany -o $migrate_dir/f 10 ||
+               error "create files under ${migrate_dir} failed"
 
        #failed after migrating 5 entries
        #OBD_FAIL_MIGRATE_ENTRIES       0x1801
        do_facet mds1 lctl set_param fail_loc=0x20001801
        do_facet mds1 lctl  set_param fail_val=5
-       local t=`ls $DIR/$tdir | wc -l`
-       $LFS mv -M $MDTIDX $DIR/$tdir &&
-               error "migrate should failed after 5 entries"
-       local u=`ls $DIR/$tdir | wc -l`
+       local t=$(ls $migrate_dir | wc -l)
+       $LFS mv --mdt-index $MDTIDX $migrate_dir &&
+               error "migrate should fail after 5 entries"
+       local u=$(ls $migrate_dir | wc -l)
        [ "$u" == "$t" ] || error "$u != $t during migration"
 
-       for file in $(find $DIR/$tdir); do
+       for file in $(find $migrate_dir); do
                stat $file || error "stat $file failed"
        done
 
        do_facet mds1 lctl set_param fail_loc=0
        do_facet mds1 lctl set_param fail_val=0
 
-       $LFS mv -M $MDTIDX $DIR/$tdir ||
+       $LFS mv -M $MDTIDX $migrate_dir ||
                error "migrate open files should failed with open files"
 
        echo "Finish migration, then checking.."
-       for file in $(find $DIR/$tdir); do
+       for file in $(find $migrate_dir); do
                mdt_index=$($LFS getstripe -M $file)
                [ $mdt_index == $MDTIDX ] ||
                        error "$file is not on MDT${MDTIDX}"
@@ -12478,21 +12592,23 @@ test_230d() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local MDTIDX=1
        local mdt_index
+       local migrate_dir=$DIR/$tdir/migrate_dir
        local i
        local j
 
-       mkdir -p $DIR/$tdir
+       test_mkdir $DIR/$tdir
+       test_mkdir -i0 -c1 $migrate_dir
 
        for ((i=0; i<100; i++)); do
-               mkdir -p $DIR/$tdir/dir_${i}
-               createmany -o $DIR/$tdir/dir_${i}/f 100 ||
+               test_mkdir -i0 -c1 $migrate_dir/dir_${i}
+               createmany -o $migrate_dir/dir_${i}/f 100 ||
                        error "create files under remote dir failed $i"
        done
 
-       $LFS mv -M $MDTIDX -v $DIR/$tdir || error "migrate remote dir error"
+       $LFS mv -M $MDTIDX -v $migrate_dir || error "migrate remote dir error"
 
        echo "Finish migration, then checking.."
-       for file in $(find $DIR/$tdir); do
+       for file in $(find $migrate_dir); do
                mdt_index=$($LFS getstripe -M $file)
                [ $mdt_index == $MDTIDX ] ||
                        error "$file is not on MDT${MDTIDX}"
@@ -12689,11 +12805,11 @@ test_238() {
        ln $DIR/$tfile $DIR/$tfile.lnk
        touch $DIR/$tfile.new
        mv $DIR/$tfile.new $DIR/$tfile
-       local fid1=$(lfs path2fid $DIR/$tfile)
-       local fid2=$(lfs path2fid $DIR/$tfile.lnk)
-       local path1=$(lfs fid2path $FSNAME $fid1)
+       local fid1=$($LFS path2fid $DIR/$tfile)
+       local fid2=$($LFS path2fid $DIR/$tfile.lnk)
+       local path1=$($LFS fid2path $FSNAME "$fid1")
        [ $tfile == $path1 ] || error "linkea inconsistent: $tfile $fid1 $path1"
-       local path2=$(lfs fid2path $FSNAME $fid2)
+       local path2=$($LFS fid2path $FSNAME "$fid2")
        [ $tfile.lnk == $path2 ] ||
                error "linkea inconsistent: $tfile.lnk $fid2 $path2!"
        rm -f $DIR/$tfile*
@@ -12760,6 +12876,40 @@ test_241() {
 }
 run_test 241 "bio vs dio"
 
+test_242() {
+       mkdir -p $DIR/$tdir
+       touch $DIR/$tdir/$tfile
+
+       #define OBD_FAIL_MDS_READPAGE_PACK      0x105
+       do_facet mds1 lctl set_param fail_loc=0x105
+       /bin/ls $DIR/$tdir && error "ls $DIR/$tdir should fail"
+
+       do_facet mds1 lctl set_param fail_loc=0
+       /bin/ls $DIR/$tdir || error "ls $DIR/$tdir failed"
+}
+run_test 242 "mdt_readpage failure should not cause directory unreadable"
+
+test_243()
+{
+       test_mkdir -p $DIR/$tdir
+       group_lock_test -d $DIR/$tdir || error "A group lock test failed"
+}
+run_test 243 "various group lock tests"
+
+test_250() {
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $DIR/$tfile) + 1)))" = "zfs" ] \
+        && skip "no 16TB file size limit on ZFS" && return
+
+       $SETSTRIPE -c 1 $DIR/$tfile
+       # ldiskfs extent file size limit is (16TB - 4KB - 1) bytes
+       local size=$((16 * 1024 * 1024 * 1024 * 1024 - 4096 - 1))
+       $TRUNCATE $DIR/$tfile $size || error "truncate $tfile to $size failed"
+       dd if=/dev/zero of=$DIR/$tfile bs=10 count=1 oflag=append \
+               conv=notrunc,fsync && error "append succeeded"
+       return 0
+}
+run_test 250 "Write above 16T limit"
+
 cleanup_test_300() {
        trap 0
        umask $SAVE_UMASK
@@ -13005,55 +13155,114 @@ test_300f() {
 }
 run_test 300f "check rename cross striped directory"
 
-test_300g() {
-       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+test_300_check_default_striped_dir()
+{
+       local dirname=$1
+       local default_count=$2
+       local default_index=$3
        local stripe_count
+       local stripe_index
+       local dir_stripe_index
        local dir
 
-       mkdir $DIR/$tdir
-       $LFS setdirstripe -i 0 -c $MDSCOUNT -t all_char \
-                                       $DIR/$tdir/striped_dir ||
-               error "set striped dir error"
-
-       $LFS setdirstripe -D -c $MDSCOUNT -t all_char $DIR/$tdir/striped_dir ||
+       echo "checking $dirname $default_count $default_index"
+       $LFS setdirstripe -D -c $default_count -i $default_index \
+                               -t all_char $DIR/$tdir/$dirname ||
                error "set default stripe on striped dir error"
+       stripe_count=$($LFS getdirstripe -D -c $DIR/$tdir/$dirname)
+       [ $stripe_count -eq $default_count ] ||
+               error "expect $default_count get $stripe_count for $dirname"
 
-       stripe_count=$($LFS getdirstripe -D -c $DIR/$tdir/striped_dir)
-       [ $stripe_count -eq $MDSCOUNT ] ||
-               error "default stripe wrong expect $MDSCOUNT get $stripe_count"
+       stripe_index=$($LFS getdirstripe -D -i $DIR/$tdir/$dirname)
+       [ $stripe_index -eq $default_index ] ||
+               error "expect $default_index get $stripe_index for $dirname"
 
-       mkdir -p $DIR/$tdir/striped_dir/{test1,test2,test3,test4}
+       mkdir $DIR/$tdir/$dirname/{test1,test2,test3,test4} ||
+                                               error "create dirs failed"
 
-       for dir in $(find $DIR/$tdir/striped_dir/*); do
+       createmany -o $DIR/$tdir/$dirname/f- 10 || error "create files failed"
+       unlinkmany $DIR/$tdir/$dirname/f- 10    || error "unlink files failed"
+       for dir in $(find $DIR/$tdir/$dirname/*); do
                stripe_count=$($LFS getdirstripe -c $dir)
-               [ $stripe_count -eq $MDSCOUNT ] ||
-                       error "expect $MDSCOUNT get $stripe_count for $dir"
+               [ $stripe_count -eq $default_count ] ||
+               error "stripe count $default_count != $stripe_count for $dir"
+
+               stripe_index=$($LFS getdirstripe -i $dir)
+               [ $default_index -eq -1 -o $stripe_index -eq $default_index ] ||
+                       error "$stripe_index != $default_index for $dir"
+
+               #check default stripe
+               stripe_count=$($LFS getdirstripe -D -c $dir)
+               [ $stripe_count -eq $default_count ] ||
+               error "default count $default_count != $stripe_count for $dir"
+
+               stripe_index=$($LFS getdirstripe -D -i $dir)
+               [ $stripe_index -eq $default_index ] ||
+               error "default index $default_index != $stripe_index for $dir"
        done
+       rmdir $DIR/$tdir/$dirname/* || error "rmdir failed"
+}
+
+test_300g() {
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local dir
+       local stripe_count
+       local stripe_index
+
+       mkdir $DIR/$tdir
+       mkdir $DIR/$tdir/normal_dir
+
+       test_300_check_default_striped_dir normal_dir $MDSCOUNT 1
+       test_300_check_default_striped_dir normal_dir 1 0
+       test_300_check_default_striped_dir normal_dir 2 1
+       test_300_check_default_striped_dir normal_dir 2 -1
 
-       rmdir $DIR/$tdir/striped_dir/* || error "rmdir1 failed"
-       #change default stripe count to 2
-       $LFS setdirstripe -D -c 2 -t all_char $DIR/$tdir/striped_dir ||
+       #delete default stripe information
+       echo "delete default stripeEA"
+       $LFS setdirstripe -d $DIR/$tdir/normal_dir ||
                error "set default stripe on striped dir error"
 
-       mkdir -p $DIR/$tdir/striped_dir/{test1,test2,test3,test4}
+       mkdir -p $DIR/$tdir/normal_dir/{test1,test2,test3,test4}
+       for dir in $(find $DIR/$tdir/normal_dir/*); do
+               stripe_count=$($LFS getdirstripe -c $dir)
+               [ $stripe_count -eq 0 ] ||
+                       error "expect 1 get $stripe_count for $dir"
+               stripe_index=$($LFS getdirstripe -i $dir)
+               [ $stripe_index -eq 0 ] ||
+                       error "expect 0 get $stripe_index for $dir"
+       done
+}
+run_test 300g "check default striped directory for normal directory"
+
+test_300h() {
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
+       local dir
+       local stripe_count
 
-       rmdir $DIR/$tdir/striped_dir/* || error "rmdir2 failed"
+       mkdir $DIR/$tdir
+       $LFS setdirstripe -i 0 -c $MDSCOUNT -t all_char \
+                                       $DIR/$tdir/striped_dir ||
+               error "set striped dir error"
+
+       test_300_check_default_striped_dir striped_dir $MDSCOUNT 1
+       test_300_check_default_striped_dir striped_dir 1 0
+       test_300_check_default_striped_dir striped_dir 2 1
+       test_300_check_default_striped_dir striped_dir 2 -1
 
-       #change default stripe count to 1
-       $LFS setdirstripe -D -c 1 -t all_char $DIR/$tdir/striped_dir ||
+       #delete default stripe information
+       $LFS setdirstripe -d $DIR/$tdir/striped_dir ||
                error "set default stripe on striped dir error"
 
        mkdir -p $DIR/$tdir/striped_dir/{test1,test2,test3,test4}
        for dir in $(find $DIR/$tdir/striped_dir/*); do
                stripe_count=$($LFS getdirstripe -c $dir)
-               [ $stripe_count -eq 1 ] ||
+               [ $stripe_count -eq 0 ] ||
                        error "expect 1 get $stripe_count for $dir"
        done
-       rmdir $DIR/$tdir/striped_dir/* || error "rmdir3 failed"
 }
-run_test 300g "check default striped directory for striped directory"
+run_test 300h "check default striped directory for striped directory"
 
-test_300h() {
+test_300i() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -13091,7 +13300,7 @@ test_300h() {
 
        return 0
 }
-run_test 300h "client handle unknown hash type striped directory"
+run_test 300i "client handle unknown hash type striped directory"
 
 test_400a() { # LU-1606, was conf-sanity test_74
        local extra_flags=''