Whamcloud - gitweb
LU-14725 tests: sanity/27Q to remove own symlink in /tmp
[fs/lustre-release.git] / lustre / tests / sanity.sh
index a13262b..cfe0193 100755 (executable)
@@ -3319,6 +3319,38 @@ test_27P() {
 }
 run_test 27P "basic ops on foreign dir of foreign_symlink type"
 
+test_27Q() {
+       rm -f $TMP/$tfile $TMP/$tfile.loop $TMP/$tfile.none $TMP/$tfile.broken
+       stack_trap "rm -f $TMP/$tfile*"
+
+       test_mkdir $DIR/$tdir-1
+       test_mkdir $DIR/$tdir-2
+
+       echo 'It is what it is' > $DIR/$tdir-1/$tfile
+       lov_getstripe_old $DIR/$tdir-1/$tfile || error "$DIR/$tdir-1/$tfile: rc = $?"
+
+       ln -s $DIR/$tdir-1/$tfile $DIR/$tdir-2/$tfile
+       lov_getstripe_old $DIR/$tdir-2/$tfile || error "$DIR/$tdir-2/$tfile: rc = $?"
+
+       ln -s $DIR/$tdir-1/$tfile $TMP/$tfile
+       lov_getstripe_old $TMP/$tfile || error "$TMP/$tfile: rc = $?"
+
+       # Create some bad symlinks and ensure that we don't loop
+       # forever or something. These should return ELOOP (40) and
+       # ENOENT (2) but I don't want to test for that because there's
+       # always some weirdo architecture that needs to ruin
+       # everything by defining these error numbers differently.
+
+       ln -s $TMP/$tfile.loop $TMP/$tfile.loop
+       lov_getstripe_old $TMP/$tfile.loop && error "$TMP/$tfile.loop: rc = $?"
+
+       ln -s $TMP/$tfile.none $TMP/$tfile.broken
+       lov_getstripe_old $TMP/$tfile.broken && error "$TMP/$tfile.broken: rc = $?"
+
+       return 0
+}
+run_test 27Q "llapi_file_get_stripe() works on symlinks"
+
 # createtest also checks that device nodes are created and
 # then visible correctly (#2091)
 test_28() { # bug 2091
@@ -5862,6 +5894,7 @@ run_test 54e "console/tty device works in lustre ======================"
 
 test_56a() {
        local numfiles=3
+       local numdirs=2
        local dir=$DIR/$tdir
 
        rm -rf $dir
@@ -5901,9 +5934,10 @@ test_56a() {
 
        #test lfs getstripe with -v prints lmm_fid
        filenum=$($LFS getstripe -v $dir | grep -c lmm_fid)
-       [[ $filenum -eq $((numfiles * numcomp)) ]] ||
+       local countfids=$((numdirs + numfiles * numcomp))
+       [[ $filenum -eq $countfids ]] ||
                error "$LFS getstripe -v $dir: "\
-                     "got $filenum want $((numfiles * numcomp)) lmm_fid"
+                     "got $filenum want $countfids lmm_fid"
        [[ $($LFS getstripe $dir | grep -c lmm_fid) -eq 0 ]] ||
                error "$LFS getstripe $dir: showed lmm_fid by default"
        echo "$LFS getstripe --verbose passed"
@@ -7611,6 +7645,94 @@ test_56ab() { # LU-10705
 }
 run_test 56ab "lfs find --blocks"
 
+# LU-11188
+test_56aca() {
+       local dir="$DIR/$tdir"
+       local perms=(001 002 003 004 005 006 007
+                    010 020 030 040 050 060 070
+                    100 200 300 400 500 600 700
+                    111 222 333 444 555 666 777)
+       local perm_minus=(8 8 4 8 4 4 2
+                         8 8 4 8 4 4 2
+                         8 8 4 8 4 4 2
+                         4 4 2 4 2 2 1)
+       local perm_slash=(8  8 12  8 12 12 14
+                         8  8 12  8 12 12 14
+                         8  8 12  8 12 12 14
+                        16 16 24 16 24 24 28)
+
+       test_mkdir "$dir"
+       for perm in ${perms[*]}; do
+               touch "$dir/$tfile.$perm"
+               chmod $perm "$dir/$tfile.$perm"
+       done
+
+       for ((i = 0; i < ${#perms[*]}; i++)); do
+               local num=$($LFS find $dir -perm ${perms[i]} | wc -l)
+               (( $num == 1 )) ||
+                       error "lfs find -perm ${perms[i]}:"\
+                             "$num != 1"
+
+               num=$($LFS find $dir -perm -${perms[i]} -type f| wc -l)
+               (( $num == ${perm_minus[i]} )) ||
+                       error "lfs find -perm -${perms[i]}:"\
+                             "$num != ${perm_minus[i]}"
+
+               num=$($LFS find $dir -perm /${perms[i]} -type f| wc -l)
+               (( $num == ${perm_slash[i]} )) ||
+                       error "lfs find -perm /${perms[i]}:"\
+                             "$num != ${perm_slash[i]}"
+       done
+}
+run_test 56aca "check lfs find -perm with octal representation"
+
+test_56acb() {
+       local dir=$DIR/$tdir
+       # p is the permission of write and execute for user, group and other
+       # without the umask. It is used to test +wx.
+       local p=$(printf "%o" "$((0333 & ~$(umask)))")
+       local perms=(1000 000 2000 4000 $p 644 111 110 100 004)
+       local symbolic=(+t  a+t u+t g+t o+t
+                       g+s u+s o+s +s o+sr
+                       o=r,ug+o,u+w
+                       u+ g+ o+ a+ ugo+
+                       u- g- o- a- ugo-
+                       u= g= o= a= ugo=
+                       o=r,ug+o,u+w u=r,a+u,u+w
+                       g=r,ugo=g,u+w u+x,+X +X
+                       u+x,u+X u+X u+x,g+X o+r,+X
+                       u+x,go+X +wx +rwx)
+
+       test_mkdir $dir
+       for perm in ${perms[*]}; do
+               touch "$dir/$tfile.$perm"
+               chmod $perm "$dir/$tfile.$perm"
+       done
+
+       for (( i = 0; i < ${#symbolic[*]}; i++ )); do
+               local num=$($LFS find $dir -perm ${symbolic[i]} | wc -l)
+
+               (( $num == 1 )) ||
+                       error "lfs find $dir -perm ${symbolic[i]}: $num != 1"
+       done
+}
+run_test 56acb "check lfs find -perm with symbolic representation"
+
+test_56acc() {
+       local dir=$DIR/$tdir
+       local tests="17777 787 789 abcd
+               ug=uu ug=a ug=gu uo=ou urw
+               u+xg+x a=r,u+x,"
+
+       test_mkdir $dir
+       for err in $tests; do
+               if $LFS find $dir -perm $err 2>/dev/null; then
+                       error "lfs find -perm $err: parsing should have failed"
+               fi
+       done
+}
+run_test 56acc "check parsing error for lfs find -perm"
+
 test_56ba() {
        [ $MDS1_VERSION -lt $(version_code 2.10.50) ] &&
                skip "Need MDS version at least 2.10.50"
@@ -10864,6 +10986,25 @@ test_103e() {
 }
 run_test 103e "inheritance of big amount of default ACLs"
 
+test_103f() {
+       (( $MDS1_VERSION >= $(version_code 2.14.51) )) ||
+               skip "MDS needs to be at least 2.14.51"
+
+       large_xattr_enabled || skip_env "ea_inode feature disabled"
+
+       # enable changelog to consume more internal MDD buffers
+       changelog_register
+
+       mkdir -p $DIR/$tdir
+       # add big LOV EA
+       $LFS setstripe -C 1000 $DIR/$tdir
+       setfacl -d -m user:$U:rwx $DIR/$tdir || error "Cannot add default ACLs"
+       mkdir $DIR/$tdir/inherited || error "failed to create subdirectory"
+       rmdir $DIR/$tdir/inherited || error "Cannot remove subdirectory"
+       rmdir $DIR/$tdir || error "Cannot remove directory"
+}
+run_test 103f "changelog doesn't interfere with default ACLs buffers"
+
 test_104a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
 
@@ -10900,6 +11041,106 @@ test_104b() {
 }
 run_test 104b "$RUNAS lfs check servers test ===================="
 
+#
+# Verify $1 is within range of $2.
+# Success when $1 is within range. That is, when $1 is >= 2% of $2 and
+# $1 is <= 2% of $2. Else Fail.
+#
+value_in_range() {
+       # Strip all units (M, G, T)
+       actual=$(echo $1 | tr -d A-Z)
+       expect=$(echo $2 | tr -d A-Z)
+
+       expect_lo=$(($expect * 98 / 100)) # 2% below
+       expect_hi=$(($expect * 102 / 100)) # 2% above
+
+       # permit 2% drift above and below
+       (( $actual >= $expect_lo && $actual <= $expect_hi ))
+}
+
+test_104c() {
+       [ $PARALLEL == "yes" ] && skip "skip parallel run"
+       [ "$ost1_FSTYPE" == "zfs" ] || skip "zfs only test"
+
+       local ost_param="osd-zfs.$FSNAME-OST0000."
+       local mdt_param="osd-zfs.$FSNAME-MDT0000."
+       local ofacets=$(get_facets OST)
+       local mfacets=$(get_facets MDS)
+       local saved_ost_blocks=
+       local saved_mdt_blocks=
+
+       echo "Before recordsize change"
+       lfs_df=($($LFS df -h | grep "filesystem_summary:"))
+       df=($(df -h | grep "/mnt/lustre"$))
+
+       # For checking.
+       echo "lfs output : ${lfs_df[*]}"
+       echo "df  output : ${df[*]}"
+
+       for facet in ${ofacets//,/ }; do
+               if [ -z $saved_ost_blocks ]; then
+                       saved_ost_blocks=$(do_facet $facet \
+                               lctl get_param -n $ost_param.blocksize)
+                       echo "OST Blocksize: $saved_ost_blocks"
+               fi
+               ost=$(do_facet $facet lctl get_param -n $ost_param.mntdev)
+               do_facet $facet zfs set recordsize=32768 $ost
+       done
+
+       # BS too small. Sufficient for functional testing.
+       for facet in ${mfacets//,/ }; do
+               if [ -z $saved_mdt_blocks ]; then
+                       saved_mdt_blocks=$(do_facet $facet \
+                               lctl get_param -n $mdt_param.blocksize)
+                       echo "MDT Blocksize: $saved_mdt_blocks"
+               fi
+               mdt=$(do_facet $facet lctl get_param -n $mdt_param.mntdev)
+               do_facet $facet zfs set recordsize=32768 $mdt
+       done
+
+       # Give new values chance to reflect change
+       sleep 2
+
+       echo "After recordsize change"
+       lfs_df_after=($($LFS df -h | grep "filesystem_summary:"))
+       df_after=($(df -h | grep "/mnt/lustre"$))
+
+       # For checking.
+       echo "lfs output : ${lfs_df_after[*]}"
+       echo "df  output : ${df_after[*]}"
+
+       # Verify lfs df
+       value_in_range ${lfs_df_after[1]%.*} ${lfs_df[1]%.*} ||
+               error "lfs_df bytes: ${lfs_df_after[1]%.*} != ${lfs_df[1]%.*}"
+       value_in_range ${lfs_df_after[2]%.*} ${lfs_df[2]%.*} ||
+               error "lfs_df used: ${lfs_df_after[2]%.*} != ${lfs_df[2]%.*}"
+       value_in_range ${lfs_df_after[3]%.*} ${lfs_df[3]%.*} ||
+               error "lfs_df avail: ${lfs_df_after[3]%.*} != ${lfs_df[3]%.*}"
+
+       # Verify df
+       value_in_range ${df_after[1]%.*} ${df[1]%.*} ||
+               error "df bytes: ${df_after[1]%.*} != ${df[1]%.*}"
+       value_in_range ${df_after[2]%.*} ${df[2]%.*} ||
+               error "df used: ${df_after[2]%.*} != ${df[2]%.*}"
+       value_in_range ${df_after[3]%.*} ${df[3]%.*} ||
+               error "df avail: ${df_after[3]%.*} != ${df[3]%.*}"
+
+       # Restore MDT recordize back to original
+       for facet in ${mfacets//,/ }; do
+               mdt=$(do_facet $facet lctl get_param -n $mdt_param.mntdev)
+               do_facet $facet zfs set recordsize=$saved_mdt_blocks $mdt
+       done
+
+       # Restore OST recordize back to original
+       for facet in ${ofacets//,/ }; do
+               ost=$(do_facet $facet lctl get_param -n $ost_param.mntdev)
+               do_facet $facet zfs set recordsize=$saved_ost_blocks $ost
+       done
+
+       return 0
+}
+run_test 104c "Verify df vs lfs_df stays same after recordsize change"
+
 test_105a() {
        # doesn't work on 2.4 kernels
        touch $DIR/$tfile
@@ -15842,6 +16083,56 @@ test_160m() {
 }
 run_test 160m "Changelog clear race"
 
+test_160n() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       [[ $MDS1_VERSION -ge $(version_code 2.14.51) ]] ||
+               skip "Need MDS version at least 2.14.51"
+       local cl_users
+       local cl_user1
+       local cl_user2
+       local pid1
+       local first_rec
+       local last_rec=0
+
+       # Create a user
+       changelog_register || error "first changelog_register failed"
+
+       cl_users=(${CL_USERS[mds1]})
+       cl_user1="${cl_users[0]}"
+
+       # generate some changelog records to accumulate on MDT0
+       test_mkdir -i0 -c1 $DIR/$tdir || error "test_mkdir $tdir failed"
+       first_rec=$(changelog_users $SINGLEMDS |
+                       awk '/^current.index:/ { print $NF }')
+       while (( last_rec < (( first_rec + 65000)) )); do
+               createmany -m $DIR/$tdir/$tfile 10000 ||
+                       error "create $DIR/$tdir/$tfile failed"
+
+               for i in $(seq 0 10000); do
+                       mrename $DIR/$tdir/$tfile$i $DIR/$tdir/$tfile-new$i \
+                               > /dev/null
+               done
+
+               unlinkmany $DIR/$tdir/$tfile-new 10000 ||
+                       error "unlinkmany failed unlink"
+               last_rec=$(changelog_users $SINGLEMDS |
+                       awk '/^current.index:/ { print $NF }')
+               echo last record $last_rec
+               (( last_rec == 0 )) && error "no changelog found"
+       done
+
+#define OBD_FAIL_MDS_CHANGELOG_DEL      0x16c
+       do_facet mds1 $LCTL set_param fail_loc=0x8000016c fail_val=0
+
+       __changelog_clear mds1 $cl_user1 0 &
+       pid1=$!
+       sleep 2
+       __changelog_clear mds1 $cl_user1 0 ||
+               error "fail to cancel record for $cl_user1"
+       wait $pid1
+       [[ $? -eq 0 ]] || error "fail to cancel record for $cl_user2"
+}
+run_test 160n "Changelog destroy race"
 
 test_161a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run"
@@ -23061,7 +23352,7 @@ test_398b() { # LU-4198
                --filename=$DIR/$tfile || true
        wait $bg_pid
 
-       rm -rf $DIR/$tfile
+       rm -f $DIR/$tfile
 }
 run_test 398b "DIO and buffer IO race"
 
@@ -23121,27 +23412,28 @@ test_398c() { # LU-4198
                --filename=$DIR/$tfile
        [ $? -eq 0 ] || error "fio large block size failed"
 
-       rm -rf $DIR/$tfile
+       rm -f $DIR/$tfile
        $LCTL set_param debug="$saved_debug"
 }
 run_test 398c "run fio to test AIO"
 
 test_398d() { #  LU-13846
-       test -f aiocp || skip_env "no aiocp installed"
-       local aio_file=$DIR/aio_file
+       which aiocp || skip_env "no aiocp installed"
+       local aio_file=$DIR/$tfile.aio
 
        $LFS setstripe -c -1 -S 1M $DIR/$tfile $aio_file
 
        dd if=/dev/urandom of=$DIR/$tfile bs=1M count=64
        aiocp -a $PAGE_SIZE -b 64M -s 64M -f O_DIRECT $DIR/$tfile $aio_file
+       stack_trap "rm -f $DIR/$tfile $aio_file"
 
-       diff $DIR/$tfile $aio_file || "file diff after aiocp"
+       diff $DIR/$tfile $aio_file || error "file diff after aiocp"
 
        # make sure we don't crash and fail properly
        aiocp -a 512 -b 64M -s 64M -f O_DIRECT $DIR/$tfile $aio_file &&
                error "aio not aligned with PAGE SIZE should fail"
 
-       rm -rf $DIR/$tfile $aio_file
+       rm -f $DIR/$tfile $aio_file
 }
 run_test 398d "run aiocp to verify block size > stripe size"
 
@@ -23152,6 +23444,26 @@ test_398e() {
 }
 run_test 398e "O_Direct open cleared by fcntl doesn't cause hang"
 
+test_398f() { #  LU-14687
+       which aiocp || skip_env "no aiocp installed"
+       local aio_file=$DIR/$tfile.aio
+
+       $LFS setstripe -c -1 -S 1M $DIR/$tfile $aio_file
+
+       dd if=/dev/zero of=$DIR/$tfile bs=1M count=64
+       stack_trap "rm -f $DIR/$tfile $aio_file"
+
+       #define OBD_FAIL_LLITE_PAGE_ALLOC 0x1418
+       $LCTL set_param fail_loc=0x1418
+       # make sure we don't crash and fail properly
+       aiocp -b 64M -s 64M -f O_DIRECT $DIR/$tfile $aio_file &&
+               error "aio with page allocation failure succeeded"
+       $LCTL set_param fail_loc=0
+       diff $DIR/$tfile $aio_file
+       [[ $? != 0 ]] || error "no diff after failed aiocp"
+}
+run_test 398f "verify aio handles ll_direct_rw_pages errors correctly"
+
 test_fake_rw() {
        local read_write=$1
        if [ "$read_write" = "write" ]; then
@@ -24643,6 +24955,52 @@ test_428() {
 }
 run_test 428 "large block size IO should not hang"
 
+test_429() { # LU-7915 / LU-10948
+       local ll_opencache_threshold_count="llite.*.opencache_threshold_count"
+       local testfile=$DIR/$tfile
+       local mdc_rpcstats="mdc.$FSNAME-MDT0000-*.stats"
+       local new_flag=1
+       local first_rpc
+       local second_rpc
+       local third_rpc
+
+       $LCTL get_param $ll_opencache_threshold_count ||
+               skip "client does not have opencache parameter"
+
+       set_opencache $new_flag
+       stack_trap "restore_opencache"
+       [ $($LCTL get_param -n $ll_opencache_threshold_count) == $new_flag ] ||
+               error "enable opencache failed"
+       touch $testfile
+       # drop MDC DLM locks
+       cancel_lru_locks mdc
+       # clear MDC RPC stats counters
+       $LCTL set_param $mdc_rpcstats=clear
+
+       # According to the current implementation, we need to run 3 times
+       # open & close file to verify if opencache is enabled correctly.
+       # 1st, RPCs are sent for lookup/open and open handle is released on
+       #      close finally.
+       # 2nd, RPC is sent for open, MDS_OPEN_LOCK is fetched automatically,
+       #      so open handle won't be released thereafter.
+       # 3rd, No RPC is sent out.
+       $MULTIOP $testfile oc || error "multiop failed"
+       first_rpc=$(calc_stats $mdc_rpcstats ldlm_ibits_enqueue)
+       echo "1st: $first_rpc RPCs in flight"
+
+       $MULTIOP $testfile oc || error "multiop failed"
+       second_rpc=$(calc_stats $mdc_rpcstats ldlm_ibits_enqueue)
+       echo "2nd: $second_rpc RPCs in flight"
+
+       $MULTIOP $testfile oc || error "multiop failed"
+       third_rpc=$(calc_stats $mdc_rpcstats ldlm_ibits_enqueue)
+       echo "3rd: $third_rpc RPCs in flight"
+
+       #verify no MDC RPC is sent
+       [[ $second_rpc == $third_rpc ]] || error "MDC RPC is still sent"
+}
+run_test 429 "verify if opencache flag on client side does work"
+
 lseek_test_430() {
        local offset
        local file=$1
@@ -25412,11 +25770,9 @@ run_test 805 "ZFS can remove from full fs"
 check_lsom_data()
 {
        local file=$1
-       local size=$($LFS getsom -s $file)
        local expect=$(stat -c %s $file)
 
-       [[ $size == $expect ]] ||
-               error "$file expected size: $expect, got: $size"
+       check_lsom_size $1 $expect
 
        local blocks=$($LFS getsom -b $file)
        expect=$(stat -c %b $file)
@@ -25426,9 +25782,12 @@ check_lsom_data()
 
 check_lsom_size()
 {
-       local size=$($LFS getsom -s $1)
+       local size
        local expect=$2
 
+       cancel_lru_locks mdc
+
+       size=$($LFS getsom -s $1)
        [[ $size == $expect ]] ||
                error "$file expected size: $expect, got: $size"
 }