Whamcloud - gitweb
LU-5810 tests: add client hostname to lctl mark
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 661be1a..d9199d5 100644 (file)
@@ -8,13 +8,13 @@
 set -e
 
 ONLY=${ONLY:-"$*"}
-# bug number for skipped test: 13297 2108 9789 3637 9789 3561 12622 5188
-ALWAYS_EXCEPT="                42a  42b  42c  42d  45   51d   68b   $SANITY_EXCEPT"
+# bug number for skipped test: 13297 2108 9789 3637 9789 3561 5188
+ALWAYS_EXCEPT="                42a  42b  42c  42d  45   68b   $SANITY_EXCEPT"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
 # with LOD/OSP landing
-# bug number for skipped tests: LU-2036
-ALWAYS_EXCEPT="                 76     $ALWAYS_EXCEPT"
+# bug number for skipped tests: LU-2036 LU-8139
+ALWAYS_EXCEPT="                 76     101g    $ALWAYS_EXCEPT"
 
 is_sles11()                                            # LU-4341
 {
@@ -75,11 +75,13 @@ init_test_env $@
 . ${CONFIG:=$LUSTRE/tests/cfg/${NAME}.sh}
 init_logging
 
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 24D 27m 64b 68 71 77f 78 115 124b 300o"
+#                                  5              12          (min)"
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="24D 27m 64b 68 71 115 300o"
 
 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
        # bug number for skipped test: LU-4536 LU-1957 LU-2805
        ALWAYS_EXCEPT="$ALWAYS_EXCEPT  65ic    180     184c"
+       #                                               4   13    (min)"
        [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 51b 51ba"
 fi
 
@@ -2040,6 +2042,8 @@ run_test 27D "validate llapi_layout API"
 # accessing a widely striped file.
 test_27E() {
        [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
+       [ $(lustre_version_code client) -lt $(version_code 2.5.57) ] &&
+               skip "client does not have LU-3338 fix" && return
 
        # 72 bytes is the minimum space required to store striping
        # information for a file striped across one OST:
@@ -2074,7 +2078,7 @@ test_28() { # bug 2091
 run_test 28 "create/mknod/mkdir with bad file types ============"
 
 test_29() {
-       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return 0
        cancel_lru_locks mdc
        test_mkdir $DIR/d29
        touch $DIR/d29/foo
@@ -2085,7 +2089,7 @@ test_29() {
        for lock_count in $(lctl get_param -n ldlm.namespaces.*mdc*.lock_count); do
                let LOCKCOUNTORIG=$LOCKCOUNTORIG+$lock_count
        done
-       [ $LOCKCOUNTORIG -eq 0 ] && echo "No mdc lock count" && return 1
+       [ $LOCKCOUNTORIG -eq 0 ] && error "No mdc lock count" && return 1
 
        declare -i LOCKUNUSEDCOUNTORIG=0
        for unused_count in $(lctl get_param -n ldlm.namespaces.*mdc*.lock_unused_count); do
@@ -3332,29 +3336,27 @@ test_39l() {
        # test setting directory atime to future
        touch -a -d @$TEST_39_ATIME $DIR/$tdir
        local atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" = $TEST_39_ATIME ] || \
+       [ "$atime" = $TEST_39_ATIME ] ||
                error "atime is not set to future: $atime, $TEST_39_ATIME"
 
        # test setting directory atime from future to now
-       local d1=$(date +%s)
-       ls $DIR/$tdir
-       local d2=$(date +%s)
+       local now=$(date +%s)
+       touch -a -d @$now $DIR/$tdir
 
-       cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
-               error "atime is not updated from future: $atime, $d1<atime<$d2"
+       [ "$atime" -eq "$now"  ] ||
+               error "atime is not updated from future: $atime, $now"
 
        do_facet $SINGLEMDS lctl set_param -n mdd.*MDT0000*.atime_diff=2
        sleep 3
 
        # test setting directory atime when now > dir atime + atime_diff
-       d1=$(date +%s)
+       local d1=$(date +%s)
        ls $DIR/$tdir
-       d2=$(date +%s)
+       local d2=$(date +%s)
        cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
+       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] ||
                error "atime is not updated  : $atime, should be $d2"
 
        do_facet $SINGLEMDS lctl set_param -n mdd.*MDT0000*.atime_diff=60
@@ -3364,7 +3366,7 @@ test_39l() {
        ls $DIR/$tdir
        cancel_lru_locks mdc
        atime=$(stat -c %X $DIR/$tdir)
-       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] || \
+       [ "$atime" -ge "$d1" -a "$atime" -le "$d2" ] ||
                error "atime is updated to $atime, should remain $d1<atime<$d2"
 
        do_facet $SINGLEMDS \
@@ -3468,6 +3470,18 @@ test_39p() {
 run_test 39p "remote directory cached attributes updated after create ========"
 
 
+test_39p() { # LU-8041
+       local testdir=$DIR/$tdir
+       mkdir -p $testdir
+       multiop_bg_pause $testdir D_c || error "multiop failed"
+       local multipid=$!
+       cancel_lru_locks mdc
+       kill -USR1 $multipid
+       local atime=$(stat -c %X $testdir)
+       [ "$atime" -ne 0 ] || error "atime is zero"
+}
+run_test 39p "close won't zero out atime"
+
 test_40() {
        dd if=/dev/zero of=$DIR/$tfile bs=4096 count=1
        $RUNAS $OPENFILE -f O_WRONLY:O_TRUNC $DIR/$tfile &&
@@ -3902,7 +3916,6 @@ test_48b() { # bug 2399
        test_mkdir .foo && error "'mkdir .foo' worked after removing cwd"
        ls . > /dev/null && error "'ls .' worked after removing cwd"
        ls .. > /dev/null || error "'ls ..' failed after removing cwd"
-       is_patchless || ( cd . && error "'cd .' worked after removing cwd" )
        test_mkdir . && error "'mkdir .' worked after removing cwd"
        rmdir . && error "'rmdir .' worked after removing cwd"
        ln -s . foo && error "'ln -s .' worked after removing cwd"
@@ -3923,8 +3936,6 @@ test_48c() { # bug 2350
        test_mkdir .foo && error "mkdir .foo worked after removing cwd"
        $TRACE ls . && error "'ls .' worked after removing cwd"
        $TRACE ls .. || error "'ls ..' failed after removing cwd"
-       is_patchless || ( $TRACE cd . &&
-                       error "'cd .' worked after removing cwd" )
        $TRACE test_mkdir . && error "'mkdir .' worked after removing cwd"
        $TRACE rmdir . && error "'rmdir .' worked after removing cwd"
        $TRACE ln -s . foo && error "'ln -s .' worked after removing cwd"
@@ -3946,13 +3957,10 @@ test_48d() { # bug 2350
        test_mkdir .foo && error "mkdir .foo worked after removing parent"
        $TRACE ls . && error "'ls .' worked after removing parent"
        $TRACE ls .. && error "'ls ..' worked after removing parent"
-       is_patchless || ( $TRACE cd . &&
-                       error "'cd .' worked after recreate parent" )
        $TRACE test_mkdir . && error "'mkdir .' worked after removing parent"
        $TRACE rmdir . && error "'rmdir .' worked after removing parent"
        $TRACE ln -s . foo && error "'ln -s .' worked after removing parent"
-       is_patchless || ( $TRACE cd .. &&
-                       error "'cd ..' worked after removing parent" || true )
+       true
 }
 run_test 48d "Access removed parent subdir (should return errors)"
 
@@ -4115,11 +4123,11 @@ test_51d() {
                skip_env "skipping test with few OSTs" && return
        test_mkdir -p $DIR/$tdir
        createmany -o $DIR/$tdir/t- 1000
-       $GETSTRIPE $DIR/$tdir > $TMP/files
+       $GETSTRIPE $DIR/$tdir > $TMP/$tfile
        for N in $(seq 0 $((OSTCOUNT - 1))); do
                OBJS[$N]=$(awk -vobjs=0 '($1 == '$N') { objs += 1 } \
-                       END { printf("%0.0f", objs) }' $TMP/files)
-               OBJS0[$N]=$(grep -A 1 idx $TMP/files | awk -vobjs=0 \
+                       END { printf("%0.0f", objs) }' $TMP/$tfile)
+               OBJS0[$N]=$(grep -A 1 idx $TMP/$tfile | awk -vobjs=0 \
                        '($1 == '$N') { objs += 1 } \
                        END { printf("%0.0f", objs) }')
                log "OST$N has ${OBJS[$N]} objects, ${OBJS0[$N]} are index 0"
@@ -4143,8 +4151,9 @@ test_51d() {
                              " (${OBJS0[$N]} < ${OBJS0[$NLAST]}"
                NLAST=$N
        done
+       rm -f $TMP/$tfile
 }
-run_test 51d "check object distribution ===================="
+run_test 51d "check object distribution"
 
 test_51e() {
        if [ "$(facet_fstype $SINGLEMDS)" != ldiskfs ]; then
@@ -4178,10 +4187,10 @@ test_52a() {
        lsattr $DIR/$tdir/foo | egrep -q "^-+a[-e]+ $DIR/$tdir/foo" ||
                                                     error "lsattr"
        chattr -a $DIR/$tdir/foo || error "chattr -a failed"
-        cp -r $DIR/$tdir /tmp/
-       rm -fr $DIR/$tdir || error "cleanup rm failed"
+       cp -r $DIR/$tdir $TMP/
+       rm -fr $DIR/$tdir $TMP/$tdir || error "cleanup rm failed"
 }
-run_test 52a "append-only flag test (should return errors) ====="
+run_test 52a "append-only flag test (should return errors)"
 
 test_52b() {
        [ -f $DIR/$tdir/foo ] && chattr -i $DIR/$tdir/foo
@@ -5280,14 +5289,14 @@ test_60d() {
 
        # verify "lctl mark" is even working"
        MESSAGE="test message ID $RANDOM $$"
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" || error "didn't find debug marker in log"
 
        lctl set_param printk=0 || error "set lnet.printk failed"
        lctl get_param -n printk | grep emerg || error "lnet.printk dropped emerg"
        MESSAGE="new test message ID $RANDOM $$"
        # Assume here that libcfs_debug_mark_buffer() uses D_WARNING
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" && error "D_WARNING wasn't masked" || true
 
        lctl set_param -n printk="$SAVEPRINTK"
@@ -6600,6 +6609,65 @@ test_101f() {
 }
 run_test 101f "check mmap read performance"
 
+test_101g() {
+       local rpcs
+       local osts=$(get_facets OST)
+       local list=$(comma_list $(osts_nodes))
+       local p="$TMP/$TESTSUITE-$TESTNAME.parameters"
+
+       save_lustre_params $osts "obdfilter.*.brw_size" > $p
+
+       $LFS setstripe -c 1 $DIR/$tfile
+
+       if [ $(lustre_version_code ost1) -ge $(version_code 2.8.52) ]; then
+               set_osd_param $list '' brw_size 16M
+
+               echo "remount client to enable large RPC size"
+               remount_client $MOUNT || error "remount_client failed"
+
+               for mp in $($LCTL get_param -n osc.*.max_pages_per_rpc); do
+                       [ "$mp" -eq 4096 ] ||
+                               error "max_pages_per_rpc not correctly set"
+               done
+
+               $LCTL set_param -n osc.*.rpc_stats=0
+
+               # 10*16 MiB should be enough for the test
+               dd if=/dev/zero of=$DIR/$tfile bs=16M count=10
+               cancel_lru_locks osc
+               dd of=/dev/null if=$DIR/$tfile bs=16M count=10
+
+               # calculate 16 MiB RPCs
+               rpcs=$($LCTL get_param 'osc.*.rpc_stats' |
+                      sed -n '/pages per rpc/,/^$/p' |
+                      awk 'BEGIN { sum = 0 }; /4096:/ { sum += $2 };
+                           END { print sum }')
+               echo $rpcs RPCs
+               [ "$rpcs" -eq 10 ] || error "not all RPCs are 16 MiB BRW rpcs"
+       fi
+
+       echo "set RPC size to 4MB"
+
+       $LCTL set_param -n osc.*.max_pages_per_rpc=4M osc.*.rpc_stats=0
+       dd if=/dev/zero of=$DIR/$tfile bs=4M count=25
+       cancel_lru_locks osc
+       dd of=/dev/null if=$DIR/$tfile bs=4M count=25
+
+       # calculate 4 MiB RPCs
+       rpcs=$($LCTL get_param 'osc.*.rpc_stats' |
+               sed -n '/pages per rpc/,/^$/p' |
+               awk 'BEGIN { sum = 0 }; /1024:/ { sum += $2 };
+                    END { print sum }')
+       echo $rpcs RPCs
+       [ "$rpcs" -eq 25 ] || error "not all RPCs are 4 MiB BRW rpcs"
+
+       restore_lustre_params < $p
+       remount_client $MOUNT || error "remount_client failed"
+
+       rm -f $p $DIR/$tfile
+}
+run_test 101g "Big bulk(4/16 MiB) readahead"
+
 setup_test102() {
        test_mkdir -p $DIR/$tdir
        chown $RUNAS_ID $DIR/$tdir
@@ -6991,7 +7059,7 @@ test_102n() { # LU-4101 mdt: protect internal xattrs
        # Get 'before' xattrs of $file1.
        getfattr --absolute-names --dump --match=- $file1 > $xattr0
 
-       for name in lov lma lmv link fid version som hsm lfsck_namespace; do
+       for name in lov lma lmv link fid version som hsm; do
                # Try to copy xattr from $file0 to $file1.
                value=$(getxattr $file0 trusted.$name 2> /dev/null)
 
@@ -8686,11 +8754,13 @@ test_127b() { # bug LU-333
                 esac
         done < $TMP/${tfile}.tmp
 
-        #check that we actually got some stats
-        [ "$read_bytes" ] || error "Missing read_bytes stats"
-        [ "$write_bytes" ] || error "Missing write_bytes stats"
-        [ "$read_bytes" != 0 ] || error "no read done"
-        [ "$write_bytes" != 0 ] || error "no write done"
+       #check that we actually got some stats
+       [ "$read_bytes" ] || error "Missing read_bytes stats"
+       [ "$write_bytes" ] || error "Missing write_bytes stats"
+       [ "$read_bytes" != 0 ] || error "no read done"
+       [ "$write_bytes" != 0 ] || error "no write done"
+
+       rm -f $TMP/${tfile}.tmp
 }
 run_test 127b "verify the llite client stats are sane"
 
@@ -8702,8 +8772,9 @@ test_128() { # bug 15212
        EOF
 
        result=$(grep error $TMP/$tfile.log)
-       rm -f $DIR/$tfile
-       [ -z "$result" ] || error "consecutive find's under interactive lfs failed"
+       rm -f $DIR/$tfile $TMP/$tfile.log
+       [ -z "$result" ] ||
+               error "consecutive find's under interactive lfs failed"
 }
 run_test 128 "interactive lfs for 2 consecutive find's"
 
@@ -10166,6 +10237,7 @@ test_154f() {
 
        rm -f $DIR/f
        restore_lustre_params < $save
+       rm -f $save
 }
 run_test 154f "get parent fids by reading link ea"
 
@@ -10715,8 +10787,7 @@ run_test 161a "link ea sanity"
 
 test_161b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
-       [ $MDSCOUNT -lt 2 ] &&
-               skip "skipping remote directory test" && return
+       [ $MDSCOUNT -lt 2 ] && skip "skipping remote directory test" && return
        local MDTIDX=1
        local remote_dir=$DIR/$tdir/remote_dir
 
@@ -13861,6 +13932,8 @@ test_striped_dir() {
 }
 
 test_300a() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
 
@@ -13870,6 +13943,8 @@ test_300a() {
 run_test 300a "basic striped dir sanity test"
 
 test_300b() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local i
@@ -13900,6 +13975,8 @@ test_300b() {
 run_test 300b "check ctime/mtime for striped dir"
 
 test_300c() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local file_count
@@ -13923,6 +14000,8 @@ test_300c() {
 run_test 300c "chown && check ls under striped directory"
 
 test_300d() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.0) ] &&
+               skip "skipped for lustre < 2.7.0" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
        local stripe_count
@@ -14522,6 +14601,7 @@ test_400a() { # LU-1606, was conf-sanity test_74
                $CC -Wall -Werror $extra_flags -llustreapi -o $out $prog ||
                        error "client api broken"
        done
+       rm -f $out
 }
 run_test 400a "Lustre client api program can compile and link"
 
@@ -14554,6 +14634,7 @@ test_400b() { # LU-1606, LU-5011
                $CC -Wall -Werror -include $header -c -x c /dev/null -o $out ||
                        error "cannot compile '$header'"
        done
+       rm -f $out
 }
 run_test 400b "packaged headers can be compiled"