Whamcloud - gitweb
LU-4257 test: Correct error_ignore message
[fs/lustre-release.git] / lustre / tests / sanity.sh
index 2174b5d..b8e710e 100644 (file)
@@ -8,13 +8,13 @@
 set -e
 
 ONLY=${ONLY:-"$*"}
-# bug number for skipped test: 13297 2108 9789 3637 9789 3561 12622 5188
-ALWAYS_EXCEPT="                42a  42b  42c  42d  45   51d   68b   $SANITY_EXCEPT"
+# bug number for skipped test: 13297 2108 9789 3637 9789 3561 5188
+ALWAYS_EXCEPT="                42a  42b  42c  42d  45   68b   $SANITY_EXCEPT"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
 # with LOD/OSP landing
-# bug number for skipped tests: LU-2036
-ALWAYS_EXCEPT="                 76     $ALWAYS_EXCEPT"
+# bug number for skipped tests: LU-2036 LU-8139
+ALWAYS_EXCEPT="                 76     101g    $ALWAYS_EXCEPT"
 
 is_sles11()                                            # LU-4341
 {
@@ -75,11 +75,13 @@ init_test_env $@
 . ${CONFIG:=$LUSTRE/tests/cfg/${NAME}.sh}
 init_logging
 
-[ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 24D 27m 64b 68 71 77f 78 115 124b 300o"
+#                                  5              12          (min)"
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="24D 27m 64b 68 71 115 300o"
 
 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
        # bug number for skipped test: LU-4536 LU-1957 LU-2805
        ALWAYS_EXCEPT="$ALWAYS_EXCEPT  65ic    180     184c"
+       #                                               4   13    (min)"
        [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 51b 51ba"
 fi
 
@@ -2067,6 +2069,46 @@ test_27E() {
 }
 run_test 27E "check that default extended attribute size properly increases"
 
+test_27F() { # LU-5346/LU-7975
+
+       [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+
+       [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.8.51) ]] &&
+               skip "Need MDS version at least 2.8.51" && return
+
+       test_mkdir -p $DIR/$tdir
+       rm -f $DIR/$tdir/f0
+       $SETSTRIPE -c 2 $DIR/$tdir
+
+       # stop all OSTs to reproduce situation for LU-7975 ticket
+       for num in $(seq $OSTCOUNT); do
+               stop ost$num
+       done
+
+       # open/create f0 with O_LOV_DELAY_CREATE
+       # truncate f0 to a non-0 size
+       # close
+       multiop $DIR/$tdir/f0 oO_RDWR:O_CREAT:O_LOV_DELAY_CREATE:T1050000c
+
+       $CHECKSTAT -s 1050000 $DIR/$tdir/f0 || error "checkstat failed"
+       # open/write it again to force delayed layout creation
+       cat /etc/hosts > $DIR/$tdir/f0 &
+       catpid=$!
+
+       # restart OSTs
+       for num in $(seq $OSTCOUNT); do
+               start ost$num $(ostdevname $num) $OST_MOUNT_OPTS ||
+                       error "ost$num failed to start"
+       done
+
+       wait $catpid || error "cat failed"
+
+       cmp /etc/hosts $DIR/$tdir/f0 || error "cmp failed"
+       [[ $($GETSTRIPE -c $DIR/$tdir/f0) == 2 ]] || error "wrong stripecount"
+
+}
+run_test 27F "Client resend delayed layout creation with non-zero size"
+
 # createtest also checks that device nodes are created and
 # then visible correctly (#2091)
 test_28() { # bug 2091
@@ -4121,11 +4163,11 @@ test_51d() {
                skip_env "skipping test with few OSTs" && return
        test_mkdir -p $DIR/$tdir
        createmany -o $DIR/$tdir/t- 1000
-       $GETSTRIPE $DIR/$tdir > $TMP/files
+       $GETSTRIPE $DIR/$tdir > $TMP/$tfile
        for N in $(seq 0 $((OSTCOUNT - 1))); do
                OBJS[$N]=$(awk -vobjs=0 '($1 == '$N') { objs += 1 } \
-                       END { printf("%0.0f", objs) }' $TMP/files)
-               OBJS0[$N]=$(grep -A 1 idx $TMP/files | awk -vobjs=0 \
+                       END { printf("%0.0f", objs) }' $TMP/$tfile)
+               OBJS0[$N]=$(grep -A 1 idx $TMP/$tfile | awk -vobjs=0 \
                        '($1 == '$N') { objs += 1 } \
                        END { printf("%0.0f", objs) }')
                log "OST$N has ${OBJS[$N]} objects, ${OBJS0[$N]} are index 0"
@@ -4149,8 +4191,9 @@ test_51d() {
                              " (${OBJS0[$N]} < ${OBJS0[$NLAST]}"
                NLAST=$N
        done
+       rm -f $TMP/$tfile
 }
-run_test 51d "check object distribution ===================="
+run_test 51d "check object distribution"
 
 test_51e() {
        if [ "$(facet_fstype $SINGLEMDS)" != ldiskfs ]; then
@@ -4184,10 +4227,10 @@ test_52a() {
        lsattr $DIR/$tdir/foo | egrep -q "^-+a[-e]+ $DIR/$tdir/foo" ||
                                                     error "lsattr"
        chattr -a $DIR/$tdir/foo || error "chattr -a failed"
-        cp -r $DIR/$tdir /tmp/
-       rm -fr $DIR/$tdir || error "cleanup rm failed"
+       cp -r $DIR/$tdir $TMP/
+       rm -fr $DIR/$tdir $TMP/$tdir || error "cleanup rm failed"
 }
-run_test 52a "append-only flag test (should return errors) ====="
+run_test 52a "append-only flag test (should return errors)"
 
 test_52b() {
        [ -f $DIR/$tdir/foo ] && chattr -i $DIR/$tdir/foo
@@ -5286,14 +5329,14 @@ test_60d() {
 
        # verify "lctl mark" is even working"
        MESSAGE="test message ID $RANDOM $$"
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" || error "didn't find debug marker in log"
 
        lctl set_param printk=0 || error "set lnet.printk failed"
        lctl get_param -n printk | grep emerg || error "lnet.printk dropped emerg"
        MESSAGE="new test message ID $RANDOM $$"
        # Assume here that libcfs_debug_mark_buffer() uses D_WARNING
-       $LCTL mark "$MESSAGE" || error "$LCTL mark failed"
+       $LCTL mark "$HOSTNAME $MESSAGE" || error "$LCTL mark failed"
        dmesg | grep -q "$MESSAGE" && error "D_WARNING wasn't masked" || true
 
        lctl set_param -n printk="$SAVEPRINTK"
@@ -7056,7 +7099,7 @@ test_102n() { # LU-4101 mdt: protect internal xattrs
        # Get 'before' xattrs of $file1.
        getfattr --absolute-names --dump --match=- $file1 > $xattr0
 
-       for name in lov lma lmv link fid version som hsm lfsck_namespace; do
+       for name in lov lma lmv link fid version som hsm; do
                # Try to copy xattr from $file0 to $file1.
                value=$(getxattr $file0 trusted.$name 2> /dev/null)
 
@@ -8751,11 +8794,13 @@ test_127b() { # bug LU-333
                 esac
         done < $TMP/${tfile}.tmp
 
-        #check that we actually got some stats
-        [ "$read_bytes" ] || error "Missing read_bytes stats"
-        [ "$write_bytes" ] || error "Missing write_bytes stats"
-        [ "$read_bytes" != 0 ] || error "no read done"
-        [ "$write_bytes" != 0 ] || error "no write done"
+       #check that we actually got some stats
+       [ "$read_bytes" ] || error "Missing read_bytes stats"
+       [ "$write_bytes" ] || error "Missing write_bytes stats"
+       [ "$read_bytes" != 0 ] || error "no read done"
+       [ "$write_bytes" != 0 ] || error "no write done"
+
+       rm -f $TMP/${tfile}.tmp
 }
 run_test 127b "verify the llite client stats are sane"
 
@@ -8767,8 +8812,9 @@ test_128() { # bug 15212
        EOF
 
        result=$(grep error $TMP/$tfile.log)
-       rm -f $DIR/$tfile
-       [ -z "$result" ] || error "consecutive find's under interactive lfs failed"
+       rm -f $DIR/$tfile $TMP/$tfile.log
+       [ -z "$result" ] ||
+               error "consecutive find's under interactive lfs failed"
 }
 run_test 128 "interactive lfs for 2 consecutive find's"
 
@@ -10231,6 +10277,7 @@ test_154f() {
 
        rm -f $DIR/f
        restore_lustre_params < $save
+       rm -f $save
 }
 run_test 154f "get parent fids by reading link ea"
 
@@ -13669,6 +13716,63 @@ test_247e() {
 }
 run_test 247e "mount .. as fileset"
 
+test_248() {
+       local my_error=error
+
+       # This test case is time sensitive and maloo uses kvm to run auto test.
+       # Therefore the complete time of I/O task is unreliable and depends on
+       # the work load on the host machine when the task is running.
+       which virt-what 2> /dev/null && [ "$(virt-what)" != "kvm" ] ||
+               { echo "no virt-what installed or running in kvm; ignore error";
+                 my_error="error_ignore env=kvm"; }
+
+       # create a large file for fast read verification
+       dd if=/dev/zero of=$DIR/$tfile bs=128M count=1 > /dev/null 2>&1
+
+       # make sure the file is created correctly
+       $CHECKSTAT -s $((128*1024*1024)) $DIR/$tfile ||
+               { rm -f $DIR/$tfile; skip "file creation error" && return; }
+
+       local saved_fast_read=$($LCTL get_param -n llite.*.fast_read)
+
+       echo "Test 1: verify that fast read is 4 times faster on cache read"
+
+       # small read with fast read enabled
+       $LCTL set_param -n llite.*.fast_read=1
+       local t_fast=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=4k 2>&1 |
+                  awk '/real/ { print $2 }')
+
+       # small read with fast read disabled
+       $LCTL set_param -n llite.*.fast_read=0
+       local t_slow=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=4k 2>&1 |
+                  awk '/real/ { print $2 }')
+
+       # verify that fast read is 4 times faster for cache read
+       [ $(bc <<< "4 * $t_fast < $t_slow") -eq 1 ] ||
+               $my_error "fast read was not 4 times faster: $t_fast vs $t_slow"
+
+       echo "Test 2: verify the performance between big and small read"
+       $LCTL set_param -n llite.*.fast_read=1
+
+       # 1k non-cache read
+       cancel_lru_locks osc
+       local t_1k=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=1k 2>&1 |
+            awk '/real/ { print $2 }')
+
+       # 1M non-cache read
+       cancel_lru_locks osc
+       local t_1m=$(eval time -p dd if=$DIR/$tfile of=/dev/null bs=1M 2>&1 |
+            awk '/real/ { print $2 }')
+
+       # verify that big IO is not 4 times faster than small IO
+       [ $(bc <<< "4 * $t_1k >= $t_1m") -eq 1 ] ||
+               $my_error "bigger IO is way too fast: $t_1k vs $t_1m"
+
+       $LCTL set_param -n llite.*.fast_read=$saved_fast_read
+       rm -f $DIR/$tfile
+}
+run_test 248 "fast read verification"
+
 test_250() {
        [ "$(facet_fstype ost$(($($GETSTRIPE -i $DIR/$tfile) + 1)))" = "zfs" ] \
         && skip "no 16TB file size limit on ZFS" && return
@@ -14594,6 +14698,7 @@ test_400a() { # LU-1606, was conf-sanity test_74
                $CC -Wall -Werror $extra_flags -llustreapi -o $out $prog ||
                        error "client api broken"
        done
+       rm -f $out
 }
 run_test 400a "Lustre client api program can compile and link"
 
@@ -14626,6 +14731,7 @@ test_400b() { # LU-1606, LU-5011
                $CC -Wall -Werror -include $header -c -x c /dev/null -o $out ||
                        error "cannot compile '$header'"
        done
+       rm -f $out
 }
 run_test 400b "packaged headers can be compiled"