Whamcloud - gitweb
minor message cleanup
[fs/lustre-release.git] / lustre / tests / conf-sanity.sh
index 46f36ed..d6087f6 100644 (file)
@@ -12,16 +12,17 @@ set -e
 ONLY=${ONLY:-"$*"}
 
 # These tests don't apply to mountconf
-MOUNTCONFSKIP="9 10 11 12 13 13b 14 15 18"
+MOUNTCONFSKIP="9 10 11 12 13 13b 14 15"
 
-# bug number for skipped test:
-ALWAYS_EXCEPT=" $CONF_SANITY_EXCEPT $MOUNTCONFSKIP 16 23"
+# bug number for skipped test:                     2661 13709 10510 13710 12743
+ALWAYS_EXCEPT=" $CONF_SANITY_EXCEPT $MOUNTCONFSKIP 16   22    23    33    36"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
 SRCDIR=`dirname $0`
 PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH
 
 PTLDEBUG=${PTLDEBUG:--1}
+SAVE_PWD=$PWD
 LUSTRE=${LUSTRE:-`dirname $0`/..}
 RLUSTRE=${RLUSTRE:-$LUSTRE}
 MOUNTLUSTRE=${MOUNTLUSTRE:-/sbin/mount.lustre}
@@ -298,8 +299,6 @@ run_test 5d "mount with ost down"
 test_5e() {
        start_ost
        start_mds
-        # give MDS a chance to connect to OSTs (bz 10476)
-       sleep 5 
 
 #define OBD_FAIL_PTLRPC_DELAY_SEND       0x506
        do_facet client "sysctl -w lustre.fail_loc=0x80000506"
@@ -682,11 +681,12 @@ run_test 17 "Verify failed mds_postsetup won't fail assertion (2936) (should ret
 test_18() {
         [ -f $MDSDEV ] && echo "remove $MDSDEV" && rm -f $MDSDEV
         echo "mount mds with large journal..."
-        OLDMDSSIZE=$MDSSIZE
-        MDSSIZE=2000000
-       #FIXME have to change MDS_MKFS_OPTS
-        gen_config
+        local myMDSSIZE=2000000
+        OLD_MDS_MKFS_OPTS=$MDS_MKFS_OPTS
+
+        MDS_MKFS_OPTS="--mgs --mdt --fsname=$FSNAME --device-size=$myMDSSIZE --param sys.timeout=$TIMEOUT $MDSOPT"
 
+        gen_config
         echo "mount lustre system..."
        setup
         check_mount || return 41
@@ -694,14 +694,14 @@ test_18() {
         echo "check journal size..."
         FOUNDSIZE=`do_facet mds "debugfs -c -R 'stat <8>' $MDSDEV" | awk '/Size: / { print $NF; exit;}'`
         if [ $FOUNDSIZE -gt $((32 * 1024 * 1024)) ]; then
-                log "Success: mkfs creates large journals"
+                log "Success: mkfs creates large journals. Size: $((FOUNDSIZE >> 20))M"
         else
                 error "expected journal size > 32M, found $((FOUNDSIZE >> 20))M"
         fi
 
         cleanup || return $?
 
-        MDSSIZE=$OLDMDSSIZE
+        MDS_MKFS_OPTS=$OLD_MDS_MKFS_OPTS
         gen_config
 }
 run_test 18 "check mkfs creates large journals"
@@ -766,8 +766,8 @@ test_21c() {
 run_test 21c "start mds between two osts, stop mds last"
 
 test_22() {
-        #reformat to remove all logs
-        reformat
+       #reformat to remove all logs
+       reformat
        start_mds
        echo Client mount before any osts are in the logs
        mount_client $MOUNT
@@ -785,7 +785,6 @@ test_22() {
        echo Client mount with a running ost
        start_ost
        mount_client $MOUNT
-       sleep 5 #bz10476
        check_mount || return 41
        pass
 
@@ -822,11 +821,16 @@ test_23() {
 #run_test 23 "interrupt client during recovery mount delay"
 
 test_24a() {
+       #set up fs1 
+       gen_config
+       #set up fs2
        local fs2mds_HOST=$mds_HOST
        local fs2ost_HOST=$ost_HOST
-
-       [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" ] && [ -b "$MDSDEV" ] && \
-            log "mixed loopback and real device not working" && return
+       [ -n "$ost1_HOST" ] && fs2ost_HOST=$ost1_HOST
+       if [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" ]; then
+               do_facet $SINGLEMDS [ -b "$MDSDEV" ] && \
+               skip "mixed loopback and real device not working" && return
+       fi
 
        local fs2mdsdev=${fs2mds_DEV:-${MDSDEV}_2}
        local fs2ostdev=${fs2ost_DEV:-$(ostdevname 1)_2}
@@ -861,7 +865,7 @@ test_24a() {
        umount_client $MOUNT 
        # the MDS must remain up until last MDT
        stop_mds
-       MDS=$(do_facet mds "cat $LPROC/devices" | awk '($3 ~ "mdt" && $4 ~ "MDT") { print $4 }')
+       MDS=$(do_facet $SINGLEMDS "cat $LPROC/devices" | awk '($3 ~ "mdt" && $4 ~ "MDT") { print $4 }')
        [ -z "$MDS" ] && error "No MDT" && return 8
        umount $MOUNT2
        stop fs2mds -f
@@ -872,12 +876,14 @@ run_test 24a "Multiple MDTs on a single node"
 
 test_24b() {
        local fs2mds_HOST=$mds_HOST
-        [ -z "$fs2mds_DEV" ] && [ -b "$MDSDEV" ] && \
-            log "mixed loopback and real device not working" && return
+       if [ -z "$fs2mds_DEV" ]; then
+               do_facet $SINGLEMDS [ -b "$MDSDEV" ] && \
+               skip "mixed loopback and real device not working" && return
+       fi
 
        local fs2mdsdev=${fs2mds_DEV:-${MDSDEV}_2}
 
-        add fs2mds $MDS_MKFS_OPTS --fsname=${FSNAME}2 --mgs --reformat $fs2mdsdev || exit 10 
+       add fs2mds $MDS_MKFS_OPTS --fsname=${FSNAME}2 --mgs --reformat $fs2mdsdev || exit 10 
        setup
        start fs2mds $fs2mdsdev $MDS_MOUNT_OPTS && return 2
        cleanup || return 6
@@ -919,9 +925,9 @@ set_and_check() {
            FINAL=$(($ORIG + 5))
        fi
        echo "Setting $PARAM from $ORIG to $FINAL"
-       $LCTL conf_param $PARAM=$FINAL
+       do_facet mds "$LCTL conf_param $PARAM=$FINAL" || error conf_param failed
        local RESULT
-       local MAX=20
+       local MAX=90
        local WAIT=0
        while [ 1 ]; do
            sleep 5
@@ -1007,14 +1013,23 @@ test_29() {
 
        # check MDT too 
        local MPROC="$LPROC/osc/$FSNAME-OST0001-osc-[M]*/active"
-        RESULT=`do_facet mds " [ -r $MPROC ] && cat $MPROC"`
-        [ ${PIPESTATUS[0]} = 0 ] || error "Can't read $MPROC"
-        if [ $RESULT -ne $DEAC ]; then
-            echo "MDT not deactivated: $RESULT"
-            return 4
-        else
-           echo "MDT deactivated also"
-       fi
+       local MAX=30
+       local WAIT=0
+       while [ 1 ]; do
+           sleep 5
+           RESULT=`do_facet mds " [ -r $MPROC ] && cat $MPROC"`
+           [ ${PIPESTATUS[0]} = 0 ] || error "Can't read $MPROC"
+           if [ $RESULT -eq $DEAC ]; then
+               echo "MDT deactivated also after $WAIT sec (got $RESULT)"
+               break
+           fi
+           WAIT=$((WAIT + 5))
+           if [ $WAIT -eq $MAX ]; then
+               echo "MDT not deactivated: wanted $DEAC got $RESULT"
+               return 4
+           fi
+           echo "Waiting $(($MAX - $WAIT)) secs for MDT deactivated"
+       done
 
         # test new client starts deactivated
        umount_client $MOUNT || return 200
@@ -1070,9 +1085,14 @@ test_32a() {
         #       there appears to be a lot of assumption here about loopback
         #       devices
         # or maybe this test is just totally useless on a client-only system
+       [ "$mds_HOST" = "`hostname`" ] || { skip "remote MDS" && return 0; }
+       [ "$ost_HOST" = "`hostname`" -o "$ost1_HOST" = "`hostname`" ] || \
+               { skip "remote OST" && return 0; }
+
         [ -z "$TUNEFS" ] && skip "No tunefs" && return
-        [ ! -r disk1_4.zip ] && skip "Cant find disk1_4.zip, skipping" && return
-       unzip -o -j -d $TMP/$tdir disk1_4.zip || { skip "Cant unzip disk1_4, skipping" && return ; }
+       local DISK1_4=$LUSTRE/tests/disk1_4.zip
+        [ ! -r $DISK1_4 ] && skip "Cant find $DISK1_4, skipping" && return
+       unzip -o -j -d $TMP/$tdir $DISK1_4 || { skip "Cant unzip $DISK1_4, skipping" && return ; }
        load_modules
        sysctl lnet.debug=$PTLDEBUG
 
@@ -1126,9 +1146,14 @@ test_32b() {
         #       there appears to be a lot of assumption here about loopback
         #       devices
         # or maybe this test is just totally useless on a client-only system
+        [ "$mds_HOST" = "`hostname`" ] || { skip "remote MDS" && return 0; }
+        [ "$ost_HOST" = "`hostname`" -o "$ost1_HOST" = "`hostname`" ] || \
+               { skip "remote OST" && return 0; }
+
         [ -z "$TUNEFS" ] && skip "No tunefs" && return
-        [ ! -r disk1_4.zip ] && skip "Cant find disk1_4.zip, skipping" && return
-       unzip -o -j -d $TMP/$tdir disk1_4.zip || { skip "Cant unzip disk1_4, skipping" && return ; }
+       local DISK1_4=$LUSTRE/tests/disk1_4.zip
+        [ ! -r $DISK1_4 ] && skip "Cant find $DISK1_4, skipping" && return
+       unzip -o -j -d $TMP/$tdir $DISK1_4 || { skip "Cant unzip $DISK1_4, skipping" && return ; }
        load_modules
        sysctl lnet.debug=$PTLDEBUG
 
@@ -1157,7 +1182,7 @@ test_32b() {
        # a fully-functioning client
        echo "Check client and old fs contents"
        mount_client $MOUNT
-       set_and_check client "cat $LPROC/mdc/*/max_rpcs_in_flight" "lustre-MDT0000.mdc.max_rpcs_in_flight" || return 11
+       set_and_check client "cat $LPROC/mdc/*/max_rpcs_in_flight" "${NEWNAME}-MDT0000.mdc.max_rpcs_in_flight" || return 11
        [ "$(cksum $MOUNT/passwd | cut -d' ' -f 1,2)" == "2479747619 779" ] || return 12  
        echo "ok."
 
@@ -1170,14 +1195,17 @@ test_33() { # bug 12333
         local FSNAME2=test1234
         local fs2mds_HOST=$mds_HOST
         local fs2ost_HOST=$ost_HOST
+        [ -n "$ost1_HOST" ] && fs2ost_HOST=$ost1_HOST
 
-        [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" ] && [ -b "$MDSDEV" ] && \
-            log "mixed loopback and real device not working" && return
+        if [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" ]; then
+                do_facet $SINGLEMDS [ -b "$MDSDEV" ] && \
+                skip "mixed loopback and real device not working" && return
+        fi
 
         local fs2mdsdev=${fs2mds_DEV:-${MDSDEV}_2}
         local fs2ostdev=${fs2ost_DEV:-$(ostdevname 1)_2}
         add fs2mds $MDS_MKFS_OPTS --fsname=${FSNAME2} --reformat $fs2mdsdev || exit 10
-        add fs2ost $OST_MKFS_OPTS --fsname=${FSNAME2} --index=8191 --mgsnode=`hostname`@tcp --reformat $fs2ostdev || exit 10
+        add fs2ost $OST_MKFS_OPTS --fsname=${FSNAME2} --index=8191 --mgsnode=$MGSNID --reformat $fs2ostdev || exit 10
 
         start fs2mds $fs2mdsdev $MDS_MOUNT_OPTS
         start fs2ost $fs2ostdev $OST_MOUNT_OPTS
@@ -1193,6 +1221,189 @@ test_33() { # bug 12333
 }
 run_test 33 "Mount ost with a large index number"
 
+test_34() {
+        setup
+
+        do_facet client dd if=/dev/zero of=$MOUNT/24 bs=1024k count=1
+        # Drop lock cancelation reply during umount
+       #define OBD_FAIL_LDLM_CANCEL             0x304
+        do_facet client sysctl -w lustre.fail_loc=0x80000304
+        #sysctl -w lnet.debug=-1
+        umount_client $MOUNT
+        cleanup
+}
+run_test 34 "Drop cancel during umount"
+
+test_34a() {
+        setup
+       do_facet client multiop $DIR/file O_c &
+       sleep 0.500s
+       manual_umount_client
+       rc=$?
+       do_facet client killall -USR1 multiop
+       if [ $rc -eq 0 ]; then
+               error "umount not fail!"
+       fi
+       sleep 1
+        cleanup
+}
+run_test 34a "umount with opened file should be fail"
+
+
+test_34b() {
+       setup
+       touch $DIR/$tfile || return 1
+       stop_mds --force || return 2
+
+       manual_umount_client --force
+       rc=$?
+       if [ $rc -ne 0 ]; then
+               error "mtab after failed umount - rc $rc"
+       fi
+
+       cleanup
+       return 0        
+}
+run_test 34b "force umount with failed mds should be normal"
+
+test_34c() {
+       setup
+       touch $DIR/$tfile || return 1
+       stop_ost --force || return 2
+
+       manual_umount_client --force
+       rc=$?
+       if [ $rc -ne 0 ]; then
+               error "mtab after failed umount - rc $rc"
+       fi
+
+       cleanup
+       return 0        
+}
+run_test 34c "force umount with failed ost should be normal"
+
+test_35() { # bug 12459
+       setup
+
+       DBG_SAVE="`sysctl -n lnet.debug`"
+       sysctl -w lnet.debug="ha"
+
+       log "Set up a fake failnode for the MDS"
+       FAKENID="127.0.0.2"
+       do_facet mds $LCTL conf_param ${FSNAME}-MDT0000.failover.node=$FAKENID || return 4
+
+       log "Wait for RECONNECT_INTERVAL seconds (10s)"
+       sleep 10
+
+       MSG="conf-sanity.sh test_35 `date +%F%kh%Mm%Ss`"
+       $LCTL clear
+       log "$MSG"
+       log "Stopping the MDT:"
+       stop_mds || return 5
+
+       df $MOUNT > /dev/null 2>&1 &
+       DFPID=$!
+       log "Restarting the MDT:"
+       start_mds || return 6
+       log "Wait for df ($DFPID) ... "
+       wait $DFPID
+       log "done"
+       sysctl -w lnet.debug="$DBG_SAVE"
+
+       # retrieve from the log the first server that the client tried to
+       # contact after the connection loss
+       $LCTL dk $TMP/lustre-log-$TESTNAME.log
+       NEXTCONN=`awk "/${MSG}/ {start = 1;}
+                      /import_select_connection.*${FSNAME}-MDT0000-mdc.* using connection/ {
+                               if (start) {
+                                       if (\\\$NF ~ /$FAKENID/)
+                                               print \\\$NF;
+                                       else
+                                               print 0;
+                                       exit;
+                               }
+                      }" $TMP/lustre-log-$TESTNAME.log`
+       [ "$NEXTCONN" != "0" ] && log "The client didn't try to reconnect to the last active server (tried ${NEXTCONN} instead)" && return 7
+       cleanup
+}
+run_test 35 "Reconnect to the last active server first"
+
+test_36() { # 12743
+        local rc
+        local FSNAME2=test1234
+        local fs2mds_HOST=$mds_HOST
+        local fs2ost_HOST=$ost_HOST
+        local fs3ost_HOST=$ost_HOST
+
+        [ -n "$ost1_HOST" ] && fs2ost_HOST=$ost1_HOST && fs3ost_HOST=$ost1_HOST
+        rc=0
+
+        if [ -z "$fs2ost_DEV" -o -z "$fs2mds_DEV" -o -z "$fs3ost_DEV" ]; then
+               do_facet $SINGLEMDS [ -b "$MDSDEV" ] && \
+               skip "mixed loopback and real device not working" && return
+        fi
+        [ $OSTCOUNT -lt 2 ] && skip "skipping test for single OST" && return
+
+        [ $(grep -c obdfilter $LPROC/devices) -eq 0 ] &&
+                skip "skipping test for remote OST" && return
+
+        local fs2mdsdev=${fs2mds_DEV:-${MDSDEV}_2}
+        local fs2ostdev=${fs2ost_DEV:-$(ostdevname 1)_2}
+        local fs3ostdev=${fs3ost_DEV:-$(ostdevname 2)_2}
+        add fs2mds $MDS_MKFS_OPTS --fsname=${FSNAME2} --reformat $fs2mdsdev || exit 10
+        add fs2ost $OST_MKFS_OPTS --mkfsoptions='-b1024' --fsname=${FSNAME2} --mgsnode=$MGSNID --reformat $fs2ostdev || exit 10
+        add fs3ost $OST_MKFS_OPTS --mkfsoptions='-b4096' --fsname=${FSNAME2} --mgsnode=$MGSNID --reformat $fs3ostdev || exit 10
+
+        start fs2mds $fs2mdsdev $MDS_MOUNT_OPTS
+        start fs2ost $fs2ostdev $OST_MOUNT_OPTS
+        start fs3ost $fs3ostdev $OST_MOUNT_OPTS
+        mkdir -p $MOUNT2
+        mount -t lustre $MGSNID:/${FSNAME2} $MOUNT2 || return 1
+
+        sleep 5 # until 11778 fixed
+
+        dd if=/dev/zero of=$MOUNT2/$tfile bs=1M count=7 || return 2
+
+        BKTOTAL=`awk 'BEGIN{total=0}; {total+=$1}; END{print total}' \
+                $LPROC/obdfilter/*/kbytestotal`
+        BKFREE=`awk 'BEGIN{free=0}; {free+=$1}; END{print free}' \
+               $LPROC/obdfilter/*/kbytesfree`
+        BKAVAIL=`awk 'BEGIN{avail=0}; {avail+=$1}; END{print avail}' \
+                $LPROC/obdfilter/*/kbytesavail`
+        STRING=`df -P $MOUNT2 | tail -n 1 | awk '{print $2","$3","$4}'`
+        DFTOTAL=`echo $STRING | cut -d, -f1`
+        DFUSED=`echo $STRING  | cut -d, -f2`
+        DFAVAIL=`echo $STRING | cut -d, -f3`
+        DFFREE=$(($DFTOTAL - $DFUSED))
+
+        ALLOWANCE=$((64 * $OSTCOUNT))
+
+        if [ $DFTOTAL -lt $(($BKTOTAL - $ALLOWANCE)) ] ||  
+           [ $DFTOTAL -gt $(($BKTOTAL + $ALLOWANCE)) ] ; then
+                echo "**** FAIL: df total($DFTOTAL) mismatch OST total($BKTOTAL)"
+                rc=1
+        fi
+        if [ $DFFREE -lt $(($BKFREE - $ALLOWANCE)) ] || 
+           [ $DFFREE -gt $(($BKFREE + $ALLOWANCE)) ] ; then
+                echo "**** FAIL: df free($DFFREE) mismatch OST free($BKFREE)"
+                rc=2
+        fi
+        if [ $DFAVAIL -lt $(($BKAVAIL - $ALLOWANCE)) ] || 
+           [ $DFAVAIL -gt $(($BKAVAIL + $ALLOWANCE)) ] ; then
+                echo "**** FAIL: df avail($DFAVAIL) mismatch OST avail($BKAVAIL)"
+                rc=3
+       fi
+
+        umount -d $MOUNT2
+        stop fs3ost -f || return 200
+        stop fs2ost -f || return 201
+        stop fs2mds -f || return 202
+        rm -rf $MOUNT2 $fs2mdsdev $fs2ostdev $fs3ostdev
+        unload_modules || return 203
+        return $rc
+}
+run_test 36 "df report consistency on OSTs with different block size"
+
 umount_client $MOUNT   
 cleanup_nocli
 cleanup_krb5_env