Whamcloud - gitweb
LU-12579 tests: allow some margin in runtests
[fs/lustre-release.git] / lustre / tests / runtests
index aa30f9f..dd64560 100755 (executable)
-#!/bin/sh
+#!/bin/bash
 #
 # Script which does some basic tests to ensure we haven't regressed.
 # Probably a good idea to run this before doing any checkins.
 # In the future this can become more fancy, but it's OK for now.
 
-SRCDIR="`dirname $0`"
-fail() { 
-       echo "ERROR: $1" 1>&2
-       [ $2 ] && RC=$2 || RC=1
-       exit $RC
-}
-
-log() {
-       echo "$*"
-       lctl mark "$*"
-}
-
+LUSTRE=${LUSTRE:-$(dirname $0)/..}
+SRCDIR="$(dirname $0)"
 export PATH=/sbin:/usr/sbin:$SRCDIR:$SRCDIR/../utils:$PATH
 
-ERROR=
-SRC=/etc
-[ "$COUNT" ] || COUNT=1000
+export NAME=${NAME:-local}
 
-[ "$LCONF" ] || LCONF=$SRCDIR/../utils/lconf
+. $LUSTRE/tests/test-framework.sh
+init_test_env $@
+. ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
+init_logging
 
-[ "$MCREATE" ] || MCREATE=$SRCDIR/../tests/mcreate
+RUNTESTS_SRC=${RUNTESTS_SRC:-"/etc /bin"}
+[ "$COUNT" ] || COUNT=10000
+[ "$SLOW" = "no" ] && COUNT=1000
 
-[ "$MKDIRMANY" ] || MKDIRMANY=$SRCDIR/../tests/mkdirmany
+[ "$MKDIRMANY" ] || MKDIRMANY="createmany -d"
+[ "$RMDIRMANY" ] || RMDIRMANY="unlinkmany -d"
 
-while [ "$1" ]; do
-       case $1 in
-       *.xml) export NAME=`echo $1 | sed "s/.xml//"` ;;
-       *) OPTS="$OPTS $1" ;;
-       esac
-       shift
-done
-
-MOUNT="`mount | awk '/ lustre_lite / { print $3 }' | tail -n 1`"
-if [ -z "$MOUNT" ]; then
-       sh llmount.sh $OPTS
-       MOUNT="`mount | awk '/ lustre_lite / { print $3 }' | tail -n 1`"
-       [ -z "$MOUNT" ] && fail "no lustre filesystem mounted" 1
-       I_MOUNTED="yes"
-fi
-
-OSCTMP=`echo $MOUNT | tr "/" "."`
-USED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -n 1`
-USED=`expr $USED + 16` # Some space for the status file
+check_and_setup_lustre
+test_1() {
+sleep 5 # let MDS refresh aggregated statfs
+# Include some extra space for the status file
+USED=$(df -P $DIR | awk '{ print $3 }' | tail -n 1)
 
 # let's start slowly here...
-log "touching $MOUNT"
-touch $MOUNT || fail "can't touch $MOUNT" 2
-HOSTS=$MOUNT/hosts.$$
+START=$(date +%s)
+log "touching $DIR at $(date) (@$START)"
+touch $DIR || error "can't touch $DIR" 2
+HOSTS=$DIR/hosts.$$
+TRUNCSIZE=123
 
 if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
        # this will cause the following cp to trigger bug #620096
        log "create an empty file $HOSTS"
        mcreate $HOSTS
        log "copying /etc/hosts to $HOSTS"
-       cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS" 3
+       cp /etc/hosts $HOSTS || error "can't cp /etc/hosts to $HOSTS" 3
        log "comparing /etc/hosts and $HOSTS"
-       diff -u /etc/hosts $HOSTS || fail "$HOSTS different" 4
+       diff -u /etc/hosts $HOSTS || error "$HOSTS different" 4
        log "renaming $HOSTS to $HOSTS.ren"
-       mv $HOSTS $HOSTS.ren || fail "can't rename $HOSTS to $HOSTS.ren" 5
+       mv $HOSTS $HOSTS.ren || error "can't rename $HOSTS to $HOSTS.ren" 5
        log "copying /etc/hosts to $HOSTS again"
-       cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS again" 6
+       cp /etc/hosts $HOSTS || error "can't cp /etc/hosts to $HOSTS again" 6
        log "truncating $HOSTS"
-       > $HOSTS || fail "can't truncate $HOSTS" 8
+       > $HOSTS || error "can't truncate $HOSTS" 8
        log "removing $HOSTS"
-       rm $HOSTS || fail "can't remove $HOSTS" 9
+       rm $HOSTS || error "can't remove $HOSTS" 9
+       log "copying /etc/hosts to $HOSTS.2"
+       cp /etc/hosts $HOSTS.2 || error "can't cp /etc/hosts to $HOSTS.2" 7
+       log "truncating $HOSTS.2 to $TRUNCSIZE bytes"
+       $TRUNCATE $HOSTS.2 $TRUNCSIZE || error "can't truncate $HOSTS.2" 10
+       checkstat -s $TRUNCSIZE $HOSTS.2 ||
+               error "$HOSTS.2 isn't $TRUNCSIZE bytes" 11
 fi
 
-DST=$MOUNT/runtest.$$
+DST=$DIR/$tdir
 # let's start slowly here...
 log "creating $DST"
-mkdir $DST || fail "can't mkdir $DST" 10
+test_mkdir -p $DST || error "can't mkdir $DST" 12
 
 # ok, that hopefully worked, so let's do a little more, with files that
 # haven't changed in the last day (hopefully they don't change during test)
-FILES=`find $SRC -type f -mtime +1 -ctime +1 | head -n $COUNT`
-log "copying files from $SRC to $DST$SRC"
-tar cf - $FILES | tar xvf - -C $DST || fail "copying $SRC" 11
+FILES=$TMP/runtests.files
+# use "NUL" instead of newline as filename terminator, bug 19702 
+find $RUNTESTS_SRC -type f -mtime +1 | head -n $COUNT | tr '\n' '\0' > $FILES
+[ -s "$FILES" ] ||
+       error "$RUNTESTS_SRC contains only files modifed less than 2 days ago"
+COUNT=$(xargs -0 -n 1 echo < $FILES | wc -l)
+
+log "copying $COUNT files from $RUNTESTS_SRC to $DST$RUNTESTS_SRC at $(date)"
+tar cf - --null --files-from $FILES | tar xvf - -C $DST > /dev/null ||
+       error "copying $RUNTESTS_SRC" 17
+
+log "comparing $COUNT newly copied files at $(date)"
 
-log "comparing newly copied files"
-for f in $FILES; do
+cat $FILES | tr "\0" "\n" | ( rc=0; while read f; do
        [ $V ] && log "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=11
+       diff -q "$f" "$DST/$f" || rc=18
 done
+[ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" ) 
 
-[ "$ERROR" ] && fail "old and new files are different" $ERROR
+log "finished at $(date) ($(($(date +%s) - START)))"
 
-sh llmountcleanup.sh || exit 19
-sh llrmount.sh $OPTS || exit 20
+stopall || exit 19
+setupall || exit 20
 
-log "comparing previously copied files"
-for f in $FILES; do
+log "comparing $COUNT previously copied files"
+cat $FILES | tr "\0" "\n" | ( rc=0; while read f; do
        [ $V ] && log "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=22
+       diff -q "$f" "$DST/$f" || rc=22
 done
+[ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" )
 
-[ "$ERROR" ] && fail "old and new files are different on second diff" $ERROR
-
-sh llmountcleanup.sh || exit 19
-sh llrmount.sh || exit 20
+stopall || exit 21
+setupall || exit 22
 
 log "removing $DST"
-rm -r $V $DST || fail "can't remove $DST" 37
+rm -r $V $DST || error "can't remove $DST" 37
 
 if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
        log "renaming $HOSTS.ren to $HOSTS"
-       mv $HOSTS.ren $HOSTS || fail "can't rename $HOSTS.ren to $HOSTS" 32
+       mv $HOSTS.ren $HOSTS || error "can't rename $HOSTS.ren to $HOSTS" 32
        log "truncating $HOSTS"
-       > $HOSTS || fail "can't truncate $HOSTS" 34
+       > $HOSTS || error "can't truncate $HOSTS" 34
        log "removing $HOSTS"
-       rm $HOSTS || fail "can't remove $HOSTS again" 36
+       rm $HOSTS || error "can't remove $HOSTS again" 36
+       log "verifying $HOSTS.2 is $TRUNCSIZE bytes"
+       checkstat -s $TRUNCSIZE $HOSTS.2 || \
+               error "$HOSTS.2 isn't $TRUNCSIZE bytes" 37
+       rm $HOSTS.2 || error "can't remove $HOSTS.2" 38
 fi
 
 # mkdirmany test (bug 589)
-log "running mkdirmany $MOUNT/base$$ 100"
-$MKDIRMANY $MOUNT/base$$ 100 || fail "mkdirmany failed"
-log "removing mkdirmany directories"
-rmdir $MOUNT/base$$* || fail "mkdirmany cleanup failed"
+test_mkdir -p $DST
+log "running $MKDIRMANY $DST/d 100"
+$MKDIRMANY $DST/d 100 || error "$MKDIRMANY failed"
+log "running $RMDIRMANY $DST/d 100"
+$RMDIRMANY $DST/d 100 || error "$RMDIRMANY cleanup failed"
 
 log "done"
 
-NOWUSED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -n 1`
-if [ `expr $NOWUSED - $USED` -gt 1024 ]; then
-       echo "Space not all freed: now ${NOWUSED}kB, was ${USED}kB." 1>&2
+wait_delete_completed
+sleep 5 # let MDS refresh aggregated statfs
+NOWUSED=$(($(df -P $DIR | awk '{ print $3 }' | tail -n 1)))
+if [ $(expr $NOWUSED - $USED) -gt $(fs_log_size) ]; then
+       error "Space not all freed: now ${NOWUSED}kB, was ${USED}kB."
+else
+       log "Space was freed: now ${NOWUSED}kB, was ${USED}kB."
 fi
+}
+run_test 1 "All Runtests"
 
-if [ "$I_MOUNTED" = "yes" ]; then
-       sh llmountcleanup.sh || exit 29
-fi
+complete $SECONDS
+rm -f $FILES
+check_and_cleanup_lustre
+exit_status