Whamcloud - gitweb
LU-1538 tests: standardize test script init - dne-part-2
[fs/lustre-release.git] / lustre / tests / runtests
index 9c8f990..6e80caf 100755 (executable)
-#!/bin/sh
+#!/bin/bash
 #
 # Script which does some basic tests to ensure we haven't regressed.
-# Probably a good idea to run this before doing any checkins.
-# In the future this can become more fancy, but it's OK for now.
-
-SRCDIR="`dirname $0`"
-fail() { 
-       echo "ERROR: $1" 1>&2
-       [ $2 ] && RC=$2 || RC=1
-       exit $RC
-}
 
-export PATH=/sbin:/usr/sbin:$SRCDIR:$PATH
+LUSTRE=${LUSTRE:-$(dirname $0)/..}
+. $LUSTRE/tests/test-framework.sh
+init_test_env $@
+init_logging
 
-ERROR=
-SRC=/etc
-[ "$COUNT" ] || COUNT=1000
+RUNTESTS_SRC=${RUNTESTS_SRC:-"/etc /bin"}
+[ "$COUNT" ] || COUNT=10000
+[ "$SLOW" = "no" ] && COUNT=1000
 
-[ "$LCONF" ] || LCONF=$SRCDIR/../utils/lconf
+[ "$MKDIRMANY" ] || MKDIRMANY="createmany -d"
+[ "$RMDIRMANY" ] || RMDIRMANY="unlinkmany -d"
 
-[ "$MCREATE" ] || MCREATE=$SRCDIR/../tests/mcreate
-[ "$MKDIRMANY" ] || MKDIRMANY=$SRCDIR/../tests/mkdirmany
+check_and_setup_lustre
 
-while [ "$1" ]; do
-       case $1 in
-       *.xml) export NAME=`echo $1 | sed "s/.xml//"` ;;
-       esac
-       shift
-done
+test_1() {
+sleep 5 # let MDS refresh aggregated statfs
+# Include some extra space for the status file
+USED=$(df -P $DIR | awk '{ print $3 }' | tail -n 1)
 
-OSCMT="`mount | awk '/ lustre_lite / { print $3 }' | tail -1`"
-if [ -z "$OSCMT" ]; then
-       sh llmount.sh
-       OSCMT="`mount | awk '/ lustre_lite / { print $3 }' | tail -1`"
-       [ -z "$OSCMT" ] && fail "no lustre filesystem mounted" 1
-       I_MOUNTED="yes"
+# let's start slowly here...
+START=$(date +%s)
+log "touching $DIR at $(date) (@$START)"
+touch $DIR || error "can't touch $DIR" 2
+HOSTS=$DIR/hosts.$$
+TRUNCSIZE=123
+
+if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
+       # this will cause the following cp to trigger bug #620096
+       log "create an empty file $HOSTS"
+       mcreate $HOSTS
+       log "copying /etc/hosts to $HOSTS"
+       cp /etc/hosts $HOSTS || error "can't cp /etc/hosts to $HOSTS" 3
+       log "comparing /etc/hosts and $HOSTS"
+       diff -u /etc/hosts $HOSTS || error "$HOSTS different" 4
+       log "renaming $HOSTS to $HOSTS.ren"
+       mv $HOSTS $HOSTS.ren || error "can't rename $HOSTS to $HOSTS.ren" 5
+       log "copying /etc/hosts to $HOSTS again"
+       cp /etc/hosts $HOSTS || error "can't cp /etc/hosts to $HOSTS again" 6
+       log "truncating $HOSTS"
+       > $HOSTS || error "can't truncate $HOSTS" 8
+       log "removing $HOSTS"
+       rm $HOSTS || error "can't remove $HOSTS" 9
+       log "copying /etc/hosts to $HOSTS.2"
+       cp /etc/hosts $HOSTS.2 || error "can't cp /etc/hosts to $HOSTS.2" 7
+       log "truncating $HOSTS.2 to $TRUNCSIZE bytes"
+       $TRUNCATE $HOSTS.2 $TRUNCSIZE || error "can't truncate $HOSTS.2" 10
+       checkstat -s $TRUNCSIZE $HOSTS.2 ||
+               error "$HOSTS.2 isn't $TRUNCSIZE bytes" 11
 fi
 
-OSCTMP=`echo $OSCMT | tr "/" "."`
-USED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -1`
-USED=`expr $USED + 16` # Some space for the status file
-
-# let's start slowly here...
-echo "touching $OSCMT"
-touch $OSCMT || fail "can't touch $OSCMT" 2
-HOSTS=$OSCMT/hosts.$$
-
-# this will cause the following cp to trigger bug #620096
-echo "create an empty file $HOSTS"
-$MCREATE $HOSTS
-
-echo "copying /etc/hosts to $HOSTS"
-cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS" 3
-echo "comparing /etc/hosts and $HOSTS"
-diff -u /etc/hosts $HOSTS || fail "$HOSTS different" 4
-echo "renaming $HOSTS to $HOSTS.ren"
-mv $HOSTS $HOSTS.ren || fail "can't rename $HOSTS to $HOSTS.ren" 5
-echo "copying /etc/hosts to $HOSTS again"
-cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS again" 6
-echo "truncating $HOSTS"
-> $HOSTS || fail "can't truncate $HOSTS" 8
-echo "removing $HOSTS"
-rm $HOSTS || fail "can't remove $HOSTS" 9
-
-DST=$OSCMT/runtest.$$
+DST=$DIR/$tdir
 # let's start slowly here...
-echo "creating $DST"
-mkdir $DST || fail "can't mkdir $DST" 10
+log "creating $DST"
+test_mkdir -p $DST || error "can't mkdir $DST" 12
 
 # ok, that hopefully worked, so let's do a little more, with files that
 # haven't changed in the last day (hopefully they don't change during test)
-FILES=`find $SRC -type f -mtime +1 -ctime +1 | head -$COUNT`
-echo "copying files from $SRC to $DST$SRC"
-tar cf - $FILES | tar xvf - -C $DST || fail "copying $SRC" 11
-
-echo "comparing newly copied files"
-for f in $FILES; do
-       [ $V ] && echo "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=11
+FILES=$TMP/runtests.files
+# use "NUL" instead of newline as filename terminator, bug 19702 
+find $RUNTESTS_SRC -type f -mtime +1 | head -n $COUNT | tr '\n' '\0' > $FILES
+[ -s "$FILES" ] ||
+       error "$RUNTESTS_SRC contains only files modifed less than 2 days ago"
+COUNT=$(xargs -0 -n 1 echo < $FILES | wc -l)
+
+log "copying $COUNT files from $RUNTESTS_SRC to $DST$RUNTESTS_SRC at $(date)"
+tar cf - --null --files-from $FILES | tar xvf - -C $DST > /dev/null ||
+       error "copying $RUNTESTS_SRC" 17
+
+log "comparing $COUNT newly copied files at $(date)"
+
+cat $FILES | tr "\0" "\n" | ( rc=0; while read f; do
+       [ $V ] && log "verifying $DST/$f"
+       diff -q "$f" "$DST/$f" || rc=18
 done
+[ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" ) 
 
-[ "$ERROR" ] && fail "old and new files are different" $ERROR
+log "finished at $(date) ($(($(date +%s) - START)))"
 
-sh llmountcleanup.sh || exit 19
-sh llrmount.sh || exit 20
+stopall || exit 19
+setupall || exit 20
 
-echo "comparing previously copied files"
-for f in $FILES; do
-       [ $V ] && echo "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=22
+log "comparing $COUNT previously copied files"
+cat $FILES | tr "\0" "\n" | ( rc=0; while read f; do
+       [ $V ] && log "verifying $DST/$f"
+       diff -q "$f" "$DST/$f" || rc=22
 done
-
-[ "$ERROR" ] && fail "old and new files are different on second diff" $ERROR
-
-sh llmountcleanup.sh || exit 19
-sh llrmount.sh || exit 20
-
-echo "renaming $HOSTS.ren to $HOSTS"
-mv $HOSTS.ren $HOSTS || fail "can't rename $HOSTS.ren to $HOSTS" 32
-echo "truncating $HOSTS"
-> $HOSTS || fail "can't truncate $HOSTS" 34
-echo "removing $HOSTS"
-rm $HOSTS || fail "can't remove $HOSTS again" 36
-echo "removing $DST"
-rm -r $V $DST || fail "can't remove $DST" 37
+[ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" )
+
+stopall || exit 21
+setupall || exit 22
+
+log "removing $DST"
+rm -r $V $DST || error "can't remove $DST" 37
+
+if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
+       log "renaming $HOSTS.ren to $HOSTS"
+       mv $HOSTS.ren $HOSTS || error "can't rename $HOSTS.ren to $HOSTS" 32
+       log "truncating $HOSTS"
+       > $HOSTS || error "can't truncate $HOSTS" 34
+       log "removing $HOSTS"
+       rm $HOSTS || error "can't remove $HOSTS again" 36
+       log "verifying $HOSTS.2 is $TRUNCSIZE bytes"
+       checkstat -s $TRUNCSIZE $HOSTS.2 || \
+               error "$HOSTS.2 isn't $TRUNCSIZE bytes" 37
+       rm $HOSTS.2 || error "can't remove $HOSTS.2" 38
+fi
 
 # mkdirmany test (bug 589)
-echo "running mkdirmany $OSCMT/base$$ 100"
-$MKDIRMANY $OSCMT/base$$ 100 || fail "mkdirmany failed"
-echo "removing mkdirmany directories"
-rmdir $OSCMT/base$$* || fail "mkdirmany cleanup failed"
-
-NOWUSED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -1`
-if [ $NOWUSED -gt $USED ]; then
-       echo "Space not all freed: now ${NOWUSED}kB, was ${USED}kB." 1>&2
-       echo "This is normal on BA OSTs, because of subdirectories." 1>&2
+test_mkdir -p $DST
+log "running $MKDIRMANY $DST/d 100"
+$MKDIRMANY $DST/d 100 || error "$MKDIRMANY failed"
+log "running $RMDIRMANY $DST/d 100"
+$RMDIRMANY $DST/d 100 || error "$RMDIRMANY cleanup failed"
+
+log "done"
+
+wait_delete_completed
+sleep 5 # let MDS refresh aggregated statfs
+NOWUSED=$(($(df -P $DIR | awk '{ print $3 }' | tail -n 1)))
+if [ $(expr $NOWUSED - $USED) -gt $(fs_log_size) ]; then
+       error "Space not all freed: now ${NOWUSED}kB, was ${USED}kB."
+else
+       log "Space was freed: now ${NOWUSED}kB, was ${USED}kB."
 fi
+}
+run_test 1 "All Runtests"
 
-if [ "$I_MOUNTED" = "yes" ]; then
-       sh llmountcleanup.sh || exit 29
-fi
+complete $SECONDS
+rm -f $FILES
+check_and_cleanup_lustre
+exit_status