Whamcloud - gitweb
LU-13994 ldlm: osc_object_ast_clear() is called for mdc object on eviction
[fs/lustre-release.git] / lustre / tests / runtests
index 1581fed..71d152b 100755 (executable)
-#!/bin/sh
+#!/bin/bash
 #
 # Script which does some basic tests to ensure we haven't regressed.
-# Probably a good idea to run this before doing any checkins.
-# In the future this can become more fancy, but it's OK for now.
-
-SRCDIR="`dirname $0`"
-fail() { 
-       echo "ERROR: $1" 1>&2
-       [ $2 ] && RC=$2 || RC=1
-       exit $RC
-}
-
-export PATH=/sbin:/usr/sbin:$SRCDIR:$PATH
 
-cleanup() {
-        $LCONF --cleanup --dump /tmp/debug $OPTS
-       trap 0
+LUSTRE=${LUSTRE:-$(dirname $0)/..}
+. $LUSTRE/tests/test-framework.sh
+init_test_env $@
+init_logging
+
+RUNTESTS_SRC=${RUNTESTS_SRC:-"/etc /bin"}
+[ "$COUNT" ] || COUNT=10000
+[ "$SLOW" = "no" ] && COUNT=1000
+
+[ "$MKDIRMANY" ] || MKDIRMANY="createmany -d"
+[ "$RMDIRMANY" ] || RMDIRMANY="unlinkmany -d"
+
+check_and_setup_lustre
+
+test_1() {
+       sleep 5 # let MDS refresh aggregated statfs
+       # Include some extra space for the status file
+       local dfused=$(df -P $DIR | awk '{ print $3 }' | tail -n 1)
+       local truncsize=123
+
+       # let's start slowly here...
+       local stime=$(date +%s)
+       log "touching $DIR at $(date) (@$stime)"
+       touch $DIR || error "can't touch $DIR"
+       local hfile=$DIR/hosts.$$
+
+       if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
+               # this will cause the following cp to trigger bug #620096
+               log "create an empty file $hfile"
+               mcreate $hfile
+               log "copying /etc/hosts to $hfile"
+               cp /etc/hosts $hfile || error "can't cp /etc/hosts to $hfile"
+               log "comparing /etc/hosts and $hfile"
+               diff -u /etc/hosts $hfile || error "$hfile different"
+               log "renaming $hfile to $hfile.ren"
+               mv $hfile $hfile.ren ||
+                       error "can't rename $hfile to $hfile.ren"
+               log "copying /etc/hosts to $hfile again"
+               cp /etc/hosts $hfile ||
+                       error "can't cp /etc/hosts to $hfile again"
+               log "truncating $hfile"
+               > $hfile || error "can't truncate $hfile"
+               log "removing $hfile"
+               rm $hfile || error "can't remove $hfile"
+               log "copying /etc/hosts to $hfile.2"
+               cp /etc/hosts $hfile.2 ||
+                       error "can't cp /etc/hosts to $hfile.2"
+               log "truncating $hfile.2 to $truncsize bytes"
+               $TRUNCATE $hfile.2 $truncsize || error "can't truncate $hfile.2"
+               checkstat -s $truncsize $hfile.2 ||
+                       error "$hfile.2 isn't $truncsize bytes"
+       fi
+
+       local dst=$DIR/$tdir
+       log "creating $dst"
+       test_mkdir -p $dst || error "can't mkdir $dst"
+
+       # let's do a little more, with files that haven't changed in the
+       # last day (hopefully they don't change during test)
+       local findfiles=$TMP/runtests.files
+
+       # use "NUL" instead of newline as filename terminator, bug 19702
+       find $RUNTESTS_SRC -type f -mtime +1 | head -n $COUNT | \
+             tr '\n' '\0' > $findfiles
+       [ -s "$findfiles" ] ||
+               error "$RUNTESTS_SRC contains only files modifed less than " \
+                     "2 days ago"
+       stack_trap "rm -f $findfiles"
+       COUNT=$(xargs -0 -n 1 echo < $findfiles | wc -l)
+
+       log "copying $COUNT files from $RUNTESTS_SRC to $dst$RUNTESTS_SRC " \
+           "at $(date)"
+       tar cf - --null --files-from $findfiles | \
+               tar xvf - -C $dst > /dev/null || error "copying $RUNTESTS_SRC"
+
+       log "comparing $COUNT newly copied files at $(date)"
+
+       cat $findfiles | tr "\0" "\n" | ( rc=0; while read f; do
+               diff -q "$f" "$dst/$f" || rc=18
+       done
+       [ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" )
+
+       log "finished at $(date) ($(($(date +%s) - stime)))"
+
+       stopall || error "stopall failed"
+       setupall || error "setupall failed"
+
+       log "comparing $COUNT previously copied files"
+       cat $findfiles | tr "\0" "\n" | ( rc=0; while read f; do
+               diff -q "$f" "$dst/$f" || rc=22
+       done
+       [ "$rc" = 0 ] || error_exit "old and new files are different: rc=$rc" )
+
+       stopall || error "stopall failed (2)"
+       setupall || error "setupall failed (2)"
+
+       log "removing $dst"
+       rm -r $dst || error "can't remove $dst"
+
+       if [ $COUNT -gt 10 -o $COUNT -eq 0 ]; then
+               log "renaming $hfile.ren to $hfile"
+               mv $hfile.ren $hfile ||
+                       error "can't rename $hfile.ren to $hfile"
+               log "truncating $hfile"
+               > $hfile || error "can't truncate $hfile"
+               log "removing $hfile"
+               rm $hfile || error "can't remove $hfile again"
+               log "verifying $hfile.2 is $truncsize bytes"
+               checkstat -s $truncsize $hfile.2 ||
+                       error "$hfile.2 isn't $truncsize bytes"
+               rm $hfile.2 || error "can't remove $hfile.2"
+       fi
+
+       # mkdirmany test (bug 589)
+       test_mkdir -p $dst
+       log "running $MKDIRMANY $dst/d 100"
+       $MKDIRMANY $dst/d 100 || error "$MKDIRMANY failed"
+       log "running $RMDIRMANY $dst/d 100"
+       $RMDIRMANY $dst/d 100 || error "$RMDIRMANY cleanup failed"
+
+       log "done"
+
+       wait_delete_completed
+       sleep 5 # let MDS refresh aggregated statfs
+       local nowdfused=$(($(df -P $DIR | awk '{ print $3 }' | tail -n 1)))
+       if [ $(expr $nowdfused - $dfused) -gt $(fs_log_size) ]; then
+               error "Space not all freed: now ${nowdfused}kB, was ${dfused}kB"
+       else
+               log "Space was freed: now ${nowdfused}kB, was ${dfused}kB."
+       fi
 }
+run_test 1 "All Runtests"
 
-ERROR=
-SRC=/etc
-[ "$COUNT" ] || COUNT=1000
-
-[ "$LCONF" ] || LCONF=$SRCDIR/../utils/lconf
-
-[ "$MCREATE" ] || MCREATE=$SRCDIR/../tests/mcreate
-
-OSCMT="`mount | awk '/ lustre_lite / { print $3 }' | tail -1`"
-if [ -z "$OSCMT" ]; then
-       [ -z "$*" ] && fail "usage: $0 [--reformat] <conf>.xml" 1
-       $LCONF $@ || exit 1
-        trap cleanup 0
-       OSCMT="`mount | awk '/ lustre_lite / { print $3 }' | tail -1`"
-       [ -z "$OSCMT" ] && fail "no lustre filesystem mounted" 1
-fi
-
-while [ "$1" ]; do
-       case $1 in
-       -v|--verbose) V=-v;;
-       --reformat) : ;;
-       *) OPTS="$OPTS $1" ;;
-       esac
-       shift
-done
-
-OSCTMP=`echo $OSCMT | tr "/" "."`
-USED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -1`
-USED=`expr $USED + 16` # Some space for the status file
-
-# let's start slowly here...
-echo "touching $OSCMT"
-touch $OSCMT || fail "can't touch $OSCMT" 2
-HOSTS=$OSCMT/hosts.$$
-
-# this will cause the following cp to trigger bug #620096
-#echo "create an empty file $HOSTS"
-#$MCREATE $HOSTS
-
-echo "copying /etc/hosts to $HOSTS"
-cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS" 3
-echo "comparing /etc/hosts and $HOSTS"
-diff -u /etc/hosts $HOSTS || fail "$HOSTS different" 4
-echo "renaming $HOSTS to $HOSTS.ren"
-mv $HOSTS $HOSTS.ren || fail "can't rename $HOSTS to $HOSTS.ren" 5
-echo "copying /etc/hosts to $HOSTS again"
-cp /etc/hosts $HOSTS || fail "can't cp /etc/hosts to $HOSTS again" 6
-echo "truncating $HOSTS"
-> $HOSTS || fail "can't truncate $HOSTS" 8
-echo "removing $HOSTS"
-rm $HOSTS || fail "can't remove $HOSTS" 9
-
-DST=$OSCMT/runtest.$$
-# let's start slowly here...
-echo "creating $DST"
-mkdir $DST || fail "can't mkdir $DST" 10
-
-# ok, that hopefully worked, so let's do a little more
-FILES=`find $SRC -type f | head -$COUNT`
-echo "copying files from $SRC to $DST$SRC"
-tar cf - $FILES | tar xvf - -C $DST || fail "copying $SRC" 11
-
-echo "comparing newly copied files"
-for f in $FILES; do
-       [ $V ] && echo "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=11
-done
-
-[ "$ERROR" ] && fail "old and new files are different" $ERROR
-
-$LCONF --cleanup $OPTS || exit 19
-$LCONF $OPTS || exit 20
-
-echo "comparing previously copied files"
-for f in $FILES; do
-       [ $V ] && echo "verifying $DST/$f"
-       diff -q $f $DST/$f || ERROR=22
-done
-
-[ "$ERROR" ] && fail "old and new files are different on second diff" $ERROR
-
-$LCONF --cleanup $OPTS || exit 29
-$LCONF $OPTS || exit 30
-
-echo "renaming $HOSTS.ren to $HOSTS"
-mv $HOSTS.ren $HOSTS || fail "can't rename $HOSTS.ren to $HOSTS" 32
-echo "truncating $HOSTS"
-> $HOSTS || fail "can't truncate $HOSTS" 34
-echo "removing $HOSTS"
-rm $HOSTS || fail "can't remove $HOSTS again" 36
-echo "removing $DST"
-rm -r $V $DST || fail "can't remove $DST" 37
-
-NOWUSED=`df | awk "/$OSCTMP/ { print \\$3 }" | tail -1`
-if [ $NOWUSED -gt $USED ]; then
-       echo "Space not all freed: now ${NOWUSED}kB, was ${USED}kB." 1>&2
-       echo "This is normal on BA OSTs, because of subdirectories." 1>&2
-fi
-
-cleanup $OPTS || exit 29
+complete $SECONDS
+check_and_cleanup_lustre
+exit_status