Whamcloud - gitweb
Don't upload to maloo by default
[fs/lustre-release.git] / lustre / tests / auster
1 #!/bin/bash
2 #
3 #
4 # auster - drive lustre tests
5 # TODO
6 #  1. --time-limt <seconds>  add per test time limit, kill test if it runs to long
7 #  2. Read list of tests to run from a file. same syntax as cli, but one test per line
8 #  3. Run test on remote node
9 #  4. Use long opts for auster options
10
11 set -e
12
13 export TF_FAIL=/tmp/tf.fail
14
15 usage() {
16     less -F <<EOF 
17 Usage ${0##*/} [options]  suite [suite optoins] [suite [suite options]]
18 Run Lustre regression tests suites.
19       -c CONFIG Test environment config file
20       -d LOGDIR Top level directory for logs
21       -f STR    Config name (cfg/<name>.sh)
22       -i N      Repeat tests N times (default 1). A new directory
23                 will be created under LOGDIR for each iteration.
24       -k        Don't stop when subtests fail
25       -R        Remount lustre between tests
26       -r        Reformat (during initial configuration if needed)
27       -s        SLOW=yes
28       -v        Verbose mode
29       -l        Send logs to the Maloo database after run 
30                   (can be done later by running maloo_upload.sh)
31       -h        This help.
32
33 Suite options
34 These are suite specific options that can be specified after each suite on
35 the command line.
36    suite-name  [options]
37       --only LIST         Run only specific list of subtests
38       --except LIST       Skip list of subtests
39       --start-at SUBTEST  Start testing from subtest
40       --stop-at SUBTEST   Stop testing at subtest
41       --time-limit LIMIT  Don't allow this suite to run longer
42                           than LIMT seconds. [UNIMPLEMENTED]
43
44 Example usage:
45 Run all of sanity and all of replay-single except for 70b with SLOW=y using
46 the default "local" configuration.
47
48   auster -s sanity replay-single --except 70b
49
50 Run test listed in batch-list 5 times  using large config.
51
52   auster -f large -r 5 -b batch-list
53
54 EOF
55     exit
56 }
57
58 dry_run=false
59 do_reset=false
60 verbose=false
61 repeat_count=1
62 upload_logs=false
63 reformat=false
64 test_logs_dir=/tmp/test_logs
65 export SLOW=no
66 export ${NAME:=local}
67 while getopts "c:d:nkf:i:rRslhv" opt
68 do
69     case "$opt" in
70         c) CONFIG=$OPTARG;;
71         d) test_logs_dir=$OPTARG;;
72         k) export FAIL_ON_ERROR=false;;
73         n) dry_run=:;;
74         v) verbose=:;;
75         i) repeat_count=$OPTARG;;
76         f) NAME=$OPTARG;;
77         R) do_reset=:;;
78         r) reformat=:;;
79         s) SLOW=yes;;
80         l) upload_logs=true;;
81         h|\?) usage;;
82     esac
83 done
84 shift $((OPTIND -1))
85
86 #
87 # Various paramters for the tests scripts
88
89 #: ${SIZE:=$((RAMKB * 2))}
90 #: ${RSIZE:=512}
91 #: ${UID:=1000}
92 #: ${MOUNT=/mnt/lustre}
93 #: ${MOUNT2:=${MOUNT}2}
94 #: ${COUNT:=1000}
95 #: ${TMP:=/tmp}
96
97 reset_lustre() {
98     if $do_reset; then
99         stopall
100         setupall
101     fi
102 }
103
104 STARTTIME=`date +%s`
105
106 : ${LUSTRE:=$(cd $(dirname $0)/..; echo $PWD)}
107 . $LUSTRE/tests/test-framework.sh
108 init_test_env
109
110 print_summary () {
111     trap 0
112     local form="%-13s %-17s %s\n"
113     printf "$form" "status" "script" "skipped tests E(xcluded) S(low)"
114     echo "------------------------------------------------------------------------------------"
115     echo "Done!"
116 }
117
118
119 setup_if_needed() {
120     nfs_client_mode && return
121     auster_cleanup=false
122
123     local MOUNTED=$(mounted_lustre_filesystems)
124     if $(echo $MOUNTED | grep -w -q $MOUNT); then
125         check_config_clients $MOUNT
126        # init_facets_vars
127        # init_param_vars
128         return
129     fi
130
131     echo "Lustre is not mounted, trying to do setup ... "
132     $reformat && formatall
133     setupall
134
135     MOUNTED=$(mounted_lustre_filesystems)
136     if ! $(echo $MOUNTED | grep -w -q $MOUNT); then
137         echo "Lustre is not mounted after setup! "
138         exit 1
139     fi
140     auster_cleanup=true
141 }
142
143 cleanup_if_needed() {
144     if $auster_cleanup; then
145         cleanupall
146     fi
147 }
148
149 find_script_in_path() {
150     target=$1
151     path=$2
152     for dir in $(tr : " " <<< $path); do
153       if [ -e $dir/$target ]; then
154           echo $dir/$target
155           return 0
156       fi
157       if [ -e $dir/$target.sh ]; then
158           echo $dir/$target.sh
159           return 0
160       fi
161     done
162     return 1
163 }
164
165 title() {
166     log "-----============= acceptance-small: "$*" ============----- `date`"
167 }
168
169 doit() {
170     if $dry_run; then
171         printf "Would have run: %s\n" "$*"
172         return 0
173     fi
174     if $verbose; then
175         printf "Running: %s\n" "$*" 
176     fi
177     "$@"
178 }
179
180
181 run_suite() {
182     suite_name=$1
183     suite_script=$2
184     only=$3
185     title $suite_name
186     log_test $suite_name
187
188     local start_ts=$(date +%s)
189     doit bash $suite_script $only
190     rc=$?
191     duration=$(($(date +%s) - $start_ts))
192     if [ -f $TF_FAIL -o $rc -ne 0 ]; then
193         status="FAIL"
194     else
195         status="PASS"
196     fi
197     log_test_status $duration $status
198
199     reset_lustre
200 }
201
202 run_suite_logged() {
203     local suite_name=${1%.sh}
204     local suite=$(echo ${suite_name} | tr "[:lower:]-" "[:upper:]_")
205     local suite_only=${suite}_ONLY
206
207     suite_script=$(find_script_in_path $suite_name $PATH:$LUSTRE/tests)
208
209     if [[ -z $suite_script ]]; then
210         echo "Can't find test script for $suite_name"
211         return 1
212     fi
213     
214     echo "run_suite $suite_name $suite_script ${!suite_only}"
215     local log_name=${suite_name}.suite_log.$(hostname).log
216     if $verbose; then
217         run_suite $suite_name $suite_script "${!suite_only}" 2>&1 |tee  $LOGDIR/$log_name
218     else
219         run_suite $suite_name $suite_script "${!suite_only}"  > $LOGDIR/$log_name 2>&1
220     fi
221
222 }
223
224 #
225 # Add this to test-framework somewhere.
226 reset_logging() {
227     export LOGDIR=${1:-${test_logs_dir}/$(date +%Y-%m-%d)/$(date +%H%M%S)}
228     unset YAML_LOG
229     init_logging
230 }
231
232 split_commas() {
233     echo "${*//,/ }"
234 }
235
236 run_suites() {
237     local n=0
238     local argv=("$@")
239     local basedir=${test_logs_dir}/$(date +%Y-%m-%d)/$(date +%H%M%S)
240     while ((n < repeat_count)); do
241         local RC=0
242         local logdir=$basedir
243         ((repeat_count > 1)) && logdir="$logdir/$n"
244         reset_logging $logdir
245         set -- "${argv[@]}"
246         while [[ -n $1 ]]; do
247             unset ONLY EXCEPT START_AT STOP_AT
248             local opts=""
249             local time_limit=""
250 #           echo "argv: $*"
251             suite=$1
252             shift;
253             while [[ -n $1 ]]; do
254                 case "$1" in
255                     --only)
256                         shift;
257                         export ONLY=$(split_commas $1)
258                         opts+="ONLY=$ONLY ";;
259                     --except)
260                         shift;
261                         export EXCEPT=$(split_commas $1)
262                         opts+="EXCEPT=$EXCEPT ";;
263                     --start-at)
264                         shift;
265                         export START_AT=$1
266                         opts+="START_AT=$START_AT ";;
267                     --stop-at)
268                         shift;
269                         export STOP_AT=$1
270                         opts+="STOP_AT=$STOP_AT ";;
271                     --time-limit)
272                         shift;
273                         time_limit=$1;;
274                     *)
275                         break;;
276                 esac
277                 shift
278             done
279             echo "running: $suite $opts"
280             run_suite_logged $suite || RC=$?
281             echo $suite returned $RC
282         done
283         if $upload_logs; then
284             $upload_script
285         fi
286         n=$((n + 1))
287     done
288 }
289
290 if [ $upload_logs = true ] ; then
291     upload_script=$(find_script_in_path maloo_upload.sh $PATH:$LUSTRE/tests)
292     if [[ -z $upload_script ]]; then
293         echo "Can't find maloo_upload.sh script"
294         exit 1 
295     fi
296
297     if [ ! -r ~/.maloorc ] ; then
298         echo "A ~/.maloorc file is required in order to upload results."
299         echo "Visit your maloo web interface to download your .maloorc file"
300         exit 1
301     fi
302 fi
303
304 export NAME MOUNT START CLEAN
305 . ${CONFIG:-$LUSTRE/tests/cfg/$NAME.sh}
306
307 assert_env mds_HOST MDS_MKFS_OPTS
308 assert_env ost_HOST OST_MKFS_OPTS OSTCOUNT
309 assert_env FSNAME MOUNT MOUNT2
310
311 setup_if_needed
312
313 run_suites "$@"
314 RC=$?
315
316 if [[ $RC -eq 0 ]]; then
317     cleanup_if_needed
318 fi
319
320 echo "Finished at `date` in $((`date +%s` - $STARTTIME))s"
321 echo "$0: completed with rc $RC" && exit $RC