Whamcloud - gitweb
b=20057 Autovetting and test-framework enhancements
[fs/lustre-release.git] / lustre / tests / recovery-mds-scale.sh
1 #!/bin/bash
2
3 # Was Test 11 in cmd3.
4 # For duration of 24 hours repeatedly failover a random MDS at
5 # 10 minute intervals and verify that no application errors occur.
6
7 # Test runs one of CLIENT_LOAD progs on remote clients.
8
9 LUSTRE=${LUSTRE:-`dirname $0`/..}
10 SETUP=${SETUP:-""}
11 CLEANUP=${CLEANUP:-""}
12 . $LUSTRE/tests/test-framework.sh
13
14 init_test_env $@
15
16 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
17 init_logging
18
19 TESTSUITELOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh)}
20 DEBUGLOG=$TESTSUITELOG.debug
21
22 cleanup_logs
23
24 exec 2>$DEBUGLOG
25 echo "--- env ---" >&2
26 env >&2
27 echo "--- env ---" >&2
28 set -x
29
30 [ "$SHARED_DIRECTORY" ] || \
31     { skip "$0: Empty SHARED_DIRECTORY" && exit 0; }
32
33 [ -n "$CLIENTS" ] || { skip "$0 Need two or more remote clients" && exit 0; }
34 [ $CLIENTCOUNT -ge 3 ] || \
35     { skip "$0 Need two or more remote clients, have $CLIENTCOUNT" && exit 0; }
36
37 END_RUN_FILE=${END_RUN_FILE:-$SHARED_DIRECTORY/end_run_file}
38 LOAD_PID_FILE=${LOAD_PID_FILE:-$TMP/client-load.pid}
39
40 remote_mds_nodsh && skip "remote MDS with nodsh" && exit 0
41 remote_ost_nodsh && skip "remote OST with nodsh" && exit 0
42
43 build_test_filter
44
45 check_and_setup_lustre
46 rm -rf $DIR/[df][0-9]*
47
48 # the test node needs to be insulated from a lustre failure as much as possible,
49 # so not even loading the lustre modules is ideal.
50 # -- umount lustre
51 # -- remove hostname from clients list
52 zconf_umount $(hostname) $MOUNT
53 NODES_TO_USE=${NODES_TO_USE:-$CLIENTS}
54 NODES_TO_USE=$(exclude_items_from_list $NODES_TO_USE $(hostname))
55
56 check_progs_installed $NODES_TO_USE ${CLIENT_LOADS[@]}
57
58 MDTS=$(get_facets MDS)
59 OSTS=$(get_facets OST)
60
61 ERRORS_OK=""    # No application failures should occur during this test.
62 FLAVOR=${FLAVOR:-"MDS"}
63
64 if [ "$FLAVOR" == "MDS" ]; then
65     SERVERS=$MDTS
66 else
67     SERVERS=$OSTS
68 fi
69  
70 if [ "$SLOW" = "no" ]; then
71     DURATION=${DURATION:-$((60 * 30))}
72     SERVER_FAILOVER_PERIOD=${SERVER_FAILOVER_PERIOD:-$((60 * 5))}
73 else
74     DURATION=${DURATION:-$((60 * 60 * 24))}
75     SERVER_FAILOVER_PERIOD=${SERVER_FAILOVER_PERIOD:-$((60 * 10))} # 10 minutes
76 fi
77
78 rm -f $END_RUN_FILE
79
80 vmstatLOG=${TESTSUITELOG}_$(basename $0 .sh).vmstat
81
82 server_numfailovers () {
83     local facet
84     local var
85
86     for facet in $MDTS ${OSTS//,/ }; do
87         var=${facet}_nums
88         val=${!var}
89         if [ "$val" ] ; then
90             echo "$facet failed  over  $val times"
91         fi
92     done
93 }
94
95 summary_and_cleanup () {
96
97     local rc=$?
98     local var
99     trap 0
100
101     # Having not empty END_RUN_FILE means the failed loads only
102     if [ -s $END_RUN_FILE ]; then
103         echo "Found the END_RUN_FILE file: $END_RUN_FILE"
104         cat $END_RUN_FILE
105         local END_RUN_NODE=
106         read END_RUN_NODE < $END_RUN_FILE
107
108     # a client load will end (i.e. fail) if it finds
109     # the end run file.  that does not mean that that client load
110     # actually failed though.  the first node in the END_RUN_NODE is
111     # the one we are really interested in.
112         if [ -n "$END_RUN_NODE" ]; then
113             var=$(client_var_name $END_RUN_NODE)_load
114             echo "Client load failed on node $END_RUN_NODE" 
115             echo
116             echo "client $END_RUN_NODE load stdout and debug files :
117               ${TESTSUITELOG}_run_${!var}.sh-${END_RUN_NODE}
118               ${TESTSUITELOG}_run_${!var}.sh-${END_RUN_NODE}.debug"
119         fi
120         rc=1
121     fi
122      
123     echo $(date +'%F %H:%M:%S') Terminating clients loads ...
124     echo "$0" >> $END_RUN_FILE
125     local result=PASS
126     [ $rc -eq 0 ] || result=FAIL
127
128     log "Duraion:                $DURATION
129 Server failover period: $SERVER_FAILOVER_PERIOD seconds
130 Exited after:           $ELAPSED seconds
131 Number of failovers before exit:
132 $(server_numfailovers)
133 Status: $result: rc=$rc"
134
135     # stop the vmstats on the OSTs
136     if [ "$VMSTAT" ]; then
137         do_nodes $(comma_list $(osts_nodes)) "test -f /tmp/vmstat.pid && \
138             { kill -s TERM \$(cat /tmp/vmstat.pid); rm -f /tmp/vmstat.pid; \
139             gzip -f9 $vmstatLOG-\$(hostname); }"
140     fi
141
142     # make sure the client loads die
143     do_nodes $NODES_TO_USE "set -x; test -f $LOAD_PID_FILE && \
144         { kill -s TERM \$(cat $LOAD_PID_FILE) || true; }"
145
146     # and free up the pdshes that started them, if any are still around
147     if [ -n "$CLIENT_LOAD_PIDS" ]; then
148         kill $CLIENT_LOAD_PIDS || true
149         sleep 5
150         kill -9 $CLIENT_LOAD_PIDS || true
151     fi
152     if [ $rc -ne 0 ]; then
153         # we are interested in only on failed clients and servers
154         local failedclients=$(cat $END_RUN_FILE | grep -v $0)
155         # FIXME: need ostfailover-s nodes also for FLAVOR=OST
156         local product=$(gather_logs $(comma_list $(osts_nodes) \
157                                $(mdts_nodes) $mdsfailover_HOST $failedclients))
158         echo logs files $product
159     fi
160
161     [ $rc -eq 0 ] && zconf_mount $(hostname) $MOUNT
162
163     exit $rc
164 }
165
166 #
167 # MAIN 
168 #
169 log "-----============= $0 starting =============-----"
170
171 trap summary_and_cleanup EXIT INT
172
173 ELAPSED=0
174 NUM_FAILOVERS=0
175
176 # vmstat the osts
177 if [ "$VMSTAT" ]; then
178     do_nodes $(comma_list $(osts_nodes)) "vmstat 1 > $vmstatLOG-\$(hostname) 2>/dev/null </dev/null & echo \$! > /tmp/vmstat.pid"
179 fi
180
181 # Start client loads.
182 start_client_loads $NODES_TO_USE
183
184 echo clients load pids:
185 if ! do_nodes $NODES_TO_USE "set -x; echo \$(hostname): && cat $LOAD_PID_FILE"; then
186     if [ -e $DEBUGLOG ]; then
187         exec 2<&-
188         cat $DEBUGLOG
189         exit 3
190     fi
191 fi
192
193 START_TS=$(date +%s)
194 CURRENT_TS=$START_TS
195
196 MINSLEEP=${MINSLEEP:-120}
197 REQFAIL_PERCENT=${REQFAIL_PERCENT:-3}   # bug17839 comment 62
198 REQFAIL=${REQFAIL:-$(( DURATION / SERVER_FAILOVER_PERIOD * REQFAIL_PERCENT / 100))}
199 reqfail=0
200 sleep=0
201 while [ $ELAPSED -lt $DURATION -a ! -e $END_RUN_FILE ]; do
202
203     # In order to perform the 
204     # expected number of failovers, we need to account the following :
205     # 1) the time that has elapsed during the client load checking
206     # 2) time takes for failover
207
208     it_time_start=$(date +%s)
209     
210     SERVERFACET=$(get_random_entry $SERVERS)
211     var=${SERVERFACET}_nums
212
213     # Check that our client loads are still running. If any have died, 
214     # that means they have died outside of recovery, which is unacceptable.    
215
216     log "==== Checking the clients loads BEFORE failover -- failure NOT OK \
217     ELAPSED=$ELAPSED DURATION=$DURATION PERIOD=$SERVER_FAILOVER_PERIOD" 
218
219     if ! check_client_loads $NODES_TO_USE; then
220         exit 4
221     fi
222
223     log "Wait $SERVERFACET recovery complete before doing next failover ...."
224     if [[ $NUM_FAILOVERS != 0 ]]; then
225         if ! wait_recovery_complete $SERVERFACET ; then
226             echo "$SERVERFACET recovery is not completed!"
227             exit 7
228         fi
229     fi
230
231     log "Checking clients are in FULL state before doing next failover"
232     if ! wait_clients_import_state $NODES_TO_USE $SERVERFACET FULL; then
233         echo "Clients import not FULL, please consider to increase SERVER_FAILOVER_PERIOD=$SERVER_FAILOVER_PERIOD !"
234         
235     fi
236     log "Starting failover on $SERVERFACET"
237
238     facet_failover "$SERVERFACET" || exit 1
239
240     # Check that our client loads are still running during failover.
241     # No application failures should occur.
242
243     log "==== Checking the clients loads AFTER  failover -- failure NOT OK"
244     if ! check_client_loads $NODES_TO_USE; then
245         log "Client load failed during failover. Exiting"
246         exit 5
247     fi
248
249     # Increment the number of failovers
250     NUM_FAILOVERS=$((NUM_FAILOVERS+1))
251     val=$((${!var} + 1))
252     eval $var=$val
253  
254     CURRENT_TS=$(date +%s)
255     ELAPSED=$((CURRENT_TS - START_TS))
256  
257     sleep=$((SERVER_FAILOVER_PERIOD-(CURRENT_TS - it_time_start)))
258
259     # keep count the number of itterations when
260     # time spend to failover and two client loads check exceeded 
261     # the value ( SERVER_FAILOVER_PERIOD - MINSLEEP )
262     if [ $sleep -lt $MINSLEEP ]; then
263         reqfail=$((reqfail +1))
264         log "WARNING: failover and two check_client_loads time exceeded SERVER_FAILOVER_PERIOD - MINSLEEP !
265 Failed to meet interval $reqfail times ( REQFAIL=$REQFAIL ); have sleep=$sleep"
266         [ $reqfail -gt $REQFAIL ] && exit 6 
267     fi  
268
269     log "$SERVERFACET has failed over ${!var} times, and counting..."
270
271     if [ $((ELAPSED + sleep)) -gt $DURATION ]; then
272          break
273     fi
274
275     if [ $sleep -gt 0 ]; then 
276         echo "sleeping $sleep seconds ... "
277         sleep $sleep
278     fi
279 done
280
281 exit 0