Whamcloud - gitweb
6e37027961e39baae9e5dfd11377536b7bb12664
[fs/lustre-release.git] / lustre / tests / insanity.sh
1 #!/bin/sh
2 # Test multiple failures, AKA Test 17
3
4 set -e
5
6 LUSTRE=${LUSTRE:-`dirname $0`/..}
7 . $LUSTRE/tests/test-framework.sh
8
9 init_test_env $@
10
11 . ${CONFIG:=$LUSTRE/tests/cfg/insanity-local.sh}
12
13 ALWAYS_EXCEPT="10 $INSANITY_EXCEPT"
14
15 SETUP=${SETUP:-"setup"}
16 CLEANUP=${CLEANUP:-"cleanup"}
17
18 build_test_filter
19
20 assert_env mds_HOST MDS_MKFS_OPTS
21 assert_env ost_HOST OST_MKFS_OPTS OSTCOUNT
22 assert_env LIVE_CLIENT FSNAME
23
24
25 # This can be a regexp, to allow more clients
26 CLIENTS=${CLIENTS:-"`comma_list $LIVE_CLIENT $FAIL_CLIENTS $EXTRA_CLIENTS`"}
27
28 DIR=${DIR:-$MOUNT}
29
30 #####
31 # fail clients round robin
32
33 # list of failable clients
34 FAIL_LIST=($FAIL_CLIENTS)
35 FAIL_NUM=${#FAIL_LIST[*]}
36 FAIL_NEXT=0
37 typeset -i  FAIL_NEXT
38 DOWN_NUM=0   # number of nodes currently down
39
40 # set next client to fail
41 set_fail_client() {
42     FAIL_CLIENT=${FAIL_LIST[$FAIL_NEXT]}
43     FAIL_NEXT=$(( (FAIL_NEXT+1) % FAIL_NUM ))
44     echo "fail $FAIL_CLIENT, next is $FAIL_NEXT"
45 }
46
47 shutdown_client() {
48     client=$1
49     if [ "$FAILURE_MODE" = HARD ]; then
50        $POWER_DOWN $client
51        while ping -w 3 -c 1 $client > /dev/null 2>&1; do 
52            echo "waiting for node $client to fail"
53            sleep 1
54        done  
55     elif [ "$FAILURE_MODE" = SOFT ]; then
56        zconf_umount $client $MOUNT -f
57     fi
58 }
59
60 reboot_node() {
61     NODE=$1
62     if [ "$FAILURE_MODE" = HARD ]; then
63        $POWER_UP $NODE
64     fi
65 }
66
67 fail_clients() {
68     num=$1
69     if [ -z "$num"  ] || [ "$num" -gt $((FAIL_NUM - DOWN_NUM)) ]; then
70         num=$((FAIL_NUM - DOWN_NUM)) 
71     fi
72     
73     if [ -z "$num" ] || [ "$num" -le 0 ]; then
74         return
75     fi
76
77     client_mkdirs
78
79     for i in `seq $num`; do
80        set_fail_client
81        client=$FAIL_CLIENT
82        DOWN_CLIENTS="$DOWN_CLIENTS $client"
83        shutdown_client $client
84     done
85
86     echo "down clients: $DOWN_CLIENTS"
87
88     for client in $DOWN_CLIENTS; do
89         reboot_node $client
90     done
91     DOWN_NUM=`echo $DOWN_CLIENTS | wc -w`
92     client_rmdirs
93 }
94
95 reintegrate_clients() {
96     for client in $DOWN_CLIENTS; do
97         wait_for_host $client
98         echo "Restarting $client"
99         zconf_mount $client $MOUNT || return 1
100     done
101     DOWN_CLIENTS=""
102     DOWN_NUM=0
103 }
104
105 start_ost() {
106     start ost$1 `ostdevname $1` $OST_MOUNT_OPTS
107 }
108
109 setup() {
110     cleanup
111     rm -rf logs/*
112     formatall
113     setupall
114
115     while ! do_node $CLIENTS "ls -d $LUSTRE" > /dev/null; do sleep 5; done
116     grep " $MOUNT " /proc/mounts || zconf_mount $CLIENTS $MOUNT
117 }
118
119 cleanup() {
120     zconf_umount $CLIENTS $MOUNT
121     cleanupall
122     cleanup_check
123 }
124
125 trap exit INT
126
127 client_touch() {
128     file=$1
129     for c in $LIVE_CLIENT $FAIL_CLIENTS;  do
130         if echo $DOWN_CLIENTS | grep -q $c; then continue; fi
131         $PDSH $c touch $MOUNT/${c}_$file || return 1
132     done
133 }
134
135 client_rm() {
136     file=$1
137     for c in $LIVE_CLIENT $FAIL_CLIENTS;  do
138         $PDSH $c rm $MOUNT/${c}_$file
139     done
140 }
141
142 client_mkdirs() {
143     for c in $LIVE_CLIENT $FAIL_CLIENTS;  do
144         echo "$c mkdir $MOUNT/$c"
145         $PDSH $c "mkdir $MOUNT/$c"
146         $PDSH $c "ls -l $MOUNT/$c" 
147     done
148 }
149
150 client_rmdirs() {
151     for c in $LIVE_CLIENT $FAIL_CLIENTS;  do
152         echo "rmdir $MOUNT/$c"
153         $PDSH $LIVE_CLIENT "rmdir $MOUNT/$c"
154     done
155 }
156
157 clients_recover_osts() {
158     facet=$1
159 #    do_node $CLIENTS "$LCTL "'--device %OSC_`hostname`_'"${facet}_svc_MNT_client_facet recover"
160 }
161
162 if [ "$ONLY" == "cleanup" ]; then
163     $CLEANUP
164     exit
165 fi
166
167 if [ ! -z "$EVAL" ]; then
168     eval "$EVAL"
169     exit $?
170 fi
171
172 $SETUP
173
174 if [ "$ONLY" == "setup" ]; then
175     exit 0
176 fi
177
178 # 9 Different Failure Modes Combinations
179 echo "Starting Test 17 at `date`"
180
181 test_0() {
182     facet_failover $SINGLEMDS
183     echo "Waiting for df pid: $DFPID"
184     wait $DFPID || { echo "df returned $?" && return 1; }
185
186     facet_failover ost1 || return 4
187     echo "Waiting for df pid: $DFPID"
188     wait $DFPID || { echo "df returned $?" && return 2; }
189
190     facet_failover ost2 || return 5
191     echo "Waiting for df pid: $DFPID"
192     wait $DFPID || { echo "df returned $?" && return 3; }
193     return 0
194 }
195 run_test 0 "Fail all nodes, independently"
196
197 ############### First Failure Mode ###############
198 test_1() {
199 echo "Don't do a MDS - MDS Failure Case"
200 echo "This makes no sense"
201 }
202 run_test 1 "MDS/MDS failure"
203 ###################################################
204
205 ############### Second Failure Mode ###############
206 test_2() {
207     echo "Verify Lustre filesystem is up and running"
208     client_df
209
210     shutdown_facet $SINGLEMDS
211     reboot_facet $SINGLEMDS
212
213     # prepare for MDS failover
214     change_active $SINGLEMDS
215     reboot_facet $SINGLEMDS
216
217     client_df &
218     DFPID=$!
219     sleep 5
220
221     shutdown_facet ost1
222
223     echo "Reintegrating OST"
224     reboot_facet ost1
225     wait_for ost1
226     start_ost 1 || return 2
227
228     wait_for $SINGLEMDS
229     start $SINGLEMDS `mdsdevname 1` $MDS_MOUNT_OPTS || return $?
230
231     #Check FS
232     wait $DFPID
233     clients_recover_osts ost1
234     echo "Verify reintegration"
235     client_df || return 1
236
237 }
238 run_test 2 "Second Failure Mode: MDS/OST `date`"
239 ###################################################
240
241
242 ############### Third Failure Mode ###############
243 test_3() {
244     #Create files
245     echo "Verify Lustre filesystem is up and running"
246     
247     #MDS Portion
248     facet_failover $SINGLEMDS
249     wait $DFPID || echo df failed: $?
250     #Check FS
251
252     echo "Test Lustre stability after MDS failover"
253     client_df
254
255     #CLIENT Portion
256     echo "Failing 2 CLIENTS"
257     fail_clients 2
258     
259     #Check FS
260     echo "Test Lustre stability after CLIENT failure"
261     client_df
262     
263     #Reintegration
264     echo "Reintegrating CLIENTS"
265     reintegrate_clients || return 1
266
267     client_df || return 3
268 }
269 run_test 3  "Thirdb Failure Mode: MDS/CLIENT `date`"
270 ###################################################
271
272 ############### Fourth Failure Mode ###############
273 test_4() {
274     echo "Fourth Failure Mode: OST/MDS `date`"
275
276     #OST Portion
277     shutdown_facet ost1
278  
279     #Check FS
280     echo "Test Lustre stability after OST failure"
281     client_df &
282     DFPIDA=$!
283     sleep 5
284
285     #MDS Portion
286     shutdown_facet $SINGLEMDS
287     reboot_facet $SINGLEMDS
288
289     # prepare for MDS failover
290     change_active $SINGLEMDS
291     reboot_facet $SINGLEMDS
292
293     client_df &
294     DFPIDB=$!
295     sleep 5
296
297     #Reintegration
298     echo "Reintegrating OST"
299     reboot_facet ost1
300     wait_for ost1
301     start_ost 1
302     
303     wait_for $SINGLEMDS
304     start $SINGLEMDS `mdsdevname 1` $MDS_MOUNT_OPTS
305     #Check FS
306     
307     wait $DFPIDA
308     wait $DFPIDB
309     clients_recover_osts ost1
310     echo "Test Lustre stability after MDS failover"
311     client_df || return 1
312 }
313 run_test 4 "Fourth Failure Mode: OST/MDS `date`"
314 ###################################################
315
316 ############### Fifth Failure Mode ###############
317 test_5() {
318     echo "Fifth Failure Mode: OST/OST `date`"
319
320     #Create files
321     echo "Verify Lustre filesystem is up and running"
322     client_df
323     
324     #OST Portion
325     shutdown_facet ost1
326     reboot_facet ost1
327     
328     #Check FS
329     echo "Test Lustre stability after OST failure"
330     client_df &
331     DFPIDA=$!
332     sleep 5
333     
334     #OST Portion
335     shutdown_facet ost2
336     reboot_facet ost2
337
338     #Check FS
339     echo "Test Lustre stability after OST failure"
340     client_df &
341     DFPIDB=$!
342     sleep 5
343
344     #Reintegration
345     echo "Reintegrating OSTs"
346     wait_for ost1
347     start_ost 1
348     wait_for ost2
349     start_ost 2
350     
351     clients_recover_osts ost1
352     clients_recover_osts ost2
353     sleep $TIMEOUT
354
355     wait $DFPIDA
356     wait $DFPIDB
357     client_df || return 2
358 }
359 run_test 5 "Fifth Failure Mode: OST/OST `date`"
360 ###################################################
361
362 ############### Sixth Failure Mode ###############
363 test_6() {
364     echo "Sixth Failure Mode: OST/CLIENT `date`"
365
366     #Create files
367     echo "Verify Lustre filesystem is up and running"
368     client_df || return 1
369     client_touch testfile || return 2
370         
371     #OST Portion
372     shutdown_facet ost1
373     reboot_facet ost1
374
375     #Check FS
376     echo "Test Lustre stability after OST failure"
377     client_df &
378     DFPIDA=$!
379     sleep 5
380
381     #CLIENT Portion
382     echo "Failing CLIENTs"
383     fail_clients
384     
385     #Check FS
386     echo "Test Lustre stability after CLIENTs failure"
387     client_df &
388     DFPIDB=$!
389     sleep 5
390     
391     #Reintegration
392     echo "Reintegrating OST/CLIENTs"
393     wait_for ost1
394     start_ost 1
395     reintegrate_clients
396     sleep 5 
397
398     wait $DFPIDA
399     wait $DFPIDB
400     echo "Verifying mount"
401     client_df || return 3
402 }
403 run_test 6 "Sixth Failure Mode: OST/CLIENT `date`"
404 ###################################################
405
406
407 ############### Seventh Failure Mode ###############
408 test_7() {
409     echo "Seventh Failure Mode: CLIENT/MDS `date`"
410
411     #Create files
412     echo "Verify Lustre filesystem is up and running"
413     client_df
414     client_touch testfile  || return 1
415
416     #CLIENT Portion
417     echo "Part 1: Failing CLIENT"
418     fail_clients 2
419     
420     #Check FS
421     echo "Test Lustre stability after CLIENTs failure"
422     client_df
423     $PDSH $LIVE_CLIENT "ls -l $MOUNT"
424     $PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile"
425     
426     #Sleep
427     echo "Wait 1 minutes"
428     sleep 60
429
430     #Create files
431     echo "Verify Lustre filesystem is up and running"
432     client_df
433     client_rm testfile
434
435     #MDS Portion
436     facet_failover $SINGLEMDS
437
438     #Check FS
439     echo "Test Lustre stability after MDS failover"
440     wait $DFPID || echo "df on down clients fails " || return 1
441     $PDSH $LIVE_CLIENT "ls -l $MOUNT"
442     $PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile"
443
444     #Reintegration
445     echo "Reintegrating CLIENTs"
446     reintegrate_clients
447     client_df || return 2
448     
449     #Sleep
450     echo "wait 1 minutes"
451     sleep 60
452 }
453 run_test 7 "Seventh Failure Mode: CLIENT/MDS `date`"
454 ###################################################
455
456
457 ############### Eighth Failure Mode ###############
458 test_8() {
459     echo "Eighth Failure Mode: CLIENT/OST `date`"
460
461     #Create files
462     echo "Verify Lustre filesystem is up and running"
463     client_df
464     client_touch testfile
465         
466     #CLIENT Portion
467     echo "Failing CLIENTs"
468     fail_clients 2
469
470     #Check FS
471     echo "Test Lustre stability after CLIENTs failure"
472     client_df
473     $PDSH $LIVE_CLIENT "ls -l $MOUNT"
474     $PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile"
475
476     #Sleep
477     echo "Wait 1 minutes"
478     sleep 60
479
480     #Create files
481     echo "Verify Lustre filesystem is up and running"
482     client_df
483     client_touch testfile
484
485
486     #OST Portion
487     shutdown_facet ost1
488     reboot_facet ost1
489
490     #Check FS
491     echo "Test Lustre stability after OST failure"
492     client_df &
493     DFPID=$!
494     sleep 5
495     #non-failout hangs forever here
496     #$PDSH $LIVE_CLIENT "ls -l $MOUNT"
497     #$PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile"
498     
499     #Reintegration
500     echo "Reintegrating CLIENTs/OST"
501     reintegrate_clients
502     wait_for ost1
503     start_ost 1
504     wait $DFPID
505     client_df || return 1
506     client_touch testfile2 || return 2
507
508     #Sleep
509     echo "Wait 1 minutes"
510     sleep 60
511 }
512 run_test 8 "Eighth Failure Mode: CLIENT/OST `date`"
513 ###################################################
514
515
516 ############### Ninth Failure Mode ###############
517 test_9() {
518     echo 
519
520     #Create files
521     echo "Verify Lustre filesystem is up and running"
522     client_df
523     client_touch testfile || return 1
524         
525     #CLIENT Portion
526     echo "Failing CLIENTs"
527     fail_clients 2
528
529     #Check FS
530     echo "Test Lustre stability after CLIENTs failure"
531     client_df
532     $PDSH $LIVE_CLIENT "ls -l $MOUNT" || return 1
533     $PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile" || return 2
534
535     #Sleep
536     echo "Wait 1 minutes"
537     sleep 60
538
539     #Create files
540     echo "Verify Lustre filesystem is up and running"
541     $PDSH $LIVE_CLIENT df $MOUNT || return 3
542     client_touch testfile || return 4
543
544     #CLIENT Portion
545     echo "Failing CLIENTs"
546     fail_clients 2
547     
548     #Check FS
549     echo "Test Lustre stability after CLIENTs failure"
550     client_df
551     $PDSH $LIVE_CLIENT "ls -l $MOUNT" || return 5
552     $PDSH $LIVE_CLIENT "rm -f $MOUNT/*_testfile" || return 6
553
554     #Reintegration
555     echo "Reintegrating  CLIENTs/CLIENTs"
556     reintegrate_clients
557     client_df || return 7
558     
559     #Sleep
560     echo "Wait 1 minutes"
561     sleep 60
562 }
563 run_test 9 "Ninth Failure Mode: CLIENT/CLIENT `date`"
564 ###################################################
565
566 test_10() {
567     #Run availability after all failures
568     DURATION=${DURATION:-$((2 * 60 * 60))} # 6 hours default
569     LOADTEST=${LOADTEST:-metadata-load.py}
570     $PWD/availability.sh $CONFIG $DURATION $CLIENTS || return 1
571 }
572 run_test 10 "Running Availability for 6 hours..."
573
574 equals_msg `basename $0`: test complete, cleaning up
575 $CLEANUP
576 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true