Whamcloud - gitweb
LU-10657 utils: fd leak in mirror_split()
[fs/lustre-release.git] / lustre / tests / mmp.sh
1 #!/bin/bash
2 # -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
3 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
4 #
5 # Tests for multiple mount protection (MMP) feature.
6 #
7 # Run select tests by setting ONLY, or as arguments to the script.
8 # Skip specific tests by setting EXCEPT.
9 #
10 # e.g. ONLY="5 6" or ONLY="`seq 8 11`" or EXCEPT="7"
11 set -e
12
13 ONLY=${ONLY:-"$*"}
14
15 # bug number for skipped test:
16 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-"$MMP_EXCEPT"}
17 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
18
19 SRCDIR=$(cd $(dirname $0); echo $PWD)
20 export PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH:/sbin
21
22 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
23 . $LUSTRE/tests/test-framework.sh
24 init_test_env $@
25 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
26 init_logging
27
28 remote_mds_nodsh && skip "remote MDS with nodsh" && exit 0
29 remote_ost_nodsh && skip "remote OST with nodsh" && exit 0
30
31 # unmount and cleanup the Lustre filesystem
32 MMP_RESTORE_MOUNT=false
33 if is_mounted $MOUNT || is_mounted $MOUNT2; then
34     cleanupall
35     MMP_RESTORE_MOUNT=true
36 fi
37
38 SAVED_FAIL_ON_ERROR=$FAIL_ON_ERROR
39 FAIL_ON_ERROR=false
40
41 build_test_filter
42
43 # Get the failover facet.
44 get_failover_facet() {
45     local facet=$1
46     local failover_facet=${facet}failover
47
48     local host=$(facet_host $facet)
49     local failover_host=$(facet_host $failover_facet)
50
51     [ -z "$failover_host" -o "$host" = "$failover_host" ] && \
52         failover_facet=$facet
53
54     echo $failover_facet
55 }
56
57 # Initiate the variables for Lustre servers and targets.
58 init_vars() {
59     MMP_MDS=${MMP_MDS:-$SINGLEMDS}
60     MMP_MDS_FAILOVER=$(get_failover_facet $MMP_MDS)
61
62     local mds_num=$(echo $MMP_MDS | tr -d "mds")
63     MMP_MDSDEV=$(mdsdevname $mds_num)
64
65     MMP_OSS=${MMP_OSS:-ost1}
66     MMP_OSS_FAILOVER=$(get_failover_facet $MMP_OSS)
67
68     local oss_num=$(echo $MMP_OSS | tr -d "ost")
69     MMP_OSTDEV=$(ostdevname $oss_num)
70 }
71
72 # Stop the MDS and OSS services on the primary or failover servers.
73 stop_services() {
74     local flavor=$1
75     shift
76     local opts="$@"
77     local mds_facet
78     local oss_facet
79
80     if [ "$flavor" = "failover" ]; then
81         mds_facet=$MMP_MDS_FAILOVER
82         oss_facet=$MMP_OSS_FAILOVER
83     else
84         mds_facet=$MMP_MDS
85         oss_facet=$MMP_OSS
86     fi
87
88     stop $mds_facet $opts || return ${PIPESTATUS[0]}
89     stop $oss_facet $opts || return ${PIPESTATUS[0]}
90 }
91
92 # Enable the MMP feature.
93 enable_mmp() {
94     local facet=$1
95     local device=$2
96
97     do_facet $facet "$TUNE2FS -O mmp $device"
98     return ${PIPESTATUS[0]}
99 }
100
101 # Disable the MMP feature.
102 disable_mmp() {
103     local facet=$1
104     local device=$2
105
106     do_facet $facet "$TUNE2FS -O ^mmp $device"
107     return ${PIPESTATUS[0]}
108 }
109
110 # Set the MMP block to 'fsck' state
111 mark_mmp_block() {
112     local facet=$1
113     local device=$2
114
115     do_facet $facet "$LUSTRE/tests/mmp_mark.sh $device"
116     return ${PIPESTATUS[0]}
117 }
118
119 # Reset the MMP block (if any) back to the clean state.
120 reset_mmp_block() {
121     local facet=$1
122     local device=$2
123
124     do_facet $facet "$TUNE2FS -f -E clear-mmp $device"
125     return ${PIPESTATUS[0]}
126 }
127
128 # Check whether the MMP feature is enabled or not.
129 mmp_is_enabled() {
130     local facet=$1
131     local device=$2
132
133     do_facet $facet "$DUMPE2FS -h $device | grep mmp"
134     return ${PIPESTATUS[0]}
135 }
136
137 # Get MMP update interval (in seconds) from the Lustre server target.
138 get_mmp_update_interval() {
139         local facet=$1
140         local device=$2
141         local interval
142
143         interval=$(do_facet $facet \
144                    "$DEBUGFS -c -R dump_mmp $device 2>$TMP/mmp.debugfs.msg" |
145                    awk 'tolower($0) ~ /update.interval/ { print $NF }')
146         [ -z "$interval" ] && interval=5 &&
147                 do_facet $facet cat $TMP/mmp.debugfs.msg &&
148                 echo "$facet:$device: assume update interval=$interval" 1>&2 ||
149                 echo "$facet:$device: got actual update interval=$interval" 1>&2
150
151         echo $interval
152 }
153
154 # Get MMP check interval (in seconds) from the Lustre server target.
155 get_mmp_check_interval() {
156         local facet=$1
157         local device=$2
158         local interval
159
160         interval=$(do_facet $facet \
161                    "$DEBUGFS -c -R dump_mmp $device 2>$TMP/mmp.debugfs.msg" |
162                    awk 'tolower($0) ~ /check.interval/ { print $NF }')
163         [ -z "$interval" ] && interval=5 &&
164                 do_facet $facet cat $TMP/mmp.debugfs.msg &&
165                 echo "$facet:$device: assume check interval=$interval" 1>&2 ||
166                 echo "$facet:$device: got actual check interval=$interval" 1>&2
167
168         echo $interval
169 }
170
171 # Adjust the MMP update interval (in seconds) on the Lustre server target.
172 # Specifying an interval of 0 means to use the default interval.
173 set_mmp_update_interval() {
174         local facet=$1
175         local device=$2
176         local interval=${3:-0}
177
178         do_facet $facet "$TUNE2FS -E mmp_update_interval=$interval $device"
179         return ${PIPESTATUS[0]}
180 }
181
182 I_ENABLED_MDS=0
183 I_ENABLED_OSS=0
184
185 # Enable the MMP feature on the Lustre server targets.
186 mmp_init() {
187         init_vars
188
189         if [ $(facet_fstype $MMP_MDS) != ldiskfs ]; then
190                 skip "ldiskfs only test"
191                 exit
192         fi
193
194         if [ $(facet_fstype $MMP_OSS) != ldiskfs ]; then
195                 skip "ldiskfs only test"
196                 exit
197         fi
198
199         mmp_is_enabled $MMP_MDS $MMP_MDSDEV ||
200         {
201                 log "MMP is not enabled on MDS, enabling it manually..."
202                 enable_mmp $MMP_MDS $MMP_MDSDEV ||
203                         error "failed to enable MMP on $MMP_MDSDEV on $MMP_MDS"
204                 I_ENABLED_MDS=1
205         }
206
207         mmp_is_enabled $MMP_OSS $MMP_OSTDEV ||
208         {
209                 log "MMP is not enabled on OSS, enabling it manually..."
210                 enable_mmp $MMP_OSS $MMP_OSTDEV ||
211                         error "failed to enable MMP on $MMP_OSTDEV on $MMP_OSS"
212                 I_ENABLED_OSS=1
213         }
214
215         # check whether the MMP feature is enabled or not
216         mmp_is_enabled $MMP_MDS $MMP_MDSDEV ||
217                 error "MMP was not enabled on $MMP_MDSDEV on $MMP_MDS"
218
219         mmp_is_enabled $MMP_OSS $MMP_OSTDEV ||
220                 error "MMP was not enabled on $MMP_OSTDEV on $MMP_OSS"
221 }
222
223 # Disable the MMP feature on the Lustre server targets
224 mmp_fini() {
225
226         if [ $I_ENABLED_MDS -eq 1 ]; then
227                 log "Disabling MMP on $MMP_MDSDEV on $MMP_MDS manually..."
228                 disable_mmp $MMP_MDS $MMP_MDSDEV ||
229                         error "failed to disable MMP on $MMP_MDSDEV on $MMP_MDS"
230                 mmp_is_enabled $MMP_MDS $MMP_MDSDEV &&
231                         error "MMP was not disabled on $MMP_MDSDEV on $MMP_MDS"
232         fi
233
234         if [ $I_ENABLED_OSS -eq 1 ]; then
235                 log "Disabling MMP on $MMP_OSTDEV on $MMP_OSS manually..."
236                 disable_mmp $MMP_OSS $MMP_OSTDEV ||
237                         error "failed to disable MMP on $MMP_OSTDEV on $MMP_OSS"
238                 mmp_is_enabled $MMP_OSS $MMP_OSTDEV &&
239                         error "MMP was not disabled on $MMP_OSTDEV on $MMP_OSS"
240         fi
241
242         return 0
243 }
244
245 # Mount the shared target on the failover server after some interval it's
246 # mounted on the primary server.
247 mount_after_interval_sub() {
248     local interval=$1
249     shift
250     local device=$1
251     shift
252     local facet=$1
253     shift
254     local opts="$@"
255     local failover_facet=$(get_failover_facet $facet)
256
257     local mount_pid
258     local first_mount_rc=0
259     local second_mount_rc=0
260
261     log "Mounting $device on $facet..."
262     start $facet $device $opts &
263     mount_pid=$!
264
265     if [ $interval -ne 0 ]; then
266         log "sleep $interval..."
267         sleep $interval
268     fi
269
270     log "Mounting $device on $failover_facet..."
271     start $failover_facet $device $opts
272     second_mount_rc=${PIPESTATUS[0]}
273
274     wait $mount_pid
275     first_mount_rc=${PIPESTATUS[0]}
276
277     if [ $second_mount_rc -eq 0 -a $first_mount_rc -eq 0 ]; then
278         error_noexit "one mount delayed by mmp interval $interval should fail"
279         stop $facet || return ${PIPESTATUS[0]}
280         [ "$failover_facet" != "$facet" ] && stop $failover_facet || \
281             return ${PIPESTATUS[0]}
282         return 1
283     elif [ $second_mount_rc -ne 0 -a $first_mount_rc -ne 0 ]; then
284         error_noexit "mount failure on failover pair $facet,$failover_facet"
285         return $first_mount_rc
286     fi
287
288     return 0
289 }
290
291 mount_after_interval() {
292     local mdt_interval=$1
293     local ost_interval=$2
294     local rc=0
295
296     mount_after_interval_sub $mdt_interval $MMP_MDSDEV $MMP_MDS \
297         $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
298
299     echo
300     mount_after_interval_sub $ost_interval $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
301     rc=${PIPESTATUS[0]}
302     if [ $rc -ne 0 ]; then
303         stop $MMP_MDS
304         return $rc
305     fi
306
307     return 0
308 }
309
310 # Mount the shared target on the failover server
311 # during unmounting it on the primary server.
312 mount_during_unmount() {
313     local device=$1
314     shift
315     local facet=$1
316     shift
317     local mnt_opts="$@"
318     local failover_facet=$(get_failover_facet $facet)
319
320     local unmount_pid
321     local unmount_rc=0
322     local mount_rc=0
323
324     log "Mounting $device on $facet..."
325     start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
326
327     log "Unmounting $device on $facet..."
328     stop $facet &
329     unmount_pid=$!
330
331     log "Mounting $device on $failover_facet..."
332     start $failover_facet $device $mnt_opts
333     mount_rc=${PIPESTATUS[0]}
334
335     wait $unmount_pid
336     unmount_rc=${PIPESTATUS[0]}
337
338     if [ $mount_rc -eq 0 ]; then
339         error_noexit "mount during unmount of the first filesystem should fail"
340         stop $failover_facet || return ${PIPESTATUS[0]}
341         return 1
342     fi
343
344     if [ $unmount_rc -ne 0 ]; then
345         error_noexit "unmount the $device on $facet should succeed"
346         return $unmount_rc
347     fi
348
349     return 0
350 }
351
352 # Mount the shared target on the failover server
353 # after clean unmounting it on the primary server.
354 mount_after_unmount() {
355     local device=$1
356     shift
357     local facet=$1
358     shift
359     local mnt_opts="$@"
360     local failover_facet=$(get_failover_facet $facet)
361
362     log "Mounting $device on $facet..."
363     start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
364
365     log "Unmounting $device on $facet..."
366     stop $facet || return ${PIPESTATUS[0]}
367
368     log "Mounting $device on $failover_facet..."
369     start $failover_facet $device $mnt_opts || return ${PIPESTATUS[0]}
370
371     return 0
372 }
373
374 # Mount the shared target on the failover server after rebooting
375 # the primary server.
376 mount_after_reboot() {
377     local device=$1
378     shift
379     local facet=$1
380     shift
381     local mnt_opts="$@"
382     local failover_facet=$(get_failover_facet $facet)
383     local rc=0
384
385     log "Mounting $device on $facet..."
386     start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
387
388     if [ "$FAILURE_MODE" = "HARD" ]; then
389         shutdown_facet $facet
390         reboot_facet $facet
391         wait_for_facet $facet
392     else
393         replay_barrier_nodf $facet
394     fi
395
396     log "Mounting $device on $failover_facet..."
397     start $failover_facet $device $mnt_opts
398     rc=${PIPESTATUS[0]}
399     if [ $rc -ne 0 ]; then
400         error_noexit "mount $device on $failover_facet should succeed"
401         stop $facet || return ${PIPESTATUS[0]}
402         return $rc
403     fi
404
405     return 0
406 }
407
408 # Run e2fsck on the Lustre server target.
409 run_e2fsck() {
410         local facet=$1
411         shift
412         local device=$1
413         shift
414         local opts="$@"
415
416         echo "Running e2fsck on the device $device on $facet..."
417         do_facet $facet "$E2FSCK $opts $device"
418         return ${PIPESTATUS[0]}
419 }
420
421 # Check whether there are failover pairs for MDS and OSS servers.
422 check_failover_pair() {
423     [ "$MMP_MDS" = "$MMP_MDS_FAILOVER" -o "$MMP_OSS" = "$MMP_OSS_FAILOVER" ] \
424         && { skip_env "failover pair is needed" && return 1; }
425     return 0
426 }
427
428 mmp_init
429
430 # Test 1 - two mounts at the same time.
431 test_1() {
432         check_failover_pair || return 0
433
434         mount_after_interval 0 0 || return ${PIPESTATUS[0]}
435         stop_services primary || return ${PIPESTATUS[0]}
436         stop_services failover || return ${PIPESTATUS[0]}
437 }
438 run_test 1 "two mounts at the same time"
439
440 # Test 2 - one mount delayed by mmp update interval.
441 test_2() {
442     check_failover_pair || return 0
443
444     local mdt_interval=$(get_mmp_update_interval $MMP_MDS $MMP_MDSDEV)
445     local ost_interval=$(get_mmp_update_interval $MMP_OSS $MMP_OSTDEV)
446
447     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
448     stop_services primary || return ${PIPESTATUS[0]}
449 }
450 run_test 2 "one mount delayed by mmp update interval"
451
452 # Test 3 - one mount delayed by 2x mmp check interval.
453 test_3() {
454     check_failover_pair || return 0
455
456     local mdt_interval=$(get_mmp_check_interval $MMP_MDS $MMP_MDSDEV)
457     local ost_interval=$(get_mmp_check_interval $MMP_OSS $MMP_OSTDEV)
458
459     mdt_interval=$((2 * $mdt_interval + 1))
460     ost_interval=$((2 * $ost_interval + 1))
461
462     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
463     stop_services primary || return ${PIPESTATUS[0]}
464 }
465 run_test 3 "one mount delayed by 2x mmp check interval"
466
467 # Test 4 - one mount delayed by > 2x mmp check interval.
468 test_4() {
469     check_failover_pair || return 0
470
471     local mdt_interval=$(get_mmp_check_interval $MMP_MDS $MMP_MDSDEV)
472     local ost_interval=$(get_mmp_check_interval $MMP_OSS $MMP_OSTDEV)
473
474     mdt_interval=$((4 * $mdt_interval))
475     ost_interval=$((4 * $ost_interval))
476
477     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
478     stop_services primary || return ${PIPESTATUS[0]}
479 }
480 run_test 4 "one mount delayed by > 2x mmp check interval"
481
482 # Test 5 - mount during unmount of the first filesystem.
483 test_5() {
484     local rc=0
485     check_failover_pair || return 0
486
487     mount_during_unmount $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
488         return ${PIPESTATUS[0]}
489
490     echo
491     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
492     mount_during_unmount $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
493     rc=${PIPESTATUS[0]}
494     if [ $rc -ne 0 ]; then
495         stop $MMP_MDS || return ${PIPESTATUS[0]}
496         return $rc
497     fi
498
499     stop $MMP_MDS || return ${PIPESTATUS[0]}
500 }
501 run_test 5 "mount during unmount of the first filesystem"
502
503 # Test 6 - mount after clean unmount.
504 test_6() {
505     local rc=0
506     check_failover_pair || return 0
507
508     mount_after_unmount $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
509         return ${PIPESTATUS[0]}
510
511     echo
512     mount_after_unmount $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
513     rc=${PIPESTATUS[0]}
514     if [ $rc -ne 0 ]; then
515         stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
516         return $rc
517     fi
518
519     stop_services failover || return ${PIPESTATUS[0]}
520 }
521 run_test 6 "mount after clean unmount"
522
523 # Test 7 - mount after reboot.
524 test_7() {
525     local rc=0
526     check_failover_pair || return 0
527
528     mount_after_reboot $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
529         return ${PIPESTATUS[0]}
530
531     echo
532     mount_after_reboot $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
533     rc=${PIPESTATUS[0]}
534     if [ $rc -ne 0 ]; then
535         stop $MMP_MDS || return ${PIPESTATUS[0]}
536         stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
537         return $rc
538     fi
539
540     stop_services failover || return ${PIPESTATUS[0]}
541     stop_services primary || return ${PIPESTATUS[0]}
542 }
543 run_test 7 "mount after reboot"
544
545 # Test 8 - mount during e2fsck (should never succeed).
546 test_8() {
547         local e2fsck_pid
548         local saved_interval
549         local new_interval
550
551         # After writing a new sequence number into the MMP block, e2fsck will
552         # sleep at least (2 * new_interval + 1) seconds before it goes into
553         # e2fsck passes.
554         new_interval=30
555
556         # MDT
557         saved_interval=$(get_mmp_update_interval $MMP_MDS $MMP_MDSDEV)
558         set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $new_interval
559
560         run_e2fsck $MMP_MDS $MMP_MDSDEV "-fy" &
561         e2fsck_pid=$!
562         sleep 5
563
564         if start $MMP_MDS_FAILOVER $MMP_MDSDEV $MDS_MOUNT_OPTS; then
565                 error_noexit \
566                         "mount $MMP_MDSDEV on $MMP_MDS_FAILOVER should fail"
567                 stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
568                 set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $saved_interval
569                 return 1
570         fi
571
572         wait $e2fsck_pid
573         set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $saved_interval
574
575         # OST
576         echo
577         saved_interval=$(get_mmp_update_interval $MMP_OSS $MMP_OSTDEV)
578         set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $new_interval
579
580         run_e2fsck $MMP_OSS $MMP_OSTDEV "-fy" &
581         e2fsck_pid=$!
582         sleep 5
583
584         if start $MMP_OSS_FAILOVER $MMP_OSTDEV $OST_MOUNT_OPTS; then
585                 error_noexit \
586                         "mount $MMP_OSTDEV on $MMP_OSS_FAILOVER should fail"
587                 stop $MMP_OSS_FAILOVER || return ${PIPESTATUS[0]}
588                 set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $saved_interval
589                 return 2
590         fi
591
592         wait $e2fsck_pid
593         set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $saved_interval
594         return 0
595 }
596 run_test 8 "mount during e2fsck"
597
598 # Test 9 - mount after aborted e2fsck (should never succeed).
599 test_9() {
600     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
601     if ! start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS; then
602         local rc=${PIPESTATUS[0]}
603         stop $MMP_MDS || return ${PIPESTATUS[0]}
604         return $rc
605     fi
606     stop_services primary || return ${PIPESTATUS[0]}
607
608     mark_mmp_block $MMP_MDS $MMP_MDSDEV || return ${PIPESTATUS[0]}
609
610     log "Mounting $MMP_MDSDEV on $MMP_MDS..."
611     if start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS; then
612         error_noexit "mount $MMP_MDSDEV on $MMP_MDS should fail"
613         stop $MMP_MDS || return ${PIPESTATUS[0]}
614         return 1
615     fi
616
617     reset_mmp_block $MMP_MDS $MMP_MDSDEV || return ${PIPESTATUS[0]}
618
619     mark_mmp_block $MMP_OSS $MMP_OSTDEV || return ${PIPESTATUS[0]}
620
621     log "Mounting $MMP_OSTDEV on $MMP_OSS..."
622     if start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS; then
623         error_noexit "mount $MMP_OSTDEV on $MMP_OSS should fail"
624         stop $MMP_OSS || return ${PIPESTATUS[0]}
625         return 2
626     fi
627
628     reset_mmp_block $MMP_OSS $MMP_OSTDEV || return ${PIPESTATUS[0]}
629     return 0
630 }
631 run_test 9 "mount after aborted e2fsck"
632
633 # Test 10 - e2fsck with mounted filesystem.
634 test_10() {
635     local rc=0
636
637     log "Mounting $MMP_MDSDEV on $MMP_MDS..."
638     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
639
640     run_e2fsck $MMP_MDS_FAILOVER $MMP_MDSDEV "-fn"
641     rc=${PIPESTATUS[0]}
642
643     # e2fsck is called with -n option (Open the filesystem read-only), so
644     # 0 (No errors) and 4 (File system errors left uncorrected) are the only
645     # acceptable exit codes in this case
646     if [ $rc -ne 0 ] && [ $rc -ne 4 ]; then
647         error_noexit "e2fsck $MMP_MDSDEV on $MMP_MDS_FAILOVER returned $rc"
648         stop $MMP_MDS || return ${PIPESTATUS[0]}
649         return $rc
650     fi
651
652     log "Mounting $MMP_OSTDEV on $MMP_OSS..."
653     start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS
654     rc=${PIPESTATUS[0]}
655     if [ $rc -ne 0 ]; then
656         stop $MMP_MDS || return ${PIPESTATUS[0]}
657         return $rc
658     fi
659
660     run_e2fsck $MMP_OSS_FAILOVER $MMP_OSTDEV "-fn"
661     rc=${PIPESTATUS[0]}
662     if [ $rc -ne 0 ] && [ $rc -ne 4 ]; then
663         error_noexit "e2fsck $MMP_OSTDEV on $MMP_OSS_FAILOVER returned $rc"
664     fi
665
666     stop_services primary || return ${PIPESTATUS[0]}
667     return 0
668 }
669 run_test 10 "e2fsck with mounted filesystem"
670
671 mmp_fini
672 FAIL_ON_ERROR=$SAVED_FAIL_ON_ERROR
673
674 complete $SECONDS
675 $MMP_RESTORE_MOUNT && setupall
676 exit_status