lustre/tests/mmp.sh

   1 #!/bin/bash
   2 # -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
   3 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
   4 #
   5 # Tests for multiple mount protection (MMP) feature.
   6 #
   7 # Run select tests by setting ONLY, or as arguments to the script.
   8 # Skip specific tests by setting EXCEPT.
   9 #
  10 # e.g. ONLY="5 6" or ONLY="`seq 8 11`" or EXCEPT="7"
  11 set -e
  12
  13 ONLY=${ONLY:-"$*"}
  14
  15 # bug number for skipped test:
  16 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-"$MMP_EXCEPT"}
  17 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  18
  19 SRCDIR=$(cd $(dirname $0); echo $PWD)
  20 export PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH:/sbin
  21
  22 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
  23 . $LUSTRE/tests/test-framework.sh
  24 init_test_env $@
  25 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  26 init_logging
  27
  28 remote_mds_nodsh && skip "remote MDS with nodsh" && exit 0
  29 remote_ost_nodsh && skip "remote OST with nodsh" && exit 0
  30
  31 # unmount and cleanup the Lustre filesystem
  32 MMP_RESTORE_MOUNT=false
  33 if is_mounted $MOUNT || is_mounted $MOUNT2; then
  34     cleanupall
  35     MMP_RESTORE_MOUNT=true
  36 fi
  37
  38 SAVED_FAIL_ON_ERROR=$FAIL_ON_ERROR
  39 FAIL_ON_ERROR=false
  40
  41 build_test_filter
  42
  43 # Get the failover facet.
  44 get_failover_facet() {
  45     local facet=$1
  46     local failover_facet=${facet}failover
  47
  48     local host=$(facet_host $facet)
  49     local failover_host=$(facet_host $failover_facet)
  50
  51     [ -z "$failover_host" -o "$host" = "$failover_host" ] && \
  52         failover_facet=$facet
  53
  54     echo $failover_facet
  55 }
  56
  57 # Initiate the variables for Lustre servers and targets.
  58 init_vars() {
  59     MMP_MDS=${MMP_MDS:-$SINGLEMDS}
  60     MMP_MDS_FAILOVER=$(get_failover_facet $MMP_MDS)
  61
  62     local mds_num=$(echo $MMP_MDS | tr -d "mds")
  63     MMP_MDSDEV=$(mdsdevname $mds_num)
  64
  65     MMP_OSS=${MMP_OSS:-ost1}
  66     MMP_OSS_FAILOVER=$(get_failover_facet $MMP_OSS)
  67
  68     local oss_num=$(echo $MMP_OSS | tr -d "ost")
  69     MMP_OSTDEV=$(ostdevname $oss_num)
  70 }
  71
  72 # Stop the MDS and OSS services on the primary or failover servers.
  73 stop_services() {
  74     local flavor=$1
  75     shift
  76     local opts="$@"
  77     local mds_facet
  78     local oss_facet
  79
  80     if [ "$flavor" = "failover" ]; then
  81         mds_facet=$MMP_MDS_FAILOVER
  82         oss_facet=$MMP_OSS_FAILOVER
  83     else
  84         mds_facet=$MMP_MDS
  85         oss_facet=$MMP_OSS
  86     fi
  87
  88     stop $mds_facet $opts || return ${PIPESTATUS[0]}
  89     stop $oss_facet $opts || return ${PIPESTATUS[0]}
  90 }
  91
  92 # Enable the MMP feature.
  93 enable_mmp() {
  94     local facet=$1
  95     local device=$2
  96
  97     do_facet $facet "$TUNE2FS -O mmp $device"
  98     return ${PIPESTATUS[0]}
  99 }
 100
 101 # Disable the MMP feature.
 102 disable_mmp() {
 103     local facet=$1
 104     local device=$2
 105
 106     do_facet $facet "$TUNE2FS -O ^mmp $device"
 107     return ${PIPESTATUS[0]}
 108 }
 109
 110 # Set the MMP block to 'fsck' state
 111 mark_mmp_block() {
 112     local facet=$1
 113     local device=$2
 114
 115     do_facet $facet "$LUSTRE/tests/mmp_mark.sh $device"
 116     return ${PIPESTATUS[0]}
 117 }
 118
 119 # Reset the MMP block (if any) back to the clean state.
 120 reset_mmp_block() {
 121     local facet=$1
 122     local device=$2
 123
 124     do_facet $facet "$TUNE2FS -f -E clear-mmp $device"
 125     return ${PIPESTATUS[0]}
 126 }
 127
 128 # Check whether the MMP feature is enabled or not.
 129 mmp_is_enabled() {
 130     local facet=$1
 131     local device=$2
 132
 133     do_facet $facet "$DUMPE2FS -h $device | grep mmp"
 134     return ${PIPESTATUS[0]}
 135 }
 136
 137 # Get MMP update interval (in seconds) from the Lustre server target.
 138 get_mmp_update_interval() {
 139         local facet=$1
 140         local device=$2
 141         local interval
 142
 143         interval=$(do_facet $facet \
 144                    "$DEBUGFS -c -R dump_mmp $device 2>$TMP/mmp.debugfs.msg" |
 145                    awk 'tolower($0) ~ /update.interval/ { print $NF }')
 146         [ -z "$interval" ] && interval=5 &&
 147                 do_facet $facet cat $TMP/mmp.debugfs.msg &&
 148                 echo "$facet:$device: assume update interval=$interval" 1>&2 ||
 149                 echo "$facet:$device: got actual update interval=$interval" 1>&2
 150
 151         echo $interval
 152 }
 153
 154 # Get MMP check interval (in seconds) from the Lustre server target.
 155 get_mmp_check_interval() {
 156         local facet=$1
 157         local device=$2
 158         local interval
 159
 160         interval=$(do_facet $facet \
 161                    "$DEBUGFS -c -R dump_mmp $device 2>$TMP/mmp.debugfs.msg" |
 162                    awk 'tolower($0) ~ /check.interval/ { print $NF }')
 163         [ -z "$interval" ] && interval=5 &&
 164                 do_facet $facet cat $TMP/mmp.debugfs.msg &&
 165                 echo "$facet:$device: assume check interval=$interval" 1>&2 ||
 166                 echo "$facet:$device: got actual check interval=$interval" 1>&2
 167
 168         echo $interval
 169 }
 170
 171 # Adjust the MMP update interval (in seconds) on the Lustre server target.
 172 # Specifying an interval of 0 means to use the default interval.
 173 set_mmp_update_interval() {
 174         local facet=$1
 175         local device=$2
 176         local interval=${3:-0}
 177
 178         do_facet $facet "$TUNE2FS -E mmp_update_interval=$interval $device"
 179         return ${PIPESTATUS[0]}
 180 }
 181
 182 I_ENABLED_MDS=0
 183 I_ENABLED_OSS=0
 184
 185 # Enable the MMP feature on the Lustre server targets.
 186 mmp_init() {
 187         init_vars
 188
 189         if [ $(facet_fstype $MMP_MDS) != ldiskfs ]; then
 190                 skip "ldiskfs only test"
 191                 exit
 192         fi
 193
 194         if [ $(facet_fstype $MMP_OSS) != ldiskfs ]; then
 195                 skip "ldiskfs only test"
 196                 exit
 197         fi
 198
 199         mmp_is_enabled $MMP_MDS $MMP_MDSDEV ||
 200         {
 201                 log "MMP is not enabled on MDS, enabling it manually..."
 202                 enable_mmp $MMP_MDS $MMP_MDSDEV ||
 203                         error "failed to enable MMP on $MMP_MDSDEV on $MMP_MDS"
 204                 I_ENABLED_MDS=1
 205         }
 206
 207         mmp_is_enabled $MMP_OSS $MMP_OSTDEV ||
 208         {
 209                 log "MMP is not enabled on OSS, enabling it manually..."
 210                 enable_mmp $MMP_OSS $MMP_OSTDEV ||
 211                         error "failed to enable MMP on $MMP_OSTDEV on $MMP_OSS"
 212                 I_ENABLED_OSS=1
 213         }
 214
 215         # check whether the MMP feature is enabled or not
 216         mmp_is_enabled $MMP_MDS $MMP_MDSDEV ||
 217                 error "MMP was not enabled on $MMP_MDSDEV on $MMP_MDS"
 218
 219         mmp_is_enabled $MMP_OSS $MMP_OSTDEV ||
 220                 error "MMP was not enabled on $MMP_OSTDEV on $MMP_OSS"
 221 }
 222
 223 # Disable the MMP feature on the Lustre server targets
 224 mmp_fini() {
 225
 226         if [ $I_ENABLED_MDS -eq 1 ]; then
 227                 log "Disabling MMP on $MMP_MDSDEV on $MMP_MDS manually..."
 228                 disable_mmp $MMP_MDS $MMP_MDSDEV ||
 229                         error "failed to disable MMP on $MMP_MDSDEV on $MMP_MDS"
 230                 mmp_is_enabled $MMP_MDS $MMP_MDSDEV &&
 231                         error "MMP was not disabled on $MMP_MDSDEV on $MMP_MDS"
 232         fi
 233
 234         if [ $I_ENABLED_OSS -eq 1 ]; then
 235                 log "Disabling MMP on $MMP_OSTDEV on $MMP_OSS manually..."
 236                 disable_mmp $MMP_OSS $MMP_OSTDEV ||
 237                         error "failed to disable MMP on $MMP_OSTDEV on $MMP_OSS"
 238                 mmp_is_enabled $MMP_OSS $MMP_OSTDEV &&
 239                         error "MMP was not disabled on $MMP_OSTDEV on $MMP_OSS"
 240         fi
 241
 242         return 0
 243 }
 244
 245 # Mount the shared target on the failover server after some interval it's
 246 # mounted on the primary server.
 247 mount_after_interval_sub() {
 248     local interval=$1
 249     shift
 250     local device=$1
 251     shift
 252     local facet=$1
 253     shift
 254     local opts="$@"
 255     local failover_facet=$(get_failover_facet $facet)
 256
 257     local mount_pid
 258     local first_mount_rc=0
 259     local second_mount_rc=0
 260
 261     log "Mounting $device on $facet..."
 262     start $facet $device $opts &
 263     mount_pid=$!
 264
 265     if [ $interval -ne 0 ]; then
 266         log "sleep $interval..."
 267         sleep $interval
 268     fi
 269
 270     log "Mounting $device on $failover_facet..."
 271     start $failover_facet $device $opts
 272     second_mount_rc=${PIPESTATUS[0]}
 273
 274     wait $mount_pid
 275     first_mount_rc=${PIPESTATUS[0]}
 276
 277     if [ $second_mount_rc -eq 0 -a $first_mount_rc -eq 0 ]; then
 278         error_noexit "one mount delayed by mmp interval $interval should fail"
 279         stop $facet || return ${PIPESTATUS[0]}
 280         [ "$failover_facet" != "$facet" ] && stop $failover_facet || \
 281             return ${PIPESTATUS[0]}
 282         return 1
 283     elif [ $second_mount_rc -ne 0 -a $first_mount_rc -ne 0 ]; then
 284         error_noexit "mount failure on failover pair $facet,$failover_facet"
 285         return $first_mount_rc
 286     fi
 287
 288     return 0
 289 }
 290
 291 mount_after_interval() {
 292     local mdt_interval=$1
 293     local ost_interval=$2
 294     local rc=0
 295
 296     mount_after_interval_sub $mdt_interval $MMP_MDSDEV $MMP_MDS \
 297         $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
 298
 299     echo
 300     mount_after_interval_sub $ost_interval $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
 301     rc=${PIPESTATUS[0]}
 302     if [ $rc -ne 0 ]; then
 303         stop $MMP_MDS
 304         return $rc
 305     fi
 306
 307     return 0
 308 }
 309
 310 # Mount the shared target on the failover server
 311 # during unmounting it on the primary server.
 312 mount_during_unmount() {
 313         local device=$1
 314         shift
 315         local facet=$1
 316         shift
 317         local mnt_opts="$@"
 318         local failover_facet=$(get_failover_facet $facet)
 319
 320         local unmount_pid
 321         local unmount_rc=0
 322         local mount_rc=0
 323
 324         log "Mounting $device on $facet..."
 325         start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
 326
 327         log "Unmounting $device on $facet..."
 328         stop $facet &
 329         unmount_pid=$!
 330
 331         log "Mounting $device on $failover_facet..."
 332         start $failover_facet $device $mnt_opts
 333         mount_rc=${PIPESTATUS[0]}
 334
 335         # check whether the first filesystem is still mounted
 336         local mntpt=$(facet_mntpt $facet)
 337         local mounted=$(do_facet $facet "grep -w $mntpt /proc/mounts")
 338
 339         wait $unmount_pid
 340         unmount_rc=${PIPESTATUS[0]}
 341
 342         if [ $mount_rc -eq 0 ]; then
 343                 stop $failover_facet || return ${PIPESTATUS[0]}
 344
 345                 if [ -n "$mounted" ]; then
 346                         error_noexit "mount during unmount of first filesystem worked"
 347                         return 1
 348                 fi
 349         fi
 350
 351         if [ $unmount_rc -ne 0 ]; then
 352                 error_noexit "unmount the $device on $facet should succeed"
 353                 return $unmount_rc
 354         fi
 355
 356         return 0
 357 }
 358
 359 # Mount the shared target on the failover server
 360 # after clean unmounting it on the primary server.
 361 mount_after_unmount() {
 362     local device=$1
 363     shift
 364     local facet=$1
 365     shift
 366     local mnt_opts="$@"
 367     local failover_facet=$(get_failover_facet $facet)
 368
 369     log "Mounting $device on $facet..."
 370     start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
 371
 372     log "Unmounting $device on $facet..."
 373     stop $facet || return ${PIPESTATUS[0]}
 374
 375     log "Mounting $device on $failover_facet..."
 376     start $failover_facet $device $mnt_opts || return ${PIPESTATUS[0]}
 377
 378     return 0
 379 }
 380
 381 # Mount the shared target on the failover server after rebooting
 382 # the primary server.
 383 mount_after_reboot() {
 384     local device=$1
 385     shift
 386     local facet=$1
 387     shift
 388     local mnt_opts="$@"
 389     local failover_facet=$(get_failover_facet $facet)
 390     local rc=0
 391
 392     log "Mounting $device on $facet..."
 393     start $facet $device $mnt_opts || return ${PIPESTATUS[0]}
 394
 395     if [ "$FAILURE_MODE" = "HARD" ]; then
 396         shutdown_facet $facet
 397         reboot_facet $facet
 398         wait_for_facet $facet
 399     else
 400         replay_barrier_nodf $facet
 401     fi
 402
 403     log "Mounting $device on $failover_facet..."
 404     start $failover_facet $device $mnt_opts
 405     rc=${PIPESTATUS[0]}
 406     if [ $rc -ne 0 ]; then
 407         error_noexit "mount $device on $failover_facet should succeed"
 408         stop $facet || return ${PIPESTATUS[0]}
 409         return $rc
 410     fi
 411
 412     return 0
 413 }
 414
 415 # Run e2fsck on the Lustre server target.
 416 run_e2fsck() {
 417         local facet=$1
 418         shift
 419         local device=$1
 420         shift
 421         local opts="$@"
 422
 423         echo "Running e2fsck on the device $device on $facet..."
 424         do_facet $facet "$E2FSCK $opts $device"
 425         return ${PIPESTATUS[0]}
 426 }
 427
 428 # Check whether there are failover pairs for MDS and OSS servers.
 429 check_failover_pair() {
 430     [ "$MMP_MDS" = "$MMP_MDS_FAILOVER" -o "$MMP_OSS" = "$MMP_OSS_FAILOVER" ] \
 431         && { skip_env "failover pair is needed" && return 1; }
 432     return 0
 433 }
 434
 435 mmp_init
 436
 437 # Test 1 - two mounts at the same time.
 438 test_1() {
 439         check_failover_pair || return 0
 440
 441         mount_after_interval 0 0 || return ${PIPESTATUS[0]}
 442         stop_services primary || return ${PIPESTATUS[0]}
 443         stop_services failover || return ${PIPESTATUS[0]}
 444 }
 445 run_test 1 "two mounts at the same time"
 446
 447 # Test 2 - one mount delayed by mmp update interval.
 448 test_2() {
 449     check_failover_pair || return 0
 450
 451     local mdt_interval=$(get_mmp_update_interval $MMP_MDS $MMP_MDSDEV)
 452     local ost_interval=$(get_mmp_update_interval $MMP_OSS $MMP_OSTDEV)
 453
 454     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
 455     stop_services primary || return ${PIPESTATUS[0]}
 456 }
 457 run_test 2 "one mount delayed by mmp update interval"
 458
 459 # Test 3 - one mount delayed by 2x mmp check interval.
 460 test_3() {
 461     check_failover_pair || return 0
 462
 463     local mdt_interval=$(get_mmp_check_interval $MMP_MDS $MMP_MDSDEV)
 464     local ost_interval=$(get_mmp_check_interval $MMP_OSS $MMP_OSTDEV)
 465
 466     mdt_interval=$((2 * $mdt_interval + 1))
 467     ost_interval=$((2 * $ost_interval + 1))
 468
 469     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
 470     stop_services primary || return ${PIPESTATUS[0]}
 471 }
 472 run_test 3 "one mount delayed by 2x mmp check interval"
 473
 474 # Test 4 - one mount delayed by > 2x mmp check interval.
 475 test_4() {
 476     check_failover_pair || return 0
 477
 478     local mdt_interval=$(get_mmp_check_interval $MMP_MDS $MMP_MDSDEV)
 479     local ost_interval=$(get_mmp_check_interval $MMP_OSS $MMP_OSTDEV)
 480
 481     mdt_interval=$((4 * $mdt_interval))
 482     ost_interval=$((4 * $ost_interval))
 483
 484     mount_after_interval $mdt_interval $ost_interval || return ${PIPESTATUS[0]}
 485     stop_services primary || return ${PIPESTATUS[0]}
 486 }
 487 run_test 4 "one mount delayed by > 2x mmp check interval"
 488
 489 # Test 5 - mount during unmount of the first filesystem.
 490 test_5() {
 491     local rc=0
 492     check_failover_pair || return 0
 493
 494     mount_during_unmount $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
 495         return ${PIPESTATUS[0]}
 496
 497     echo
 498     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
 499     mount_during_unmount $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
 500     rc=${PIPESTATUS[0]}
 501     if [ $rc -ne 0 ]; then
 502         stop $MMP_MDS || return ${PIPESTATUS[0]}
 503         return $rc
 504     fi
 505
 506     stop $MMP_MDS || return ${PIPESTATUS[0]}
 507 }
 508 run_test 5 "mount during unmount of the first filesystem"
 509
 510 # Test 6 - mount after clean unmount.
 511 test_6() {
 512     local rc=0
 513     check_failover_pair || return 0
 514
 515     mount_after_unmount $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
 516         return ${PIPESTATUS[0]}
 517
 518     echo
 519     mount_after_unmount $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
 520     rc=${PIPESTATUS[0]}
 521     if [ $rc -ne 0 ]; then
 522         stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
 523         return $rc
 524     fi
 525
 526     stop_services failover || return ${PIPESTATUS[0]}
 527 }
 528 run_test 6 "mount after clean unmount"
 529
 530 # Test 7 - mount after reboot.
 531 test_7() {
 532     local rc=0
 533     check_failover_pair || return 0
 534
 535     mount_after_reboot $MMP_MDSDEV $MMP_MDS $MDS_MOUNT_OPTS || \
 536         return ${PIPESTATUS[0]}
 537
 538     echo
 539     mount_after_reboot $MMP_OSTDEV $MMP_OSS $OST_MOUNT_OPTS
 540     rc=${PIPESTATUS[0]}
 541     if [ $rc -ne 0 ]; then
 542         stop $MMP_MDS || return ${PIPESTATUS[0]}
 543         stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
 544         return $rc
 545     fi
 546
 547     stop_services failover || return ${PIPESTATUS[0]}
 548     stop_services primary || return ${PIPESTATUS[0]}
 549 }
 550 run_test 7 "mount after reboot"
 551
 552 # Test 8 - mount during e2fsck (should never succeed).
 553 test_8() {
 554         local e2fsck_pid
 555         local saved_interval
 556         local new_interval
 557
 558         # After writing a new sequence number into the MMP block, e2fsck will
 559         # sleep at least (2 * new_interval + 1) seconds before it goes into
 560         # e2fsck passes.
 561         new_interval=30
 562
 563         # MDT
 564         saved_interval=$(get_mmp_update_interval $MMP_MDS $MMP_MDSDEV)
 565         set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $new_interval
 566
 567         run_e2fsck $MMP_MDS $MMP_MDSDEV "-fy" &
 568         e2fsck_pid=$!
 569         sleep 5
 570
 571         if start $MMP_MDS_FAILOVER $MMP_MDSDEV $MDS_MOUNT_OPTS; then
 572                 error_noexit \
 573                         "mount $MMP_MDSDEV on $MMP_MDS_FAILOVER should fail"
 574                 stop $MMP_MDS_FAILOVER || return ${PIPESTATUS[0]}
 575                 set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $saved_interval
 576                 return 1
 577         fi
 578
 579         wait $e2fsck_pid
 580         set_mmp_update_interval $MMP_MDS $MMP_MDSDEV $saved_interval
 581
 582         # OST
 583         echo
 584         saved_interval=$(get_mmp_update_interval $MMP_OSS $MMP_OSTDEV)
 585         set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $new_interval
 586
 587         run_e2fsck $MMP_OSS $MMP_OSTDEV "-fy" &
 588         e2fsck_pid=$!
 589         sleep 5
 590
 591         if start $MMP_OSS_FAILOVER $MMP_OSTDEV $OST_MOUNT_OPTS; then
 592                 error_noexit \
 593                         "mount $MMP_OSTDEV on $MMP_OSS_FAILOVER should fail"
 594                 stop $MMP_OSS_FAILOVER || return ${PIPESTATUS[0]}
 595                 set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $saved_interval
 596                 return 2
 597         fi
 598
 599         wait $e2fsck_pid
 600         set_mmp_update_interval $MMP_OSS $MMP_OSTDEV $saved_interval
 601         return 0
 602 }
 603 run_test 8 "mount during e2fsck"
 604
 605 # Test 9 - mount after aborted e2fsck (should never succeed).
 606 test_9() {
 607     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
 608     if ! start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS; then
 609         local rc=${PIPESTATUS[0]}
 610         stop $MMP_MDS || return ${PIPESTATUS[0]}
 611         return $rc
 612     fi
 613     stop_services primary || return ${PIPESTATUS[0]}
 614
 615     mark_mmp_block $MMP_MDS $MMP_MDSDEV || return ${PIPESTATUS[0]}
 616
 617     log "Mounting $MMP_MDSDEV on $MMP_MDS..."
 618     if start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS; then
 619         error_noexit "mount $MMP_MDSDEV on $MMP_MDS should fail"
 620         stop $MMP_MDS || return ${PIPESTATUS[0]}
 621         return 1
 622     fi
 623
 624     reset_mmp_block $MMP_MDS $MMP_MDSDEV || return ${PIPESTATUS[0]}
 625
 626     mark_mmp_block $MMP_OSS $MMP_OSTDEV || return ${PIPESTATUS[0]}
 627
 628     log "Mounting $MMP_OSTDEV on $MMP_OSS..."
 629     if start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS; then
 630         error_noexit "mount $MMP_OSTDEV on $MMP_OSS should fail"
 631         stop $MMP_OSS || return ${PIPESTATUS[0]}
 632         return 2
 633     fi
 634
 635     reset_mmp_block $MMP_OSS $MMP_OSTDEV || return ${PIPESTATUS[0]}
 636     return 0
 637 }
 638 run_test 9 "mount after aborted e2fsck"
 639
 640 # Test 10 - e2fsck with mounted filesystem.
 641 test_10() {
 642     local rc=0
 643
 644     log "Mounting $MMP_MDSDEV on $MMP_MDS..."
 645     start $MMP_MDS $MMP_MDSDEV $MDS_MOUNT_OPTS || return ${PIPESTATUS[0]}
 646
 647     run_e2fsck $MMP_MDS_FAILOVER $MMP_MDSDEV "-fn"
 648     rc=${PIPESTATUS[0]}
 649
 650     # e2fsck is called with -n option (Open the filesystem read-only), so
 651     # 0 (No errors) and 4 (File system errors left uncorrected) are the only
 652     # acceptable exit codes in this case
 653     if [ $rc -ne 0 ] && [ $rc -ne 4 ]; then
 654         error_noexit "e2fsck $MMP_MDSDEV on $MMP_MDS_FAILOVER returned $rc"
 655         stop $MMP_MDS || return ${PIPESTATUS[0]}
 656         return $rc
 657     fi
 658
 659     log "Mounting $MMP_OSTDEV on $MMP_OSS..."
 660     start $MMP_OSS $MMP_OSTDEV $OST_MOUNT_OPTS
 661     rc=${PIPESTATUS[0]}
 662     if [ $rc -ne 0 ]; then
 663         stop $MMP_MDS || return ${PIPESTATUS[0]}
 664         return $rc
 665     fi
 666
 667     run_e2fsck $MMP_OSS_FAILOVER $MMP_OSTDEV "-fn"
 668     rc=${PIPESTATUS[0]}
 669     if [ $rc -ne 0 ] && [ $rc -ne 4 ]; then
 670         error_noexit "e2fsck $MMP_OSTDEV on $MMP_OSS_FAILOVER returned $rc"
 671     fi
 672
 673     CLEANUP_DM_DEV=true stop_services primary || return ${PIPESTATUS[0]}
 674     return 0
 675 }
 676 run_test 10 "e2fsck with mounted filesystem"
 677
 678 mmp_fini
 679 FAIL_ON_ERROR=$SAVED_FAIL_ON_ERROR
 680
 681 complete $SECONDS
 682 $MMP_RESTORE_MOUNT && setupall
 683 check_and_cleanup_lustre
 684 exit_status