lustre/tests/replay-dual.sh

   1 #!/bin/sh
   2
   3 set -e
   4
   5 # bug number:  6088 10124
   6 ALWAYS_EXCEPT="8    15c   $REPLAY_DUAL_EXCEPT"
   7
   8 LUSTRE=${LUSTRE:-`dirname $0`/..}
   9 . $LUSTRE/tests/test-framework.sh
  10
  11 init_test_env $@
  12
  13 . ${CONFIG:=$LUSTRE/tests/cfg/local.sh}
  14
  15 SETUP=${SETUP:-"setup"}
  16 CLEANUP=${CLEANUP:-"cleanup"}
  17 FORCE=${FORCE:-"--force"}
  18
  19 gen_config() {
  20     rm -f $XMLCONFIG
  21     add_mds mds --dev $MDSDEV --size $MDSSIZE
  22     if [ ! -z "$mdsfailover_HOST" ]; then
  23     add_mdsfailover mds --dev $MDSDEV --size $MDSSIZE
  24     fi
  25
  26     add_lov lov1 mds --stripe_sz $STRIPE_BYTES \
  27    --stripe_cnt $STRIPES_PER_OBJ --stripe_pattern 0
  28     add_ost ost --lov lov1 --dev $OSTDEV --size $OSTSIZE --failover
  29     add_ost ost2 --lov lov1 --dev ${OSTDEV}-2 --size $OSTSIZE --failover
  30     add_client client mds --lov lov1 --path $MOUNT
  31 }
  32
  33
  34
  35 build_test_filter
  36
  37 cleanup() {
  38     # make sure we are using the primary MDS, so the config log will
  39     # be able to clean up properly.
  40     activemds=`facet_active mds`
  41     if [ $activemds != "mds" ]; then
  42         fail mds
  43     fi
  44
  45     umount $MOUNT2 || true
  46     umount $MOUNT  || true
  47     rmmod llite || true
  48     stop mds ${FORCE}
  49     stop ost2 ${FORCE}
  50     stop ost ${FORCE}  --dump $TMP/replay-dual-`hostname`.log
  51 }
  52
  53 if [ "$ONLY" == "cleanup" ]; then
  54     sysctl -w lnet.debug=0
  55     FORCE=--force cleanup
  56     exit
  57 fi
  58
  59 setup() {
  60     gen_config
  61     start ost --reformat $OSTLCONFARGS
  62     start ost2 --reformat $OSTLCONFARGS
  63     start mds $MDSLCONFARGS --reformat
  64     grep " $MOUNT " /proc/mounts || zconf_mount `hostname` $MOUNT
  65     grep " $MOUNT2 " /proc/mounts || zconf_mount `hostname` $MOUNT2
  66
  67 #    echo $TIMEOUT > /proc/sys/lustre/timeout
  68 }
  69
  70 $SETUP
  71 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  72
  73 test_1() {
  74     touch $MOUNT1/a
  75     replay_barrier mds
  76     touch $MOUNT2/b
  77
  78     fail mds
  79     checkstat $MOUNT2/a || return 1
  80     checkstat $MOUNT1/b || return 2
  81     rm $MOUNT2/a $MOUNT1/b
  82     checkstat $MOUNT1/a && return 3
  83     checkstat $MOUNT2/b && return 4
  84     return 0
  85 }
  86
  87 run_test 1 "|X| simple create"
  88
  89
  90 test_2() {
  91     replay_barrier mds
  92     mkdir $MOUNT1/adir
  93
  94     fail mds
  95     checkstat $MOUNT2/adir || return 1
  96     rmdir $MOUNT2/adir
  97     checkstat $MOUNT2/adir && return 2
  98     return 0
  99 }
 100
 101 run_test 2 "|X| mkdir adir"
 102
 103 test_3() {
 104     replay_barrier mds
 105     mkdir $MOUNT1/adir
 106     mkdir $MOUNT2/adir/bdir
 107
 108     fail mds
 109     checkstat $MOUNT2/adir      || return 1
 110     checkstat $MOUNT1/adir/bdir || return 2
 111     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
 112     checkstat $MOUNT1/adir      && return 3
 113     checkstat $MOUNT2/adir/bdir && return 4
 114     return 0
 115 }
 116
 117 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
 118
 119 test_4() {
 120     mkdir $MOUNT1/adir
 121     replay_barrier mds
 122     mkdir $MOUNT1/adir  && return 1
 123     mkdir $MOUNT2/adir/bdir
 124
 125     fail mds
 126     checkstat $MOUNT2/adir      || return 2
 127     checkstat $MOUNT1/adir/bdir || return 3
 128
 129     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
 130     checkstat $MOUNT1/adir      && return 4
 131     checkstat $MOUNT2/adir/bdir && return 5
 132     return 0
 133 }
 134
 135 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
 136
 137
 138 test_5() {
 139     # multiclient version of replay_single.sh/test_8
 140     mcreate $MOUNT1/a
 141     multiop $MOUNT2/a o_tSc &
 142     pid=$!
 143     # give multiop a chance to open
 144     sleep 1
 145     rm -f $MOUNT1/a
 146     replay_barrier mds
 147     kill -USR1 $pid
 148     wait $pid || return 1
 149
 150     fail mds
 151     [ -e $MOUNT2/a ] && return 2
 152     return 0
 153 }
 154 run_test 5 "open, unlink |X| close"
 155
 156
 157 test_6() {
 158     mcreate $MOUNT1/a
 159     multiop $MOUNT2/a o_c &
 160     pid1=$!
 161     multiop $MOUNT1/a o_c &
 162     pid2=$!
 163     # give multiop a chance to open
 164     sleep 1
 165     rm -f $MOUNT1/a
 166     replay_barrier mds
 167     kill -USR1 $pid1
 168     wait $pid1 || return 1
 169
 170     fail mds
 171     kill -USR1 $pid2
 172     wait $pid2 || return 1
 173     [ -e $MOUNT2/a ] && return 2
 174     return 0
 175 }
 176 run_test 6 "open1, open2, unlink |X| close1 [fail mds] close2"
 177
 178 test_8() {
 179     replay_barrier mds
 180     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 181     fail mds
 182     checkstat $MOUNT2/$tfile || return 2
 183     rm $MOUNT1/$tfile || return 3
 184
 185     return 0
 186 }
 187 run_test 8 "replay of resent request"
 188
 189 test_9() {
 190     replay_barrier mds
 191     mcreate $MOUNT1/$tfile-1
 192     mcreate $MOUNT2/$tfile-2
 193     # drop first reint reply
 194     sysctl -w lustre.fail_loc=0x80000119
 195     fail mds
 196     sysctl -w lustre.fail_loc=0
 197
 198     rm $MOUNT1/$tfile-[1,2] || return 1
 199
 200     return 0
 201 }
 202 run_test 9 "resending a replayed create"
 203
 204 test_10() {
 205     mcreate $MOUNT1/$tfile-1
 206     replay_barrier mds
 207     munlink $MOUNT1/$tfile-1
 208     mcreate $MOUNT2/$tfile-2
 209     # drop first reint reply
 210     sysctl -w lustre.fail_loc=0x80000119
 211     fail mds
 212     sysctl -w lustre.fail_loc=0
 213
 214     checkstat $MOUNT1/$tfile-1 && return 1
 215     checkstat $MOUNT1/$tfile-2 || return 2
 216     rm $MOUNT1/$tfile-2
 217
 218     return 0
 219 }
 220 run_test 10 "resending a replayed unlink"
 221
 222 test_11() {
 223     replay_barrier mds
 224     mcreate $MOUNT1/$tfile-1
 225     mcreate $MOUNT2/$tfile-2
 226     mcreate $MOUNT1/$tfile-3
 227     mcreate $MOUNT2/$tfile-4
 228     mcreate $MOUNT1/$tfile-5
 229     # drop all reint replies for a while
 230     sysctl -w lustre.fail_loc=0x0119
 231     facet_failover mds
 232     #sleep for while, let both clients reconnect and timeout
 233     sleep $((TIMEOUT * 2))
 234     sysctl -w lustre.fail_loc=0
 235
 236     rm $MOUNT1/$tfile-[1-5] || return 1
 237
 238     return 0
 239 }
 240 run_test 11 "both clients timeout during replay"
 241
 242 test_12() {
 243     replay_barrier mds
 244
 245     multiop $DIR/$tfile mo_c &
 246     MULTIPID=$!
 247     sleep 5
 248
 249 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 250     sysctl -w lustre.fail_loc=0x80000302
 251     facet_failover mds
 252     df $MOUNT || return 1
 253     sysctl -w lustre.fail_loc=0
 254
 255     ls $DIR/$tfile
 256     kill -USR1 $MULTIPID || return 3
 257     wait $MULTIPID || return 4
 258     $CHECKSTAT -t file $DIR/$tfile || return 2
 259     rm $DIR/$tfile
 260
 261     return 0
 262 }
 263 run_test 12 "open resend timeout"
 264
 265 test_13() {
 266     multiop $DIR/$tfile mo_c &
 267     MULTIPID=$!
 268     sleep 5
 269
 270     replay_barrier mds
 271
 272     kill -USR1 $MULTIPID || return 3
 273     wait $MULTIPID || return 4
 274
 275     # drop close
 276     sysctl -w lustre.fail_loc=0x80000115
 277     facet_failover mds
 278     df $MOUNT || return 1
 279     sysctl -w lustre.fail_loc=0
 280
 281     ls $DIR/$tfile
 282     $CHECKSTAT -t file $DIR/$tfile || return 2
 283     rm $DIR/$tfile
 284
 285     return 0
 286 }
 287 run_test 13 "close resend timeout"
 288
 289 test_14() {
 290     replay_barrier mds
 291     createmany -o $MOUNT1/$tfile- 25
 292     createmany -o $MOUNT2/$tfile-2- 1
 293     createmany -o $MOUNT1/$tfile-3- 25
 294     umount $MOUNT2
 295
 296     facet_failover mds
 297     # expect failover to fail
 298     df $MOUNT && return 1
 299     sleep 1
 300
 301     # first 25 files should have been replayed
 302     unlinkmany $MOUNT1/$tfile- 25 || return 2
 303
 304     zconf_mount `hostname` $MOUNT2
 305     return 0
 306 }
 307 run_test 14 "timeouts waiting for lost client during replay"
 308
 309 test_15() {
 310     replay_barrier mds
 311     createmany -o $MOUNT1/$tfile- 25
 312     createmany -o $MOUNT2/$tfile-2- 1
 313     umount $MOUNT2
 314
 315     facet_failover mds
 316     df $MOUNT || return 1
 317
 318     unlinkmany $MOUNT1/$tfile- 25 || return 2
 319     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 320
 321     zconf_mount `hostname` $MOUNT2
 322     return 0
 323 }
 324 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 325
 326 test_15a() {
 327     local ost_last_id=""
 328     local osc_last_id=""
 329
 330     replay_barrier mds
 331     echo "data" > "$MOUNT2/${tfile}-m2"
 332
 333     umount $MOUNT2
 334     facet_failover mds
 335     df $MOUNT || return 1
 336
 337     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 338     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 339
 340     echo "Ids after MDS<->OST synchonizing"
 341     echo "--------------------------------"
 342     echo "MDS last_id:"
 343     echo $mds_last_id
 344     echo "OST last_id:"
 345     echo $ost_last_id
 346
 347     local i=0
 348     echo $ost_last_id | while read id; do
 349         ost_ids[$i]=$id
 350         ((i++))
 351     done
 352
 353     i=0
 354     echo $mds_last_id | while read id; do
 355         mds_ids[$i]=$id
 356         ((i++))
 357     done
 358
 359     local arr_len=${#mds_ids[*]}
 360     for ((i=0;i<$arr_len;i++)); do
 361             mds_id=${mds_ids[i]}
 362             ost_id=${ost_ids[i]}
 363
 364             test $mds_id -ge $ost_id || {
 365                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 366                 return 2
 367             }
 368     done
 369
 370     zconf_mount `hostname` $MOUNT2
 371     return 0
 372 }
 373 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 374
 375 test_15b() {
 376     replay_barrier mds
 377     echo "data" > "$MOUNT2/${tfile}-m2"
 378     umount $MOUNT2
 379
 380     do_facet ost "sysctl -w lustre.fail_loc=0x80000802"
 381     facet_failover mds
 382
 383     df $MOUNT || return 1
 384     do_facet ost "sysctl -w lustre.fail_loc=0"
 385
 386     zconf_mount `hostname` $MOUNT2
 387     return 0
 388 }
 389 #CROW run_test 15b "multiple delayed OST clear orphans"
 390
 391 test_15c() {
 392     replay_barrier mds
 393     for ((i = 0; i < 2000; i++)); do
 394         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 395     done
 396
 397     umount $MOUNT2
 398     facet_failover mds
 399
 400     df $MOUNT || return 1
 401
 402     zconf_mount `hostname` $MOUNT2
 403     return 0
 404 }
 405 run_test 15c "remove multiple OST orphans"
 406
 407 test_16() {
 408     replay_barrier mds
 409     createmany -o $MOUNT1/$tfile- 25
 410     createmany -o $MOUNT2/$tfile-2- 1
 411     umount $MOUNT2
 412
 413     facet_failover mds
 414     sleep $TIMEOUT
 415     facet_failover mds
 416     df $MOUNT || return 1
 417
 418     unlinkmany $MOUNT1/$tfile- 25 || return 2
 419
 420     zconf_mount `hostname` $MOUNT2
 421     return 0
 422
 423 }
 424 run_test 16 "fail MDS during recovery (3571)"
 425
 426 test_17() {
 427     createmany -o $MOUNT1/$tfile- 25
 428     createmany -o $MOUNT2/$tfile-2- 1
 429
 430     # Make sure the disconnect is lost
 431     replay_barrier ost
 432     umount $MOUNT2
 433
 434     facet_failover ost
 435     sleep $TIMEOUT
 436     facet_failover ost
 437     df $MOUNT || return 1
 438
 439     unlinkmany $MOUNT1/$tfile- 25 || return 2
 440
 441     zconf_mount `hostname` $MOUNT2
 442     return 0
 443
 444 }
 445 run_test 17 "fail OST during recovery (3571)"
 446
 447 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 448 export NOW=0
 449
 450 test_18() { # bug 3822 - evicting client with enqueued lock
 451    #set -vx
 452    mkdir -p $MOUNT1/$tdir
 453    touch $MOUNT1/$tdir/f0
 454 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 455    statmany -s $MOUNT1/$tdir/f 1 500 &
 456    OPENPID=$!
 457    NOW=`date +%s`
 458    do_facet mds sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 459    sleep 1
 460 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 461    do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 462    cancel_lru_locks mdc
 463    usleep 500 # wait to ensure first client is one that will be evicted
 464    openfile -f O_RDONLY $MOUNT2/$tdir/f0
 465    wait $OPENPID
 466    dmesg | grep "entering recovery in server" && \
 467       error "client not evicted" || true
 468 }
 469 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 470
 471 if [ "$ONLY" != "setup" ]; then
 472    equals_msg test complete, cleaning up
 473    SLEEP=$((`date +%s` - $NOW))
 474    [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 475    FORCE=--force $CLEANUP
 476 fi