lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  6088 10124 10800
   6 ALWAYS_EXCEPT="8    15c   17    $REPLAY_DUAL_EXCEPT"
   7
   8 #
   9 [ "$SLOW" = "no" ] && EXCEPT_SLOW="1 2 3 4 5 14"
  10
  11 SAVE_PWD=$PWD
  12 PTLDEBUG=${PTLDEBUG:--1}
  13 LUSTRE=${LUSTRE:-`dirname $0`/..}
  14 SETUP=${SETUP:-""}
  15 CLEANUP=${CLEANUP:-""}
  16 MOUNT_2=${MOUNT_2:-"yes"}
  17 . $LUSTRE/tests/test-framework.sh
  18
  19 init_test_env $@
  20
  21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  22
  23
  24 build_test_filter
  25
  26 cleanup_and_setup_lustre
  27 rm -rf $DIR/${TESTSUITE}/[df][0-9]* # bug 13798 new t-f tdir staff
  28 rm -rf $DIR/[df][0-9]*
  29
  30 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  31
  32 test_1() {
  33     touch $MOUNT1/a
  34     replay_barrier $SINGLEMDS
  35     touch $MOUNT2/b
  36
  37     fail $SINGLEMDS
  38     checkstat $MOUNT2/a || return 1
  39     checkstat $MOUNT1/b || return 2
  40     rm $MOUNT2/a $MOUNT1/b
  41     checkstat $MOUNT1/a && return 3
  42     checkstat $MOUNT2/b && return 4
  43     return 0
  44 }
  45
  46 run_test 1 "|X| simple create"
  47
  48
  49 test_2() {
  50     replay_barrier $SINGLEMDS
  51     mkdir $MOUNT1/adir
  52
  53     fail $SINGLEMDS
  54     checkstat $MOUNT2/adir || return 1
  55     rmdir $MOUNT2/adir
  56     checkstat $MOUNT2/adir && return 2
  57     return 0
  58 }
  59 run_test 2 "|X| mkdir adir"
  60
  61 test_3() {
  62     replay_barrier $SINGLEMDS
  63     mkdir $MOUNT1/adir
  64     mkdir $MOUNT2/adir/bdir
  65
  66     fail $SINGLEMDS
  67     checkstat $MOUNT2/adir      || return 1
  68     checkstat $MOUNT1/adir/bdir || return 2
  69     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  70     checkstat $MOUNT1/adir      && return 3
  71     checkstat $MOUNT2/adir/bdir && return 4
  72     return 0
  73 }
  74 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  75
  76 test_4() {
  77     mkdir $MOUNT1/adir
  78     replay_barrier $SINGLEMDS
  79     mkdir $MOUNT1/adir  && return 1
  80     mkdir $MOUNT2/adir/bdir
  81
  82     fail $SINGLEMDS
  83     checkstat $MOUNT2/adir      || return 2
  84     checkstat $MOUNT1/adir/bdir || return 3
  85
  86     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  87     checkstat $MOUNT1/adir      && return 4
  88     checkstat $MOUNT2/adir/bdir && return 5
  89     return 0
  90 }
  91 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
  92
  93
  94 test_5() {
  95     # multiclient version of replay_single.sh/test_8
  96     mcreate $MOUNT1/a
  97     multiop $MOUNT2/a o_tSc &
  98     pid=$!
  99     # give multiop a chance to open
 100     sleep 1
 101     rm -f $MOUNT1/a
 102     replay_barrier $SINGLEMDS
 103     kill -USR1 $pid
 104     wait $pid || return 1
 105
 106     fail $SINGLEMDS
 107     [ -e $MOUNT2/a ] && return 2
 108     return 0
 109 }
 110 run_test 5 "open, unlink |X| close"
 111
 112
 113 test_6() {
 114     mcreate $MOUNT1/a
 115     multiop $MOUNT2/a o_c &
 116     pid1=$!
 117     multiop $MOUNT1/a o_c &
 118     pid2=$!
 119     # give multiop a chance to open
 120     sleep 1
 121     rm -f $MOUNT1/a
 122     replay_barrier $SINGLEMDS
 123     kill -USR1 $pid1
 124     wait $pid1 || return 1
 125
 126     fail $SINGLEMDS
 127     kill -USR1 $pid2
 128     wait $pid2 || return 1
 129     [ -e $MOUNT2/a ] && return 2
 130     return 0
 131 }
 132 run_test 6 "open1, open2, unlink |X| close1 [fail $SINGLEMDS] close2"
 133
 134 test_8() {
 135     replay_barrier $SINGLEMDS
 136     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 137     fail $SINGLEMDS
 138     checkstat $MOUNT2/$tfile || return 2
 139     rm $MOUNT1/$tfile || return 3
 140
 141     return 0
 142 }
 143 run_test 8 "replay of resent request"
 144
 145 test_9() {
 146     replay_barrier $SINGLEMDS
 147     mcreate $MOUNT1/$tfile-1
 148     mcreate $MOUNT2/$tfile-2
 149     # drop first reint reply
 150     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 151     fail $SINGLEMDS
 152     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 153
 154     rm $MOUNT1/$tfile-[1,2] || return 1
 155
 156     return 0
 157 }
 158 run_test 9 "resending a replayed create"
 159
 160 test_10() {
 161     mcreate $MOUNT1/$tfile-1
 162     replay_barrier $SINGLEMDS
 163     munlink $MOUNT1/$tfile-1
 164     mcreate $MOUNT2/$tfile-2
 165     # drop first reint reply
 166     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 167     fail $SINGLEMDS
 168     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 169
 170     checkstat $MOUNT1/$tfile-1 && return 1
 171     checkstat $MOUNT1/$tfile-2 || return 2
 172     rm $MOUNT1/$tfile-2
 173
 174     return 0
 175 }
 176 run_test 10 "resending a replayed unlink"
 177
 178 test_11() {
 179     replay_barrier $SINGLEMDS
 180     mcreate $MOUNT1/$tfile-1
 181     mcreate $MOUNT2/$tfile-2
 182     mcreate $MOUNT1/$tfile-3
 183     mcreate $MOUNT2/$tfile-4
 184     mcreate $MOUNT1/$tfile-5
 185     # drop all reint replies for a while
 186     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x0119
 187     # note that with this fail_loc set, facet_failover df will fail
 188     facet_failover $SINGLEMDS
 189     #sleep for while, let both clients reconnect and timeout
 190     sleep $((TIMEOUT * 2))
 191     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 192
 193     rm $MOUNT1/$tfile-[1-5] || return 1
 194
 195     return 0
 196 }
 197 run_test 11 "both clients timeout during replay"
 198
 199 test_12() {
 200     replay_barrier $SINGLEMDS
 201
 202     multiop $DIR/$tfile mo_c &
 203     MULTIPID=$!
 204     sleep 5
 205
 206 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 207     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000302
 208     facet_failover $SINGLEMDS
 209     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 210     df $MOUNT || return 1
 211
 212     ls $DIR/$tfile
 213     kill -USR1 $MULTIPID || return 3
 214     wait $MULTIPID || return 4
 215     $CHECKSTAT -t file $DIR/$tfile || return 2
 216     rm $DIR/$tfile
 217
 218     return 0
 219 }
 220 run_test 12 "open resend timeout"
 221
 222 test_13() {
 223     multiop $DIR/$tfile mo_c &
 224     MULTIPID=$!
 225     sleep 5
 226
 227     replay_barrier $SINGLEMDS
 228
 229     kill -USR1 $MULTIPID || return 3
 230     wait $MULTIPID || return 4
 231
 232     # drop close
 233     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000115
 234     facet_failover $SINGLEMDS
 235     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 236     df $MOUNT || return 1
 237
 238     ls $DIR/$tfile
 239     $CHECKSTAT -t file $DIR/$tfile || return 2
 240     rm $DIR/$tfile
 241
 242     return 0
 243 }
 244 run_test 13 "close resend timeout"
 245
 246 test_14() {
 247     replay_barrier $SINGLEMDS
 248     createmany -o $MOUNT1/$tfile- 25
 249     createmany -o $MOUNT2/$tfile-2- 1
 250     createmany -o $MOUNT1/$tfile-3- 25
 251     umount $MOUNT2
 252
 253     facet_failover $SINGLEMDS
 254     # expect failover to fail due to missing client 2
 255     df $MOUNT && return 1
 256     sleep 1
 257
 258     # first 25 files should have been replayed
 259     unlinkmany $MOUNT1/$tfile- 25 || return 2
 260
 261     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 262     return 0
 263 }
 264 run_test 14 "timeouts waiting for lost client during replay"
 265
 266 test_15() {
 267     replay_barrier $SINGLEMDS
 268     createmany -o $MOUNT1/$tfile- 25
 269     createmany -o $MOUNT2/$tfile-2- 1
 270     umount $MOUNT2
 271
 272     facet_failover $SINGLEMDS
 273     df $MOUNT || return 1
 274
 275     unlinkmany $MOUNT1/$tfile- 25 || return 2
 276     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 277
 278     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 279     return 0
 280 }
 281 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 282
 283 test_15a() {
 284     local ost_last_id=""
 285     local osc_last_id=""
 286
 287     replay_barrier $SINGLEMDS
 288     echo "data" > "$MOUNT2/${tfile}-m2"
 289
 290     umount $MOUNT2
 291     facet_failover $SINGLEMDS
 292     df $MOUNT || return 1
 293
 294     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 295     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 296
 297     echo "Ids after MDS<->OST synchonizing"
 298     echo "--------------------------------"
 299     echo "MDS last_id:"
 300     echo $mds_last_id
 301     echo "OST last_id:"
 302     echo $ost_last_id
 303
 304     local i=0
 305     echo $ost_last_id | while read id; do
 306         ost_ids[$i]=$id
 307         ((i++))
 308     done
 309
 310     i=0
 311     echo $mds_last_id | while read id; do
 312         mds_ids[$i]=$id
 313         ((i++))
 314     done
 315
 316     local arr_len=${#mds_ids[*]}
 317     for ((i=0;i<$arr_len;i++)); do
 318             mds_id=${mds_ids[i]}
 319             ost_id=${ost_ids[i]}
 320
 321             test $mds_id -ge $ost_id || {
 322                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 323                 return 2
 324             }
 325     done
 326
 327     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 328     return 0
 329 }
 330 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 331
 332 test_15b() {
 333     replay_barrier $SINGLEMDS
 334     echo "data" > "$MOUNT2/${tfile}-m2"
 335     umount $MOUNT2
 336
 337     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 338     facet_failover $SINGLEMDS
 339
 340     df $MOUNT || return 1
 341     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 342
 343     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 344     return 0
 345 }
 346 #CROW run_test 15b "multiple delayed OST clear orphans"
 347
 348 test_15c() {
 349     replay_barrier $SINGLEMDS
 350     for ((i = 0; i < 2000; i++)); do
 351         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 352     done
 353
 354     umount $MOUNT2
 355     facet_failover $SINGLEMDS
 356
 357     df $MOUNT || return 1
 358
 359     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 360     return 0
 361 }
 362 run_test 15c "remove multiple OST orphans"
 363
 364 test_16() {
 365     replay_barrier $SINGLEMDS
 366     createmany -o $MOUNT1/$tfile- 25
 367     createmany -o $MOUNT2/$tfile-2- 1
 368     umount $MOUNT2
 369
 370     facet_failover $SINGLEMDS
 371     sleep $TIMEOUT
 372     facet_failover $SINGLEMDS
 373     df $MOUNT || return 1
 374
 375     unlinkmany $MOUNT1/$tfile- 25 || return 2
 376
 377     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 378     return 0
 379
 380 }
 381 run_test 16 "fail MDS during recovery (3571)"
 382
 383 test_17() {
 384     createmany -o $MOUNT1/$tfile- 25
 385     createmany -o $MOUNT2/$tfile-2- 1
 386
 387     # Make sure the disconnect is lost
 388     replay_barrier ost1
 389     umount $MOUNT2
 390
 391     facet_failover ost1
 392     sleep $TIMEOUT
 393     facet_failover ost1
 394     df $MOUNT || return 1
 395
 396     unlinkmany $MOUNT1/$tfile- 25 || return 2
 397
 398     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 399     return 0
 400
 401 }
 402 run_test 17 "fail OST during recovery (3571)"
 403
 404 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 405 export NOW=0
 406
 407 test_18() { # bug 3822 - evicting client with enqueued lock
 408     #set -vx
 409     mkdir -p $MOUNT1/$tdir
 410     touch $MOUNT1/$tdir/f0
 411 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 412     statmany -s $MOUNT1/$tdir/f 1 500 &
 413     OPENPID=$!
 414     NOW=`date +%s`
 415     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 416     sleep 1
 417 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 418     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 419     cancel_lru_locks mdc
 420     usleep 500 # wait to ensure first client is one that will be evicted
 421     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 422     wait $OPENPID
 423     dmesg | grep "entering recovery in server" && \
 424         error "client not evicted" || true
 425     do_facet client "sysctl -w lustre.fail_loc=0"
 426     do_facet $SINGLEMDS "sysctl -w lustre.fail_loc=0"
 427 }
 428 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 429
 430 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 431     replay_barrier $SINGLEMDS
 432     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 433     fail $SINGLEMDS
 434     checkstat $DIR2/${tfile}0 || return 2
 435     rm $DIR/${tfile}0 || return 3
 436
 437     return 0
 438 }
 439 run_test 19 "resend of open request"
 440
 441 equals_msg `basename $0`: test complete, cleaning up
 442 SLEEP=$((`date +%s` - $NOW))
 443 [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 444 check_and_cleanup_lustre
 445 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true
 446