lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  10124
   6 ALWAYS_EXCEPT="15c   $REPLAY_DUAL_EXCEPT"
   7
   8 #
   9 [ "$SLOW" = "no" ] && EXCEPT_SLOW="1 2 3 4 5 14"
  10
  11 SAVE_PWD=$PWD
  12 PTLDEBUG=${PTLDEBUG:--1}
  13 LUSTRE=${LUSTRE:-`dirname $0`/..}
  14 SETUP=${SETUP:-""}
  15 CLEANUP=${CLEANUP:-""}
  16 MOUNT_2=${MOUNT_2:-"yes"}
  17 . $LUSTRE/tests/test-framework.sh
  18
  19 init_test_env $@
  20
  21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  22
  23
  24 build_test_filter
  25
  26 cleanup_and_setup_lustre
  27 rm -rf $DIR/${TESTSUITE}/[df][0-9]* # bug 13798 new t-f tdir staff
  28 rm -rf $DIR/[df][0-9]*
  29
  30 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  31
  32 test_1() {
  33     touch $MOUNT1/a
  34     replay_barrier mds
  35     touch $MOUNT2/b
  36
  37     fail mds
  38     checkstat $MOUNT2/a || return 1
  39     checkstat $MOUNT1/b || return 2
  40     rm $MOUNT2/a $MOUNT1/b
  41     checkstat $MOUNT1/a && return 3
  42     checkstat $MOUNT2/b && return 4
  43     return 0
  44 }
  45
  46 run_test 1 "|X| simple create"
  47
  48
  49 test_2() {
  50     replay_barrier mds
  51     mkdir $MOUNT1/adir
  52
  53     fail mds
  54     checkstat $MOUNT2/adir || return 1
  55     rmdir $MOUNT2/adir
  56     checkstat $MOUNT2/adir && return 2
  57     return 0
  58 }
  59 run_test 2 "|X| mkdir adir"
  60
  61 test_3() {
  62     replay_barrier mds
  63     mkdir $MOUNT1/adir
  64     mkdir $MOUNT2/adir/bdir
  65
  66     fail mds
  67     checkstat $MOUNT2/adir      || return 1
  68     checkstat $MOUNT1/adir/bdir || return 2
  69     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  70     checkstat $MOUNT1/adir      && return 3
  71     checkstat $MOUNT2/adir/bdir && return 4
  72     return 0
  73 }
  74 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  75
  76 test_4() {
  77     mkdir $MOUNT1/adir
  78     replay_barrier mds
  79     mkdir $MOUNT1/adir  && return 1
  80     mkdir $MOUNT2/adir/bdir
  81
  82     fail mds
  83     checkstat $MOUNT2/adir      || return 2
  84     checkstat $MOUNT1/adir/bdir || return 3
  85
  86     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  87     checkstat $MOUNT1/adir      && return 4
  88     checkstat $MOUNT2/adir/bdir && return 5
  89     return 0
  90 }
  91 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
  92
  93
  94 test_5() {
  95     # multiclient version of replay_single.sh/test_8
  96     mcreate $MOUNT1/a
  97     multiop $MOUNT2/a o_tSc &
  98     pid=$!
  99     # give multiop a chance to open
 100     sleep 1
 101     rm -f $MOUNT1/a
 102     replay_barrier mds
 103     kill -USR1 $pid
 104     wait $pid || return 1
 105
 106     fail mds
 107     [ -e $MOUNT2/a ] && return 2
 108     return 0
 109 }
 110 run_test 5 "open, unlink |X| close"
 111
 112
 113 test_6() {
 114     mcreate $MOUNT1/a
 115     multiop $MOUNT2/a o_c &
 116     pid1=$!
 117     multiop $MOUNT1/a o_c &
 118     pid2=$!
 119     # give multiop a chance to open
 120     sleep 1
 121     rm -f $MOUNT1/a
 122     replay_barrier mds
 123     kill -USR1 $pid1
 124     wait $pid1 || return 1
 125
 126     fail mds
 127     kill -USR1 $pid2
 128     wait $pid2 || return 1
 129     [ -e $MOUNT2/a ] && return 2
 130     return 0
 131 }
 132 run_test 6 "open1, open2, unlink |X| close1 [fail mds] close2"
 133
 134 test_8() {
 135     replay_barrier mds
 136     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 137     fail mds
 138     checkstat $MOUNT2/$tfile || return 2
 139     rm $MOUNT1/$tfile || return 3
 140
 141     return 0
 142 }
 143 run_test 8 "replay of resent request"
 144
 145 test_9() {
 146     replay_barrier mds
 147     mcreate $MOUNT1/$tfile-1
 148     mcreate $MOUNT2/$tfile-2
 149     # drop first reint reply
 150     do_facet mds sysctl -w lustre.fail_loc=0x80000119
 151     fail mds
 152     do_facet mds sysctl -w lustre.fail_loc=0
 153
 154     rm $MOUNT1/$tfile-[1,2] || return 1
 155
 156     return 0
 157 }
 158 run_test 9 "resending a replayed create"
 159
 160 test_10() {
 161     mcreate $MOUNT1/$tfile-1
 162     replay_barrier mds
 163     munlink $MOUNT1/$tfile-1
 164     mcreate $MOUNT2/$tfile-2
 165     # drop first reint reply
 166     do_facet mds sysctl -w lustre.fail_loc=0x80000119
 167     fail mds
 168     do_facet mds sysctl -w lustre.fail_loc=0
 169
 170     checkstat $MOUNT1/$tfile-1 && return 1
 171     checkstat $MOUNT1/$tfile-2 || return 2
 172     rm $MOUNT1/$tfile-2
 173
 174     return 0
 175 }
 176 run_test 10 "resending a replayed unlink"
 177
 178 test_11() {
 179     replay_barrier mds
 180     mcreate $MOUNT1/$tfile-1
 181     mcreate $MOUNT2/$tfile-2
 182     mcreate $MOUNT1/$tfile-3
 183     mcreate $MOUNT2/$tfile-4
 184     mcreate $MOUNT1/$tfile-5
 185     # drop all reint replies for a while
 186     do_facet mds sysctl -w lustre.fail_loc=0x0119
 187     # note that with this fail_loc set, facet_failover df will fail
 188     facet_failover mds
 189     #sleep for while, let both clients reconnect and timeout
 190     sleep $((TIMEOUT * 2))
 191     do_facet mds sysctl -w lustre.fail_loc=0
 192     client_df
 193     while [ -z "$(ls $MOUNT1/$tfile-[1-5] 2>/dev/null)" ]; do
 194         sleep 5
 195         echo -n "."
 196     done
 197     ls $MOUNT1/$tfile-[1-5]
 198     rm $MOUNT1/$tfile-[1-5] || return 1
 199
 200     return 0
 201 }
 202 run_test 11 "both clients timeout during replay"
 203
 204 test_12() {
 205     replay_barrier mds
 206
 207     multiop $DIR/$tfile mo_c &
 208     MULTIPID=$!
 209     sleep 5
 210
 211 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 212     do_facet mds sysctl -w lustre.fail_loc=0x80000302
 213     facet_failover mds
 214     do_facet mds sysctl -w lustre.fail_loc=0
 215     df $MOUNT || { kill -USR1 $MULTIPID  && return 1; }
 216
 217     ls $DIR/$tfile
 218     kill -USR1 $MULTIPID || return 3
 219     wait $MULTIPID || return 4
 220     $CHECKSTAT -t file $DIR/$tfile || return 2
 221     rm $DIR/$tfile
 222
 223     return 0
 224 }
 225 run_test 12 "open resend timeout"
 226
 227 test_13() {
 228     multiop $DIR/$tfile mo_c &
 229     MULTIPID=$!
 230     sleep 5
 231
 232     replay_barrier mds
 233
 234     kill -USR1 $MULTIPID || return 3
 235     wait $MULTIPID || return 4
 236
 237     # drop close
 238     do_facet mds sysctl -w lustre.fail_loc=0x80000115
 239     facet_failover mds
 240     do_facet mds sysctl -w lustre.fail_loc=0
 241     df $MOUNT || return 1
 242
 243     ls $DIR/$tfile
 244     $CHECKSTAT -t file $DIR/$tfile || return 2
 245     rm $DIR/$tfile
 246
 247     return 0
 248 }
 249 run_test 13 "close resend timeout"
 250
 251 test_14() {
 252     replay_barrier mds
 253     createmany -o $MOUNT1/$tfile- 25
 254     createmany -o $MOUNT2/$tfile-2- 1
 255     createmany -o $MOUNT1/$tfile-3- 25
 256     umount $MOUNT2
 257
 258     facet_failover mds
 259     # expect recovery to fail due to missing client 2
 260     df $MOUNT && return 1
 261     sleep 1
 262
 263     # first 25 files should have been replayed
 264     unlinkmany $MOUNT1/$tfile- 25 || return 2
 265
 266     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 267     return 0
 268 }
 269 run_test 14 "timeouts waiting for lost client during replay"
 270
 271 test_15() {
 272     replay_barrier mds
 273     createmany -o $MOUNT1/$tfile- 25
 274     createmany -o $MOUNT2/$tfile-2- 1
 275     umount $MOUNT2
 276
 277     facet_failover mds
 278     df $MOUNT || return 1
 279
 280     unlinkmany $MOUNT1/$tfile- 25 || return 2
 281     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 282
 283     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 284     return 0
 285 }
 286 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 287
 288 test_15a() {
 289     local ost_last_id=""
 290     local osc_last_id=""
 291
 292     replay_barrier mds
 293     echo "data" > "$MOUNT2/${tfile}-m2"
 294
 295     umount $MOUNT2
 296     facet_failover mds
 297     df $MOUNT || return 1
 298
 299     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 300     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 301
 302     echo "Ids after MDS<->OST synchonizing"
 303     echo "--------------------------------"
 304     echo "MDS last_id:"
 305     echo $mds_last_id
 306     echo "OST last_id:"
 307     echo $ost_last_id
 308
 309     local i=0
 310     echo $ost_last_id | while read id; do
 311         ost_ids[$i]=$id
 312         ((i++))
 313     done
 314
 315     i=0
 316     echo $mds_last_id | while read id; do
 317         mds_ids[$i]=$id
 318         ((i++))
 319     done
 320
 321     local arr_len=${#mds_ids[*]}
 322     for ((i=0;i<$arr_len;i++)); do
 323             mds_id=${mds_ids[i]}
 324             ost_id=${ost_ids[i]}
 325
 326             test $mds_id -ge $ost_id || {
 327                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 328                 return 2
 329             }
 330     done
 331
 332     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 333     return 0
 334 }
 335 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 336
 337 test_15b() {
 338     replay_barrier mds
 339     echo "data" > "$MOUNT2/${tfile}-m2"
 340     umount $MOUNT2
 341
 342     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 343     facet_failover mds
 344
 345     df $MOUNT || return 1
 346     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 347
 348     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 349     return 0
 350 }
 351 #CROW run_test 15b "multiple delayed OST clear orphans"
 352
 353 test_15c() {
 354     replay_barrier mds
 355     for ((i = 0; i < 2000; i++)); do
 356         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 357     done
 358
 359     umount $MOUNT2
 360     facet_failover mds
 361
 362     df $MOUNT || return 1
 363
 364     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 365     return 0
 366 }
 367 run_test 15c "remove multiple OST orphans"
 368
 369 test_16() {
 370     replay_barrier mds
 371     createmany -o $MOUNT1/$tfile- 25
 372     createmany -o $MOUNT2/$tfile-2- 1
 373     umount $MOUNT2
 374
 375     facet_failover mds
 376     sleep $TIMEOUT
 377     facet_failover mds
 378     df $MOUNT || return 1
 379
 380     unlinkmany $MOUNT1/$tfile- 25 || return 2
 381
 382     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 383     return 0
 384
 385 }
 386 run_test 16 "fail MDS during recovery (3571)"
 387
 388 test_17() {
 389     createmany -o $MOUNT1/$tfile- 25
 390     createmany -o $MOUNT2/$tfile-2- 1
 391
 392     # Make sure the disconnect is lost
 393     replay_barrier ost1
 394     umount $MOUNT2
 395
 396     facet_failover ost1
 397     sleep $TIMEOUT
 398     facet_failover ost1
 399     df $MOUNT || return 1
 400
 401     unlinkmany $MOUNT1/$tfile- 25 || return 2
 402
 403     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 404     return 0
 405
 406 }
 407 run_test 17 "fail OST during recovery (3571)"
 408
 409 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 410 export NOW=0
 411
 412 test_18() { # bug 3822 - evicting client with enqueued lock
 413     #set -vx
 414     mkdir -p $MOUNT1/$tdir
 415     touch $MOUNT1/$tdir/f0
 416 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 417     statmany -s $MOUNT1/$tdir/f 1 500 &
 418     OPENPID=$!
 419     NOW=`date +%s`
 420     do_facet mds sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 421     sleep 1
 422 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 423     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 424     cancel_lru_locks mdc
 425     sleep 0.500s # wait to ensure first client is one that will be evicted
 426     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 427     wait $OPENPID
 428     dmesg | grep "entering recovery in server" && \
 429         error "client not evicted" || true
 430 }
 431 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 432
 433 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 434     replay_barrier mds
 435     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 436     fail mds
 437     checkstat $DIR2/${tfile}0 || return 2
 438     rm $DIR/${tfile}0 || return 3
 439
 440     return 0
 441 }
 442 run_test 19 "resend of open request"
 443
 444 equals_msg `basename $0`: test complete, cleaning up
 445 SLEEP=$((`date +%s` - $NOW))
 446 [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 447 check_and_cleanup_lustre
 448 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true