lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  6088 10124 10800
   6 ALWAYS_EXCEPT="8    15c   17    $REPLAY_DUAL_EXCEPT"
   7
   8 #
   9 [ "$SLOW" = "no" ] && EXCEPT_SLOW="1 2 3 4 5 14"
  10
  11 SAVE_PWD=$PWD
  12 PTLDEBUG=${PTLDEBUG:--1}
  13 LUSTRE=${LUSTRE:-`dirname $0`/..}
  14 SETUP=${SETUP:-""}
  15 CLEANUP=${CLEANUP:-""}
  16 MOUNT_2=${MOUNT_2:-"yes"}
  17 . $LUSTRE/tests/test-framework.sh
  18
  19 init_test_env $@
  20
  21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  22
  23
  24 build_test_filter
  25
  26 cleanup_and_setup_lustre
  27 rm -rf $DIR/[df][0-9]*
  28
  29 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  30
  31 test_1() {
  32     touch $MOUNT1/a
  33     replay_barrier $SINGLEMDS
  34     touch $MOUNT2/b
  35
  36     fail $SINGLEMDS
  37     checkstat $MOUNT2/a || return 1
  38     checkstat $MOUNT1/b || return 2
  39     rm $MOUNT2/a $MOUNT1/b
  40     checkstat $MOUNT1/a && return 3
  41     checkstat $MOUNT2/b && return 4
  42     return 0
  43 }
  44
  45 run_test 1 "|X| simple create"
  46
  47
  48 test_2() {
  49     replay_barrier $SINGLEMDS
  50     mkdir $MOUNT1/adir
  51
  52     fail $SINGLEMDS
  53     checkstat $MOUNT2/adir || return 1
  54     rmdir $MOUNT2/adir
  55     checkstat $MOUNT2/adir && return 2
  56     return 0
  57 }
  58 run_test 2 "|X| mkdir adir"
  59
  60 test_3() {
  61     replay_barrier $SINGLEMDS
  62     mkdir $MOUNT1/adir
  63     mkdir $MOUNT2/adir/bdir
  64
  65     fail $SINGLEMDS
  66     checkstat $MOUNT2/adir      || return 1
  67     checkstat $MOUNT1/adir/bdir || return 2
  68     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  69     checkstat $MOUNT1/adir      && return 3
  70     checkstat $MOUNT2/adir/bdir && return 4
  71     return 0
  72 }
  73 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  74
  75 test_4() {
  76     mkdir $MOUNT1/adir
  77     replay_barrier $SINGLEMDS
  78     mkdir $MOUNT1/adir  && return 1
  79     mkdir $MOUNT2/adir/bdir
  80
  81     fail $SINGLEMDS
  82     checkstat $MOUNT2/adir      || return 2
  83     checkstat $MOUNT1/adir/bdir || return 3
  84
  85     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  86     checkstat $MOUNT1/adir      && return 4
  87     checkstat $MOUNT2/adir/bdir && return 5
  88     return 0
  89 }
  90 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
  91
  92
  93 test_5() {
  94     # multiclient version of replay_single.sh/test_8
  95     mcreate $MOUNT1/a
  96     multiop $MOUNT2/a o_tSc &
  97     pid=$!
  98     # give multiop a chance to open
  99     sleep 1
 100     rm -f $MOUNT1/a
 101     replay_barrier $SINGLEMDS
 102     kill -USR1 $pid
 103     wait $pid || return 1
 104
 105     fail $SINGLEMDS
 106     [ -e $MOUNT2/a ] && return 2
 107     return 0
 108 }
 109 run_test 5 "open, unlink |X| close"
 110
 111
 112 test_6() {
 113     mcreate $MOUNT1/a
 114     multiop $MOUNT2/a o_c &
 115     pid1=$!
 116     multiop $MOUNT1/a o_c &
 117     pid2=$!
 118     # give multiop a chance to open
 119     sleep 1
 120     rm -f $MOUNT1/a
 121     replay_barrier $SINGLEMDS
 122     kill -USR1 $pid1
 123     wait $pid1 || return 1
 124
 125     fail $SINGLEMDS
 126     kill -USR1 $pid2
 127     wait $pid2 || return 1
 128     [ -e $MOUNT2/a ] && return 2
 129     return 0
 130 }
 131 run_test 6 "open1, open2, unlink |X| close1 [fail $SINGLEMDS] close2"
 132
 133 test_8() {
 134     replay_barrier $SINGLEMDS
 135     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 136     fail $SINGLEMDS
 137     checkstat $MOUNT2/$tfile || return 2
 138     rm $MOUNT1/$tfile || return 3
 139
 140     return 0
 141 }
 142 run_test 8 "replay of resent request"
 143
 144 test_9() {
 145     replay_barrier $SINGLEMDS
 146     mcreate $MOUNT1/$tfile-1
 147     mcreate $MOUNT2/$tfile-2
 148     # drop first reint reply
 149     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 150     fail $SINGLEMDS
 151     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 152
 153     rm $MOUNT1/$tfile-[1,2] || return 1
 154
 155     return 0
 156 }
 157 run_test 9 "resending a replayed create"
 158
 159 test_10() {
 160     mcreate $MOUNT1/$tfile-1
 161     replay_barrier $SINGLEMDS
 162     munlink $MOUNT1/$tfile-1
 163     mcreate $MOUNT2/$tfile-2
 164     # drop first reint reply
 165     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 166     fail $SINGLEMDS
 167     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 168
 169     checkstat $MOUNT1/$tfile-1 && return 1
 170     checkstat $MOUNT1/$tfile-2 || return 2
 171     rm $MOUNT1/$tfile-2
 172
 173     return 0
 174 }
 175 run_test 10 "resending a replayed unlink"
 176
 177 test_11() {
 178     replay_barrier $SINGLEMDS
 179     mcreate $MOUNT1/$tfile-1
 180     mcreate $MOUNT2/$tfile-2
 181     mcreate $MOUNT1/$tfile-3
 182     mcreate $MOUNT2/$tfile-4
 183     mcreate $MOUNT1/$tfile-5
 184     # drop all reint replies for a while
 185     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x0119
 186     # note that with this fail_loc set, facet_failover df will fail
 187     facet_failover $SINGLEMDS
 188     #sleep for while, let both clients reconnect and timeout
 189     sleep $((TIMEOUT * 2))
 190     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 191
 192     rm $MOUNT1/$tfile-[1-5] || return 1
 193
 194     return 0
 195 }
 196 run_test 11 "both clients timeout during replay"
 197
 198 test_12() {
 199     replay_barrier $SINGLEMDS
 200
 201     multiop $DIR/$tfile mo_c &
 202     MULTIPID=$!
 203     sleep 5
 204
 205 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 206     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000302
 207     facet_failover $SINGLEMDS
 208     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 209     df $MOUNT || return 1
 210
 211     ls $DIR/$tfile
 212     kill -USR1 $MULTIPID || return 3
 213     wait $MULTIPID || return 4
 214     $CHECKSTAT -t file $DIR/$tfile || return 2
 215     rm $DIR/$tfile
 216
 217     return 0
 218 }
 219 run_test 12 "open resend timeout"
 220
 221 test_13() {
 222     multiop $DIR/$tfile mo_c &
 223     MULTIPID=$!
 224     sleep 5
 225
 226     replay_barrier $SINGLEMDS
 227
 228     kill -USR1 $MULTIPID || return 3
 229     wait $MULTIPID || return 4
 230
 231     # drop close
 232     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000115
 233     facet_failover $SINGLEMDS
 234     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 235     df $MOUNT || return 1
 236
 237     ls $DIR/$tfile
 238     $CHECKSTAT -t file $DIR/$tfile || return 2
 239     rm $DIR/$tfile
 240
 241     return 0
 242 }
 243 run_test 13 "close resend timeout"
 244
 245 test_14() {
 246     replay_barrier $SINGLEMDS
 247     createmany -o $MOUNT1/$tfile- 25
 248     createmany -o $MOUNT2/$tfile-2- 1
 249     createmany -o $MOUNT1/$tfile-3- 25
 250     umount $MOUNT2
 251
 252     facet_failover $SINGLEMDS
 253     # expect failover to fail due to missing client 2
 254     df $MOUNT && return 1
 255     sleep 1
 256
 257     # first 25 files should have been replayed
 258     unlinkmany $MOUNT1/$tfile- 25 || return 2
 259
 260     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 261     return 0
 262 }
 263 run_test 14 "timeouts waiting for lost client during replay"
 264
 265 test_15() {
 266     replay_barrier $SINGLEMDS
 267     createmany -o $MOUNT1/$tfile- 25
 268     createmany -o $MOUNT2/$tfile-2- 1
 269     umount $MOUNT2
 270
 271     facet_failover $SINGLEMDS
 272     df $MOUNT || return 1
 273
 274     unlinkmany $MOUNT1/$tfile- 25 || return 2
 275     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 276
 277     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 278     return 0
 279 }
 280 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 281
 282 test_15a() {
 283     local ost_last_id=""
 284     local osc_last_id=""
 285
 286     replay_barrier $SINGLEMDS
 287     echo "data" > "$MOUNT2/${tfile}-m2"
 288
 289     umount $MOUNT2
 290     facet_failover $SINGLEMDS
 291     df $MOUNT || return 1
 292
 293     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 294     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 295
 296     echo "Ids after MDS<->OST synchonizing"
 297     echo "--------------------------------"
 298     echo "MDS last_id:"
 299     echo $mds_last_id
 300     echo "OST last_id:"
 301     echo $ost_last_id
 302
 303     local i=0
 304     echo $ost_last_id | while read id; do
 305         ost_ids[$i]=$id
 306         ((i++))
 307     done
 308
 309     i=0
 310     echo $mds_last_id | while read id; do
 311         mds_ids[$i]=$id
 312         ((i++))
 313     done
 314
 315     local arr_len=${#mds_ids[*]}
 316     for ((i=0;i<$arr_len;i++)); do
 317             mds_id=${mds_ids[i]}
 318             ost_id=${ost_ids[i]}
 319
 320             test $mds_id -ge $ost_id || {
 321                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 322                 return 2
 323             }
 324     done
 325
 326     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 327     return 0
 328 }
 329 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 330
 331 test_15b() {
 332     replay_barrier $SINGLEMDS
 333     echo "data" > "$MOUNT2/${tfile}-m2"
 334     umount $MOUNT2
 335
 336     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 337     facet_failover $SINGLEMDS
 338
 339     df $MOUNT || return 1
 340     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 341
 342     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 343     return 0
 344 }
 345 #CROW run_test 15b "multiple delayed OST clear orphans"
 346
 347 test_15c() {
 348     replay_barrier $SINGLEMDS
 349     for ((i = 0; i < 2000; i++)); do
 350         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 351     done
 352
 353     umount $MOUNT2
 354     facet_failover $SINGLEMDS
 355
 356     df $MOUNT || return 1
 357
 358     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 359     return 0
 360 }
 361 run_test 15c "remove multiple OST orphans"
 362
 363 test_16() {
 364     replay_barrier $SINGLEMDS
 365     createmany -o $MOUNT1/$tfile- 25
 366     createmany -o $MOUNT2/$tfile-2- 1
 367     umount $MOUNT2
 368
 369     facet_failover $SINGLEMDS
 370     sleep $TIMEOUT
 371     facet_failover $SINGLEMDS
 372     df $MOUNT || return 1
 373
 374     unlinkmany $MOUNT1/$tfile- 25 || return 2
 375
 376     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 377     return 0
 378
 379 }
 380 run_test 16 "fail MDS during recovery (3571)"
 381
 382 test_17() {
 383     createmany -o $MOUNT1/$tfile- 25
 384     createmany -o $MOUNT2/$tfile-2- 1
 385
 386     # Make sure the disconnect is lost
 387     replay_barrier ost1
 388     umount $MOUNT2
 389
 390     facet_failover ost1
 391     sleep $TIMEOUT
 392     facet_failover ost1
 393     df $MOUNT || return 1
 394
 395     unlinkmany $MOUNT1/$tfile- 25 || return 2
 396
 397     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 398     return 0
 399
 400 }
 401 run_test 17 "fail OST during recovery (3571)"
 402
 403 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 404 export NOW=0
 405
 406 test_18() { # bug 3822 - evicting client with enqueued lock
 407     #set -vx
 408     mkdir -p $MOUNT1/$tdir
 409     touch $MOUNT1/$tdir/f0
 410 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 411     statmany -s $MOUNT1/$tdir/f 1 500 &
 412     OPENPID=$!
 413     NOW=`date +%s`
 414     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 415     sleep 1
 416 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 417     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 418     cancel_lru_locks mdc
 419     usleep 500 # wait to ensure first client is one that will be evicted
 420     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 421     wait $OPENPID
 422     dmesg | grep "entering recovery in server" && \
 423         error "client not evicted" || true
 424     do_facet client "sysctl -w lustre.fail_loc=0"
 425     do_facet $SINGLEMDS "sysctl -w lustre.fail_loc=0"
 426 }
 427 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 428
 429 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 430     replay_barrier $SINGLEMDS
 431     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 432     fail $SINGLEMDS
 433     checkstat $DIR2/${tfile}0 || return 2
 434     rm $DIR/${tfile}0 || return 3
 435
 436     return 0
 437 }
 438 run_test 19 "resend of open request"
 439
 440 equals_msg `basename $0`: test complete, cleaning up
 441 SLEEP=$((`date +%s` - $NOW))
 442 [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 443 check_and_cleanup_lustre
 444 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true
 445