lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  10124
   6 ALWAYS_EXCEPT="15c   $REPLAY_DUAL_EXCEPT"
   7
   8 #
   9 [ "$SLOW" = "no" ] && EXCEPT_SLOW="1 2 3 4 5 14"
  10
  11 SAVE_PWD=$PWD
  12 PTLDEBUG=${PTLDEBUG:--1}
  13 LUSTRE=${LUSTRE:-`dirname $0`/..}
  14 SETUP=${SETUP:-""}
  15 CLEANUP=${CLEANUP:-""}
  16 MOUNT_2=${MOUNT_2:-"yes"}
  17 . $LUSTRE/tests/test-framework.sh
  18
  19 init_test_env $@
  20
  21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  22
  23
  24 build_test_filter
  25
  26 cleanup_and_setup_lustre
  27 rm -rf $DIR/[df][0-9]*
  28
  29 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  30
  31 test_1() {
  32     touch $MOUNT1/a
  33     replay_barrier mds
  34     touch $MOUNT2/b
  35
  36     fail mds
  37     checkstat $MOUNT2/a || return 1
  38     checkstat $MOUNT1/b || return 2
  39     rm $MOUNT2/a $MOUNT1/b
  40     checkstat $MOUNT1/a && return 3
  41     checkstat $MOUNT2/b && return 4
  42     return 0
  43 }
  44
  45 run_test 1 "|X| simple create"
  46
  47
  48 test_2() {
  49     replay_barrier mds
  50     mkdir $MOUNT1/adir
  51
  52     fail mds
  53     checkstat $MOUNT2/adir || return 1
  54     rmdir $MOUNT2/adir
  55     checkstat $MOUNT2/adir && return 2
  56     return 0
  57 }
  58 run_test 2 "|X| mkdir adir"
  59
  60 test_3() {
  61     replay_barrier mds
  62     mkdir $MOUNT1/adir
  63     mkdir $MOUNT2/adir/bdir
  64
  65     fail mds
  66     checkstat $MOUNT2/adir      || return 1
  67     checkstat $MOUNT1/adir/bdir || return 2
  68     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  69     checkstat $MOUNT1/adir      && return 3
  70     checkstat $MOUNT2/adir/bdir && return 4
  71     return 0
  72 }
  73 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  74
  75 test_4() {
  76     mkdir $MOUNT1/adir
  77     replay_barrier mds
  78     mkdir $MOUNT1/adir  && return 1
  79     mkdir $MOUNT2/adir/bdir
  80
  81     fail mds
  82     checkstat $MOUNT2/adir      || return 2
  83     checkstat $MOUNT1/adir/bdir || return 3
  84
  85     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  86     checkstat $MOUNT1/adir      && return 4
  87     checkstat $MOUNT2/adir/bdir && return 5
  88     return 0
  89 }
  90 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
  91
  92
  93 test_5() {
  94     # multiclient version of replay_single.sh/test_8
  95     mcreate $MOUNT1/a
  96     multiop $MOUNT2/a o_tSc &
  97     pid=$!
  98     # give multiop a chance to open
  99     sleep 1
 100     rm -f $MOUNT1/a
 101     replay_barrier mds
 102     kill -USR1 $pid
 103     wait $pid || return 1
 104
 105     fail mds
 106     [ -e $MOUNT2/a ] && return 2
 107     return 0
 108 }
 109 run_test 5 "open, unlink |X| close"
 110
 111
 112 test_6() {
 113     mcreate $MOUNT1/a
 114     multiop $MOUNT2/a o_c &
 115     pid1=$!
 116     multiop $MOUNT1/a o_c &
 117     pid2=$!
 118     # give multiop a chance to open
 119     sleep 1
 120     rm -f $MOUNT1/a
 121     replay_barrier mds
 122     kill -USR1 $pid1
 123     wait $pid1 || return 1
 124
 125     fail mds
 126     kill -USR1 $pid2
 127     wait $pid2 || return 1
 128     [ -e $MOUNT2/a ] && return 2
 129     return 0
 130 }
 131 run_test 6 "open1, open2, unlink |X| close1 [fail mds] close2"
 132
 133 test_8() {
 134     replay_barrier mds
 135     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 136     fail mds
 137     checkstat $MOUNT2/$tfile || return 2
 138     rm $MOUNT1/$tfile || return 3
 139
 140     return 0
 141 }
 142 run_test 8 "replay of resent request"
 143
 144 test_9() {
 145     replay_barrier mds
 146     mcreate $MOUNT1/$tfile-1
 147     mcreate $MOUNT2/$tfile-2
 148     # drop first reint reply
 149     do_facet mds sysctl -w lustre.fail_loc=0x80000119
 150     fail mds
 151     do_facet mds sysctl -w lustre.fail_loc=0
 152
 153     rm $MOUNT1/$tfile-[1,2] || return 1
 154
 155     return 0
 156 }
 157 run_test 9 "resending a replayed create"
 158
 159 test_10() {
 160     mcreate $MOUNT1/$tfile-1
 161     replay_barrier mds
 162     munlink $MOUNT1/$tfile-1
 163     mcreate $MOUNT2/$tfile-2
 164     # drop first reint reply
 165     do_facet mds sysctl -w lustre.fail_loc=0x80000119
 166     fail mds
 167     do_facet mds sysctl -w lustre.fail_loc=0
 168
 169     checkstat $MOUNT1/$tfile-1 && return 1
 170     checkstat $MOUNT1/$tfile-2 || return 2
 171     rm $MOUNT1/$tfile-2
 172
 173     return 0
 174 }
 175 run_test 10 "resending a replayed unlink"
 176
 177 test_11() {
 178     replay_barrier mds
 179     mcreate $MOUNT1/$tfile-1
 180     mcreate $MOUNT2/$tfile-2
 181     mcreate $MOUNT1/$tfile-3
 182     mcreate $MOUNT2/$tfile-4
 183     mcreate $MOUNT1/$tfile-5
 184     # drop all reint replies for a while
 185     do_facet mds sysctl -w lustre.fail_loc=0x0119
 186     # note that with this fail_loc set, facet_failover df will fail
 187     facet_failover mds
 188     #sleep for while, let both clients reconnect and timeout
 189     sleep $((TIMEOUT * 2))
 190     do_facet mds sysctl -w lustre.fail_loc=0
 191     client_df
 192     while [ -z "$(ls $MOUNT1/$tfile-[1-5] 2>/dev/null)" ]; do
 193         sleep 5
 194         echo -n "."
 195     done
 196     ls $MOUNT1/$tfile-[1-5]
 197     rm $MOUNT1/$tfile-[1-5] || return 1
 198
 199     return 0
 200 }
 201 run_test 11 "both clients timeout during replay"
 202
 203 test_12() {
 204     replay_barrier mds
 205
 206     multiop $DIR/$tfile mo_c &
 207     MULTIPID=$!
 208     sleep 5
 209
 210 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 211     do_facet mds sysctl -w lustre.fail_loc=0x80000302
 212     facet_failover mds
 213     do_facet mds sysctl -w lustre.fail_loc=0
 214     df $MOUNT || { kill -USR1 $MULTIPID  && return 1; }
 215
 216     ls $DIR/$tfile
 217     kill -USR1 $MULTIPID || return 3
 218     wait $MULTIPID || return 4
 219     $CHECKSTAT -t file $DIR/$tfile || return 2
 220     rm $DIR/$tfile
 221
 222     return 0
 223 }
 224 run_test 12 "open resend timeout"
 225
 226 test_13() {
 227     multiop $DIR/$tfile mo_c &
 228     MULTIPID=$!
 229     sleep 5
 230
 231     replay_barrier mds
 232
 233     kill -USR1 $MULTIPID || return 3
 234     wait $MULTIPID || return 4
 235
 236     # drop close
 237     do_facet mds sysctl -w lustre.fail_loc=0x80000115
 238     facet_failover mds
 239     do_facet mds sysctl -w lustre.fail_loc=0
 240     df $MOUNT || return 1
 241
 242     ls $DIR/$tfile
 243     $CHECKSTAT -t file $DIR/$tfile || return 2
 244     rm $DIR/$tfile
 245
 246     return 0
 247 }
 248 run_test 13 "close resend timeout"
 249
 250 test_14() {
 251     replay_barrier mds
 252     createmany -o $MOUNT1/$tfile- 25
 253     createmany -o $MOUNT2/$tfile-2- 1
 254     createmany -o $MOUNT1/$tfile-3- 25
 255     umount $MOUNT2
 256
 257     facet_failover mds
 258     # expect recovery to fail due to missing client 2
 259     df $MOUNT && return 1
 260     sleep 1
 261
 262     # first 25 files should have been replayed
 263     unlinkmany $MOUNT1/$tfile- 25 || return 2
 264
 265     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 266     return 0
 267 }
 268 run_test 14 "timeouts waiting for lost client during replay"
 269
 270 test_15() {
 271     replay_barrier mds
 272     createmany -o $MOUNT1/$tfile- 25
 273     createmany -o $MOUNT2/$tfile-2- 1
 274     umount $MOUNT2
 275
 276     facet_failover mds
 277     df $MOUNT || return 1
 278
 279     unlinkmany $MOUNT1/$tfile- 25 || return 2
 280     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 281
 282     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 283     return 0
 284 }
 285 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 286
 287 test_15a() {
 288     local ost_last_id=""
 289     local osc_last_id=""
 290
 291     replay_barrier mds
 292     echo "data" > "$MOUNT2/${tfile}-m2"
 293
 294     umount $MOUNT2
 295     facet_failover mds
 296     df $MOUNT || return 1
 297
 298     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 299     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 300
 301     echo "Ids after MDS<->OST synchonizing"
 302     echo "--------------------------------"
 303     echo "MDS last_id:"
 304     echo $mds_last_id
 305     echo "OST last_id:"
 306     echo $ost_last_id
 307
 308     local i=0
 309     echo $ost_last_id | while read id; do
 310         ost_ids[$i]=$id
 311         ((i++))
 312     done
 313
 314     i=0
 315     echo $mds_last_id | while read id; do
 316         mds_ids[$i]=$id
 317         ((i++))
 318     done
 319
 320     local arr_len=${#mds_ids[*]}
 321     for ((i=0;i<$arr_len;i++)); do
 322             mds_id=${mds_ids[i]}
 323             ost_id=${ost_ids[i]}
 324
 325             test $mds_id -ge $ost_id || {
 326                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 327                 return 2
 328             }
 329     done
 330
 331     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 332     return 0
 333 }
 334 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 335
 336 test_15b() {
 337     replay_barrier mds
 338     echo "data" > "$MOUNT2/${tfile}-m2"
 339     umount $MOUNT2
 340
 341     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 342     facet_failover mds
 343
 344     df $MOUNT || return 1
 345     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 346
 347     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 348     return 0
 349 }
 350 #CROW run_test 15b "multiple delayed OST clear orphans"
 351
 352 test_15c() {
 353     replay_barrier mds
 354     for ((i = 0; i < 2000; i++)); do
 355         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 356     done
 357
 358     umount $MOUNT2
 359     facet_failover mds
 360
 361     df $MOUNT || return 1
 362
 363     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 364     return 0
 365 }
 366 run_test 15c "remove multiple OST orphans"
 367
 368 test_16() {
 369     replay_barrier mds
 370     createmany -o $MOUNT1/$tfile- 25
 371     createmany -o $MOUNT2/$tfile-2- 1
 372     umount $MOUNT2
 373
 374     facet_failover mds
 375     sleep $TIMEOUT
 376     facet_failover mds
 377     df $MOUNT || return 1
 378
 379     unlinkmany $MOUNT1/$tfile- 25 || return 2
 380
 381     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 382     return 0
 383
 384 }
 385 run_test 16 "fail MDS during recovery (3571)"
 386
 387 test_17() {
 388     createmany -o $MOUNT1/$tfile- 25
 389     createmany -o $MOUNT2/$tfile-2- 1
 390
 391     # Make sure the disconnect is lost
 392     replay_barrier ost1
 393     umount $MOUNT2
 394
 395     facet_failover ost1
 396     sleep $TIMEOUT
 397     facet_failover ost1
 398     df $MOUNT || return 1
 399
 400     unlinkmany $MOUNT1/$tfile- 25 || return 2
 401
 402     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 403     return 0
 404
 405 }
 406 run_test 17 "fail OST during recovery (3571)"
 407
 408 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 409 export NOW=0
 410
 411 test_18() { # bug 3822 - evicting client with enqueued lock
 412     #set -vx
 413     mkdir -p $MOUNT1/$tdir
 414     touch $MOUNT1/$tdir/f0
 415 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 416     statmany -s $MOUNT1/$tdir/f 1 500 &
 417     OPENPID=$!
 418     NOW=`date +%s`
 419     do_facet mds sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 420     sleep 1
 421 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 422     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 423     cancel_lru_locks mdc
 424     sleep 0.500s # wait to ensure first client is one that will be evicted
 425     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 426     wait $OPENPID
 427     dmesg | grep "entering recovery in server" && \
 428         error "client not evicted" || true
 429 }
 430 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 431
 432 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 433     replay_barrier mds
 434     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 435     fail mds
 436     checkstat $DIR2/${tfile}0 || return 2
 437     rm $DIR/${tfile}0 || return 3
 438
 439     return 0
 440 }
 441 run_test 19 "resend of open request"
 442
 443 equals_msg `basename $0`: test complete, cleaning up
 444 SLEEP=$((`date +%s` - $NOW))
 445 [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 446 check_and_cleanup_lustre
 447 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true