lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  6088 10124 10800
   6 ALWAYS_EXCEPT="8    15c   17    $REPLAY_DUAL_EXCEPT"
   7
   8 PTLDEBUG=${PTLDEBUG:--1}
   9 LUSTRE=${LUSTRE:-`dirname $0`/..}
  10 . $LUSTRE/tests/test-framework.sh
  11
  12 init_test_env $@
  13
  14 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  15
  16 SETUP=${SETUP:-"setup"}
  17 CLEANUP=${CLEANUP:-"cleanup"}
  18
  19 build_test_filter
  20
  21 cleanup() {
  22     stopall
  23 }
  24
  25 if [ "$ONLY" == "cleanup" ]; then
  26     sysctl -w lnet.debug=0
  27     cleanup
  28     exit
  29 fi
  30
  31 setup() {
  32     cleanup
  33     [ "$REFORMAT" ] && formatall
  34     setupall
  35     mount_client $MOUNT2
  36 }
  37
  38 $SETUP
  39 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  40
  41 test_1() {
  42     touch $MOUNT1/a
  43     replay_barrier $SINGLEMDS
  44     touch $MOUNT2/b
  45
  46     fail $SINGLEMDS
  47     checkstat $MOUNT2/a || return 1
  48     checkstat $MOUNT1/b || return 2
  49     rm $MOUNT2/a $MOUNT1/b
  50     checkstat $MOUNT1/a && return 3
  51     checkstat $MOUNT2/b && return 4
  52     return 0
  53 }
  54
  55 run_test 1 "|X| simple create"
  56
  57
  58 test_2() {
  59     replay_barrier $SINGLEMDS
  60     mkdir $MOUNT1/adir
  61
  62     fail $SINGLEMDS
  63     checkstat $MOUNT2/adir || return 1
  64     rmdir $MOUNT2/adir
  65     checkstat $MOUNT2/adir && return 2
  66     return 0
  67 }
  68 run_test 2 "|X| mkdir adir"
  69
  70 test_3() {
  71     replay_barrier $SINGLEMDS
  72     mkdir $MOUNT1/adir
  73     mkdir $MOUNT2/adir/bdir
  74
  75     fail $SINGLEMDS
  76     checkstat $MOUNT2/adir      || return 1
  77     checkstat $MOUNT1/adir/bdir || return 2
  78     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  79     checkstat $MOUNT1/adir      && return 3
  80     checkstat $MOUNT2/adir/bdir && return 4
  81     return 0
  82 }
  83 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  84
  85 test_4() {
  86     mkdir $MOUNT1/adir
  87     replay_barrier $SINGLEMDS
  88     mkdir $MOUNT1/adir  && return 1
  89     mkdir $MOUNT2/adir/bdir
  90
  91     fail $SINGLEMDS
  92     checkstat $MOUNT2/adir      || return 2
  93     checkstat $MOUNT1/adir/bdir || return 3
  94
  95     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  96     checkstat $MOUNT1/adir      && return 4
  97     checkstat $MOUNT2/adir/bdir && return 5
  98     return 0
  99 }
 100 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
 101
 102
 103 test_5() {
 104     # multiclient version of replay_single.sh/test_8
 105     mcreate $MOUNT1/a
 106     multiop $MOUNT2/a o_tSc &
 107     pid=$!
 108     # give multiop a chance to open
 109     sleep 1
 110     rm -f $MOUNT1/a
 111     replay_barrier $SINGLEMDS
 112     kill -USR1 $pid
 113     wait $pid || return 1
 114
 115     fail $SINGLEMDS
 116     [ -e $MOUNT2/a ] && return 2
 117     return 0
 118 }
 119 run_test 5 "open, unlink |X| close"
 120
 121
 122 test_6() {
 123     mcreate $MOUNT1/a
 124     multiop $MOUNT2/a o_c &
 125     pid1=$!
 126     multiop $MOUNT1/a o_c &
 127     pid2=$!
 128     # give multiop a chance to open
 129     sleep 1
 130     rm -f $MOUNT1/a
 131     replay_barrier $SINGLEMDS
 132     kill -USR1 $pid1
 133     wait $pid1 || return 1
 134
 135     fail $SINGLEMDS
 136     kill -USR1 $pid2
 137     wait $pid2 || return 1
 138     [ -e $MOUNT2/a ] && return 2
 139     return 0
 140 }
 141 run_test 6 "open1, open2, unlink |X| close1 [fail $SINGLEMDS] close2"
 142
 143 test_8() {
 144     replay_barrier $SINGLEMDS
 145     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 146     fail $SINGLEMDS
 147     checkstat $MOUNT2/$tfile || return 2
 148     rm $MOUNT1/$tfile || return 3
 149
 150     return 0
 151 }
 152 run_test 8 "replay of resent request"
 153
 154 test_9() {
 155     replay_barrier $SINGLEMDS
 156     mcreate $MOUNT1/$tfile-1
 157     mcreate $MOUNT2/$tfile-2
 158     # drop first reint reply
 159     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 160     fail $SINGLEMDS
 161     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 162
 163     rm $MOUNT1/$tfile-[1,2] || return 1
 164
 165     return 0
 166 }
 167 run_test 9 "resending a replayed create"
 168
 169 test_10() {
 170     mcreate $MOUNT1/$tfile-1
 171     replay_barrier $SINGLEMDS
 172     munlink $MOUNT1/$tfile-1
 173     mcreate $MOUNT2/$tfile-2
 174     # drop first reint reply
 175     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 176     fail $SINGLEMDS
 177     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 178
 179     checkstat $MOUNT1/$tfile-1 && return 1
 180     checkstat $MOUNT1/$tfile-2 || return 2
 181     rm $MOUNT1/$tfile-2
 182
 183     return 0
 184 }
 185 run_test 10 "resending a replayed unlink"
 186
 187 test_11() {
 188     replay_barrier $SINGLEMDS
 189     mcreate $MOUNT1/$tfile-1
 190     mcreate $MOUNT2/$tfile-2
 191     mcreate $MOUNT1/$tfile-3
 192     mcreate $MOUNT2/$tfile-4
 193     mcreate $MOUNT1/$tfile-5
 194     # drop all reint replies for a while
 195     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x0119
 196     facet_failover $SINGLEMDS
 197     #sleep for while, let both clients reconnect and timeout
 198     sleep $((TIMEOUT * 2))
 199     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 200
 201     rm $MOUNT1/$tfile-[1-5] || return 1
 202
 203     return 0
 204 }
 205 run_test 11 "both clients timeout during replay"
 206
 207 test_12() {
 208     replay_barrier $SINGLEMDS
 209
 210     multiop $DIR/$tfile mo_c &
 211     MULTIPID=$!
 212     sleep 5
 213
 214 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 215     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000302
 216     facet_failover $SINGLEMDS
 217     df $MOUNT || return 1
 218     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 219
 220     ls $DIR/$tfile
 221     kill -USR1 $MULTIPID || return 3
 222     wait $MULTIPID || return 4
 223     $CHECKSTAT -t file $DIR/$tfile || return 2
 224     rm $DIR/$tfile
 225
 226     return 0
 227 }
 228 run_test 12 "open resend timeout"
 229
 230 test_13() {
 231     multiop $DIR/$tfile mo_c &
 232     MULTIPID=$!
 233     sleep 5
 234
 235     replay_barrier $SINGLEMDS
 236
 237     kill -USR1 $MULTIPID || return 3
 238     wait $MULTIPID || return 4
 239
 240     # drop close
 241     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000115
 242     facet_failover $SINGLEMDS
 243     df $MOUNT || return 1
 244     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 245
 246     ls $DIR/$tfile
 247     $CHECKSTAT -t file $DIR/$tfile || return 2
 248     rm $DIR/$tfile
 249
 250     return 0
 251 }
 252 run_test 13 "close resend timeout"
 253
 254 test_14() {
 255     replay_barrier $SINGLEMDS
 256     createmany -o $MOUNT1/$tfile- 25
 257     createmany -o $MOUNT2/$tfile-2- 1
 258     createmany -o $MOUNT1/$tfile-3- 25
 259     umount $MOUNT2
 260
 261     facet_failover $SINGLEMDS
 262     # expect failover to fail
 263     df $MOUNT && return 1
 264     sleep 1
 265
 266     # first 25 files should have been replayed
 267     unlinkmany $MOUNT1/$tfile- 25 || return 2
 268
 269     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 270     return 0
 271 }
 272 run_test 14 "timeouts waiting for lost client during replay"
 273
 274 test_15() {
 275     replay_barrier $SINGLEMDS
 276     createmany -o $MOUNT1/$tfile- 25
 277     createmany -o $MOUNT2/$tfile-2- 1
 278     umount $MOUNT2
 279
 280     facet_failover $SINGLEMDS
 281     df $MOUNT || return 1
 282
 283     unlinkmany $MOUNT1/$tfile- 25 || return 2
 284     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 285
 286     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 287     return 0
 288 }
 289 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 290
 291 test_15a() {
 292     local ost_last_id=""
 293     local osc_last_id=""
 294
 295     replay_barrier $SINGLEMDS
 296     echo "data" > "$MOUNT2/${tfile}-m2"
 297
 298     umount $MOUNT2
 299     facet_failover $SINGLEMDS
 300     df $MOUNT || return 1
 301
 302     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 303     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 304
 305     echo "Ids after MDS<->OST synchonizing"
 306     echo "--------------------------------"
 307     echo "MDS last_id:"
 308     echo $mds_last_id
 309     echo "OST last_id:"
 310     echo $ost_last_id
 311
 312     local i=0
 313     echo $ost_last_id | while read id; do
 314         ost_ids[$i]=$id
 315         ((i++))
 316     done
 317
 318     i=0
 319     echo $mds_last_id | while read id; do
 320         mds_ids[$i]=$id
 321         ((i++))
 322     done
 323
 324     local arr_len=${#mds_ids[*]}
 325     for ((i=0;i<$arr_len;i++)); do
 326             mds_id=${mds_ids[i]}
 327             ost_id=${ost_ids[i]}
 328
 329             test $mds_id -ge $ost_id || {
 330                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 331                 return 2
 332             }
 333     done
 334
 335     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 336     return 0
 337 }
 338 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 339
 340 test_15b() {
 341     replay_barrier $SINGLEMDS
 342     echo "data" > "$MOUNT2/${tfile}-m2"
 343     umount $MOUNT2
 344
 345     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 346     facet_failover $SINGLEMDS
 347
 348     df $MOUNT || return 1
 349     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 350
 351     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 352     return 0
 353 }
 354 #CROW run_test 15b "multiple delayed OST clear orphans"
 355
 356 test_15c() {
 357     replay_barrier $SINGLEMDS
 358     for ((i = 0; i < 2000; i++)); do
 359         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 360     done
 361
 362     umount $MOUNT2
 363     facet_failover $SINGLEMDS
 364
 365     df $MOUNT || return 1
 366
 367     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 368     return 0
 369 }
 370 run_test 15c "remove multiple OST orphans"
 371
 372 test_16() {
 373     replay_barrier $SINGLEMDS
 374     createmany -o $MOUNT1/$tfile- 25
 375     createmany -o $MOUNT2/$tfile-2- 1
 376     umount $MOUNT2
 377
 378     facet_failover $SINGLEMDS
 379     sleep $TIMEOUT
 380     facet_failover $SINGLEMDS
 381     df $MOUNT || return 1
 382
 383     unlinkmany $MOUNT1/$tfile- 25 || return 2
 384
 385     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 386     return 0
 387
 388 }
 389 run_test 16 "fail MDS during recovery (3571)"
 390
 391 test_17() {
 392     createmany -o $MOUNT1/$tfile- 25
 393     createmany -o $MOUNT2/$tfile-2- 1
 394
 395     # Make sure the disconnect is lost
 396     replay_barrier ost1
 397     umount $MOUNT2
 398
 399     facet_failover ost1
 400     sleep $TIMEOUT
 401     facet_failover ost1
 402     df $MOUNT || return 1
 403
 404     unlinkmany $MOUNT1/$tfile- 25 || return 2
 405
 406     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 407     return 0
 408
 409 }
 410 run_test 17 "fail OST during recovery (3571)"
 411
 412 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 413 export NOW=0
 414
 415 test_18() { # bug 3822 - evicting client with enqueued lock
 416     #set -vx
 417     mkdir -p $MOUNT1/$tdir
 418     touch $MOUNT1/$tdir/f0
 419 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 420     statmany -s $MOUNT1/$tdir/f 1 500 &
 421     OPENPID=$!
 422     NOW=`date +%s`
 423     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 424     sleep 1
 425 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 426     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 427     cancel_lru_locks mdc
 428     usleep 500 # wait to ensure first client is one that will be evicted
 429     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 430     wait $OPENPID
 431     dmesg | grep "entering recovery in server" && \
 432         error "client not evicted" || true
 433 }
 434 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 435
 436 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 437     replay_barrier $SINGLEMDS
 438     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 439     fail $SINGLEMDS
 440     checkstat $DIR2/${tfile}0 || return 2
 441     rm $DIR/${tfile}0 || return 3
 442
 443     return 0
 444 }
 445 run_test 19 "resend of open request"
 446
 447 if [ "$ONLY" != "setup" ]; then
 448    equals_msg `basename $0`: test complete, cleaning up
 449    SLEEP=$((`date +%s` - $NOW))
 450    [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 451    $CLEANUP
 452 fi
 453 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true
 454