lustre/tests/replay-dual.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 # bug number:  6088 10124 10800
   6 ALWAYS_EXCEPT="8    15c   17    $REPLAY_DUAL_EXCEPT"
   7
   8 SAVE_PWD=$PWD
   9 PTLDEBUG=${PTLDEBUG:--1}
  10 LUSTRE=${LUSTRE:-`dirname $0`/..}
  11 SETUP=${SETUP:-""}
  12 CLEANUP=${CLEANUP:-""}
  13 MOUNT_2=${MOUNT_2:-"yes"}
  14 . $LUSTRE/tests/test-framework.sh
  15
  16 init_test_env $@
  17
  18 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  19
  20
  21 build_test_filter
  22
  23 cleanup_and_setup_lustre
  24 rm -rf $DIR/${TESTSUITE}/[df][0-9]* # bug 13798 new t-f tdir staff
  25 rm -rf $DIR/[df][0-9]*
  26
  27 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
  28
  29 test_1() {
  30     touch $MOUNT1/a
  31     replay_barrier $SINGLEMDS
  32     touch $MOUNT2/b
  33
  34     fail $SINGLEMDS
  35     checkstat $MOUNT2/a || return 1
  36     checkstat $MOUNT1/b || return 2
  37     rm $MOUNT2/a $MOUNT1/b
  38     checkstat $MOUNT1/a && return 3
  39     checkstat $MOUNT2/b && return 4
  40     return 0
  41 }
  42
  43 run_test 1 "|X| simple create"
  44
  45
  46 test_2() {
  47     replay_barrier $SINGLEMDS
  48     mkdir $MOUNT1/adir
  49
  50     fail $SINGLEMDS
  51     checkstat $MOUNT2/adir || return 1
  52     rmdir $MOUNT2/adir
  53     checkstat $MOUNT2/adir && return 2
  54     return 0
  55 }
  56 run_test 2 "|X| mkdir adir"
  57
  58 test_3() {
  59     replay_barrier $SINGLEMDS
  60     mkdir $MOUNT1/adir
  61     mkdir $MOUNT2/adir/bdir
  62
  63     fail $SINGLEMDS
  64     checkstat $MOUNT2/adir      || return 1
  65     checkstat $MOUNT1/adir/bdir || return 2
  66     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  67     checkstat $MOUNT1/adir      && return 3
  68     checkstat $MOUNT2/adir/bdir && return 4
  69     return 0
  70 }
  71 run_test 3 "|X| mkdir adir, mkdir adir/bdir "
  72
  73 test_4() {
  74     mkdir $MOUNT1/adir
  75     replay_barrier $SINGLEMDS
  76     mkdir $MOUNT1/adir  && return 1
  77     mkdir $MOUNT2/adir/bdir
  78
  79     fail $SINGLEMDS
  80     checkstat $MOUNT2/adir      || return 2
  81     checkstat $MOUNT1/adir/bdir || return 3
  82
  83     rmdir $MOUNT2/adir/bdir $MOUNT1/adir
  84     checkstat $MOUNT1/adir      && return 4
  85     checkstat $MOUNT2/adir/bdir && return 5
  86     return 0
  87 }
  88 run_test 4 "|X| mkdir adir (-EEXIST), mkdir adir/bdir "
  89
  90
  91 test_5() {
  92     # multiclient version of replay_single.sh/test_8
  93     mcreate $MOUNT1/a
  94     multiop $MOUNT2/a o_tSc &
  95     pid=$!
  96     # give multiop a chance to open
  97     sleep 1
  98     rm -f $MOUNT1/a
  99     replay_barrier $SINGLEMDS
 100     kill -USR1 $pid
 101     wait $pid || return 1
 102
 103     fail $SINGLEMDS
 104     [ -e $MOUNT2/a ] && return 2
 105     return 0
 106 }
 107 run_test 5 "open, unlink |X| close"
 108
 109
 110 test_6() {
 111     mcreate $MOUNT1/a
 112     multiop $MOUNT2/a o_c &
 113     pid1=$!
 114     multiop $MOUNT1/a o_c &
 115     pid2=$!
 116     # give multiop a chance to open
 117     sleep 1
 118     rm -f $MOUNT1/a
 119     replay_barrier $SINGLEMDS
 120     kill -USR1 $pid1
 121     wait $pid1 || return 1
 122
 123     fail $SINGLEMDS
 124     kill -USR1 $pid2
 125     wait $pid2 || return 1
 126     [ -e $MOUNT2/a ] && return 2
 127     return 0
 128 }
 129 run_test 6 "open1, open2, unlink |X| close1 [fail $SINGLEMDS] close2"
 130
 131 test_8() {
 132     replay_barrier $SINGLEMDS
 133     drop_reint_reply "mcreate $MOUNT1/$tfile"    || return 1
 134     fail $SINGLEMDS
 135     checkstat $MOUNT2/$tfile || return 2
 136     rm $MOUNT1/$tfile || return 3
 137
 138     return 0
 139 }
 140 run_test 8 "replay of resent request"
 141
 142 test_9() {
 143     replay_barrier $SINGLEMDS
 144     mcreate $MOUNT1/$tfile-1
 145     mcreate $MOUNT2/$tfile-2
 146     # drop first reint reply
 147     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 148     fail $SINGLEMDS
 149     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 150
 151     rm $MOUNT1/$tfile-[1,2] || return 1
 152
 153     return 0
 154 }
 155 run_test 9 "resending a replayed create"
 156
 157 test_10() {
 158     mcreate $MOUNT1/$tfile-1
 159     replay_barrier $SINGLEMDS
 160     munlink $MOUNT1/$tfile-1
 161     mcreate $MOUNT2/$tfile-2
 162     # drop first reint reply
 163     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000119
 164     fail $SINGLEMDS
 165     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 166
 167     checkstat $MOUNT1/$tfile-1 && return 1
 168     checkstat $MOUNT1/$tfile-2 || return 2
 169     rm $MOUNT1/$tfile-2
 170
 171     return 0
 172 }
 173 run_test 10 "resending a replayed unlink"
 174
 175 test_11() {
 176     replay_barrier $SINGLEMDS
 177     mcreate $MOUNT1/$tfile-1
 178     mcreate $MOUNT2/$tfile-2
 179     mcreate $MOUNT1/$tfile-3
 180     mcreate $MOUNT2/$tfile-4
 181     mcreate $MOUNT1/$tfile-5
 182     # drop all reint replies for a while
 183     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x0119
 184     # note that with this fail_loc set, facet_failover df will fail
 185     facet_failover $SINGLEMDS
 186     #sleep for while, let both clients reconnect and timeout
 187     sleep $((TIMEOUT * 2))
 188     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 189
 190     rm $MOUNT1/$tfile-[1-5] || return 1
 191
 192     return 0
 193 }
 194 run_test 11 "both clients timeout during replay"
 195
 196 test_12() {
 197     replay_barrier $SINGLEMDS
 198
 199     multiop $DIR/$tfile mo_c &
 200     MULTIPID=$!
 201     sleep 5
 202
 203 #define OBD_FAIL_LDLM_ENQUEUE            0x302
 204     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000302
 205     facet_failover $SINGLEMDS
 206     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 207     df $MOUNT || return 1
 208
 209     ls $DIR/$tfile
 210     kill -USR1 $MULTIPID || return 3
 211     wait $MULTIPID || return 4
 212     $CHECKSTAT -t file $DIR/$tfile || return 2
 213     rm $DIR/$tfile
 214
 215     return 0
 216 }
 217 run_test 12 "open resend timeout"
 218
 219 test_13() {
 220     multiop $DIR/$tfile mo_c &
 221     MULTIPID=$!
 222     sleep 5
 223
 224     replay_barrier $SINGLEMDS
 225
 226     kill -USR1 $MULTIPID || return 3
 227     wait $MULTIPID || return 4
 228
 229     # drop close
 230     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x80000115
 231     facet_failover $SINGLEMDS
 232     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0
 233     df $MOUNT || return 1
 234
 235     ls $DIR/$tfile
 236     $CHECKSTAT -t file $DIR/$tfile || return 2
 237     rm $DIR/$tfile
 238
 239     return 0
 240 }
 241 run_test 13 "close resend timeout"
 242
 243 test_14() {
 244     replay_barrier $SINGLEMDS
 245     createmany -o $MOUNT1/$tfile- 25
 246     createmany -o $MOUNT2/$tfile-2- 1
 247     createmany -o $MOUNT1/$tfile-3- 25
 248     umount $MOUNT2
 249
 250     facet_failover $SINGLEMDS
 251     # expect failover to fail due to missing client 2
 252     df $MOUNT && return 1
 253     sleep 1
 254
 255     # first 25 files should have been replayed
 256     unlinkmany $MOUNT1/$tfile- 25 || return 2
 257
 258     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 259     return 0
 260 }
 261 run_test 14 "timeouts waiting for lost client during replay"
 262
 263 test_15() {
 264     replay_barrier $SINGLEMDS
 265     createmany -o $MOUNT1/$tfile- 25
 266     createmany -o $MOUNT2/$tfile-2- 1
 267     umount $MOUNT2
 268
 269     facet_failover $SINGLEMDS
 270     df $MOUNT || return 1
 271
 272     unlinkmany $MOUNT1/$tfile- 25 || return 2
 273     [ -e $MOUNT1/$tfile-2-0 ] && error "$tfile-2-0 exists"
 274
 275     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 276     return 0
 277 }
 278 run_test 15 "timeout waiting for lost client during replay, 1 client completes"
 279
 280 test_15a() {
 281     local ost_last_id=""
 282     local osc_last_id=""
 283
 284     replay_barrier $SINGLEMDS
 285     echo "data" > "$MOUNT2/${tfile}-m2"
 286
 287     umount $MOUNT2
 288     facet_failover $SINGLEMDS
 289     df $MOUNT || return 1
 290
 291     ost_last_id=`cat /proc/fs/lustre/obdfilter/*/last_id`
 292     mds_last_id=`cat /proc/fs/lustre/osc/*mds*/last_id`
 293
 294     echo "Ids after MDS<->OST synchonizing"
 295     echo "--------------------------------"
 296     echo "MDS last_id:"
 297     echo $mds_last_id
 298     echo "OST last_id:"
 299     echo $ost_last_id
 300
 301     local i=0
 302     echo $ost_last_id | while read id; do
 303         ost_ids[$i]=$id
 304         ((i++))
 305     done
 306
 307     i=0
 308     echo $mds_last_id | while read id; do
 309         mds_ids[$i]=$id
 310         ((i++))
 311     done
 312
 313     local arr_len=${#mds_ids[*]}
 314     for ((i=0;i<$arr_len;i++)); do
 315             mds_id=${mds_ids[i]}
 316             ost_id=${ost_ids[i]}
 317
 318             test $mds_id -ge $ost_id || {
 319                 echo "MDS last id ($mds_id) is smaller than OST one ($ost_id)"
 320                 return 2
 321             }
 322     done
 323
 324     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 325     return 0
 326 }
 327 #CROW run_test 15a "OST clear orphans - synchronize ids on MDS and OST"
 328
 329 test_15b() {
 330     replay_barrier $SINGLEMDS
 331     echo "data" > "$MOUNT2/${tfile}-m2"
 332     umount $MOUNT2
 333
 334     do_facet ost1 "sysctl -w lustre.fail_loc=0x80000802"
 335     facet_failover $SINGLEMDS
 336
 337     df $MOUNT || return 1
 338     do_facet ost1 "sysctl -w lustre.fail_loc=0"
 339
 340     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 341     return 0
 342 }
 343 #CROW run_test 15b "multiple delayed OST clear orphans"
 344
 345 test_15c() {
 346     replay_barrier $SINGLEMDS
 347     for ((i = 0; i < 2000; i++)); do
 348         echo "data" > "$MOUNT2/${tfile}-$i" || error "create ${tfile}-$i failed"
 349     done
 350
 351     umount $MOUNT2
 352     facet_failover $SINGLEMDS
 353
 354     df $MOUNT || return 1
 355
 356     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 357     return 0
 358 }
 359 run_test 15c "remove multiple OST orphans"
 360
 361 test_16() {
 362     replay_barrier $SINGLEMDS
 363     createmany -o $MOUNT1/$tfile- 25
 364     createmany -o $MOUNT2/$tfile-2- 1
 365     umount $MOUNT2
 366
 367     facet_failover $SINGLEMDS
 368     sleep $TIMEOUT
 369     facet_failover $SINGLEMDS
 370     df $MOUNT || return 1
 371
 372     unlinkmany $MOUNT1/$tfile- 25 || return 2
 373
 374     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 375     return 0
 376
 377 }
 378 run_test 16 "fail MDS during recovery (3571)"
 379
 380 test_17() {
 381     createmany -o $MOUNT1/$tfile- 25
 382     createmany -o $MOUNT2/$tfile-2- 1
 383
 384     # Make sure the disconnect is lost
 385     replay_barrier ost1
 386     umount $MOUNT2
 387
 388     facet_failover ost1
 389     sleep $TIMEOUT
 390     facet_failover ost1
 391     df $MOUNT || return 1
 392
 393     unlinkmany $MOUNT1/$tfile- 25 || return 2
 394
 395     zconf_mount `hostname` $MOUNT2 || error "mount $MOUNT2 fail"
 396     return 0
 397
 398 }
 399 run_test 17 "fail OST during recovery (3571)"
 400
 401 # cleanup with blocked enqueue fails until timer elapses (MDS busy), wait for it
 402 export NOW=0
 403
 404 test_18() { # bug 3822 - evicting client with enqueued lock
 405     #set -vx
 406     mkdir -p $MOUNT1/$tdir
 407     touch $MOUNT1/$tdir/f0
 408 #define OBD_FAIL_LDLM_ENQUEUE_BLOCKED    0x30b
 409     statmany -s $MOUNT1/$tdir/f 1 500 &
 410     OPENPID=$!
 411     NOW=`date +%s`
 412     do_facet $SINGLEMDS sysctl -w lustre.fail_loc=0x8000030b  # hold enqueue
 413     sleep 1
 414 #define OBD_FAIL_LDLM_BL_CALLBACK        0x305
 415     do_facet client sysctl -w lustre.fail_loc=0x80000305  # drop cb, evict
 416     cancel_lru_locks mdc
 417     usleep 500 # wait to ensure first client is one that will be evicted
 418     openfile -f O_RDONLY $MOUNT2/$tdir/f0
 419     wait $OPENPID
 420     dmesg | grep "entering recovery in server" && \
 421         error "client not evicted" || true
 422 }
 423 run_test 18 "ldlm_handle_enqueue succeeds on evicted export (3822)"
 424
 425 test_19() { # Bug 10991 - resend of open request does not fail assertion.
 426     replay_barrier $SINGLEMDS
 427     drop_ldlm_reply "createmany -o $DIR/$tfile 1" || return 1
 428     fail $SINGLEMDS
 429     checkstat $DIR2/${tfile}0 || return 2
 430     rm $DIR/${tfile}0 || return 3
 431
 432     return 0
 433 }
 434 run_test 19 "resend of open request"
 435
 436 equals_msg `basename $0`: test complete, cleaning up
 437 SLEEP=$((`date +%s` - $NOW))
 438 [ $SLEEP -lt $TIMEOUT ] && sleep $SLEEP
 439 check_and_cleanup_lustre
 440 [ -f "$TESTSUITELOG" ] && cat $TESTSUITELOG || true
 441