Whamcloud - gitweb
LU-10657 utils: fd leak in mirror_split()
[fs/lustre-release.git] / lustre / tests / replay-vbr.sh
1 #!/bin/bash
2 # -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
3 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
4
5 set -e
6
7 # bug number:
8 ALWAYS_EXCEPT=" $REPLAY_VBR_EXCEPT"
9
10 SAVE_PWD=$PWD
11 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
12 SETUP=${SETUP:-}
13 CLEANUP=${CLEANUP:-}
14 MOUNT_2=${MOUNT_2:-"yes"}
15 export MULTIOP=${MULTIOP:-multiop}
16 . $LUSTRE/tests/test-framework.sh
17 init_test_env $@
18 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
19 init_logging
20
21 remote_mds_nodsh && log "SKIP: remote MDS with nodsh" && exit 0
22
23 #                                  ~6  (min)"
24 [ "$SLOW" = "no" ] && EXCEPT_SLOW="7"
25
26 build_test_filter
27
28 check_and_setup_lustre
29
30 assert_DIR
31 rm -rf $DIR/[df][0-9]*
32
33 [ "$DAEMONFILE" ] && $LCTL debug_daemon start $DAEMONFILE $DAEMONSIZE
34
35 # if there is no CLIENT1 defined, some tests can be ran on localhost
36 CLIENT1=${CLIENT1:-$HOSTNAME}
37 # if CLIENT2 doesn't exist then use CLIENT1 instead
38 # All tests should use CLIENT2 with MOUNT2 only therefore it will work if
39 # $CLIENT2 == CLIENT1
40 # Exception is the test which need two separate nodes
41 CLIENT2=${CLIENT2:-$CLIENT1}
42
43 is_mounted $MOUNT2 || error "MOUNT2 is not mounted"
44
45 rmultiop_start() {
46         local client=$1
47         local file=$2
48         local cmds=$3
49         local WAIT_MAX=${4:-60}
50         local wait_time=0
51
52         # We need to run do_node in bg, because pdsh does not exit
53         # if child process of run script exists.
54         # I.e. pdsh does not exit when runmultiop_bg_pause exited,
55         # because of multiop_bg_pause -> $MULTIOP_PROG &
56         # By the same reason we need sleep a bit after do_nodes starts
57         # to let runmultiop_bg_pause start muliop and
58         # update /tmp/multiop_bg.pid ;
59         # The rm /tmp/multiop_bg.pid guarantees here that
60         # we have the updated by runmultiop_bg_pause
61         # /tmp/multiop_bg.pid file
62
63         local pid_file=$TMP/multiop_bg.pid.$$
64         do_node $client "MULTIOP_PID_FILE=$pid_file LUSTRE= \
65                         runmultiop_bg_pause $file $cmds" &
66         local pid=$!
67         local multiop_pid
68
69         while [[ $wait_time -lt $WAIT_MAX ]]; do
70                 sleep 3
71                 wait_time=$((wait_time + 3))
72                 multiop_pid=$(do_node $client cat $pid_file)
73                 if [ -n "$multiop_pid" ]; then
74                         break
75                 fi
76         done
77
78         [ -n "$multiop_pid" ] ||
79                 error "$client : Can not get multiop_pid from $pid_file "
80
81         eval export $(node_var_name $client)_multiop_pid=$multiop_pid
82         eval export $(node_var_name $client)_do_node_pid=$pid
83         local var=$(node_var_name $client)_multiop_pid
84         echo client $client multiop_bg started multiop_pid=${!var}
85         return $?
86 }
87
88 rmultiop_stop() {
89     local client=$1
90     local multiop_pid=$(node_var_name $client)_multiop_pid
91     local do_node_pid=$(node_var_name $client)_do_node_pid
92
93     echo "Stopping multiop_pid=${!multiop_pid} (kill ${!multiop_pid} on $client)"
94     do_node $client kill -USR1 ${!multiop_pid}
95
96     wait ${!do_node_pid}
97 }
98
99 #
100 # get_version(): Gets the version of an object on servers
101 # Parameter1: Client/Machine Name
102 # Parameter2: File Path
103 # Returns: Objectversion Or -1 if getobjversion fails.
104 #
105 get_version() {
106         local var=${SINGLEMDS}_svc
107         local client=$1
108         local file=$2
109         local fid=$(do_node $client $LFS path2fid $file)
110         local objver=$(do_facet $SINGLEMDS $LCTL --device ${!var} \
111                 getobjversion \\\"$fid\\\")
112
113         [[ -z $objver ]] && objver=-1
114         echo $objver
115 }
116
117 #
118 # chk_get_version(): Wrapper to get_version().
119 # Parameter1: Client/Machine Name
120 # Parameter2: File Path
121 # Returns: Objectversion Or Exit with error in case objver is -1.
122 #
123 chk_get_version() {
124         local objver=$(get_version $1 $2)
125
126         [[ "$objver" == "-1" ]] && error "object version is empty."
127         echo $objver
128 }
129
130
131 #save COS setting
132 cos_param_file=$TMP/rvbr-cos-params
133 save_lustre_params $(get_facets MDS) "mdt.*.commit_on_sharing" > $cos_param_file
134
135 test_0a() {
136         local ver=$(get_version $CLIENT1 $DIR/$tdir/1a)
137
138         [[ "$ver" == "-1" ]] && return 0
139         return 1
140 }
141 run_test 0a "getversion for non existent file shouldn't cause kernel panic"
142
143 test_0b() {
144         local var=${SINGLEMDS}_svc
145         local fid
146         local file=$DIR/$tdir/f
147
148         do_node $CLIENT1 mkdir -p $DIR/$tdir/
149         do_node $CLIENT1 touch $file
150         fid=$(do_node $CLIENT1 $LFS path2fid $file)
151         do_node $CLIENT1 rm -rf $file
152         do_facet $SINGLEMDS $LCTL --device ${!var} getobjversion \\\"$fid\\\" || true
153 }
154 run_test 0b "getversion for non existent fid shouldn't cause kernel panic"
155
156 # test set #1: OPEN
157 test_1a() { # former test_0a
158         local file=$DIR/$tfile
159         local pre
160         local post
161
162         do_node $CLIENT1 mcreate $file
163         pre=$(chk_get_version $CLIENT1 $file)
164         do_node $CLIENT1 openfile -f O_RDWR $file
165         post=$(chk_get_version $CLIENT1 $file)
166         if (($pre != $post)); then
167                 error "version changed unexpectedly: pre $pre, post $post"
168         fi
169 }
170 run_test 1a "open and close do not change versions"
171
172 test_1b() { # former test_0b
173     local var=${SINGLEMDS}_svc
174     zconf_mount $CLIENT2 $MOUNT2
175
176     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
177     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
178     do_node $CLIENT1 mkdir -p -m 755 $MOUNT/$tdir
179
180     replay_barrier $SINGLEMDS
181     do_node $CLIENT2 chmod 777 $MOUNT2/$tdir
182     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT $MOUNT/$tdir/$tfile
183     zconf_umount $CLIENT2 $MOUNT2
184     facet_failover $SINGLEMDS
185
186     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
187     if ! do_node $CLIENT1 $CHECKSTAT -a $DIR/$tdir/$tfile; then
188                 error_and_remount "open succeeded unexpectedly"
189     fi
190 }
191 run_test 1b "open (O_CREAT) checks version of parent"
192
193 test_1c() { # former test_0c
194     local var=${SINGLEMDS}_svc
195     zconf_mount $CLIENT2 $MOUNT2
196
197     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
198     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
199
200     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
201     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $DIR/$tdir/$tfile
202
203     replay_barrier $SINGLEMDS
204     do_node $CLIENT2 chmod 0777 $MOUNT2/$tdir
205     do_node $CLIENT2 chmod 0666 $MOUNT2/$tdir/$tfile
206     rmultiop_start $CLIENT1 $DIR/$tdir/$tfile o_c
207     zconf_umount $CLIENT2 $MOUNT2
208     facet_failover $SINGLEMDS
209
210     client_up $CLIENT1 || error "$CLIENT1 evicted"
211     rmultiop_stop $CLIENT1 || error "close failed"
212 }
213 run_test 1c "open (non O_CREAT) does not checks versions"
214
215 # test set #2: CREAT (not open)
216 # - version of parent is not changed but checked
217 # - pre-version should be -1
218 # - post-version should be valid
219 test_2a() {  # extended former test_0d
220         local pre
221         local post
222
223         # fifo
224         pre=$(chk_get_version $CLIENT1 $DIR)
225         do_node $CLIENT1 mkfifo $DIR/$tfile-fifo
226         post=$(chk_get_version $CLIENT1 $DIR)
227         if (($pre != $post)); then
228                 error "version was changed: pre $pre, post $post"
229         fi
230         # mkdir
231         pre=$(chk_get_version $CLIENT1 $DIR)
232         do_node $CLIENT1 mkdir $DIR/$tfile-dir
233         post=$(chk_get_version $CLIENT1 $DIR)
234         if (($pre != $post)); then
235                 error "version was changed: pre $pre, post $post"
236         fi
237         do_node $CLIENT1 rmdir $DIR/$tfile-dir
238
239         # mknod
240         pre=$(chk_get_version $CLIENT1 $DIR)
241         do_node $CLIENT1 mkfifo $DIR/$tfile-nod
242         post=$(chk_get_version $CLIENT1 $DIR)
243         if (($pre != $post)); then
244                 error "version was changed: pre $pre, post $post"
245         fi
246         # symlink
247         pre=$(chk_get_version $CLIENT1 $DIR)
248         do_node $CLIENT1 mkfifo $DIR/$tfile-symlink
249         post=$(chk_get_version $CLIENT1 $DIR)
250         if (($pre != $post)); then
251                 error "version was changed: pre $pre, post $post"
252         fi
253         # remote directory
254         if [ $MDSCOUNT -ge 2 ]; then
255                 #create remote dir
256                 local MDT_IDX=1
257                 pre=$(chk_get_version $CLIENT1 $DIR)
258                 do_node $CLIENT1 $LFS mkdir -i $MDT_IDX $DIR/$tfile-remote_dir
259                 post=$(chk_get_version $CLIENT1 $DIR)
260                 if (($pre != $post)); then
261                         error "version was changed: pre $pre, post $post"
262                 fi
263         fi
264         do_node $CLIENT1 rm -rf $DIR/$tfile-*
265
266 }
267 run_test 2a "create operations doesn't change version of parent"
268
269 test_2b() { # former test_0e
270     local var=${SINGLEMDS}_svc
271     zconf_mount $CLIENT2 $MOUNT2
272
273     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
274     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
275
276     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
277
278     replay_barrier $SINGLEMDS
279     do_node $CLIENT2 chmod 777 $MOUNT2/$tdir
280     do_node $CLIENT1 mkfifo $DIR/$tdir/$tfile
281     zconf_umount $CLIENT2 $MOUNT2
282     facet_failover $SINGLEMDS
283
284     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
285     if ! do_node $CLIENT1 $CHECKSTAT -a $DIR/$tdir/$tfile; then
286                 error_and_remount "create succeeded unexpectedly"
287     fi
288 }
289 run_test 2b "create checks version of parent"
290
291 test_3a() { # former test_0f
292         local pre
293         local post
294
295         do_node $CLIENT1 mcreate $DIR/$tfile
296         pre=$(chk_get_version $CLIENT1 $DIR)
297         do_node $CLIENT1 rm $DIR/$tfile
298         post=$(chk_get_version $CLIENT1 $DIR)
299         if (($pre != $post)); then
300                 error "version was changed: pre $pre, post $post"
301         fi
302
303         if [ $MDSCOUNT -ge 2 ]; then
304                 #create remote dir
305                 local MDT_IDX=1
306                 do_node $CLIENT1 $LFS mkdir -i $MDT_IDX $DIR/$tfile-remote_dir
307                 pre=$(chk_get_version $CLIENT1 $DIR)
308                 do_node $CLIENT1 rmdir $DIR/$tfile-remote_dir
309                 post=$(chk_get_version $CLIENT1 $DIR)
310                 if (($pre != $post)); then
311                         error "version was changed: pre $pre, post $post"
312                 fi
313         fi
314 }
315 run_test 3a "unlink doesn't change version of parent"
316
317 test_3b() { # former test_0g
318     local var=${SINGLEMDS}_svc
319     zconf_mount $CLIENT2 $MOUNT2
320
321     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
322     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
323
324     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
325     do_node $CLIENT1 mcreate $DIR/$tdir/$tfile
326
327     replay_barrier $SINGLEMDS
328     do_node $CLIENT2 chmod 777 $MOUNT2/$tdir
329     do_node $CLIENT1 rm $DIR/$tdir/$tfile
330     zconf_umount $CLIENT2 $MOUNT2
331     facet_failover $SINGLEMDS
332
333     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
334     if do_node $CLIENT1 $CHECKSTAT -a $DIR/$tdir/$tfile; then
335                 error_and_remount "unlink succeeded unexpectedly"
336     fi
337 }
338 run_test 3b "unlink checks version of parent"
339
340 test_4a() { # former test_0h
341         local file=$DIR/$tfile
342         local pre
343         local post
344
345         do_node $CLIENT1 mcreate $file
346         pre=$(chk_get_version $CLIENT1 $file)
347         do_node $CLIENT1 chown $RUNAS_ID:$RUNAS_GID $file
348         post=$(chk_get_version $CLIENT1 $file)
349         if (($pre == $post)); then
350                 error "version not changed: pre $pre, post $post"
351         fi
352 }
353 run_test 4a "setattr of UID changes versions"
354
355 test_4b() { # former test_0i
356         local file=$DIR/$tfile
357         local pre
358         local post
359
360         do_node $CLIENT1 mcreate $file
361         pre=$(chk_get_version $CLIENT1 $file)
362         do_node $CLIENT1 chgrp $RUNAS_GID $file
363         post=$(chk_get_version $CLIENT1 $file)
364         if (($pre == $post)); then
365                 error "version not changed: pre $pre, post $post"
366         fi
367 }
368 run_test 4b "setattr of GID changes versions"
369
370 test_4c() { # former test_0j
371     local file=$DIR/$tfile
372     local var=${SINGLEMDS}_svc
373     zconf_mount $CLIENT2 $MOUNT2
374
375     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
376     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
377
378     do_node $CLIENT1 mcreate $file
379
380     replay_barrier $SINGLEMDS
381     do_node $CLIENT2 chgrp $RUNAS_GID $MOUNT2/$tfile
382     do_node $CLIENT1 chown $RUNAS_ID:$RUNAS_GID $file
383     zconf_umount $CLIENT2 $MOUNT2
384     facet_failover $SINGLEMDS
385
386     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
387     if ! do_node $CLIENT1 $CHECKSTAT -u \\\#$UID $file; then
388                 error_and_remount "setattr of UID succeeded unexpectedly"
389     fi
390 }
391 run_test 4c "setattr of UID checks versions"
392
393 test_4d() { # former test_0k
394     local file=$DIR/$tfile
395     local var=${SINGLEMDS}_svc
396     zconf_mount $CLIENT2 $MOUNT2
397
398     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
399     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
400
401     do_node $CLIENT1 mcreate $file
402
403     replay_barrier $SINGLEMDS
404     do_node $CLIENT2 chown $RUNAS_ID:$RUNAS_GID $MOUNT2/$tfile
405     do_node $CLIENT1 chgrp $RUNAS_GID $file
406     zconf_umount $CLIENT2 $MOUNT2
407     facet_failover $SINGLEMDS
408
409     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
410     if ! do_node $CLIENT1 $CHECKSTAT -g \\\#$UID $file; then
411                 error_and_remount "setattr of GID succeeded unexpectedly"
412     fi
413 }
414 run_test 4d "setattr of GID checks versions"
415
416 test_4e() { # former test_0l
417         local file=$DIR/$tfile
418         local pre
419         local post
420
421         do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $file
422         pre=$(chk_get_version $CLIENT1 $file)
423         do_node $CLIENT1 chmod 666 $file
424         post=$(chk_get_version $CLIENT1 $file)
425         if (($pre == $post)); then
426                 error "version not changed: pre $pre, post $post"
427         fi
428 }
429 run_test 4e "setattr of permission changes versions"
430
431 test_4f() { # former test_0m
432     local file=$DIR/$tfile
433     local var=${SINGLEMDS}_svc
434     zconf_mount $CLIENT2 $MOUNT2
435
436     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
437     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
438
439     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $file
440
441     replay_barrier $SINGLEMDS
442     do_node $CLIENT2 chgrp $RUNAS_GID $MOUNT2/$tfile
443     do_node $CLIENT1 chmod 666 $file
444     zconf_umount $CLIENT2 $MOUNT2
445     facet_failover $SINGLEMDS
446
447     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
448     if ! do_node $CLIENT1 $CHECKSTAT -p 0644 $file; then
449                 error_and_remount "setattr of permission succeeded unexpectedly"
450     fi
451 }
452 run_test 4f "setattr of permission checks versions"
453
454 test_4g() { # former test_0n
455         local file=$DIR/$tfile
456         local pre
457         local post
458
459         do_node $CLIENT1 mcreate $file
460         pre=$(chk_get_version $CLIENT1 $file)
461         do_node $CLIENT1 chattr +i $file
462         post=$(chk_get_version $CLIENT1 $file)
463         do_node $CLIENT1 chattr -i $file
464         if (($pre == $post)); then
465                 error "version not changed: pre $pre, post $post"
466         fi
467 }
468 run_test 4g "setattr of flags changes versions"
469
470 checkattr() {
471     local client=$1
472     local attr=$2
473     local file=$3
474     local rc
475
476     if ((${#attr} != 1)); then
477         error "checking multiple attributes not implemented yet"
478     fi
479     do_node $client lsattr $file | cut -d ' ' -f 1 | grep -q $attr
480 }
481
482 test_4h() { # former test_0o
483     local file=$DIR/$tfile
484     local rc
485     local var=${SINGLEMDS}_svc
486     zconf_mount $CLIENT2 $MOUNT2
487
488     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
489     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
490
491     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $file
492
493     replay_barrier $SINGLEMDS
494     do_node $CLIENT2 chmod 666 $MOUNT2/$tfile
495     do_node $CLIENT1 chattr +i $file
496     zconf_umount $CLIENT2 $MOUNT2
497     facet_failover $SINGLEMDS
498
499     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
500     checkattr $CLIENT1 i $file
501     rc=$?
502     do_node $CLIENT1 chattr -i $file
503     if [ $rc -eq 0 ]; then
504         error "setattr of flags succeeded unexpectedly"
505     fi
506 }
507 run_test 4h "setattr of flags checks versions"
508
509 test_4i() { # former test_0p
510         local file=$DIR/$tfile
511         local pre
512         local post
513         local ad_orig
514         local var=${SINGLEMDS}_svc
515
516         ad_orig=$(do_facet $SINGLEMDS "$LCTL get_param mdd.${!var}.atime_diff")
517         do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.atime_diff=0"
518         do_node $CLIENT1 mcreate $file
519         pre=$(chk_get_version $CLIENT1 $file)
520         do_node $CLIENT1 touch $file
521         post=$(chk_get_version $CLIENT1 $file)
522         #
523         # We don't fail MDS in this test.  atime_diff shall be
524         # restored to its original value.
525         #
526         do_facet $SINGLEMDS "$LCTL set_param $ad_orig"
527         if (($pre != $post)); then
528                 error "version changed unexpectedly: pre $pre, post $post"
529         fi
530 }
531 run_test 4i "setattr of times does not change versions"
532
533 test_4j() { # former test_0q
534         local file=$DIR/$tfile
535         local pre
536         local post
537
538         do_node $CLIENT1 mcreate $file
539         pre=$(chk_get_version $CLIENT1 $file)
540         do_node $CLIENT1 $TRUNCATE $file 1
541         post=$(chk_get_version $CLIENT1 $file)
542         if (($pre != $post)); then
543                 error "version changed unexpectedly: pre $pre, post $post"
544         fi
545 }
546 run_test 4j "setattr of size does not change versions"
547
548 test_4k() { # former test_0r
549     local file=$DIR/$tfile
550     local mtime_pre
551     local mtime_post
552     local mtime
553     local var=${SINGLEMDS}_svc
554     zconf_mount $CLIENT2 $MOUNT2
555
556     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
557     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.atime_diff=0"
558     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
559
560     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $file
561
562     replay_barrier $SINGLEMDS
563     do_node $CLIENT2 chmod 666 $MOUNT2/$tfile
564     do_node $CLIENT1 $TRUNCATE $file 1
565     sleep 1
566     mtime_pre=$(do_node $CLIENT1 stat --format=%Y $file)
567     do_node $CLIENT1 touch $file
568     sleep 1 # avoid stat caching
569     mtime_post=$(do_node $CLIENT1 stat --format=%Y $file)
570     zconf_umount $CLIENT2 $MOUNT2
571     facet_failover $SINGLEMDS
572
573     client_up $CLIENT1 || error "$CLIENT1 evicted"
574     if (($mtime_pre >= $mtime_post)); then
575         error "time not changed: pre $mtime_pre, post $mtime_post"
576     fi
577     if ! do_node $CLIENT1 $CHECKSTAT -s 1 $file; then
578                 error_and_remount "setattr of size failed"
579     fi
580     mtime=$(do_node $CLIENT1 stat --format=%Y $file)
581     if (($mtime != $mtime_post)); then
582         error "setattr of times failed: expected $mtime_post, got $mtime"
583     fi
584 }
585 run_test 4k "setattr of times and size does not check versions"
586
587 test_5a() { # former test_0s
588         local pre
589         local post
590         local tp_pre
591         local tp_post
592
593         do_node $CLIENT1 mcreate $DIR/$tfile
594         do_node $CLIENT1 mkdir -p $DIR/$tdir
595         pre=$(chk_get_version $CLIENT1 $DIR/$tfile)
596         tp_pre=$(chk_get_version $CLIENT1 $DIR/$tdir)
597         do_node $CLIENT1 link $DIR/$tfile $DIR/$tdir/$tfile
598         post=$(chk_get_version $CLIENT1 $DIR/$tfile)
599         tp_post=$(chk_get_version $CLIENT1 $DIR/$tdir)
600         if (($pre == $post)); then
601                 error "version of source not changed: pre $pre, post $post"
602         fi
603         if (($tp_pre != $tp_post)); then
604                 error "version of target parent was changed:"\
605                         "pre $tp_pre, post $tp_post"
606         fi
607 }
608 run_test 5a "link changes versions of source but not target parent"
609
610 test_5b() { # former test_0t
611     local var=${SINGLEMDS}_svc
612     zconf_mount $CLIENT2 $MOUNT2
613
614     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
615     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
616
617     do_node $CLIENT1 mcreate $DIR/$tfile
618     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
619
620     replay_barrier $SINGLEMDS
621     do_node $CLIENT2 chmod 777 $MOUNT2/$tdir
622     do_node $CLIENT1 link $DIR/$tfile $DIR/$tdir/$tfile
623     zconf_umount $CLIENT2 $MOUNT2
624     facet_failover $SINGLEMDS
625
626     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
627     if ! do_node $CLIENT1 $CHECKSTAT -a $DIR/$tdir/$tfile; then
628                 error_and_remount "link should fail"
629     fi
630 }
631 run_test 5b "link checks version of target parent"
632
633 test_5c() { # former test_0u
634     local var=${SINGLEMDS}_svc
635     zconf_mount $CLIENT2 $MOUNT2
636
637     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
638     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
639
640     do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $DIR/$tfile
641     do_node $CLIENT1 mkdir -p $DIR/$tdir
642
643     replay_barrier $SINGLEMDS
644     do_node $CLIENT2 chmod 666 $MOUNT2/$tfile
645     do_node $CLIENT1 link $DIR/$tfile $DIR/$tdir/$tfile
646     zconf_umount $CLIENT2 $MOUNT2
647     facet_failover $SINGLEMDS
648
649     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
650     if ! do_node $CLIENT1 $CHECKSTAT -a $DIR/$tdir/$tfile; then
651                 error_and_remount "link should fail"
652     fi
653 }
654 run_test 5c "link checks version of source"
655
656 test_6a() { # former test_0v
657         local sp_pre
658         local tp_pre
659         local sp_post
660         local tp_post
661
662         do_node $CLIENT1 mcreate $DIR/$tfile
663         do_node $CLIENT1 mkdir -p $DIR/$tdir
664         sp_pre=$(chk_get_version $CLIENT1 $DIR)
665         tp_pre=$(chk_get_version $CLIENT1 $DIR/$tdir)
666         do_node $CLIENT1 mv $DIR/$tfile $DIR/$tdir/$tfile
667         sp_post=$(chk_get_version $CLIENT1 $DIR)
668         tp_post=$(chk_get_version $CLIENT1 $DIR/$tdir)
669         if (($sp_pre != $sp_post)); then
670                 error "version of source parent was changed:" \
671                         "pre $sp_pre, post $sp_post"
672         fi
673         if (($tp_pre != $tp_post)); then
674                 error "version of target parent was changed:" \
675                         "pre $tp_pre, post $tp_post"
676         fi
677 }
678 run_test 6a "rename doesn't change versions of source parent and target parent"
679
680 test_6b() { # former test_0w
681         local pre
682         local post
683
684         do_node $CLIENT1 mcreate $DIR/$tfile
685         pre=$(chk_get_version $CLIENT1 $DIR)
686         do_node $CLIENT1 mv $DIR/$tfile $DIR/$tfile-new
687         post=$(chk_get_version $CLIENT1 $DIR)
688         if (($pre != $post)); then
689                 error "version of parent was changed: pre $pre, post $post"
690         fi
691 }
692 run_test 6b "rename within same dir doesn't change version of parent"
693
694 test_6c() { # former test_0x
695     local var=${SINGLEMDS}_svc
696     zconf_mount $CLIENT2 $MOUNT2
697
698     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
699     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
700
701     do_node $CLIENT1 mcreate $DIR/$tfile
702     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
703
704     replay_barrier $SINGLEMDS
705     do_node $CLIENT2 chmod 777 $MOUNT2
706     do_node $CLIENT1 mv $DIR/$tfile $DIR/$tdir/$tfile
707     zconf_umount $CLIENT2 $MOUNT2
708     facet_failover $SINGLEMDS
709
710     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
711     if do_node $CLIENT1 $CHECKSTAT -a $DIR/$tfile; then
712                 error_and_remount "rename should fail"
713     fi
714 }
715 run_test 6c "rename checks version of source parent"
716
717 test_6d() { # former test_0y
718     local var=${SINGLEMDS}_svc
719     zconf_mount $CLIENT2 $MOUNT2
720
721     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
722     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
723
724     do_node $CLIENT1 mcreate $DIR/$tfile
725     do_node $CLIENT1 mkdir -p -m 755 $DIR/$tdir
726
727     replay_barrier $SINGLEMDS
728     do_node $CLIENT2 chmod 777 $MOUNT2/$tdir
729     do_node $CLIENT1 mv $DIR/$tfile $DIR/$tdir/$tfile
730     zconf_umount $CLIENT2 $MOUNT2
731     facet_failover $SINGLEMDS
732
733     client_evicted $CLIENT1 || error "$CLIENT1 not evicted"
734     if do_node $CLIENT1 $CHECKSTAT -a $DIR/$tfile; then
735                 error_and_remount "rename should fail"
736     fi
737 }
738 run_test 6d "rename checks version of target parent"
739
740 # pdirops tests, bug 18143
741 cycle=0
742 test_7_cycle() {
743     local first=$1
744     local lost=$2
745     local last=$3
746     local rc=0
747     local var=${SINGLEMDS}_svc
748     zconf_mount $CLIENT2 $MOUNT2
749     cycle=$((cycle + 1))
750     local cname=$TESTNAME.$cycle
751
752     echo "start cycle: $cname"
753     do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
754     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
755
756     do_node $CLIENT1 mkdir -p $DIR/$tdir
757     replay_barrier $SINGLEMDS
758     # first operation
759     echo "$cname first: $first"
760     do_node $CLIENT1 $first || error "$cname: Cannot do first operation"
761     # client2 operations that will be lost
762     echo "$cname lost: $lost"
763     do_node $CLIENT2 $lost || error "$cname: Cannot do 'lost' operations"
764     # second operation
765     echo "$cname last: $last"
766     do_node $CLIENT1 $last || error "$cname: Cannot do last operation"
767     zconf_umount $CLIENT2 $MOUNT2
768     facet_failover $SINGLEMDS
769     # should fail as conflict expected
770     client_evicted $CLIENT1 || rc=1
771
772         wait_recovery_complete $SINGLEMDS
773         wait_mds_ost_sync || error "wait_mds_ost_sync failed"
774
775         rm -rf $DIR/$tdir
776         return $rc
777 }
778
779 test_7a() {
780     first="createmany -o $DIR/$tdir/$tfile- 1"
781     lost="rm $MOUNT2/$tdir/$tfile-0"
782     last="createmany -o $DIR/$tdir/$tfile- 1"
783     test_7_cycle "$first" "$lost" "$last" || error "Test 7a.1 failed"
784
785     first="createmany -o $DIR/$tdir/$tfile- 1"
786     lost="rm $MOUNT2/$tdir/$tfile-0"
787     last="mkdir $DIR/$tdir/$tfile-0"
788     test_7_cycle "$first" "$lost" "$last" || error "Test 7a.2 failed"
789
790     first="mkdir $DIR/$tdir/$tfile-0"
791     lost="mv $MOUNT2/$tdir/$tfile-0 $MOUNT2/$tdir/$tfile-1"
792     last="createmany -o $DIR/$tdir/$tfile- 1"
793     test_7_cycle "$first" "$lost" "$last" || error "Test 7a.3 failed"
794     return 0
795 }
796 run_test 7a "create, {lost}, create"
797
798 test_7b() {
799     first="createmany -o $DIR/$tdir/$tfile- 1"
800     lost="rm $MOUNT2/$tdir/$tfile-0; createmany -o $MOUNT2/$tdir/$tfile- 1"
801     last="rm $DIR/$tdir/$tfile-0"
802     test_7_cycle "$first" "$lost" "$last" || error "Test 7b.1 failed"
803
804     first="createmany -o $DIR/$tdir/$tfile- 1"
805     lost="touch $MOUNT2/$tdir/$tfile; mv $MOUNT2/$tdir/$tfile $MOUNT2/$tdir/$tfile-0"
806     last="rm $DIR/$tdir/$tfile-0"
807     test_7_cycle "$first" "$lost" "$last" || error "Test 7b.2 failed"
808
809     first="createmany -o $DIR/$tdir/$tfile- 1"
810     lost="rm $MOUNT2/$tdir/$tfile-0; mkdir $MOUNT2/$tdir/$tfile-0"
811     last="rmdir $DIR/$tdir/$tfile-0"
812     test_7_cycle "$first" "$lost" "$last" || error "Test 7b.3 failed"
813     return 0
814 }
815 run_test 7b "create, {lost}, unlink"
816
817 test_7c() {
818     first="createmany -o $DIR/$tdir/$tfile- 1"
819     lost="rm $MOUNT2/$tdir/$tfile-0; createmany -o $MOUNT2/$tdir/$tfile- 1"
820     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile"
821     test_7_cycle "$first" "$lost" "$last" || error "Test 7c.1 failed"
822
823     first="createmany -o $DIR/$tdir/$tfile- 2"
824     lost="rm $MOUNT2/$tdir/$tfile-0; mkdir $MOUNT2/$tdir/$tfile-0"
825     last="mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
826     test_7_cycle "$first" "$lost" "$last" || error "Test 7c.2 failed"
827
828     first="createmany -o $DIR/$tdir/$tfile- 1; mkdir $DIR/$tdir/$tfile-1-0"
829     lost="rmdir $MOUNT2/$tdir/$tfile-1-0; createmany -o $MOUNT2/$tdir/$tfile-1- 1"
830     last="mv $DIR/$tdir/$tfile-1-0 $DIR/$tdir/$tfile-0"
831     test_7_cycle "$first" "$lost" "$last" || error "Test 7c.3 failed"
832
833     first="createmany -o $DIR/$tdir/$tfile- 1"
834     lost="mv $MOUNT2/$tdir/$tfile-0 $MOUNT2/$tdir/$tfile"
835     last="mv $DIR/$tdir/$tfile $DIR/$tdir/$tfile-0"
836     test_7_cycle "$first" "$lost" "$last" || error "Test 7c.4 failed"
837     return 0
838 }
839 run_test 7c "create, {lost}, rename"
840
841 test_7d() {
842     first="createmany -o $DIR/$tdir/$tfile- 1; rm $DIR/$tdir/$tfile-0"
843     lost="createmany -o $MOUNT2/$tdir/$tfile- 1; rm $MOUNT2/$tdir/$tfile-0"
844     last="createmany -o $DIR/$tdir/$tfile- 1"
845     test_7_cycle "$first" "$lost" "$last" && error "Test 7d.1 failed"
846
847     first="createmany -o $DIR/$tdir/$tfile- 1; rm $DIR/$tdir/$tfile-0"
848     lost="mkdir $MOUNT2/$tdir/$tfile-0; rmdir $MOUNT2/$tdir/$tfile-0"
849     last="mkdir $DIR/$tdir/$tfile-0"
850     test_7_cycle "$first" "$lost" "$last" && error "Test 7d.2 failed"
851
852     first="mkdir $DIR/$tdir/$tfile-0; rmdir $DIR/$tdir/$tfile-0"
853     lost="createmany -o $MOUNT2/$tdir/$tfile- 1; mv $MOUNT2/$tdir/$tfile-0 $MOUNT2/$tdir/$tfile-1"
854     last="createmany -o $DIR/$tdir/$tfile- 1"
855     test_7_cycle "$first" "$lost" "$last" && error "Test 7d.3 failed"
856     return 0
857 }
858 run_test 7d "unlink, {lost}, create"
859
860 test_7e() {
861     first="createmany -o $DIR/$tdir/$tfile- 1; rm $DIR/$tdir/$tfile-0"
862     lost="createmany -o $MOUNT2/$tdir/$tfile- 1; rm $MOUNT2/$tdir/$tfile-0;createmany -o $MOUNT2/$tdir/$tfile- 1"
863     last="rm $DIR/$tdir/$tfile-0"
864     test_7_cycle "$first" "$lost" "$last" || error "Test 7e.1 failed"
865
866     first="mkdir $DIR/$tdir/$tfile-0; rmdir $DIR/$tdir/$tfile-0"
867     lost="mkdir $MOUNT2/$tdir/$tfile-0; rmdir $MOUNT2/$tdir/$tfile-0; mkdir $MOUNT2/$tdir/$tfile-0"
868     last="rmdir $DIR/$tdir/$tfile-0"
869     test_7_cycle "$first" "$lost" "$last" || error "Test 7e.2 failed"
870
871     first="createmany -o $DIR/$tdir/$tfile- 1; rm $DIR/$tdir/$tfile-0"
872     lost="mkdir $MOUNT2/$tdir/$tfile-0"
873     last="rmdir $DIR/$tdir/$tfile-0"
874     test_7_cycle "$first" "$lost" "$last" || error "Test 7e.3 failed"
875
876     first="mkdir $DIR/$tdir/$tfile-0; rmdir $DIR/$tdir/$tfile-0"
877     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
878     last="rm $DIR/$tdir/$tfile-0"
879     test_7_cycle "$first" "$lost" "$last" || error "Test 7e.4 failed"
880
881     first="createmany -o $DIR/$tdir/$tfile- 2; rm $DIR/$tdir/$tfile-0"
882     lost="mv $MOUNT2/$tdir/$tfile-1 $MOUNT2/$tdir/$tfile-0"
883     last="rm $DIR/$tdir/$tfile-0"
884     test_7_cycle "$first" "$lost" "$last" || error "Test 7e.5 failed"
885     return 0
886 }
887 run_test 7e "unlink, {lost}, unlink"
888
889 test_7f() {
890     first="createmany -o $DIR/$tdir/$tfile- 1; rm $DIR/$tdir/$tfile-0"
891     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
892     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
893     test_7_cycle "$first" "$lost" "$last" || error "Test 7f.1 failed"
894
895     first="createmany -o $DIR/$tdir/$tfile- 2; rm $DIR/$tdir/$tfile-0"
896     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
897     last="mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
898     test_7_cycle "$first" "$lost" "$last" || error "Test 7f.2 failed"
899
900     first="mkdir $DIR/$tdir/$tfile; createmany -o $DIR/$tdir/$tfile- 1; rmdir $DIR/$tdir/$tfile"
901     lost="mkdir $MOUNT2/$tdir/$tfile"
902     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile"
903     test_7_cycle "$first" "$lost" "$last" || error "Test 7f.3 failed"
904
905     first="createmany -o $DIR/$tdir/$tfile- 2; rm $DIR/$tdir/$tfile-0"
906     lost="mv $MOUNT2/$tdir/$tfile-1 $MOUNT2/$tdir/$tfile-0"
907     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
908     test_7_cycle "$first" "$lost" "$last" || error "Test 7f.4 failed"
909
910     first="createmany -o $DIR/$tdir/$tfile- 2; rm $DIR/$tdir/$tfile-0"
911     lost="mkdir $MOUNT2/$tdir/$tfile-0"
912     last="mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
913     test_7_cycle "$first" "$lost" "$last" || error "Test 7f.5 failed"
914     return 0
915 }
916 run_test 7f "unlink, {lost}, rename"
917
918 test_7g() {
919     first="createmany -o $DIR/$tdir/$tfile- 1; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
920     lost="mkdir $MOUNT2/$tdir/$tfile-0;rmdir $MOUNT2/$tdir/$tfile-0"
921     last="createmany -o $DIR/$tdir/$tfile- 1"
922     test_7_cycle "$first" "$lost" "$last" && error "Test 7g.1 failed"
923
924     first="createmany -o $DIR/$tdir/$tfile- 2; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
925     lost="createmany -o $MOUNT2/$tdir/$tfile- 1; rm $MOUNT2/$tdir/$tfile-0"
926     last="mkdir $DIR/$tdir/$tfile-0"
927     test_7_cycle "$first" "$lost" "$last" && error "Test 7g.2 failed"
928
929     first="createmany -o $DIR/$tdir/$tfile- 1; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile"
930     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
931     last="link $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
932         if [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.5.1) ]
933         then
934                 test_7_cycle "$first" "$lost" "$last" ||
935                         error "Test 7g.3 failed"
936         else #LU-4442 LU-3528
937                 test_7_cycle "$first" "$lost" "$last" &&
938                         error "Test 7g.3 failed"
939         fi
940     return 0
941 }
942 run_test 7g "rename, {lost}, create"
943
944 test_7h() {
945     first="createmany -o $DIR/$tdir/$tfile- 1; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
946     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
947     last="rm $DIR/$tdir/$tfile-0"
948     test_7_cycle "$first" "$lost" "$last" || error "Test 7h.1 failed"
949
950     first="createmany -o $DIR/$tdir/$tfile- 2; mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
951     lost="rm $MOUNT2/$tdir/$tfile-0; createmany -o $MOUNT2/$tdir/$tfile- 1"
952     last="rm $DIR/$tdir/$tfile-0"
953     test_7_cycle "$first" "$lost" "$last" || error "Test 7h.2 failed"
954
955     first="createmany -o $DIR/$tdir/$tfile- 1; mkdir  $DIR/$tdir/$tfile; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile"
956     lost="rm $MOUNT2/$tdir/$tfile/$tfile-0"
957     last="rmdir $DIR/$tdir/$tfile"
958     #test_7_cycle "$first" "$lost" "$last" || error "Test 7h.3 failed"
959     return 0
960 }
961 run_test 7h "rename, {lost}, unlink"
962
963 test_7i() {
964     first="createmany -o $DIR/$tdir/$tfile- 1; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
965     lost="createmany -o $MOUNT2/$tdir/$tfile- 1"
966     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
967     test_7_cycle "$first" "$lost" "$last" || error "Test 7i.1 failed"
968
969     first="createmany -o $DIR/$tdir/$tfile- 1; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-1"
970     lost="mkdir $MOUNT2/$tdir/$tfile-0"
971     last="mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
972     test_7_cycle "$first" "$lost" "$last" || error "Test 7i.1 failed"
973
974     first="createmany -o $DIR/$tdir/$tfile- 3; mv $DIR/$tdir/$tfile-1 $DIR/$tdir/$tfile-0"
975     lost="mv $MOUNT2/$tdir/$tfile-2 $MOUNT2/$tdir/$tfile-0"
976     last="mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile-2"
977     test_7_cycle "$first" "$lost" "$last" || error "Test 7i.3 failed"
978
979     first="createmany -o $DIR/$tdir/$tfile- 2; mv $DIR/$tdir/$tfile-0 $DIR/$tdir/$tfile"
980     lost="rm $MOUNT2/$tdir/$tfile-1"
981     last="mv $DIR/$tdir/$tfile $DIR/$tdir/$tfile-1"
982     test_7_cycle "$first" "$lost" "$last" || error "Test 7i.4 failed"
983     return 0
984 }
985 run_test 7i "rename, {lost}, rename"
986
987 # test set #8: orphan handling bug 15392.
988 # Unlink during recovery creates orphan always just in case some late open may
989 # arrive. These orphans will be removed after recovery anyway.
990 # Tests check that valid create,unlink,create sequence will work in this case
991 # too but not fail on second create due to orphan found.
992
993 test_8a() {
994     local var=${SINGLEMDS}_svc
995     zconf_mount $CLIENT2 $MOUNT2
996
997     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
998
999     do_node $CLIENT1 mcreate $DIR/$tfile
1000     do_node $CLIENT1 mkdir $DIR/$tfile-2
1001     replay_barrier $SINGLEMDS
1002     # missed replay from client2 will lead to recovery by versions
1003     do_node $CLIENT2 touch $MOUNT2/$tfile-2/$tfile
1004     do_node $CLIENT1 rm $DIR/$tfile || return 1
1005     do_node $CLIENT1 touch $DIR/$tfile || return 2
1006
1007     zconf_umount $CLIENT2 $MOUNT2
1008     facet_failover $SINGLEMDS
1009     client_up $CLIENT1 || return 6
1010
1011     do_node $CLIENT1 rm $DIR/$tfile || error "$tfile doesn't exists"
1012     return 0
1013 }
1014 run_test 8a "create | unlink, create shouldn't fail"
1015
1016 test_8b() {
1017     local var=${SINGLEMDS}_svc
1018     zconf_mount $CLIENT2 $MOUNT2
1019
1020     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1021
1022     do_node $CLIENT1 touch $DIR/$tfile
1023     do_node $CLIENT1 mkdir $DIR/$tfile-2
1024     replay_barrier $SINGLEMDS
1025     # missed replay from client2 will lead to recovery by versions
1026     do_node $CLIENT2 touch $MOUNT2/$tfile-2/$tfile
1027     do_node $CLIENT1 rm -f $MOUNT1/$tfile || return 1
1028     do_node $CLIENT1 mcreate $MOUNT1/$tfile || return 2
1029
1030     zconf_umount $CLIENT2 $MOUNT2
1031     facet_failover $SINGLEMDS
1032     client_up $CLIENT1 || return 6
1033
1034     do_node $CLIENT1 rm $MOUNT1/$tfile || error "$tfile doesn't exists"
1035     return 0
1036 }
1037 run_test 8b "create | unlink, create shouldn't fail"
1038
1039 test_8c() {
1040     local var=${SINGLEMDS}_svc
1041     zconf_mount $CLIENT2 $MOUNT2
1042
1043     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1044
1045     do_node $CLIENT1 touch $DIR/$tfile
1046     do_node $CLIENT1 mkdir $DIR/$tfile-2
1047     replay_barrier $SINGLEMDS
1048     # missed replay from client2 will lead to recovery by versions
1049     do_node $CLIENT2 touch $MOUNT2/$tfile-2/$tfile
1050     do_node $CLIENT1 rm -f $MOUNT1/$tfile || return 1
1051     do_node $CLIENT1 mkdir $MOUNT1/$tfile || return 2
1052
1053     zconf_umount $CLIENT2 $MOUNT2
1054     facet_failover $SINGLEMDS
1055     client_up $CLIENT1 || return 6
1056
1057     do_node $CLIENT1 rmdir $MOUNT1/$tfile || error "$tfile doesn't exists"
1058     return 0
1059 }
1060 run_test 8c "create | unlink, create shouldn't fail"
1061
1062 #
1063 # This test uses three Lustre clients on two hosts.
1064 #
1065 #   Lustre Client 1:    $CLIENT1:$MOUNT     ($DIR)
1066 #   Lustre Client 2:    $CLIENT2:$MOUNT2    ($DIR2)
1067 #   Lustre Client 3:    $CLIENT2:$MOUNT1    ($DIR1)
1068 #
1069 test_10b() { # former test_2b
1070         local pre
1071         local post
1072         local var=${SINGLEMDS}_svc
1073
1074         [ -n "$CLIENTS" ] || { skip "Need two or more clients" && exit 0; }
1075         [ $CLIENTCOUNT -ge 2 ] || \
1076                 { skip "Need two or more clients, have $CLIENTCOUNT" && \
1077                         exit 0; }
1078
1079         do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
1080         do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1081
1082         zconf_mount $CLIENT1 $MOUNT
1083         zconf_mount $CLIENT2 $MOUNT1
1084         zconf_mount $CLIENT2 $MOUNT2
1085         do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $DIR/$tfile-a
1086         do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $DIR/$tfile-b
1087
1088         #
1089         # Save an MDT transaction number before recovery.
1090         #
1091         do_node $CLIENT1 touch $DIR1/$tfile
1092         pre=$(chk_get_version $CLIENT1 $DIR/$tfile)
1093
1094         #
1095         # Comments on the replay sequence state the expected result
1096         # of each request.
1097         #
1098         #   "R"     Replayed.
1099         #   "U"     Unable to replay.
1100         #   "J"     Rejected.
1101         #
1102         replay_barrier $SINGLEMDS
1103         do_node $CLIENT1 chmod 666 $DIR/$tfile-a            # R
1104         do_node $CLIENT2 chmod 666 $DIR1/$tfile-b           # R
1105         do_node $CLIENT2 chgrp $RUNAS_GID $DIR2/$tfile-a    # U
1106         do_node $CLIENT1 chown $RUNAS_ID:$RUNAS_GID $DIR/$tfile-a      # J
1107         do_node $CLIENT2 $TRUNCATE $DIR2/$tfile-b 1          # U
1108         do_node $CLIENT2 chgrp $RUNAS_GID $DIR1/$tfile-b    # R
1109         do_node $CLIENT1 chown $RUNAS_ID:$RUNAS_GID $DIR/$tfile-b      # R
1110         zconf_umount $CLIENT2 $MOUNT2
1111         facet_failover $SINGLEMDS
1112
1113         client_evicted $CLIENT1 || error "$CLIENT1:$MOUNT not evicted"
1114         client_up $CLIENT2 || error "$CLIENT2:$MOUNT1 evicted"
1115
1116         #
1117         # Check the MDT epoch.  $post must be the first transaction
1118         # number assigned after recovery.
1119         #
1120         do_node $CLIENT2 chmod 666 $DIR1/$tfile
1121         post=$(chk_get_version $CLIENT2 $DIR1/$tfile)
1122         if (($(($pre >> 32)) == $((post >> 32)))); then
1123                 error "epoch not changed: pre $pre, post $post"
1124         fi
1125
1126         if (($(($post & 0x00000000ffffffff)) != 1)); then
1127                 error "transno should restart from one: got $post"
1128         fi
1129
1130         do_node $CLIENT2 stat $DIR1/$tfile-a
1131         do_node $CLIENT2 stat $DIR1/$tfile-b
1132
1133         do_node $CLIENT2 $CHECKSTAT -p 0666 -u \\\#$UID -g \\\#$UID \
1134                 $DIR1/$tfile-a || error "$DIR/$tfile-a: unexpected state"
1135         do_node $CLIENT2 $CHECKSTAT -p 0666 -u \\\#$RUNAS_ID -g \\\#$RUNAS_GID \
1136                 $DIR1/$tfile-b || error "$DIR/$tfile-b: unexpected state"
1137
1138         zconf_umount $CLIENT2 $MOUNT1
1139 }
1140 run_test 10b "3 clients: some, none, and all reqs replayed"
1141
1142 # test set #11: operations in single directory
1143 test_11a() {
1144     local var=${SINGLEMDS}_svc
1145     zconf_mount $CLIENT2 $MOUNT2
1146
1147     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1148
1149     replay_barrier $SINGLEMDS
1150
1151     do_node $CLIENT1 createmany -o $DIR/$tfile-1- 100 &
1152     PID=$!
1153     do_node $CLIENT2 createmany -o $MOUNT2/$tfile-2- 100
1154     zconf_umount $CLIENT2 $MOUNT2
1155     wait $PID
1156
1157     facet_failover $SINGLEMDS
1158     # recovery shouldn't fail due to missing client 2
1159     client_up $CLIENT1 || return 1
1160     # All files from client1 should have been replayed
1161     do_node $CLIENT1 unlinkmany $DIR/$tfile-1- 100 || return 2
1162
1163     [ -e $DIR/$tdir/$tfile-2-0 ] && error "$tfile-2-0 exists"
1164     return 0
1165 }
1166 run_test 11a "concurrent creates don't affect each other"
1167
1168 test_11b() {
1169     local var=${SINGLEMDS}_svc
1170     zconf_mount $CLIENT2 $MOUNT2
1171
1172     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1173
1174     do_node $CLIENT2 createmany -o $MOUNT2/$tfile-2- 100
1175
1176     replay_barrier $SINGLEMDS
1177     do_node $CLIENT1 createmany -o $DIR/$tfile-1- 100 &
1178     PID=$!
1179     do_node $CLIENT2 unlinkmany -o $MOUNT2/$tfile-2- 100
1180     zconf_umount $CLIENT2 $MOUNT2
1181     wait $PID
1182
1183     facet_failover $SINGLEMDS
1184     # recovery shouldn't fail due to missing client 2
1185     client_up $CLIENT1 || return 1
1186     # All files from client1 should have been replayed
1187     do_node $CLIENT1 unlinkmany $DIR/$tfile-1- 100 || return 2
1188
1189     [ -e $DIR/$tdir/$tfile-2-0 ] && error "$tfile-2-0 exists"
1190     return 0
1191 }
1192 run_test 11b "concurrent creates and unlinks don't affect each other"
1193
1194 # test set #12: lock replay with VBR, bug 16356
1195 test_12a() { # former test_2a
1196     local var=${SINGLEMDS}_svc
1197     zconf_mount $CLIENT2 $MOUNT2
1198
1199     do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1200
1201     do_node $CLIENT2 mkdir -p $MOUNT2/$tdir
1202     replay_barrier $SINGLEMDS
1203     do_node $CLIENT2 mcreate $MOUNT2/$tdir/$tfile
1204     do_node $CLIENT1 createmany -o $DIR/$tfile- 25
1205     #client1 read data from client2 which will be lost
1206     do_node $CLIENT1 $CHECKSTAT $DIR/$tdir/$tfile
1207     do_node $CLIENT1 createmany -o $DIR/$tfile-3- 25
1208     zconf_umount $CLIENT2 $MOUNT2
1209
1210     facet_failover $SINGLEMDS
1211     # recovery shouldn't fail due to missing client 2
1212     client_up $CLIENT1 || return 1
1213
1214     # All 50 files should have been replayed
1215     do_node $CLIENT1 unlinkmany $DIR/$tfile- 25 || return 2
1216     do_node $CLIENT1 unlinkmany $DIR/$tfile-3- 25 || return 3
1217     do_node $CLIENT1 $CHECKSTAT $DIR/$tdir/$tfile && return 4
1218
1219     return 0
1220 }
1221 run_test 12a "lost data due to missed REMOTE client during replay"
1222
1223 test_13() { # LU-8826
1224         local var=${SINGLEMDS}_svc
1225
1226         if combined_mgs_mds ; then
1227                 skip "Needs separate MGS to enable IR"
1228                 return 0
1229         fi
1230
1231         do_facet $SINGLEMDS "$LCTL set_param mdd.${!var}.sync_permission=0"
1232         do_facet $SINGLEMDS "$LCTL set_param mdt.${!var}.commit_on_sharing=0"
1233
1234         zconf_mount $CLIENT2 $MOUNT2
1235         do_node $CLIENT1 openfile -f O_RDWR:O_CREAT -m 0644 $DIR/$tfile
1236
1237         # set ir_timeout to a reasonable small value
1238         local ir_timeout=$(do_facet mgs $LCTL get_param -n mgs.*.ir_timeout)
1239         do_facet mgs $LCTL set_param mgs.*.ir_timeout=5
1240         # make sure IR functional
1241         sleep 5
1242
1243         replay_barrier $SINGLEMDS
1244         do_node $CLIENT1 chmod 666 $DIR/$tfile
1245         do_node $CLIENT2 chmod 777 $DIR2/$tfile
1246
1247         # make sure client data of $CLIENT2:$MOUNT2 is remained
1248         # define OBD_FAIL_TGT_CLIENT_DEL        0x718
1249         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x718
1250         zconf_umount $CLIENT2 $MOUNT2
1251         # define OBD_FAIL_TGT_SLUGGISH_NET      0x719
1252         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x719
1253         facet_failover $SINGLEMDS
1254
1255         client_up $CLIENT1 || error "$CLIENT1 evicted"
1256
1257         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1258         do_facet mgs $LCTL set_param mgs.*.ir_timeout=$ir_timeout
1259
1260         do_node $CLIENT1 $CHECKSTAT -p 0666 $DIR/$tfile ||
1261                 error "$DIR/$tfile-a: unexpected state"
1262 }
1263 run_test 13 "Shouldn't give up VBR easily on sluggish network"
1264
1265 #restore COS setting
1266 restore_lustre_params < $cos_param_file
1267 rm -f $cos_param_file
1268
1269 [ "$CLIENTS" ] && zconf_mount_clients $CLIENTS $DIR
1270
1271 complete $SECONDS
1272 check_and_cleanup_lustre
1273 exit_status