Whamcloud - gitweb
LU-13535 lfsck: fix possible PFL layout corruption
[fs/lustre-release.git] / lustre / tests / sanity-lfsck.sh
1 #!/bin/bash
2 #
3 # Run select tests by setting ONLY, or as arguments to the script.
4 # Skip specific tests by setting EXCEPT.
5 #
6
7 set -e
8
9 ONLY=${ONLY:-"$*"}
10
11 LUSTRE=${LUSTRE:-$(dirname $0)/..}
12 . $LUSTRE/tests/test-framework.sh
13 init_test_env $@
14 init_logging
15
16 ALWAYS_EXCEPT="$SANITY_LFSCK_EXCEPT "
17
18 # DNE does not support striped directory on zfs-based backend yet.
19 [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
20 #Bug number for excepting test
21         ALWAYS_EXCEPT+=" 31"
22 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
23
24 [[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.4.90) ]] &&
25         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2c"
26
27 [[ $(lustre_version_code ost1) -lt $(version_code 2.5.55) ]] &&
28         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 11 12 13 14 15 16 17 18 19 20 21"
29
30 [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.50) ]] &&
31         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2d 2e 3 22 23 24 25 26 27 28 29 30 31"
32
33 [ "$SLOW" = "no" ] && EXCEPT_SLOW=""
34 build_test_filter
35
36 require_dsh_mds || exit 0
37
38 load_modules
39
40 if ! check_versions; then
41         skip "It is NOT necessary to test lfsck under interoperation mode"
42         exit 0
43 fi
44
45 [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.60) ]] &&
46         skip "Need MDS version at least 2.3.60" && exit 0
47
48 LTIME=${LTIME:-120}
49
50 SAVED_MDSSIZE=${MDSSIZE}
51 SAVED_OSTSIZE=${OSTSIZE}
52 SAVED_OSTCOUNT=${OSTCOUNT}
53 # use small MDS + OST size to speed formatting time
54 # do not use too small MDSSIZE/OSTSIZE, which affect the default journal size
55 MDSSIZE=100000
56 [ $(facet_fstype $SINGLEMDS) == zfs ] && MDSSIZE=300000
57 OSTSIZE=100000
58 [ $(facet_fstype ost1) == zfs ] && OSTSIZE=300000
59
60 # no need too many OSTs, to reduce the format/start/stop overhead
61 cleanupall
62 [ $OSTCOUNT -gt 4 ] && OSTCOUNT=4
63
64 # build up a clean test environment.
65 REFORMAT="yes" check_and_setup_lustre
66
67 MDT_DEV="${FSNAME}-MDT0000"
68 OST_DEV="${FSNAME}-OST0000"
69 MDT_DEVNAME=$(mdsdevname ${SINGLEMDS//mds/})
70 START_NAMESPACE="do_facet $SINGLEMDS \
71                 $LCTL lfsck_start -M ${MDT_DEV} -t namespace"
72 START_LAYOUT="do_facet $SINGLEMDS \
73                 $LCTL lfsck_start -M ${MDT_DEV} -t layout"
74 START_LAYOUT_ON_OST="do_facet ost1 $LCTL lfsck_start -M ${OST_DEV} -t layout"
75 STOP_LFSCK="do_facet $SINGLEMDS $LCTL lfsck_stop -M ${MDT_DEV}"
76 SHOW_NAMESPACE="do_facet $SINGLEMDS \
77                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace"
78 SHOW_LAYOUT="do_facet $SINGLEMDS \
79                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_layout"
80 SHOW_LAYOUT_ON_OST="do_facet ost1 \
81                 $LCTL get_param -n obdfilter.${OST_DEV}.lfsck_layout"
82 MOUNT_OPTS_SCRUB="$MDS_MOUNT_OPTS -o user_xattr"
83 MOUNT_OPTS_NOSCRUB="$MDS_MOUNT_OPTS -o user_xattr,noscrub"
84 MOUNT_OPTS_SKIP_LFSCK="-o user_xattr,skip_lfsck"
85
86 lfsck_prep() {
87         local ndirs=$1
88         local nfiles=$2
89         local igif=$3
90
91         check_mount_and_prep
92
93         echo "preparing... $nfiles * $ndirs files will be created $(date)."
94         if [ ! -z $igif ]; then
95                 #define OBD_FAIL_FID_IGIF       0x1504
96                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1504
97         fi
98
99         cp $LUSTRE/tests/*.sh $DIR/$tdir/
100         if [ $ndirs -gt 0 ]; then
101                 createmany -d $DIR/$tdir/d $ndirs
102                 createmany -m $DIR/$tdir/f $ndirs
103                 if [ $nfiles -gt 0 ]; then
104                         for ((i = 0; i < $ndirs; i++)); do
105                                 createmany -m $DIR/$tdir/d${i}/f $nfiles > \
106                                         /dev/null || error "createmany $nfiles"
107                         done
108                 fi
109                 createmany -d $DIR/$tdir/e $ndirs
110         fi
111
112         if [ ! -z $igif ]; then
113                 touch $DIR/$tdir/dummy
114                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0
115         fi
116
117         echo "prepared $(date)."
118 }
119
120 run_e2fsck_on_mdt0() {
121         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] && return
122
123         stop $SINGLEMDS > /dev/null || error "(0) Fail to the stop MDT0"
124         run_e2fsck $(facet_active_host $SINGLEMDS) $(mdsdevname 1) "-n" |
125                 grep "Fix? no" && {
126                 run_e2fsck $(facet_active_host $SINGLEMDS) $(mdsdevname 1) "-n"
127                 error "(2) Detected inconsistency on MDT0"
128         }
129         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
130                 error "(3) Fail to start MDT0"
131 }
132
133 wait_all_targets_blocked() {
134         local com=$1
135         local status=$2
136         local err=$3
137
138         local count=$(do_facet mds1 \
139                      "$LCTL lfsck_query -t $com -M ${FSNAME}-MDT0000 -w |
140                       awk '/^${com}_mdts_${status}/ { print \\\$2 }'")
141         [[ $count -eq $MDSCOUNT ]] || {
142                 do_facet mds1 "$LCTL lfsck_query -t $com -M ${FSNAME}-MDT0000"
143                 error "($err) only $count of $MDSCOUNT MDTs are in ${status}"
144         }
145 }
146
147 wait_all_targets() {
148         local com=$1
149         local status=$2
150         local err=$3
151
152         wait_update_facet mds1 "$LCTL lfsck_query -t $com -M ${FSNAME}-MDT0000 |
153                 awk '/^${com}_mdts_${status}/ { print \\\$2 }'" \
154                 "$MDSCOUNT" $LTIME || {
155                 do_facet mds1 "$LCTL lfsck_query -t $com -M ${FSNAME}-MDT0000"
156                 error "($err) some MDTs are not in ${status}"
157         }
158 }
159
160 test_0() {
161         lfsck_prep 3 3
162
163         #define OBD_FAIL_LFSCK_DELAY1           0x1600
164         do_facet $SINGLEMDS $LCTL set_param fail_val=3 fail_loc=0x1600
165         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
166
167         $SHOW_NAMESPACE || error "Fail to monitor LFSCK (3)"
168
169         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
170         [ "$STATUS" == "scanning-phase1" ] ||
171                 error "(4) Expect 'scanning-phase1', but got '$STATUS'"
172
173         $STOP_LFSCK || error "(5) Fail to stop LFSCK!"
174
175         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
176         [ "$STATUS" == "stopped" ] ||
177                 error "(6) Expect 'stopped', but got '$STATUS'"
178
179         $START_NAMESPACE || error "(7) Fail to start LFSCK for namespace!"
180
181         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
182         [ "$STATUS" == "scanning-phase1" ] ||
183                 error "(8) Expect 'scanning-phase1', but got '$STATUS'"
184
185         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
186         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
187                 mdd.${MDT_DEV}.lfsck_namespace |
188                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
189                 $SHOW_NAMESPACE
190                 error "(9) unexpected status"
191         }
192
193         local repaired=$($SHOW_NAMESPACE |
194                          awk '/^updated_phase1/ { print $2 }')
195         [ $repaired -eq 0 ] ||
196                 error "(10) Expect nothing to be repaired, but got: $repaired"
197
198         local scanned1=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
199         $START_NAMESPACE -r || error "(11) Fail to reset LFSCK!"
200         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
201                 mdd.${MDT_DEV}.lfsck_namespace |
202                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
203                 $SHOW_NAMESPACE
204                 error "(12) unexpected status"
205         }
206
207         local scanned2=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
208         [ $((scanned1 + 1)) -eq $scanned2 ] ||
209                 error "(13) Expect success $((scanned1 + 1)), but got $scanned2"
210
211         echo "stopall, should NOT crash LU-3649"
212         stopall || error "(14) Fail to stopall"
213 }
214 run_test 0 "Control LFSCK manually"
215
216 test_1a() {
217         lfsck_prep 1 1
218
219         #define OBD_FAIL_FID_INDIR      0x1501
220         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1501
221         touch $DIR/$tdir/dummy
222
223         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
224         umount_client $MOUNT
225         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
226         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
227                 mdd.${MDT_DEV}.lfsck_namespace |
228                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
229                 $SHOW_NAMESPACE
230                 error "(4) unexpected status"
231         }
232
233         local repaired=$($SHOW_NAMESPACE |
234                          awk '/^dirent_repaired/ { print $2 }')
235         # for interop with old server
236         [ -z "$repaired" ] &&
237                 repaired=$($SHOW_NAMESPACE |
238                          awk '/^updated_phase1/ { print $2 }')
239
240         [ $repaired -eq 1 ] ||
241                 error "(5) Fail to repair crashed FID-in-dirent: $repaired"
242
243         run_e2fsck_on_mdt0
244
245         mount_client $MOUNT || error "(6) Fail to start client!"
246
247         #define OBD_FAIL_FID_LOOKUP     0x1505
248         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
249         ls $DIR/$tdir/ > /dev/null || error "(7) no FID-in-dirent."
250
251         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
252 }
253 run_test 1a "LFSCK can find out and repair crashed FID-in-dirent"
254
255 test_1b()
256 {
257         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
258                 skip "OI Scrub not implemented for ZFS" && return
259
260         lfsck_prep 1 1
261
262         #define OBD_FAIL_FID_INLMA      0x1502
263         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1502
264         touch $DIR/$tdir/dummy
265
266         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
267         umount_client $MOUNT
268         #define OBD_FAIL_FID_NOLMA      0x1506
269         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1506
270         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
271         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
272                 mdd.${MDT_DEV}.lfsck_namespace |
273                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
274                 $SHOW_NAMESPACE
275                 error "(4) unexpected status"
276         }
277
278         local repaired=$($SHOW_NAMESPACE |
279                          awk '/^dirent_repaired/ { print $2 }')
280         # for interop with old server
281         [ -z "$repaired" ] &&
282                 repaired=$($SHOW_NAMESPACE |
283                          awk '/^updated_phase1/ { print $2 }')
284
285         [ $repaired -eq 1 ] ||
286                 error "(5) Fail to repair the missing FID-in-LMA: $repaired"
287
288         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
289         run_e2fsck_on_mdt0
290
291         mount_client $MOUNT || error "(6) Fail to start client!"
292
293         #define OBD_FAIL_FID_LOOKUP     0x1505
294         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
295         stat $DIR/$tdir/dummy > /dev/null || error "(7) no FID-in-LMA."
296
297         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
298 }
299 run_test 1b "LFSCK can find out and repair the missing FID-in-LMA"
300
301 test_1c() {
302         lfsck_prep 1 1
303
304         #define OBD_FAIL_FID_IGIF       0x1504
305         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1504
306         touch $DIR/$tdir/dummy
307
308         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
309         umount_client $MOUNT
310         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
311         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
312                 mdd.${MDT_DEV}.lfsck_namespace |
313                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
314                 $SHOW_NAMESPACE
315                 error "(4) unexpected status"
316         }
317
318         local repaired=$($SHOW_NAMESPACE |
319                          awk '/^dirent_repaired/ { print $2 }')
320         # for interop with old server
321         [ -z "$repaired" ] &&
322                 repaired=$($SHOW_NAMESPACE |
323                          awk '/^updated_phase1/ { print $2 }')
324
325         [ $repaired -eq 1 ] ||
326                 error "(5) Fail to repair lost FID-in-dirent: $repaired"
327
328         run_e2fsck_on_mdt0
329
330         mount_client $MOUNT || error "(6) Fail to start client!"
331
332         #define OBD_FAIL_FID_LOOKUP     0x1505
333         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
334         ls $DIR/$tdir/ > /dev/null || error "(7) no FID-in-dirent."
335
336         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
337 }
338 run_test 1c "LFSCK can find out and repair lost FID-in-dirent"
339
340 test_2a() {
341         lfsck_prep 1 1
342
343         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
344         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
345         touch $DIR/$tdir/dummy
346
347         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
348         umount_client $MOUNT
349         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
350         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
351                 mdd.${MDT_DEV}.lfsck_namespace |
352                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
353                 $SHOW_NAMESPACE
354                 error "(4) unexpected status"
355         }
356
357         local repaired=$($SHOW_NAMESPACE |
358                          awk '/^linkea_repaired/ { print $2 }')
359         # for interop with old server
360         [ -z "$repaired" ] &&
361                 repaired=$($SHOW_NAMESPACE |
362                          awk '/^updated_phase2/ { print $2 }')
363
364         [ $repaired -eq 1 ] ||
365                 error "(5) Fail to repair crashed linkEA: $repaired"
366
367         run_e2fsck_on_mdt0
368
369         mount_client $MOUNT || error "(6) Fail to start client!"
370
371         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
372                 error "(7) Fail to stat $DIR/$tdir/dummy"
373
374         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
375         local dummyname=$($LFS fid2path $DIR $dummyfid)
376         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
377                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
378 }
379 run_test 2a "LFSCK can find out and repair crashed linkEA entry"
380
381 test_2b()
382 {
383         lfsck_prep 1 1
384
385         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
386         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
387         touch $DIR/$tdir/dummy
388
389         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
390         umount_client $MOUNT
391         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
392         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
393                 mdd.${MDT_DEV}.lfsck_namespace |
394                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
395                 $SHOW_NAMESPACE
396                 error "(4) unexpected status"
397         }
398
399         local repaired=$($SHOW_NAMESPACE |
400                          awk '/^updated_phase2/ { print $2 }')
401         [ $repaired -eq 1 ] ||
402                 error "(5) Fail to repair crashed linkEA: $repaired"
403
404         run_e2fsck_on_mdt0
405
406         mount_client $MOUNT || error "(6) Fail to start client!"
407
408         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
409                 error "(7) Fail to stat $DIR/$tdir/dummy"
410
411         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
412         local dummyname=$($LFS fid2path $DIR $dummyfid)
413         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
414                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
415 }
416 run_test 2b "LFSCK can find out and remove invalid linkEA entry"
417
418 test_2c()
419 {
420         lfsck_prep 1 1
421
422         #define OBD_FAIL_LFSCK_LINKEA_MORE2     0x1605
423         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1605
424         touch $DIR/$tdir/dummy
425
426         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
427         umount_client $MOUNT
428         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
429         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
430                 mdd.${MDT_DEV}.lfsck_namespace |
431                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
432                 $SHOW_NAMESPACE
433                 error "(4) unexpected status"
434         }
435
436         local repaired=$($SHOW_NAMESPACE |
437                          awk '/^updated_phase2/ { print $2 }')
438         [ $repaired -eq 1 ] ||
439                 error "(5) Fail to repair crashed linkEA: $repaired"
440
441         run_e2fsck_on_mdt0
442
443         mount_client $MOUNT || error "(6) Fail to start client!"
444
445         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
446                 error "(7) Fail to stat $DIR/$tdir/dummy"
447
448         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
449         local dummyname=$($LFS fid2path $DIR $dummyfid)
450         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
451                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
452 }
453 run_test 2c "LFSCK can find out and remove repeated linkEA entry"
454
455 test_2d()
456 {
457         lfsck_prep 1 1
458
459         #define OBD_FAIL_LFSCK_NO_LINKEA        0x161d
460         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x161d
461         touch $DIR/$tdir/dummy
462
463         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
464         umount_client $MOUNT
465         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
466         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
467                 mdd.${MDT_DEV}.lfsck_namespace |
468                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
469                 $SHOW_NAMESPACE
470                 error "(4) unexpected status"
471         }
472
473         local repaired=$($SHOW_NAMESPACE |
474                          awk '/^linkea_repaired/ { print $2 }')
475         [ $repaired -eq 1 ] ||
476                 error "(5) Fail to repair crashed linkEA: $repaired"
477
478         run_e2fsck_on_mdt0
479
480         mount_client $MOUNT || error "(6) Fail to start client!"
481
482         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
483                 error "(7) Fail to stat $DIR/$tdir/dummy"
484
485         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
486         local dummyname=$($LFS fid2path $DIR $dummyfid)
487         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
488                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
489 }
490 run_test 2d "LFSCK can recover the missing linkEA entry"
491
492 test_2e()
493 {
494         [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
495
496         check_mount_and_prep
497
498         $LFS mkdir -i 1 $DIR/$tdir/d0 || error "(1) Fail to mkdir d0 on MDT1"
499
500         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
501         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
502         $LFS mkdir -i 0 $DIR/$tdir/d0/d1 || error "(2) Fail to mkdir d1 on MDT0"
503         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
504
505         $START_NAMESPACE -r -A || error "(3) Fail to start LFSCK for namespace!"
506
507         wait_all_targets_blocked namespace completed 4
508
509         local repaired=$($SHOW_NAMESPACE |
510                          awk '/^linkea_repaired/ { print $2 }')
511         [ $repaired -eq 1 ] ||
512                 error "(5) Fail to repair crashed linkEA: $repaired"
513
514         local fid=$($LFS path2fid $DIR/$tdir/d0/d1)
515         local name=$($LFS fid2path $DIR $fid)
516         [ "$name" == "$DIR/$tdir/d0/d1" ] ||
517                 error "(6) Fail to repair linkEA: $fid $name"
518 }
519 run_test 2e "namespace LFSCK can verify remote object linkEA"
520
521 test_3()
522 {
523         lfsck_prep 4 4
524
525         mkdir $DIR/$tdir/dummy || error "(1) Fail to mkdir"
526         ln $DIR/$tdir/d0/f0 $DIR/$tdir/dummy/f0 || error "(2) Fail to hardlink"
527         ln $DIR/$tdir/d0/f1 $DIR/$tdir/dummy/f1 || error "(3) Fail to hardlink"
528
529         $LFS mkdir -i 0 $DIR/$tdir/edir || error "(4) Fail to mkdir"
530         touch $DIR/$tdir/edir/f0 || error "(5) Fail to touch"
531         touch $DIR/$tdir/edir/f1 || error "(6) Fail to touch"
532
533         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
534         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
535         ln $DIR/$tdir/edir/f0 $DIR/$tdir/edir/w0 || error "(7) Fail to hardlink"
536
537         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
538         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
539         ln $DIR/$tdir/edir/f1 $DIR/$tdir/edir/w1 || error "(8) Fail to hardlink"
540
541         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
542
543         $START_NAMESPACE -r || error "(9) Fail to start LFSCK for namespace!"
544         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
545                 mdd.${MDT_DEV}.lfsck_namespace |
546                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
547                 $SHOW_NAMESPACE
548                 error "(10) unexpected status"
549         }
550
551         local checked=$($SHOW_NAMESPACE |
552                         awk '/^checked_phase2/ { print $2 }')
553         [ $checked -ge 4 ] ||
554                 error "(11) Fail to check multiple-linked object: $checked"
555
556         local repaired=$($SHOW_NAMESPACE |
557                          awk '/^multiple_linked_repaired/ { print $2 }')
558         [ $repaired -ge 2 ] ||
559                 error "(12) Fail to repair multiple-linked object: $repaired"
560 }
561 run_test 3 "LFSCK can verify multiple-linked objects"
562
563 test_4()
564 {
565         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
566                 skip "OI Scrub not implemented for ZFS" && return
567
568         lfsck_prep 3 3
569         cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
570         stop $SINGLEMDS > /dev/null || error "(0.2) Fail to stop MDS!"
571
572         mds_backup_restore $SINGLEMDS || error "(1) Fail to backup/restore!"
573         echo "start $SINGLEMDS with disabling OI scrub"
574         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
575                 error "(2) Fail to start MDS!"
576
577         #define OBD_FAIL_LFSCK_DELAY2           0x1601
578         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
579         $START_NAMESPACE -r || error "(4) Fail to start LFSCK for namespace!"
580         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
581                 mdd.${MDT_DEV}.lfsck_namespace |
582                 awk '/^flags/ { print \\\$2 }'" "inconsistent" 32 || {
583                 $SHOW_NAMESPACE
584                 error "(5) unexpected status"
585         }
586
587         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
588         [ "$STATUS" == "scanning-phase1" ] ||
589                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
590
591         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
592         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
593                 mdd.${MDT_DEV}.lfsck_namespace |
594                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
595                 $SHOW_NAMESPACE
596                 error "(7) unexpected status"
597         }
598
599         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
600         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
601
602         local repaired=$($SHOW_NAMESPACE |
603                          awk '/^dirent_repaired/ { print $2 }')
604         # for interop with old server
605         [ -z "$repaired" ] &&
606                 repaired=$($SHOW_NAMESPACE |
607                          awk '/^updated_phase1/ { print $2 }')
608
609         [ $repaired -ge 9 ] ||
610                 error "(9) Fail to re-generate FID-in-dirent: $repaired"
611
612         run_e2fsck_on_mdt0
613
614         mount_client $MOUNT || error "(10) Fail to start client!"
615
616         #define OBD_FAIL_FID_LOOKUP     0x1505
617         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
618         ls $DIR/$tdir/ > /dev/null || error "(11) no FID-in-dirent."
619         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
620 }
621 run_test 4 "FID-in-dirent can be rebuilt after MDT file-level backup/restore"
622
623 test_5()
624 {
625         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
626                 skip "OI Scrub not implemented for ZFS" && return
627
628         lfsck_prep 1 1 1
629         cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
630         stop $SINGLEMDS > /dev/null || error "(0.2) Fail to stop MDS!"
631
632         mds_backup_restore $SINGLEMDS 1 || error "(1) Fail to backup/restore!"
633         echo "start $SINGLEMDS with disabling OI scrub"
634         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
635                 error "(2) Fail to start MDS!"
636
637         #define OBD_FAIL_LFSCK_DELAY2           0x1601
638         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
639         $START_NAMESPACE -r || error "(4) Fail to start LFSCK for namespace!"
640         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
641                 mdd.${MDT_DEV}.lfsck_namespace |
642                 awk '/^flags/ { print \\\$2 }'" "inconsistent,upgrade" 32 || {
643                 $SHOW_NAMESPACE
644                 error "(5) unexpected status"
645         }
646
647         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
648         [ "$STATUS" == "scanning-phase1" ] ||
649                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
650
651         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
652         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
653                 mdd.${MDT_DEV}.lfsck_namespace |
654                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
655                 $SHOW_NAMESPACE
656                 error "(7) unexpected status"
657         }
658
659         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
660         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
661
662         local repaired=$($SHOW_NAMESPACE |
663                          awk '/^dirent_repaired/ { print $2 }')
664         # for interop with old server
665         [ -z "$repaired" ] &&
666                 repaired=$($SHOW_NAMESPACE |
667                          awk '/^updated_phase1/ { print $2 }')
668
669         [ $repaired -ge 2 ] ||
670                 error "(9) Fail to generate FID-in-dirent for IGIF: $repaired"
671
672         run_e2fsck_on_mdt0
673
674         mount_client $MOUNT || error "(10) Fail to start client!"
675
676         #define OBD_FAIL_FID_LOOKUP     0x1505
677         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
678         stat $DIR/$tdir/dummy > /dev/null || error "(11) no FID-in-LMA."
679
680         ls $DIR/$tdir/ > /dev/null || error "(12) no FID-in-dirent."
681
682         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
683         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
684         local dummyname=$($LFS fid2path $DIR $dummyfid)
685         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
686                 error "(13) Fail to generate linkEA: $dummyfid $dummyname"
687 }
688 run_test 5 "LFSCK can handle IGIF object upgrading"
689
690 test_6a() {
691         lfsck_prep 5 5
692
693         #define OBD_FAIL_LFSCK_DELAY1           0x1600
694         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1600
695         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
696
697         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
698         [ "$STATUS" == "scanning-phase1" ] ||
699                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
700
701         # Sleep 3 sec to guarantee at least one object processed by LFSCK
702         sleep 3
703         # Fail the LFSCK to guarantee there is at least one checkpoint
704         #define OBD_FAIL_LFSCK_FATAL1           0x1608
705         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001608
706         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
707                 mdd.${MDT_DEV}.lfsck_namespace |
708                 awk '/^status/ { print \\\$2 }'" "failed" 32 || {
709                 $SHOW_NAMESPACE
710                 error "(4) unexpected status"
711         }
712
713         local POS0=$($SHOW_NAMESPACE |
714                      awk '/^last_checkpoint_position/ { print $2 }' |
715                      tr -d ',')
716
717         #define OBD_FAIL_LFSCK_DELAY1           0x1600
718         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1600
719         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
720
721         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
722         [ "$STATUS" == "scanning-phase1" ] ||
723                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
724
725         local POS1=$($SHOW_NAMESPACE |
726                      awk '/^latest_start_position/ { print $2 }' |
727                      tr -d ',')
728         [[ $POS0 -lt $POS1 ]] ||
729                 error "(7) Expect larger than: $POS0, but got $POS1"
730
731         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
732         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
733                 mdd.${MDT_DEV}.lfsck_namespace |
734                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
735                 $SHOW_NAMESPACE
736                 error "(8) unexpected status"
737         }
738 }
739 run_test 6a "LFSCK resumes from last checkpoint (1)"
740
741 test_6b() {
742         lfsck_prep 5 5
743
744         #define OBD_FAIL_LFSCK_DELAY2           0x1601
745         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
746         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
747
748         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
749         [ "$STATUS" == "scanning-phase1" ] ||
750                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
751
752         # Sleep 5 sec to guarantee that we are in the directory scanning
753         sleep 5
754         # Fail the LFSCK to guarantee there is at least one checkpoint
755         #define OBD_FAIL_LFSCK_FATAL2           0x1609
756         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
757         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
758                 mdd.${MDT_DEV}.lfsck_namespace |
759                 awk '/^status/ { print \\\$2 }'" "failed" 32 || {
760                 $SHOW_NAMESPACE
761                 error "(4) unexpected status"
762         }
763
764         local O_POS0=$($SHOW_NAMESPACE |
765                        awk '/^last_checkpoint_position/ { print $2 }' |
766                        tr -d ',')
767
768         local D_POS0=$($SHOW_NAMESPACE |
769                        awk '/^last_checkpoint_position/ { print $4 }')
770
771         #define OBD_FAIL_LFSCK_DELAY2           0x1601
772         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
773         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
774
775         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
776         [ "$STATUS" == "scanning-phase1" ] ||
777                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
778
779         local O_POS1=$($SHOW_NAMESPACE |
780                        awk '/^latest_start_position/ { print $2 }' |
781                        tr -d ',')
782         local D_POS1=$($SHOW_NAMESPACE |
783                        awk '/^latest_start_position/ { print $4 }')
784
785         echo "Additional debug for 6b"
786         $SHOW_NAMESPACE
787         if [ "$D_POS0" == "N/A" -o "$D_POS0" == "0x0" \
788              -o "$D_POS1" == "0x0" -o "$D_POS1" == "N/A" ]; then
789                 [[ $O_POS0 -lt $O_POS1 ]] ||
790                         error "(7.1) $O_POS1 is not larger than $O_POS0"
791         else
792                 [[ $D_POS0 -lt $D_POS1 ]] ||
793                         error "(7.2) $D_POS1 is not larger than $D_POS0"
794         fi
795
796         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
797         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
798                 mdd.${MDT_DEV}.lfsck_namespace |
799                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
800                 $SHOW_NAMESPACE
801                 error "(8) unexpected status"
802         }
803 }
804 run_test 6b "LFSCK resumes from last checkpoint (2)"
805
806 test_7a()
807 {
808         lfsck_prep 5 5
809         umount_client $MOUNT
810
811         #define OBD_FAIL_LFSCK_DELAY2           0x1601
812         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
813         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
814
815         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
816         [ "$STATUS" == "scanning-phase1" ] ||
817                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
818
819         # Sleep 3 sec to guarantee at least one object processed by LFSCK
820         sleep 3
821         echo "stop $SINGLEMDS"
822         stop $SINGLEMDS > /dev/null || error "(4) Fail to stop MDS!"
823
824         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
825         echo "start $SINGLEMDS"
826         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
827                 error "(5) Fail to start MDS!"
828
829         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
830                 mdd.${MDT_DEV}.lfsck_namespace |
831                 awk '/^status/ { print \\\$2 }'" "completed" 30 || {
832                 $SHOW_NAMESPACE
833                 error "(6) unexpected status"
834         }
835 }
836 run_test 7a "non-stopped LFSCK should auto restarts after MDS remount (1)"
837
838 test_7b()
839 {
840         lfsck_prep 2 2
841
842         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
843         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
844         for ((i = 0; i < 20; i++)); do
845                 touch $DIR/$tdir/dummy${i}
846         done
847
848         #define OBD_FAIL_LFSCK_DELAY3           0x1602
849         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1602
850         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
851         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
852                 mdd.${MDT_DEV}.lfsck_namespace |
853                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 32 || {
854                 $SHOW_NAMESPACE
855                 error "(4) unexpected status"
856         }
857
858         umount_client $MOUNT
859         echo "stop $SINGLEMDS"
860         stop $SINGLEMDS > /dev/null || error "(5) Fail to stop MDS!"
861
862         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
863         echo "start $SINGLEMDS"
864         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
865                 error "(6) Fail to start MDS!"
866
867         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
868                 mdd.${MDT_DEV}.lfsck_namespace |
869                 awk '/^status/ { print \\\$2 }'" "completed" 30 || {
870                 $SHOW_NAMESPACE
871                 error "(7) unexpected status"
872         }
873 }
874 run_test 7b "non-stopped LFSCK should auto restarts after MDS remount (2)"
875
876 test_8()
877 {
878         echo "formatall"
879         formatall > /dev/null
880         echo "setupall"
881         setupall > /dev/null
882
883         lfsck_prep 20 20
884
885         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
886         [ "$STATUS" == "init" ] ||
887                 error "(2) Expect 'init', but got '$STATUS'"
888
889         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
890         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
891         mkdir $DIR/$tdir/crashed
892
893         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
894         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
895         for ((i = 0; i < 5; i++)); do
896                 touch $DIR/$tdir/dummy${i}
897         done
898
899         umount_client $MOUNT || error "(3) Fail to stop client!"
900
901         #define OBD_FAIL_LFSCK_DELAY2           0x1601
902         do_facet $SINGLEMDS $LCTL set_param fail_val=2 fail_loc=0x1601
903         $START_NAMESPACE || error "(4) Fail to start LFSCK for namespace!"
904
905         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
906         [ "$STATUS" == "scanning-phase1" ] ||
907                 error "(5) Expect 'scanning-phase1', but got '$STATUS'"
908
909         $STOP_LFSCK || error "(6) Fail to stop LFSCK!"
910
911         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
912         [ "$STATUS" == "stopped" ] ||
913                 error "(7) Expect 'stopped', but got '$STATUS'"
914
915         $START_NAMESPACE || error "(8) Fail to start LFSCK for namespace!"
916
917         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
918         [ "$STATUS" == "scanning-phase1" ] ||
919                 error "(9) Expect 'scanning-phase1', but got '$STATUS'"
920
921         #define OBD_FAIL_LFSCK_FATAL2           0x1609
922         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
923         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
924                 mdd.${MDT_DEV}.lfsck_namespace |
925                 awk '/^status/ { print \\\$2 }'" "failed" 32 || {
926                 $SHOW_NAMESPACE
927                 error "(10) unexpected status"
928         }
929
930         #define OBD_FAIL_LFSCK_DELAY1           0x1600
931         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
932         $START_NAMESPACE || error "(11) Fail to start LFSCK for namespace!"
933
934         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
935         [ "$STATUS" == "scanning-phase1" ] ||
936                 error "(12) Expect 'scanning-phase1', but got '$STATUS'"
937
938         #define OBD_FAIL_LFSCK_CRASH            0x160a
939         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160a
940         sleep 5
941
942         echo "stop $SINGLEMDS"
943         stop $SINGLEMDS > /dev/null || error "(13) Fail to stop MDS!"
944
945         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
946         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
947
948         echo "start $SINGLEMDS"
949         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
950                 error "(14) Fail to start MDS!"
951
952         local timeout=$(max_recovery_time)
953         local timer=0
954
955         while [ $timer -lt $timeout ]; do
956                 STATUS=$(do_facet $SINGLEMDS "$LCTL get_param -n \
957                         mdt.${MDT_DEV}.recovery_status |
958                         awk '/^status/ { print \\\$2 }'")
959                 [ "$STATUS" != "RECOVERING" ] && break;
960                 sleep 1
961                 timer=$((timer + 1))
962         done
963
964         [ $timer != $timeout ] ||
965                 error "(14.1) recovery timeout"
966
967         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
968         [ "$STATUS" == "crashed" ] ||
969                 error "(15) Expect 'crashed', but got '$STATUS'"
970
971         #define OBD_FAIL_LFSCK_DELAY2           0x1601
972         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
973         $START_NAMESPACE || error "(16) Fail to start LFSCK for namespace!"
974
975         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
976         [ "$STATUS" == "scanning-phase1" ] ||
977                 error "(17) Expect 'scanning-phase1', but got '$STATUS'"
978
979         echo "stop $SINGLEMDS"
980         stop $SINGLEMDS > /dev/null || error "(18) Fail to stop MDS!"
981
982         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
983         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
984
985         echo "start $SINGLEMDS"
986         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
987                 error "(19) Fail to start MDS!"
988
989         timer=0
990         while [ $timer -lt $timeout ]; do
991                 STATUS=$(do_facet $SINGLEMDS "$LCTL get_param -n \
992                         mdt.${MDT_DEV}.recovery_status |
993                         awk '/^status/ { print \\\$2 }'")
994                 [ "$STATUS" != "RECOVERING" ] && break;
995                 sleep 1
996                 timer=$((timer + 1))
997         done
998
999         [ $timer != $timeout ] ||
1000                 error "(19.1) recovery timeout"
1001
1002         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1003         [ "$STATUS" == "paused" ] ||
1004                 error "(20) Expect 'paused', but got '$STATUS'"
1005
1006         echo "stop $SINGLEMDS"
1007         stop $SINGLEMDS > /dev/null || error "(20.1) Fail to stop MDS!"
1008
1009         echo "start $SINGLEMDS without resume LFSCK"
1010         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SKIP_LFSCK > /dev/null ||
1011                 error "(20.2) Fail to start MDS!"
1012
1013         timer=0
1014         while [ $timer -lt $timeout ]; do
1015                 STATUS=$(do_facet $SINGLEMDS "$LCTL get_param -n \
1016                         mdt.${MDT_DEV}.recovery_status |
1017                         awk '/^status/ { print \\\$2 }'")
1018                 [ "$STATUS" != "RECOVERING" ] && break;
1019                 sleep 1
1020                 timer=$((timer + 1))
1021         done
1022
1023         [ $timer != $timeout ] ||
1024                 error "(20.3) recovery timeout"
1025
1026         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1027         [ "$STATUS" == "paused" ] ||
1028                 error "(20.4) Expect 'paused', but got '$STATUS'"
1029
1030         #define OBD_FAIL_LFSCK_DELAY3           0x1602
1031         do_facet $SINGLEMDS $LCTL set_param fail_val=2 fail_loc=0x1602
1032
1033         $START_NAMESPACE || error "(21) Fail to start LFSCK for namespace!"
1034         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1035                 mdd.${MDT_DEV}.lfsck_namespace |
1036                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 32 || {
1037                 $SHOW_NAMESPACE
1038                 error "(22) unexpected status"
1039         }
1040
1041         local FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
1042         [ "$FLAGS" == "scanned-once,inconsistent" ] ||
1043                 error "(23) Expect 'scanned-once,inconsistent',but got '$FLAGS'"
1044
1045         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
1046         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1047                 mdd.${MDT_DEV}.lfsck_namespace |
1048                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1049                 $SHOW_NAMESPACE
1050                 error "(24) unexpected status"
1051         }
1052
1053         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
1054         [ -z "$FLAGS" ] || error "(25) Expect empty flags, but got '$FLAGS'"
1055 }
1056 run_test 8 "LFSCK state machine"
1057
1058 test_9a() {
1059         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
1060                 skip "Testing on UP system, the speed may be inaccurate."
1061                 return 0
1062         fi
1063
1064         check_mount_and_prep
1065         $LFS mkdir -i 0 $DIR/$tdir/lfsck || error "(1) Fail to mkdir lfsck"
1066         $LFS setstripe -c 1 -i -1 $DIR/$tdir/lfsck
1067         createmany -o $DIR/$tdir/lfsck/f 5000
1068
1069         local BASE_SPEED1=100
1070         local RUN_TIME1=10
1071         $START_LAYOUT -r -s $BASE_SPEED1 || error "(2) Fail to start LFSCK!"
1072
1073         sleep $RUN_TIME1
1074         STATUS=$($SHOW_LAYOUT | awk '/^status/ { print $2 }')
1075         [ "$STATUS" == "scanning-phase1" ] ||
1076                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
1077
1078         local SPEED=$($SHOW_LAYOUT |
1079                       awk '/^average_speed_phase1/ { print $2 }')
1080
1081         # There may be time error, normally it should be less than 2 seconds.
1082         # We allow another 20% schedule error.
1083         local TIME_DIFF=2
1084         # MAX_MARGIN = 1.3 = 13 / 10
1085         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
1086                            RUN_TIME1 * 13 / 10))
1087         [ $SPEED -lt $MAX_SPEED ] || {
1088                 $SHOW_LAYOUT
1089                 log "speed1: $BASE_SPEED1 time1: $RUN_TIME1"
1090                 error "(4) Speed $SPEED, expected < $MAX_SPEED"
1091         }
1092
1093         # adjust speed limit
1094         local BASE_SPEED2=300
1095         local RUN_TIME2=10
1096         do_facet $SINGLEMDS \
1097                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
1098         sleep $RUN_TIME2
1099
1100         SPEED=$($SHOW_LAYOUT | awk '/^average_speed_phase1/ { print $2 }')
1101         # MIN_MARGIN = 0.7 = 7 / 10
1102         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
1103                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
1104                            (RUN_TIME1 + RUN_TIME2) * 7 / 10))
1105         [ $SPEED -gt $MIN_SPEED ] || {
1106                 if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
1107                         error_ignore LU-5624 \
1108                         "(5.1) Got speed $SPEED, expected more than $MIN_SPEED"
1109                 else
1110                         error \
1111                         "(5.2) Got speed $SPEED, expected more than $MIN_SPEED"
1112                 fi
1113         }
1114
1115         # MAX_MARGIN = 1.3 = 13 / 10
1116         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
1117                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
1118                      (RUN_TIME1 + RUN_TIME2) * 13 / 10))
1119         [ $SPEED -lt $MAX_SPEED ] || {
1120                 $SHOW_LAYOUT
1121                 log "speed1: $BASE_SPEED1 time1: $RUN_TIME1"
1122                 log "speed2: $BASE_SPEED2 time2: $RUN_TIME2"
1123                 error "(6) Speed $SPEED, expected < $MAX_SPEED"
1124         }
1125
1126         do_nodes $(comma_list $(mdts_nodes)) \
1127                 $LCTL set_param -n mdd.*.lfsck_speed_limit 0
1128         do_nodes $(comma_list $(osts_nodes)) \
1129                 $LCTL set_param -n obdfilter.*.lfsck_speed_limit 0
1130
1131         wait_update_facet $SINGLEMDS \
1132                 "$LCTL get_param -n mdd.${MDT_DEV}.lfsck_layout |
1133                 awk '/^status/ { print \\\$2 }'" "completed" 30 ||
1134                 error "(7) Failed to get expected 'completed'"
1135 }
1136 run_test 9a "LFSCK speed control (1)"
1137
1138 test_9b() {
1139         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
1140                 skip "Testing on UP system, the speed may be inaccurate."
1141                 return 0
1142         fi
1143
1144         lfsck_prep 0 0
1145
1146         echo "Preparing another 50 * 50 files (with error) at $(date)."
1147         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
1148         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
1149         createmany -d $DIR/$tdir/d 50
1150         createmany -m $DIR/$tdir/f 50
1151         for ((i = 0; i < 50; i++)); do
1152                 createmany -m $DIR/$tdir/d${i}/f 50 > /dev/null
1153         done
1154
1155         #define OBD_FAIL_LFSCK_NO_DOUBLESCAN    0x160c
1156         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160c
1157         $START_NAMESPACE -r || error "(4) Fail to start LFSCK!"
1158         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1159                 mdd.${MDT_DEV}.lfsck_namespace |
1160                 awk '/^status/ { print \\\$2 }'" "stopped" 10 || {
1161                 $SHOW_NAMESPACE
1162                 error "(5) unexpected status"
1163         }
1164
1165         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1166         echo "Prepared at $(date)."
1167
1168         local BASE_SPEED1=50
1169         local RUN_TIME1=10
1170         $START_NAMESPACE -s $BASE_SPEED1 || error "(6) Fail to start LFSCK!"
1171
1172         sleep $RUN_TIME1
1173         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1174         [ "$STATUS" == "scanning-phase2" ] ||
1175                 error "(7) Expect 'scanning-phase2', but got '$STATUS'"
1176
1177         local SPEED=$($SHOW_NAMESPACE |
1178                       awk '/^average_speed_phase2/ { print $2 }')
1179         # There may be time error, normally it should be less than 2 seconds.
1180         # We allow another 20% schedule error.
1181         local TIME_DIFF=2
1182         # MAX_MARGIN = 1.3 = 13 / 10
1183         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
1184                           RUN_TIME1 * 13 / 10))
1185         [ $SPEED -lt $MAX_SPEED ] || {
1186                 $SHOW_NAMESPACE
1187                 log "speed1: $BASE_SPEED1 time1: $RUN_TIME1"
1188                 error "(8) Speed $SPEED, expected < $MAX_SPEED"
1189         }
1190
1191         # adjust speed limit
1192         local BASE_SPEED2=150
1193         local RUN_TIME2=10
1194         do_facet $SINGLEMDS \
1195                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
1196         sleep $RUN_TIME2
1197
1198         SPEED=$($SHOW_NAMESPACE | awk '/^average_speed_phase2/ { print $2 }')
1199         # MIN_MARGIN = 0.7 = 7 / 10
1200         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
1201                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
1202                            (RUN_TIME1 + RUN_TIME2) * 7 / 10))
1203         [ $SPEED -gt $MIN_SPEED ] || {
1204                 if [ $(facet_fstype $SINGLEMDS) != ldiskfs ]; then
1205                         error_ignore LU-5624 \
1206                         "(9.1) Got speed $SPEED, expected more than $MIN_SPEED"
1207                 else
1208                         error \
1209                         "(9.2) Got speed $SPEED, expected more than $MIN_SPEED"
1210                 fi
1211         }
1212
1213         # MAX_MARGIN = 1.3 = 13 / 10
1214         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
1215                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
1216                      (RUN_TIME1 + RUN_TIME2) * 13 / 10))
1217         [ $SPEED -lt $MAX_SPEED ] || {
1218                 $SHOW_NAMESPACE
1219                 log "speed1: $BASE_SPEED1 time1: $RUN_TIME1"
1220                 log "speed2: $BASE_SPEED2 time2: $RUN_TIME2"
1221                 error "(10) Speed $SPEED, expected < $MAX_SPEED"
1222         }
1223
1224         do_nodes $(comma_list $(mdts_nodes)) \
1225                 $LCTL set_param -n mdd.*.lfsck_speed_limit 0
1226         do_nodes $(comma_list $(osts_nodes)) \
1227                 $LCTL set_param -n obdfilter.*.lfsck_speed_limit 0
1228         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1229                 mdd.${MDT_DEV}.lfsck_namespace |
1230                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1231                 $SHOW_NAMESPACE
1232                 error "(11) unexpected status"
1233         }
1234 }
1235 run_test 9b "LFSCK speed control (2)"
1236
1237 test_10()
1238 {
1239         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
1240                 skip "lookup(..)/linkea on ZFS issue" && return
1241
1242         lfsck_prep 1 1
1243
1244         echo "Preparing more files with error at $(date)."
1245         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
1246         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
1247
1248         for ((i = 0; i < 1000; i = $((i+2)))); do
1249                 mkdir -p $DIR/$tdir/d${i}
1250                 touch $DIR/$tdir/f${i}
1251                 createmany -m $DIR/$tdir/d${i}/f 5 > /dev/null
1252         done
1253
1254         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
1255         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
1256
1257         for ((i = 1; i < 1000; i = $((i+2)))); do
1258                 mkdir -p $DIR/$tdir/d${i}
1259                 touch $DIR/$tdir/f${i}
1260                 createmany -m $DIR/$tdir/d${i}/f 5 > /dev/null
1261         done
1262
1263         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1264         echo "Prepared at $(date)."
1265
1266         ln $DIR/$tdir/f200 $DIR/$tdir/d200/dummy
1267
1268         umount_client $MOUNT
1269         mount_client $MOUNT || error "(3) Fail to start client!"
1270
1271         $START_NAMESPACE -r -s 100 || error "(5) Fail to start LFSCK!"
1272
1273         sleep 10
1274         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1275         [ "$STATUS" == "scanning-phase1" ] ||
1276                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
1277
1278         ls -ailR $MOUNT > /dev/null || error "(7) Fail to ls!"
1279
1280         touch $DIR/$tdir/d198/a0 || error "(8) Fail to touch!"
1281
1282         mkdir $DIR/$tdir/d199/a1 || error "(9) Fail to mkdir!"
1283
1284         unlink $DIR/$tdir/f200 || error "(10) Fail to unlink!"
1285
1286         rm -rf $DIR/$tdir/d201 || error "(11) Fail to rmdir!"
1287
1288         mv $DIR/$tdir/f202 $DIR/$tdir/d203/ || error "(12) Fail to rename!"
1289
1290         ln $DIR/$tdir/f204 $DIR/$tdir/d205/a3 || error "(13) Fail to hardlink!"
1291
1292         ln -s $DIR/$tdir/d206 $DIR/$tdir/d207/a4 ||
1293                 error "(14) Fail to softlink!"
1294
1295         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1296         [ "$STATUS" == "scanning-phase1" ] ||
1297                 error "(15) Expect 'scanning-phase1', but got '$STATUS'"
1298
1299         do_nodes $(comma_list $(mdts_nodes)) \
1300                 $LCTL set_param -n mdd.*.lfsck_speed_limit 0
1301         do_nodes $(comma_list $(osts_nodes)) \
1302                 $LCTL set_param -n obdfilter.*.lfsck_speed_limit 0
1303         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1304                 mdd.${MDT_DEV}.lfsck_namespace |
1305                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1306                 $SHOW_NAMESPACE
1307                 error "(16) unexpected status"
1308         }
1309 }
1310 run_test 10 "System is available during LFSCK scanning"
1311
1312 # remove LAST_ID
1313 ost_remove_lastid() {
1314         local ost=$1
1315         local idx=$2
1316         local rcmd="do_facet ost${ost}"
1317
1318         echo "remove LAST_ID on ost${ost}: idx=${idx}"
1319
1320         # step 1: local mount
1321         mount_fstype ost${ost} || return 1
1322         # step 2: remove the specified LAST_ID
1323         ${rcmd} rm -fv $(facet_mntpt ost${ost})/O/${idx}/{LAST_ID,d0/0}
1324         # step 3: umount
1325         unmount_fstype ost${ost} || return 2
1326 }
1327
1328 test_11a() {
1329         check_mount_and_prep
1330         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1331         createmany -o $DIR/$tdir/f 64 || error "(0) Fail to create 64 files."
1332
1333         echo "stopall"
1334         stopall > /dev/null
1335
1336         ost_remove_lastid 1 0 || error "(1) Fail to remove LAST_ID"
1337
1338         start ost1 $(ostdevname 1) $MOUNT_OPTS_NOSCRUB > /dev/null ||
1339                 error "(2) Fail to start ost1"
1340
1341         #define OBD_FAIL_LFSCK_DELAY4           0x160e
1342         do_facet ost1 $LCTL set_param fail_val=3 fail_loc=0x160e
1343
1344         echo "trigger LFSCK for layout on ost1 to rebuild the LAST_ID(s)"
1345         $START_LAYOUT_ON_OST -r || error "(4) Fail to start LFSCK on OST!"
1346
1347         wait_update_facet ost1 "$LCTL get_param -n \
1348                 obdfilter.${OST_DEV}.lfsck_layout |
1349                 awk '/^flags/ { print \\\$2 }'" "crashed_lastid" 60 || {
1350                 $SHOW_LAYOUT_ON_OST
1351                 error "(5) unexpected status"
1352         }
1353
1354         do_facet ost1 $LCTL set_param fail_val=0 fail_loc=0
1355
1356         wait_update_facet ost1 "$LCTL get_param -n \
1357                 obdfilter.${OST_DEV}.lfsck_layout |
1358                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1359                 $SHOW_LAYOUT_ON_OST
1360                 error "(6) unexpected status"
1361         }
1362
1363         echo "the LAST_ID(s) should have been rebuilt"
1364         FLAGS=$($SHOW_LAYOUT_ON_OST | awk '/^flags/ { print $2 }')
1365         [ -z "$FLAGS" ] || error "(7) Expect empty flags, but got '$FLAGS'"
1366 }
1367 run_test 11a "LFSCK can rebuild lost last_id"
1368
1369 test_11b() {
1370         check_mount_and_prep
1371         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1372
1373         echo "set fail_loc=0x160d to skip the updating LAST_ID on-disk"
1374         #define OBD_FAIL_LFSCK_SKIP_LASTID      0x160d
1375         do_facet ost1 $LCTL set_param fail_loc=0x160d
1376
1377         local count=$(precreated_ost_obj_count 0 0)
1378
1379         createmany -o $DIR/$tdir/f $((count + 32))
1380
1381         local proc_path="${FSNAME}-OST0000-osc-MDT0000"
1382         local seq=$(do_facet mds1 $LCTL get_param -n \
1383                     osp.${proc_path}.prealloc_last_seq)
1384         local lastid1=$(do_facet ost1 "lctl get_param -n \
1385                 obdfilter.${ost1_svc}.last_id" | grep $seq |
1386                 awk -F: '{ print $2 }')
1387
1388         umount_client $MOUNT
1389         stop ost1 || error "(1) Fail to stop ost1"
1390
1391         #define OBD_FAIL_OST_ENOSPC              0x215
1392         do_facet ost1 $LCTL set_param fail_loc=0x215
1393
1394         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1395                 error "(2) Fail to start ost1"
1396
1397         for ((i = 0; i < 60; i++)); do
1398                 lastid2=$(do_facet ost1 "lctl get_param -n \
1399                         obdfilter.${ost1_svc}.last_id" | grep $seq |
1400                         awk -F: '{ print $2 }')
1401                 [ ! -z $lastid2 ] && break;
1402                 sleep 1
1403         done
1404
1405         echo "the on-disk LAST_ID should be smaller than the expected one"
1406         [ $lastid1 -gt $lastid2 ] ||
1407                 error "(4) expect lastid1 [ $lastid1 ] > lastid2 [ $lastid2 ]"
1408
1409         echo "trigger LFSCK for layout on ost1 to rebuild the on-disk LAST_ID"
1410         $START_LAYOUT_ON_OST -r || error "(5) Fail to start LFSCK on OST!"
1411
1412         wait_update_facet ost1 "$LCTL get_param -n \
1413                 obdfilter.${OST_DEV}.lfsck_layout |
1414                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1415                 $SHOW_LAYOUT_ON_OST
1416                 error "(6) unexpected status"
1417         }
1418
1419         stop ost1 || error "(7) Fail to stop ost1"
1420
1421         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1422                 error "(8) Fail to start ost1"
1423
1424         echo "the on-disk LAST_ID should have been rebuilt"
1425         wait_update_facet ost1 "$LCTL get_param -n \
1426                 obdfilter.${ost1_svc}.last_id | grep $seq |
1427                 awk -F: '{ print \\\$2 }'" "$lastid1" 60 || {
1428                 do_facet ost1 $LCTL get_param -n \
1429                 obdfilter.${ost1_svc}.last_id
1430                 error "(9) expect lastid1 $seq:$lastid1"
1431         }
1432
1433         do_facet ost1 $LCTL set_param fail_loc=0
1434         stopall || error "(10) Fail to stopall"
1435 }
1436 run_test 11b "LFSCK can rebuild crashed last_id"
1437
1438 test_12a() {
1439         [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
1440
1441         check_mount_and_prep
1442         for k in $(seq $MDSCOUNT); do
1443                 $LFS mkdir -i $((k - 1)) $DIR/$tdir/${k}
1444                 createmany -o $DIR/$tdir/${k}/f 100 ||
1445                         error "(0) Fail to create 100 files."
1446         done
1447
1448         echo "Start namespace LFSCK on all targets by single command (-s 1)."
1449         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1450                 -s 1 -r || error "(2) Fail to start LFSCK on all devices!"
1451
1452         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1453         wait_all_targets namespace scanning-phase1 3
1454
1455         echo "Stop namespace LFSCK on all targets by single lctl command."
1456         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1457                 error "(4) Fail to stop LFSCK on all devices!"
1458
1459         echo "All the LFSCK targets should be in 'stopped' status."
1460         wait_all_targets_blocked namespace stopped 5
1461
1462         echo "Re-start namespace LFSCK on all targets by single command (-s 0)."
1463         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1464                 -s 0 -r || error "(6) Fail to start LFSCK on all devices!"
1465
1466         echo "All the LFSCK targets should be in 'completed' status."
1467         wait_all_targets_blocked namespace completed 7
1468
1469         start_full_debug_logging
1470
1471         echo "Start layout LFSCK on all targets by single command (-s 1)."
1472         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1473                 -s 1 -r || error "(8) Fail to start LFSCK on all devices!"
1474
1475         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1476         wait_all_targets layout scanning-phase1 9
1477
1478         echo "Stop layout LFSCK on all targets by single lctl command."
1479         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1480                 error "(10) Fail to stop LFSCK on all devices!"
1481
1482         echo "All the LFSCK targets should be in 'stopped' status."
1483         wait_all_targets_blocked layout stopped 11
1484
1485         for k in $(seq $OSTCOUNT); do
1486                 local STATUS=$(do_facet ost${k} $LCTL get_param -n \
1487                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1488                                 awk '/^status/ { print $2 }')
1489                 [ "$STATUS" == "stopped" ] ||
1490                         error "(12) OST${k} Expect 'stopped', but got '$STATUS'"
1491         done
1492
1493         echo "Re-start layout LFSCK on all targets by single command (-s 0)."
1494         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1495                 -s 0 -r || error "(13) Fail to start LFSCK on all devices!"
1496
1497         echo "All the LFSCK targets should be in 'completed' status."
1498         wait_all_targets_blocked layout completed 14
1499
1500         stop_full_debug_logging
1501 }
1502 run_test 12a "single command to trigger LFSCK on all devices"
1503
1504 test_12b() {
1505         check_mount_and_prep
1506
1507         echo "Start LFSCK without '-M' specified."
1508         do_facet mds1 $LCTL lfsck_start -A -r ||
1509                 error "(0) Fail to start LFSCK without '-M'"
1510
1511         wait_all_targets_blocked namespace completed 1
1512         wait_all_targets_blocked layout completed 2
1513
1514         local count=$(do_facet mds1 $LCTL dl |
1515                       awk '{ print $3 }' | grep mdt | wc -l)
1516         if [ $count -gt 1 ]; then
1517                 echo
1518                 echo "Start layout LFSCK on the node with multipe targets,"
1519                 echo "but not specify '-M'/'-A' option. Should get failure."
1520                 echo
1521                 do_facet mds1 $LCTL lfsck_start -t layout -r &&
1522                         error "(3) Start layout LFSCK should fail" || true
1523         fi
1524 }
1525 run_test 12b "auto detect Lustre device"
1526
1527 test_13() {
1528         echo "#####"
1529         echo "The lmm_oi in layout EA should be consistent with the MDT-object"
1530         echo "FID; otherwise, the LFSCK should re-generate the lmm_oi from the"
1531         echo "MDT-object FID."
1532         echo "#####"
1533
1534         check_mount_and_prep
1535
1536         echo "Inject failure stub to simulate bad lmm_oi"
1537         #define OBD_FAIL_LFSCK_BAD_LMMOI        0x160f
1538         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160f
1539         createmany -o $DIR/$tdir/f 1
1540         $LFS setstripe -E 1M -S 1M -E -1 $DIR/$tdir/f1 ||
1541                 error "(0) Fail to create PFL $DIR/$tdir/f1"
1542         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1543
1544         echo "Trigger layout LFSCK to find out the bad lmm_oi and fix them"
1545         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1546
1547         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1548                 mdd.${MDT_DEV}.lfsck_layout |
1549                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1550                 $SHOW_LAYOUT
1551                 error "(2) unexpected status"
1552         }
1553
1554         local repaired=$($SHOW_LAYOUT |
1555                          awk '/^repaired_others/ { print $2 }')
1556         [ $repaired -eq 2 ] ||
1557                 error "(3) Fail to repair crashed lmm_oi: $repaired"
1558 }
1559 run_test 13 "LFSCK can repair crashed lmm_oi"
1560
1561 test_14a() {
1562         echo "#####"
1563         echo "The OST-object referenced by the MDT-object should be there;"
1564         echo "otherwise, the LFSCK should re-create the missing OST-object."
1565         echo "without '--delay-create-ostobj' option."
1566         echo "#####"
1567
1568         check_mount_and_prep
1569         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1570
1571         echo "Inject failure stub to simulate dangling referenced MDT-object"
1572         #define OBD_FAIL_LFSCK_DANGLING 0x1610
1573         do_facet ost1 $LCTL set_param fail_loc=0x1610
1574         local count=$(precreated_ost_obj_count 0 0)
1575
1576         createmany -o $DIR/$tdir/f $((count + 16)) ||
1577                 error "(0.1) Fail to create $DIR/$tdir/fx"
1578         touch $DIR/$tdir/guard0
1579
1580         for ((i = 0; i < 16; i++)); do
1581                 $LFS setstripe -E 512K -S 256K -o 0 -E 2M \
1582                         $DIR/$tdir/f_comp${i} ||
1583                         error "(0.2) Fail to create $DIR/$tdir/f_comp${i}"
1584         done
1585         touch $DIR/$tdir/guard1
1586
1587         do_facet ost1 $LCTL set_param fail_loc=0
1588
1589         start_full_debug_logging
1590
1591         # exhaust other pre-created dangling cases
1592         count=$(precreated_ost_obj_count 0 0)
1593         createmany -o $DIR/$tdir/a $count ||
1594                 error "(0.5) Fail to create $count files."
1595
1596         echo "'ls' should fail because of dangling referenced MDT-object"
1597         ls -ail $DIR/$tdir > /dev/null 2>&1 && error "(1) ls should fail."
1598
1599         echo "Trigger layout LFSCK to find out dangling reference"
1600         $START_LAYOUT -r || error "(2) Fail to start LFSCK for layout!"
1601
1602         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1603                 mdd.${MDT_DEV}.lfsck_layout |
1604                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1605                 $SHOW_LAYOUT
1606                 error "(3) unexpected status"
1607         }
1608
1609         local repaired=$($SHOW_LAYOUT |
1610                          awk '/^repaired_dangling/ { print $2 }')
1611         [ $repaired -ge 32 ] ||
1612                 error "(4) Fail to repair dangling reference: $repaired"
1613
1614         echo "'stat' should fail because of not repair dangling by default"
1615         stat $DIR/$tdir/guard0 > /dev/null 2>&1 &&
1616                 error "(5.1) stat should fail"
1617         stat $DIR/$tdir/guard1 > /dev/null 2>&1 &&
1618                 error "(5.2) stat should fail"
1619
1620         echo "Trigger layout LFSCK to repair dangling reference"
1621         $START_LAYOUT -r -c || error "(6) Fail to start LFSCK for layout!"
1622
1623         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1624                 mdd.${MDT_DEV}.lfsck_layout |
1625                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1626                 $SHOW_LAYOUT
1627                 error "(7) unexpected status"
1628         }
1629
1630         # There may be some async LFSCK updates in processing, wait for
1631         # a while until the target reparation has been done. LU-4970.
1632
1633         echo "'stat' should success after layout LFSCK repairing"
1634         wait_update_facet client "stat $DIR/$tdir/guard0 |
1635                 awk '/Size/ { print \\\$2 }'" "0" 32 || {
1636                 stat $DIR/$tdir/guard0
1637                 $SHOW_LAYOUT
1638                 error "(8.1) unexpected size"
1639         }
1640
1641         wait_update_facet client "stat $DIR/$tdir/guard1 |
1642                 awk '/Size/ { print \\\$2 }'" "0" 32 || {
1643                 stat $DIR/$tdir/guard1
1644                 $SHOW_LAYOUT
1645                 error "(8.2) unexpected size"
1646         }
1647
1648         repaired=$($SHOW_LAYOUT |
1649                          awk '/^repaired_dangling/ { print $2 }')
1650         [ $repaired -ge 32 ] ||
1651                 error "(9) Fail to repair dangling reference: $repaired"
1652
1653         stop_full_debug_logging
1654
1655         echo "stopall to cleanup object cache"
1656         stopall > /dev/null
1657         echo "setupall"
1658         setupall > /dev/null
1659 }
1660 run_test 14a "LFSCK can repair MDT-object with dangling LOV EA reference (1)"
1661
1662 test_14b() {
1663         echo "#####"
1664         echo "The OST-object referenced by the MDT-object should be there;"
1665         echo "otherwise, the LFSCK should re-create the missing OST-object."
1666         echo "with '--delay-create-ostobj' option."
1667         echo "#####"
1668
1669         check_mount_and_prep
1670         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1671
1672         echo "Inject failure stub to simulate dangling referenced MDT-object"
1673         #define OBD_FAIL_LFSCK_DANGLING 0x1610
1674         do_facet ost1 $LCTL set_param fail_loc=0x1610
1675         local count=$(precreated_ost_obj_count 0 0)
1676
1677         createmany -o $DIR/$tdir/f $((count + 31))
1678         touch $DIR/$tdir/guard
1679         do_facet ost1 $LCTL set_param fail_loc=0
1680
1681         start_full_debug_logging
1682
1683         # exhaust other pre-created dangling cases
1684         count=$(precreated_ost_obj_count 0 0)
1685         createmany -o $DIR/$tdir/a $count ||
1686                 error "(0) Fail to create $count files."
1687
1688         echo "'ls' should fail because of dangling referenced MDT-object"
1689         ls -ail $DIR/$tdir > /dev/null 2>&1 && error "(1) ls should fail."
1690
1691         echo "Trigger layout LFSCK to find out dangling reference"
1692         $START_LAYOUT -r -o -d || error "(2) Fail to start LFSCK for layout!"
1693
1694         wait_all_targets_blocked layout completed 3
1695
1696         local repaired=$($SHOW_LAYOUT |
1697                          awk '/^repaired_dangling/ { print $2 }')
1698         [ $repaired -ge 32 ] ||
1699                 error "(4) Fail to repair dangling reference: $repaired"
1700
1701         echo "'stat' should fail because of not repair dangling by default"
1702         stat $DIR/$tdir/guard > /dev/null 2>&1 && error "(5) stat should fail"
1703
1704         echo "Trigger layout LFSCK to repair dangling reference"
1705         $START_LAYOUT -r -o -c -d || error "(6) Fail to start LFSCK for layout!"
1706
1707         wait_all_targets_blocked layout completed 7
1708
1709         # There may be some async LFSCK updates in processing, wait for
1710         # a while until the target reparation has been done. LU-4970.
1711
1712         echo "'stat' should success after layout LFSCK repairing"
1713         wait_update_facet client "stat $DIR/$tdir/guard |
1714                 awk '/Size/ { print \\\$2 }'" "0" 32 || {
1715                 stat $DIR/$tdir/guard
1716                 $SHOW_LAYOUT
1717                 error "(8) unexpected size"
1718         }
1719
1720         repaired=$($SHOW_LAYOUT |
1721                          awk '/^repaired_dangling/ { print $2 }')
1722         [ $repaired -ge 32 ] ||
1723                 error "(9) Fail to repair dangling reference: $repaired"
1724
1725         stop_full_debug_logging
1726
1727         echo "stopall to cleanup object cache"
1728         stopall > /dev/null
1729         echo "setupall"
1730         setupall > /dev/null
1731 }
1732 run_test 14b "LFSCK can repair MDT-object with dangling LOV EA reference (2)"
1733
1734 test_15a() {
1735         echo "#####"
1736         echo "If the OST-object referenced by the MDT-object back points"
1737         echo "to some non-exist MDT-object, then the LFSCK should repair"
1738         echo "the OST-object to back point to the right MDT-object."
1739         echo "#####"
1740
1741         check_mount_and_prep
1742         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1743
1744         echo "Inject failure stub to make the OST-object to back point to"
1745         echo "non-exist MDT-object."
1746         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
1747
1748         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0x1611
1749         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1750         $LFS setstripe -E 1M -S 256K -c 1 -E -1 -S 512K -c $OSTCOUNT \
1751                 $DIR/$tdir/f1 ||
1752                 error "(0) Fail to create PFL $DIR/$tdir/f1"
1753         # 'dd' will trigger punch RPC firstly on every OST-objects.
1754         # So even though some OST-object will not be write by 'dd',
1755         # as long as it is allocated (may be NOT allocated in pfl_3b)
1756         # its layout information will be set also.
1757         dd if=/dev/zero of=$DIR/$tdir/f1 bs=4K count=257
1758         cancel_lru_locks osc
1759         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0
1760
1761         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1762         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1763
1764         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1765                 mdd.${MDT_DEV}.lfsck_layout |
1766                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1767                 $SHOW_LAYOUT
1768                 error "(2) unexpected status"
1769         }
1770
1771         local repaired=$($SHOW_LAYOUT |
1772                          awk '/^repaired_unmatched_pair/ { print $2 }')
1773         [ $repaired -ge 3 ] ||
1774                 error "(3) Fail to repair unmatched pair: $repaired"
1775 }
1776 run_test 15a "LFSCK can repair unmatched MDT-object/OST-object pairs (1)"
1777
1778 test_15b() {
1779         echo "#####"
1780         echo "If the OST-object referenced by the MDT-object back points"
1781         echo "to other MDT-object that doesn't recognize the OST-object,"
1782         echo "then the LFSCK should repair it to back point to the right"
1783         echo "MDT-object (the first one)."
1784         echo "#####"
1785
1786         check_mount_and_prep
1787         mkdir -p $DIR/$tdir/0
1788         $LFS setstripe -c 1 -i 0 $DIR/$tdir/0
1789         dd if=/dev/zero of=$DIR/$tdir/0/guard bs=1M count=1
1790         cancel_lru_locks osc
1791
1792         echo "Inject failure stub to make the OST-object to back point to"
1793         echo "other MDT-object"
1794
1795         local stripes=1
1796         [ $OSTCOUNT -ge 2 ] && stripes=2
1797
1798         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR2  0x1612
1799         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0x1612
1800         dd if=/dev/zero of=$DIR/$tdir/0/f0 bs=1M count=1
1801         $LFS setstripe -E 1M -S 256K -c $stripes -E 2M -S 512K -c 1 \
1802                 $DIR/$tdir/f1 ||
1803                 error "(0) Fail to create PFL $DIR/$tdir/f1"
1804         dd if=/dev/zero of=$DIR/$tdir/f1 bs=1M count=2
1805         cancel_lru_locks osc
1806         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0
1807
1808         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1809         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1810
1811         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1812                 mdd.${MDT_DEV}.lfsck_layout |
1813                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1814                 $SHOW_LAYOUT
1815                 error "(2) unexpected status"
1816         }
1817
1818         local repaired=$($SHOW_LAYOUT |
1819                          awk '/^repaired_unmatched_pair/ { print $2 }')
1820         [ $repaired -eq 4 ] ||
1821                 error "(3) Fail to repair unmatched pair: $repaired"
1822 }
1823 run_test 15b "LFSCK can repair unmatched MDT-object/OST-object pairs (2)"
1824
1825 test_15c() {
1826         [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
1827
1828         [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.7.55) ] &&
1829                 skip "Skip the test after 2.7.55 see LU-6437" && return
1830
1831         echo "#####"
1832         echo "According to current metadata migration implementation,"
1833         echo "before the old MDT-object is removed, both the new MDT-object"
1834         echo "and old MDT-object will reference the same LOV layout. Then if"
1835         echo "the layout LFSCK finds the new MDT-object by race, it will"
1836         echo "regard related OST-object(s) as multiple referenced case, and"
1837         echo "will try to create new OST-object(s) for the new MDT-object."
1838         echo "To avoid such trouble, the layout LFSCK needs to lock the old"
1839         echo "MDT-object before confirm the multiple referenced case."
1840         echo "#####"
1841
1842         check_mount_and_prep
1843         $LFS mkdir -i 1 $DIR/$tdir/a1
1844         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
1845         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=1
1846         cancel_lru_locks osc
1847
1848         echo "Inject failure stub on MDT1 to delay the migration"
1849
1850         #define OBD_FAIL_MIGRATE_DELAY                  0x1803
1851         do_facet mds2 $LCTL set_param fail_val=5 fail_loc=0x1803
1852         echo "Migrate $DIR/$tdir/a1 from MDT1 to MDT0 with delay"
1853         $LFS migrate -m 0 $DIR/$tdir/a1 &
1854
1855         sleep 1
1856         echo "Trigger layout LFSCK to race with the migration"
1857         $START_LAYOUT -A -r || error "(1) Fail to start layout LFSCK!"
1858
1859         wait_all_targets_blocked layout completed 2
1860
1861         do_facet mds2 $LCTL set_param fail_loc=0 fail_val=0
1862         local repaired=$($SHOW_LAYOUT |
1863                          awk '/^repaired_unmatched_pair/ { print $2 }')
1864         [ $repaired -eq 1 ] ||
1865                 error "(3) Fail to repair unmatched pair: $repaired"
1866
1867         repaired=$($SHOW_LAYOUT |
1868                    awk '/^repaired_multiple_referenced/ { print $2 }')
1869         [ $repaired -eq 0 ] ||
1870                 error "(4) Unexpectedly repaird multiple references: $repaired"
1871 }
1872 run_test 15c "LFSCK can repair unmatched MDT-object/OST-object pairs (3)"
1873
1874 test_16() {
1875         echo "#####"
1876         echo "If the OST-object's owner information does not match the owner"
1877         echo "information stored in the MDT-object, then the LFSCK trust the"
1878         echo "MDT-object and update the OST-object's owner information."
1879         echo "#####"
1880
1881         check_mount_and_prep
1882         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1883         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1884         cancel_lru_locks osc
1885
1886         # created but no setattr or write to the file.
1887         mkdir $DIR/$tdir/d1
1888         chown $RUNAS_ID:$RUNAS_GID $DIR/$tdir/d1
1889         $RUNAS createmany -o $DIR/$tdir/d1/o 100 || error "create failed"
1890
1891         echo "Inject failure stub to skip OST-object owner changing"
1892         #define OBD_FAIL_LFSCK_BAD_OWNER        0x1613
1893         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1613
1894         chown 1.1 $DIR/$tdir/f0
1895         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1896
1897         echo "Trigger layout LFSCK to find out inconsistent OST-object owner"
1898         echo "and fix them"
1899
1900         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1901
1902         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1903                 mdd.${MDT_DEV}.lfsck_layout |
1904                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1905                 $SHOW_LAYOUT
1906                 error "(2) unexpected status"
1907         }
1908
1909         local repaired=$($SHOW_LAYOUT |
1910                          awk '/^repaired_inconsistent_owner/ { print $2 }')
1911         [ $repaired -eq 1 ] ||
1912                 error "(3) Fail to repair inconsistent owner: $repaired"
1913 }
1914 run_test 16 "LFSCK can repair inconsistent MDT-object/OST-object owner"
1915
1916 test_17() {
1917         echo "#####"
1918         echo "If more than one MDT-objects reference the same OST-object,"
1919         echo "and the OST-object only recognizes one MDT-object, then the"
1920         echo "LFSCK should create new OST-objects for such non-recognized"
1921         echo "MDT-objects."
1922         echo "#####"
1923
1924         check_mount_and_prep
1925         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1926
1927         echo "Inject failure stub to make two MDT-objects to refernce"
1928         echo "the OST-object"
1929
1930         #define OBD_FAIL_LFSCK_MULTIPLE_REF     0x1614
1931         do_facet $SINGLEMDS $LCTL set_param fail_val=0 fail_loc=0x1614
1932         dd if=/dev/zero of=$DIR/$tdir/guard bs=1M count=1
1933         cancel_lru_locks mdc
1934         cancel_lru_locks osc
1935
1936         createmany -o $DIR/$tdir/f 1
1937         cancel_lru_locks mdc
1938         cancel_lru_locks osc
1939
1940         $LFS setstripe -E 2M -S 256K -o 0 -E 4M -S 512K -o 0 \
1941                 $DIR/$tdir/f1 ||
1942                 error "(0) Fail to create PFL $DIR/$tdir/f1"
1943         cancel_lru_locks mdc
1944         cancel_lru_locks osc
1945         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
1946
1947         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard use the same OST-objects"
1948         echo "$DIR/$tdir/f1 and $DIR/$tdir/guard use the same OST-objects"
1949         local size=$(ls -l $DIR/$tdir/f0 | awk '{ print $5 }')
1950         [ $size -eq 1048576 ] ||
1951                 error "(1.1) f0 (wrong) size should be 1048576, but got $size"
1952
1953         size=$(ls -l $DIR/$tdir/f1 | awk '{ print $5 }')
1954         [ $size -eq 1048576 ] ||
1955                 error "(1.2) f1 (wrong) size should be 1048576, but got $size"
1956
1957         echo "Trigger layout LFSCK to find out multiple refenced MDT-objects"
1958         echo "and fix them"
1959
1960         $START_LAYOUT -r || error "(2) Fail to start LFSCK for layout!"
1961
1962         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1963                 mdd.${MDT_DEV}.lfsck_layout |
1964                 awk '/^status/ { print \\\$2 }'" "completed" 32 || {
1965                 $SHOW_LAYOUT
1966                 error "(3) unexpected status"
1967         }
1968
1969         local repaired=$($SHOW_LAYOUT |
1970                          awk '/^repaired_multiple_referenced/ { print $2 }')
1971         [ $repaired -eq 2 ] ||
1972                 error "(4) Fail to repair multiple references: $repaired"
1973
1974         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard should use diff OST-objects"
1975         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=2 ||
1976                 error "(5) Fail to write f0."
1977         size=$(ls -l $DIR/$tdir/guard | awk '{ print $5 }')
1978         [ $size -eq 1048576 ] ||
1979                 error "(6) guard size should be 1048576, but got $size"
1980
1981         echo "$DIR/$tdir/f1 and $DIR/$tdir/guard should use diff OST-objects"
1982         dd if=/dev/zero of=$DIR/$tdir/f1 bs=1M count=2 ||
1983                 error "(7) Fail to write f1."
1984         size=$(ls -l $DIR/$tdir/guard | awk '{ print $5 }')
1985         [ $size -eq 1048576 ] ||
1986                 error "(8) guard size should be 1048576, but got $size"
1987 }
1988 run_test 17 "LFSCK can repair multiple references"
1989
1990 $LCTL set_param debug=+cache > /dev/null
1991
1992 test_18a() {
1993         echo "#####"
1994         echo "The target MDT-object is there, but related stripe information"
1995         echo "is lost or partly lost. The LFSCK should regenerate the missing"
1996         echo "layout EA entries."
1997         echo "#####"
1998
1999         check_mount_and_prep
2000         $LFS mkdir -i 0 $DIR/$tdir/a1
2001         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2002         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
2003
2004         local saved_size1=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
2005
2006         $LFS path2fid $DIR/$tdir/a1/f1
2007         $LFS getstripe $DIR/$tdir/a1/f1
2008
2009         if [ $MDSCOUNT -ge 2 ]; then
2010                 $LFS mkdir -i 1 $DIR/$tdir/a2
2011                 $LFS setstripe -c 2 -i 1 -S 1M $DIR/$tdir/a2
2012                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
2013                 $LFS path2fid $DIR/$tdir/a2/f2
2014                 $LFS getstripe $DIR/$tdir/a2/f2
2015         fi
2016
2017         $LFS setstripe -E 1M -S 1M -o 0 -E -1 -S 1M $DIR/$tdir/f3 ||
2018                 error "(0) Fail to create PFL $DIR/$tdir/f3"
2019
2020         dd if=/dev/zero of=$DIR/$tdir/f3 bs=1M count=2
2021
2022         local saved_size2=$(ls -il $DIR/$tdir/f3 | awk '{ print $6 }')
2023
2024         $LFS path2fid $DIR/$tdir/f3
2025         $LFS getstripe $DIR/$tdir/f3
2026
2027         cancel_lru_locks osc
2028
2029         echo "Inject failure, to make the MDT-object lost its layout EA"
2030         #define OBD_FAIL_LFSCK_LOST_STRIPE 0x1615
2031         do_facet mds1 $LCTL set_param fail_loc=0x1615
2032         chown 1.1 $DIR/$tdir/a1/f1
2033
2034         if [ $MDSCOUNT -ge 2 ]; then
2035                 do_facet mds2 $LCTL set_param fail_loc=0x1615
2036                 chown 1.1 $DIR/$tdir/a2/f2
2037         fi
2038
2039         chown 1.1 $DIR/$tdir/f3
2040
2041         sync
2042         sleep 2
2043
2044         do_facet mds1 $LCTL set_param fail_loc=0
2045         if [ $MDSCOUNT -ge 2 ]; then
2046                 do_facet mds2 $LCTL set_param fail_loc=0
2047         fi
2048
2049         cancel_lru_locks mdc
2050         cancel_lru_locks osc
2051
2052         echo "The file size should be incorrect since layout EA is lost"
2053         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
2054         [ "$cur_size" != "$saved_size1" ] ||
2055                 error "(1) Expect incorrect file1 size"
2056
2057         if [ $MDSCOUNT -ge 2 ]; then
2058                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
2059                 [ "$cur_size" != "$saved_size1" ] ||
2060                         error "(2) Expect incorrect file2 size"
2061         fi
2062
2063         cur_size=$(ls -il $DIR/$tdir/f3 | awk '{ print $6 }')
2064         [ "$cur_size" != "$saved_size2" ] ||
2065                 error "(1.2) Expect incorrect file3 size"
2066
2067         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2068         $START_LAYOUT -r -o || error "(3) Fail to start LFSCK for layout!"
2069
2070         for k in $(seq $MDSCOUNT); do
2071                 # The LFSCK status query internal is 30 seconds. For the case
2072                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2073                 # time to guarantee the status sync up.
2074                 wait_update_facet mds${k} "$LCTL get_param -n \
2075                         mdd.$(facet_svc mds${k}).lfsck_layout |
2076                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2077                         error "(4) MDS${k} is not the expected 'completed'"
2078         done
2079
2080         for k in $(seq $OSTCOUNT); do
2081                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2082                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2083                                 awk '/^status/ { print $2 }')
2084                 [ "$cur_status" == "completed" ] ||
2085                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
2086         done
2087
2088         local repaired=$(do_facet mds1 $LCTL get_param -n \
2089                          mdd.$(facet_svc mds1).lfsck_layout |
2090                          awk '/^repaired_orphan/ { print $2 }')
2091         [ $repaired -eq 3 ] ||
2092         error "(6.1) Expect 3 fixed on mds1, but got: $repaired"
2093
2094         if [ $MDSCOUNT -ge 2 ]; then
2095                 repaired=$(do_facet mds2 $LCTL get_param -n \
2096                          mdd.$(facet_svc mds2).lfsck_layout |
2097                                  awk '/^repaired_orphan/ { print $2 }')
2098                 [ $repaired -eq 2 ] ||
2099                 error "(6.2) Expect 2 fixed on mds2, but got: $repaired"
2100         fi
2101
2102         $LFS path2fid $DIR/$tdir/a1/f1
2103         $LFS getstripe $DIR/$tdir/a1/f1
2104
2105         if [ $MDSCOUNT -ge 2 ]; then
2106                 $LFS path2fid $DIR/$tdir/a2/f2
2107                 $LFS getstripe $DIR/$tdir/a2/f2
2108         fi
2109
2110         $LFS path2fid $DIR/$tdir/f3
2111         $LFS getstripe $DIR/$tdir/f3
2112
2113         echo "The file size should be correct after layout LFSCK scanning"
2114         cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
2115         [ "$cur_size" == "$saved_size1" ] ||
2116                 error "(7) Expect file1 size $saved_size1, but got $cur_size"
2117
2118         if [ $MDSCOUNT -ge 2 ]; then
2119                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
2120                 [ "$cur_size" == "$saved_size1" ] ||
2121                 error "(8) Expect file2 size $saved_size1, but got $cur_size"
2122         fi
2123
2124         cur_size=$(ls -il $DIR/$tdir/f3 | awk '{ print $6 }')
2125         [ "$cur_size" == "$saved_size2" ] ||
2126                 error "(9) Expect file1 size $saved_size2, but got $cur_size"
2127 }
2128 run_test 18a "Find out orphan OST-object and repair it (1)"
2129
2130 test_18b() {
2131         [ -n "$FILESET" ] && skip "Not functional for FILESET set"
2132
2133         echo "#####"
2134         echo "The target MDT-object is lost. The LFSCK should re-create the"
2135         echo "MDT-object under .lustre/lost+found/MDTxxxx. The admin should"
2136         echo "can move it back to normal namespace manually."
2137         echo "#####"
2138
2139         check_mount_and_prep
2140         $LFS mkdir -i 0 $DIR/$tdir/a1
2141         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2142         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
2143         local saved_size1=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
2144         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
2145         echo ${fid1}
2146         $LFS getstripe $DIR/$tdir/a1/f1
2147
2148         if [ $MDSCOUNT -ge 2 ]; then
2149                 $LFS mkdir -i 1 $DIR/$tdir/a2
2150                 $LFS setstripe -c 2 -i 1 -S 1M $DIR/$tdir/a2
2151                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
2152                 fid2=$($LFS path2fid $DIR/$tdir/a2/f2)
2153                 echo ${fid2}
2154                 $LFS getstripe $DIR/$tdir/a2/f2
2155         fi
2156
2157         $LFS setstripe -E 1M -S 1M -o 0 -E -1 -S 1M $DIR/$tdir/f3 ||
2158                 error "(0) Fail to create PFL $DIR/$tdir/f3"
2159
2160         dd if=/dev/zero of=$DIR/$tdir/f3 bs=1M count=2
2161
2162         local saved_size2=$(ls -il $DIR/$tdir/f3 | awk '{ print $6 }')
2163         local fid3=$($LFS path2fid $DIR/$tdir/f3)
2164         echo ${fid3}
2165         $LFS getstripe $DIR/$tdir/f3
2166
2167         cancel_lru_locks osc
2168
2169         echo "Inject failure, to simulate the case of missing the MDT-object"
2170         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
2171         do_facet mds1 $LCTL set_param fail_loc=0x1616
2172         rm -f $DIR/$tdir/a1/f1
2173
2174         if [ $MDSCOUNT -ge 2 ]; then
2175                 do_facet mds2 $LCTL set_param fail_loc=0x1616
2176                 rm -f $DIR/$tdir/a2/f2
2177         fi
2178
2179         rm -f $DIR/$tdir/f3
2180
2181         sync
2182         sleep 2
2183
2184         do_facet mds1 $LCTL set_param fail_loc=0
2185         if [ $MDSCOUNT -ge 2 ]; then
2186                 do_facet mds2 $LCTL set_param fail_loc=0
2187         fi
2188
2189         cancel_lru_locks mdc
2190         cancel_lru_locks osc
2191
2192         # dryrun mode only check orphans, not repaie
2193         echo "Trigger layout LFSCK --dryrun to find out orphan OST-object"
2194         $START_LAYOUT --dryrun -o -r ||
2195                 error "Fail to start layout LFSCK in dryrun mode"
2196         wait_all_targets_blocked layout completed 2
2197
2198         local PARAMS=$($SHOW_LAYOUT | awk '/^param/ { print $2 }')
2199         [ "$PARAMS" == "dryrun,all_targets,orphan" ] ||
2200                 error "Expect 'dryrun,all_targets,orphan', got '$PARAMS'"
2201
2202         local orphans=$(do_facet mds1 $LCTL get_param -n \
2203                         mdd.$(facet_svc mds1).lfsck_layout |
2204                         awk '/^inconsistent_orphan/ { print $2 }')
2205         [ $orphans -eq 3 ] ||
2206                 error "Expect 3 found on mds1, but got: $orphans"
2207
2208         # orphan parents should not be created
2209         local subdir
2210         for subdir in $MOUNT/.lustre/lost+found/*; do
2211                 [ ! "$(ls -A $subdir)" ] || error "$subdir not empty"
2212         done
2213
2214         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2215         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
2216
2217         for k in $(seq $MDSCOUNT); do
2218                 # The LFSCK status query internal is 30 seconds. For the case
2219                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2220                 # time to guarantee the status sync up.
2221                 wait_update_facet mds${k} "$LCTL get_param -n \
2222                         mdd.$(facet_svc mds${k}).lfsck_layout |
2223                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2224                         error "(2) MDS${k} is not the expected 'completed'"
2225         done
2226
2227         for k in $(seq $OSTCOUNT); do
2228                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2229                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2230                                 awk '/^status/ { print $2 }')
2231                 [ "$cur_status" == "completed" ] ||
2232                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
2233         done
2234
2235         local repaired=$(do_facet mds1 $LCTL get_param -n \
2236                          mdd.$(facet_svc mds1).lfsck_layout |
2237                          awk '/^repaired_orphan/ { print $2 }')
2238         [ $repaired -eq 3 ] ||
2239         error "(4.1) Expect 3 fixed on mds1, but got: $repaired"
2240
2241         if [ $MDSCOUNT -ge 2 ]; then
2242                 repaired=$(do_facet mds2 $LCTL get_param -n \
2243                          mdd.$(facet_svc mds2).lfsck_layout |
2244                          awk '/^repaired_orphan/ { print $2 }')
2245                 [ $repaired -eq 2 ] ||
2246                 error "(4.2) Expect 2 fixed on mds2, but got: $repaired"
2247         fi
2248
2249         echo "Move the files from ./lustre/lost+found/MDTxxxx to namespace"
2250         mv $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0 $DIR/$tdir/a1/f1 ||
2251         error "(5) Fail to move $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0"
2252
2253         if [ $MDSCOUNT -ge 2 ]; then
2254                 local name=$MOUNT/.lustre/lost+found/MDT0001/${fid2}-R-0
2255                 mv $name $DIR/$tdir/a2/f2 || error "(6) Fail to move $name"
2256         fi
2257
2258         mv $MOUNT/.lustre/lost+found/MDT0000/${fid3}-R-0 $DIR/$tdir/f3 ||
2259         error "(5) Fail to move $MOUNT/.lustre/lost+found/MDT0000/${fid3}-R-0"
2260
2261         $LFS path2fid $DIR/$tdir/a1/f1
2262         $LFS getstripe $DIR/$tdir/a1/f1
2263
2264         if [ $MDSCOUNT -ge 2 ]; then
2265                 $LFS path2fid $DIR/$tdir/a2/f2
2266                 $LFS getstripe $DIR/$tdir/a2/f2
2267         fi
2268
2269         $LFS path2fid $DIR/$tdir/f3
2270         $LFS getstripe $DIR/$tdir/f3
2271
2272         echo "The file size should be correct after layout LFSCK scanning"
2273         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
2274         [ "$cur_size" == "$saved_size1" ] ||
2275                 error "(7) Expect file1 size $saved_size1, but got $cur_size"
2276
2277         if [ $MDSCOUNT -ge 2 ]; then
2278                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
2279                 [ "$cur_size" == "$saved_size1" ] ||
2280                 error "(8) Expect file2 size $saved_size1, but got $cur_size"
2281         fi
2282
2283         cur_size=$(ls -il $DIR/$tdir/f3 | awk '{ print $6 }')
2284         [ "$cur_size" == "$saved_size2" ] ||
2285                 error "(9) Expect file1 size $saved_size2, but got $cur_size"
2286 }
2287 run_test 18b "Find out orphan OST-object and repair it (2)"
2288
2289 test_18c() {
2290         [ -n "$FILESET" ] && skip "Not functional for FILESET set"
2291
2292         echo "#####"
2293         echo "The target MDT-object is lost, and the OST-object FID is missing."
2294         echo "The LFSCK should re-create the MDT-object with new FID under the "
2295         echo "directory .lustre/lost+found/MDTxxxx."
2296         echo "#####"
2297
2298         check_mount_and_prep
2299         $LFS mkdir -i 0 $DIR/$tdir/a1
2300         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2301
2302         echo "Inject failure, to simulate the case of missing parent FID"
2303         #define OBD_FAIL_LFSCK_NOPFID           0x1617
2304         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0x1617
2305
2306         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
2307         $LFS getstripe $DIR/$tdir/a1/f1
2308
2309         if [ $MDSCOUNT -ge 2 ]; then
2310                 $LFS mkdir -i 1 $DIR/$tdir/a2
2311                 $LFS setstripe -c 1 -i 0 $DIR/$tdir/a2
2312                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
2313                 $LFS getstripe $DIR/$tdir/a2/f2
2314         fi
2315
2316         $LFS setstripe -E 1M -S 1M -o 0 -E -1 -S 1M $DIR/$tdir/f3 ||
2317                 error "(0) Fail to create PFL $DIR/$tdir/f3"
2318
2319         dd if=/dev/zero of=$DIR/$tdir/f3 bs=1M count=2
2320         $LFS getstripe $DIR/$tdir/f3
2321
2322         cancel_lru_locks osc
2323         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0
2324
2325         echo "Inject failure, to simulate the case of missing the MDT-object"
2326         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
2327         do_facet mds1 $LCTL set_param fail_loc=0x1616
2328         rm -f $DIR/$tdir/a1/f1
2329
2330         if [ $MDSCOUNT -ge 2 ]; then
2331                 do_facet mds2 $LCTL set_param fail_loc=0x1616
2332                 rm -f $DIR/$tdir/a2/f2
2333         fi
2334
2335         rm -f $DIR/$tdir/f3
2336
2337         sync
2338         sleep 2
2339
2340         do_facet mds1 $LCTL set_param fail_loc=0
2341         if [ $MDSCOUNT -ge 2 ]; then
2342                 do_facet mds2 $LCTL set_param fail_loc=0
2343         fi
2344
2345         cancel_lru_locks mdc
2346         cancel_lru_locks osc
2347
2348         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2349         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
2350
2351         for k in $(seq $MDSCOUNT); do
2352                 # The LFSCK status query internal is 30 seconds. For the case
2353                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2354                 # time to guarantee the status sync up.
2355                 wait_update_facet mds${k} "$LCTL get_param -n \
2356                         mdd.$(facet_svc mds${k}).lfsck_layout |
2357                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2358                         error "(2) MDS${k} is not the expected 'completed'"
2359         done
2360
2361         for k in $(seq $OSTCOUNT); do
2362                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2363                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2364                                 awk '/^status/ { print $2 }')
2365                 [ "$cur_status" == "completed" ] ||
2366                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
2367         done
2368
2369         if [ $MDSCOUNT -ge 2 ]; then
2370                 expected=4
2371         else
2372                 expected=3
2373         fi
2374
2375         local repaired=$(do_facet mds1 $LCTL get_param -n \
2376                          mdd.$(facet_svc mds1).lfsck_layout |
2377                          awk '/^repaired_orphan/ { print $2 }')
2378         [ $repaired -eq $expected ] ||
2379                 error "(4) Expect $expected fixed on mds1, but got: $repaired"
2380
2381         if [ $MDSCOUNT -ge 2 ]; then
2382                 repaired=$(do_facet mds2 $LCTL get_param -n \
2383                            mdd.$(facet_svc mds2).lfsck_layout |
2384                            awk '/^repaired_orphan/ { print $2 }')
2385                 [ $repaired -eq 0 ] ||
2386                         error "(5) Expect 0 fixed on mds2, but got: $repaired"
2387         fi
2388
2389         ls -ail $MOUNT/.lustre/lost+found/
2390
2391         echo "There should NOT be some stub under .lustre/lost+found/MDT0001/"
2392         if [ -d $MOUNT/.lustre/lost+found/MDT0001 ]; then
2393                 cname=$(find $MOUNT/.lustre/lost+found/MDT0001/ -name *-N-*)
2394                 [ -z "$cname" ] ||
2395                         error "(6) .lustre/lost+found/MDT0001/ should be empty"
2396         fi
2397
2398         echo "There should be some stub under .lustre/lost+found/MDT0000/"
2399         [ -d $MOUNT/.lustre/lost+found/MDT0000 ] ||
2400                 error "(7) $MOUNT/.lustre/lost+found/MDT0000/ should be there"
2401
2402         cname=$(find $MOUNT/.lustre/lost+found/MDT0000/ -name *-N-*)
2403         [ ! -z "$cname" ] ||
2404                 error "(8) .lustre/lost+found/MDT0000/ should not be empty"
2405 }
2406 run_test 18c "Find out orphan OST-object and repair it (3)"
2407
2408 test_18d() {
2409         echo "#####"
2410         echo "The target MDT-object layout EA is corrupted, but the right"
2411         echo "OST-object is still alive as orphan. The layout LFSCK will"
2412         echo "not create new OST-object to occupy such slot."
2413         echo "#####"
2414
2415         check_mount_and_prep
2416         mkdir $DIR/$tdir/a1
2417         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2418         echo "guard" > $DIR/$tdir/a1/f1
2419         echo "foo" > $DIR/$tdir/a1/f2
2420
2421         echo "guard" > $DIR/$tdir/a1/f3
2422         $LFS setstripe -E 1M -S 1M -o 0 -E -1 -S 1M $DIR/$tdir/a1/f4 ||
2423                 error "(0) Fail to create PFL $DIR/$tdir/a1/f4"
2424         echo "foo" > $DIR/$tdir/a1/f4
2425
2426         local saved_size1=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
2427         local saved_size2=$(ls -il $DIR/$tdir/a1/f4 | awk '{ print $6 }')
2428         $LFS path2fid $DIR/$tdir/a1/f1
2429         $LFS getstripe $DIR/$tdir/a1/f1
2430         $LFS path2fid $DIR/$tdir/a1/f2
2431         $LFS getstripe $DIR/$tdir/a1/f2
2432         $LFS path2fid $DIR/$tdir/a1/f3
2433         $LFS getstripe $DIR/$tdir/a1/f3
2434         $LFS path2fid $DIR/$tdir/a1/f4
2435         $LFS getstripe $DIR/$tdir/a1/f4
2436         cancel_lru_locks osc
2437
2438         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
2439         echo "to reference the same OST-object (which is f1's OST-obejct)."
2440         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
2441         echo "dangling reference case, but f2's old OST-object is there."
2442
2443         echo "The failure also makes $DIR/$tdir/a1/f3 and $DIR/$tdir/a1/f4"
2444         echo "to reference the same OST-object (which is f3's OST-obejct)."
2445         echo "Then drop $DIR/$tdir/a1/f3 and its OST-object, so f4 becomes"
2446         echo "dangling reference case, but f4's old OST-object is there."
2447         echo
2448
2449         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
2450         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
2451         chown 1.1 $DIR/$tdir/a1/f2
2452         chown 1.1 $DIR/$tdir/a1/f4
2453         rm -f $DIR/$tdir/a1/f1
2454         rm -f $DIR/$tdir/a1/f3
2455         sync
2456         sleep 2
2457         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
2458
2459         echo "stopall to cleanup object cache"
2460         stopall > /dev/null
2461         echo "setupall"
2462         setupall > /dev/null
2463
2464         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2465         $START_LAYOUT -r -o -c -d || error "(2) Fail to start LFSCK for layout!"
2466
2467         for k in $(seq $MDSCOUNT); do
2468                 # The LFSCK status query internal is 30 seconds. For the case
2469                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2470                 # time to guarantee the status sync up.
2471                 wait_update_facet mds${k} "$LCTL get_param -n \
2472                         mdd.$(facet_svc mds${k}).lfsck_layout |
2473                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2474                         error "(3) MDS${k} is not the expected 'completed'"
2475         done
2476
2477         for k in $(seq $OSTCOUNT); do
2478                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2479                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2480                                 awk '/^status/ { print $2 }')
2481                 [ "$cur_status" == "completed" ] ||
2482                 error "(4) OST${k} Expect 'completed', but got '$cur_status'"
2483         done
2484
2485         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
2486                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
2487                          awk '/^repaired_orphan/ { print $2 }')
2488         [ $repaired -eq 2 ] ||
2489                 error "(5) Expect 2 orphans have been fixed, but got: $repaired"
2490
2491         repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
2492                    mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
2493                    awk '/^repaired_dangling/ { print $2 }')
2494         [ $repaired -eq 0 ] ||
2495                 error "(6) Expect 0 dangling has been fixed, but got: $repaired"
2496
2497         echo "The file size should be correct after layout LFSCK scanning"
2498         local cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
2499         [ "$cur_size" == "$saved_size1" ] ||
2500                 error "(7) Expect file2 size $saved_size1, but got $cur_size"
2501
2502         cur_size=$(ls -il $DIR/$tdir/a1/f4 | awk '{ print $6 }')
2503         [ "$cur_size" == "$saved_size2" ] ||
2504                 error "(8) Expect file4 size $saved_size2, but got $cur_size"
2505
2506         echo "The LFSCK should find back the original data."
2507         cat $DIR/$tdir/a1/f2
2508         $LFS path2fid $DIR/$tdir/a1/f2
2509         $LFS getstripe $DIR/$tdir/a1/f2
2510         cat $DIR/$tdir/a1/f4
2511         $LFS path2fid $DIR/$tdir/a1/f4
2512         $LFS getstripe $DIR/$tdir/a1/f4
2513 }
2514 run_test 18d "Find out orphan OST-object and repair it (4)"
2515
2516 test_18e() {
2517         [ -n "$FILESET" ] && skip "Not functional for FILESET set"
2518
2519         echo "#####"
2520         echo "The target MDT-object layout EA slot is occpuied by some new"
2521         echo "created OST-object when repair dangling reference case. Such"
2522         echo "conflict OST-object has been modified by others. To keep the"
2523         echo "new data, the LFSCK will create a new file to refernece this"
2524         echo "old orphan OST-object."
2525         echo "#####"
2526
2527         check_mount_and_prep
2528         mkdir $DIR/$tdir/a1
2529         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2530         echo "guard" > $DIR/$tdir/a1/f1
2531         echo "foo" > $DIR/$tdir/a1/f2
2532
2533         echo "guard" > $DIR/$tdir/a1/f3
2534         $LFS setstripe -E 1M -S 1M -o 0 -E -1 -S 1M $DIR/$tdir/a1/f4 ||
2535                 error "(0) Fail to create PFL $DIR/$tdir/a1/f4"
2536         echo "foo" > $DIR/$tdir/a1/f4
2537
2538         local saved_size1=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
2539         local saved_size2=$(ls -il $DIR/$tdir/a1/f4 | awk '{ print $6 }')
2540
2541         $LFS path2fid $DIR/$tdir/a1/f1
2542         $LFS getstripe $DIR/$tdir/a1/f1
2543         $LFS path2fid $DIR/$tdir/a1/f2
2544         $LFS getstripe $DIR/$tdir/a1/f2
2545         $LFS path2fid $DIR/$tdir/a1/f3
2546         $LFS getstripe $DIR/$tdir/a1/f3
2547         $LFS path2fid $DIR/$tdir/a1/f4
2548         $LFS getstripe $DIR/$tdir/a1/f4
2549         cancel_lru_locks osc
2550
2551         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
2552         echo "to reference the same OST-object (which is f1's OST-obejct)."
2553         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
2554         echo "dangling reference case, but f2's old OST-object is there."
2555
2556         echo "Also the failure makes $DIR/$tdir/a1/f3 and $DIR/$tdir/a1/f4"
2557         echo "to reference the same OST-object (which is f3's OST-obejct)."
2558         echo "Then drop $DIR/$tdir/a1/f3 and its OST-object, so f4 becomes"
2559         echo "dangling reference case, but f4's old OST-object is there."
2560         echo
2561
2562         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
2563         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
2564         chown 1.1 $DIR/$tdir/a1/f2
2565         chown 1.1 $DIR/$tdir/a1/f4
2566         rm -f $DIR/$tdir/a1/f1
2567         rm -f $DIR/$tdir/a1/f3
2568         sync
2569         sleep 2
2570         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
2571
2572         echo "stopall to cleanup object cache"
2573         stopall > /dev/null
2574         echo "setupall"
2575         setupall > /dev/null
2576
2577         #define OBD_FAIL_LFSCK_DELAY3           0x1602
2578         do_facet $SINGLEMDS $LCTL set_param fail_val=10 fail_loc=0x1602
2579
2580         start_full_debug_logging
2581
2582         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2583         $START_LAYOUT -r -o -c || error "(2) Fail to start LFSCK for layout!"
2584
2585         wait_update_facet mds1 "$LCTL get_param -n \
2586                 mdd.$(facet_svc mds1).lfsck_layout |
2587                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" $LTIME ||
2588                 error "(3) MDS1 is not the expected 'scanning-phase2'"
2589
2590         # to guarantee all updates are synced.
2591         sync
2592         sleep 2
2593
2594         echo "Write new data to f2/f4 to modify the new created OST-object."
2595         echo "dummy" >> $DIR/$tdir/a1/f2 || error "write a1/f2 failed"
2596         echo "dummy" >> $DIR/$tdir/a1/f4 || error "write a1/f4 failed"
2597
2598         do_facet $SINGLEMDS $LCTL set_param fail_val=0 fail_loc=0
2599
2600         for k in $(seq $MDSCOUNT); do
2601                 # The LFSCK status query internal is 30 seconds. For the case
2602                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2603                 # time to guarantee the status sync up.
2604                 wait_update_facet mds${k} "$LCTL get_param -n \
2605                         mdd.$(facet_svc mds${k}).lfsck_layout |
2606                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2607                         error "(4) MDS${k} is not the expected 'completed'"
2608         done
2609
2610         for k in $(seq $OSTCOUNT); do
2611                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2612                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2613                                 awk '/^status/ { print $2 }')
2614                 [ "$cur_status" == "completed" ] ||
2615                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
2616         done
2617
2618         stop_full_debug_logging
2619
2620         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
2621                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
2622                          awk '/^repaired_orphan/ { print $2 }')
2623         [ $repaired -eq 2 ] ||
2624                 error "(6) Expect 2 orphans have been fixed, but got: $repaired"
2625
2626         echo "There should be stub file under .lustre/lost+found/MDT0000/"
2627         [ -d $MOUNT/.lustre/lost+found/MDT0000 ] ||
2628                 error "(7) $MOUNT/.lustre/lost+found/MDT0000/ should be there"
2629
2630         local count=$(ls -l $MOUNT/.lustre/lost+found/MDT0000/*-C-* | wc -l)
2631         if [ $count -ne 2 ]; then
2632                 ls -l $MOUNT/.lustre/lost+found/MDT0000/*-C-*
2633                 error "(8) Expect 2 stubs under lost+found, but got $count"
2634         fi
2635
2636         echo "The stub file should keep the original f2 or f4 data"
2637         cname=$(find $MOUNT/.lustre/lost+found/MDT0000/ -name *-C-* | head -n 1)
2638         local cur_size=$(ls -il $cname | awk '{ print $6 }')
2639         [ "$cur_size" != "$saved_size1" -a "$cur_size" != "$saved_size2" ] &&
2640                 error "(9) Got unexpected $cur_size"
2641
2642         cat $cname
2643         $LFS path2fid $cname
2644         $LFS getstripe $cname
2645
2646         cname=$(find $MOUNT/.lustre/lost+found/MDT0000/ -name *-C-* | tail -n 1)
2647         cur_size=$(ls -il $cname | awk '{ print $6 }')
2648         [ "$cur_size" != "$saved_size1" -a "$cur_size" != "$saved_size2" ] &&
2649                 error "(10) Got unexpected $cur_size"
2650
2651         cat $cname
2652         $LFS path2fid $cname
2653         $LFS getstripe $cname
2654
2655         echo "The f2/f4 should contains new data."
2656         cat $DIR/$tdir/a1/f2
2657         $LFS path2fid $DIR/$tdir/a1/f2
2658         $LFS getstripe $DIR/$tdir/a1/f2
2659         cat $DIR/$tdir/a1/f4
2660         $LFS path2fid $DIR/$tdir/a1/f4
2661         $LFS getstripe $DIR/$tdir/a1/f4
2662 }
2663 run_test 18e "Find out orphan OST-object and repair it (5)"
2664
2665 test_18f() {
2666         [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
2667
2668         echo "#####"
2669         echo "The target MDT-object is lost. The LFSCK should re-create the"
2670         echo "MDT-object under .lustre/lost+found/MDTxxxx. If some OST fail"
2671         echo "to verify some OST-object(s) during the first stage-scanning,"
2672         echo "the LFSCK should skip orphan OST-objects for such OST. Others"
2673         echo "should not be affected."
2674         echo "#####"
2675
2676         check_mount_and_prep
2677         $LFS mkdir -i 0 $DIR/$tdir/a1
2678         $LFS setstripe -c 1 -i 0 $DIR/$tdir/a1
2679         dd if=/dev/zero of=$DIR/$tdir/a1/guard bs=1M count=2
2680         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
2681         $LFS mkdir -i 0 $DIR/$tdir/a2
2682         $LFS setstripe -c 2 -i 0 -S 1M $DIR/$tdir/a2
2683         dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
2684         $LFS getstripe $DIR/$tdir/a1/f1
2685         $LFS getstripe $DIR/$tdir/a2/f2
2686
2687         if [ $MDSCOUNT -ge 2 ]; then
2688                 $LFS mkdir -i 1 $DIR/$tdir/a3
2689                 $LFS setstripe -c 1 -i 0 $DIR/$tdir/a3
2690                 dd if=/dev/zero of=$DIR/$tdir/a3/guard bs=1M count=2
2691                 dd if=/dev/zero of=$DIR/$tdir/a3/f3 bs=1M count=2
2692                 $LFS mkdir -i 1 $DIR/$tdir/a4
2693                 $LFS setstripe -c 2 -i 0 -S 1M $DIR/$tdir/a4
2694                 dd if=/dev/zero of=$DIR/$tdir/a4/f4 bs=1M count=2
2695                 $LFS getstripe $DIR/$tdir/a3/f3
2696                 $LFS getstripe $DIR/$tdir/a4/f4
2697         fi
2698
2699         cancel_lru_locks osc
2700
2701         echo "Inject failure, to simulate the case of missing the MDT-object"
2702         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
2703         do_facet mds1 $LCTL set_param fail_loc=0x1616
2704         rm -f $DIR/$tdir/a1/f1
2705         rm -f $DIR/$tdir/a2/f2
2706
2707         if [ $MDSCOUNT -ge 2 ]; then
2708                 do_facet mds2 $LCTL set_param fail_loc=0x1616
2709                 rm -f $DIR/$tdir/a3/f3
2710                 rm -f $DIR/$tdir/a4/f4
2711         fi
2712
2713         sync
2714         sleep 2
2715
2716         do_facet mds1 $LCTL set_param fail_loc=0
2717         if [ $MDSCOUNT -ge 2 ]; then
2718                 do_facet mds2 $LCTL set_param fail_loc=0
2719         fi
2720
2721         cancel_lru_locks mdc
2722         cancel_lru_locks osc
2723
2724         echo "Inject failure, to simulate the OST0 fail to handle"
2725         echo "MDT0 LFSCK request during the first-stage scanning."
2726         #define OBD_FAIL_LFSCK_BAD_NETWORK      0x161c
2727         do_facet mds1 $LCTL set_param fail_loc=0x161c fail_val=0
2728
2729         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2730         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
2731
2732         for k in $(seq $MDSCOUNT); do
2733                 # The LFSCK status query internal is 30 seconds. For the case
2734                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2735                 # time to guarantee the status sync up.
2736                 wait_update_facet mds${k} "$LCTL get_param -n \
2737                         mdd.$(facet_svc mds${k}).lfsck_layout |
2738                         awk '/^status/ { print \\\$2 }'" "partial" $LTIME ||
2739                         error "(2) MDS${k} is not the expected 'partial'"
2740         done
2741
2742         wait_update_facet ost1 "$LCTL get_param -n \
2743                 obdfilter.$(facet_svc ost1).lfsck_layout |
2744                 awk '/^status/ { print \\\$2 }'" "partial" $LTIME || {
2745                 error "(3) OST1 is not the expected 'partial'"
2746         }
2747
2748         wait_update_facet ost2 "$LCTL get_param -n \
2749                 obdfilter.$(facet_svc ost2).lfsck_layout |
2750                 awk '/^status/ { print \\\$2 }'" "completed" $LTIME || {
2751                 error "(4) OST2 is not the expected 'completed'"
2752         }
2753
2754         do_facet mds1 $LCTL set_param fail_loc=0 fail_val=0
2755
2756         local repaired=$(do_facet mds1 $LCTL get_param -n \
2757                          mdd.$(facet_svc mds1).lfsck_layout |
2758                          awk '/^repaired_orphan/ { print $2 }')
2759         [ $repaired -eq 1 ] ||
2760                 error "(5) Expect 1 fixed on mds{1}, but got: $repaired"
2761
2762         if [ $MDSCOUNT -ge 2 ]; then
2763                 repaired=$(do_facet mds2 $LCTL get_param -n \
2764                          mdd.$(facet_svc mds2).lfsck_layout |
2765                          awk '/^repaired_orphan/ { print $2 }')
2766                 [ $repaired -eq 1 ] ||
2767                 error "(6) Expect 1 fixed on mds{2}, but got: $repaired"
2768         fi
2769
2770         echo "Trigger layout LFSCK on all devices again to cleanup"
2771         $START_LAYOUT -r -o || error "(7) Fail to start LFSCK for layout!"
2772
2773         for k in $(seq $MDSCOUNT); do
2774                 # The LFSCK status query internal is 30 seconds. For the case
2775                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2776                 # time to guarantee the status sync up.
2777                 wait_update_facet mds${k} "$LCTL get_param -n \
2778                         mdd.$(facet_svc mds${k}).lfsck_layout |
2779                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2780                         error "(8) MDS${k} is not the expected 'completed'"
2781         done
2782
2783         for k in $(seq $OSTCOUNT); do
2784                 cur_status=$(do_facet ost${k} $LCTL get_param -n \
2785                              obdfilter.$(facet_svc ost${k}).lfsck_layout |
2786                              awk '/^status/ { print $2 }')
2787                 [ "$cur_status" == "completed" ] ||
2788                 error "(9) OST${k} Expect 'completed', but got '$cur_status'"
2789
2790         done
2791
2792         local repaired=$(do_facet mds1 $LCTL get_param -n \
2793                          mdd.$(facet_svc mds1).lfsck_layout |
2794                          awk '/^repaired_orphan/ { print $2 }')
2795         [ $repaired -eq 2 ] ||
2796                 error "(10) Expect 2 fixed on mds{1}, but got: $repaired"
2797
2798         if [ $MDSCOUNT -ge 2 ]; then
2799                 repaired=$(do_facet mds2 $LCTL get_param -n \
2800                          mdd.$(facet_svc mds2).lfsck_layout |
2801                          awk '/^repaired_orphan/ { print $2 }')
2802                 [ $repaired -eq 2 ] ||
2803                 error "(11) Expect 2 fixed on mds{2}, but got: $repaired"
2804         fi
2805 }
2806 run_test 18f "Skip the failed OST(s) when handle orphan OST-objects"
2807
2808 test_18g() {
2809         [ -n "$FILESET" ] && skip "Not functional for FILESET set"
2810
2811         echo "#####"
2812         echo "The target MDT-object is lost, but related OI mapping is there"
2813         echo "The LFSCK should recreate the lost MDT-object without affected"
2814         echo "by the stale OI mapping."
2815         echo "#####"
2816
2817         check_mount_and_prep
2818         $LFS mkdir -i 0 $DIR/$tdir/a1
2819         $LFS setstripe -c -1 -i 0 -S 1M $DIR/$tdir/a1
2820         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=$OSTCOUNT
2821         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
2822         echo ${fid1}
2823         $LFS getstripe $DIR/$tdir/a1/f1
2824         cancel_lru_locks osc
2825
2826         echo "Inject failure to simulate lost MDT-object but keep OI mapping"
2827         #define OBD_FAIL_LFSCK_LOST_MDTOBJ2     0x162e
2828         do_facet mds1 $LCTL set_param fail_loc=0x162e
2829         rm -f $DIR/$tdir/a1/f1
2830
2831         do_facet mds1 $LCTL set_param fail_loc=0
2832         cancel_lru_locks mdc
2833         cancel_lru_locks osc
2834
2835         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2836         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
2837
2838         for k in $(seq $MDSCOUNT); do
2839                 # The LFSCK status query internal is 30 seconds. For the case
2840                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2841                 # time to guarantee the status sync up.
2842                 wait_update_facet mds${k} "$LCTL get_param -n \
2843                         mdd.$(facet_svc mds${k}).lfsck_layout |
2844                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2845                         error "(2) MDS${k} is not the expected 'completed'"
2846         done
2847
2848         for k in $(seq $OSTCOUNT); do
2849                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2850                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2851                                 awk '/^status/ { print $2 }')
2852                 [ "$cur_status" == "completed" ] ||
2853                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
2854         done
2855
2856         local repaired=$(do_facet mds1 $LCTL get_param -n \
2857                          mdd.$(facet_svc mds1).lfsck_layout |
2858                          awk '/^repaired_orphan/ { print $2 }')
2859         [ $repaired -eq $OSTCOUNT ] ||
2860                 error "(4) Expect $OSTCOUNT fixed, but got: $repaired"
2861
2862         echo "Move the files from ./lustre/lost+found/MDTxxxx to namespace"
2863         mv $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0 $DIR/$tdir/a1/f1 ||
2864         error "(5) Fail to move $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0"
2865
2866         $LFS path2fid $DIR/$tdir/a1/f1
2867         $LFS getstripe $DIR/$tdir/a1/f1
2868 }
2869 run_test 18g "Find out orphan OST-object and repair it (7)"
2870
2871 test_18h() {
2872         echo "#####"
2873         echo "The PFL extent crashed. During the first cycle LFSCK scanning,"
2874         echo "the layout LFSCK will keep the bad PFL file(s) there without"
2875         echo "scanning its OST-object(s). Then in the second stage scanning,"
2876         echo "the OST will return related OST-object(s) to the MDT as orphan."
2877         echo "And then the LFSCK on the MDT can rebuild the PFL extent with"
2878         echo "the 'orphan(s)' stripe information."
2879         echo "#####"
2880
2881         check_mount_and_prep
2882
2883         $LFS setstripe -E 2M -S 1M -c 1 -E -1 $DIR/$tdir/f0 ||
2884                 error "(0) Fail to create PFL $DIR/$tdir/f0"
2885
2886         cat $LUSTRE/tests/test-framework.sh > $DIR/$tdir/f0 ||
2887                 error "(1.1) Fail to write $DIR/$tdir/f0"
2888
2889         dd if=$LUSTRE/tests/test-framework.sh of=$DIR/$tdir/f0 bs=1M seek=2 ||
2890                 error "(1.2) Fail to write $DIR/$tdir/f0"
2891
2892         cp $DIR/$tdir/f0 $DIR/$tdir/guard
2893
2894         echo "Inject failure stub to simulate bad PFL extent range"
2895         #define OBD_FAIL_LFSCK_BAD_PFL_RANGE    0x162f
2896         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x162f
2897
2898         chown 1.1 $DIR/$tdir/f0
2899
2900         cancel_lru_locks mdc
2901         cancel_lru_locks osc
2902         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
2903
2904         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1 &&
2905                 error "(2) Write to bad PFL file should fail"
2906
2907         echo "Trigger layout LFSCK to find out the bad lmm_oi and fix them"
2908         $START_LAYOUT -r -o || error "(3) Fail to start LFSCK for layout!"
2909
2910         for k in $(seq $MDSCOUNT); do
2911                 # The LFSCK status query internal is 30 seconds. For the case
2912                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2913                 # time to guarantee the status sync up.
2914                 wait_update_facet mds${k} "$LCTL get_param -n \
2915                         mdd.$(facet_svc mds${k}).lfsck_layout |
2916                         awk '/^status/ { print \\\$2 }'" "completed" $LTIME ||
2917                         error "(4.1) MDS${k} is not the expected 'completed'"
2918         done
2919
2920         for k in $(seq $OSTCOUNT); do
2921                 cur_status=$(do_facet ost${k} $LCTL get_param -n \
2922                              obdfilter.$(facet_svc ost${k}).lfsck_layout |
2923                              awk '/^status/ { print $2 }')
2924                 [ "$cur_status" == "completed" ] ||
2925                 error "(4.2) OST${k} Expect 'completed', but got '$cur_status'"
2926
2927         done
2928
2929         local repaired=$($SHOW_LAYOUT |
2930                          awk '/^repaired_orphan/ { print $2 }')
2931         [ $repaired -eq 2 ] ||
2932                 error "(5) Fail to repair crashed PFL range: $repaired"
2933
2934         echo "Data in $DIR/$tdir/f0 should not be broken"
2935         diff $DIR/$tdir/f0 $DIR/$tdir/guard ||
2936                 error "(6) Data in $DIR/$tdir/f0 is broken"
2937
2938         echo "Write should succeed after LFSCK repairing the bad PFL range"
2939         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1 ||
2940                 error "(7) Write should succeed after LFSCK"
2941 }
2942 run_test 18h "LFSCK can repair crashed PFL extent range"
2943
2944 $LCTL set_param debug=-cache > /dev/null
2945
2946 test_19a() {
2947         check_mount_and_prep
2948         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2949
2950         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param -n \
2951                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 0
2952
2953         echo "foo1" > $DIR/$tdir/a0
2954         $LFS setstripe -E 512K -S 512K -o 0 -E -1 -S 1M $DIR/$tdir/a1 ||
2955                 error "(0) Fail to create PFL $DIR/$tdir/a1"
2956         echo "foo2" > $DIR/$tdir/a1
2957         echo "guard" > $DIR/$tdir/a2
2958         cancel_lru_locks osc
2959
2960         echo "Inject failure, then client will offer wrong parent FID when read"
2961         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param -n \
2962                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
2963
2964         #define OBD_FAIL_LFSCK_INVALID_PFID     0x1619
2965         $LCTL set_param fail_loc=0x1619
2966
2967         echo "Read RPC with wrong parent FID should be denied"
2968         cat $DIR/$tdir/a0 && error "(3.1) Read a0 should be denied!"
2969         cat $DIR/$tdir/a1 && error "(3.2) Read a1 should be denied!"
2970         $LCTL set_param fail_loc=0
2971 }
2972 run_test 19a "OST-object inconsistency self detect"
2973
2974 test_19b() {
2975         check_mount_and_prep
2976         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2977
2978         echo "Inject failure stub to make the OST-object to back point to"
2979         echo "non-exist MDT-object"
2980
2981         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param -n \
2982                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 0
2983
2984         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
2985         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0x1611
2986         echo "foo1" > $DIR/$tdir/f0
2987         $LFS setstripe -E 1M -S 1M -o 0 -E 4M -S 256K $DIR/$tdir/f1 ||
2988                 error "(0) Fail to create PFL $DIR/$tdir/f1"
2989         echo "foo2" > $DIR/$tdir/f1
2990         cancel_lru_locks osc
2991         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param fail_loc=0
2992
2993         do_facet ost1 $LCTL set_param -n \
2994                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 0
2995         echo "Nothing should be fixed since self detect and repair is disabled"
2996         local repaired=$(do_facet ost1 $LCTL get_param -n \
2997                         obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
2998                         awk '/^repaired/ { print $2 }')
2999         [ $repaired -eq 0 ] ||
3000                 error "(1) Expected 0 repaired, but got $repaired"
3001
3002         echo "Read RPC with right parent FID should be accepted,"
3003         echo "and cause parent FID on OST to be fixed"
3004
3005         do_nodes $(comma_list $(osts_nodes)) $LCTL set_param -n \
3006                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
3007
3008         cat $DIR/$tdir/f0 || error "(2.1) Read f0 should not be denied!"
3009         cat $DIR/$tdir/f1 || error "(2.2) Read f1 should not be denied!"
3010
3011         repaired=$(do_facet ost1 $LCTL get_param -n \
3012                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
3013                 awk '/^repaired/ { print $2 }')
3014         [ $repaired -eq 2 ] ||
3015                 error "(3) Expected 1 repaired, but got $repaired"
3016 }
3017 run_test 19b "OST-object inconsistency self repair"
3018
3019 PATTERN_WITH_HOLE="40000001"
3020 PATTERN_WITHOUT_HOLE="raid0"
3021
3022 test_20a() {
3023         [ $OSTCOUNT -lt 2 ] && skip "needs >= 2 OSTs" && return
3024         [ -n "$FILESET" ] && skip "Not functional for FILESET set"
3025
3026         echo "#####"
3027         echo "The target MDT-object and some of its OST-object are lost."
3028         echo "The LFSCK should find out the left OST-objects and re-create"
3029         echo "the MDT-object under the direcotry .lustre/lost+found/MDTxxxx/"
3030         echo "with the partial OST-objects (LOV EA hole)."
3031
3032         echo "New client can access the file with LOV EA hole via normal"
3033         echo "system tools or commands without crash the system."
3034
3035         echo "For old client, even though it cannot access the file with"
3036         echo "LOV EA hole, it should not cause the system crash."
3037         echo "#####"
3038
3039         check_mount_and_prep
3040         $LFS mkdir -i 0 $DIR/$tdir/a1
3041         if [ $OSTCOUNT -gt 2 ]; then
3042                 $LFS setstripe -c 3 -i 0 -S 1M $DIR/$tdir/a1
3043                 bcount=513
3044         else
3045                 $LFS setstripe -c 2 -i 0 -S 1M $DIR/$tdir/a1
3046                 bcount=257
3047         fi
3048
3049         # 256 blocks on the stripe0.
3050         # 1 block on the stripe1 for 2 OSTs case.
3051         # 256 blocks on the stripe1 for other cases.
3052         # 1 block on the stripe2 if OSTs > 2
3053         dd if=/dev/zero of=$DIR/$tdir/a1/f0 bs=4096 count=$bcount
3054         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=4096 count=$bcount
3055         dd if=/dev/zero of=$DIR/$tdir/a1/f2 bs=4096 count=$bcount
3056
3057         local fid0=$($LFS path2fid $DIR/$tdir/a1/f0)
3058         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
3059         local fid2=$($LFS path2fid $DIR/$tdir/a1/f2)
3060
3061         echo ${fid0}
3062         $LFS getstripe $DIR/$tdir/a1/f0
3063         echo ${fid1}
3064         $LFS getstripe $DIR/$tdir/a1/f1
3065         echo ${fid2}
3066         $LFS getstripe $DIR/$tdir/a1/f2
3067
3068         if [ $OSTCOUNT -gt 2 ]; then
3069                 dd if=/dev/zero of=$DIR/$tdir/a1/f3 bs=4096 count=$bcount
3070                 fid3=$($LFS path2fid $DIR/$tdir/a1/f3)
3071                 echo ${fid3}
3072                 $LFS getstripe $DIR/$tdir/a1/f3
3073         fi
3074
3075         cancel_lru_locks osc
3076
3077         echo "Inject failure..."
3078         echo "To simulate f0 lost MDT-object"
3079         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
3080         do_facet mds1 $LCTL set_param fail_loc=0x1616
3081         rm -f $DIR/$tdir/a1/f0
3082
3083         echo "To simulate f1 lost MDT-object and OST-object0"
3084         #define OBD_FAIL_LFSCK_LOST_SPEOBJ      0x161a
3085         do_facet mds1 $LCTL set_param fail_loc=0x161a
3086         rm -f $DIR/$tdir/a1/f1
3087
3088         echo "To simulate f2 lost MDT-object and OST-object1"
3089         do_facet mds1 $LCTL set_param fail_val=1
3090         rm -f $DIR/$tdir/a1/f2
3091
3092         if [ $OSTCOUNT -gt 2 ]; then
3093                 echo "To simulate f3 lost MDT-object and OST-object2"
3094                 do_facet mds1 $LCTL set_param fail_val=2
3095                 rm -f $DIR/$tdir/a1/f3
3096         fi
3097
3098         umount_client $MOUNT
3099         sync
3100         sleep 2
3101         do_facet mds1 $LCTL set_param fail_loc=0 fail_val=0
3102
3103         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
3104         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
3105
3106         for k in $(seq $MDSCOUNT); do
3107                 # The LFSCK status query internal is 30 seconds. For the case
3108                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
3109                 # time to guarantee the status sync up.
3110                 wait_update_facet mds${k} "$LCTL get_param -n \
3111                         mdd.$(facet_svc mds${k}).lfsck_layout |
3112                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
3113                         error "(2) MDS${k} is not the expected 'completed'"
3114         done
3115
3116         for k in $(seq $OSTCOUNT); do
3117                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
3118                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
3119                                 awk '/^status/ { print $2 }')
3120                 [ "$cur_status" == "completed" ] ||
3121                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
3122         done
3123
3124         local repaired=$(do_facet mds1 $LCTL get_param -n \
3125                          mdd.$(facet_svc mds1).lfsck_layout |
3126                          awk '/^repaired_orphan/ { print $2 }')
3127         if [ $OSTCOUNT -gt 2 ]; then
3128                 [ $repaired -eq 9 ] ||
3129                         error "(4.1) Expect 9 fixed on mds1, but got: $repaired"
3130         else
3131                 [ $repaired -eq 4 ] ||
3132                         error "(4.2) Expect 4 fixed on mds1, but got: $repaired"
3133         fi
3134
3135         mount_client $MOUNT || error "(5.0) Fail to start client!"
3136
3137         LOV_PATTERN_F_HOLE=0x40000000
3138
3139         #
3140         # ${fid0}-R-0 is the old f0
3141         #
3142         local name="$MOUNT/.lustre/lost+found/MDT0000/${fid0}-R-0"
3143         echo "Check $name, which is the old f0"
3144
3145         $LFS getstripe -v $name || error "(5.1) cannot getstripe on $name"
3146
3147         local pattern=$($LFS getstripe -L $name)
3148         [[ "$pattern" = "$PATTERN_WITHOUT_HOLE" ]] ||
3149                 error "(5.2) NOT expect pattern flag hole, but got $pattern"
3150
3151         local stripes=$($LFS getstripe -c $name)
3152         if [ $OSTCOUNT -gt 2 ]; then
3153                 [ $stripes -eq 3 ] ||
3154                 error "(5.3.1) expect the stripe count is 3, but got $stripes"
3155         else
3156                 [ $stripes -eq 2 ] ||
3157                 error "(5.3.2) expect the stripe count is 2, but got $stripes"
3158         fi
3159
3160         local size=$(stat $name | awk '/Size:/ { print $2 }')
3161         [ $size -eq $((4096 * $bcount)) ] ||
3162                 error "(5.4) expect the size $((4096 * $bcount)), but got $size"
3163
3164         cat $name > /dev/null || error "(5.5) cannot read $name"
3165
3166         echo "dummy" >> $name || error "(5.6) cannot write $name"
3167
3168         chown $RUNAS_ID:$RUNAS_GID $name || error "(5.7) cannot chown on $name"
3169
3170         touch $name || error "(5.8) cannot touch $name"
3171
3172         rm -f $name || error "(5.9) cannot unlink $name"
3173
3174         #
3175         # ${fid1}-R-0 contains the old f1's stripe1 (and stripe2 if OSTs > 2)
3176         #
3177         name="$MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0"
3178         if [ $OSTCOUNT -gt 2 ]; then
3179                 echo "Check $name, it contains the old f1's stripe1 and stripe2"
3180         else
3181                 echo "Check $name, it contains the old f1's stripe1"
3182         fi
3183
3184         $LFS getstripe -v $name || error "(6.1) cannot getstripe on $name"
3185
3186         pattern=$($LFS getstripe -L $name)
3187         [[ "$pattern" = "$PATTERN_WITH_HOLE" ]] ||
3188                 error "(6.2) expect pattern flag hole, but got $pattern"