Whamcloud - gitweb
LU-4970 tests: turn up debugging for sanity-lfsck/14
[fs/lustre-release.git] / lustre / tests / sanity-lfsck.sh
1 #!/bin/bash
2 #
3 # Run select tests by setting ONLY, or as arguments to the script.
4 # Skip specific tests by setting EXCEPT.
5 #
6
7 set -e
8
9 ONLY=${ONLY:-"$*"}
10 ALWAYS_EXCEPT="$SANITY_LFSCK_EXCEPT"
11 [ "$SLOW" = "no" ] && EXCEPT_SLOW=""
12 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
13
14 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
15 . $LUSTRE/tests/test-framework.sh
16 init_test_env $@
17 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
18 init_logging
19
20 require_dsh_mds || exit 0
21
22 MCREATE=${MCREATE:-mcreate}
23 SAVED_MDSSIZE=${MDSSIZE}
24 SAVED_OSTSIZE=${OSTSIZE}
25 SAVED_OSTCOUNT=${OSTCOUNT}
26 # use small MDS + OST size to speed formatting time
27 # do not use too small MDSSIZE/OSTSIZE, which affect the default journal size
28 MDSSIZE=100000
29 OSTSIZE=100000
30 # no need too much OSTs, to reduce the format/start/stop overhead
31 [ $OSTCOUNT -gt 4 ] && OSTCOUNT=4
32
33 # build up a clean test environment.
34 formatall
35 setupall
36
37 [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.60) ]] &&
38         skip "Need MDS version at least 2.3.60" && check_and_cleanup_lustre &&
39         exit 0
40
41 [[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.4.90) ]] &&
42         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2c"
43
44 [[ $(lustre_version_code ost1) -lt $(version_code 2.5.55) ]] &&
45         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 11 12 13 14 15 16 17 18 19"
46
47 [ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
48 # bug number for skipped test:        LU-4970
49         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 14"
50
51 build_test_filter
52
53 $LCTL set_param debug=+lfsck > /dev/null || true
54
55 MDT_DEV="${FSNAME}-MDT0000"
56 OST_DEV="${FSNAME}-OST0000"
57 MDT_DEVNAME=$(mdsdevname ${SINGLEMDS//mds/})
58 START_NAMESPACE="do_facet $SINGLEMDS \
59                 $LCTL lfsck_start -M ${MDT_DEV} -t namespace"
60 START_LAYOUT="do_facet $SINGLEMDS \
61                 $LCTL lfsck_start -M ${MDT_DEV} -t layout"
62 START_LAYOUT_ON_OST="do_facet ost1 $LCTL lfsck_start -M ${OST_DEV} -t layout"
63 STOP_LFSCK="do_facet $SINGLEMDS $LCTL lfsck_stop -M ${MDT_DEV}"
64 SHOW_NAMESPACE="do_facet $SINGLEMDS \
65                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace"
66 SHOW_LAYOUT="do_facet $SINGLEMDS \
67                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_layout"
68 SHOW_LAYOUT_ON_OST="do_facet ost1 \
69                 $LCTL get_param -n obdfilter.${OST_DEV}.lfsck_layout"
70 MOUNT_OPTS_SCRUB="-o user_xattr"
71 MOUNT_OPTS_NOSCRUB="-o user_xattr,noscrub"
72
73 lfsck_prep() {
74         local ndirs=$1
75         local nfiles=$2
76         local igif=$3
77
78         check_mount_and_prep
79
80         echo "preparing... $nfiles * $ndirs files will be created $(date)."
81         if [ ! -z $igif ]; then
82                 #define OBD_FAIL_FID_IGIF       0x1504
83                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1504
84         fi
85
86         cp $LUSTRE/tests/*.sh $DIR/$tdir/
87         if [ $ndirs -gt 0 ]; then
88                 createmany -d $DIR/$tdir/d $ndirs
89                 createmany -m $DIR/$tdir/f $ndirs
90                 if [ $nfiles -gt 0 ]; then
91                         for ((i = 0; i < $ndirs; i++)); do
92                                 createmany -m $DIR/$tdir/d${i}/f $nfiles > \
93                                         /dev/null || error "createmany $nfiles"
94                         done
95                 fi
96                 createmany -d $DIR/$tdir/e $ndirs
97         fi
98
99         if [ ! -z $igif ]; then
100                 touch $DIR/$tdir/dummy
101                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0
102         fi
103
104         echo "prepared $(date)."
105 }
106
107 test_0() {
108         lfsck_prep 3 3
109
110         #define OBD_FAIL_LFSCK_DELAY1           0x1600
111         do_facet $SINGLEMDS $LCTL set_param fail_val=3 fail_loc=0x1600
112         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
113
114         $SHOW_NAMESPACE || error "Fail to monitor LFSCK (3)"
115
116         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
117         [ "$STATUS" == "scanning-phase1" ] ||
118                 error "(4) Expect 'scanning-phase1', but got '$STATUS'"
119
120         $STOP_LFSCK || error "(5) Fail to stop LFSCK!"
121
122         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
123         [ "$STATUS" == "stopped" ] ||
124                 error "(6) Expect 'stopped', but got '$STATUS'"
125
126         $START_NAMESPACE || error "(7) Fail to start LFSCK for namespace!"
127
128         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
129         [ "$STATUS" == "scanning-phase1" ] ||
130                 error "(8) Expect 'scanning-phase1', but got '$STATUS'"
131
132         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
133         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
134                 mdd.${MDT_DEV}.lfsck_namespace |
135                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
136                 $SHOW_NAMESPACE
137                 error "(9) unexpected status"
138         }
139
140         local repaired=$($SHOW_NAMESPACE |
141                          awk '/^updated_phase1/ { print $2 }')
142         [ $repaired -eq 0 ] ||
143                 error "(10) Expect nothing to be repaired, but got: $repaired"
144
145         local scanned1=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
146         $START_NAMESPACE -r || error "(11) Fail to reset LFSCK!"
147         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
148                 mdd.${MDT_DEV}.lfsck_namespace |
149                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
150                 $SHOW_NAMESPACE
151                 error "(12) unexpected status"
152         }
153
154         local scanned2=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
155         [ $((scanned1 + 1)) -eq $scanned2 ] ||
156                 error "(13) Expect success $((scanned1 + 1)), but got $scanned2"
157
158         echo "stopall, should NOT crash LU-3649"
159         stopall || error "(14) Fail to stopall"
160 }
161 run_test 0 "Control LFSCK manually"
162
163 test_1a() {
164         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
165                 skip "OI Scrub not implemented for ZFS" && return
166
167         lfsck_prep 1 1
168
169         #define OBD_FAIL_FID_INDIR      0x1501
170         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1501
171         touch $DIR/$tdir/dummy
172
173         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
174         umount_client $MOUNT
175         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
176         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
177                 mdd.${MDT_DEV}.lfsck_namespace |
178                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
179                 $SHOW_NAMESPACE
180                 error "(4) unexpected status"
181         }
182
183         local repaired=$($SHOW_NAMESPACE |
184                          awk '/^dirent_repaired/ { print $2 }')
185         # for interop with old server
186         [ -z "$repaired" ] &&
187                 repaired=$($SHOW_NAMESPACE |
188                          awk '/^updated_phase1/ { print $2 }')
189
190         [ $repaired -eq 1 ] ||
191                 error "(5) Fail to repair crashed FID-in-dirent: $repaired"
192
193         mount_client $MOUNT || error "(6) Fail to start client!"
194
195         #define OBD_FAIL_FID_LOOKUP     0x1505
196         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
197         ls $DIR/$tdir/ > /dev/null || error "(7) no FID-in-dirent."
198
199         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
200 }
201 run_test 1a "LFSCK can find out and repair crashed FID-in-dirent"
202
203 test_1b()
204 {
205         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
206                 skip "OI Scrub not implemented for ZFS" && return
207
208         lfsck_prep 1 1
209
210         #define OBD_FAIL_FID_INLMA      0x1502
211         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1502
212         touch $DIR/$tdir/dummy
213
214         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
215         umount_client $MOUNT
216         #define OBD_FAIL_FID_NOLMA      0x1506
217         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1506
218         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
219         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
220                 mdd.${MDT_DEV}.lfsck_namespace |
221                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
222                 $SHOW_NAMESPACE
223                 error "(4) unexpected status"
224         }
225
226         local repaired=$($SHOW_NAMESPACE |
227                          awk '/^dirent_repaired/ { print $2 }')
228         # for interop with old server
229         [ -z "$repaired" ] &&
230                 repaired=$($SHOW_NAMESPACE |
231                          awk '/^updated_phase1/ { print $2 }')
232
233         [ $repaired -eq 1 ] ||
234                 error "(5) Fail to repair missed FID-in-LMA: $repaired"
235
236         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
237         mount_client $MOUNT || error "(6) Fail to start client!"
238
239         #define OBD_FAIL_FID_LOOKUP     0x1505
240         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
241         stat $DIR/$tdir/dummy > /dev/null || error "(7) no FID-in-LMA."
242
243         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
244 }
245 run_test 1b "LFSCK can find out and repair missed FID-in-LMA"
246
247 test_2a() {
248         lfsck_prep 1 1
249
250         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
251         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
252         touch $DIR/$tdir/dummy
253
254         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
255         umount_client $MOUNT
256         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
257         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
258                 mdd.${MDT_DEV}.lfsck_namespace |
259                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
260                 $SHOW_NAMESPACE
261                 error "(4) unexpected status"
262         }
263
264         local repaired=$($SHOW_NAMESPACE |
265                          awk '/^linkea_repaired/ { print $2 }')
266         # for interop with old server
267         [ -z "$repaired" ] &&
268                 repaired=$($SHOW_NAMESPACE |
269                          awk '/^updated_phase1/ { print $2 }')
270
271         [ $repaired -eq 1 ] ||
272                 error "(5) Fail to repair crashed linkEA: $repaired"
273
274         mount_client $MOUNT || error "(6) Fail to start client!"
275
276         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
277                 error "(7) Fail to stat $DIR/$tdir/dummy"
278
279         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
280         local dummyname=$($LFS fid2path $DIR $dummyfid)
281         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
282                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
283 }
284 run_test 2a "LFSCK can find out and repair crashed linkEA entry"
285
286 test_2b()
287 {
288         lfsck_prep 1 1
289
290         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
291         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
292         touch $DIR/$tdir/dummy
293
294         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
295         umount_client $MOUNT
296         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
297         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
298                 mdd.${MDT_DEV}.lfsck_namespace |
299                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
300                 $SHOW_NAMESPACE
301                 error "(4) unexpected status"
302         }
303
304         local repaired=$($SHOW_NAMESPACE |
305                          awk '/^updated_phase2/ { print $2 }')
306         [ $repaired -eq 1 ] ||
307                 error "(5) Fail to repair crashed linkEA: $repaired"
308
309         mount_client $MOUNT || error "(6) Fail to start client!"
310
311         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
312                 error "(7) Fail to stat $DIR/$tdir/dummy"
313
314         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
315         local dummyname=$($LFS fid2path $DIR $dummyfid)
316         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
317                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
318 }
319 run_test 2b "LFSCK can find out and remove invalid linkEA entry"
320
321 test_2c()
322 {
323         lfsck_prep 1 1
324
325         #define OBD_FAIL_LFSCK_LINKEA_MORE2     0x1605
326         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1605
327         touch $DIR/$tdir/dummy
328
329         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
330         umount_client $MOUNT
331         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
332         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
333                 mdd.${MDT_DEV}.lfsck_namespace |
334                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
335                 $SHOW_NAMESPACE
336                 error "(4) unexpected status"
337         }
338
339         local repaired=$($SHOW_NAMESPACE |
340                          awk '/^updated_phase2/ { print $2 }')
341         [ $repaired -eq 1 ] ||
342                 error "(5) Fail to repair crashed linkEA: $repaired"
343
344         mount_client $MOUNT || error "(6) Fail to start client!"
345
346         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
347                 error "(7) Fail to stat $DIR/$tdir/dummy"
348
349         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
350         local dummyname=$($LFS fid2path $DIR $dummyfid)
351         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
352                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
353 }
354 run_test 2c "LFSCK can find out and remove repeated linkEA entry"
355
356 test_4()
357 {
358         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
359                 skip "OI Scrub not implemented for ZFS" && return
360
361         lfsck_prep 3 3
362         cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
363         stop $SINGLEMDS > /dev/null || error "(0.2) Fail to stop MDS!"
364
365         mds_backup_restore $SINGLEMDS || error "(1) Fail to backup/restore!"
366         echo "start $SINGLEMDS with disabling OI scrub"
367         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
368                 error "(2) Fail to start MDS!"
369
370         #define OBD_FAIL_LFSCK_DELAY2           0x1601
371         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
372         $START_NAMESPACE -r || error "(4) Fail to start LFSCK for namespace!"
373         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
374                 mdd.${MDT_DEV}.lfsck_namespace |
375                 awk '/^flags/ { print \\\$2 }'" "inconsistent" 6 || {
376                 $SHOW_NAMESPACE
377                 error "(5) unexpected status"
378         }
379
380         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
381         [ "$STATUS" == "scanning-phase1" ] ||
382                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
383
384         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
385         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
386                 mdd.${MDT_DEV}.lfsck_namespace |
387                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
388                 $SHOW_NAMESPACE
389                 error "(7) unexpected status"
390         }
391
392         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
393         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
394
395         local repaired=$($SHOW_NAMESPACE |
396                          awk '/^dirent_repaired/ { print $2 }')
397         # for interop with old server
398         [ -z "$repaired" ] &&
399                 repaired=$($SHOW_NAMESPACE |
400                          awk '/^updated_phase1/ { print $2 }')
401
402         [ $repaired -ge 9 ] ||
403                 error "(9) Fail to re-generate FID-in-dirent: $repaired"
404
405         mount_client $MOUNT || error "(10) Fail to start client!"
406
407         #define OBD_FAIL_FID_LOOKUP     0x1505
408         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
409         ls $DIR/$tdir/ > /dev/null || error "(11) no FID-in-dirent."
410         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
411 }
412 run_test 4 "FID-in-dirent can be rebuilt after MDT file-level backup/restore"
413
414 test_5()
415 {
416         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
417                 skip "OI Scrub not implemented for ZFS" && return
418
419         lfsck_prep 1 1 1
420         cleanup_mount $MOUNT || error "(0.1) Fail to stop client!"
421         stop $SINGLEMDS > /dev/null || error "(0.2) Fail to stop MDS!"
422
423         mds_backup_restore $SINGLEMDS 1 || error "(1) Fail to backup/restore!"
424         echo "start $SINGLEMDS with disabling OI scrub"
425         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
426                 error "(2) Fail to start MDS!"
427
428         #define OBD_FAIL_LFSCK_DELAY2           0x1601
429         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
430         $START_NAMESPACE -r || error "(4) Fail to start LFSCK for namespace!"
431         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
432                 mdd.${MDT_DEV}.lfsck_namespace |
433                 awk '/^flags/ { print \\\$2 }'" "inconsistent,upgrade" 6 || {
434                 $SHOW_NAMESPACE
435                 error "(5) unexpected status"
436         }
437
438         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
439         [ "$STATUS" == "scanning-phase1" ] ||
440                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
441
442         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
443         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
444                 mdd.${MDT_DEV}.lfsck_namespace |
445                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
446                 $SHOW_NAMESPACE
447                 error "(7) unexpected status"
448         }
449
450         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
451         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
452
453         local repaired=$($SHOW_NAMESPACE |
454                          awk '/^dirent_repaired/ { print $2 }')
455         # for interop with old server
456         [ -z "$repaired" ] &&
457                 repaired=$($SHOW_NAMESPACE |
458                          awk '/^updated_phase1/ { print $2 }')
459
460         [ $repaired -ge 2 ] ||
461                 error "(9) Fail to generate FID-in-dirent for IGIF: $repaired"
462
463         mount_client $MOUNT || error "(10) Fail to start client!"
464
465         #define OBD_FAIL_FID_LOOKUP     0x1505
466         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
467         stat $DIR/$tdir/dummy > /dev/null || error "(11) no FID-in-LMA."
468
469         ls $DIR/$tdir/ > /dev/null || error "(12) no FID-in-dirent."
470
471         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
472         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
473         local dummyname=$($LFS fid2path $DIR $dummyfid)
474         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
475                 error "(13) Fail to generate linkEA: $dummyfid $dummyname"
476 }
477 run_test 5 "LFSCK can handle IGIF object upgrading"
478
479 test_6a() {
480         lfsck_prep 5 5
481
482         #define OBD_FAIL_LFSCK_DELAY1           0x1600
483         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1600
484         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
485
486         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
487         [ "$STATUS" == "scanning-phase1" ] ||
488                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
489
490         # Sleep 3 sec to guarantee at least one object processed by LFSCK
491         sleep 3
492         # Fail the LFSCK to guarantee there is at least one checkpoint
493         #define OBD_FAIL_LFSCK_FATAL1           0x1608
494         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001608
495         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
496                 mdd.${MDT_DEV}.lfsck_namespace |
497                 awk '/^status/ { print \\\$2 }'" "failed" 6 || {
498                 $SHOW_NAMESPACE
499                 error "(4) unexpected status"
500         }
501
502         local POS0=$($SHOW_NAMESPACE |
503                      awk '/^last_checkpoint_position/ { print $2 }' |
504                      tr -d ',')
505
506         #define OBD_FAIL_LFSCK_DELAY1           0x1600
507         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1600
508         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
509
510         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
511         [ "$STATUS" == "scanning-phase1" ] ||
512                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
513
514         local POS1=$($SHOW_NAMESPACE |
515                      awk '/^latest_start_position/ { print $2 }' |
516                      tr -d ',')
517         [ $POS0 -lt $POS1 ] ||
518                 error "(7) Expect larger than: $POS0, but got $POS1"
519
520         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
521         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
522                 mdd.${MDT_DEV}.lfsck_namespace |
523                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
524                 $SHOW_NAMESPACE
525                 error "(8) unexpected status"
526         }
527 }
528 run_test 6a "LFSCK resumes from last checkpoint (1)"
529
530 test_6b() {
531         lfsck_prep 5 5
532
533         #define OBD_FAIL_LFSCK_DELAY2           0x1601
534         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
535         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
536
537         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
538         [ "$STATUS" == "scanning-phase1" ] ||
539                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
540
541         # Sleep 5 sec to guarantee that we are in the directory scanning
542         sleep 5
543         # Fail the LFSCK to guarantee there is at least one checkpoint
544         #define OBD_FAIL_LFSCK_FATAL2           0x1609
545         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
546         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
547                 mdd.${MDT_DEV}.lfsck_namespace |
548                 awk '/^status/ { print \\\$2 }'" "failed" 6 || {
549                 $SHOW_NAMESPACE
550                 error "(4) unexpected status"
551         }
552
553         local O_POS0=$($SHOW_NAMESPACE |
554                        awk '/^last_checkpoint_position/ { print $2 }' |
555                        tr -d ',')
556
557         local D_POS0=$($SHOW_NAMESPACE |
558                        awk '/^last_checkpoint_position/ { print $4 }')
559
560         #define OBD_FAIL_LFSCK_DELAY2           0x1601
561         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
562         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
563
564         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
565         [ "$STATUS" == "scanning-phase1" ] ||
566                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
567
568         local O_POS1=$($SHOW_NAMESPACE |
569                        awk '/^latest_start_position/ { print $2 }' |
570                        tr -d ',')
571         local D_POS1=$($SHOW_NAMESPACE |
572                        awk '/^latest_start_position/ { print $4 }')
573
574         if [ "$D_POS0" == "N/A" -o "$D_POS1" == "N/A" ]; then
575                 [ $O_POS0 -lt $O_POS1 ] ||
576                         error "(7.1) $O_POS1 is not larger than $O_POS0"
577         else
578                 [ $D_POS0 -lt $D_POS1 ] ||
579                         error "(7.2) $D_POS1 is not larger than $D_POS0"
580         fi
581
582         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
583         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
584                 mdd.${MDT_DEV}.lfsck_namespace |
585                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
586                 $SHOW_NAMESPACE
587                 error "(8) unexpected status"
588         }
589 }
590 run_test 6b "LFSCK resumes from last checkpoint (2)"
591
592 test_7a()
593 {
594         lfsck_prep 5 5
595         umount_client $MOUNT
596
597         #define OBD_FAIL_LFSCK_DELAY2           0x1601
598         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1601
599         $START_NAMESPACE -r || error "(2) Fail to start LFSCK for namespace!"
600
601         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
602         [ "$STATUS" == "scanning-phase1" ] ||
603                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
604
605         # Sleep 3 sec to guarantee at least one object processed by LFSCK
606         sleep 3
607         echo "stop $SINGLEMDS"
608         stop $SINGLEMDS > /dev/null || error "(4) Fail to stop MDS!"
609
610         echo "start $SINGLEMDS"
611         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
612                 error "(5) Fail to start MDS!"
613
614         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
615         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
616                 mdd.${MDT_DEV}.lfsck_namespace |
617                 awk '/^status/ { print \\\$2 }'" "completed" 30 || {
618                 $SHOW_NAMESPACE
619                 error "(6) unexpected status"
620         }
621 }
622 run_test 7a "non-stopped LFSCK should auto restarts after MDS remount (1)"
623
624 test_7b()
625 {
626         lfsck_prep 2 2
627
628         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
629         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
630         for ((i = 0; i < 20; i++)); do
631                 touch $DIR/$tdir/dummy${i}
632         done
633
634         #define OBD_FAIL_LFSCK_DELAY3           0x1602
635         do_facet $SINGLEMDS $LCTL set_param fail_val=1 fail_loc=0x1602
636         $START_NAMESPACE -r || error "(3) Fail to start LFSCK for namespace!"
637         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
638                 mdd.${MDT_DEV}.lfsck_namespace |
639                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 6 || {
640                 $SHOW_NAMESPACE
641                 error "(4) unexpected status"
642         }
643
644         echo "stop $SINGLEMDS"
645         stop $SINGLEMDS > /dev/null || error "(5) Fail to stop MDS!"
646
647         echo "start $SINGLEMDS"
648         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
649                 error "(6) Fail to start MDS!"
650
651         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
652         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
653                 mdd.${MDT_DEV}.lfsck_namespace |
654                 awk '/^status/ { print \\\$2 }'" "completed" 30 || {
655                 $SHOW_NAMESPACE
656                 error "(7) unexpected status"
657         }
658 }
659 run_test 7b "non-stopped LFSCK should auto restarts after MDS remount (2)"
660
661 test_8()
662 {
663         echo "formatall"
664         formatall > /dev/null
665         echo "setupall"
666         setupall > /dev/null
667
668         lfsck_prep 20 20
669
670         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
671         [ "$STATUS" == "init" ] ||
672                 error "(2) Expect 'init', but got '$STATUS'"
673
674         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
675         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
676         mkdir $DIR/$tdir/crashed
677
678         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
679         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
680         for ((i = 0; i < 5; i++)); do
681                 touch $DIR/$tdir/dummy${i}
682         done
683
684         umount_client $MOUNT || error "(3) Fail to stop client!"
685
686         #define OBD_FAIL_LFSCK_DELAY2           0x1601
687         do_facet $SINGLEMDS $LCTL set_param fail_val=2 fail_loc=0x1601
688         $START_NAMESPACE || error "(4) Fail to start LFSCK for namespace!"
689
690         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
691         [ "$STATUS" == "scanning-phase1" ] ||
692                 error "(5) Expect 'scanning-phase1', but got '$STATUS'"
693
694         $STOP_LFSCK || error "(6) Fail to stop LFSCK!"
695
696         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
697         [ "$STATUS" == "stopped" ] ||
698                 error "(7) Expect 'stopped', but got '$STATUS'"
699
700         $START_NAMESPACE || error "(8) Fail to start LFSCK for namespace!"
701
702         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
703         [ "$STATUS" == "scanning-phase1" ] ||
704                 error "(9) Expect 'scanning-phase1', but got '$STATUS'"
705
706         #define OBD_FAIL_LFSCK_FATAL2           0x1609
707         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
708         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
709                 mdd.${MDT_DEV}.lfsck_namespace |
710                 awk '/^status/ { print \\\$2 }'" "failed" 6 || {
711                 $SHOW_NAMESPACE
712                 error "(10) unexpected status"
713         }
714
715         #define OBD_FAIL_LFSCK_DELAY1           0x1600
716         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
717         $START_NAMESPACE || error "(11) Fail to start LFSCK for namespace!"
718
719         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
720         [ "$STATUS" == "scanning-phase1" ] ||
721                 error "(12) Expect 'scanning-phase1', but got '$STATUS'"
722
723         #define OBD_FAIL_LFSCK_CRASH            0x160a
724         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160a
725         sleep 5
726
727         echo "stop $SINGLEMDS"
728         stop $SINGLEMDS > /dev/null || error "(13) Fail to stop MDS!"
729
730         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
731         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
732
733         echo "start $SINGLEMDS"
734         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
735                 error "(14) Fail to start MDS!"
736
737         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
738         [ "$STATUS" == "crashed" ] ||
739                 error "(15) Expect 'crashed', but got '$STATUS'"
740
741         #define OBD_FAIL_LFSCK_DELAY2           0x1601
742         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
743         $START_NAMESPACE || error "(16) Fail to start LFSCK for namespace!"
744
745         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
746         [ "$STATUS" == "scanning-phase1" ] ||
747                 error "(17) Expect 'scanning-phase1', but got '$STATUS'"
748
749         echo "stop $SINGLEMDS"
750         stop $SINGLEMDS > /dev/null || error "(18) Fail to stop MDS!"
751
752         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
753         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
754
755         echo "start $SINGLEMDS"
756         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
757                 error "(19) Fail to start MDS!"
758
759         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
760         [ "$STATUS" == "paused" ] ||
761                 error "(20) Expect 'paused', but got '$STATUS'"
762
763         #define OBD_FAIL_LFSCK_DELAY3           0x1602
764         do_facet $SINGLEMDS $LCTL set_param fail_val=2 fail_loc=0x1602
765
766         $START_NAMESPACE || error "(21) Fail to start LFSCK for namespace!"
767         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
768                 mdd.${MDT_DEV}.lfsck_namespace |
769                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 6 || {
770                 $SHOW_NAMESPACE
771                 error "(22) unexpected status"
772         }
773
774         local FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
775         [ "$FLAGS" == "scanned-once,inconsistent" ] ||
776                 error "(23) Expect 'scanned-once,inconsistent',but got '$FLAGS'"
777
778         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
779         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
780                 mdd.${MDT_DEV}.lfsck_namespace |
781                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
782                 $SHOW_NAMESPACE
783                 error "(24) unexpected status"
784         }
785
786         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
787         [ -z "$FLAGS" ] || error "(25) Expect empty flags, but got '$FLAGS'"
788 }
789 run_test 8 "LFSCK state machine"
790
791 test_9a() {
792         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
793                 skip "Testing on UP system, the speed may be inaccurate."
794                 return 0
795         fi
796
797         lfsck_prep 70 70
798
799         local BASE_SPEED1=100
800         local RUN_TIME1=10
801         $START_NAMESPACE -r -s $BASE_SPEED1 || error "(3) Fail to start LFSCK!"
802
803         sleep $RUN_TIME1
804         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
805         [ "$STATUS" == "scanning-phase1" ] ||
806                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
807
808         local SPEED=$($SHOW_NAMESPACE |
809                       awk '/^average_speed_phase1/ { print $2 }')
810
811         # There may be time error, normally it should be less than 2 seconds.
812         # We allow another 20% schedule error.
813         local TIME_DIFF=2
814         # MAX_MARGIN = 1.2 = 12 / 10
815         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
816                            RUN_TIME1 * 12 / 10))
817         [ $SPEED -lt $MAX_SPEED ] ||
818                 error "(4) Got speed $SPEED, expected less than $MAX_SPEED"
819
820         # adjust speed limit
821         local BASE_SPEED2=300
822         local RUN_TIME2=10
823         do_facet $SINGLEMDS \
824                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
825         sleep $RUN_TIME2
826
827         SPEED=$($SHOW_NAMESPACE | awk '/^average_speed_phase1/ { print $2 }')
828         # MIN_MARGIN = 0.8 = 8 / 10
829         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
830                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
831                            (RUN_TIME1 + RUN_TIME2) * 8 / 10))
832         # Account for slow ZFS performance - LU-4934
833         [ $SPEED -gt $MIN_SPEED ] || [ $(facet_fstype $SINGLEMDS) -eq zfs ] ||
834                 error "(5) Got speed $SPEED, expected more than $MIN_SPEED"
835
836         # MAX_MARGIN = 1.2 = 12 / 10
837         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
838                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
839                      (RUN_TIME1 + RUN_TIME2) * 12 / 10))
840         [ $SPEED -lt $MAX_SPEED ] ||
841                 error "(6) Got speed $SPEED, expected less than $MAX_SPEED"
842
843         do_facet $SINGLEMDS \
844                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
845
846         wait_update_facet $SINGLEMDS \
847             "$LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace|\
848             awk '/^status/ { print \\\$2 }'" "completed" 30 ||
849                 error "(7) Failed to get expected 'completed'"
850 }
851 run_test 9a "LFSCK speed control (1)"
852
853 test_9b() {
854         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
855                 skip "Testing on UP system, the speed may be inaccurate."
856                 return 0
857         fi
858
859         lfsck_prep 0 0
860
861         echo "Preparing another 50 * 50 files (with error) at $(date)."
862         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
863         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
864         createmany -d $DIR/$tdir/d 50
865         createmany -m $DIR/$tdir/f 50
866         for ((i = 0; i < 50; i++)); do
867                 createmany -m $DIR/$tdir/d${i}/f 50 > /dev/null
868         done
869
870         #define OBD_FAIL_LFSCK_NO_DOUBLESCAN    0x160c
871         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160c
872         $START_NAMESPACE -r || error "(4) Fail to start LFSCK!"
873         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
874                 mdd.${MDT_DEV}.lfsck_namespace |
875                 awk '/^status/ { print \\\$2 }'" "stopped" 10 || {
876                 $SHOW_NAMESPACE
877                 error "(5) unexpected status"
878         }
879
880         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
881         echo "Prepared at $(date)."
882
883         local BASE_SPEED1=50
884         local RUN_TIME1=10
885         $START_NAMESPACE -s $BASE_SPEED1 || error "(6) Fail to start LFSCK!"
886
887         sleep $RUN_TIME1
888         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
889         [ "$STATUS" == "scanning-phase2" ] ||
890                 error "(7) Expect 'scanning-phase2', but got '$STATUS'"
891
892         local SPEED=$($SHOW_NAMESPACE |
893                       awk '/^average_speed_phase2/ { print $2 }')
894         # There may be time error, normally it should be less than 2 seconds.
895         # We allow another 20% schedule error.
896         local TIME_DIFF=2
897         # MAX_MARGIN = 1.2 = 12 / 10
898         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
899                           RUN_TIME1 * 12 / 10))
900         [ $SPEED -lt $MAX_SPEED ] ||
901                 error "(8) Got speed $SPEED, expected less than $MAX_SPEED"
902
903         # adjust speed limit
904         local BASE_SPEED2=150
905         local RUN_TIME2=10
906         do_facet $SINGLEMDS \
907                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
908         sleep $RUN_TIME2
909
910         SPEED=$($SHOW_NAMESPACE | awk '/^average_speed_phase2/ { print $2 }')
911         # MIN_MARGIN = 0.8 = 8 / 10
912         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
913                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
914                            (RUN_TIME1 + RUN_TIME2) * 8 / 10))
915         [ $SPEED -gt $MIN_SPEED ] ||[ $(facet_fstype $SINGLEMDS) -eq zfs ] ||
916                 error "(9) Got speed $SPEED, expected more than $MIN_SPEED"
917
918         # MAX_MARGIN = 1.2 = 12 / 10
919         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
920                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
921                      (RUN_TIME1 + RUN_TIME2) * 12 / 10))
922         [ $SPEED -lt $MAX_SPEED ] ||
923                 error "(10) Got speed $SPEED, expected less than $MAX_SPEED"
924
925         do_facet $SINGLEMDS \
926                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
927         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
928                 mdd.${MDT_DEV}.lfsck_namespace |
929                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
930                 $SHOW_NAMESPACE
931                 error "(11) unexpected status"
932         }
933 }
934 run_test 9b "LFSCK speed control (2)"
935
936 test_10()
937 {
938         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
939                 skip "lookup(..)/linkea on ZFS issue" && return
940
941         lfsck_prep 1 1
942
943         echo "Preparing more files with error at $(date)."
944         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
945         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
946
947         for ((i = 0; i < 1000; i = $((i+2)))); do
948                 mkdir -p $DIR/$tdir/d${i}
949                 touch $DIR/$tdir/f${i}
950                 createmany -m $DIR/$tdir/d${i}/f 5 > /dev/null
951         done
952
953         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
954         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
955
956         for ((i = 1; i < 1000; i = $((i+2)))); do
957                 mkdir -p $DIR/$tdir/d${i}
958                 touch $DIR/$tdir/f${i}
959                 createmany -m $DIR/$tdir/d${i}/f 5 > /dev/null
960         done
961
962         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
963         echo "Prepared at $(date)."
964
965         ln $DIR/$tdir/f200 $DIR/$tdir/d200/dummy
966
967         umount_client $MOUNT
968         mount_client $MOUNT || error "(3) Fail to start client!"
969
970         $START_NAMESPACE -r -s 100 || error "(5) Fail to start LFSCK!"
971
972         sleep 10
973         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
974         [ "$STATUS" == "scanning-phase1" ] ||
975                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
976
977         ls -ailR $MOUNT > /dev/null || error "(7) Fail to ls!"
978
979         touch $DIR/$tdir/d198/a0 || error "(8) Fail to touch!"
980
981         mkdir $DIR/$tdir/d199/a1 || error "(9) Fail to mkdir!"
982
983         unlink $DIR/$tdir/f200 || error "(10) Fail to unlink!"
984
985         rm -rf $DIR/$tdir/d201 || error "(11) Fail to rmdir!"
986
987         mv $DIR/$tdir/f202 $DIR/$tdir/d203/ || error "(12) Fail to rename!"
988
989         ln $DIR/$tdir/f204 $DIR/$tdir/d205/a3 || error "(13) Fail to hardlink!"
990
991         ln -s $DIR/$tdir/d206 $DIR/$tdir/d207/a4 ||
992                 error "(14) Fail to softlink!"
993
994         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
995         [ "$STATUS" == "scanning-phase1" ] ||
996                 error "(15) Expect 'scanning-phase1', but got '$STATUS'"
997
998         do_facet $SINGLEMDS \
999                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
1000         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1001                 mdd.${MDT_DEV}.lfsck_namespace |
1002                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1003                 $SHOW_NAMESPACE
1004                 error "(16) unexpected status"
1005         }
1006 }
1007 run_test 10 "System is available during LFSCK scanning"
1008
1009 # remove LAST_ID
1010 ost_remove_lastid() {
1011         local ost=$1
1012         local idx=$2
1013         local rcmd="do_facet ost${ost}"
1014
1015         echo "remove LAST_ID on ost${ost}: idx=${idx}"
1016
1017         # step 1: local mount
1018         mount_fstype ost${ost} || return 1
1019         # step 2: remove the specified LAST_ID
1020         ${rcmd} rm -fv $(facet_mntpt ost${ost})/O/${idx}/{LAST_ID,d0/0}
1021         # step 3: umount
1022         unmount_fstype ost${ost} || return 2
1023 }
1024
1025 test_11a() {
1026         check_mount_and_prep
1027         $SETSTRIPE -c 1 -i 0 $DIR/$tdir
1028         createmany -o $DIR/$tdir/f 64 || error "(0) Fail to create 64 files."
1029
1030         echo "stopall"
1031         stopall > /dev/null
1032
1033         ost_remove_lastid 1 0 || error "(1) Fail to remove LAST_ID"
1034
1035         start ost1 $(ostdevname 1) $MOUNT_OPTS_NOSCRUB > /dev/null ||
1036                 error "(2) Fail to start ost1"
1037
1038         #define OBD_FAIL_LFSCK_DELAY4           0x160e
1039         do_facet ost1 $LCTL set_param fail_val=3 fail_loc=0x160e
1040
1041         echo "trigger LFSCK for layout on ost1 to rebuild the LAST_ID(s)"
1042         $START_LAYOUT_ON_OST -r || error "(4) Fail to start LFSCK on OST!"
1043
1044         wait_update_facet ost1 "$LCTL get_param -n \
1045                 obdfilter.${OST_DEV}.lfsck_layout |
1046                 awk '/^flags/ { print \\\$2 }'" "crashed_lastid" 60 || {
1047                 $SHOW_LAYOUT_ON_OST
1048                 error "(5) unexpected status"
1049         }
1050
1051         do_facet ost1 $LCTL set_param fail_val=0 fail_loc=0
1052
1053         wait_update_facet ost1 "$LCTL get_param -n \
1054                 obdfilter.${OST_DEV}.lfsck_layout |
1055                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1056                 $SHOW_LAYOUT_ON_OST
1057                 error "(6) unexpected status"
1058         }
1059
1060         echo "the LAST_ID(s) should have been rebuilt"
1061         FLAGS=$($SHOW_LAYOUT_ON_OST | awk '/^flags/ { print $2 }')
1062         [ -z "$FLAGS" ] || error "(7) Expect empty flags, but got '$FLAGS'"
1063 }
1064 run_test 11a "LFSCK can rebuild lost last_id"
1065
1066 test_11b() {
1067         check_mount_and_prep
1068         $SETSTRIPE -c 1 -i 0 $DIR/$tdir
1069
1070         echo "set fail_loc=0x160d to skip the updating LAST_ID on-disk"
1071         #define OBD_FAIL_LFSCK_SKIP_LASTID      0x160d
1072         do_facet ost1 $LCTL set_param fail_loc=0x160d
1073         createmany -o $DIR/$tdir/f 64
1074         local lastid1=$(do_facet ost1 "lctl get_param -n \
1075                 obdfilter.${ost1_svc}.last_id" | grep 0x100000000 |
1076                 awk -F: '{ print $2 }')
1077
1078         umount_client $MOUNT
1079         stop ost1 || error "(1) Fail to stop ost1"
1080
1081         #define OBD_FAIL_OST_ENOSPC              0x215
1082         do_facet ost1 $LCTL set_param fail_loc=0x215
1083
1084         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1085                 error "(2) Fail to start ost1"
1086
1087         for ((i = 0; i < 60; i++)); do
1088                 lastid2=$(do_facet ost1 "lctl get_param -n \
1089                         obdfilter.${ost1_svc}.last_id" | grep 0x100000000 |
1090                         awk -F: '{ print $2 }')
1091                 [ ! -z $lastid2 ] && break;
1092                 sleep 1
1093         done
1094
1095         echo "the on-disk LAST_ID should be smaller than the expected one"
1096         [ $lastid1 -gt $lastid2 ] ||
1097                 error "(4) expect lastid1 [ $lastid1 ] > lastid2 [ $lastid2 ]"
1098
1099         echo "trigger LFSCK for layout on ost1 to rebuild the on-disk LAST_ID"
1100         $START_LAYOUT_ON_OST -r || error "(5) Fail to start LFSCK on OST!"
1101
1102         wait_update_facet ost1 "$LCTL get_param -n \
1103                 obdfilter.${OST_DEV}.lfsck_layout |
1104                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1105                 $SHOW_LAYOUT_ON_OST
1106                 error "(6) unexpected status"
1107         }
1108
1109         stop ost1 || error "(7) Fail to stop ost1"
1110
1111         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1112                 error "(8) Fail to start ost1"
1113
1114         echo "the on-disk LAST_ID should have been rebuilt"
1115         wait_update_facet ost1 "$LCTL get_param -n \
1116                 obdfilter.${ost1_svc}.last_id | grep 0x100000000 |
1117                 awk -F: '{ print \\\$2 }'" "$lastid1" 60 || {
1118                 $LCTL get_param -n obdfilter.${ost1_svc}.last_id
1119                 error "(9) expect lastid1 0x100000000:$lastid1"
1120         }
1121
1122         do_facet ost1 $LCTL set_param fail_loc=0
1123         stopall || error "(10) Fail to stopall"
1124 }
1125 run_test 11b "LFSCK can rebuild crashed last_id"
1126
1127 test_12() {
1128         [ $MDSCOUNT -lt 2 ] &&
1129                 skip "We need at least 2 MDSes for test_12" && exit 0
1130
1131         check_mount_and_prep
1132         for k in $(seq $MDSCOUNT); do
1133                 $LFS mkdir -i $((k - 1)) $DIR/$tdir/${k}
1134                 createmany -o $DIR/$tdir/${k}/f 100 ||
1135                         error "(0) Fail to create 100 files."
1136         done
1137
1138         echo "Start namespace LFSCK on all targets by single command (-s 1)."
1139         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1140                 -s 1 -r || error "(2) Fail to start LFSCK on all devices!"
1141
1142         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1143         for k in $(seq $MDSCOUNT); do
1144                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1145                                 mdd.$(facet_svc mds${k}).lfsck_namespace |
1146                                 awk '/^status/ { print $2 }')
1147                 [ "$STATUS" == "scanning-phase1" ] ||
1148                 error "(3) MDS${k} Expect 'scanning-phase1', but got '$STATUS'"
1149         done
1150
1151         echo "Stop namespace LFSCK on all targets by single lctl command."
1152         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1153                 error "(4) Fail to stop LFSCK on all devices!"
1154
1155         echo "All the LFSCK targets should be in 'stopped' status."
1156         for k in $(seq $MDSCOUNT); do
1157                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1158                                 mdd.$(facet_svc mds${k}).lfsck_namespace |
1159                                 awk '/^status/ { print $2 }')
1160                 [ "$STATUS" == "stopped" ] ||
1161                         error "(5) MDS${k} Expect 'stopped', but got '$STATUS'"
1162         done
1163
1164         echo "Re-start namespace LFSCK on all targets by single command (-s 0)."
1165         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1166                 -s 0 -r || error "(6) Fail to start LFSCK on all devices!"
1167
1168         echo "All the LFSCK targets should be in 'completed' status."
1169         for k in $(seq $MDSCOUNT); do
1170                 wait_update_facet mds${k} "$LCTL get_param -n \
1171                         mdd.$(facet_svc mds${k}).lfsck_namespace |
1172                         awk '/^status/ { print \\\$2 }'" "completed" 8 ||
1173                         error "(7) MDS${k} is not the expected 'completed'"
1174         done
1175
1176         echo "Start layout LFSCK on all targets by single command (-s 1)."
1177         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1178                 -s 1 -r || error "(8) Fail to start LFSCK on all devices!"
1179
1180         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1181         for k in $(seq $MDSCOUNT); do
1182                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1183                                 mdd.$(facet_svc mds${k}).lfsck_layout |
1184                                 awk '/^status/ { print $2 }')
1185                 [ "$STATUS" == "scanning-phase1" ] ||
1186                 error "(9) MDS${k} Expect 'scanning-phase1', but got '$STATUS'"
1187         done
1188
1189         echo "Stop layout LFSCK on all targets by single lctl command."
1190         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1191                 error "(10) Fail to stop LFSCK on all devices!"
1192
1193         echo "All the LFSCK targets should be in 'stopped' status."
1194         for k in $(seq $MDSCOUNT); do
1195                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1196                                 mdd.$(facet_svc mds${k}).lfsck_layout |
1197                                 awk '/^status/ { print $2 }')
1198                 [ "$STATUS" == "stopped" ] ||
1199                         error "(11) MDS${k} Expect 'stopped', but got '$STATUS'"
1200         done
1201
1202         for k in $(seq $OSTCOUNT); do
1203                 local STATUS=$(do_facet ost${k} $LCTL get_param -n \
1204                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1205                                 awk '/^status/ { print $2 }')
1206                 [ "$STATUS" == "stopped" ] ||
1207                         error "(12) OST${k} Expect 'stopped', but got '$STATUS'"
1208         done
1209
1210         echo "Re-start layout LFSCK on all targets by single command (-s 0)."
1211         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1212                 -s 0 -r || error "(13) Fail to start LFSCK on all devices!"
1213
1214         echo "All the LFSCK targets should be in 'completed' status."
1215         for k in $(seq $MDSCOUNT); do
1216                 # The LFSCK status query internal is 30 seconds. For the case
1217                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1218                 # time to guarantee the status sync up.
1219                 wait_update_facet mds${k} "$LCTL get_param -n \
1220                         mdd.$(facet_svc mds${k}).lfsck_layout |
1221                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1222                         error "(14) MDS${k} is not the expected 'completed'"
1223         done
1224 }
1225 run_test 12 "single command to trigger LFSCK on all devices"
1226
1227 test_13() {
1228         echo "#####"
1229         echo "The lmm_oi in layout EA should be consistent with the MDT-object"
1230         echo "FID; otherwise, the LFSCK should re-generate the lmm_oi from the"
1231         echo "MDT-object FID."
1232         echo "#####"
1233
1234         check_mount_and_prep
1235
1236         echo "Inject failure stub to simulate bad lmm_oi"
1237         #define OBD_FAIL_LFSCK_BAD_LMMOI        0x160f
1238         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160f
1239         createmany -o $DIR/$tdir/f 32
1240         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1241
1242         echo "Trigger layout LFSCK to find out the bad lmm_oi and fix them"
1243         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1244
1245         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1246                 mdd.${MDT_DEV}.lfsck_layout |
1247                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1248                 $SHOW_LAYOUT
1249                 error "(2) unexpected status"
1250         }
1251
1252         local repaired=$($SHOW_LAYOUT |
1253                          awk '/^repaired_others/ { print $2 }')
1254         [ $repaired -eq 32 ] ||
1255                 error "(3) Fail to repair crashed lmm_oi: $repaired"
1256 }
1257 run_test 13 "LFSCK can repair crashed lmm_oi"
1258
1259 test_14() {
1260         echo "#####"
1261         echo "The OST-object referenced by the MDT-object should be there;"
1262         echo "otherwise, the LFSCK should re-create the missed OST-object."
1263         echo "#####"
1264
1265         check_mount_and_prep
1266         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1267
1268         local count=$(precreated_ost_obj_count 0 0)
1269
1270         echo "Inject failure stub to simulate dangling referenced MDT-object"
1271         #define OBD_FAIL_LFSCK_DANGLING 0x1610
1272         do_facet ost1 $LCTL set_param fail_loc=0x1610
1273         createmany -o $DIR/$tdir/f $((count + 32))
1274         do_facet ost1 $LCTL set_param fail_loc=0
1275
1276         start_full_debug_logging
1277
1278         # exhaust other pre-created dangling cases
1279         count=$(precreated_ost_obj_count 0 0)
1280         createmany -o $DIR/$tdir/a $count ||
1281                 error "(0) Fail to create $count files."
1282
1283         echo "'ls' should fail because of dangling referenced MDT-object"
1284         ls -ail $DIR/$tdir > /dev/null 2>&1 && error "(1) ls should fail."
1285
1286         echo "Trigger layout LFSCK to find out dangling reference"
1287         $START_LAYOUT -r || error "(2) Fail to start LFSCK for layout!"
1288
1289         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1290                 mdd.${MDT_DEV}.lfsck_layout |
1291                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1292                 $SHOW_LAYOUT
1293                 error "(3) unexpected status"
1294         }
1295
1296         local repaired=$($SHOW_LAYOUT |
1297                          awk '/^repaired_dangling/ { print $2 }')
1298         [ $repaired -ge 32 ] ||
1299                 error "(4) Fail to repair dangling reference: $repaired"
1300
1301         echo "'ls' should fail because it will not repair dangling by default"
1302         ls -ail $DIR/$tdir > /dev/null 2>&1 && error "(5) ls should fail."
1303
1304         echo "Trigger layout LFSCK to repair dangling reference"
1305         $START_LAYOUT -r -c || error "(6) Fail to start LFSCK for layout!"
1306
1307         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1308                 mdd.${MDT_DEV}.lfsck_layout |
1309                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1310                 $SHOW_LAYOUT
1311                 error "(7) unexpected status"
1312         }
1313
1314         repaired=$($SHOW_LAYOUT |
1315                          awk '/^repaired_dangling/ { print $2 }')
1316         [ $repaired -ge 32 ] ||
1317                 error "(8) Fail to repair dangling reference: $repaired"
1318
1319         echo "'ls' should success after layout LFSCK repairing"
1320         ls -ail $DIR/$tdir > /dev/null || error "(9) ls should success."
1321         stop_full_debug_logging
1322 }
1323 run_test 14 "LFSCK can repair MDT-object with dangling reference"
1324
1325 test_15a() {
1326         echo "#####"
1327         echo "If the OST-object referenced by the MDT-object back points"
1328         echo "to some non-exist MDT-object, then the LFSCK should repair"
1329         echo "the OST-object to back point to the right MDT-object."
1330         echo "#####"
1331
1332         check_mount_and_prep
1333         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1334
1335         echo "Inject failure stub to make the OST-object to back point to"
1336         echo "non-exist MDT-object."
1337         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
1338
1339         do_facet ost1 $LCTL set_param fail_loc=0x1611
1340         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1341         cancel_lru_locks osc
1342         do_facet ost1 $LCTL set_param fail_loc=0
1343
1344         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1345         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1346
1347         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1348                 mdd.${MDT_DEV}.lfsck_layout |
1349                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1350                 $SHOW_LAYOUT
1351                 error "(2) unexpected status"
1352         }
1353
1354         local repaired=$($SHOW_LAYOUT |
1355                          awk '/^repaired_unmatched_pair/ { print $2 }')
1356         [ $repaired -eq 1 ] ||
1357                 error "(3) Fail to repair unmatched pair: $repaired"
1358 }
1359 run_test 15a "LFSCK can repair unmatched MDT-object/OST-object pairs (1)"
1360
1361 test_15b() {
1362         echo "#####"
1363         echo "If the OST-object referenced by the MDT-object back points"
1364         echo "to other MDT-object that doesn't recognize the OST-object,"
1365         echo "then the LFSCK should repair it to back point to the right"
1366         echo "MDT-object (the first one)."
1367         echo "#####"
1368
1369         check_mount_and_prep
1370         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1371         dd if=/dev/zero of=$DIR/$tdir/guard bs=1M count=1
1372         cancel_lru_locks osc
1373
1374         echo "Inject failure stub to make the OST-object to back point to"
1375         echo "other MDT-object"
1376
1377         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR2  0x1612
1378         do_facet ost1 $LCTL set_param fail_loc=0x1612
1379         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1380         cancel_lru_locks osc
1381         do_facet ost1 $LCTL set_param fail_loc=0
1382
1383         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1384         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1385
1386         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1387                 mdd.${MDT_DEV}.lfsck_layout |
1388                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1389                 $SHOW_LAYOUT
1390                 error "(2) unexpected status"
1391         }
1392
1393         local repaired=$($SHOW_LAYOUT |
1394                          awk '/^repaired_unmatched_pair/ { print $2 }')
1395         [ $repaired -eq 1 ] ||
1396                 error "(3) Fail to repair unmatched pair: $repaired"
1397 }
1398 run_test 15b "LFSCK can repair unmatched MDT-object/OST-object pairs (2)"
1399
1400 test_16() {
1401         echo "#####"
1402         echo "If the OST-object's owner information does not match the owner"
1403         echo "information stored in the MDT-object, then the LFSCK trust the"
1404         echo "MDT-object and update the OST-object's owner information."
1405         echo "#####"
1406
1407         check_mount_and_prep
1408         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1409         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1410         cancel_lru_locks osc
1411
1412         echo "Inject failure stub to skip OST-object owner changing"
1413         #define OBD_FAIL_LFSCK_BAD_OWNER        0x1613
1414         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1613
1415         chown 1.1 $DIR/$tdir/f0
1416         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1417
1418         echo "Trigger layout LFSCK to find out inconsistent OST-object owner"
1419         echo "and fix them"
1420
1421         $START_LAYOUT -r || error "(1) Fail to start LFSCK for layout!"
1422
1423         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1424                 mdd.${MDT_DEV}.lfsck_layout |
1425                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1426                 $SHOW_LAYOUT
1427                 error "(2) unexpected status"
1428         }
1429
1430         local repaired=$($SHOW_LAYOUT |
1431                          awk '/^repaired_inconsistent_owner/ { print $2 }')
1432         [ $repaired -eq 1 ] ||
1433                 error "(3) Fail to repair inconsistent owner: $repaired"
1434 }
1435 run_test 16 "LFSCK can repair inconsistent MDT-object/OST-object owner"
1436
1437 test_17() {
1438         echo "#####"
1439         echo "If more than one MDT-objects reference the same OST-object,"
1440         echo "and the OST-object only recognizes one MDT-object, then the"
1441         echo "LFSCK should create new OST-objects for such non-recognized"
1442         echo "MDT-objects."
1443         echo "#####"
1444
1445         check_mount_and_prep
1446         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1447
1448         echo "Inject failure stub to make two MDT-objects to refernce"
1449         echo "the OST-object"
1450
1451         #define OBD_FAIL_LFSCK_MULTIPLE_REF     0x1614
1452         do_facet $SINGLEMDS $LCTL set_param fail_val=0 fail_loc=0x1614
1453
1454         dd if=/dev/zero of=$DIR/$tdir/guard bs=1M count=1
1455         cancel_lru_locks osc
1456
1457         createmany -o $DIR/$tdir/f 1
1458
1459         do_facet $SINGLEMDS $LCTL set_param fail_loc=0 fail_val=0
1460
1461         cancel_lru_locks mdc
1462         cancel_lru_locks osc
1463
1464         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard use the same OST-objects"
1465         local size=$(ls -l $DIR/$tdir/f0 | awk '{ print $5 }')
1466         [ $size -eq 1048576 ] ||
1467                 error "(1) f0 (wrong) size should be 1048576, but got $size"
1468
1469         echo "Trigger layout LFSCK to find out multiple refenced MDT-objects"
1470         echo "and fix them"
1471
1472         $START_LAYOUT -r || error "(2) Fail to start LFSCK for layout!"
1473
1474         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1475                 mdd.${MDT_DEV}.lfsck_layout |
1476                 awk '/^status/ { print \\\$2 }'" "completed" 6 || {
1477                 $SHOW_LAYOUT
1478                 error "(3) unexpected status"
1479         }
1480
1481         local repaired=$($SHOW_LAYOUT |
1482                          awk '/^repaired_multiple_referenced/ { print $2 }')
1483         [ $repaired -eq 1 ] ||
1484                 error "(4) Fail to repair multiple references: $repaired"
1485
1486         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard should use diff OST-objects"
1487         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=2 ||
1488                 error "(5) Fail to write f0."
1489         size=$(ls -l $DIR/$tdir/guard | awk '{ print $5 }')
1490         [ $size -eq 1048576 ] ||
1491                 error "(6) guard size should be 1048576, but got $size"
1492 }
1493 run_test 17 "LFSCK can repair multiple references"
1494
1495 test_18a() {
1496         echo "#####"
1497         echo "The target MDT-object is there, but related stripe information"
1498         echo "is lost or partly lost. The LFSCK should regenerate the missed"
1499         echo "layout EA entries."
1500         echo "#####"
1501
1502         check_mount_and_prep
1503         $LFS mkdir -i 0 $DIR/$tdir/a1
1504         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1505         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1506
1507         local saved_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1508
1509         $LFS path2fid $DIR/$tdir/a1/f1
1510         $LFS getstripe $DIR/$tdir/a1/f1
1511
1512         if [ $MDSCOUNT -ge 2 ]; then
1513                 $LFS mkdir -i 1 $DIR/$tdir/a2
1514                 $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1515                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1516                 $LFS path2fid $DIR/$tdir/a2/f2
1517                 $LFS getstripe $DIR/$tdir/a2/f2
1518         fi
1519
1520         cancel_lru_locks osc
1521
1522         echo "Inject failure, to make the MDT-object lost its layout EA"
1523         #define OBD_FAIL_LFSCK_LOST_STRIPE 0x1615
1524         do_facet mds1 $LCTL set_param fail_loc=0x1615
1525         chown 1.1 $DIR/$tdir/a1/f1
1526
1527         if [ $MDSCOUNT -ge 2 ]; then
1528                 do_facet mds2 $LCTL set_param fail_loc=0x1615
1529                 chown 1.1 $DIR/$tdir/a2/f2
1530         fi
1531
1532         sync
1533         sleep 2
1534
1535         do_facet mds1 $LCTL set_param fail_loc=0
1536         if [ $MDSCOUNT -ge 2 ]; then
1537                 do_facet mds2 $LCTL set_param fail_loc=0
1538         fi
1539
1540         cancel_lru_locks mdc
1541         cancel_lru_locks osc
1542
1543         echo "The file size should be incorrect since layout EA is lost"
1544         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1545         [ "$cur_size" != "$saved_size" ] ||
1546                 error "(1) Expect incorrect file1 size"
1547
1548         if [ $MDSCOUNT -ge 2 ]; then
1549                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1550                 [ "$cur_size" != "$saved_size" ] ||
1551                         error "(2) Expect incorrect file2 size"
1552         fi
1553
1554         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1555         $START_LAYOUT -r -o || error "(3) Fail to start LFSCK for layout!"
1556
1557         for k in $(seq $MDSCOUNT); do
1558                 # The LFSCK status query internal is 30 seconds. For the case
1559                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1560                 # time to guarantee the status sync up.
1561                 wait_update_facet mds${k} "$LCTL get_param -n \
1562                         mdd.$(facet_svc mds${k}).lfsck_layout |
1563                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1564                         error "(4) MDS${k} is not the expected 'completed'"
1565         done
1566
1567         for k in $(seq $OSTCOUNT); do
1568                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1569                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1570                                 awk '/^status/ { print $2 }')
1571                 [ "$cur_status" == "completed" ] ||
1572                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
1573         done
1574
1575         local repaired=$(do_facet mds1 $LCTL get_param -n \
1576                          mdd.$(facet_svc mds1).lfsck_layout |
1577                          awk '/^repaired_orphan/ { print $2 }')
1578         [ $repaired -eq 1 ] ||
1579         error "(6.1) Expect 1 fixed on mds1, but got: $repaired"
1580
1581         if [ $MDSCOUNT -ge 2 ]; then
1582                 repaired=$(do_facet mds2 $LCTL get_param -n \
1583                          mdd.$(facet_svc mds2).lfsck_layout |
1584                                  awk '/^repaired_orphan/ { print $2 }')
1585                 [ $repaired -eq 2 ] ||
1586                 error "(6.2) Expect 2 fixed on mds2, but got: $repaired"
1587         fi
1588
1589         $LFS path2fid $DIR/$tdir/a1/f1
1590         $LFS getstripe $DIR/$tdir/a1/f1
1591
1592         if [ $MDSCOUNT -ge 2 ]; then
1593                 $LFS path2fid $DIR/$tdir/a2/f2
1594                 $LFS getstripe $DIR/$tdir/a2/f2
1595         fi
1596
1597         echo "The file size should be correct after layout LFSCK scanning"
1598         cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1599         [ "$cur_size" == "$saved_size" ] ||
1600                 error "(7) Expect file1 size $saved_size, but got $cur_size"
1601
1602         if [ $MDSCOUNT -ge 2 ]; then
1603                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1604                 [ "$cur_size" == "$saved_size" ] ||
1605                 error "(8) Expect file2 size $saved_size, but got $cur_size"
1606         fi
1607 }
1608 run_test 18a "Find out orphan OST-object and repair it (1)"
1609
1610 test_18b() {
1611         echo "#####"
1612         echo "The target MDT-object is lost. The LFSCK should re-create the"
1613         echo "MDT-object under .lustre/lost+found/MDTxxxx. The admin should"
1614         echo "can move it back to normal namespace manually."
1615         echo "#####"
1616
1617         check_mount_and_prep
1618         $LFS mkdir -i 0 $DIR/$tdir/a1
1619         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1620         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1621         local saved_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1622         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
1623         echo ${fid1}
1624         $LFS getstripe $DIR/$tdir/a1/f1
1625
1626         if [ $MDSCOUNT -ge 2 ]; then
1627                 $LFS mkdir -i 1 $DIR/$tdir/a2
1628                 $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1629                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1630                 fid2=$($LFS path2fid $DIR/$tdir/a2/f2)
1631                 echo ${fid2}
1632                 $LFS getstripe $DIR/$tdir/a2/f2
1633         fi
1634
1635         cancel_lru_locks osc
1636
1637         echo "Inject failure, to simulate the case of missing the MDT-object"
1638         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
1639         do_facet mds1 $LCTL set_param fail_loc=0x1616
1640         rm -f $DIR/$tdir/a1/f1
1641
1642         if [ $MDSCOUNT -ge 2 ]; then
1643                 do_facet mds2 $LCTL set_param fail_loc=0x1616
1644                 rm -f $DIR/$tdir/a2/f2
1645         fi
1646
1647         sync
1648         sleep 2
1649
1650         do_facet mds1 $LCTL set_param fail_loc=0
1651         if [ $MDSCOUNT -ge 2 ]; then
1652                 do_facet mds2 $LCTL set_param fail_loc=0
1653         fi
1654
1655         cancel_lru_locks mdc
1656         cancel_lru_locks osc
1657
1658         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1659         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
1660
1661         for k in $(seq $MDSCOUNT); do
1662                 # The LFSCK status query internal is 30 seconds. For the case
1663                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1664                 # time to guarantee the status sync up.
1665                 wait_update_facet mds${k} "$LCTL get_param -n \
1666                         mdd.$(facet_svc mds${k}).lfsck_layout |
1667                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1668                         error "(2) MDS${k} is not the expected 'completed'"
1669         done
1670
1671         for k in $(seq $OSTCOUNT); do
1672                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1673                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1674                                 awk '/^status/ { print $2 }')
1675                 [ "$cur_status" == "completed" ] ||
1676                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
1677         done
1678
1679         local repaired=$(do_facet mds1 $LCTL get_param -n \
1680                          mdd.$(facet_svc mds1).lfsck_layout |
1681                          awk '/^repaired_orphan/ { print $2 }')
1682         [ $repaired -eq 1 ] ||
1683         error "(4.1) Expect 1 fixed on mds1, but got: $repaired"
1684
1685         if [ $MDSCOUNT -ge 2 ]; then
1686                 repaired=$(do_facet mds2 $LCTL get_param -n \
1687                          mdd.$(facet_svc mds2).lfsck_layout |
1688                          awk '/^repaired_orphan/ { print $2 }')
1689                 [ $repaired -eq 2 ] ||
1690                 error "(4.2) Expect 2 fixed on mds2, but got: $repaired"
1691         fi
1692
1693         echo "Move the files from ./lustre/lost+found/MDTxxxx to namespace"
1694         mv $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0 $DIR/$tdir/a1/f1 ||
1695         error "(5) Fail to move $MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0"
1696
1697         if [ $MDSCOUNT -ge 2 ]; then
1698                 local name=$MOUNT/.lustre/lost+found/MDT0001/${fid2}-R-0
1699                 mv $name $DIR/$tdir/a2/f2 || error "(6) Fail to move $name"
1700         fi
1701
1702         $LFS path2fid $DIR/$tdir/a1/f1
1703         $LFS getstripe $DIR/$tdir/a1/f1
1704
1705         if [ $MDSCOUNT -ge 2 ]; then
1706                 $LFS path2fid $DIR/$tdir/a2/f2
1707                 $LFS getstripe $DIR/$tdir/a2/f2
1708         fi
1709
1710         echo "The file size should be correct after layout LFSCK scanning"
1711         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1712         [ "$cur_size" == "$saved_size" ] ||
1713                 error "(7) Expect file1 size $saved_size, but got $cur_size"
1714
1715         if [ $MDSCOUNT -ge 2 ]; then
1716                 cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1717                 [ "$cur_size" == "$saved_size" ] ||
1718                 error "(8) Expect file2 size $saved_size, but got $cur_size"
1719         fi
1720 }
1721 run_test 18b "Find out orphan OST-object and repair it (2)"
1722
1723 test_18c() {
1724         echo "#####"
1725         echo "The target MDT-object is lost, and the OST-object FID is missing."
1726         echo "The LFSCK should re-create the MDT-object with new FID under the "
1727         echo "directory .lustre/lost+found/MDTxxxx."
1728         echo "#####"
1729
1730         check_mount_and_prep
1731         $LFS mkdir -i 0 $DIR/$tdir/a1
1732         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1733
1734         echo "Inject failure, to simulate the case of missing parent FID"
1735         #define OBD_FAIL_LFSCK_NOPFID           0x1617
1736         do_facet ost1 $LCTL set_param fail_loc=0x1617
1737
1738         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1739         $LFS getstripe $DIR/$tdir/a1/f1
1740
1741         if [ $MDSCOUNT -ge 2 ]; then
1742                 $LFS mkdir -i 1 $DIR/$tdir/a2
1743                 $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1744                 do_facet ost2 $LCTL set_param fail_loc=0x1617
1745                 dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1746                 $LFS getstripe $DIR/$tdir/a2/f2
1747         fi
1748
1749         cancel_lru_locks osc
1750
1751         echo "Inject failure, to simulate the case of missing the MDT-object"
1752         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
1753         do_facet mds1 $LCTL set_param fail_loc=0x1616
1754         rm -f $DIR/$tdir/a1/f1
1755
1756         if [ $MDSCOUNT -ge 2 ]; then
1757                 do_facet mds2 $LCTL set_param fail_loc=0x1616
1758                 rm -f $DIR/$tdir/a2/f2
1759         fi
1760
1761         sync
1762         sleep 2
1763
1764         do_facet mds1 $LCTL set_param fail_loc=0
1765         if [ $MDSCOUNT -ge 2 ]; then
1766                 do_facet mds2 $LCTL set_param fail_loc=0
1767         fi
1768
1769         cancel_lru_locks mdc
1770         cancel_lru_locks osc
1771
1772         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1773         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
1774
1775         for k in $(seq $MDSCOUNT); do
1776                 # The LFSCK status query internal is 30 seconds. For the case
1777                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1778                 # time to guarantee the status sync up.
1779                 wait_update_facet mds${k} "$LCTL get_param -n \
1780                         mdd.$(facet_svc mds${k}).lfsck_layout |
1781                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1782                         error "(2) MDS${k} is not the expected 'completed'"
1783         done
1784
1785         for k in $(seq $OSTCOUNT); do
1786                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1787                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1788                                 awk '/^status/ { print $2 }')
1789                 [ "$cur_status" == "completed" ] ||
1790                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
1791         done
1792
1793         if [ $MDSCOUNT -ge 2 ]; then
1794                 expected=3
1795         else
1796                 expected=1
1797         fi
1798
1799         local repaired=$(do_facet mds1 $LCTL get_param -n \
1800                          mdd.$(facet_svc mds1).lfsck_layout |
1801                          awk '/^repaired_orphan/ { print $2 }')
1802         [ $repaired -eq $expected ] ||
1803                 error "(4) Expect $expected fixed on mds1, but got: $repaired"
1804
1805         if [ $MDSCOUNT -ge 2 ]; then
1806                 repaired=$(do_facet mds2 $LCTL get_param -n \
1807                            mdd.$(facet_svc mds2).lfsck_layout |
1808                            awk '/^repaired_orphan/ { print $2 }')
1809                 [ $repaired -eq 0 ] ||
1810                         error "(5) Expect 0 fixed on mds2, but got: $repaired"
1811         fi
1812
1813         echo "There should be some stub under .lustre/lost+found/MDT0001/"
1814         ls -ail $MOUNT/.lustre/lost+found/MDT0001/*-N-0 &&
1815                 error "(6) .lustre/lost+found/MDT0001/ should be empty"
1816
1817         echo "There should be some stub under .lustre/lost+found/MDT0000/"
1818         ls -ail $MOUNT/.lustre/lost+found/MDT0000/*-N-0 ||
1819                 error "(7) .lustre/lost+found/MDT0000/ should not be empty"
1820 }
1821 run_test 18c "Find out orphan OST-object and repair it (3)"
1822
1823 test_18d() {
1824         echo "#####"
1825         echo "The target MDT-object layout EA slot is occpuied by some new"
1826         echo "created OST-object when repair dangling reference case. Such"
1827         echo "conflict OST-object has never been modified. Then when found"
1828         echo "the orphan OST-object, LFSCK will replace it with the orphan"
1829         echo "OST-object."
1830         echo "#####"
1831
1832         check_mount_and_prep
1833         mkdir $DIR/$tdir/a1
1834         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1835         echo "guard" > $DIR/$tdir/a1/f1
1836         echo "foo" > $DIR/$tdir/a1/f2
1837         local saved_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1838         $LFS path2fid $DIR/$tdir/a1/f1
1839         $LFS getstripe $DIR/$tdir/a1/f1
1840         $LFS path2fid $DIR/$tdir/a1/f2
1841         $LFS getstripe $DIR/$tdir/a1/f2
1842         cancel_lru_locks osc
1843
1844         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
1845         echo "to reference the same OST-object (which is f1's OST-obejct)."
1846         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
1847         echo "dangling reference case, but f2's old OST-object is there."
1848         echo
1849
1850         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
1851         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
1852         chown 1.1 $DIR/$tdir/a1/f2
1853         rm -f $DIR/$tdir/a1/f1
1854         sync
1855         sleep 2
1856         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1857
1858         echo "stopall to cleanup object cache"
1859         stopall > /dev/null
1860         echo "setupall"
1861         setupall > /dev/null
1862
1863         echo "The file size should be incorrect since dangling referenced"
1864         local cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1865         [ "$cur_size" != "$saved_size" ] ||
1866                 error "(1) Expect incorrect file2 size"
1867
1868         #define OBD_FAIL_LFSCK_DELAY3           0x1602
1869         do_facet $SINGLEMDS $LCTL set_param fail_val=5 fail_loc=0x1602
1870
1871         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1872         $START_LAYOUT -r -o -c || error "(2) Fail to start LFSCK for layout!"
1873
1874         wait_update_facet mds1 "$LCTL get_param -n \
1875                 mdd.$(facet_svc mds1).lfsck_layout |
1876                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 6 ||
1877                 error "(3.0) MDS1 is not the expected 'scanning-phase2'"
1878
1879         do_facet $SINGLEMDS $LCTL set_param fail_val=0 fail_loc=0
1880
1881         for k in $(seq $MDSCOUNT); do
1882                 # The LFSCK status query internal is 30 seconds. For the case
1883                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1884                 # time to guarantee the status sync up.
1885                 wait_update_facet mds${k} "$LCTL get_param -n \
1886                         mdd.$(facet_svc mds${k}).lfsck_layout |
1887                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1888                         error "(3) MDS${k} is not the expected 'completed'"
1889         done
1890
1891         for k in $(seq $OSTCOUNT); do
1892                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1893                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1894                                 awk '/^status/ { print $2 }')
1895                 [ "$cur_status" == "completed" ] ||
1896                 error "(4) OST${k} Expect 'completed', but got '$cur_status'"
1897         done
1898
1899         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
1900                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
1901                          awk '/^repaired_orphan/ { print $2 }')
1902         [ $repaired -eq 1 ] ||
1903                 error "(5) Expect 1 orphan has been fixed, but got: $repaired"
1904
1905         echo "The file size should be correct after layout LFSCK scanning"
1906         cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1907         [ "$cur_size" == "$saved_size" ] ||
1908                 error "(6) Expect file2 size $saved_size, but got $cur_size"
1909
1910         echo "The LFSCK should find back the original data."
1911         cat $DIR/$tdir/a1/f2
1912         $LFS path2fid $DIR/$tdir/a1/f2
1913         $LFS getstripe $DIR/$tdir/a1/f2
1914 }
1915 run_test 18d "Find out orphan OST-object and repair it (4)"
1916
1917 test_18e() {
1918         echo "#####"
1919         echo "The target MDT-object layout EA slot is occpuied by some new"
1920         echo "created OST-object when repair dangling reference case. Such"
1921         echo "conflict OST-object has been modified by others. To keep the"
1922         echo "new data, the LFSCK will create a new file to refernece this"
1923         echo "old orphan OST-object."
1924         echo "#####"
1925
1926         check_mount_and_prep
1927         mkdir $DIR/$tdir/a1
1928         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1929         echo "guard" > $DIR/$tdir/a1/f1
1930         echo "foo" > $DIR/$tdir/a1/f2
1931         local saved_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1932         $LFS path2fid $DIR/$tdir/a1/f1
1933         $LFS getstripe $DIR/$tdir/a1/f1
1934         $LFS path2fid $DIR/$tdir/a1/f2
1935         $LFS getstripe $DIR/$tdir/a1/f2
1936         cancel_lru_locks osc
1937
1938         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
1939         echo "to reference the same OST-object (which is f1's OST-obejct)."
1940         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
1941         echo "dangling reference case, but f2's old OST-object is there."
1942         echo
1943
1944         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
1945         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
1946         chown 1.1 $DIR/$tdir/a1/f2
1947         rm -f $DIR/$tdir/a1/f1
1948         sync
1949         sleep 2
1950         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1951
1952         echo "stopall to cleanup object cache"
1953         stopall > /dev/null
1954         echo "setupall"
1955         setupall > /dev/null
1956
1957         echo "The file size should be incorrect since dangling referenced"
1958         local cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1959         [ "$cur_size" != "$saved_size" ] ||
1960                 error "(1) Expect incorrect file2 size"
1961
1962         #define OBD_FAIL_LFSCK_DELAY3           0x1602
1963         do_facet $SINGLEMDS $LCTL set_param fail_val=10 fail_loc=0x1602
1964
1965         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1966         $START_LAYOUT -r -o -c || error "(2) Fail to start LFSCK for layout!"
1967
1968         wait_update_facet mds1 "$LCTL get_param -n \
1969                 mdd.$(facet_svc mds1).lfsck_layout |
1970                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 6 ||
1971                 error "(3) MDS1 is not the expected 'scanning-phase2'"
1972
1973         # to guarantee all updates are synced.
1974         sync
1975         sleep 2
1976
1977         echo "Write new data to f2 to modify the new created OST-object."
1978         echo "dummy" >> $DIR/$tdir/a1/f2
1979
1980         do_facet $SINGLEMDS $LCTL set_param fail_val=0 fail_loc=0
1981
1982         for k in $(seq $MDSCOUNT); do
1983                 # The LFSCK status query internal is 30 seconds. For the case
1984                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1985                 # time to guarantee the status sync up.
1986                 wait_update_facet mds${k} "$LCTL get_param -n \
1987                         mdd.$(facet_svc mds${k}).lfsck_layout |
1988                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1989                         error "(4) MDS${k} is not the expected 'completed'"
1990         done
1991
1992         for k in $(seq $OSTCOUNT); do
1993                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1994                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1995                                 awk '/^status/ { print $2 }')
1996                 [ "$cur_status" == "completed" ] ||
1997                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
1998         done
1999
2000         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
2001                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
2002                          awk '/^repaired_orphan/ { print $2 }')
2003         [ $repaired -eq 1 ] ||
2004                 error "(6) Expect 1 orphan has been fixed, but got: $repaired"
2005
2006         echo "There should be stub file under .lustre/lost+found/MDT0000/"
2007         local cname=$(ls $MOUNT/.lustre/lost+found/MDT0000/*-C-0)
2008         [ ! -z $name ] ||
2009                 error "(7) .lustre/lost+found/MDT0000/ should not be empty"
2010
2011         echo "The stub file should keep the original f2 data"
2012         cur_size=$(ls -il $cname | awk '{ print $6 }')
2013         [ "$cur_size" == "$saved_size" ] ||
2014                 error "(8) Expect file2 size $saved_size, but got $cur_size"
2015
2016         cat $cname
2017         $LFS path2fid $cname
2018         $LFS getstripe $cname
2019
2020         echo "The f2 should contains new data."
2021         cat $DIR/$tdir/a1/f2
2022         $LFS path2fid $DIR/$tdir/a1/f2
2023         $LFS getstripe $DIR/$tdir/a1/f2
2024 }
2025 run_test 18e "Find out orphan OST-object and repair it (5)"
2026
2027 test_19a() {
2028         check_mount_and_prep
2029         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2030
2031         echo "foo" > $DIR/$tdir/a0
2032         echo "guard" > $DIR/$tdir/a1
2033         cancel_lru_locks osc
2034
2035         echo "Inject failure, then client will offer wrong parent FID when read"
2036         do_facet ost1 $LCTL set_param -n \
2037                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
2038         #define OBD_FAIL_LFSCK_INVALID_PFID     0x1619
2039         $LCTL set_param fail_loc=0x1619
2040
2041         echo "Read RPC with wrong parent FID should be denied"
2042         cat $DIR/$tdir/a0 && error "(3) Read should be denied!"
2043         $LCTL set_param fail_loc=0
2044 }
2045 run_test 19a "OST-object inconsistency self detect"
2046
2047 test_19b() {
2048         check_mount_and_prep
2049         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2050
2051         echo "Inject failure stub to make the OST-object to back point to"
2052         echo "non-exist MDT-object"
2053
2054         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
2055         do_facet ost1 $LCTL set_param fail_loc=0x1611
2056         echo "foo" > $DIR/$tdir/f0
2057         cancel_lru_locks osc
2058         do_facet ost1 $LCTL set_param fail_loc=0
2059
2060         echo "Nothing should be fixed since self detect and repair is disabled"
2061         local repaired=$(do_facet ost1 $LCTL get_param -n \
2062                         obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
2063                         awk '/^repaired/ { print $2 }')
2064         [ $repaired -eq 0 ] ||
2065                 error "(1) Expected 0 repaired, but got $repaired"
2066
2067         echo "Read RPC with right parent FID should be accepted,"
2068         echo "and cause parent FID on OST to be fixed"
2069
2070         do_facet ost1 $LCTL set_param -n \
2071                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
2072         cat $DIR/$tdir/f0 || error "(2) Read should not be denied!"
2073
2074         repaired=$(do_facet ost1 $LCTL get_param -n \
2075                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
2076                 awk '/^repaired/ { print $2 }')
2077         [ $repaired -eq 1 ] ||
2078                 error "(3) Expected 1 repaired, but got $repaired"
2079 }
2080 run_test 19b "OST-object inconsistency self repair"
2081
2082 test_20() {
2083         [ $OSTCOUNT -lt 2 ] &&
2084                 skip "The test needs at least 2 OSTs" && return
2085
2086         echo "#####"
2087         echo "The target MDT-object and some of its OST-object are lost."
2088         echo "The LFSCK should find out the left OST-objects and re-create"
2089         echo "the MDT-object under the direcotry .lustre/lost+found/MDTxxxx/"
2090         echo "with the partial OST-objects (LOV EA hole)."
2091
2092         echo "New client can access the file with LOV EA hole via normal"
2093         echo "system tools or commands without crash the system."
2094
2095         echo "For old client, even though it cannot access the file with"
2096         echo "LOV EA hole, it should not cause the system crash."
2097         echo "#####"
2098
2099         check_mount_and_prep
2100         $LFS mkdir -i 0 $DIR/$tdir/a1
2101         if [ $OSTCOUNT -gt 2 ]; then
2102                 $LFS setstripe -c 3 -i 0 -s 1M $DIR/$tdir/a1
2103                 bcount=513
2104         else
2105                 $LFS setstripe -c 2 -i 0 -s 1M $DIR/$tdir/a1
2106                 bcount=257
2107         fi
2108
2109         # 256 blocks on the stripe0.
2110         # 1 block on the stripe1 for 2 OSTs case.
2111         # 256 blocks on the stripe1 for other cases.
2112         # 1 block on the stripe2 if OSTs > 2
2113         dd if=/dev/zero of=$DIR/$tdir/a1/f0 bs=4096 count=$bcount
2114         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=4096 count=$bcount
2115         dd if=/dev/zero of=$DIR/$tdir/a1/f2 bs=4096 count=$bcount
2116
2117         local fid0=$($LFS path2fid $DIR/$tdir/a1/f0)
2118         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
2119         local fid2=$($LFS path2fid $DIR/$tdir/a1/f2)
2120
2121         echo ${fid0}
2122         $LFS getstripe $DIR/$tdir/a1/f0
2123         echo ${fid1}
2124         $LFS getstripe $DIR/$tdir/a1/f1
2125         echo ${fid2}
2126         $LFS getstripe $DIR/$tdir/a1/f2
2127
2128         if [ $OSTCOUNT -gt 2 ]; then
2129                 dd if=/dev/zero of=$DIR/$tdir/a1/f3 bs=4096 count=$bcount
2130                 fid3=$($LFS path2fid $DIR/$tdir/a1/f3)
2131                 echo ${fid3}
2132                 $LFS getstripe $DIR/$tdir/a1/f3
2133         fi
2134
2135         cancel_lru_locks osc
2136
2137         echo "Inject failure..."
2138         echo "To simulate f0 lost MDT-object"
2139         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
2140         do_facet mds1 $LCTL set_param fail_loc=0x1616
2141         rm -f $DIR/$tdir/a1/f0
2142
2143         echo "To simulate f1 lost MDT-object and OST-object0"
2144         #define OBD_FAIL_LFSCK_LOST_SPEOBJ      0x161a
2145         do_facet mds1 $LCTL set_param fail_loc=0x161a
2146         rm -f $DIR/$tdir/a1/f1
2147
2148         echo "To simulate f2 lost MDT-object and OST-object1"
2149         do_facet mds1 $LCTL set_param fail_val=1
2150         rm -f $DIR/$tdir/a1/f2
2151
2152         if [ $OSTCOUNT -gt 2 ]; then
2153                 echo "To simulate f3 lost MDT-object and OST-object2"
2154                 do_facet mds1 $LCTL set_param fail_val=2
2155                 rm -f $DIR/$tdir/a1/f3
2156         fi
2157
2158         umount_client $MOUNT
2159         sync
2160         sleep 2
2161         do_facet mds1 $LCTL set_param fail_loc=0 fail_val=0
2162
2163         echo "Inject failure to slow down the LFSCK on OST0"
2164         #define OBD_FAIL_LFSCK_DELAY5           0x161b
2165         do_facet ost1 $LCTL set_param fail_loc=0x161b
2166
2167         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2168         $START_LAYOUT -r -o || error "(1) Fail to start LFSCK for layout!"
2169
2170         sleep 3
2171         do_facet ost1 $LCTL set_param fail_loc=0
2172
2173         for k in $(seq $MDSCOUNT); do
2174                 # The LFSCK status query internal is 30 seconds. For the case
2175                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2176                 # time to guarantee the status sync up.
2177                 wait_update_facet mds${k} "$LCTL get_param -n \
2178                         mdd.$(facet_svc mds${k}).lfsck_layout |
2179                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
2180                         error "(2) MDS${k} is not the expected 'completed'"
2181         done
2182
2183         for k in $(seq $OSTCOUNT); do
2184                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2185                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2186                                 awk '/^status/ { print $2 }')
2187                 [ "$cur_status" == "completed" ] ||
2188                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
2189         done
2190
2191         local repaired=$(do_facet mds1 $LCTL get_param -n \
2192                          mdd.$(facet_svc mds1).lfsck_layout |
2193                          awk '/^repaired_orphan/ { print $2 }')
2194         if [ $OSTCOUNT -gt 2 ]; then
2195                 [ $repaired -eq 9 ] ||
2196                         error "(4.1) Expect 9 fixed on mds1, but got: $repaired"
2197         else
2198                 [ $repaired -eq 4 ] ||
2199                         error "(4.2) Expect 4 fixed on mds1, but got: $repaired"
2200         fi
2201
2202         mount_client $MOUNT || error "(5.0) Fail to start client!"
2203
2204         LOV_PATTERN_F_HOLE=0x40000000
2205
2206         #
2207         # ${fid0}-R-0 is the old f0
2208         #
2209         local name="$MOUNT/.lustre/lost+found/MDT0000/${fid0}-R-0"
2210         echo "Check $name, which is the old f0"
2211
2212         $LFS getstripe -v $name || error "(5.1) cannot getstripe on $name"
2213
2214         local pattern=0x$($LFS getstripe -L $name)
2215         [[ $((pattern & LOV_PATTERN_F_HOLE)) -eq 0 ]] ||
2216                 error "(5.2) NOT expect pattern flag hole, but got $pattern"
2217
2218         local stripes=$($LFS getstripe -c $name)
2219         if [ $OSTCOUNT -gt 2 ]; then
2220                 [ $stripes -eq 3 ] ||
2221                 error "(5.3.1) expect the stripe count is 3, but got $stripes"
2222         else
2223                 [ $stripes -eq 2 ] ||
2224                 error "(5.3.2) expect the stripe count is 2, but got $stripes"
2225         fi
2226
2227         local size=$(stat $name | awk '/Size:/ { print $2 }')
2228         [ $size -eq $((4096 * $bcount)) ] ||
2229                 error "(5.4) expect the size $((4096 * $bcount)), but got $size"
2230
2231         cat $name > /dev/null || error "(5.5) cannot read $name"
2232
2233         echo "dummy" >> $name || error "(5.6) cannot write $name"
2234
2235         chown $RUNAS_ID:$RUNAS_GID $name || error "(5.7) cannot chown on $name"
2236
2237         touch $name || error "(5.8) cannot touch $name"
2238
2239         rm -f $name || error "(5.9) cannot unlink $name"
2240
2241         #
2242         # ${fid1}-R-0 contains the old f1's stripe1 (and stripe2 if OSTs > 2)
2243         #
2244         name="$MOUNT/.lustre/lost+found/MDT0000/${fid1}-R-0"
2245         if [ $OSTCOUNT -gt 2 ]; then
2246                 echo "Check $name, it contains the old f1's stripe1 and stripe2"
2247         else
2248                 echo "Check $name, it contains the old f1's stripe1"
2249         fi
2250
2251         $LFS getstripe -v $name || error "(6.1) cannot getstripe on $name"
2252
2253         pattern=0x$($LFS getstripe -L $name)
2254         [[ $((pattern & LOV_PATTERN_F_HOLE)) -ne 0 ]] ||
2255                 error "(6.2) expect pattern flag hole, but got $pattern"
2256
2257         stripes=$($LFS getstripe -c $name)
2258         if [ $OSTCOUNT -gt 2 ]; then
2259                 [ $stripes -eq 3 ] ||
2260                 error "(6.3.1) expect the stripe count is 3, but got $stripes"
2261         else
2262                 [ $stripes -eq 2 ] ||
2263                 error "(6.3.2) expect the stripe count is 2, but got $stripes"
2264         fi
2265
2266         size=$(stat $name | awk '/Size:/ { print $2 }')
2267         [ $size -eq $((4096 * $bcount)) ] ||
2268                 error "(6.4) expect the size $((4096 * $bcount)), but got $size"
2269
2270         cat $name > /dev/null && error "(6.5) normal read $name should fail"
2271
2272         local failures=$(dd if=$name of=$DIR/$tdir/dump conv=sync,noerror \
2273                          bs=4096 2>&1 | grep "Input/output error" | wc -l)
2274
2275         # stripe0 is dummy
2276         [ $failures -eq 256 ] ||
2277                 error "(6.6) expect 256 IO failures, but get $failures"
2278
2279         size=$(stat $DIR/$tdir/dump | awk '/Size:/ { print $2 }')
2280         [ $size -eq $((4096 * $bcount)) ] ||
2281                 error "(6.7) expect the size $((4096 * $bcount)), but got $size"
2282
2283         dd if=/dev/zero of=$name conv=sync,notrunc bs=4096 count=1 &&
2284                 error "(6.8) write to the LOV EA hole should fail"
2285
2286         dd if=/dev/zero of=$name conv=sync,notrunc bs=4096 count=1 seek=300 ||
2287                 error "(6.9) write to normal stripe should NOT fail"
2288
2289         echo "foo" >> $name && error "(6.10) append write $name should fail"
2290
2291         chown $RUNAS_ID:$RUNAS_GID $name || error "(6.11) cannot chown on $name"
2292
2293         touch $name || error "(6.12) cannot touch $name"
2294
2295         rm -f $name || error "(6.13) cannot unlink $name"
2296
2297         #
2298         # ${fid2}-R-0 it contains the old f2's stripe0 (and stripe2 if OSTs > 2)
2299         #
2300         name="$MOUNT/.lustre/lost+found/MDT0000/${fid2}-R-0"
2301         if [ $OSTCOUNT -gt 2 ]; then
2302                 echo "Check $name, it contains the old f2's stripe0 and stripe2"
2303         else
2304                 echo "Check $name, it contains the old f2's stripe0"
2305         fi
2306
2307         $LFS getstripe -v $name || error "(7.1) cannot getstripe on $name"
2308
2309         pattern=0x$($LFS getstripe -L $name)
2310         stripes=$($LFS getstripe -c $name)
2311         size=$(stat $name | awk '/Size:/ { print $2 }')
2312         if [ $OSTCOUNT -gt 2 ]; then
2313                 [[ $((pattern & LOV_PATTERN_F_HOLE)) -ne 0 ]] ||
2314                 error "(7.2.1) expect pattern flag hole, but got $pattern"
2315
2316                 [ $stripes -eq 3 ] ||
2317                 error "(7.3.1) expect the stripe count is 3, but got $stripes"
2318
2319                 [ $size -eq $((4096 * $bcount)) ] ||
2320                 error "(7.4.1) expect size $((4096 * $bcount)), but got $size"
2321
2322                 cat $name > /dev/null &&
2323                         error "(7.5.1) normal read $name should fail"
2324
2325                 failures=$(dd if=$name of=$DIR/$tdir/dump conv=sync,noerror \
2326                            bs=4096 2>&1 | grep "Input/output error" | wc -l)
2327                 # stripe1 is dummy
2328                 [ $failures -eq 256 ] ||
2329                         error "(7.6) expect 256 IO failures, but get $failures"
2330
2331                 size=$(stat $DIR/$tdir/dump | awk '/Size:/ { print $2 }')
2332                 [ $size -eq $((4096 * $bcount)) ] ||
2333                 error "(7.7) expect the size $((4096 * $bcount)), but got $size"
2334
2335                 dd if=/dev/zero of=$name conv=sync,notrunc bs=4096 count=1 \
2336                 seek=300 && error "(7.8.0) write to the LOV EA hole should fail"
2337
2338                 dd if=/dev/zero of=$name conv=sync,notrunc bs=4096 count=1 ||
2339                 error "(7.8.1) write to normal stripe should NOT fail"
2340
2341                 echo "foo" >> $name &&
2342                         error "(7.8.3) append write $name should fail"
2343
2344                 chown $RUNAS_ID:$RUNAS_GID $name ||
2345                         error "(7.9.1) cannot chown on $name"
2346
2347                 touch $name || error "(7.10.1) cannot touch $name"
2348         else
2349                 [[ $((pattern & LOV_PATTERN_F_HOLE)) -eq 0 ]] ||
2350                 error "(7.2.2) NOT expect pattern flag hole, but got $pattern"
2351
2352                 [ $stripes -eq 1 ] ||
2353                 error "(7.3.2) expect the stripe count is 1, but got $stripes"
2354
2355                 # stripe1 is dummy
2356                 [ $size -eq $((4096 * (256 + 0))) ] ||
2357                 error "(7.4.2) expect the size $((4096 * 256)), but got $size"
2358
2359                 cat $name > /dev/null || error "(7.5.2) cannot read $name"
2360
2361                 echo "dummy" >> $name || error "(7.8.2) cannot write $name"
2362
2363                 chown $RUNAS_ID:$RUNAS_GID $name ||
2364                         error "(7.9.2) cannot chown on $name"
2365
2366                 touch $name || error "(7.10.2) cannot touch $name"
2367         fi
2368
2369         rm -f $name || error "(7.11) cannot unlink $name"
2370
2371         [ $OSTCOUNT -le 2 ] && return
2372
2373         #
2374         # ${fid3}-R-0 should contains the old f3's stripe0 and stripe1
2375         #
2376         name="$MOUNT/.lustre/lost+found/MDT0000/${fid3}-R-0"
2377         echo "Check $name, which contains the old f3's stripe0 and stripe1"
2378
2379         $LFS getstripe -v $name || error "(8.1) cannot getstripe on $name"
2380
2381         pattern=0x$($LFS getstripe -L $name)
2382         [[ $((pattern & LOV_PATTERN_F_HOLE)) -eq 0 ]] ||
2383                 error "(8.2) NOT expect pattern flag hole, but got $pattern"
2384
2385         stripes=$($LFS getstripe -c $name)
2386         # LFSCK does not know the old f3 had 3 stripes.
2387         # It only tries to find as much as possible.
2388         # The stripe count depends on the last stripe's offset.
2389         [ $stripes -eq 2 ] ||
2390                 error "(8.3) expect the stripe count is 2, but got $stripes"
2391
2392         size=$(stat $name | awk '/Size:/ { print $2 }')
2393         # stripe2 is lost
2394         [ $size -eq $((4096 * (256 + 256 + 0))) ] ||
2395                 error "(8.4) expect the size $((4096 * 512)), but got $size"
2396
2397         cat $name > /dev/null || error "(8.5) cannot read $name"
2398
2399         echo "dummy" >> $name || error "(8.6) cannot write $name"
2400
2401         chown $RUNAS_ID:$RUNAS_GID $name ||
2402                 error "(8.7) cannot chown on $name"
2403
2404         touch $name || error "(8.8) cannot touch $name"
2405
2406         rm -f $name || error "(8.9) cannot unlink $name"
2407 }
2408 run_test 20 "Handle the orphan with dummy LOV EA slot properly"
2409
2410 $LCTL set_param debug=-lfsck > /dev/null || true
2411
2412 # restore MDS/OST size
2413 MDSSIZE=${SAVED_MDSSIZE}
2414 OSTSIZE=${SAVED_OSTSIZE}
2415 OSTCOUNT=${SAVED_OSTCOUNT}
2416
2417 # cleanup the system at last
2418 formatall
2419
2420 complete $SECONDS
2421 exit_status