Whamcloud - gitweb
LU-3489 osd-zfs: object iterator support
[fs/lustre-release.git] / lustre / tests / sanity-lfsck.sh
1 #!/bin/bash
2 #
3 # Run select tests by setting ONLY, or as arguments to the script.
4 # Skip specific tests by setting EXCEPT.
5 #
6
7 set -e
8
9 ONLY=${ONLY:-"$*"}
10 ALWAYS_EXCEPT="$SANITY_LFSCK_EXCEPT"
11 [ "$SLOW" = "no" ] && EXCEPT_SLOW=""
12 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
13
14 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
15 . $LUSTRE/tests/test-framework.sh
16 init_test_env $@
17 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
18 init_logging
19
20 require_dsh_mds || exit 0
21
22 MCREATE=${MCREATE:-mcreate}
23 SAVED_MDSSIZE=${MDSSIZE}
24 SAVED_OSTSIZE=${OSTSIZE}
25 # use small MDS + OST size to speed formatting time
26 # do not use too small MDSSIZE/OSTSIZE, which affect the default journal size
27 MDSSIZE=100000
28 OSTSIZE=100000
29
30 check_and_setup_lustre
31
32 [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.60) ]] &&
33         skip "Need MDS version at least 2.3.60" && check_and_cleanup_lustre &&
34         exit 0
35
36 [[ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.4.90) ]] &&
37         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 2c"
38
39 [[ $(lustre_version_code ost1) -lt $(version_code 2.5.55) ]] &&
40         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 11 12 13 14 15 16 17 18 19"
41
42 build_test_filter
43
44 $LCTL set_param debug=+lfsck > /dev/null || true
45
46 MDT_DEV="${FSNAME}-MDT0000"
47 OST_DEV="${FSNAME}-OST0000"
48 MDT_DEVNAME=$(mdsdevname ${SINGLEMDS//mds/})
49 START_NAMESPACE="do_facet $SINGLEMDS \
50                 $LCTL lfsck_start -M ${MDT_DEV} -t namespace"
51 START_LAYOUT="do_facet $SINGLEMDS \
52                 $LCTL lfsck_start -M ${MDT_DEV} -t layout"
53 START_LAYOUT_ON_OST="do_facet ost1 $LCTL lfsck_start -M ${OST_DEV} -t layout"
54 STOP_LFSCK="do_facet $SINGLEMDS $LCTL lfsck_stop -M ${MDT_DEV}"
55 SHOW_NAMESPACE="do_facet $SINGLEMDS \
56                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace"
57 SHOW_LAYOUT="do_facet $SINGLEMDS \
58                 $LCTL get_param -n mdd.${MDT_DEV}.lfsck_layout"
59 SHOW_LAYOUT_ON_OST="do_facet ost1 \
60                 $LCTL get_param -n obdfilter.${OST_DEV}.lfsck_layout"
61 MOUNT_OPTS_SCRUB="-o user_xattr"
62 MOUNT_OPTS_NOSCRUB="-o user_xattr,noscrub"
63
64 lfsck_prep() {
65         local ndirs=$1
66         local nfiles=$2
67         local igif=$3
68
69         echo "formatall"
70         formatall > /dev/null
71
72         echo "setupall"
73         setupall > /dev/null
74
75         if [ ! -z $igif ]; then
76                 #define OBD_FAIL_FID_IGIF       0x1504
77                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1504
78         fi
79
80         echo "preparing... ${nfiles} * ${ndirs} files will be created."
81         mkdir -p $DIR/$tdir
82         cp $LUSTRE/tests/*.sh $DIR/
83         for ((i = 0; i < ${ndirs}; i++)); do
84                 mkdir $DIR/$tdir/d${i}
85                 touch $DIR/$tdir/f${i}
86                 for ((j = 0; j < ${nfiles}; j++)); do
87                         touch $DIR/$tdir/d${i}/f${j}
88                 done
89                 mkdir $DIR/$tdir/e${i}
90         done
91
92         if [ ! -z $igif ]; then
93                 touch $DIR/$tdir/dummy
94                 do_facet $SINGLEMDS $LCTL set_param fail_loc=0
95         fi
96
97         echo "prepared."
98         cleanup_mount $MOUNT > /dev/null || error "Fail to stop client!"
99         echo "stop $SINGLEMDS"
100         stop $SINGLEMDS > /dev/null || error "Fail to stop MDS!"
101 }
102
103 test_0() {
104         lfsck_prep 10 10
105         echo "start $SINGLEMDS"
106         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
107                 error "(1) Fail to start MDS!"
108
109         #define OBD_FAIL_LFSCK_DELAY1           0x1600
110         do_facet $SINGLEMDS $LCTL set_param fail_val=3
111         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
112         $START_NAMESPACE || error "(2) Fail to start LFSCK for namespace!"
113
114         $SHOW_NAMESPACE || error "Fail to monitor LFSCK (3)"
115
116         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
117         [ "$STATUS" == "scanning-phase1" ] ||
118                 error "(4) Expect 'scanning-phase1', but got '$STATUS'"
119
120         $STOP_LFSCK || error "(5) Fail to stop LFSCK!"
121
122         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
123         [ "$STATUS" == "stopped" ] ||
124                 error "(6) Expect 'stopped', but got '$STATUS'"
125
126         $START_NAMESPACE || error "(7) Fail to start LFSCK for namespace!"
127
128         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
129         [ "$STATUS" == "scanning-phase1" ] ||
130                 error "(8) Expect 'scanning-phase1', but got '$STATUS'"
131
132         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
133         do_facet $SINGLEMDS $LCTL set_param fail_val=0
134         wait_update_facet $SINGLEMDS \
135                 "$LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace | \
136                  awk '/^status/ { print \\\$2 }'" "completed" 20 || \
137                 error "(9) unexpected status"
138
139         local repaired=$($SHOW_NAMESPACE |
140                          awk '/^updated_phase1/ { print $2 }')
141         [ $repaired -eq 0 ] ||
142                 error "(10) Expect nothing to be repaired, but got: $repaired"
143
144         local scanned1=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
145         $START_NAMESPACE -r || error "(11) Fail to reset LFSCK!"
146         wait_update_facet $SINGLEMDS \
147                 "$LCTL get_param -n mdd.${MDT_DEV}.lfsck_namespace | \
148                  awk '/^status/ { print \\\$2 }'" "completed" 20 || \
149                 error "(12) unexpected status"
150
151         local scanned2=$($SHOW_NAMESPACE | awk '/^success_count/ { print $2 }')
152         [ $((scanned1 + 1)) -eq $scanned2 ] ||
153                 error "(13) Expect success $((scanned1 + 1)), but got $scanned2"
154
155         echo "stopall, should NOT crash LU-3649"
156         stopall > /dev/null
157 }
158 run_test 0 "Control LFSCK manually"
159
160 test_1a() {
161         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
162                 skip "OI Scrub not implemented for ZFS" && return
163
164         lfsck_prep 1 1
165         echo "start $SINGLEMDS"
166         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
167                 error "(1) Fail to start MDS!"
168
169         mount_client $MOUNT || error "(2) Fail to start client!"
170
171         #define OBD_FAIL_FID_INDIR      0x1501
172         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1501
173         touch $DIR/$tdir/dummy
174
175         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
176         umount_client $MOUNT
177         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
178
179         sleep 3
180         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
181         [ "$STATUS" == "completed" ] ||
182                 error "(4) Expect 'completed', but got '$STATUS'"
183
184         local repaired=$($SHOW_NAMESPACE |
185                          awk '/^updated_phase1/ { print $2 }')
186         [ $repaired -eq 1 ] ||
187                 error "(5) Fail to repair crashed FID-in-dirent: $repaired"
188
189         mount_client $MOUNT || error "(6) Fail to start client!"
190
191         #define OBD_FAIL_FID_LOOKUP     0x1505
192         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
193         ls $DIR/$tdir/ > /dev/null || error "(7) no FID-in-dirent."
194
195         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
196 }
197 run_test 1a "LFSCK can find out and repair crashed FID-in-dirent"
198
199 test_1b()
200 {
201         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
202                 skip "OI Scrub not implemented for ZFS" && return
203
204         lfsck_prep 1 1
205         echo "start $SINGLEMDS"
206         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
207                 error "(1) Fail to start MDS!"
208
209         mount_client $MOUNT || error "(2) Fail to start client!"
210
211         #define OBD_FAIL_FID_INLMA      0x1502
212         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1502
213         touch $DIR/$tdir/dummy
214
215         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
216         umount_client $MOUNT
217         #define OBD_FAIL_FID_NOLMA      0x1506
218         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1506
219         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
220
221         sleep 3
222         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
223         [ "$STATUS" == "completed" ] ||
224                 error "(4) Expect 'completed', but got '$STATUS'"
225
226         local repaired=$($SHOW_NAMESPACE |
227                          awk '/^updated_phase1/ { print $2 }')
228         [ $repaired -eq 1 ] ||
229                 error "(5) Fail to repair missed FID-in-LMA: $repaired"
230
231         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
232         mount_client $MOUNT || error "(6) Fail to start client!"
233
234         #define OBD_FAIL_FID_LOOKUP     0x1505
235         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
236         stat $DIR/$tdir/dummy > /dev/null || error "(7) no FID-in-LMA."
237
238         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
239 }
240 run_test 1b "LFSCK can find out and repair missed FID-in-LMA"
241
242 test_2a() {
243         lfsck_prep 1 1
244         echo "start $SINGLEMDS"
245         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
246                 error "(1) Fail to start MDS!"
247
248         mount_client $MOUNT || error "(2) Fail to start client!"
249
250         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
251         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
252         touch $DIR/$tdir/dummy
253
254         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
255         umount_client $MOUNT
256         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
257
258         sleep 3
259         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
260         [ "$STATUS" == "completed" ] ||
261                 error "(4) Expect 'completed', but got '$STATUS'"
262
263         local repaired=$($SHOW_NAMESPACE |
264                          awk '/^updated_phase1/ { print $2 }')
265         [ $repaired -eq 1 ] ||
266                 error "(5) Fail to repair crashed linkEA: $repaired"
267
268         mount_client $MOUNT || error "(6) Fail to start client!"
269
270         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
271                 error "(7) Fail to stat $DIR/$tdir/dummy"
272
273         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
274         local dummyname=$($LFS fid2path $DIR $dummyfid)
275         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
276                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
277 }
278 run_test 2a "LFSCK can find out and repair crashed linkEA entry"
279
280 test_2b()
281 {
282         lfsck_prep 1 1
283         echo "start $SINGLEMDS"
284         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
285                 error "(1) Fail to start MDS!"
286
287         mount_client $MOUNT || error "(2) Fail to start client!"
288
289         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
290         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
291         touch $DIR/$tdir/dummy
292
293         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
294         umount_client $MOUNT
295         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
296
297         sleep 3
298         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
299         [ "$STATUS" == "completed" ] ||
300                 error "(4) Expect 'completed', but got '$STATUS'"
301
302         local repaired=$($SHOW_NAMESPACE |
303                          awk '/^updated_phase2/ { print $2 }')
304         [ $repaired -eq 1 ] ||
305                 error "(5) Fail to repair crashed linkEA: $repaired"
306
307         mount_client $MOUNT || error "(6) Fail to start client!"
308
309         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
310                 error "(7) Fail to stat $DIR/$tdir/dummy"
311
312         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
313         local dummyname=$($LFS fid2path $DIR $dummyfid)
314         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
315                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
316 }
317 run_test 2b "LFSCK can find out and remove invalid linkEA entry"
318
319 test_2c()
320 {
321         lfsck_prep 1 1
322         echo "start $SINGLEMDS"
323         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
324                 error "(1) Fail to start MDS!"
325
326         mount_client $MOUNT || error "(2) Fail to start client!"
327
328         #define OBD_FAIL_LFSCK_LINKEA_MORE2     0x1605
329         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1605
330         touch $DIR/$tdir/dummy
331
332         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
333         umount_client $MOUNT
334         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
335
336         sleep 3
337         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
338         [ "$STATUS" == "completed" ] ||
339                 error "(4) Expect 'completed', but got '$STATUS'"
340
341         local repaired=$($SHOW_NAMESPACE |
342                          awk '/^updated_phase2/ { print $2 }')
343         [ $repaired -eq 1 ] ||
344                 error "(5) Fail to repair crashed linkEA: $repaired"
345
346         mount_client $MOUNT || error "(6) Fail to start client!"
347
348         stat $DIR/$tdir/dummy | grep "Links: 1" > /dev/null ||
349                 error "(7) Fail to stat $DIR/$tdir/dummy"
350
351         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
352         local dummyname=$($LFS fid2path $DIR $dummyfid)
353         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
354                 error "(8) Fail to repair linkEA: $dummyfid $dummyname"
355 }
356 run_test 2c "LFSCK can find out and remove repeated linkEA entry"
357
358 test_4()
359 {
360         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
361                 skip "OI Scrub not implemented for ZFS" && return
362
363         lfsck_prep 3 3
364         mds_backup_restore $SINGLEMDS || error "(1) Fail to backup/restore!"
365         echo "start $SINGLEMDS with disabling OI scrub"
366         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
367                 error "(2) Fail to start MDS!"
368
369         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
370         [ "$STATUS" == "init" ] ||
371                 error "(3) Expect 'init', but got '$STATUS'"
372
373         #define OBD_FAIL_LFSCK_DELAY2           0x1601
374         do_facet $SINGLEMDS $LCTL set_param fail_val=1
375         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
376         $START_NAMESPACE || error "(4) Fail to start LFSCK for namespace!"
377
378         sleep 5
379         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
380         [ "$STATUS" == "scanning-phase1" ] ||
381                 error "(5) Expect 'scanning-phase1', but got '$STATUS'"
382
383         local FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
384         [ "$FLAGS" == "inconsistent" ] ||
385                 error "(6) Expect 'inconsistent', but got '$FLAGS'"
386
387         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
388         do_facet $SINGLEMDS $LCTL set_param fail_val=0
389         sleep 3
390         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
391         [ "$STATUS" == "completed" ] ||
392                 error "(7) Expect 'completed', but got '$STATUS'"
393
394         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
395         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
396
397         local repaired=$($SHOW_NAMESPACE |
398                          awk '/^updated_phase1/ { print $2 }')
399         [ $repaired -ge 9 ] ||
400                 error "(9) Fail to repair crashed linkEA: $repaired"
401
402         mount_client $MOUNT || error "(10) Fail to start client!"
403
404         #define OBD_FAIL_FID_LOOKUP     0x1505
405         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
406         ls $DIR/$tdir/ > /dev/null || error "(11) no FID-in-dirent."
407
408         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
409 }
410 run_test 4 "FID-in-dirent can be rebuilt after MDT file-level backup/restore"
411
412 test_5()
413 {
414         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
415                 skip "OI Scrub not implemented for ZFS" && return
416
417         lfsck_prep 1 1 1
418         mds_backup_restore $SINGLEMDS 1 || error "(1) Fail to backup/restore!"
419         echo "start $SINGLEMDS with disabling OI scrub"
420         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_NOSCRUB > /dev/null ||
421                 error "(2) Fail to start MDS!"
422
423         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
424         [ "$STATUS" == "init" ] ||
425                 error "(3) Expect 'init', but got '$STATUS'"
426
427         #define OBD_FAIL_LFSCK_DELAY2           0x1601
428         do_facet $SINGLEMDS $LCTL set_param fail_val=1
429         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
430         $START_NAMESPACE || error "(4) Fail to start LFSCK for namespace!"
431
432         sleep 5
433         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
434         [ "$STATUS" == "scanning-phase1" ] ||
435                 error "(5) Expect 'scanning-phase1', but got '$STATUS'"
436
437         local FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
438         [ "$FLAGS" == "inconsistent,upgrade" ] ||
439                 error "(6) Expect 'inconsistent,upgrade', but got '$FLAGS'"
440
441         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
442         do_facet $SINGLEMDS $LCTL set_param fail_val=0
443         sleep 3
444         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
445         [ "$STATUS" == "completed" ] ||
446                 error "(7) Expect 'completed', but got '$STATUS'"
447
448         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
449         [ -z "$FLAGS" ] || error "(8) Expect empty flags, but got '$FLAGS'"
450
451         local repaired=$($SHOW_NAMESPACE |
452                          awk '/^updated_phase1/ { print $2 }')
453         [ $repaired -ge 2 ] ||
454                 error "(9) Fail to repair crashed linkEA: $repaired"
455
456         mount_client $MOUNT || error "(10) Fail to start client!"
457
458         #define OBD_FAIL_FID_LOOKUP     0x1505
459         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1505
460         stat $DIR/$tdir/dummy > /dev/null || error "(11) no FID-in-LMA."
461
462         ls $DIR/$tdir/ > /dev/null || error "(12) no FID-in-dirent."
463
464         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
465         local dummyfid=$($LFS path2fid $DIR/$tdir/dummy)
466         local dummyname=$($LFS fid2path $DIR $dummyfid)
467         [ "$dummyname" == "$DIR/$tdir/dummy" ] ||
468                 error "(13) Fail to generate linkEA: $dummyfid $dummyname"
469 }
470 run_test 5 "LFSCK can handle IFIG object upgrading"
471
472 test_6a() {
473         lfsck_prep 10 10
474         echo "start $SINGLEMDS"
475         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
476                 error "(1) Fail to start MDS!"
477
478         #define OBD_FAIL_LFSCK_DELAY1           0x1600
479         do_facet $SINGLEMDS $LCTL set_param fail_val=1
480         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
481         $START_NAMESPACE || error "(2) Fail to start LFSCK for namespace!"
482
483         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
484         [ "$STATUS" == "scanning-phase1" ] ||
485                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
486
487         # Sleep 3 sec to guarantee at least one object processed by LFSCK
488         sleep 3
489         # Fail the LFSCK to guarantee there is at least one checkpoint
490         #define OBD_FAIL_LFSCK_FATAL1           0x1608
491         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001608
492         sleep 3
493         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
494         [ "$STATUS" == "failed" ] ||
495                 error "(4) Expect 'failed', but got '$STATUS'"
496
497         local POSITION0=$($SHOW_NAMESPACE |
498                           awk '/^last_checkpoint_position/ { print $2 }' |
499                           tr -d ',')
500
501         #define OBD_FAIL_LFSCK_DELAY1           0x1600
502         do_facet $SINGLEMDS $LCTL set_param fail_val=1
503         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
504         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
505
506         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
507         [ "$STATUS" == "scanning-phase1" ] ||
508                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
509
510         local POSITION1=$($SHOW_NAMESPACE |
511                           awk '/^latest_start_position/ { print $2 }' |
512                           tr -d ',')
513         [ $POSITION0 -lt $POSITION1 ] ||
514                 error "(7) Expect larger than: $POSITION0, but got $POSITION1"
515
516         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
517         do_facet $SINGLEMDS $LCTL set_param fail_val=0
518         sleep 3
519         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
520         [ "$STATUS" == "completed" ] ||
521                 error "(8) Expect 'completed', but got '$STATUS'"
522 }
523 run_test 6a "LFSCK resumes from last checkpoint (1)"
524
525 test_6b() {
526         lfsck_prep 10 10
527         echo "start $SINGLEMDS"
528         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
529                 error "(1) Fail to start MDS!"
530
531         #define OBD_FAIL_LFSCK_DELAY2           0x1601
532         do_facet $SINGLEMDS $LCTL set_param fail_val=1
533         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
534         $START_NAMESPACE || error "(2) Fail to start LFSCK for namespace!"
535
536         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
537         [ "$STATUS" == "scanning-phase1" ] ||
538                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
539
540         # Sleep 3 sec to guarantee at least one object processed by LFSCK
541         sleep 3
542         # Fail the LFSCK to guarantee there is at least one checkpoint
543         #define OBD_FAIL_LFSCK_FATAL2           0x1609
544         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
545         sleep 3
546         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
547         [ "$STATUS" == "failed" ] ||
548                 error "(4) Expect 'failed', but got '$STATUS'"
549
550         local POSITION0=$($SHOW_NAMESPACE |
551                           awk '/^last_checkpoint_position/ { print $4 }')
552
553         #define OBD_FAIL_LFSCK_DELAY2           0x1601
554         do_facet $SINGLEMDS $LCTL set_param fail_val=1
555         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
556         $START_NAMESPACE || error "(5) Fail to start LFSCK for namespace!"
557
558         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
559         [ "$STATUS" == "scanning-phase1" ] ||
560                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
561
562         local POSITION1=$($SHOW_NAMESPACE |
563                           awk '/^latest_start_position/ { print $4 }')
564         if [ $POSITION0 -gt $POSITION1 ]; then
565                 [ $POSITION1 -eq 0 -a $POSITION0 -eq $((POSITION1 + 1)) ] ||
566                 error "(7) Expect larger than: $POSITION0, but got $POSITION1"
567         fi
568
569         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
570         do_facet $SINGLEMDS $LCTL set_param fail_val=0
571         sleep 3
572         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
573         [ "$STATUS" == "completed" ] ||
574                 error "(8) Expect 'completed', but got '$STATUS'"
575 }
576 run_test 6b "LFSCK resumes from last checkpoint (2)"
577
578 test_7a()
579 {
580         lfsck_prep 10 10
581         echo "start $SINGLEMDS"
582         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
583                 error "(1) Fail to start MDS!"
584
585         #define OBD_FAIL_LFSCK_DELAY2           0x1601
586         do_facet $SINGLEMDS $LCTL set_param fail_val=1
587         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
588         $START_NAMESPACE || error "(2) Fail to start LFSCK for namespace!"
589
590         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
591         [ "$STATUS" == "scanning-phase1" ] ||
592                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
593
594         # Sleep 3 sec to guarantee at least one object processed by LFSCK
595         sleep 3
596         echo "stop $SINGLEMDS"
597         stop $SINGLEMDS > /dev/null || error "(4) Fail to stop MDS!"
598
599         echo "start $SINGLEMDS"
600         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
601                 error "(5) Fail to start MDS!"
602
603         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
604         [ "$STATUS" == "scanning-phase1" ] ||
605                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
606
607         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
608         do_facet $SINGLEMDS $LCTL set_param fail_val=0
609         sleep 3
610         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
611         [ "$STATUS" == "completed" ] ||
612                 error "(7) Expect 'completed', but got '$STATUS'"
613 }
614 run_test 7a "non-stopped LFSCK should auto restarts after MDS remount (1)"
615
616 test_7b()
617 {
618         lfsck_prep 2 2
619         echo "start $SINGLEMDS"
620         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
621                 error "(1) Fail to start MDS!"
622
623         mount_client $MOUNT || error "(2) Fail to start client!"
624
625         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
626         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
627         for ((i = 0; i < 20; i++)); do
628                 touch $DIR/$tdir/dummy${i}
629         done
630
631         #define OBD_FAIL_LFSCK_DELAY3           0x1602
632         do_facet $SINGLEMDS $LCTL set_param fail_val=1
633         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1602
634         $START_NAMESPACE || error "(3) Fail to start LFSCK for namespace!"
635
636         sleep 3
637         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
638         [ "$STATUS" == "scanning-phase2" ] ||
639                 error "(4) Expect 'scanning-phase2', but got '$STATUS'"
640
641         echo "stop $SINGLEMDS"
642         stop $SINGLEMDS > /dev/null || error "(5) Fail to stop MDS!"
643
644         echo "start $SINGLEMDS"
645         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
646                 error "(6) Fail to start MDS!"
647
648         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
649         [ "$STATUS" == "scanning-phase2" ] ||
650                 error "(7) Expect 'scanning-phase2', but got '$STATUS'"
651
652         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
653         do_facet $SINGLEMDS $LCTL set_param fail_val=0
654         sleep 3
655         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
656         [ "$STATUS" == "completed" ] ||
657                 error "(8) Expect 'completed', but got '$STATUS'"
658 }
659 run_test 7b "non-stopped LFSCK should auto restarts after MDS remount (2)"
660
661 test_8()
662 {
663         lfsck_prep 20 20
664         echo "start $SINGLEMDS"
665         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
666                 error "(1) Fail to start MDS!"
667
668         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
669         [ "$STATUS" == "init" ] ||
670                 error "(2) Expect 'init', but got '$STATUS'"
671
672         mount_client $MOUNT || error "(3) Fail to start client!"
673
674         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
675         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
676         mkdir $DIR/$tdir/crashed
677
678         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
679         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
680         for ((i = 0; i < 5; i++)); do
681                 touch $DIR/$tdir/dummy${i}
682         done
683
684         #define OBD_FAIL_LFSCK_DELAY2           0x1601
685         do_facet $SINGLEMDS $LCTL set_param fail_val=2
686         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
687         $START_NAMESPACE || error "(4) Fail to start LFSCK for namespace!"
688
689         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
690         [ "$STATUS" == "scanning-phase1" ] ||
691                 error "(5) Expect 'scanning-phase1', but got '$STATUS'"
692
693         $STOP_LFSCK || error "(6) Fail to stop LFSCK!"
694
695         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
696         [ "$STATUS" == "stopped" ] ||
697                 error "(7) Expect 'stopped', but got '$STATUS'"
698
699         $START_NAMESPACE || error "(8) Fail to start LFSCK for namespace!"
700
701         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
702         [ "$STATUS" == "scanning-phase1" ] ||
703                 error "(9) Expect 'scanning-phase1', but got '$STATUS'"
704
705         #define OBD_FAIL_LFSCK_FATAL2           0x1609
706         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x80001609
707         sleep 3
708         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
709         [ "$STATUS" == "failed" ] ||
710                 error "(10) Expect 'failed', but got '$STATUS'"
711
712         #define OBD_FAIL_LFSCK_DELAY1           0x1600
713         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1600
714         $START_NAMESPACE || error "(11) Fail to start LFSCK for namespace!"
715
716         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
717         [ "$STATUS" == "scanning-phase1" ] ||
718                 error "(12) Expect 'scanning-phase1', but got '$STATUS'"
719
720         #define OBD_FAIL_LFSCK_CRASH            0x160a
721         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160a
722         sleep 5
723
724         echo "stop $SINGLEMDS"
725         stop $SINGLEMDS > /dev/null || error "(13) Fail to stop MDS!"
726
727         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
728         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
729
730         echo "start $SINGLEMDS"
731         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
732                 error "(14) Fail to start MDS!"
733
734         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
735         [ "$STATUS" == "crashed" ] ||
736                 error "(15) Expect 'crashed', but got '$STATUS'"
737
738         #define OBD_FAIL_LFSCK_DELAY2           0x1601
739         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1601
740         $START_NAMESPACE || error "(16) Fail to start LFSCK for namespace!"
741
742         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
743         [ "$STATUS" == "scanning-phase1" ] ||
744                 error "(17) Expect 'scanning-phase1', but got '$STATUS'"
745
746         echo "stop $SINGLEMDS"
747         stop $SINGLEMDS > /dev/null || error "(18) Fail to stop MDS!"
748
749         #define OBD_FAIL_LFSCK_NO_AUTO          0x160b
750         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160b
751
752         echo "start $SINGLEMDS"
753         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
754                 error "(19) Fail to start MDS!"
755
756         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
757         [ "$STATUS" == "paused" ] ||
758                 error "(20) Expect 'paused', but got '$STATUS'"
759
760         #define OBD_FAIL_LFSCK_DELAY3           0x1602
761         do_facet $SINGLEMDS $LCTL set_param fail_val=2
762         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1602
763
764         $START_NAMESPACE || error "(21) Fail to start LFSCK for namespace!"
765         sleep 2
766         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
767         [ "$STATUS" == "scanning-phase2" ] ||
768                 error "(22) Expect 'scanning-phase2', but got '$STATUS'"
769
770         local FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
771         [ "$FLAGS" == "scanned-once,inconsistent" ] ||
772                 error "(23) Expect 'scanned-once,inconsistent',but got '$FLAGS'"
773
774         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
775         do_facet $SINGLEMDS $LCTL set_param fail_val=0
776         sleep 2
777         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
778         [ "$STATUS" == "completed" ] ||
779                 error "(24) Expect 'completed', but got '$STATUS'"
780
781         FLAGS=$($SHOW_NAMESPACE | awk '/^flags/ { print $2 }')
782         [ -z "$FLAGS" ] || error "(25) Expect empty flags, but got '$FLAGS'"
783
784 }
785 run_test 8 "LFSCK state machine"
786
787 test_9a() {
788         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
789                 skip "Testing on UP system, the speed may be inaccurate."
790                 return 0
791         fi
792
793         lfsck_prep 70 70
794         echo "start $SINGLEMDS"
795         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
796                 error "(1) Fail to start MDS!"
797
798         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
799         [ "$STATUS" == "init" ] ||
800                 error "(2) Expect 'init', but got '$STATUS'"
801
802         local BASE_SPEED1=100
803         local RUN_TIME1=10
804         $START_NAMESPACE -s $BASE_SPEED1 || error "(3) Fail to start LFSCK!"
805
806         sleep $RUN_TIME1
807         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
808         [ "$STATUS" == "scanning-phase1" ] ||
809                 error "(3) Expect 'scanning-phase1', but got '$STATUS'"
810
811         local SPEED=$($SHOW_NAMESPACE |
812                       awk '/^average_speed_phase1/ { print $2 }')
813
814         # There may be time error, normally it should be less than 2 seconds.
815         # We allow another 20% schedule error.
816         local TIME_DIFF=2
817         # MAX_MARGIN = 1.2 = 12 / 10
818         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
819                            RUN_TIME1 * 12 / 10))
820         [ $SPEED -lt $MAX_SPEED ] ||
821                 error "(4) Got speed $SPEED, expected less than $MAX_SPEED"
822
823         # adjust speed limit
824         local BASE_SPEED2=300
825         local RUN_TIME2=10
826         do_facet $SINGLEMDS \
827                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
828         sleep $RUN_TIME2
829
830         SPEED=$($SHOW_NAMESPACE | awk '/^average_speed_phase1/ { print $2 }')
831         # MIN_MARGIN = 0.8 = 8 / 10
832         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
833                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
834                            (RUN_TIME1 + RUN_TIME2) * 8 / 10))
835         [ $SPEED -gt $MIN_SPEED ] ||
836                 error "(5) Got speed $SPEED, expected more than $MIN_SPEED"
837
838         # MAX_MARGIN = 1.2 = 12 / 10
839         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
840                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
841                      (RUN_TIME1 + RUN_TIME2) * 12 / 10))
842         [ $SPEED -lt $MAX_SPEED ] ||
843                 error "(6) Got speed $SPEED, expected less than $MAX_SPEED"
844
845         do_facet $SINGLEMDS \
846                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
847         sleep 5
848         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
849         [ "$STATUS" == "completed" ] ||
850                 error "(7) Expect 'completed', but got '$STATUS'"
851 }
852 run_test 9a "LFSCK speed control (1)"
853
854 test_9b() {
855         if [ -z "$(grep "processor.*: 1" /proc/cpuinfo)" ]; then
856                 skip "Testing on UP system, the speed may be inaccurate."
857                 return 0
858         fi
859
860         lfsck_prep 0 0
861         echo "start $SINGLEMDS"
862         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
863                 error "(1) Fail to start MDS!"
864
865         mount_client $MOUNT || error "(2) Fail to start client!"
866
867         echo "Another preparing... 50 * 50 files (with error) will be created."
868         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
869         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
870         for ((i = 0; i < 50; i++)); do
871                 mkdir -p $DIR/$tdir/d${i}
872                 touch $DIR/$tdir/f${i}
873                 for ((j = 0; j < 50; j++)); do
874                         touch $DIR/$tdir/d${i}/f${j}
875                 done
876         done
877
878         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
879         [ "$STATUS" == "init" ] ||
880                 error "(3) Expect 'init', but got '$STATUS'"
881
882         #define OBD_FAIL_LFSCK_NO_DOUBLESCAN    0x160c
883         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160c
884         $START_NAMESPACE || error "(4) Fail to start LFSCK!"
885
886         sleep 10
887         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
888         [ "$STATUS" == "stopped" ] ||
889                 error "(5) Expect 'stopped', but got '$STATUS'"
890
891         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
892
893         local BASE_SPEED1=50
894         local RUN_TIME1=10
895         $START_NAMESPACE -s $BASE_SPEED1 || error "(6) Fail to start LFSCK!"
896
897         sleep $RUN_TIME1
898         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
899         [ "$STATUS" == "scanning-phase2" ] ||
900                 error "(7) Expect 'scanning-phase2', but got '$STATUS'"
901
902         local SPEED=$($SHOW_NAMESPACE |
903                       awk '/^average_speed_phase2/ { print $2 }')
904         # There may be time error, normally it should be less than 2 seconds.
905         # We allow another 20% schedule error.
906         local TIME_DIFF=2
907         # MAX_MARGIN = 1.2 = 12 / 10
908         local MAX_SPEED=$((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) / \
909                           RUN_TIME1 * 12 / 10))
910         [ $SPEED -lt $MAX_SPEED ] ||
911                 error "(8) Got speed $SPEED, expected less than $MAX_SPEED"
912
913         # adjust speed limit
914         local BASE_SPEED2=150
915         local RUN_TIME2=10
916         do_facet $SINGLEMDS \
917                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit $BASE_SPEED2
918         sleep $RUN_TIME2
919
920         SPEED=$($SHOW_NAMESPACE | awk '/^average_speed_phase2/ { print $2 }')
921         # MIN_MARGIN = 0.8 = 8 / 10
922         local MIN_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 - TIME_DIFF) + \
923                             BASE_SPEED2 * (RUN_TIME2 - TIME_DIFF)) / \
924                            (RUN_TIME1 + RUN_TIME2) * 8 / 10))
925         [ $SPEED -gt $MIN_SPEED ] ||
926                 error "(9) Got speed $SPEED, expected more than $MIN_SPEED"
927
928         # MAX_MARGIN = 1.2 = 12 / 10
929         MAX_SPEED=$(((BASE_SPEED1 * (RUN_TIME1 + TIME_DIFF) + \
930                       BASE_SPEED2 * (RUN_TIME2 + TIME_DIFF)) / \
931                      (RUN_TIME1 + RUN_TIME2) * 12 / 10))
932         [ $SPEED -lt $MAX_SPEED ] ||
933                 error "(10) Got speed $SPEED, expected less than $MAX_SPEED"
934
935         do_facet $SINGLEMDS \
936                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
937         sleep 5
938         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
939         [ "$STATUS" == "completed" ] ||
940                 error "(11) Expect 'completed', but got '$STATUS'"
941 }
942 run_test 9b "LFSCK speed control (2)"
943
944 test_10()
945 {
946         [ $(facet_fstype $SINGLEMDS) != ldiskfs ] &&
947                 skip "lookup(..)/linkea on ZFS issue" && return
948
949         lfsck_prep 1 1
950         echo "start $SINGLEMDS"
951         start $SINGLEMDS $MDT_DEVNAME $MOUNT_OPTS_SCRUB > /dev/null ||
952                 error "(1) Fail to start MDS!"
953
954         mount_client $MOUNT || error "(2) Fail to start client!"
955
956         #define OBD_FAIL_LFSCK_LINKEA_CRASH     0x1603
957         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1603
958         for ((i = 0; i < 1000; i = $((i+2)))); do
959                 mkdir -p $DIR/$tdir/d${i}
960                 touch $DIR/$tdir/f${i}
961                 for ((j = 0; j < 5; j++)); do
962                         touch $DIR/$tdir/d${i}/f${j}
963                 done
964         done
965
966         #define OBD_FAIL_LFSCK_LINKEA_MORE      0x1604
967         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1604
968         for ((i = 1; i < 1000; i = $((i+2)))); do
969                 mkdir -p $DIR/$tdir/d${i}
970                 touch $DIR/$tdir/f${i}
971                 for ((j = 0; j < 5; j++)); do
972                         touch $DIR/$tdir/d${i}/f${j}
973                 done
974         done
975
976         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
977         ln $DIR/$tdir/f200 $DIR/$tdir/d200/dummy
978
979         umount_client $MOUNT
980         mount_client $MOUNT || error "(3) Fail to start client!"
981
982         local STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
983         [ "$STATUS" == "init" ] ||
984                 error "(4) Expect 'init', but got '$STATUS'"
985
986         $START_NAMESPACE -s 100 || error "(5) Fail to start LFSCK!"
987
988         sleep 10
989         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
990         [ "$STATUS" == "scanning-phase1" ] ||
991                 error "(6) Expect 'scanning-phase1', but got '$STATUS'"
992
993         ls -ailR $MOUNT > /dev/null || error "(7) Fail to ls!"
994
995         touch $DIR/$tdir/d198/a0 || error "(8) Fail to touch!"
996
997         mkdir $DIR/$tdir/d199/a1 || error "(9) Fail to mkdir!"
998
999         unlink $DIR/$tdir/f200 || error "(10) Fail to unlink!"
1000
1001         rm -rf $DIR/$tdir/d201 || error "(11) Fail to rmdir!"
1002
1003         mv $DIR/$tdir/f202 $DIR/$tdir/d203/ || error "(12) Fail to rename!"
1004
1005         ln $DIR/$tdir/f204 $DIR/$tdir/d205/a3 || error "(13) Fail to hardlink!"
1006
1007         ln -s $DIR/$tdir/d206 $DIR/$tdir/d207/a4 ||
1008                 error "(14) Fail to softlink!"
1009
1010         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1011         [ "$STATUS" == "scanning-phase1" ] ||
1012                 error "(15) Expect 'scanning-phase1', but got '$STATUS'"
1013
1014         do_facet $SINGLEMDS \
1015                 $LCTL set_param -n mdd.${MDT_DEV}.lfsck_speed_limit 0
1016         umount_client $MOUNT
1017         sleep 10
1018         STATUS=$($SHOW_NAMESPACE | awk '/^status/ { print $2 }')
1019         [ "$STATUS" == "completed" ] ||
1020                 error "(16) Expect 'completed', but got '$STATUS'"
1021 }
1022 run_test 10 "System is available during LFSCK scanning"
1023
1024 # remove LAST_ID
1025 ost_remove_lastid() {
1026         local ost=$1
1027         local idx=$2
1028         local rcmd="do_facet ost${ost}"
1029
1030         echo "remove LAST_ID on ost${ost}: idx=${idx}"
1031
1032         # step 1: local mount
1033         mount_fstype ost${ost} || return 1
1034         # step 2: remove the specified LAST_ID
1035         ${rcmd} rm -fv $(facet_mntpt ost${ost})/O/${idx}/{LAST_ID,d0/0}
1036         # step 3: umount
1037         unmount_fstype ost${ost} || return 2
1038 }
1039
1040 test_11a() {
1041         echo "stopall"
1042         stopall > /dev/null
1043         echo "formatall"
1044         formatall > /dev/null
1045         echo "setupall"
1046         setupall > /dev/null
1047
1048         mkdir -p $DIR/$tdir
1049         $SETSTRIPE -c 1 -i 0 $DIR/$tdir
1050         createmany -o $DIR/$tdir/f 64
1051
1052         echo "stopall"
1053         stopall > /dev/null
1054
1055         ost_remove_lastid 1 0 || error "(1) Fail to remove LAST_ID"
1056
1057         echo "start ost1"
1058         start ost1 $(ostdevname 1) $MOUNT_OPTS_NOSCRUB > /dev/null ||
1059                 error "(2) Fail to start ost1"
1060
1061         local STATUS=$($SHOW_LAYOUT_ON_OST | awk '/^status/ { print $2 }')
1062         [ "$STATUS" == "init" ] ||
1063                 error "(3) Expect 'init', but got '$STATUS'"
1064
1065         #define OBD_FAIL_LFSCK_DELAY4           0x160e
1066         do_facet ost1 $LCTL set_param fail_val=3
1067         do_facet ost1 $LCTL set_param fail_loc=0x160e
1068
1069         echo "trigger LFSCK for layout on ost1 to rebuild the LAST_ID(s)"
1070         $START_LAYOUT_ON_OST || error "(4) Fail to start LFSCK on OST!"
1071
1072         wait_update_facet ost1 "$LCTL get_param -n \
1073                 obdfilter.${OST_DEV}.lfsck_layout |
1074                 awk '/^flags/ { print \\\$2 }'" "crashed_lastid" 60 || {
1075                 $SHOW_LAYOUT_ON_OST
1076                 return 5
1077         }
1078
1079         do_facet ost1 $LCTL set_param fail_val=0
1080         do_facet ost1 $LCTL set_param fail_loc=0
1081
1082         wait_update_facet ost1 "$LCTL get_param -n \
1083                 obdfilter.${OST_DEV}.lfsck_layout |
1084                 awk '/^status/ { print \\\$2 }'" "completed" 3 || {
1085                 $SHOW_LAYOUT_ON_OST
1086                 return 6
1087         }
1088
1089         echo "the LAST_ID(s) should have been rebuilt"
1090         FLAGS=$($SHOW_LAYOUT_ON_OST | awk '/^flags/ { print $2 }')
1091         [ -z "$FLAGS" ] || error "(7) Expect empty flags, but got '$FLAGS'"
1092 }
1093 run_test 11a "LFSCK can rebuild lost last_id"
1094
1095 test_11b() {
1096         echo "stopall"
1097         stopall > /dev/null
1098         echo "formatall"
1099         formatall > /dev/null
1100         echo "setupall"
1101         setupall > /dev/null
1102
1103         mkdir -p $DIR/$tdir
1104         $SETSTRIPE -c 1 -i 0 $DIR/$tdir
1105
1106         echo "set fail_loc=0x160d to skip the updating LAST_ID on-disk"
1107         #define OBD_FAIL_LFSCK_SKIP_LASTID      0x160d
1108         do_facet ost1 $LCTL set_param fail_loc=0x160d
1109         createmany -o $DIR/$tdir/f 64
1110         local lastid1=$(do_facet ost1 "lctl get_param -n \
1111                 obdfilter.${ost1_svc}.last_id" | grep 0x100000000 |
1112                 awk -F: '{ print $2 }')
1113
1114         umount_client $MOUNT
1115         echo "stop ost1"
1116         stop ost1 || error "(1) Fail to stop ost1"
1117
1118         #define OBD_FAIL_OST_ENOSPC              0x215
1119         do_facet ost1 $LCTL set_param fail_loc=0x215
1120
1121         echo "start ost1"
1122         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1123                 error "(2) Fail to start ost1"
1124
1125         local STATUS=$($SHOW_LAYOUT_ON_OST | awk '/^status/ { print $2 }')
1126         [ "$STATUS" == "init" ] ||
1127                 error "(3) Expect 'init', but got '$STATUS'"
1128
1129         for ((i = 0; i < 60; i++)); do
1130                 lastid2=$(do_facet ost1 "lctl get_param -n \
1131                         obdfilter.${ost1_svc}.last_id" | grep 0x100000000 |
1132                         awk -F: '{ print $2 }')
1133                 [ ! -z $lastid2 ] && break;
1134                 sleep 1
1135         done
1136
1137         echo "the on-disk LAST_ID should be smaller than the expected one"
1138         [ $lastid1 -gt $lastid2 ] ||
1139                 error "(4) expect lastid1 [ $lastid1 ] > lastid2 [ $lastid2 ]"
1140
1141         echo "trigger LFSCK for layout on ost1 to rebuild the on-disk LAST_ID"
1142         $START_LAYOUT_ON_OST || error "(5) Fail to start LFSCK on OST!"
1143
1144         wait_update_facet ost1 "$LCTL get_param -n \
1145                 obdfilter.${OST_DEV}.lfsck_layout |
1146                 awk '/^status/ { print \\\$2 }'" "completed" 3 || {
1147                 $SHOW_LAYOUT_ON_OST
1148                 return 6
1149         }
1150
1151         echo "stop ost1"
1152         stop ost1 || error "(7) Fail to stop ost1"
1153
1154         echo "start ost1"
1155         start ost1 $(ostdevname 1) $OST_MOUNT_OPTS ||
1156                 error "(8) Fail to start ost1"
1157
1158         echo "the on-disk LAST_ID should have been rebuilt"
1159         wait_update_facet ost1 "$LCTL get_param -n \
1160                 obdfilter.${ost1_svc}.last_id | grep 0x100000000 |
1161                 awk -F: '{ print \\\$2 }'" "$lastid1" 60 || {
1162                 $LCTL get_param -n obdfilter.${ost1_svc}.last_id
1163                 error "(9) expect lastid1 0x100000000:$lastid1"
1164         }
1165
1166         do_facet ost1 $LCTL set_param fail_loc=0
1167 }
1168 run_test 11b "LFSCK can rebuild crashed last_id"
1169
1170 test_12() {
1171         [ $MDSCOUNT -lt 2 ] &&
1172                 skip "We need at least 2 MDSes for test_12" && exit 0
1173
1174         echo "stopall"
1175         stopall > /dev/null
1176         echo "formatall"
1177         formatall > /dev/null
1178         echo "setupall"
1179         setupall > /dev/null
1180
1181         mkdir -p $DIR/$tdir
1182
1183         echo "All the LFSCK targets should be in 'init' status."
1184         for k in $(seq $MDSCOUNT); do
1185                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1186                                 mdd.$(facet_svc mds${k}).lfsck_layout |
1187                                 awk '/^status/ { print $2 }')
1188                 [ "$STATUS" == "init" ] ||
1189                         error "(1) MDS${k} Expect 'init', but got '$STATUS'"
1190
1191                 $LFS mkdir -i $((k - 1)) $DIR/$tdir/${k}
1192                 createmany -o $DIR/$tdir/${k}/f 100
1193         done
1194
1195         echo "Start namespace LFSCK on all targets by single command (-s 1)."
1196         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1197                 -s 1 || error "(2) Fail to start LFSCK on all devices!"
1198
1199         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1200         for k in $(seq $MDSCOUNT); do
1201                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1202                                 mdd.$(facet_svc mds${k}).lfsck_namespace |
1203                                 awk '/^status/ { print $2 }')
1204                 [ "$STATUS" == "scanning-phase1" ] ||
1205                 error "(3) MDS${k} Expect 'scanning-phase1', but got '$STATUS'"
1206         done
1207
1208         echo "Stop namespace LFSCK on all targets by single lctl command."
1209         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1210                 error "(4) Fail to stop LFSCK on all devices!"
1211
1212         echo "All the LFSCK targets should be in 'stopped' status."
1213         for k in $(seq $MDSCOUNT); do
1214                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1215                                 mdd.$(facet_svc mds${k}).lfsck_namespace |
1216                                 awk '/^status/ { print $2 }')
1217                 [ "$STATUS" == "stopped" ] ||
1218                         error "(5) MDS${k} Expect 'stopped', but got '$STATUS'"
1219         done
1220
1221         echo "Re-start namespace LFSCK on all targets by single command (-s 0)."
1222         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t namespace -A \
1223                 -s 0 -r || error "(6) Fail to start LFSCK on all devices!"
1224
1225         echo "All the LFSCK targets should be in 'completed' status."
1226         for k in $(seq $MDSCOUNT); do
1227                 wait_update_facet mds${k} "$LCTL get_param -n \
1228                         mdd.$(facet_svc mds${k}).lfsck_namespace |
1229                         awk '/^status/ { print \\\$2 }'" "completed" 8 ||
1230                         error "(7) MDS${k} is not the expected 'completed'"
1231         done
1232
1233         echo "Start layout LFSCK on all targets by single command (-s 1)."
1234         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1235                 -s 1 || error "(8) Fail to start LFSCK on all devices!"
1236
1237         echo "All the LFSCK targets should be in 'scanning-phase1' status."
1238         for k in $(seq $MDSCOUNT); do
1239                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1240                                 mdd.$(facet_svc mds${k}).lfsck_layout |
1241                                 awk '/^status/ { print $2 }')
1242                 [ "$STATUS" == "scanning-phase1" ] ||
1243                 error "(9) MDS${k} Expect 'scanning-phase1', but got '$STATUS'"
1244         done
1245
1246         echo "Stop layout LFSCK on all targets by single lctl command."
1247         do_facet mds1 $LCTL lfsck_stop -M ${FSNAME}-MDT0000 -A ||
1248                 error "(10) Fail to stop LFSCK on all devices!"
1249
1250         echo "All the LFSCK targets should be in 'stopped' status."
1251         for k in $(seq $MDSCOUNT); do
1252                 local STATUS=$(do_facet mds${k} $LCTL get_param -n \
1253                                 mdd.$(facet_svc mds${k}).lfsck_layout |
1254                                 awk '/^status/ { print $2 }')
1255                 [ "$STATUS" == "stopped" ] ||
1256                         error "(11) MDS${k} Expect 'stopped', but got '$STATUS'"
1257         done
1258
1259         for k in $(seq $OSTCOUNT); do
1260                 local STATUS=$(do_facet ost${k} $LCTL get_param -n \
1261                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1262                                 awk '/^status/ { print $2 }')
1263                 [ "$STATUS" == "stopped" ] ||
1264                         error "(12) OST${k} Expect 'stopped', but got '$STATUS'"
1265         done
1266
1267         echo "Re-start layout LFSCK on all targets by single command (-s 0)."
1268         do_facet mds1 $LCTL lfsck_start -M ${FSNAME}-MDT0000 -t layout -A \
1269                 -s 0 -r || error "(13) Fail to start LFSCK on all devices!"
1270
1271         echo "All the LFSCK targets should be in 'completed' status."
1272         for k in $(seq $MDSCOUNT); do
1273                 # The LFSCK status query internal is 30 seconds. For the case
1274                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1275                 # time to guarantee the status sync up.
1276                 wait_update_facet mds${k} "$LCTL get_param -n \
1277                         mdd.$(facet_svc mds${k}).lfsck_layout |
1278                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1279                         error "(14) MDS${k} is not the expected 'completed'"
1280         done
1281 }
1282 run_test 12 "single command to trigger LFSCK on all devices"
1283
1284 test_13() {
1285         echo "#####"
1286         echo "The lmm_oi in layout EA should be consistent with the MDT-object"
1287         echo "FID; otherwise, the LFSCK should re-generate the lmm_oi from the"
1288         echo "MDT-object FID."
1289         echo "#####"
1290
1291         echo "stopall"
1292         stopall > /dev/null
1293         echo "formatall"
1294         formatall > /dev/null
1295         echo "setupall"
1296         setupall > /dev/null
1297
1298         mkdir -p $DIR/$tdir
1299
1300         echo "Inject failure stub to simulate bad lmm_oi"
1301         #define OBD_FAIL_LFSCK_BAD_LMMOI        0x160f
1302         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x160f
1303         createmany -o $DIR/$tdir/f 32
1304         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1305
1306         echo "stopall to cleanup object cache"
1307         stopall > /dev/null
1308         echo "setupall"
1309         setupall > /dev/null
1310
1311         echo "Trigger layout LFSCK to find out the bad lmm_oi and fix them"
1312         $START_LAYOUT || error "(1) Fail to start LFSCK for layout!"
1313
1314         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1315                 mdd.${MDT_DEV}.lfsck_layout |
1316                 awk '/^status/ { print \\\$2 }'" "completed" 3 || return 2
1317
1318         local repaired=$($SHOW_LAYOUT |
1319                          awk '/^repaired_others/ { print $2 }')
1320         [ $repaired -eq 32 ] ||
1321                 error "(3) Fail to repair crashed lmm_oi: $repaired"
1322 }
1323 run_test 13 "LFSCK can repair crashed lmm_oi"
1324
1325 test_14() {
1326         echo "#####"
1327         echo "The OST-object referenced by the MDT-object should be there;"
1328         echo "otherwise, the LFSCK should re-create the missed OST-object."
1329         echo "#####"
1330
1331         echo "stopall"
1332         stopall > /dev/null
1333         echo "formatall"
1334         formatall > /dev/null
1335         echo "setupall"
1336         setupall > /dev/null
1337
1338         mkdir -p $DIR/$tdir
1339         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1340
1341         echo "Inject failure stub to simulate dangling referenced MDT-object"
1342         #define OBD_FAIL_LFSCK_DANGLING 0x1610
1343         do_facet ost1 $LCTL set_param fail_loc=0x1610
1344         createmany -o $DIR/$tdir/f 64
1345         do_facet ost1 $LCTL set_param fail_loc=0
1346
1347         echo "stopall to cleanup object cache"
1348         stopall > /dev/null
1349         echo "setupall"
1350         setupall > /dev/null
1351
1352         echo "'ls' should fail because of dangling referenced MDT-object"
1353         ls -ail $DIR/$tdir > /dev/null 2>&1 && error "(1) ls should fail."
1354
1355         echo "Trigger layout LFSCK to find out dangling reference and fix them"
1356         $START_LAYOUT || error "(2) Fail to start LFSCK for layout!"
1357
1358         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1359                 mdd.${MDT_DEV}.lfsck_layout |
1360                 awk '/^status/ { print \\\$2 }'" "completed" 6 || return 3
1361
1362         local repaired=$($SHOW_LAYOUT |
1363                          awk '/^repaired_dangling/ { print $2 }')
1364         [ $repaired -eq 32 ] ||
1365                 error "(4) Fail to repair dangling reference: $repaired"
1366
1367         echo "'ls' should success after layout LFSCK repairing"
1368         ls -ail $DIR/$tdir > /dev/null || error "(5) ls should success."
1369 }
1370 run_test 14 "LFSCK can repair MDT-object with dangling reference"
1371
1372 test_15a() {
1373         echo "#####"
1374         echo "If the OST-object referenced by the MDT-object back points"
1375         echo "to some non-exist MDT-object, then the LFSCK should repair"
1376         echo "the OST-object to back point to the right MDT-object."
1377         echo "#####"
1378
1379         echo "stopall"
1380         stopall > /dev/null
1381         echo "formatall"
1382         formatall > /dev/null
1383         echo "setupall"
1384         setupall > /dev/null
1385
1386         mkdir -p $DIR/$tdir
1387         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1388
1389         echo "Inject failure stub to make the OST-object to back point to"
1390         echo "non-exist MDT-object."
1391         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
1392
1393         do_facet ost1 $LCTL set_param fail_loc=0x1611
1394         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1395         cancel_lru_locks osc
1396         sync
1397         sleep 2
1398         do_facet ost1 $LCTL set_param fail_loc=0
1399
1400         echo "stopall to cleanup object cache"
1401         stopall > /dev/null
1402         echo "setupall"
1403         setupall > /dev/null
1404
1405         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1406         $START_LAYOUT || error "(1) Fail to start LFSCK for layout!"
1407
1408         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1409                 mdd.${MDT_DEV}.lfsck_layout |
1410                 awk '/^status/ { print \\\$2 }'" "completed" 3 || return 2
1411
1412         local repaired=$($SHOW_LAYOUT |
1413                          awk '/^repaired_unmatched_pair/ { print $2 }')
1414         [ $repaired -eq 1 ] ||
1415                 error "(3) Fail to repair unmatched pair: $repaired"
1416 }
1417 run_test 15a "LFSCK can repair unmatched MDT-object/OST-object pairs (1)"
1418
1419 test_15b() {
1420         echo "#####"
1421         echo "If the OST-object referenced by the MDT-object back points"
1422         echo "to other MDT-object that doesn't recognize the OST-object,"
1423         echo "then the LFSCK should repair it to back point to the right"
1424         echo "MDT-object (the first one)."
1425         echo "#####"
1426
1427         echo "stopall"
1428         stopall > /dev/null
1429         echo "formatall"
1430         formatall > /dev/null
1431         echo "setupall"
1432         setupall > /dev/null
1433
1434         mkdir -p $DIR/$tdir
1435         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1436         touch $DIR/$tdir/guard
1437
1438         echo "Inject failure stub to make the OST-object to back point to"
1439         echo "other MDT-object"
1440
1441         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR2  0x1612
1442         do_facet ost1 $LCTL set_param fail_loc=0x1612
1443         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1444         cancel_lru_locks osc
1445         sync
1446         sleep 2
1447         do_facet ost1 $LCTL set_param fail_loc=0
1448
1449         echo "stopall to cleanup object cache"
1450         stopall > /dev/null
1451         echo "setupall"
1452         setupall > /dev/null
1453
1454         echo "Trigger layout LFSCK to find out unmatched pairs and fix them"
1455         $START_LAYOUT || error "(1) Fail to start LFSCK for layout!"
1456
1457         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1458                 mdd.${MDT_DEV}.lfsck_layout |
1459                 awk '/^status/ { print \\\$2 }'" "completed" 3 || return 2
1460
1461         local repaired=$($SHOW_LAYOUT |
1462                          awk '/^repaired_unmatched_pair/ { print $2 }')
1463         [ $repaired -eq 1 ] ||
1464                 error "(3) Fail to repair unmatched pair: $repaired"
1465 }
1466 run_test 15b "LFSCK can repair unmatched MDT-object/OST-object pairs (2)"
1467
1468 test_16() {
1469         echo "#####"
1470         echo "If the OST-object's owner information does not match the owner"
1471         echo "information stored in the MDT-object, then the LFSCK trust the"
1472         echo "MDT-object and update the OST-object's owner information."
1473         echo "#####"
1474
1475         echo "stopall"
1476         stopall > /dev/null
1477         echo "formatall"
1478         formatall > /dev/null
1479         echo "setupall"
1480         setupall > /dev/null
1481
1482         mkdir -p $DIR/$tdir
1483         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1484         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=1
1485         cancel_lru_locks osc
1486         sync
1487         sleep 2
1488
1489         echo "Inject failure stub to skip OST-object owner changing"
1490         #define OBD_FAIL_LFSCK_BAD_OWNER        0x1613
1491         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1613
1492         chown 1.1 $DIR/$tdir/f0
1493         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1494
1495         echo "Trigger layout LFSCK to find out inconsistent OST-object owner"
1496         echo "and fix them"
1497
1498         $START_LAYOUT || error "(1) Fail to start LFSCK for layout!"
1499
1500         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1501                 mdd.${MDT_DEV}.lfsck_layout |
1502                 awk '/^status/ { print \\\$2 }'" "completed" 3 || return 2
1503
1504         local repaired=$($SHOW_LAYOUT |
1505                          awk '/^repaired_inconsistent_owner/ { print $2 }')
1506         [ $repaired -eq 1 ] ||
1507                 error "(3) Fail to repair inconsistent owner: $repaired"
1508 }
1509 run_test 16 "LFSCK can repair inconsistent MDT-object/OST-object owner"
1510
1511 test_17() {
1512         echo "#####"
1513         echo "If more than one MDT-objects reference the same OST-object,"
1514         echo "and the OST-object only recognizes one MDT-object, then the"
1515         echo "LFSCK should create new OST-objects for such non-recognized"
1516         echo "MDT-objects."
1517         echo "#####"
1518
1519         echo "stopall"
1520         stopall > /dev/null
1521         echo "formatall"
1522         formatall > /dev/null
1523         echo "setupall"
1524         setupall > /dev/null
1525
1526         mkdir -p $DIR/$tdir
1527         $LFS setstripe -c 1 -i 0 $DIR/$tdir
1528
1529         echo "Inject failure stub to make two MDT-objects to refernce"
1530         echo "the OST-object"
1531
1532         do_facet $SINGLEMDS $LCTL set_param fail_val=0
1533         #define OBD_FAIL_LFSCK_MULTIPLE_REF     0x1614
1534         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1614
1535
1536         dd if=/dev/zero of=$DIR/$tdir/guard bs=1M count=1
1537         cancel_lru_locks osc
1538         sync
1539         sleep 2
1540
1541         createmany -o $DIR/$tdir/f 1 > /dev/null 2>&1
1542
1543         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1544         do_facet $SINGLEMDS $LCTL set_param fail_val=0
1545
1546         echo "stopall to cleanup object cache"
1547         stopall > /dev/null
1548         echo "setupall"
1549         setupall > /dev/null
1550
1551         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard use the same OST-objects"
1552         local size=$(ls -l $DIR/$tdir/f0 | awk '{ print $5 }')
1553         [ $size -eq 1048576 ] ||
1554                 error "(1) f0 (wrong) size should be 1048576, but got $size"
1555
1556         echo "Trigger layout LFSCK to find out multiple refenced MDT-objects"
1557         echo "and fix them"
1558
1559         $START_LAYOUT || error "(2) Fail to start LFSCK for layout!"
1560
1561         wait_update_facet $SINGLEMDS "$LCTL get_param -n \
1562                 mdd.${MDT_DEV}.lfsck_layout |
1563                 awk '/^status/ { print \\\$2 }'" "completed" 3 || return 3
1564
1565         local repaired=$($SHOW_LAYOUT |
1566                          awk '/^repaired_multiple_referenced/ { print $2 }')
1567         [ $repaired -eq 1 ] ||
1568                 error "(4) Fail to repair multiple references: $repaired"
1569
1570         echo "$DIR/$tdir/f0 and $DIR/$tdir/guard should use diff OST-objects"
1571         dd if=/dev/zero of=$DIR/$tdir/f0 bs=1M count=2 ||
1572                 error "(5) Fail to write f0."
1573         size=$(ls -l $DIR/$tdir/guard | awk '{ print $5 }')
1574         [ $size -eq 1048576 ] ||
1575                 error "(6) guard size should be 1048576, but got $size"
1576 }
1577 run_test 17 "LFSCK can repair multiple references"
1578
1579 test_18a() {
1580         [ $MDSCOUNT -lt 2 ] &&
1581                 skip "We need at least 2 MDSes for test_18a" && exit 0
1582
1583         [ $OSTCOUNT -lt 2 ] &&
1584                 skip "We need at least 2 OSTs for test_18a" && exit 0
1585
1586         echo "#####"
1587         echo "The target MDT-object is there, but related stripe information"
1588         echo "is lost or partly lost. The LFSCK should regenerate the missed"
1589         echo "layout EA entries."
1590         echo "#####"
1591
1592         echo "stopall"
1593         stopall > /dev/null
1594         echo "formatall"
1595         formatall > /dev/null
1596         echo "setupall"
1597         setupall > /dev/null
1598
1599         mkdir -p $DIR/$tdir
1600         $LFS mkdir -i 0 $DIR/$tdir/a1
1601         $LFS mkdir -i 1 $DIR/$tdir/a2
1602         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1603         $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1604         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1605         dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1606
1607         local saved_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1608
1609         $LFS path2fid $DIR/$tdir/a1/f1
1610         $LFS getstripe $DIR/$tdir/a1/f1
1611         $LFS path2fid $DIR/$tdir/a2/f2
1612         $LFS getstripe $DIR/$tdir/a2/f2
1613         sync
1614         cancel_lru_locks osc
1615
1616         echo "Inject failure, to make the MDT-object lost its layout EA"
1617         #define OBD_FAIL_LFSCK_LOST_STRIPE 0x1615
1618         do_facet mds1 $LCTL set_param fail_loc=0x1615
1619         chown 1.1 $DIR/$tdir/a1/f1
1620         do_facet mds2 $LCTL set_param fail_loc=0x1615
1621         chown 1.1 $DIR/$tdir/a2/f2
1622         sync
1623         sleep 2
1624         do_facet mds1 $LCTL set_param fail_loc=0
1625         do_facet mds2 $LCTL set_param fail_loc=0
1626
1627         echo "stopall to cleanup object cache"
1628         stopall > /dev/null
1629         echo "setupall"
1630         setupall > /dev/null
1631
1632         echo "The file size should be incorrect since layout EA is lost"
1633         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1634         [ "$cur_size" != "$saved_size" ] ||
1635                 error "(1) Expect incorrect file1 size"
1636
1637         cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1638         [ "$cur_size" != "$saved_size" ] ||
1639                 error "(2) Expect incorrect file2 size"
1640
1641         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1642         $START_LAYOUT -o || error "(3) Fail to start LFSCK for layout!"
1643
1644         for k in $(seq $MDSCOUNT); do
1645                 # The LFSCK status query internal is 30 seconds. For the case
1646                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1647                 # time to guarantee the status sync up.
1648                 wait_update_facet mds${k} "$LCTL get_param -n \
1649                         mdd.$(facet_svc mds${k}).lfsck_layout |
1650                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1651                         error "(4) MDS${k} is not the expected 'completed'"
1652         done
1653
1654         for k in $(seq $OSTCOUNT); do
1655                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1656                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1657                                 awk '/^status/ { print $2 }')
1658                 [ "$cur_status" == "completed" ] ||
1659                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
1660         done
1661
1662         for k in 1 2; do
1663                 local repaired=$(do_facet mds${k} $LCTL get_param -n \
1664                                  mdd.$(facet_svc mds${k}).lfsck_layout |
1665                                  awk '/^repaired_orphan/ { print $2 }')
1666                 [ $repaired -eq ${k} ] ||
1667                 error "(6) Expect ${k} fixed on mds${k}, but got: $repaired"
1668         done
1669
1670         $LFS path2fid $DIR/$tdir/a1/f1
1671         $LFS getstripe $DIR/$tdir/a1/f1
1672         $LFS path2fid $DIR/$tdir/a2/f2
1673         $LFS getstripe $DIR/$tdir/a2/f2
1674
1675         echo "The file size should be correct after layout LFSCK scanning"
1676         cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1677         [ "$cur_size" == "$saved_size" ] ||
1678                 error "(7) Expect file1 size $saved_size, but got $cur_size"
1679
1680         cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1681         [ "$cur_size" == "$saved_size" ] ||
1682                 error "(8) Expect file2 size $saved_size, but got $cur_size"
1683 }
1684 run_test 18a "Find out orphan OST-object and repair it (1)"
1685
1686 test_18b() {
1687         [ $MDSCOUNT -lt 2 ] &&
1688                 skip "We need at least 2 MDSes for test_18b" && exit 0
1689
1690         [ $OSTCOUNT -lt 2 ] &&
1691                 skip "We need at least 2 OSTs for test_18b" && exit 0
1692
1693         echo "#####"
1694         echo "The target MDT-object is lost. The LFSCK should re-create the"
1695         echo "MDT-object under .lustre/lost+found/MDTxxxx. The admin should"
1696         echo "can move it back to normal namespace manually."
1697         echo "#####"
1698
1699         echo "stopall"
1700         stopall > /dev/null
1701         echo "formatall"
1702         formatall > /dev/null
1703         echo "setupall"
1704         setupall > /dev/null
1705
1706         mkdir -p $DIR/$tdir
1707         $LFS mkdir -i 0 $DIR/$tdir/a1
1708         $LFS mkdir -i 1 $DIR/$tdir/a2
1709         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1710         $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1711         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1712         dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1713         local saved_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1714         local fid1=$($LFS path2fid $DIR/$tdir/a1/f1)
1715         echo ${fid1}
1716         $LFS getstripe $DIR/$tdir/a1/f1
1717         local fid2=$($LFS path2fid $DIR/$tdir/a2/f2)
1718         echo ${fid2}
1719         $LFS getstripe $DIR/$tdir/a2/f2
1720         sync
1721         cancel_lru_locks osc
1722
1723         echo "Inject failure, to simulate the case of missing the MDT-object"
1724         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
1725         do_facet mds1 $LCTL set_param fail_loc=0x1616
1726         rm -f $DIR/$tdir/a1/f1
1727         do_facet mds2 $LCTL set_param fail_loc=0x1616
1728         rm -f $DIR/$tdir/a2/f2
1729         sync
1730         sleep 2
1731         do_facet mds1 $LCTL set_param fail_loc=0
1732         do_facet mds2 $LCTL set_param fail_loc=0
1733
1734         echo "stopall to cleanup object cache"
1735         stopall > /dev/null
1736         echo "setupall"
1737         setupall > /dev/null
1738
1739         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1740         $START_LAYOUT -o || error "(1) Fail to start LFSCK for layout!"
1741
1742         for k in $(seq $MDSCOUNT); do
1743                 # The LFSCK status query internal is 30 seconds. For the case
1744                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1745                 # time to guarantee the status sync up.
1746                 wait_update_facet mds${k} "$LCTL get_param -n \
1747                         mdd.$(facet_svc mds${k}).lfsck_layout |
1748                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1749                         error "(2) MDS${k} is not the expected 'completed'"
1750         done
1751
1752         for k in $(seq $OSTCOUNT); do
1753                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1754                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1755                                 awk '/^status/ { print $2 }')
1756                 [ "$cur_status" == "completed" ] ||
1757                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
1758         done
1759
1760         for k in 1 2; do
1761                 local repaired=$(do_facet mds${k} $LCTL get_param -n \
1762                                  mdd.$(facet_svc mds${k}).lfsck_layout |
1763                                  awk '/^repaired_orphan/ { print $2 }')
1764                 [ $repaired -eq ${k} ] ||
1765                 error "(4) Expect ${k} fixed on mds${k}, but got: $repaired"
1766         done
1767
1768         echo "Move the files from ./lustre/lost+found/MDTxxxx to namespace"
1769         mv $MOUNT/.lustre/lost+found/MDT0000/R-${fid1} $DIR/$tdir/a1/f1 ||
1770         error "(5) Fail to move $MOUNT/.lustre/lost+found/MDT0000/R-${fid1}"
1771
1772         mv $MOUNT/.lustre/lost+found/MDT0001/R-${fid2} $DIR/$tdir/a2/f2 ||
1773         error "(6) Fail to move $MOUNT/.lustre/lost+found/MDT0001/R-${fid2}"
1774
1775         $LFS path2fid $DIR/$tdir/a1/f1
1776         $LFS getstripe $DIR/$tdir/a1/f1
1777         $LFS path2fid $DIR/$tdir/a2/f2
1778         $LFS getstripe $DIR/$tdir/a2/f2
1779
1780         echo "The file size should be correct after layout LFSCK scanning"
1781         local cur_size=$(ls -il $DIR/$tdir/a1/f1 | awk '{ print $6 }')
1782         [ "$cur_size" == "$saved_size" ] ||
1783                 error "(7) Expect file1 size $saved_size, but got $cur_size"
1784
1785         cur_size=$(ls -il $DIR/$tdir/a2/f2 | awk '{ print $6 }')
1786         [ "$cur_size" == "$saved_size" ] ||
1787                 error "(8) Expect file2 size $saved_size, but got $cur_size"
1788 }
1789 run_test 18b "Find out orphan OST-object and repair it (2)"
1790
1791 test_18c() {
1792         [ $MDSCOUNT -lt 2 ] &&
1793                 skip "We need at least 2 MDSes for test_18c" && exit 0
1794
1795         [ $OSTCOUNT -lt 2 ] &&
1796                 skip "We need at least 2 OSTs for test_18c" && exit 0
1797
1798         echo "#####"
1799         echo "The target MDT-object is lost, and the OST-object FID is missing."
1800         echo "The LFSCK should re-create the MDT-object with new FID under the "
1801         echo "directory .lustre/lost+found/MDTxxxx."
1802         echo "#####"
1803
1804         echo "stopall"
1805         stopall > /dev/null
1806         echo "formatall"
1807         formatall > /dev/null
1808         echo "setupall"
1809         setupall > /dev/null
1810
1811         mkdir -p $DIR/$tdir
1812         $LFS mkdir -i 0 $DIR/$tdir/a1
1813         $LFS mkdir -i 1 $DIR/$tdir/a2
1814         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1815         $LFS setstripe -c 2 -i 1 -s 1M $DIR/$tdir/a2
1816
1817         echo "Inject failure, to simulate the case of missing parent FID"
1818         #define OBD_FAIL_LFSCK_NOPFID           0x1617
1819         do_facet ost1 $LCTL set_param fail_loc=0x1617
1820         do_facet ost2 $LCTL set_param fail_loc=0x1617
1821
1822         dd if=/dev/zero of=$DIR/$tdir/a1/f1 bs=1M count=2
1823         dd if=/dev/zero of=$DIR/$tdir/a2/f2 bs=1M count=2
1824         $LFS getstripe $DIR/$tdir/a1/f1
1825         $LFS getstripe $DIR/$tdir/a2/f2
1826         sync
1827         cancel_lru_locks osc
1828
1829         echo "Inject failure, to simulate the case of missing the MDT-object"
1830         #define OBD_FAIL_LFSCK_LOST_MDTOBJ      0x1616
1831         do_facet mds1 $LCTL set_param fail_loc=0x1616
1832         rm -f $DIR/$tdir/a1/f1
1833         do_facet mds2 $LCTL set_param fail_loc=0x1616
1834         rm -f $DIR/$tdir/a2/f2
1835         sync
1836         sleep 2
1837         do_facet mds1 $LCTL set_param fail_loc=0
1838         do_facet mds2 $LCTL set_param fail_loc=0
1839
1840         echo "stopall to cleanup object cache"
1841         stopall > /dev/null
1842         echo "setupall"
1843         setupall > /dev/null
1844
1845         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1846         $START_LAYOUT -o || error "(1) Fail to start LFSCK for layout!"
1847
1848         for k in $(seq $MDSCOUNT); do
1849                 # The LFSCK status query internal is 30 seconds. For the case
1850                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1851                 # time to guarantee the status sync up.
1852                 wait_update_facet mds${k} "$LCTL get_param -n \
1853                         mdd.$(facet_svc mds${k}).lfsck_layout |
1854                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1855                         error "(2) MDS${k} is not the expected 'completed'"
1856         done
1857
1858         for k in $(seq $OSTCOUNT); do
1859                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1860                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1861                                 awk '/^status/ { print $2 }')
1862                 [ "$cur_status" == "completed" ] ||
1863                 error "(3) OST${k} Expect 'completed', but got '$cur_status'"
1864         done
1865
1866         local repaired=$(do_facet mds1 $LCTL get_param -n \
1867                          mdd.$(facet_svc mds1).lfsck_layout |
1868                          awk '/^repaired_orphan/ { print $2 }')
1869         [ $repaired -eq 3 ] ||
1870                 error "(4) Expect 3 fixed on mds1, but got: $repaired"
1871
1872         repaired=$(do_facet mds2 $LCTL get_param -n \
1873                    mdd.$(facet_svc mds2).lfsck_layout |
1874                    awk '/^repaired_orphan/ { print $2 }')
1875         [ $repaired -eq 0 ] ||
1876                 error "(5) Expect 0 fixed on mds2, but got: $repaired"
1877
1878         echo "There should be some stub under .lustre/lost+found/MDT0001/"
1879         ls -ail $MOUNT/.lustre/lost+found/MDT0001/N-* &&
1880                 error "(6) .lustre/lost+found/MDT0001/ should be empty"
1881
1882         echo "There should be some stub under .lustre/lost+found/MDT0000/"
1883         ls -ail $MOUNT/.lustre/lost+found/MDT0000/N-* ||
1884                 error "(7) .lustre/lost+found/MDT0000/ should not be empty"
1885 }
1886 run_test 18c "Find out orphan OST-object and repair it (3)"
1887
1888 test_18d() {
1889         echo "#####"
1890         echo "The target MDT-object layout EA slot is occpuied by some new"
1891         echo "created OST-object when repair dangling reference case. Such"
1892         echo "conflict OST-object has never been modified. Then when found"
1893         echo "the orphan OST-object, LFSCK will replace it with the orphan"
1894         echo "OST-object."
1895         echo "#####"
1896
1897         echo "stopall"
1898         stopall > /dev/null
1899         echo "formatall"
1900         formatall > /dev/null
1901         echo "setupall"
1902         setupall > /dev/null
1903
1904         mkdir -p $DIR/$tdir/a1
1905         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
1906         echo "guard" > $DIR/$tdir/a1/f1
1907         echo "foo" > $DIR/$tdir/a1/f2
1908         local saved_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1909         $LFS path2fid $DIR/$tdir/a1/f1
1910         $LFS getstripe $DIR/$tdir/a1/f1
1911         $LFS path2fid $DIR/$tdir/a1/f2
1912         $LFS getstripe $DIR/$tdir/a1/f2
1913         sync
1914         cancel_lru_locks osc
1915
1916         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
1917         echo "to reference the same OST-object (which is f1's OST-obejct)."
1918         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
1919         echo "dangling reference case, but f2's old OST-object is there."
1920         echo
1921
1922         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
1923         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
1924         chown 1.1 $DIR/$tdir/a1/f2
1925         rm -f $DIR/$tdir/a1/f1
1926         sync
1927         sleep 2
1928         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
1929
1930         echo "stopall to cleanup object cache"
1931         stopall > /dev/null
1932         echo "setupall"
1933         setupall > /dev/null
1934
1935         echo "The file size should be incorrect since dangling referenced"
1936         local cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1937         [ "$cur_size" != "$saved_size" ] ||
1938                 error "(1) Expect incorrect file2 size"
1939
1940         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
1941         $START_LAYOUT -o || error "(2) Fail to start LFSCK for layout!"
1942
1943         for k in $(seq $MDSCOUNT); do
1944                 # The LFSCK status query internal is 30 seconds. For the case
1945                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
1946                 # time to guarantee the status sync up.
1947                 wait_update_facet mds${k} "$LCTL get_param -n \
1948                         mdd.$(facet_svc mds${k}).lfsck_layout |
1949                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
1950                         error "(3) MDS${k} is not the expected 'completed'"
1951         done
1952
1953         for k in $(seq $OSTCOUNT); do
1954                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
1955                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
1956                                 awk '/^status/ { print $2 }')
1957                 [ "$cur_status" == "completed" ] ||
1958                 error "(4) OST${k} Expect 'completed', but got '$cur_status'"
1959         done
1960
1961         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
1962                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
1963                          awk '/^repaired_orphan/ { print $2 }')
1964         [ $repaired -eq 1 ] ||
1965                 error "(5) Expect 1 orphan has been fixed, but got: $repaired"
1966
1967         echo "The file size should be correct after layout LFSCK scanning"
1968         cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
1969         [ "$cur_size" == "$saved_size" ] ||
1970                 error "(6) Expect file2 size $saved_size, but got $cur_size"
1971
1972         echo "There should be some stub under .lustre/lost+found/MDT0000/"
1973         ls -ail $MOUNT/.lustre/lost+found/MDT0000/ &&
1974                 error "(7) .lustre/lost+found/MDT0000/ should be empty"
1975
1976         echo "The LFSCK should find back the original data."
1977         cat $DIR/$tdir/a1/f2
1978         $LFS path2fid $DIR/$tdir/a1/f2
1979         $LFS getstripe $DIR/$tdir/a1/f2
1980 }
1981 run_test 18d "Find out orphan OST-object and repair it (4)"
1982
1983 test_18e() {
1984         echo "#####"
1985         echo "The target MDT-object layout EA slot is occpuied by some new"
1986         echo "created OST-object when repair dangling reference case. Such"
1987         echo "conflict OST-object has been modified by others. To keep the"
1988         echo "new data, the LFSCK will create a new file to refernece this"
1989         echo "old orphan OST-object."
1990         echo "#####"
1991
1992         echo "stopall"
1993         stopall > /dev/null
1994         echo "formatall"
1995         formatall > /dev/null
1996         echo "setupall"
1997         setupall > /dev/null
1998
1999         mkdir -p $DIR/$tdir/a1
2000         $LFS setstripe -c 1 -i 0 -s 1M $DIR/$tdir/a1
2001         echo "guard" > $DIR/$tdir/a1/f1
2002         echo "foo" > $DIR/$tdir/a1/f2
2003         local saved_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
2004         $LFS path2fid $DIR/$tdir/a1/f1
2005         $LFS getstripe $DIR/$tdir/a1/f1
2006         $LFS path2fid $DIR/$tdir/a1/f2
2007         $LFS getstripe $DIR/$tdir/a1/f2
2008         sync
2009         cancel_lru_locks osc
2010
2011         echo "Inject failure to make $DIR/$tdir/a1/f1 and $DIR/$tdir/a1/f2"
2012         echo "to reference the same OST-object (which is f1's OST-obejct)."
2013         echo "Then drop $DIR/$tdir/a1/f1 and its OST-object, so f2 becomes"
2014         echo "dangling reference case, but f2's old OST-object is there."
2015         echo
2016
2017         #define OBD_FAIL_LFSCK_CHANGE_STRIPE    0x1618
2018         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1618
2019         chown 1.1 $DIR/$tdir/a1/f2
2020         rm -f $DIR/$tdir/a1/f1
2021         sync
2022         sleep 2
2023         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
2024
2025         echo "stopall to cleanup object cache"
2026         stopall > /dev/null
2027         echo "setupall"
2028         setupall > /dev/null
2029
2030         echo "The file size should be incorrect since dangling referenced"
2031         local cur_size=$(ls -il $DIR/$tdir/a1/f2 | awk '{ print $6 }')
2032         [ "$cur_size" != "$saved_size" ] ||
2033                 error "(1) Expect incorrect file2 size"
2034
2035         #define OBD_FAIL_LFSCK_DELAY3           0x1602
2036         do_facet $SINGLEMDS $LCTL set_param fail_val=10
2037         do_facet $SINGLEMDS $LCTL set_param fail_loc=0x1602
2038
2039         echo "Trigger layout LFSCK on all devices to find out orphan OST-object"
2040         $START_LAYOUT -o || error "(2) Fail to start LFSCK for layout!"
2041
2042         wait_update_facet mds1 "$LCTL get_param -n \
2043                 mdd.$(facet_svc mds1).lfsck_layout |
2044                 awk '/^status/ { print \\\$2 }'" "scanning-phase2" 6 ||
2045                 error "(3) MDS1 is not the expected 'scanning-phase2'"
2046
2047         # to guarantee all updates are synced.
2048         sync
2049         sleep 2
2050
2051         echo "Write new data to f2 to modify the new created OST-object."
2052         echo "dummy" >> $DIR/$tdir/a1/f2
2053
2054         do_facet $SINGLEMDS $LCTL set_param fail_val=0
2055         do_facet $SINGLEMDS $LCTL set_param fail_loc=0
2056
2057         for k in $(seq $MDSCOUNT); do
2058                 # The LFSCK status query internal is 30 seconds. For the case
2059                 # of some LFSCK_NOTIFY RPCs failure/lost, we will wait enough
2060                 # time to guarantee the status sync up.
2061                 wait_update_facet mds${k} "$LCTL get_param -n \
2062                         mdd.$(facet_svc mds${k}).lfsck_layout |
2063                         awk '/^status/ { print \\\$2 }'" "completed" 32 ||
2064                         error "(4) MDS${k} is not the expected 'completed'"
2065         done
2066
2067         for k in $(seq $OSTCOUNT); do
2068                 local cur_status=$(do_facet ost${k} $LCTL get_param -n \
2069                                 obdfilter.$(facet_svc ost${k}).lfsck_layout |
2070                                 awk '/^status/ { print $2 }')
2071                 [ "$cur_status" == "completed" ] ||
2072                 error "(5) OST${k} Expect 'completed', but got '$cur_status'"
2073         done
2074
2075         local repaired=$(do_facet $SINGLEMDS $LCTL get_param -n \
2076                          mdd.$(facet_svc $SINGLEMDS).lfsck_layout |
2077                          awk '/^repaired_orphan/ { print $2 }')
2078         [ $repaired -eq 1 ] ||
2079                 error "(6) Expect 1 orphan has been fixed, but got: $repaired"
2080
2081         echo "There should be stub file under .lustre/lost+found/MDT0000/"
2082         local cname=$(ls $MOUNT/.lustre/lost+found/MDT0000/C-*)
2083         [ ! -z $name ] ||
2084                 error "(7) .lustre/lost+found/MDT0000/ should not be empty"
2085
2086         echo "The stub file should keep the original f2 data"
2087         cur_size=$(ls -il $cname | awk '{ print $6 }')
2088         [ "$cur_size" == "$saved_size" ] ||
2089                 error "(8) Expect file2 size $saved_size, but got $cur_size"
2090
2091         cat $cname
2092         $LFS path2fid $cname
2093         $LFS getstripe $cname
2094
2095         echo "The f2 should contains new data."
2096         cat $DIR/$tdir/a1/f2
2097         $LFS path2fid $DIR/$tdir/a1/f2
2098         $LFS getstripe $DIR/$tdir/a1/f2
2099 }
2100 run_test 18e "Find out orphan OST-object and repair it (5)"
2101
2102 test_19a() {
2103         echo "stopall"
2104         stopall > /dev/null
2105         echo "formatall"
2106         formatall > /dev/null
2107         echo "setupall"
2108         setupall > /dev/null
2109
2110         mkdir -p $DIR/$tdir
2111         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2112
2113         echo "foo" > $DIR/$tdir/a0
2114         echo "guard" > $DIR/$tdir/a1
2115
2116         cancel_lru_locks osc
2117         umount_client $MOUNT || error "(1) Fail to stop client!"
2118         mount_client $MOUNT || error "(2) Fail to start client!"
2119
2120         echo "Inject failure, then client will offer wrong parent FID when read"
2121         do_facet ost1 $LCTL set_param -n \
2122                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
2123         #define OBD_FAIL_LFSCK_INVALID_PFID     0x1619
2124         $LCTL set_param fail_loc=0x1619
2125
2126         echo "Read RPC with wrong parent FID should be denied"
2127         cat $DIR/$tdir/a0 && error "(3) Read should be denied!"
2128         $LCTL set_param fail_loc=0
2129 }
2130 run_test 19a "OST-object inconsistency self detect"
2131
2132 test_19b() {
2133         echo "stopall"
2134         stopall > /dev/null
2135         echo "formatall"
2136         formatall > /dev/null
2137         echo "setupall"
2138         setupall > /dev/null
2139
2140         mkdir -p $DIR/$tdir
2141         $LFS setstripe -c 1 -i 0 $DIR/$tdir
2142
2143         echo "Inject failure stub to make the OST-object to back point to"
2144         echo "non-exist MDT-object"
2145
2146         #define OBD_FAIL_LFSCK_UNMATCHED_PAIR1  0x1611
2147         do_facet ost1 $LCTL set_param fail_loc=0x1611
2148         echo "foo" > $DIR/$tdir/f0
2149         cancel_lru_locks osc
2150         sync
2151         sleep 2
2152         do_facet ost1 $LCTL set_param fail_loc=0
2153
2154         echo "Nothing should be fixed since self detect and repair is disabled"
2155         local repaired=$(do_facet ost1 $LCTL get_param -n \
2156                         obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
2157                         awk '/^repaired/ { print $2 }')
2158         [ $repaired -eq 0 ] ||
2159                 error "(1) Expected 0 repaired, but got $repaired"
2160
2161         echo "Read RPC with right parent FID should be accepted,"
2162         echo "and cause parent FID on OST to be fixed"
2163
2164         do_facet ost1 $LCTL set_param -n \
2165                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid 1
2166         cat $DIR/$tdir/f0 || error "(2) Read should not be denied!"
2167
2168         repaired=$(do_facet ost1 $LCTL get_param -n \
2169                 obdfilter.${FSNAME}-OST0000.lfsck_verify_pfid |
2170                 awk '/^repaired/ { print $2 }')
2171         [ $repaired -eq 1 ] ||
2172                 error "(3) Expected 1 repaired, but got $repaired"
2173 }
2174 run_test 19b "OST-object inconsistency self repair"
2175
2176 $LCTL set_param debug=-lfsck > /dev/null || true
2177
2178 # restore MDS/OST size
2179 MDSSIZE=${SAVED_MDSSIZE}
2180 OSTSIZE=${SAVED_OSTSIZE}
2181
2182 # cleanup the system at last
2183 formatall
2184
2185 complete $SECONDS
2186 exit_status