Whamcloud - gitweb
7e14fdeaff5ca97da65bf9dd4d594c886e3f2c1c
[fs/lustre-release.git] / lustre / obdclass / llog_test.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2012, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  *
32  * lustre/obdclass/llog_test.c
33  *
34  * Author: Phil Schwan <phil@clusterfs.com>
35  * Author: Mikhail Pershin <mike.pershin@intel.com>
36  */
37
38 #define DEBUG_SUBSYSTEM S_CLASS
39
40 #include <linux/module.h>
41 #include <linux/init.h>
42 #include <linux/kthread.h>
43 #include <linux/delay.h>
44 #include <linux/random.h>
45
46 #include <obd_class.h>
47 #include <lustre_fid.h>
48 #include <lustre_log.h>
49
50 /* This is slightly more than the number of records that can fit into a
51  * single llog file, because the llog_log_header takes up some of the
52  * space in the first block that cannot be used for the bitmap. */
53 static int llog_test_recnum = (LLOG_MIN_CHUNK_SIZE * 8);
54 static int llog_test_rand;
55 static struct obd_uuid uuid = { .uuid = "test_uuid" };
56 static struct llog_logid cat_logid;
57
58 struct llog_mini_rec {
59         struct llog_rec_hdr lmr_hdr;
60         struct llog_rec_tail lmr_tail;
61 } __attribute__((packed));
62
63 static int verify_handle(char *test, struct llog_handle *llh, int num_recs)
64 {
65         int i;
66         int last_idx = 0;
67         int active_recs = 0;
68
69         for (i = 0; i < LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr); i++) {
70                 if (test_bit_le(i, LLOG_HDR_BITMAP(llh->lgh_hdr))) {
71                         last_idx = i;
72                         active_recs++;
73                 }
74         }
75
76         /* check the llog is sane at first, llh_count and lgh_last_idx*/
77         if (llh->lgh_hdr->llh_count != active_recs) {
78                 CERROR("%s: handle->count is %d, but there are %d recs found\n",
79                        test, llh->lgh_hdr->llh_count, active_recs);
80                 RETURN(-ERANGE);
81         }
82
83         if (llh->lgh_last_idx != LLOG_HDR_TAIL(llh->lgh_hdr)->lrt_index ||
84             (!(llh->lgh_hdr->llh_flags & LLOG_F_IS_CAT) &&
85              llh->lgh_last_idx < last_idx)) {
86                 CERROR("%s: lgh_last_idx is %d (%d in the header), last found %d\n",
87                        test, llh->lgh_last_idx,
88                        LLOG_HDR_TAIL(llh->lgh_hdr)->lrt_index, last_idx);
89                 RETURN(-ERANGE);
90         }
91
92         /* finally checks against expected value from the caller */
93         if (active_recs != num_recs) {
94                 CERROR("%s: expected %d active recs after write, found %d\n",
95                        test, num_recs, active_recs);
96                 RETURN(-ERANGE);
97         }
98
99         RETURN(0);
100 }
101
102 /* Test named-log create/open, close */
103 static int llog_test_1(const struct lu_env *env,
104                        struct obd_device *obd, char *name)
105 {
106         struct llog_handle *llh;
107         struct llog_ctxt *ctxt;
108         int rc;
109         int rc2;
110
111         ENTRY;
112
113         CWARN("1a: create a log with name: %s\n", name);
114         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
115         LASSERT(ctxt);
116
117         rc = llog_open_create(env, ctxt, &llh, NULL, name);
118         if (rc) {
119                 CERROR("1a: llog_create with name %s failed: %d\n", name, rc);
120                 GOTO(out, rc);
121         }
122         rc = llog_init_handle(env, llh, LLOG_F_IS_PLAIN, &uuid);
123         if (rc) {
124                 CERROR("1a: can't init llog handle: %d\n", rc);
125                 GOTO(out_close, rc);
126         }
127
128         rc = verify_handle("1", llh, 1);
129
130         CWARN("1b: close newly-created log\n");
131 out_close:
132         rc2 = llog_close(env, llh);
133         if (rc2) {
134                 CERROR("1b: close log %s failed: %d\n", name, rc2);
135                 if (rc == 0)
136                         rc = rc2;
137         }
138 out:
139         llog_ctxt_put(ctxt);
140         RETURN(rc);
141 }
142
143 static int test_2_cancel_cb(const struct lu_env *env, struct llog_handle *llh,
144                             struct llog_rec_hdr *rec, void *data)
145 {
146         return LLOG_DEL_RECORD;
147 }
148
149 /* Test named-log reopen; returns opened log on success */
150 static int llog_test_2(const struct lu_env *env, struct obd_device *obd,
151                        char *name, struct llog_handle **llh)
152 {
153         struct llog_ctxt *ctxt;
154         struct llog_handle *lgh;
155         struct llog_logid  logid;
156         int rc;
157         struct llog_mini_rec lmr;
158
159         ENTRY;
160
161         CWARN("2a: re-open a log with name: %s\n", name);
162         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
163         LASSERT(ctxt);
164
165         rc = llog_open(env, ctxt, llh, NULL, name, LLOG_OPEN_EXISTS);
166         if (rc) {
167                 CERROR("2a: re-open log with name %s failed: %d\n", name, rc);
168                 GOTO(out_put, rc);
169         }
170
171         rc = llog_init_handle(env, *llh, LLOG_F_IS_PLAIN, &uuid);
172         if (rc) {
173                 CERROR("2a: can't init llog handle: %d\n", rc);
174                 GOTO(out_close_llh, rc);
175         }
176
177         rc = verify_handle("2", *llh, 1);
178         if (rc)
179                 GOTO(out_close_llh, rc);
180
181         CWARN("2b: create a log without specified NAME & LOGID\n");
182         rc = llog_open_create(env, ctxt, &lgh, NULL, NULL);
183         if (rc) {
184                 CERROR("2b: create log failed\n");
185                 GOTO(out_close_llh, rc);
186         }
187         rc = llog_init_handle(env, lgh, LLOG_F_IS_PLAIN, &uuid);
188         if (rc) {
189                 CERROR("2b: can't init llog handle: %d\n", rc);
190                 GOTO(out_close, rc);
191         }
192
193         logid = lgh->lgh_id;
194
195         lmr.lmr_hdr.lrh_len = lmr.lmr_tail.lrt_len = LLOG_MIN_REC_SIZE;
196         lmr.lmr_hdr.lrh_type = 0xf02f02;
197
198         /* Check llog header values are correct after record add/cancel */
199         CWARN("2b: write 1 llog records, check llh_count\n");
200         rc = llog_write(env, lgh, &lmr.lmr_hdr, LLOG_NEXT_IDX);
201         if (rc < 0)
202                 GOTO(out_close, rc);
203
204         /* in-memory values after record addition */
205         rc = verify_handle("2b", lgh, 2);
206         if (rc < 0)
207                 GOTO(out_close, rc);
208
209         /* re-open llog to read on-disk values */
210         llog_close(env, lgh);
211
212         CWARN("2c: re-open the log by LOGID and verify llh_count\n");
213         rc = llog_open(env, ctxt, &lgh, &logid, NULL, LLOG_OPEN_EXISTS);
214         if (rc < 0) {
215                 CERROR("2c: re-open log by LOGID failed\n");
216                 GOTO(out_close_llh, rc);
217         }
218
219         rc = llog_init_handle(env, lgh, LLOG_F_IS_PLAIN, &uuid);
220         if (rc < 0) {
221                 CERROR("2c: can't init llog handle: %d\n", rc);
222                 GOTO(out_close, rc);
223         }
224
225         /* check values just read from disk */
226         rc = verify_handle("2c", lgh, 2);
227         if (rc < 0)
228                 GOTO(out_close, rc);
229
230         rc = llog_process(env, lgh, test_2_cancel_cb, NULL, NULL);
231         if (rc < 0)
232                 GOTO(out_close, rc);
233
234         /* in-memory values */
235         rc = verify_handle("2c", lgh, 1);
236         if (rc < 0)
237                 GOTO(out_close, rc);
238
239         /* re-open llog to get on-disk values */
240         llog_close(env, lgh);
241
242         rc = llog_open(env, ctxt, &lgh, &logid, NULL, LLOG_OPEN_EXISTS);
243         if (rc) {
244                 CERROR("2c: re-open log by LOGID failed\n");
245                 GOTO(out_close_llh, rc);
246         }
247
248         rc = llog_init_handle(env, lgh, LLOG_F_IS_PLAIN, &uuid);
249         if (rc) {
250                 CERROR("2c: can't init llog handle: %d\n", rc);
251                 GOTO(out_close, rc);
252         }
253
254         /* on-disk values after llog re-open */
255         rc = verify_handle("2c", lgh, 1);
256         if (rc < 0)
257                 GOTO(out_close, rc);
258
259         CWARN("2d: destroy this log\n");
260         rc = llog_destroy(env, lgh);
261         if (rc)
262                 CERROR("2d: destroy log failed\n");
263 out_close:
264         llog_close(env, lgh);
265 out_close_llh:
266         if (rc)
267                 llog_close(env, *llh);
268 out_put:
269         llog_ctxt_put(ctxt);
270
271         RETURN(rc);
272 }
273
274 static int test_3_rec_num;
275 static off_t test_3_rec_off;
276 static int test_3_paddings;
277 static int test_3_start_idx;
278
279 /*
280  * Test 3 callback.
281  * - check lgh_cur_offset correctness
282  * - check record index consistency
283  * - modify each record in-place
284  * - add new record during *last_idx processing
285  */
286 static int test3_check_n_add_cb(const struct lu_env *env,
287                                 struct llog_handle *lgh,
288                                 struct llog_rec_hdr *rec, void *data)
289 {
290         struct llog_gen_rec *lgr = (struct llog_gen_rec *)rec;
291         int *last_rec = data;
292         unsigned cur_idx = test_3_start_idx + test_3_rec_num;
293         int rc;
294
295         if (lgh->lgh_hdr->llh_flags & LLOG_F_IS_FIXSIZE) {
296                 LASSERT(lgh->lgh_hdr->llh_size > 0);
297                 if (lgh->lgh_cur_offset != lgh->lgh_hdr->llh_hdr.lrh_len +
298                                         (cur_idx - 1) * lgh->lgh_hdr->llh_size)
299                         CERROR("Wrong record offset in cur_off: %llu, should be %u\n",
300                                lgh->lgh_cur_offset,
301                                lgh->lgh_hdr->llh_hdr.lrh_len +
302                                (cur_idx - 1) * lgh->lgh_hdr->llh_size);
303         } else {
304                 size_t chunk_size = lgh->lgh_hdr->llh_hdr.lrh_len;
305
306                 /*
307                  * For variable size records the start offset is unknown, trust
308                  * the first value and check others are consistent with it.
309                  */
310                 if (test_3_rec_off == 0)
311                         test_3_rec_off = lgh->lgh_cur_offset;
312
313                 if (lgh->lgh_cur_offset != test_3_rec_off) {
314                         __u64 tmp = lgh->lgh_cur_offset;
315
316                         /* there can be padding record */
317                         if ((do_div(tmp, chunk_size) == 0) &&
318                             (lgh->lgh_cur_offset - test_3_rec_off <
319                              rec->lrh_len + LLOG_MIN_REC_SIZE)) {
320                                 test_3_rec_off = lgh->lgh_cur_offset;
321                                 test_3_paddings++;
322                         } else {
323                                 CERROR("Wrong record offset in cur_off: %llu"
324                                        ", should be %lld (rec len %u)\n",
325                                        lgh->lgh_cur_offset,
326                                        (long long)test_3_rec_off,
327                                        rec->lrh_len);
328                         }
329                 }
330                 test_3_rec_off += rec->lrh_len;
331         }
332
333         cur_idx += test_3_paddings;
334         if (cur_idx != rec->lrh_index)
335                 CERROR("Record with wrong index was read: %u, expected %u\n",
336                        rec->lrh_index, cur_idx);
337
338         /* modify all records in place */
339         lgr->lgr_gen.conn_cnt = rec->lrh_index;
340         rc = llog_write(env, lgh, rec, rec->lrh_index);
341         if (rc < 0)
342                 CERROR("cb_test_3: cannot modify record while processing\n");
343
344         /*
345          * Add new record to the llog at *last_rec position one by one to
346          * check that last block is re-read during processing
347          */
348         if (cur_idx == *last_rec || cur_idx == (*last_rec + 1)) {
349                 rc = llog_write(env, lgh, rec, LLOG_NEXT_IDX);
350                 if (rc < 0)
351                         CERROR("cb_test_3: cannot add new record while "
352                                "processing\n");
353         }
354         test_3_rec_num++;
355
356         return rc;
357 }
358
359 /* Check in-place modifications were done for all records*/
360 static int test3_check_cb(const struct lu_env *env, struct llog_handle *lgh,
361                           struct llog_rec_hdr *rec, void *data)
362 {
363         struct llog_gen_rec *lgr = (struct llog_gen_rec *)rec;
364
365         if (lgr->lgr_gen.conn_cnt != rec->lrh_index) {
366                 CERROR("cb_test_3: record %u is not modified\n",
367                        rec->lrh_index);
368                 return -EINVAL;
369         }
370         test_3_rec_num++;
371         return 0;
372 }
373
374 static int llog_test3_process(const struct lu_env *env,
375                               struct llog_handle *lgh,
376                               llog_cb_t cb, int start)
377 {
378         struct llog_process_cat_data cd;
379         int last_idx; /* new record will be injected here */
380         int rc = 0;
381
382         CWARN("test3: processing records from index %d to the end\n",
383               start);
384         cd.lpcd_first_idx = start - 1;
385         cd.lpcd_last_idx = 0;
386         test_3_rec_num = test_3_paddings = 0;
387         last_idx = lgh->lgh_last_idx;
388         rc = llog_process(env, lgh, cb, &last_idx, &cd);
389         if (rc < 0)
390                 return rc;
391         CWARN("test3: total %u records processed with %u paddings\n",
392               test_3_rec_num, test_3_paddings);
393         return test_3_rec_num;
394 }
395
396 /* Test plain llog functionality */
397 static int llog_test_3(const struct lu_env *env, struct obd_device *obd,
398                        struct llog_handle *llh)
399 {
400         char buf[128];
401         struct llog_rec_hdr *hdr = (void *)buf;
402         int rc, i;
403         int num_recs = 1; /* 1 for the header */
404         int expected;
405
406         ENTRY;
407
408         hdr->lrh_len = sizeof(struct llog_gen_rec);
409         hdr->lrh_type = LLOG_GEN_REC;
410         llh->lgh_hdr->llh_size = sizeof(struct llog_gen_rec);
411         llh->lgh_hdr->llh_flags |= LLOG_F_IS_FIXSIZE;
412
413         /*
414          * Fill the llog with 64-bytes records, use 1023 records,
415          * so last chunk will be partially full. Don't change this
416          * value until record size is changed.
417          */
418         CWARN("3a: write 1023 fixed-size llog records\n");
419         for (i = 0; i < 1023; i++) {
420                 rc = llog_write(env, llh, hdr, LLOG_NEXT_IDX);
421                 if (rc < 0) {
422                         CERROR("3a: write 1023 records failed at #%d: %d\n",
423                                i + 1, rc);
424                         RETURN(rc);
425                 }
426                 num_recs++;
427         }
428
429         rc = verify_handle("3a", llh, num_recs);
430         if (rc)
431                 RETURN(rc);
432
433         /*
434          * Test fixed-size records processing:
435          * - search the needed index
436          * - go through all records from that index
437          * - check all indices are growing monotonically and exist
438          * - modify each record
439          *
440          * NB: test3_check_n_add adds two new records while processing
441          * after last record. There were 1023 records created so the last chunk
442          * misses exactly one record. Therefore one of new records will be
443          * the last in the current chunk and second causes the new chunk to be
444          * created.
445          */
446         test_3_rec_off = 0;
447         test_3_start_idx = 501;
448         expected = 525;
449         rc = llog_test3_process(env, llh, test3_check_n_add_cb,
450                                 test_3_start_idx);
451         if (rc < 0)
452                 RETURN(rc);
453
454         /* extra record is created during llog_process() */
455         if (rc != expected) {
456                 CERROR("3a: process total %d records but expect %d\n",
457                        rc, expected);
458                 RETURN(-ERANGE);
459         }
460
461         num_recs += 2;
462
463         /* test modification in place */
464         rc = llog_test3_process(env, llh, test3_check_cb, test_3_start_idx);
465         if (rc < 0)
466                 RETURN(rc);
467
468         if (rc != expected) {
469                 CERROR("3a: process total %d records but expect %d\n",
470                        rc, expected);
471                 RETURN(-ERANGE);
472         }
473
474         CWARN("3b: write 566 variable size llog records\n");
475
476         /*
477          * Drop llh_size to 0 to mark llog as variable-size and write
478          * header to make this change permanent.
479          */
480         llh->lgh_hdr->llh_flags &= ~LLOG_F_IS_FIXSIZE;
481         llog_write(env, llh, &llh->lgh_hdr->llh_hdr, LLOG_HEADER_IDX);
482
483         hdr->lrh_type = OBD_CFG_REC;
484
485         /*
486          * there are 1025 64-bytes records in llog already,
487          * the last chunk contains single record, i.e. 64 bytes.
488          * Each pair of variable size records is 200 bytes, so
489          * we will have the following distribution per chunks:
490          * block 1: 64 + 80(80/120) + 80 + 48(pad) = 81 iterations
491          * block 2: 80(120/80) + 120 + 72(pad) = 81 itereations
492          * block 3: 80(80/120) + 80 + 112(pad) = 81 iterations
493          * -- the same as block 2 again and so on.
494          * block 7: 80(80/120) = 80 iterations and 192 bytes remain
495          * Total 6 * 81 + 80 = 566 itereations.
496          * Callback will add another 120 bytes in the end of the last chunk
497          * and another 120 bytes will cause padding (72 bytes) plus 120
498          * bytes in the new block.
499          */
500         for (i = 0; i < 566; i++) {
501                 if ((i % 2) == 0)
502                         hdr->lrh_len = 80;
503                 else
504                         hdr->lrh_len = 120;
505
506                 rc = llog_write(env, llh, hdr, LLOG_NEXT_IDX);
507                 if (rc < 0) {
508                         CERROR("3b: write 566 records failed at #%d: %d\n",
509                                i + 1, rc);
510                         RETURN(rc);
511                 }
512                 num_recs++;
513         }
514
515         rc = verify_handle("3b", llh, num_recs);
516         if (rc)
517                 RETURN(rc);
518
519         test_3_start_idx = 1026;
520         expected = 568;
521         rc = llog_test3_process(env, llh, test3_check_n_add_cb,
522                                 test_3_start_idx);
523         if (rc < 0)
524                 RETURN(rc);
525
526         if (rc != expected) {
527                 CERROR("3b: process total %d records but expect %d\n",
528                        rc, expected);
529                 RETURN(-ERANGE);
530         }
531
532         num_recs += 2;
533
534         /* test modification in place */
535         rc = llog_test3_process(env, llh, test3_check_cb, test_3_start_idx);
536         if (rc < 0)
537                 RETURN(rc);
538
539         if (rc != expected) {
540                 CERROR("3b: process total %d records but expect %d\n",
541                        rc, expected);
542                 RETURN(-ERANGE);
543         }
544
545         CWARN("3c: write records with variable size until BITMAP_SIZE, "
546               "return -ENOSPC\n");
547         while (num_recs < LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr)) {
548                 if ((num_recs % 2) == 0)
549                         hdr->lrh_len = 80;
550                 else
551                         hdr->lrh_len = 128;
552
553                 rc = llog_write(env, llh, hdr, LLOG_NEXT_IDX);
554                 if (rc == -ENOSPC) {
555                         break;
556                 } else if (rc < 0) {
557                         CERROR("3c: write recs failed at #%d: %d\n",
558                                num_recs, rc);
559                         RETURN(rc);
560                 }
561                 num_recs++;
562         }
563
564         if (rc != -ENOSPC) {
565                 CWARN("3c: write record more than BITMAP size!\n");
566                 RETURN(-EINVAL);
567         }
568         CWARN("3c: wrote %d more records before end of llog is reached\n",
569               num_recs);
570
571         rc = verify_handle("3c", llh, num_recs);
572
573         RETURN(rc);
574 }
575
576 /* Test catalogue additions */
577 static int llog_test_4(const struct lu_env *env, struct obd_device *obd)
578 {
579         struct llog_handle *cath, *llh;
580         char name[10];
581         int rc, rc2, i, buflen;
582         struct llog_mini_rec lmr;
583         struct llog_cookie cookie;
584         struct llog_ctxt *ctxt;
585         int num_recs = 0;
586         char *buf;
587         struct llog_rec_hdr *rec;
588
589         ENTRY;
590
591         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
592         LASSERT(ctxt);
593
594         lmr.lmr_hdr.lrh_len = lmr.lmr_tail.lrt_len = LLOG_MIN_REC_SIZE;
595         lmr.lmr_hdr.lrh_type = 0xf00f00;
596
597         sprintf(name, "%x", llog_test_rand + 1);
598         CWARN("4a: create a catalog log with name: %s\n", name);
599         rc = llog_open_create(env, ctxt, &cath, NULL, name);
600         if (rc) {
601                 CERROR("4a: llog_create with name %s failed: %d\n", name, rc);
602                 GOTO(ctxt_release, rc);
603         }
604         rc = llog_init_handle(env, cath, LLOG_F_IS_CAT, &uuid);
605         if (rc) {
606                 CERROR("4a: can't init llog handle: %d\n", rc);
607                 GOTO(out, rc);
608         }
609
610         num_recs++;
611         cat_logid = cath->lgh_id;
612
613         CWARN("4b: write 1 record into the catalog\n");
614         rc = llog_cat_add(env, cath, &lmr.lmr_hdr, &cookie);
615         if (rc != 1) {
616                 CERROR("4b: write 1 catalog record failed at: %d\n", rc);
617                 GOTO(out, rc);
618         }
619         num_recs++;
620         rc = verify_handle("4b", cath, 2);
621         if (rc)
622                 GOTO(out, rc);
623
624         rc = verify_handle("4b", cath->u.chd.chd_current_log, num_recs);
625         if (rc)
626                 GOTO(out, rc);
627
628         /* estimate the max number of record for the plain llog
629          * cause it depends on disk size
630          */
631         llh = cath->u.chd.chd_current_log;
632         if (llh->lgh_max_size != 0) {
633                 llog_test_recnum = (llh->lgh_max_size -
634                         sizeof(struct llog_log_hdr)) / LLOG_MIN_REC_SIZE;
635         }
636
637         if (llog_test_recnum >= LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr))
638                 llog_test_recnum = LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr) - 1;
639
640         CWARN("4c: cancel 1 log record\n");
641         rc = llog_cat_cancel_records(env, cath, 1, &cookie);
642         if (rc) {
643                 CERROR("4c: cancel 1 catalog based record failed: %d\n", rc);
644                 GOTO(out, rc);
645         }
646         num_recs--;
647
648         rc = verify_handle("4c", cath->u.chd.chd_current_log, num_recs);
649         if (rc)
650                 GOTO(out, rc);
651
652         CWARN("4d: write %d more log records\n", llog_test_recnum);
653         for (i = 0; i < llog_test_recnum; i++) {
654                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
655                 if (rc) {
656                         CERROR("4d: write %d records failed at #%d: %d\n",
657                                llog_test_recnum, i + 1, rc);
658                         GOTO(out, rc);
659                 }
660                 num_recs++;
661         }
662
663         /* make sure new plain llog appears */
664         rc = verify_handle("4d", cath, 3);
665         if (rc)
666                 GOTO(out, rc);
667
668         CWARN("4e: add 5 large records, one record per block\n");
669         buflen = LLOG_MIN_CHUNK_SIZE;
670         OBD_ALLOC(buf, buflen);
671         if (buf == NULL)
672                 GOTO(out, rc = -ENOMEM);
673         for (i = 0; i < 5; i++) {
674                 rec = (void *)buf;
675                 rec->lrh_len = buflen;
676                 rec->lrh_type = OBD_CFG_REC;
677                 rc = llog_cat_add(env, cath, rec, NULL);
678                 if (rc) {
679                         CERROR("4e: write 5 records failed at #%d: %d\n",
680                                i + 1, rc);
681                         GOTO(out_free, rc);
682                 }
683                 num_recs++;
684         }
685 out_free:
686         OBD_FREE(buf, buflen);
687 out:
688         CWARN("4f: put newly-created catalog\n");
689         rc2 = llog_cat_close(env, cath);
690         if (rc2) {
691                 CERROR("4: close log %s failed: %d\n", name, rc2);
692                 if (rc == 0)
693                         rc = rc2;
694         }
695 ctxt_release:
696         llog_ctxt_put(ctxt);
697         RETURN(rc);
698 }
699
700 static int cat_counter;
701
702 static int cat_print_cb(const struct lu_env *env, struct llog_handle *llh,
703                         struct llog_rec_hdr *rec, void *data)
704 {
705         struct llog_logid_rec *lir = (struct llog_logid_rec *)rec;
706         struct lu_fid fid = {0};
707
708         if (rec->lrh_type != LLOG_LOGID_MAGIC) {
709                 CERROR("invalid record in catalog\n");
710                 RETURN(-EINVAL);
711         }
712
713         logid_to_fid(&lir->lid_id, &fid);
714
715         CWARN("seeing record at index %d - "DFID" in log "DFID"\n",
716               rec->lrh_index, PFID(&fid),
717               PFID(lu_object_fid(&llh->lgh_obj->do_lu)));
718
719         cat_counter++;
720
721         RETURN(0);
722 }
723
724 static int plain_counter;
725
726 static int plain_print_cb(const struct lu_env *env, struct llog_handle *llh,
727                           struct llog_rec_hdr *rec, void *data)
728 {
729         struct lu_fid fid = {0};
730
731         if (!(llh->lgh_hdr->llh_flags & LLOG_F_IS_PLAIN)) {
732                 CERROR("log is not plain\n");
733                 RETURN(-EINVAL);
734         }
735
736         logid_to_fid(&llh->lgh_id, &fid);
737
738         CDEBUG(D_INFO, "seeing record at index %d in log "DFID"\n",
739                rec->lrh_index, PFID(&fid));
740
741         plain_counter++;
742
743         RETURN(0);
744 }
745
746 static int cancel_count;
747
748 static int llog_cancel_rec_cb(const struct lu_env *env,
749                               struct llog_handle *llh,
750                               struct llog_rec_hdr *rec, void *data)
751 {
752         struct llog_cookie cookie;
753
754         if (!(llh->lgh_hdr->llh_flags & LLOG_F_IS_PLAIN)) {
755                 CERROR("log is not plain\n");
756                 RETURN(-EINVAL);
757         }
758
759         cookie.lgc_lgl = llh->lgh_id;
760         cookie.lgc_index = rec->lrh_index;
761
762         llog_cat_cancel_records(env, llh->u.phd.phd_cat_handle, 1, &cookie);
763         cancel_count++;
764         if (cancel_count == llog_test_recnum)
765                 RETURN(-LLOG_EEMPTY);
766         RETURN(0);
767 }
768
769 /* Test log and catalogue processing */
770 static int llog_test_5(const struct lu_env *env, struct obd_device *obd)
771 {
772         struct llog_handle *llh = NULL;
773         char name[10];
774         int rc, rc2;
775         struct llog_mini_rec lmr;
776         struct llog_ctxt *ctxt;
777
778         ENTRY;
779
780         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
781         LASSERT(ctxt);
782
783         lmr.lmr_hdr.lrh_len = lmr.lmr_tail.lrt_len = LLOG_MIN_REC_SIZE;
784         lmr.lmr_hdr.lrh_type = 0xf00f00;
785
786         CWARN("5a: re-open catalog by id\n");
787         rc = llog_open(env, ctxt, &llh, &cat_logid, NULL, LLOG_OPEN_EXISTS);
788         if (rc) {
789                 CERROR("5a: llog_create with logid failed: %d\n", rc);
790                 GOTO(out_put, rc);
791         }
792
793         rc = llog_init_handle(env, llh, LLOG_F_IS_CAT, &uuid);
794         if (rc) {
795                 CERROR("5a: can't init llog handle: %d\n", rc);
796                 GOTO(out, rc);
797         }
798
799         CWARN("5b: print the catalog entries.. we expect 2\n");
800         cat_counter = 0;
801         rc = llog_process(env, llh, cat_print_cb, "test 5", NULL);
802         if (rc) {
803                 CERROR("5b: process with cat_print_cb failed: %d\n", rc);
804                 GOTO(out, rc);
805         }
806         if (cat_counter != 2) {
807                 CERROR("5b: %d entries in catalog\n", cat_counter);
808                 GOTO(out, rc = -EINVAL);
809         }
810
811         CWARN("5c: Cancel %d records, see one log zapped\n", llog_test_recnum);
812         cancel_count = 0;
813         rc = llog_cat_process(env, llh, llog_cancel_rec_cb, "foobar", 0, 0);
814         if (rc != -LLOG_EEMPTY) {
815                 CERROR("5c: process with llog_cancel_rec_cb failed: %d\n", rc);
816                 GOTO(out, rc);
817         }
818
819         CWARN("5c: print the catalog entries.. we expect 1\n");
820         cat_counter = 0;
821         rc = llog_process(env, llh, cat_print_cb, "test 5", NULL);
822         if (rc) {
823                 CERROR("5c: process with cat_print_cb failed: %d\n", rc);
824                 GOTO(out, rc);
825         }
826         if (cat_counter != 1) {
827                 CERROR("5c: %d entries in catalog\n", cat_counter);
828                 GOTO(out, rc = -EINVAL);
829         }
830
831         CWARN("5d: add 1 record to the log with many canceled empty pages\n");
832         rc = llog_cat_add(env, llh, &lmr.lmr_hdr, NULL);
833         if (rc) {
834                 CERROR("5d: add record to the log with many canceled empty "
835                        "pages failed\n");
836                 GOTO(out, rc);
837         }
838
839         CWARN("5e: print plain log entries.. expect 6\n");
840         plain_counter = 0;
841         rc = llog_cat_process(env, llh, plain_print_cb, "foobar", 0, 0);
842         if (rc) {
843                 CERROR("5e: process with plain_print_cb failed: %d\n", rc);
844                 GOTO(out, rc);
845         }
846         if (plain_counter != 6) {
847                 CERROR("5e: found %d records\n", plain_counter);
848                 GOTO(out, rc = -EINVAL);
849         }
850
851         CWARN("5f: print plain log entries reversely.. expect 6\n");
852         plain_counter = 0;
853         rc = llog_cat_reverse_process(env, llh, plain_print_cb, "foobar");
854         if (rc) {
855                 CERROR("5f: reversely process with plain_print_cb failed: "
856                        "%d\n", rc);
857                 GOTO(out, rc);
858         }
859         if (plain_counter != 6) {
860                 CERROR("5f: found %d records\n", plain_counter);
861                 GOTO(out, rc = -EINVAL);
862         }
863
864 out:
865         CWARN("5g: close re-opened catalog\n");
866         rc2 = llog_cat_close(env, llh);
867         if (rc2) {
868                 CERROR("5g: close log %s failed: %d\n", name, rc2);
869                 if (rc == 0)
870                         rc = rc2;
871         }
872 out_put:
873         llog_ctxt_put(ctxt);
874
875         RETURN(rc);
876 }
877
878 /* Test client api; open log by name and process */
879 static int llog_test_6(const struct lu_env *env, struct obd_device *obd,
880                        char *name)
881 {
882         struct obd_device *mgc_obd;
883         struct llog_ctxt *ctxt;
884         struct obd_uuid *mgs_uuid;
885         struct obd_export *exp;
886         struct obd_uuid uuid = { "LLOG_TEST6_UUID" };
887         struct llog_handle *llh = NULL;
888         struct llog_ctxt *nctxt;
889         int rc, rc2;
890
891         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
892         LASSERT(ctxt);
893         mgs_uuid = &ctxt->loc_exp->exp_obd->obd_uuid;
894
895         CWARN("6a: re-open log %s using client API\n", name);
896         mgc_obd = class_find_client_obd(mgs_uuid, LUSTRE_MGC_NAME, NULL);
897         if (mgc_obd == NULL) {
898                 CERROR("6a: no MGC devices connected to %s found.\n",
899                        mgs_uuid->uuid);
900                 GOTO(ctxt_release, rc = -ENOENT);
901         }
902
903         rc = obd_connect(NULL, &exp, mgc_obd, &uuid,
904                          NULL /* obd_connect_data */, NULL);
905         if (rc != -EALREADY) {
906                 CERROR("6a: connect on connected MGC (%s) failed to return"
907                        " -EALREADY\n", mgc_obd->obd_name);
908                 if (rc == 0)
909                         obd_disconnect(exp);
910                 GOTO(ctxt_release, rc = -EINVAL);
911         }
912
913         nctxt = llog_get_context(mgc_obd, LLOG_CONFIG_REPL_CTXT);
914         rc = llog_open(env, nctxt, &llh, NULL, name, LLOG_OPEN_EXISTS);
915         if (rc) {
916                 CERROR("6a: llog_open failed %d\n", rc);
917                 GOTO(nctxt_put, rc);
918         }
919
920         rc = llog_init_handle(env, llh, LLOG_F_IS_PLAIN, NULL);
921         if (rc) {
922                 CERROR("6a: llog_init_handle failed %d\n", rc);
923                 GOTO(parse_out, rc);
924         }
925
926         plain_counter = 1; /* llog header is first record */
927         CWARN("6b: process log %s using client API\n", name);
928         rc = llog_process(env, llh, plain_print_cb, NULL, NULL);
929         if (rc)
930                 CERROR("6b: llog_process failed %d\n", rc);
931         CWARN("6b: processed %d records\n", plain_counter);
932
933         rc = verify_handle("6b", llh, plain_counter);
934         if (rc)
935                 GOTO(parse_out, rc);
936
937         plain_counter = 1; /* llog header is first record */
938         CWARN("6c: process log %s reversely using client API\n", name);
939         rc = llog_reverse_process(env, llh, plain_print_cb, NULL, NULL);
940         if (rc)
941                 CERROR("6c: llog_reverse_process failed %d\n", rc);
942         CWARN("6c: processed %d records\n", plain_counter);
943
944         rc = verify_handle("6c", llh, plain_counter);
945         if (rc)
946                 GOTO(parse_out, rc);
947
948 parse_out:
949         rc2 = llog_close(env, llh);
950         if (rc2) {
951                 CERROR("6: llog_close failed: rc = %d\n", rc2);
952                 if (rc == 0)
953                         rc = rc2;
954         }
955 nctxt_put:
956         llog_ctxt_put(nctxt);
957 ctxt_release:
958         llog_ctxt_put(ctxt);
959         RETURN(rc);
960 }
961
962 static union {
963         struct llog_rec_hdr             lrh;   /* common header */
964         struct llog_logid_rec           llr;   /* LLOG_LOGID_MAGIC */
965         struct llog_unlink64_rec        lur;   /* MDS_UNLINK64_REC */
966         struct llog_setattr64_rec       lsr64; /* MDS_SETATTR64_REC */
967         struct llog_setattr64_rec_v2    lsr64_v2; /* MDS_SETATTR64_REC */
968         struct llog_size_change_rec     lscr;  /* OST_SZ_REC */
969         struct llog_changelog_rec       lcr;   /* CHANGELOG_REC */
970         struct llog_changelog_user_rec  lcur;  /* CHANGELOG_USER_REC */
971         struct llog_gen_rec             lgr;   /* LLOG_GEN_REC */
972 } llog_records;
973
974 static int test_7_print_cb(const struct lu_env *env, struct llog_handle *llh,
975                            struct llog_rec_hdr *rec, void *data)
976 {
977         struct lu_fid fid = {0};
978
979         logid_to_fid(&llh->lgh_id, &fid);
980
981         CDEBUG(D_OTHER, "record type %#x at index %d in log "DFID"\n",
982                rec->lrh_type, rec->lrh_index, PFID(&fid));
983
984         plain_counter++;
985         return 0;
986 }
987
988 static int test_7_cancel_cb(const struct lu_env *env, struct llog_handle *llh,
989                             struct llog_rec_hdr *rec, void *data)
990 {
991         plain_counter++;
992         /* test LLOG_DEL_RECORD is working */
993         return LLOG_DEL_RECORD;
994 }
995
996 static int llog_test_7_sub(const struct lu_env *env, struct llog_ctxt *ctxt)
997 {
998         struct llog_handle *llh;
999         int rc = 0, i, process_count;
1000         int num_recs = 0;
1001
1002         ENTRY;
1003
1004         rc = llog_open_create(env, ctxt, &llh, NULL, NULL);
1005         if (rc) {
1006                 CERROR("7_sub: create log failed\n");
1007                 RETURN(rc);
1008         }
1009
1010         rc = llog_init_handle(env, llh,
1011                               LLOG_F_IS_PLAIN | LLOG_F_ZAP_WHEN_EMPTY,
1012                               &uuid);
1013         if (rc) {
1014                 CERROR("7_sub: can't init llog handle: %d\n", rc);
1015                 GOTO(out_close, rc);
1016         }
1017         for (i = 0; i < LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr); i++) {
1018                 rc = llog_write(env, llh, &llog_records.lrh, LLOG_NEXT_IDX);
1019                 if (rc == -ENOSPC) {
1020                         break;
1021                 } else if (rc < 0) {
1022                         CERROR("7_sub: write recs failed at #%d: %d\n",
1023                                i + 1, rc);
1024                         GOTO(out_close, rc);
1025                 }
1026                 num_recs++;
1027         }
1028         if (rc != -ENOSPC) {
1029                 CWARN("7_sub: write record more than BITMAP size!\n");
1030                 GOTO(out_close, rc = -EINVAL);
1031         }
1032
1033         rc = verify_handle("7_sub", llh, num_recs + 1);
1034         if (rc) {
1035                 CERROR("7_sub: verify handle failed: %d\n", rc);
1036                 GOTO(out_close, rc);
1037         }
1038         if (num_recs < LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr) - 1)
1039                 CWARN("7_sub: records are not aligned, written %d from %u\n",
1040                       num_recs, LLOG_HDR_BITMAP_SIZE(llh->lgh_hdr) - 1);
1041
1042         plain_counter = 0;
1043         rc = llog_process(env, llh, test_7_print_cb, "test 7", NULL);
1044         if (rc) {
1045                 CERROR("7_sub: llog process failed: %d\n", rc);
1046                 GOTO(out_close, rc);
1047         }
1048         process_count = plain_counter;
1049         if (process_count != num_recs) {
1050                 CERROR("7_sub: processed %d records from %d total\n",
1051                        process_count, num_recs);
1052                 GOTO(out_close, rc = -EINVAL);
1053         }
1054
1055         plain_counter = 0;
1056         rc = llog_reverse_process(env, llh, test_7_cancel_cb, "test 7", NULL);
1057         if (rc && rc != LLOG_DEL_PLAIN) {
1058                 CERROR("7_sub: reverse llog process failed: %d\n", rc);
1059                 GOTO(out_close, rc);
1060         }
1061         if (process_count != plain_counter) {
1062                 CERROR("7_sub: Reverse/direct processing found different number of records: %d/%d\n",
1063                        plain_counter, process_count);
1064                 GOTO(out_close, rc = -EINVAL);
1065         }
1066         if (llog_exist(llh)) {
1067                 CERROR("7_sub: llog exists but should be zapped\n");
1068                 GOTO(out_close, rc = -EEXIST);
1069         }
1070
1071         rc = verify_handle("7_sub", llh, 1);
1072 out_close:
1073         if (rc)
1074                 llog_destroy(env, llh);
1075         llog_close(env, llh);
1076         RETURN(rc);
1077 }
1078
1079 /* Test all llog records writing and processing */
1080 static int llog_test_7(const struct lu_env *env, struct obd_device *obd)
1081 {
1082         struct llog_ctxt *ctxt;
1083         int rc;
1084
1085         ENTRY;
1086
1087         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
1088
1089         CWARN("7a: test llog_logid_rec\n");
1090         llog_records.llr.lid_hdr.lrh_len = sizeof(llog_records.llr);
1091         llog_records.llr.lid_tail.lrt_len = sizeof(llog_records.llr);
1092         llog_records.llr.lid_hdr.lrh_type = LLOG_LOGID_MAGIC;
1093
1094         rc = llog_test_7_sub(env, ctxt);
1095         if (rc) {
1096                 CERROR("7a: llog_logid_rec test failed\n");
1097                 GOTO(out, rc);
1098         }
1099
1100         CWARN("7b: test llog_unlink64_rec\n");
1101         llog_records.lur.lur_hdr.lrh_len = sizeof(llog_records.lur);
1102         llog_records.lur.lur_tail.lrt_len = sizeof(llog_records.lur);
1103         llog_records.lur.lur_hdr.lrh_type = MDS_UNLINK64_REC;
1104
1105         rc = llog_test_7_sub(env, ctxt);
1106         if (rc) {
1107                 CERROR("7b: llog_unlink_rec test failed\n");
1108                 GOTO(out, rc);
1109         }
1110
1111         CWARN("7c: test llog_setattr64_rec\n");
1112         llog_records.lsr64.lsr_hdr.lrh_len = sizeof(llog_records.lsr64);
1113         llog_records.lsr64.lsr_tail.lrt_len = sizeof(llog_records.lsr64);
1114         llog_records.lsr64.lsr_hdr.lrh_type = MDS_SETATTR64_REC;
1115
1116         rc = llog_test_7_sub(env, ctxt);
1117         if (rc) {
1118                 CERROR("7c: llog_setattr64_rec test failed\n");
1119                 GOTO(out, rc);
1120         }
1121
1122         CWARN("7d: test llog_size_change_rec\n");
1123         llog_records.lscr.lsc_hdr.lrh_len = sizeof(llog_records.lscr);
1124         llog_records.lscr.lsc_tail.lrt_len = sizeof(llog_records.lscr);
1125         llog_records.lscr.lsc_hdr.lrh_type = OST_SZ_REC;
1126
1127         rc = llog_test_7_sub(env, ctxt);
1128         if (rc) {
1129                 CERROR("7d: llog_size_change_rec test failed\n");
1130                 GOTO(out, rc);
1131         }
1132
1133         CWARN("7e: test llog_changelog_rec\n");
1134         /* Direct access to cr_do_not_use: peculiar case for this test */
1135         llog_records.lcr.cr_hdr.lrh_len = sizeof(llog_records.lcr);
1136         llog_records.lcr.cr_do_not_use.lrt_len = sizeof(llog_records.lcr);
1137         llog_records.lcr.cr_hdr.lrh_type = CHANGELOG_REC;
1138
1139         rc = llog_test_7_sub(env, ctxt);
1140         if (rc) {
1141                 CERROR("7e: llog_changelog_rec test failed\n");
1142                 GOTO(out, rc);
1143         }
1144
1145         CWARN("7f: test llog_changelog_user_rec\n");
1146         llog_records.lcur.cur_hdr.lrh_len = sizeof(llog_records.lcur);
1147         llog_records.lcur.cur_tail.lrt_len = sizeof(llog_records.lcur);
1148         llog_records.lcur.cur_hdr.lrh_type = CHANGELOG_USER_REC;
1149
1150         rc = llog_test_7_sub(env, ctxt);
1151         if (rc) {
1152                 CERROR("7f: llog_changelog_user_rec test failed\n");
1153                 GOTO(out, rc);
1154         }
1155
1156         CWARN("7g: test llog_gen_rec\n");
1157         llog_records.lgr.lgr_hdr.lrh_len = sizeof(llog_records.lgr);
1158         llog_records.lgr.lgr_tail.lrt_len = sizeof(llog_records.lgr);
1159         llog_records.lgr.lgr_hdr.lrh_type = LLOG_GEN_REC;
1160
1161         rc = llog_test_7_sub(env, ctxt);
1162         if (rc) {
1163                 CERROR("7g: llog_size_change_rec test failed\n");
1164                 GOTO(out, rc);
1165         }
1166
1167         CWARN("7h: test llog_setattr64_rec_v2\n");
1168         llog_records.lsr64.lsr_hdr.lrh_len = sizeof(llog_records.lsr64_v2);
1169         llog_records.lsr64.lsr_tail.lrt_len = sizeof(llog_records.lsr64_v2);
1170         llog_records.lsr64.lsr_hdr.lrh_type = MDS_SETATTR64_REC;
1171
1172         rc = llog_test_7_sub(env, ctxt);
1173         if (rc) {
1174                 CERROR("7h: llog_setattr64_rec_v2 test failed\n");
1175                 GOTO(out, rc);
1176         }
1177 out:
1178         llog_ctxt_put(ctxt);
1179         RETURN(rc);
1180 }
1181
1182 static int test_8_cb(const struct lu_env *env, struct llog_handle *llh,
1183                           struct llog_rec_hdr *rec, void *data)
1184 {
1185         plain_counter++;
1186         return 0;
1187 }
1188
1189 static int llog_test_8(const struct lu_env *env, struct obd_device *obd)
1190 {
1191         struct llog_handle *llh = NULL;
1192         char name[10];
1193         int rc, rc2, i;
1194         int orig_counter;
1195         struct llog_mini_rec lmr;
1196         struct llog_ctxt *ctxt;
1197         struct dt_object *obj = NULL;
1198
1199         ENTRY;
1200
1201         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
1202         LASSERT(ctxt);
1203
1204         lmr.lmr_hdr.lrh_len = lmr.lmr_tail.lrt_len = LLOG_MIN_REC_SIZE;
1205         lmr.lmr_hdr.lrh_type = 0xf00f00;
1206
1207         CWARN("8a: fill the first plain llog\n");
1208         rc = llog_open(env, ctxt, &llh, &cat_logid, NULL, LLOG_OPEN_EXISTS);
1209         if (rc) {
1210                 CERROR("8a: llog_create with logid failed: %d\n", rc);
1211                 GOTO(out_put, rc);
1212         }
1213
1214         rc = llog_init_handle(env, llh, LLOG_F_IS_CAT, &uuid);
1215         if (rc) {
1216                 CERROR("8a: can't init llog handle: %d\n", rc);
1217                 GOTO(out, rc);
1218         }
1219
1220         plain_counter = 0;
1221         rc = llog_cat_process(env, llh, test_8_cb, "foobar", 0, 0);
1222         if (rc != 0) {
1223                 CERROR("5a: process with test_8_cb failed: %d\n", rc);
1224                 GOTO(out, rc);
1225         }
1226         orig_counter = plain_counter;
1227
1228         for (i = 0; i < 100; i++) {
1229                 rc = llog_cat_add(env, llh, &lmr.lmr_hdr, NULL);
1230                 if (rc) {
1231                         CERROR("5a: add record failed\n");
1232                         GOTO(out, rc);
1233                 }
1234         }
1235
1236         /* grab the current plain llog, we'll corrupt it later */
1237         obj = llh->u.chd.chd_current_log->lgh_obj;
1238         LASSERT(obj);
1239         lu_object_get(&obj->do_lu);
1240         CWARN("8a: pin llog "DFID"\n", PFID(lu_object_fid(&obj->do_lu)));
1241
1242         rc2 = llog_cat_close(env, llh);
1243         if (rc2) {
1244                 CERROR("8a: close log %s failed: %d\n", name, rc2);
1245                 if (rc == 0)
1246                         rc = rc2;
1247                 GOTO(out_put, rc);
1248         }
1249
1250         CWARN("8b: fill the second plain llog\n");
1251         rc = llog_open(env, ctxt, &llh, &cat_logid, NULL, LLOG_OPEN_EXISTS);
1252         if (rc) {
1253                 CERROR("8b: llog_create with logid failed: %d\n", rc);
1254                 GOTO(out_put, rc);
1255         }
1256
1257         rc = llog_init_handle(env, llh, LLOG_F_IS_CAT, &uuid);
1258         if (rc) {
1259                 CERROR("8b: can't init llog handle: %d\n", rc);
1260                 GOTO(out, rc);
1261         }
1262
1263         for (i = 0; i < 100; i++) {
1264                 rc = llog_cat_add(env, llh, &lmr.lmr_hdr, NULL);
1265                 if (rc) {
1266                         CERROR("8b: add record failed\n");
1267                         GOTO(out, rc);
1268                 }
1269         }
1270         CWARN("8b: second llog "DFID"\n",
1271               PFID(lu_object_fid(&llh->u.chd.chd_current_log->lgh_obj->do_lu)));
1272
1273         rc2 = llog_cat_close(env, llh);
1274         if (rc2) {
1275                 CERROR("8b: close log %s failed: %d\n", name, rc2);
1276                 if (rc == 0)
1277                         rc = rc2;
1278                 GOTO(out_put, rc);
1279         }
1280
1281         /* Here was 8c: drop two records from the first plain llog
1282          * llog_truncate was bad idea cause it creates a wrong state,
1283          * lgh_last_idx is wrong and two records belongs to zeroed buffer
1284          */
1285
1286         CWARN("8d: count survived records\n");
1287         rc = llog_open(env, ctxt, &llh, &cat_logid, NULL, LLOG_OPEN_EXISTS);
1288         if (rc) {
1289                 CERROR("8d: llog_create with logid failed: %d\n", rc);
1290                 GOTO(out_put, rc);
1291         }
1292
1293         rc = llog_init_handle(env, llh, LLOG_F_IS_CAT, &uuid);
1294         if (rc) {
1295                 CERROR("8d: can't init llog handle: %d\n", rc);
1296                 GOTO(out, rc);
1297         }
1298
1299         plain_counter = 0;
1300         rc = llog_cat_process(env, llh, test_8_cb, "foobar", 0, 0);
1301         if (rc != 0) {
1302                 CERROR("8d: process with test_8_cb failed: %d\n", rc);
1303                 GOTO(out, rc);
1304         }
1305
1306         if (orig_counter + 200 != plain_counter) {
1307                 CERROR("found %d records (expected %d)\n", plain_counter,
1308                        orig_counter + 200);
1309                 rc = -EIO;
1310         }
1311
1312 out:
1313         CWARN("8d: close re-opened catalog\n");
1314         rc2 = llog_cat_close(env, llh);
1315         if (rc2) {
1316                 CERROR("8d: close log %s failed: %d\n", name, rc2);
1317                 if (rc == 0)
1318                         rc = rc2;
1319         }
1320 out_put:
1321         llog_ctxt_put(ctxt);
1322
1323         if (obj != NULL)
1324                 dt_object_put(env, obj);
1325
1326         RETURN(rc);
1327 }
1328
1329 static int llog_test_9_sub(const struct lu_env *env, struct llog_ctxt *ctxt)
1330 {
1331         struct llog_handle *llh;
1332         struct lu_fid fid;
1333         int rc = 0;
1334
1335         ENTRY;
1336
1337         rc = llog_open_create(env, ctxt, &llh, NULL, NULL);
1338         if (rc != 0) {
1339                 CERROR("9_sub: create log failed\n");
1340                 RETURN(rc);
1341         }
1342
1343         rc = llog_init_handle(env, llh,
1344                               LLOG_F_IS_PLAIN | LLOG_F_ZAP_WHEN_EMPTY,
1345                               &uuid);
1346         if (rc != 0) {
1347                 CERROR("9_sub: can't init llog handle: %d\n", rc);
1348                 GOTO(out_close, rc);
1349         }
1350
1351         logid_to_fid(&llh->lgh_id, &fid);
1352         fid_to_logid(&fid, &llog_records.llr.lid_id);
1353         rc = llog_write(env, llh, &llog_records.lrh, LLOG_NEXT_IDX);
1354         if (rc < 0) {
1355                 CERROR("9_sub: write recs failed at #1: %d\n", rc);
1356                 GOTO(out_close, rc);
1357         }
1358         /* The below message is checked in sanity.sh test_60a (run-llog.sh) */
1359         CWARN("9_sub: record type %x in log "DFID_NOBRACE"\n",
1360               llog_records.lrh.lrh_type, PFID(&fid));
1361 out_close:
1362         llog_close(env, llh);
1363         RETURN(rc);
1364 }
1365
1366 /* Prepare different types of llog records for llog_reader test*/
1367 static int llog_test_9(const struct lu_env *env, struct obd_device *obd)
1368 {
1369         struct llog_ctxt *ctxt;
1370         int rc;
1371
1372         ENTRY;
1373
1374         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
1375
1376         CWARN("9a: test llog_logid_rec\n");
1377         llog_records.llr.lid_hdr.lrh_len = sizeof(llog_records.llr);
1378         llog_records.llr.lid_tail.lrt_len = sizeof(llog_records.llr);
1379         llog_records.llr.lid_hdr.lrh_type = LLOG_LOGID_MAGIC;
1380
1381         rc = llog_test_9_sub(env, ctxt);
1382         if (rc != 0) {
1383                 CERROR("9a: llog_logid_rec test failed\n");
1384                 GOTO(out, rc);
1385         }
1386
1387         CWARN("9b: test llog_obd_cfg_rec\n");
1388         llog_records.lscr.lsc_hdr.lrh_len = sizeof(llog_records.lscr);
1389         llog_records.lscr.lsc_tail.lrt_len = sizeof(llog_records.lscr);
1390         llog_records.lscr.lsc_hdr.lrh_type = OBD_CFG_REC;
1391
1392         rc = llog_test_9_sub(env, ctxt);
1393         if (rc != 0) {
1394                 CERROR("9b: llog_obd_cfg_rec test failed\n");
1395                 GOTO(out, rc);
1396         }
1397
1398         CWARN("9c: test llog_changelog_rec\n");
1399         /* Direct access to cr_do_not_use: peculiar case for this test */
1400         llog_records.lcr.cr_hdr.lrh_len = sizeof(llog_records.lcr);
1401         llog_records.lcr.cr_do_not_use.lrt_len = sizeof(llog_records.lcr);
1402         llog_records.lcr.cr_hdr.lrh_type = CHANGELOG_REC;
1403
1404         rc = llog_test_9_sub(env, ctxt);
1405         if (rc != 0) {
1406                 CERROR("9c: llog_changelog_rec test failed\n");
1407                 GOTO(out, rc);
1408         }
1409
1410         CWARN("9d: test llog_changelog_user_rec\n");
1411         llog_records.lcur.cur_hdr.lrh_len = sizeof(llog_records.lcur);
1412         llog_records.lcur.cur_tail.lrt_len = sizeof(llog_records.lcur);
1413         llog_records.lcur.cur_hdr.lrh_type = CHANGELOG_USER_REC;
1414
1415         rc = llog_test_9_sub(env, ctxt);
1416         if (rc != 0) {
1417                 CERROR("9d: llog_changelog_user_rec test failed\n");
1418                 GOTO(out, rc);
1419         }
1420
1421 out:
1422         llog_ctxt_put(ctxt);
1423         RETURN(rc);
1424 }
1425
1426 struct llog_process_info {
1427         struct llog_handle *lpi_loghandle;
1428         llog_cb_t lpi_cb;
1429         void *lpi_cbdata;
1430         void *lpi_catdata;
1431         int lpi_rc;
1432         struct completion lpi_completion;
1433         const struct lu_env *lpi_env;
1434         struct task_struct *lpi_reftask;
1435 };
1436
1437
1438 static int llog_test_process_thread(void *arg)
1439 {
1440         struct llog_process_info *lpi = arg;
1441         int rc;
1442
1443         rc = llog_cat_process_or_fork(NULL, lpi->lpi_loghandle, lpi->lpi_cb,
1444                                       NULL, lpi->lpi_cbdata, 1, 0, true);
1445
1446         complete(&lpi->lpi_completion);
1447
1448         lpi->lpi_rc = rc;
1449         if (rc)
1450                 CWARN("10h: Error during catalog processing %d\n", rc);
1451         return rc;
1452 }
1453
1454 static int cat_check_old_cb(const struct lu_env *env, struct llog_handle *llh,
1455                         struct llog_rec_hdr *rec, void *data)
1456 {
1457         struct llog_logid_rec *lir = (struct llog_logid_rec *)rec;
1458         struct lu_fid fid = {0};
1459         struct lu_fid *prev_fid = data;
1460
1461         if (rec->lrh_type != LLOG_LOGID_MAGIC) {
1462                 CERROR("invalid record in catalog\n");
1463                 RETURN(-EINVAL);
1464         }
1465
1466         logid_to_fid(&lir->lid_id, &fid);
1467
1468         CWARN("seeing record at index %d - "DFID" in log "DFID"\n",
1469               rec->lrh_index, PFID(&fid),
1470               PFID(lu_object_fid(&llh->lgh_obj->do_lu)));
1471
1472         if (prev_fid->f_oid > fid.f_oid) {
1473                 CWARN("processing old record, fail\n");
1474                 prev_fid->f_oid = 0xbad;
1475                 RETURN(-LLOG_EEMPTY);
1476         }
1477
1478         if (prev_fid->f_oid == 0) {
1479                 cfs_fail_loc = OBD_FAIL_ONCE | OBD_FAIL_LLOG_PROCESS_TIMEOUT;
1480                 cfs_fail_val = (unsigned int) (llh->lgh_id.lgl_oi.oi.oi_id &
1481                                                0xFFFFFFFF);
1482                 msleep(1 * MSEC_PER_SEC);
1483         }
1484         *prev_fid = fid;
1485
1486         RETURN(0);
1487 }
1488
1489 /* test catalog wrap around */
1490 static int llog_test_10(const struct lu_env *env, struct obd_device *obd)
1491 {
1492         struct llog_handle *cath;
1493         char name[10];
1494         int rc, rc2, i, enospc, eok;
1495         struct llog_mini_rec lmr;
1496         struct llog_ctxt *ctxt;
1497         struct lu_attr la;
1498         __u64 cat_max_size;
1499         struct dt_device *dt;
1500
1501         ENTRY;
1502
1503         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
1504         LASSERT(ctxt);
1505
1506         lmr.lmr_hdr.lrh_len = lmr.lmr_tail.lrt_len = LLOG_MIN_REC_SIZE;
1507         lmr.lmr_hdr.lrh_type = 0xf00f00;
1508
1509         snprintf(name, sizeof(name), "%x", llog_test_rand + 2);
1510         CWARN("10a: create a catalog log with name: %s\n", name);
1511         rc = llog_open_create(env, ctxt, &cath, NULL, name);
1512         if (rc) {
1513                 CERROR("10a: llog_create with name %s failed: %d\n", name, rc);
1514                 GOTO(ctxt_release, rc);
1515         }
1516         rc = llog_init_handle(env, cath, LLOG_F_IS_CAT, &uuid);
1517         if (rc) {
1518                 CERROR("10a: can't init llog handle: %d\n", rc);
1519                 GOTO(out, rc);
1520         }
1521
1522         cat_logid = cath->lgh_id;
1523         dt = lu2dt_dev(cath->lgh_obj->do_lu.lo_dev);
1524
1525         /*
1526          * sync device to commit all recent LLOG changes to disk and avoid
1527          * to consume a huge space with delayed journal commit callbacks
1528          * particularly on low memory nodes or VMs
1529          */
1530         rc = dt_sync(env, dt);
1531         if (rc) {
1532                 CERROR("10c: sync failed: %d\n", rc);
1533                 GOTO(out, rc);
1534         }
1535
1536         /* force catalog wrap for 5th plain LLOG */
1537         cfs_fail_loc = CFS_FAIL_SKIP|OBD_FAIL_CAT_RECORDS;
1538         cfs_fail_val = 4;
1539
1540         CWARN("10b: write %d log records\n", llog_test_recnum);
1541         for (i = 0; i < llog_test_recnum; i++) {
1542                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
1543                 if (rc) {
1544                         CERROR("10b: write %d records failed at #%d: %d\n",
1545                                llog_test_recnum, i + 1, rc);
1546                         GOTO(out, rc);
1547                 }
1548         }
1549
1550         /* make sure 2 new plain llog appears in catalog (+1 with hdr) */
1551         rc = verify_handle("10b", cath, 3);
1552         if (rc)
1553                 GOTO(out, rc);
1554
1555         /*
1556          * sync device to commit all recent LLOG changes to disk and avoid
1557          * to consume a huge space with delayed journal commit callbacks
1558          * particularly on low memory nodes or VMs
1559          */
1560         rc = dt_sync(env, dt);
1561         if (rc) {
1562                 CERROR("10b: sync failed: %d\n", rc);
1563                 GOTO(out, rc);
1564         }
1565
1566         CWARN("10c: write %d more log records\n", 2 * llog_test_recnum);
1567         for (i = 0; i < 2 * llog_test_recnum; i++) {
1568                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
1569                 if (rc) {
1570                         CERROR("10c: write %d records failed at #%d: %d\n",
1571                                2*llog_test_recnum, i + 1, rc);
1572                         GOTO(out, rc);
1573                 }
1574         }
1575
1576         /* make sure 2 new plain llog appears in catalog (+1 with hdr) */
1577         rc = verify_handle("10c", cath, 5);
1578         if (rc)
1579                 GOTO(out, rc);
1580
1581         /*
1582          * sync device to commit all recent LLOG changes to disk and avoid
1583          * to consume a huge space with delayed journal commit callbacks
1584          * particularly on low memory nodes or VMs
1585          */
1586         rc = dt_sync(env, dt);
1587         if (rc) {
1588                 CERROR("10c: sync failed: %d\n", rc);
1589                 GOTO(out, rc);
1590         }
1591
1592         /*
1593          * fill last allocated plain LLOG and reach -ENOSPC condition
1594          * because no slot available in Catalog
1595          */
1596         enospc = 0;
1597         eok = 0;
1598         CWARN("10c: write %d more log records\n", llog_test_recnum);
1599         for (i = 0; i < llog_test_recnum; i++) {
1600                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
1601                 if (rc && rc != -ENOSPC) {
1602                         CERROR("10c: write %d records failed at #%d: %d\n",
1603                                llog_test_recnum, i + 1, rc);
1604                         GOTO(out, rc);
1605                 }
1606                 /*
1607                  * after last added plain LLOG has filled up, all new
1608                  * records add should fail with -ENOSPC
1609                  */
1610                 if (rc == -ENOSPC) {
1611                         enospc++;
1612                 } else {
1613                         enospc = 0;
1614                         eok++;
1615                 }
1616         }
1617
1618         if ((enospc == 0) && (enospc+eok != llog_test_recnum)) {
1619                 CERROR("10c: all last records adds should have failed with"
1620                        " -ENOSPC\n");
1621                 GOTO(out, rc = -EINVAL);
1622         }
1623
1624         CWARN("10c: wrote %d records then %d failed with ENOSPC\n", eok,
1625               enospc);
1626
1627         /* make sure no new record in Catalog */
1628         rc = verify_handle("10c", cath, 5);
1629         if (rc)
1630                 GOTO(out, rc);
1631
1632         /* Catalog should have reached its max size for test */
1633         rc = dt_attr_get(env, cath->lgh_obj, &la);
1634         if (rc) {
1635                 CERROR("10c: failed to get catalog attrs: %d\n", rc);
1636                 GOTO(out, rc);
1637         }
1638         cat_max_size = la.la_size;
1639
1640         /*
1641          * cancel all 1st plain llog records to empty it, this will also cause
1642          * its catalog entry to be freed for next forced wrap in 10e
1643          */
1644         CWARN("10d: Cancel %d records, see one log zapped\n", llog_test_recnum);
1645         cancel_count = 0;
1646         rc = llog_cat_process(env, cath, llog_cancel_rec_cb, "foobar", 0, 0);
1647         if (rc != -LLOG_EEMPTY) {
1648                 CERROR("10d: process with llog_cancel_rec_cb failed: %d\n", rc);
1649                 /*
1650                  * need to indicate error if for any reason llog_test_recnum is
1651                  * not reached
1652                  */
1653                 if (rc == 0)
1654                         rc = -ERANGE;
1655                 GOTO(out, rc);
1656         }
1657
1658         CWARN("10d: print the catalog entries.. we expect 3\n");
1659         cat_counter = 0;
1660         rc = llog_process(env, cath, cat_print_cb, "test 10", NULL);
1661         if (rc) {
1662                 CERROR("10d: process with cat_print_cb failed: %d\n", rc);
1663                 GOTO(out, rc);
1664         }
1665         if (cat_counter != 3) {
1666                 CERROR("10d: %d entries in catalog\n", cat_counter);
1667                 GOTO(out, rc = -EINVAL);
1668         }
1669
1670         /* verify one down in catalog (+1 with hdr) */
1671         rc = verify_handle("10d", cath, 4);
1672         if (rc)
1673                 GOTO(out, rc);
1674
1675         /*
1676          * sync device to commit all recent LLOG changes to disk and avoid
1677          * to consume a huge space with delayed journal commit callbacks
1678          * particularly on low memory nodes or VMs
1679          */
1680         rc = dt_sync(env, dt);
1681         if (rc) {
1682                 CERROR("10d: sync failed: %d\n", rc);
1683                 GOTO(out, rc);
1684         }
1685
1686         enospc = 0;
1687         eok = 0;
1688         CWARN("10e: write %d more log records\n", llog_test_recnum);
1689         for (i = 0; i < llog_test_recnum; i++) {
1690                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
1691                 if (rc && rc != -ENOSPC) {
1692                         CERROR("10e: write %d records failed at #%d: %d\n",
1693                                llog_test_recnum, i + 1, rc);
1694                         GOTO(out, rc);
1695                 }
1696                 /*
1697                  * after last added plain LLOG has filled up, all new
1698                  * records add should fail with -ENOSPC
1699                  */
1700                 if (rc == -ENOSPC) {
1701                         enospc++;
1702                 } else {
1703                         enospc = 0;
1704                         eok++;
1705                 }
1706         }
1707
1708         if ((enospc == 0) && (enospc+eok != llog_test_recnum)) {
1709                 CERROR("10e: all last records adds should have failed with"
1710                        " -ENOSPC\n");
1711                 GOTO(out, rc = -EINVAL);
1712         }
1713
1714         CWARN("10e: wrote %d records then %d failed with ENOSPC\n", eok,
1715               enospc);
1716
1717         CWARN("10e: print the catalog entries.. we expect 4\n");
1718         cat_counter = 0;
1719         rc = llog_cat_process_or_fork(env, cath, cat_print_cb, NULL, "test 10",
1720                                       0, 0, false);
1721         if (rc) {
1722                 CERROR("10e: process with cat_print_cb failed: %d\n", rc);
1723                 GOTO(out, rc);
1724         }
1725         if (cat_counter != 4) {
1726                 CERROR("10e: %d entries in catalog\n", cat_counter);
1727                 GOTO(out, rc = -EINVAL);
1728         }
1729
1730         /* make sure 1 new plain llog appears in catalog (+1 with hdr) */
1731         rc = verify_handle("10e", cath, 5);
1732         if (rc)
1733                 GOTO(out, rc);
1734
1735         /* verify catalog has wrap around */
1736         if (cath->lgh_last_idx > cath->lgh_hdr->llh_cat_idx) {
1737                 CERROR("10e: catalog failed to wrap around\n");
1738                 GOTO(out, rc = -EINVAL);
1739         }
1740
1741         rc = dt_attr_get(env, cath->lgh_obj, &la);
1742         if (rc) {
1743                 CERROR("10e: failed to get catalog attrs: %d\n", rc);
1744                 GOTO(out, rc);
1745         }
1746
1747         if (la.la_size != cat_max_size) {
1748                 CERROR("10e: catalog size has changed after it has wrap around,"
1749                        " current size = %llu, expected size = %llu\n",
1750                        la.la_size, cat_max_size);
1751                 GOTO(out, rc = -EINVAL);
1752         }
1753         CWARN("10e: catalog successfully wrap around, last_idx %d, first %d\n",
1754               cath->lgh_last_idx, cath->lgh_hdr->llh_cat_idx);
1755
1756         /*
1757          * sync device to commit all recent LLOG changes to disk and avoid
1758          * to consume a huge space with delayed journal commit callbacks
1759          * particularly on low memory nodes or VMs
1760          */
1761         rc = dt_sync(env, dt);
1762         if (rc) {
1763                 CERROR("10e: sync failed: %d\n", rc);
1764                 GOTO(out, rc);
1765         }
1766
1767         /*
1768          * cancel more records to free one more slot in Catalog
1769          * see if it is re-allocated when adding more records
1770          */
1771         CWARN("10f: Cancel %d records, see one log zapped\n", llog_test_recnum);
1772         cancel_count = 0;
1773         rc = llog_cat_process(env, cath, llog_cancel_rec_cb, "foobar", 0, 0);
1774         if (rc != -LLOG_EEMPTY) {
1775                 CERROR("10f: process with llog_cancel_rec_cb failed: %d\n", rc);
1776                 /*
1777                  * need to indicate error if for any reason llog_test_recnum is
1778                  * not reached
1779                  */
1780                 if (rc == 0)
1781                         rc = -ERANGE;
1782                 GOTO(out, rc);
1783         }
1784
1785         CWARN("10f: print the catalog entries.. we expect 3\n");
1786         cat_counter = 0;
1787         rc = llog_cat_process_or_fork(env, cath, cat_print_cb, NULL, "test 10",
1788                                       0, 0, false);
1789         if (rc) {
1790                 CERROR("10f: process with cat_print_cb failed: %d\n", rc);
1791                 GOTO(out, rc);
1792         }
1793         if (cat_counter != 3) {
1794                 CERROR("10f: %d entries in catalog\n", cat_counter);
1795                 GOTO(out, rc = -EINVAL);
1796         }
1797
1798         /* verify one down in catalog (+1 with hdr) */
1799         rc = verify_handle("10f", cath, 4);
1800         if (rc)
1801                 GOTO(out, rc);
1802
1803         /*
1804          * sync device to commit all recent LLOG changes to disk and avoid
1805          * to consume a huge space with delayed journal commit callbacks
1806          * particularly on low memory nodes or VMs
1807          */
1808         rc = dt_sync(env, dt);
1809         if (rc) {
1810                 CERROR("10f: sync failed: %d\n", rc);
1811                 GOTO(out, rc);
1812         }
1813
1814         enospc = 0;
1815         eok = 0;
1816         CWARN("10f: write %d more log records\n", llog_test_recnum);
1817         for (i = 0; i < llog_test_recnum; i++) {
1818                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
1819                 if (rc && rc != -ENOSPC) {
1820                         CERROR("10f: write %d records failed at #%d: %d\n",
1821                                llog_test_recnum, i + 1, rc);
1822                         GOTO(out, rc);
1823                 }
1824                 /*
1825                  * after last added plain LLOG has filled up, all new
1826                  * records add should fail with -ENOSPC
1827                  */
1828                 if (rc == -ENOSPC) {
1829                         enospc++;
1830                 } else {
1831                         enospc = 0;
1832                         eok++;
1833                 }
1834         }
1835
1836         if ((enospc == 0) && (enospc+eok != llog_test_recnum)) {
1837                 CERROR("10f: all last records adds should have failed with"
1838                        " -ENOSPC\n");
1839                 GOTO(out, rc = -EINVAL);
1840         }
1841
1842         CWARN("10f: wrote %d records then %d failed with ENOSPC\n", eok,
1843               enospc);
1844
1845         /* make sure 1 new plain llog appears in catalog (+1 with hdr) */
1846         rc = verify_handle("10f", cath, 5);
1847         if (rc)
1848                 GOTO(out, rc);
1849
1850         /* verify lgh_last_idx = llh_cat_idx = 2 now */
1851         if (cath->lgh_last_idx != cath->lgh_hdr->llh_cat_idx ||
1852             cath->lgh_last_idx != 2) {
1853                 CERROR("10f: lgh_last_idx = %d vs 2, llh_cat_idx = %d vs 2\n",
1854                        cath->lgh_last_idx, cath->lgh_hdr->llh_cat_idx);
1855                 GOTO(out, rc = -EINVAL);
1856         }
1857
1858         rc = dt_attr_get(env, cath->lgh_obj, &la);
1859         if (rc) {
1860                 CERROR("10f: failed to get catalog attrs: %d\n", rc);
1861                 GOTO(out, rc);
1862         }
1863
1864         if (la.la_size != cat_max_size) {
1865                 CERROR("10f: catalog size has changed after it has wrap around,"
1866                        " current size = %llu, expected size = %llu\n",
1867                        la.la_size, cat_max_size);
1868                 GOTO(out, rc = -EINVAL);
1869         }
1870
1871         /*
1872          * sync device to commit all recent LLOG changes to disk and avoid
1873          * to consume a huge space with delayed journal commit callbacks
1874          * particularly on low memory nodes or VMs
1875          */
1876         rc = dt_sync(env, dt);
1877         if (rc) {
1878                 CERROR("10f: sync failed: %d\n", rc);
1879                 GOTO(out, rc);
1880         }
1881
1882         /* will llh_cat_idx also successfully wrap ? */
1883
1884         /*
1885          * cancel all records in the plain LLOGs referenced by 2 last indexes in
1886          * Catalog
1887          */
1888
1889         /* cancel more records to free one more slot in Catalog */
1890         CWARN("10g: Cancel %d records, see one log zapped\n", llog_test_recnum);
1891         cancel_count = 0;
1892         rc = llog_cat_process(env, cath, llog_cancel_rec_cb, "foobar", 0, 0);
1893         if (rc != -LLOG_EEMPTY) {
1894                 CERROR("10g: process with llog_cancel_rec_cb failed: %d\n", rc);
1895                 /* need to indicate error if for any reason llog_test_recnum is
1896                  * not reached */
1897                 if (rc == 0)
1898                         rc = -ERANGE;
1899                 GOTO(out, rc);
1900         }
1901
1902         CWARN("10g: print the catalog entries.. we expect 3\n");
1903         cat_counter = 0;
1904         rc = llog_cat_process_or_fork(env, cath, cat_print_cb, NULL, "test 10",
1905                                       0, 0, false);
1906         if (rc) {
1907                 CERROR("10g: process with cat_print_cb failed: %d\n", rc);
1908                 GOTO(out, rc);
1909         }
1910         if (cat_counter != 3) {
1911                 CERROR("10g: %d entries in catalog\n", cat_counter);
1912                 GOTO(out, rc = -EINVAL);
1913         }
1914
1915         /* verify one down in catalog (+1 with hdr) */
1916         rc = verify_handle("10g", cath, 4);
1917         if (rc)
1918                 GOTO(out, rc);
1919
1920         /*
1921          * sync device to commit all recent LLOG changes to disk and avoid
1922          * to consume a huge space with delayed journal commit callbacks
1923          * particularly on low memory nodes or VMs
1924          */
1925         rc = dt_sync(env, dt);
1926         if (rc) {
1927                 CERROR("10g: sync failed: %d\n", rc);
1928                 GOTO(out, rc);
1929         }
1930
1931         /* cancel more records to free one more slot in Catalog */
1932         CWARN("10g: Cancel %d records, see one log zapped\n", llog_test_recnum);
1933         cancel_count = 0;
1934         rc = llog_cat_process(env, cath, llog_cancel_rec_cb, "foobar", 0, 0);
1935         if (rc != -LLOG_EEMPTY) {
1936                 CERROR("10g: process with llog_cancel_rec_cb failed: %d\n", rc);
1937                 /*
1938                  * need to indicate error if for any reason llog_test_recnum is
1939                  * not reached
1940                  */
1941                 if (rc == 0)
1942                         rc = -ERANGE;
1943                 GOTO(out, rc);
1944         }
1945
1946         CWARN("10g: print the catalog entries.. we expect 2\n");
1947         cat_counter = 0;
1948         rc = llog_cat_process_or_fork(env, cath, cat_print_cb, NULL, "test 10",
1949                                       0, 0, false);
1950         if (rc) {
1951                 CERROR("10g: process with cat_print_cb failed: %d\n", rc);
1952                 GOTO(out, rc);
1953         }
1954         if (cat_counter != 2) {
1955                 CERROR("10g: %d entries in catalog\n", cat_counter);
1956                 GOTO(out, rc = -EINVAL);
1957         }
1958
1959         /* verify one down in catalog (+1 with hdr) */
1960         rc = verify_handle("10g", cath, 3);
1961         if (rc)
1962                 GOTO(out, rc);
1963
1964         /* verify lgh_last_idx = 2 and llh_cat_idx = 0 now */
1965         if (cath->lgh_hdr->llh_cat_idx != 0 ||
1966             cath->lgh_last_idx != 2) {
1967                 CERROR("10g: lgh_last_idx = %d vs 2, llh_cat_idx = %d vs 0\n",
1968                        cath->lgh_last_idx, cath->lgh_hdr->llh_cat_idx);
1969                 GOTO(out, rc = -EINVAL);
1970         }
1971
1972         /*
1973          * sync device to commit all recent LLOG changes to disk and avoid
1974          * to consume a huge space with delayed journal commit callbacks
1975          * particularly on low memory nodes or VMs
1976          */
1977         rc = dt_sync(env, dt);
1978         if (rc) {
1979                 CERROR("10g: sync failed: %d\n", rc);
1980                 GOTO(out, rc);
1981         }
1982
1983         /* cancel more records to free one more slot in Catalog */
1984         CWARN("10g: Cancel %d records, see one log zapped\n", llog_test_recnum);
1985         cancel_count = 0;
1986         rc = llog_cat_process(env, cath, llog_cancel_rec_cb, "foobar", 0, 0);
1987         if (rc != -LLOG_EEMPTY) {
1988                 CERROR("10g: process with llog_cancel_rec_cb failed: %d\n", rc);
1989                 /*
1990                  * need to indicate error if for any reason llog_test_recnum is
1991                  * not reached
1992                  */
1993                 if (rc == 0)
1994                         rc = -ERANGE;
1995                 GOTO(out, rc);
1996         }
1997
1998         CWARN("10g: print the catalog entries.. we expect 1\n");
1999         cat_counter = 0;
2000         rc = llog_cat_process_or_fork(env, cath, cat_print_cb, NULL, "test 10",
2001                                       0, 0, false);
2002         if (rc) {
2003                 CERROR("10g: process with cat_print_cb failed: %d\n", rc);
2004                 GOTO(out, rc);
2005         }
2006         if (cat_counter != 1) {
2007                 CERROR("10g: %d entries in catalog\n", cat_counter);
2008                 GOTO(out, rc = -EINVAL);
2009         }
2010
2011         /* verify one down in catalog (+1 with hdr) */
2012         rc = verify_handle("10g", cath, 2);
2013         if (rc)
2014                 GOTO(out, rc);
2015
2016         /* verify lgh_last_idx = 2 and llh_cat_idx = 1 now */
2017         if (cath->lgh_hdr->llh_cat_idx != 1 ||
2018             cath->lgh_last_idx != 2) {
2019                 CERROR("10g: lgh_last_idx = %d vs 2, llh_cat_idx = %d vs 1\n",
2020                        cath->lgh_last_idx, cath->lgh_hdr->llh_cat_idx);
2021                 GOTO(out, rc = -EINVAL);
2022         }
2023
2024         CWARN("10g: llh_cat_idx has also successfully wrapped!\n");
2025
2026         /*
2027          * catalog has only one valid entry other slots has outdated
2028          * records. Trying to race the llog_thread_process with llog_add
2029          * llog_thread_process read buffer and loop record on it.
2030          * llog_add adds a record and mark a record in bitmap.
2031          * llog_thread_process process record with old data.
2032          */
2033         {
2034         struct llog_process_info lpi;
2035         struct lu_fid test_fid = {0};
2036
2037         lpi.lpi_loghandle = cath;
2038         lpi.lpi_cb = cat_check_old_cb;
2039         lpi.lpi_catdata = NULL;
2040         lpi.lpi_cbdata = &test_fid;
2041         init_completion(&lpi.lpi_completion);
2042
2043         kthread_run(llog_test_process_thread, &lpi, "llog_test_process_thread");
2044
2045         msleep(1 * MSEC_PER_SEC / 2);
2046         enospc = 0;
2047         eok = 0;
2048         CWARN("10h: write %d more log records\n", llog_test_recnum);
2049         for (i = 0; i < llog_test_recnum; i++) {
2050                 rc = llog_cat_add(env, cath, &lmr.lmr_hdr, NULL);
2051                 if (rc && rc != -ENOSPC) {
2052                         CERROR("10h: write %d records failed at #%d: %d\n",
2053                                llog_test_recnum, i + 1, rc);
2054                         GOTO(out, rc);
2055                 }
2056                 /*
2057                  * after last added plain LLOG has filled up, all new
2058                  * records add should fail with -ENOSPC
2059                  */
2060                 if (rc == -ENOSPC) {
2061                         enospc++;
2062                 } else {
2063                         enospc = 0;
2064                         eok++;
2065                 }
2066         }
2067
2068         if ((enospc == 0) && (enospc+eok != llog_test_recnum)) {
2069                 CERROR("10h: all last records adds should have failed with"
2070                        " -ENOSPC\n");
2071                 GOTO(out, rc = -EINVAL);
2072         }
2073
2074         CWARN("10h: wrote %d records then %d failed with ENOSPC\n", eok,
2075               enospc);
2076
2077         wait_for_completion(&lpi.lpi_completion);
2078
2079         if (lpi.lpi_rc != 0) {
2080                 CERROR("10h: race happened, old record was processed\n");
2081                 GOTO(out, rc = -EINVAL);
2082         }
2083         }
2084 out:
2085         cfs_fail_loc = 0;
2086         cfs_fail_val = 0;
2087
2088         CWARN("10: put newly-created catalog\n");
2089         rc2 = llog_cat_close(env, cath);
2090         if (rc2) {
2091                 CERROR("10: close log %s failed: %d\n", name, rc2);
2092                 if (rc == 0)
2093                         rc = rc2;
2094         }
2095 ctxt_release:
2096         llog_ctxt_put(ctxt);
2097         RETURN(rc);
2098 }
2099
2100 /*
2101  * -------------------------------------------------------------------------
2102  * Tests above, boring obd functions below
2103  * -------------------------------------------------------------------------
2104  */
2105 static int llog_run_tests(const struct lu_env *env, struct obd_device *obd)
2106 {
2107         struct llog_handle *llh = NULL;
2108         struct llog_ctxt *ctxt;
2109         int rc, err;
2110         char name[10];
2111
2112         ENTRY;
2113         ctxt = llog_get_context(obd, LLOG_TEST_ORIG_CTXT);
2114         LASSERT(ctxt);
2115
2116         sprintf(name, "%x", llog_test_rand);
2117
2118         rc = llog_test_1(env, obd, name);
2119         if (rc)
2120                 GOTO(cleanup_ctxt, rc);
2121
2122         rc = llog_test_2(env, obd, name, &llh);
2123         if (rc)
2124                 GOTO(cleanup_ctxt, rc);
2125
2126         rc = llog_test_3(env, obd, llh);
2127         if (rc)
2128                 GOTO(cleanup, rc);
2129
2130         rc = llog_test_4(env, obd);
2131         if (rc)
2132                 GOTO(cleanup, rc);
2133
2134         rc = llog_test_5(env, obd);
2135         if (rc)
2136                 GOTO(cleanup, rc);
2137
2138         rc = llog_test_6(env, obd, name);
2139         if (rc)
2140                 GOTO(cleanup, rc);
2141
2142         rc = llog_test_7(env, obd);
2143         if (rc)
2144                 GOTO(cleanup, rc);
2145
2146         rc = llog_test_8(env, obd);
2147         if (rc)
2148                 GOTO(cleanup, rc);
2149
2150         rc = llog_test_9(env, obd);
2151         if (rc != 0)
2152                 GOTO(cleanup, rc);
2153
2154         rc = llog_test_10(env, obd);
2155         if (rc)
2156                 GOTO(cleanup, rc);
2157
2158 cleanup:
2159         err = llog_destroy(env, llh);
2160         if (err)
2161                 CERROR("cleanup: llog_destroy failed: %d\n", err);
2162         llog_close(env, llh);
2163         if (rc == 0)
2164                 rc = err;
2165 cleanup_ctxt:
2166         llog_ctxt_put(ctxt);
2167         return rc;
2168 }
2169
2170 static int llog_test_cleanup(struct obd_device *obd)
2171 {
2172         struct obd_device *tgt;
2173         struct lu_env env;
2174         int rc;
2175
2176         ENTRY;
2177
2178         rc = lu_env_init(&env, LCT_LOCAL | LCT_MG_THREAD);
2179         if (rc)
2180                 RETURN(rc);
2181
2182         tgt = obd->obd_lvfs_ctxt.dt->dd_lu_dev.ld_obd;
2183         rc = llog_cleanup(&env, llog_get_context(tgt, LLOG_TEST_ORIG_CTXT));
2184         if (rc)
2185                 CERROR("failed to llog_test_llog_finish: %d\n", rc);
2186         lu_env_fini(&env);
2187         RETURN(rc);
2188 }
2189
2190 static int llog_test_setup(struct obd_device *obd, struct lustre_cfg *lcfg)
2191 {
2192         struct obd_device *tgt;
2193         struct llog_ctxt *ctxt;
2194         struct dt_object *o;
2195         struct lu_env env;
2196         struct lu_context test_session;
2197         int rc;
2198
2199         ENTRY;
2200
2201         if (lcfg->lcfg_bufcount < 2) {
2202                 CERROR("requires a TARGET OBD name\n");
2203                 RETURN(-EINVAL);
2204         }
2205
2206         if (lcfg->lcfg_buflens[1] < 1) {
2207                 CERROR("requires a TARGET OBD name\n");
2208                 RETURN(-EINVAL);
2209         }
2210
2211         /* disk obd */
2212         tgt = class_name2obd(lustre_cfg_string(lcfg, 1));
2213         if (!tgt || !tgt->obd_attached || !tgt->obd_set_up) {
2214                 CERROR("target device not attached or not set up (%s)\n",
2215                         lustre_cfg_string(lcfg, 1));
2216                 RETURN(-EINVAL);
2217         }
2218
2219         rc = lu_env_init(&env, LCT_LOCAL | LCT_MG_THREAD);
2220         if (rc)
2221                 RETURN(rc);
2222
2223         rc = lu_context_init(&test_session, LCT_SERVER_SESSION);
2224         if (rc)
2225                 GOTO(cleanup_env, rc);
2226         test_session.lc_thread = (struct ptlrpc_thread *)current;
2227         lu_context_enter(&test_session);
2228         env.le_ses = &test_session;
2229
2230         CWARN("Setup llog-test device over %s device\n",
2231               lustre_cfg_string(lcfg, 1));
2232
2233         OBD_SET_CTXT_MAGIC(&obd->obd_lvfs_ctxt);
2234         obd->obd_lvfs_ctxt.dt = lu2dt_dev(tgt->obd_lu_dev);
2235
2236         rc = llog_setup(&env, tgt, &tgt->obd_olg, LLOG_TEST_ORIG_CTXT, tgt,
2237                         &llog_osd_ops);
2238         if (rc)
2239                 GOTO(cleanup_session, rc);
2240
2241         /* use MGS llog dir for tests */
2242         ctxt = llog_get_context(tgt, LLOG_CONFIG_ORIG_CTXT);
2243         LASSERT(ctxt);
2244         o = ctxt->loc_dir;
2245         llog_ctxt_put(ctxt);
2246
2247         ctxt = llog_get_context(tgt, LLOG_TEST_ORIG_CTXT);
2248         LASSERT(ctxt);
2249         ctxt->loc_dir = o;
2250         llog_ctxt_put(ctxt);
2251
2252         llog_test_rand = prandom_u32();
2253
2254         rc = llog_run_tests(&env, tgt);
2255         if (rc)
2256                 llog_test_cleanup(obd);
2257 cleanup_session:
2258         lu_context_exit(&test_session);
2259         lu_context_fini(&test_session);
2260 cleanup_env:
2261         lu_env_fini(&env);
2262         RETURN(rc);
2263 }
2264
2265 static const struct obd_ops llog_obd_ops = {
2266         .o_owner       = THIS_MODULE,
2267         .o_setup       = llog_test_setup,
2268         .o_cleanup     = llog_test_cleanup,
2269 };
2270
2271 static int __init llog_test_init(void)
2272 {
2273         return class_register_type(&llog_obd_ops, NULL, false, NULL,
2274                                    "llog_test", NULL);
2275 }
2276
2277 static void __exit llog_test_exit(void)
2278 {
2279         class_unregister_type("llog_test");
2280 }
2281
2282 MODULE_AUTHOR("OpenSFS, Inc. <http://www.lustre.org/>");
2283 MODULE_DESCRIPTION("Lustre Log test module");
2284 MODULE_VERSION(LUSTRE_VERSION_STRING);
2285 MODULE_LICENSE("GPL");
2286
2287 module_init(llog_test_init);
2288 module_exit(llog_test_exit);