Whamcloud - gitweb
497d2816d79b5ac6e80a1cf0996878b370009e5a
[fs/lustre-release.git] / lustre / ptlrpc / recov_thread.c
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * GPL HEADER START
5  *
6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 only,
10  * as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * General Public License version 2 for more details (a copy is included
16  * in the LICENSE file that accompanied this code).
17  *
18  * You should have received a copy of the GNU General Public License
19  * version 2 along with this program; If not, see
20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
21  *
22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
23  * CA 95054 USA or visit www.sun.com if you need additional information or
24  * have any questions.
25  *
26  * GPL HEADER END
27  */
28 /*
29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
30  * Use is subject to license terms.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  *
36  * lustre/ptlrpc/recov_thread.c
37  *
38  * OST<->MDS recovery logging thread.
39  * Invariants in implementation:
40  * - we do not share logs among different OST<->MDS connections, so that
41  *   if an OST or MDS fails it need only look at log(s) relevant to itself
42  *
43  * Author: Andreas Dilger   <adilger@clusterfs.com>
44  *         Yury Umanets     <yury.umanets@sun.com>
45  *         Alexey Lyashkov  <alexey.lyashkov@sun.com>
46  */
47
48 #define DEBUG_SUBSYSTEM S_LOG
49
50 #ifndef EXPORT_SYMTAB
51 # define EXPORT_SYMTAB
52 #endif
53
54 #ifdef __KERNEL__
55 # include <libcfs/libcfs.h>
56 #else
57 # include <libcfs/list.h>
58 # include <liblustre.h>
59 #endif
60
61 #include <obd_class.h>
62 #include <obd_support.h>
63 #include <obd_class.h>
64 #include <lustre_net.h>
65 #include <lnet/types.h>
66 #include <libcfs/list.h>
67 #include <lustre_log.h>
68 #include "ptlrpc_internal.h"
69
70 static atomic_t                   llcd_count = ATOMIC_INIT(0);
71 static cfs_mem_cache_t           *llcd_cache = NULL;
72
73 #ifdef __KERNEL__
74 enum {
75         LLOG_LCM_FL_START       = 1 << 0,
76         LLOG_LCM_FL_EXIT        = 1 << 1
77 };
78
79 /**
80  * Allocate new llcd from cache, init it and return to caller.
81  * Bumps number of objects allocated.
82  */
83 static struct llog_canceld_ctxt *llcd_alloc(void)
84 {
85         struct llog_canceld_ctxt *llcd;
86         int llcd_size;
87
88         /*
89          * Payload of lustre_msg V2 is bigger.
90          */
91         llcd_size = CFS_PAGE_SIZE -
92                 lustre_msg_size(LUSTRE_MSG_MAGIC_V2, 1, NULL);
93         llcd_size += offsetof(struct llog_canceld_ctxt, llcd_cookies);
94         OBD_SLAB_ALLOC(llcd, llcd_cache, CFS_ALLOC_STD, llcd_size);
95         if (!llcd)
96                 return NULL;
97
98         llcd->llcd_size = llcd_size;
99         llcd->llcd_cookiebytes = 0;
100         atomic_inc(&llcd_count);
101         return llcd;
102 }
103
104 /**
105  * Returns passed llcd to cache.
106  */
107 static void llcd_free(struct llog_canceld_ctxt *llcd)
108 {
109         LASSERT(atomic_read(&llcd_count) > 0);
110         OBD_SLAB_FREE(llcd, llcd_cache, llcd->llcd_size);
111         atomic_dec(&llcd_count);
112 }
113
114 /**
115  * Copy passed @cookies to @llcd.
116  */
117 static void llcd_copy(struct llog_canceld_ctxt *llcd,
118                       struct llog_cookie *cookies)
119 {
120         memcpy((char *)llcd->llcd_cookies + llcd->llcd_cookiebytes,
121               cookies, sizeof(*cookies));
122         llcd->llcd_cookiebytes += sizeof(*cookies);
123 }
124
125 /**
126  * Checks if passed cookie fits into llcd free space buffer. Returns
127  * 1 if yes and 0 otherwise.
128  */
129 static int llcd_fit(struct llog_canceld_ctxt *llcd,
130                  struct llog_cookie *cookies)
131 {
132         return (llcd->llcd_size -
133                 llcd->llcd_cookiebytes) >= sizeof(*cookies);
134 }
135
136 static void llcd_print(struct llog_canceld_ctxt *llcd,
137                        const char *func, int line)
138 {
139         CDEBUG(D_RPCTRACE, "Llcd (%p) at %s:%d:\n", llcd, func, line);
140         CDEBUG(D_RPCTRACE, "  size: %d\n", llcd->llcd_size);
141         CDEBUG(D_RPCTRACE, "  ctxt: %p\n", llcd->llcd_ctxt);
142         CDEBUG(D_RPCTRACE, "  lcm : %p\n", llcd->llcd_lcm);
143         CDEBUG(D_RPCTRACE, "  cookiebytes : %d\n", llcd->llcd_cookiebytes);
144 }
145
146 /**
147  * Llcd completion function. Called uppon llcd send finish regardless
148  * sending result. Error is passed in @rc. Note, that this will be called
149  * in cleanup time when all inflight rpcs aborted.
150  */
151 static int
152 llcd_interpret(const struct lu_env *env,
153                struct ptlrpc_request *req, void *noused, int rc)
154 {
155         struct llog_canceld_ctxt *llcd = req->rq_async_args.pointer_arg[0];
156         CDEBUG(D_RPCTRACE, "Sent llcd %p (%d)\n", llcd, rc);
157         llcd_free(llcd);
158         return 0;
159 }
160
161 /**
162  * Send @llcd to remote node. Free llcd uppon completion or error. Sending
163  * is performed in async style so this function will return asap without
164  * blocking.
165  */
166 static int llcd_send(struct llog_canceld_ctxt *llcd)
167 {
168         char *bufs[2] = { NULL, (char *)llcd->llcd_cookies };
169         struct obd_import *import = NULL;
170         struct llog_commit_master *lcm;
171         struct ptlrpc_request *req;
172         struct llog_ctxt *ctxt;
173         int rc;
174         ENTRY;
175
176         ctxt = llcd->llcd_ctxt;
177         if (!ctxt) {
178                 CERROR("Invalid llcd with NULL ctxt found (%p)\n",
179                        llcd);
180                 llcd_print(llcd, __FUNCTION__, __LINE__);
181                 LBUG();
182         }
183         LASSERT_SEM_LOCKED(&ctxt->loc_sem);
184
185         if (llcd->llcd_cookiebytes == 0)
186                 GOTO(exit, rc = 0);
187
188         lcm = llcd->llcd_lcm;
189
190         /*
191          * Check if we're in exit stage. Do not send llcd in
192          * this case.
193          */
194         if (test_bit(LLOG_LCM_FL_EXIT, &lcm->lcm_flags))
195                 GOTO(exit, rc = -ENODEV);
196
197         CDEBUG(D_RPCTRACE, "Sending llcd %p\n", llcd);
198
199         import = llcd->llcd_ctxt->loc_imp;
200         if (!import || (import == LP_POISON) ||
201             (import->imp_client == LP_POISON)) {
202                 CERROR("Invalid import %p for llcd %p\n",
203                        import, llcd);
204                 GOTO(exit, rc = -ENODEV);
205         }
206
207         OBD_FAIL_TIMEOUT(OBD_FAIL_PTLRPC_DELAY_RECOV, 10);
208
209         /*
210          * No need to get import here as it is already done in
211          * llog_receptor_accept().
212          */
213         req = ptlrpc_request_alloc(import, &RQF_LOG_CANCEL);
214         if (req == NULL) {
215                 CERROR("Can't allocate request for sending llcd %p\n",
216                        llcd);
217                 GOTO(exit, rc = -ENOMEM);
218         }
219         req_capsule_set_size(&req->rq_pill, &RMF_LOGCOOKIES,
220                              RCL_CLIENT, llcd->llcd_cookiebytes);
221
222         rc = ptlrpc_request_bufs_pack(req, LUSTRE_LOG_VERSION,
223                                       OBD_LOG_CANCEL, bufs, NULL);
224         if (rc) {
225                 ptlrpc_request_free(req);
226                 GOTO(exit, rc);
227         }
228
229         ptlrpc_at_set_req_timeout(req);
230         ptlrpc_request_set_replen(req);
231
232         /* bug 5515 */
233         req->rq_request_portal = LDLM_CANCEL_REQUEST_PORTAL;
234         req->rq_reply_portal = LDLM_CANCEL_REPLY_PORTAL;
235         req->rq_interpret_reply = (ptlrpc_interpterer_t)llcd_interpret;
236         req->rq_async_args.pointer_arg[0] = llcd;
237         rc = ptlrpc_set_add_new_req(&lcm->lcm_pc, req);
238         if (rc) {
239                 ptlrpc_request_free(req);
240                 GOTO(exit, rc);
241         }
242         RETURN(0);
243 exit:
244         CDEBUG(D_RPCTRACE, "Refused llcd %p\n", llcd);
245         llcd_free(llcd);
246         return rc;
247 }
248
249 /**
250  * Attach @llcd to @ctxt. Establish llcd vs. ctxt reserve connection
251  * so hat they can refer each other.
252  */
253 static int
254 llcd_attach(struct llog_ctxt *ctxt, struct llog_canceld_ctxt *llcd)
255 {
256         struct llog_commit_master *lcm;
257
258         LASSERT(ctxt != NULL && llcd != NULL);
259         LASSERT_SEM_LOCKED(&ctxt->loc_sem);
260         LASSERT(ctxt->loc_llcd == NULL);
261         lcm = ctxt->loc_lcm;
262         atomic_inc(&lcm->lcm_count);
263         CDEBUG(D_RPCTRACE, "Attach llcd %p to ctxt %p (%d)\n",
264                llcd, ctxt, atomic_read(&lcm->lcm_count));
265         llcd->llcd_ctxt = llog_ctxt_get(ctxt);
266         llcd->llcd_lcm = ctxt->loc_lcm;
267         ctxt->loc_llcd = llcd;
268         return 0;
269 }
270
271 /**
272  * Opposite to llcd_attach(). Detaches llcd from its @ctxt. This makes
273  * sure that this llcd will not be found another time we try to cancel.
274  */
275 static struct llog_canceld_ctxt *llcd_detach(struct llog_ctxt *ctxt)
276 {
277         struct llog_commit_master *lcm;
278         struct llog_canceld_ctxt *llcd;
279
280         LASSERT(ctxt != NULL);
281         LASSERT_SEM_LOCKED(&ctxt->loc_sem);
282
283         llcd = ctxt->loc_llcd;
284         if (!llcd)
285                 return NULL;
286
287         lcm = ctxt->loc_lcm;
288         if (atomic_read(&lcm->lcm_count) == 0) {
289                 CERROR("Invalid detach occured %p:%p\n", ctxt, llcd);
290                 llcd_print(llcd, __FUNCTION__, __LINE__);
291                 LBUG();
292         }
293         atomic_dec(&lcm->lcm_count);
294         ctxt->loc_llcd = NULL;
295
296         CDEBUG(D_RPCTRACE, "Detach llcd %p from ctxt %p (%d)\n",
297                llcd, ctxt, atomic_read(&lcm->lcm_count));
298
299         llog_ctxt_put(ctxt);
300         return llcd;
301 }
302
303 /**
304  * Return @llcd cached in @ctxt. Allocate new one if required. Attach it
305  * to ctxt so that it may be used for gathering cookies and sending.
306  */
307 static struct llog_canceld_ctxt *llcd_get(struct llog_ctxt *ctxt)
308 {
309         struct llog_canceld_ctxt *llcd;
310
311         llcd = llcd_alloc();
312         if (!llcd) {
313                 CERROR("Couldn't alloc an llcd for ctxt %p\n", ctxt);
314                 return NULL;
315         }
316         llcd_attach(ctxt, llcd);
317         return llcd;
318 }
319
320 /**
321  * Deatch llcd from its @ctxt. Free llcd.
322  */
323 static void llcd_put(struct llog_ctxt *ctxt)
324 {
325         struct llog_commit_master *lcm;
326         struct llog_canceld_ctxt *llcd;
327
328         lcm = ctxt->loc_lcm;
329         llcd = llcd_detach(ctxt);
330         if (llcd)
331                 llcd_free(llcd);
332
333         if (atomic_read(&lcm->lcm_count) == 0)
334                 cfs_waitq_signal(&lcm->lcm_waitq);
335 }
336
337 /**
338  * Detach llcd from its @ctxt so that nobody will find it with try to
339  * re-use. Send llcd to remote node.
340  */
341 static int llcd_push(struct llog_ctxt *ctxt)
342 {
343         struct llog_canceld_ctxt *llcd;
344         int rc;
345
346         /*
347          * Make sure that this llcd will not be sent again as we detach
348          * it from ctxt.
349          */
350         llcd = llcd_detach(ctxt);
351         if (!llcd) {
352                 CERROR("Invalid detached llcd found %p\n", llcd);
353                 llcd_print(llcd, __FUNCTION__, __LINE__);
354                 LBUG();
355         }
356
357         rc = llcd_send(llcd);
358         if (rc)
359                 CERROR("Couldn't send llcd %p (%d)\n", llcd, rc);
360         return rc;
361 }
362
363 /**
364  * Start recovery thread which actually deals llcd sending. This
365  * is all ptlrpc standard thread based so there is not much of work
366  * to do.
367  */
368 int llog_recov_thread_start(struct llog_commit_master *lcm)
369 {
370         int rc;
371         ENTRY;
372
373         rc = ptlrpcd_start(lcm->lcm_name, &lcm->lcm_pc);
374         if (rc) {
375                 CERROR("Error %d while starting recovery thread %s\n",
376                        rc, lcm->lcm_name);
377                 RETURN(rc);
378         }
379         lcm->lcm_set = lcm->lcm_pc.pc_set;
380         RETURN(rc);
381 }
382 EXPORT_SYMBOL(llog_recov_thread_start);
383
384 /**
385  * Stop recovery thread. Complement to llog_recov_thread_start().
386  */
387 void llog_recov_thread_stop(struct llog_commit_master *lcm, int force)
388 {
389         struct l_wait_info lwi = LWI_INTR(LWI_ON_SIGNAL_NOOP, NULL);
390         ENTRY;
391
392         /**
393          * Let all know that we're stopping. This will also make
394          * llcd_send() refuse any new llcds.
395          */
396         set_bit(LLOG_LCM_FL_EXIT, &lcm->lcm_flags);
397
398         /**
399          * Stop processing thread. No new rpcs will be accepted for
400          * for processing now.
401          */
402         ptlrpcd_stop(&lcm->lcm_pc, force);
403
404         /*
405          * Wait for llcd number == 0. Note, this is infinite wait.
406          * All other parts should make sure that no lost llcd is left.
407          */
408         l_wait_event(lcm->lcm_waitq,
409                      atomic_read(&lcm->lcm_count) == 0, &lwi);
410         EXIT;
411 }
412 EXPORT_SYMBOL(llog_recov_thread_stop);
413
414 /**
415  * Initialize commit master structure and start recovery thread on it.
416  */
417 struct llog_commit_master *llog_recov_thread_init(char *name)
418 {
419         struct llog_commit_master *lcm;
420         int rc;
421         ENTRY;
422
423         OBD_ALLOC_PTR(lcm);
424         if (!lcm)
425                 RETURN(NULL);
426
427         /*
428          * Try to create threads with unique names.
429          */
430         snprintf(lcm->lcm_name, sizeof(lcm->lcm_name),
431                  "ll_log_commit_%s", name);
432
433         strncpy(lcm->lcm_name, name, sizeof(lcm->lcm_name));
434         cfs_waitq_init(&lcm->lcm_waitq);
435         atomic_set(&lcm->lcm_count, 0);
436         rc = llog_recov_thread_start(lcm);
437         if (rc) {
438                 CERROR("Can't start commit thread, rc %d\n", rc);
439                 GOTO(out, rc);
440         }
441         RETURN(lcm);
442 out:
443         OBD_FREE_PTR(lcm);
444         return NULL;
445 }
446 EXPORT_SYMBOL(llog_recov_thread_init);
447
448 /**
449  * Finalize commit master and its recovery thread.
450  */
451 void llog_recov_thread_fini(struct llog_commit_master *lcm, int force)
452 {
453         ENTRY;
454         llog_recov_thread_stop(lcm, force);
455         OBD_FREE_PTR(lcm);
456         EXIT;
457 }
458 EXPORT_SYMBOL(llog_recov_thread_fini);
459
460 static int llog_recov_thread_replay(struct llog_ctxt *ctxt,
461                                     void *cb, void *arg)
462 {
463         struct obd_device *obd = ctxt->loc_obd;
464         struct llog_process_cat_args *lpca;
465         int rc;
466         ENTRY;
467
468         if (obd->obd_stopping)
469                 RETURN(-ENODEV);
470
471         /*
472          * This will be balanced in llog_cat_process_thread()
473          */
474         OBD_ALLOC_PTR(lpca);
475         if (!lpca)
476                 RETURN(-ENOMEM);
477
478         lpca->lpca_cb = cb;
479         lpca->lpca_arg = arg;
480
481         /*
482          * This will be balanced in llog_cat_process_thread()
483          */
484         lpca->lpca_ctxt = llog_ctxt_get(ctxt);
485         if (!lpca->lpca_ctxt) {
486                 OBD_FREE_PTR(lpca);
487                 RETURN(-ENODEV);
488         }
489         rc = cfs_kernel_thread(llog_cat_process_thread, lpca,
490                                CLONE_VM | CLONE_FILES);
491         if (rc < 0) {
492                 CERROR("Error starting llog_cat_process_thread(): %d\n", rc);
493                 OBD_FREE_PTR(lpca);
494                 llog_ctxt_put(ctxt);
495         } else {
496                 CDEBUG(D_HA, "Started llog_cat_process_thread(): %d\n", rc);
497                 rc = 0;
498         }
499
500         RETURN(rc);
501 }
502
503 int llog_obd_repl_connect(struct llog_ctxt *ctxt,
504                           struct llog_logid *logid, struct llog_gen *gen,
505                           struct obd_uuid *uuid)
506 {
507         int rc;
508         ENTRY;
509
510         /*
511          * Send back cached llcd from llog before recovery if we have any.
512          * This is void is nothing cached is found there.
513          */
514         llog_sync(ctxt, NULL);
515
516         /*
517          * Start recovery in separate thread.
518          */
519         mutex_down(&ctxt->loc_sem);
520         ctxt->loc_gen = *gen;
521         rc = llog_recov_thread_replay(ctxt, ctxt->llog_proc_cb, logid);
522         mutex_up(&ctxt->loc_sem);
523
524         RETURN(rc);
525 }
526 EXPORT_SYMBOL(llog_obd_repl_connect);
527
528 /**
529  * Deleted objects have a commit callback that cancels the MDS
530  * log record for the deletion. The commit callback calls this
531  * function.
532  */
533 int llog_obd_repl_cancel(struct llog_ctxt *ctxt,
534                          struct lov_stripe_md *lsm, int count,
535                          struct llog_cookie *cookies, int flags)
536 {
537         struct llog_commit_master *lcm;
538         struct llog_canceld_ctxt *llcd;
539         int rc = 0;
540         ENTRY;
541
542         LASSERT(ctxt != NULL);
543
544         mutex_down(&ctxt->loc_sem);
545         lcm = ctxt->loc_lcm;
546
547         /*
548          * Let's check if we have all structures alive. We also check for
549          * possible shutdown. Do nothing if we're stopping.
550          */
551         if (ctxt->loc_imp == NULL) {
552                 CDEBUG(D_RPCTRACE, "No import for ctxt %p\n", ctxt);
553                 GOTO(out, rc = -ENODEV);
554         }
555
556         if (ctxt->loc_obd->obd_stopping) {
557                 CDEBUG(D_RPCTRACE, "Obd is stopping for ctxt %p\n", ctxt);
558                 GOTO(out, rc = -ENODEV);
559         }
560
561         if (test_bit(LLOG_LCM_FL_EXIT, &lcm->lcm_flags)) {
562                 CDEBUG(D_RPCTRACE, "Commit thread is stopping for ctxt %p\n",
563                        ctxt);
564                 GOTO(out, rc = -ENODEV);
565         }
566
567         llcd = ctxt->loc_llcd;
568
569         if (count > 0 && cookies != NULL) {
570                 /*
571                  * Get new llcd from ctxt if required.
572                  */
573                 if (!llcd) {
574                         llcd = llcd_get(ctxt);
575                         if (!llcd)
576                                 GOTO(out, rc = -ENOMEM);
577                         /*
578                          * Allocation is successful, let's check for stop
579                          * flag again to fall back as soon as possible.
580                          */
581                         if (test_bit(LLOG_LCM_FL_EXIT, &lcm->lcm_flags))
582                                 GOTO(out, rc = -ENODEV);
583                 }
584
585                 /*
586                  * Llcd does not have enough room for @cookies. Let's push
587                  * it out and allocate new one.
588                  */
589                 if (!llcd_fit(llcd, cookies)) {
590                         rc = llcd_push(ctxt);
591                         if (rc)
592                                 GOTO(out, rc);
593                         llcd = llcd_get(ctxt);
594                         if (!llcd)
595                                 GOTO(out, rc = -ENOMEM);
596                         /*
597                          * Allocation is successful, let's check for stop
598                          * flag again to fall back as soon as possible.
599                          */
600                         if (test_bit(LLOG_LCM_FL_EXIT, &lcm->lcm_flags))
601                                 GOTO(out, rc = -ENODEV);
602                 }
603
604                 /*
605                  * Copy cookies to @llcd, no matter old or new allocated one.
606                  */
607                 llcd_copy(llcd, cookies);
608         }
609
610         /*
611          * Let's check if we need to send copied @cookies asap. If yes - do it.
612          */
613         if (llcd && (flags & OBD_LLOG_FL_SENDNOW)) {
614                 rc = llcd_push(ctxt);
615                 if (rc)
616                         GOTO(out, rc);
617         }
618         EXIT;
619 out:
620         if (rc)
621                 llcd_put(ctxt);
622         mutex_up(&ctxt->loc_sem);
623         return rc;
624 }
625 EXPORT_SYMBOL(llog_obd_repl_cancel);
626
627 int llog_obd_repl_sync(struct llog_ctxt *ctxt, struct obd_export *exp)
628 {
629         int rc = 0;
630         ENTRY;
631
632         mutex_down(&ctxt->loc_sem);
633         if (exp && (ctxt->loc_imp == exp->exp_imp_reverse)) {
634                 CDEBUG(D_RPCTRACE, "Reverse import disconnect\n");
635                 /*
636                  * Check for llcd which might be left attached to @ctxt.
637                  * Let's kill it.
638                  */
639                 llcd_put(ctxt);
640                 mutex_up(&ctxt->loc_sem);
641         } else {
642                 mutex_up(&ctxt->loc_sem);
643                 rc = llog_cancel(ctxt, NULL, 0, NULL, OBD_LLOG_FL_SENDNOW);
644         }
645         RETURN(rc);
646 }
647 EXPORT_SYMBOL(llog_obd_repl_sync);
648
649 #else /* !__KERNEL__ */
650
651 int llog_obd_repl_cancel(struct llog_ctxt *ctxt,
652                          struct lov_stripe_md *lsm, int count,
653                          struct llog_cookie *cookies, int flags)
654 {
655         return 0;
656 }
657 #endif
658
659 /**
660  * Module init time fucntion. Initializes slab for llcd objects.
661  */
662 int llog_recov_init(void)
663 {
664         int llcd_size;
665
666         llcd_size = CFS_PAGE_SIZE -
667                 lustre_msg_size(LUSTRE_MSG_MAGIC_V2, 1, NULL);
668         llcd_size += offsetof(struct llog_canceld_ctxt, llcd_cookies);
669         llcd_cache = cfs_mem_cache_create("llcd_cache", llcd_size, 0, 0);
670         if (!llcd_cache) {
671                 CERROR("Error allocating llcd cache\n");
672                 return -ENOMEM;
673         }
674         return 0;
675 }
676
677 /**
678  * Module fini time fucntion. Releases slab for llcd objects.
679  */
680 void llog_recov_fini(void)
681 {
682         /*
683          * Kill llcd cache when thread is stopped and we're sure no
684          * llcd in use left.
685          */
686         if (llcd_cache) {
687                 /*
688                  * In 2.6.22 cfs_mem_cache_destroy() will not return error
689                  * for busy resources. Let's check it another way.
690                  */
691                 LASSERTF(atomic_read(&llcd_count) == 0,
692                          "Can't destroy llcd cache! Number of "
693                          "busy llcds: %d\n", atomic_read(&llcd_count));
694                 cfs_mem_cache_destroy(llcd_cache);
695                 llcd_cache = NULL;
696         }
697 }