Whamcloud - gitweb
LU-1302 llog: structures changes, llog_thread_info
[fs/lustre-release.git] / lustre / include / lustre_log.h
index d1b8e82..c3d2e67 100644 (file)
@@ -1,6 +1,4 @@
-/* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
- * vim:expandtab:shiftwidth=8:tabstop=8:
- *
+/*
  * GPL HEADER START
  *
  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
  * GPL HEADER END
  */
 /*
- * Copyright  2008 Sun Microsystems, Inc. All rights reserved
+ * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
+ *
+ * Copyright (c) 2012, Whamcloud, Inc.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
 #ifndef _LUSTRE_LOG_H
 #define _LUSTRE_LOG_H
 
+/** \defgroup log log
+ *
+ * @{
+ */
+
 #if defined(__linux__)
 #include <linux/lustre_log.h>
 #elif defined(__APPLE__)
 #error Unsupported operating system.
 #endif
 
-#include <obd.h>
+#include <obd_class.h>
 #include <obd_ost.h>
 #include <lustre/lustre_idl.h>
+#include <dt_object.h>
 
 #define LOG_NAME_LIMIT(logname, name)                   \
         snprintf(logname, sizeof(logname), "LOGS/%s", name)
 #define LLOG_EEMPTY 4711
 
 struct plain_handle_data {
-        struct list_head    phd_entry;
+        cfs_list_t          phd_entry;
         struct llog_handle *phd_cat_handle;
         struct llog_cookie  phd_cookie; /* cookie of this log in its cat */
-        int                 phd_last_idx;
 };
 
 struct cat_handle_data {
-        struct list_head        chd_head;
+        cfs_list_t              chd_head;
         struct llog_handle     *chd_current_log; /* currently open log */
+       struct llog_handle      *chd_next_log; /* llog to be used next */
 };
 
-/* In-memory descriptor for a log object or log catalog */
-struct llog_handle {
-        struct rw_semaphore     lgh_lock;
-        struct llog_logid       lgh_id;              /* id of this log */
-        struct llog_log_hdr    *lgh_hdr;
-        struct file            *lgh_file;
-        int                     lgh_last_idx;
-        int                     lgh_cur_idx;    /* used during llog_process */
-        __u64                   lgh_cur_offset; /* used during llog_process */
-        struct llog_ctxt       *lgh_ctxt;
-        union {
-                struct plain_handle_data phd;
-                struct cat_handle_data   chd;
-        } u;
-};
+static inline void logid_to_fid(struct llog_logid *id, struct lu_fid *fid)
+{
+       /* For compatibility purposes we identify pre-OSD (~< 2.3.51 MDS)
+        * logid's by non-zero ogen (inode generation) and convert them
+        * into IGIF */
+       if (id->lgl_ogen == 0) {
+               fid->f_seq = id->lgl_oseq;
+               fid->f_oid = id->lgl_oid;
+               fid->f_ver = 0;
+       } else {
+               lu_igif_build(fid, id->lgl_oid, id->lgl_ogen);
+       }
+}
+
+static inline void fid_to_logid(struct lu_fid *fid, struct llog_logid *id)
+{
+       id->lgl_oseq = fid->f_seq;
+       id->lgl_oid = fid->f_oid;
+       id->lgl_ogen = 0;
+}
+
+struct llog_handle;
 
 /* llog.c  -  general API */
 typedef int (*llog_cb_t)(struct llog_handle *, struct llog_rec_hdr *, void *);
@@ -106,12 +119,17 @@ int llog_init_handle(struct llog_handle *handle, int flags,
 extern void llog_free_handle(struct llog_handle *handle);
 int llog_process(struct llog_handle *loghandle, llog_cb_t cb,
                  void *data, void *catdata);
+int llog_process_flags(struct llog_handle *loghandle, llog_cb_t cb,
+                 void *data, void *catdata, int flags);
 int llog_reverse_process(struct llog_handle *loghandle, llog_cb_t cb,
                          void *data, void *catdata);
 extern int llog_cancel_rec(struct llog_handle *loghandle, int index);
 extern int llog_close(struct llog_handle *cathandle);
 extern int llog_get_size(struct llog_handle *loghandle);
 
+/* llog_process flags */
+#define LLOG_FLAG_NODEAMON 0x0001
+
 /* llog_cat.c - catalog api */
 struct llog_process_data {
         /**
@@ -124,6 +142,12 @@ struct llog_process_data {
          * in catalog.
          */
         llog_cb_t            lpd_cb;
+        /**
+         * Start processing the catalog from startcat/startidx
+         */
+        int                  lpd_startcat;
+        int                  lpd_startidx;
+        int                  lpd_flags;  /** llog_process flags */
 };
 
 struct llog_process_cat_data {
@@ -157,18 +181,25 @@ int llog_cat_add_rec(struct llog_handle *cathandle, struct llog_rec_hdr *rec,
                      struct llog_cookie *reccookie, void *buf);
 int llog_cat_cancel_records(struct llog_handle *cathandle, int count,
                             struct llog_cookie *cookies);
-int llog_cat_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
+int llog_cat_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data,
+                     int startcat, int startidx);
+int llog_cat_process_flags(struct llog_handle *cat_llh, llog_cb_t cb, void *data,
+                     int flags, int startcat, int startidx);
 int llog_cat_process_thread(void *data);
 int llog_cat_reverse_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
 int llog_cat_set_first_idx(struct llog_handle *cathandle, int index);
 
 /* llog_obd.c */
+int llog_setup_named(struct obd_device *obd, struct obd_llog_group *olg,
+                     int index, struct obd_device *disk_obd, int count,
+                     struct llog_logid *logid, const char *logname,
+                     struct llog_operations *op);
 int llog_setup(struct obd_device *obd, struct obd_llog_group *olg, int index,
-               struct obd_device *disk_obd, int count,  struct llog_logid *logid,
+               struct obd_device *disk_obd, int count, struct llog_logid *logid,
                struct llog_operations *op);
 int __llog_ctxt_put(struct llog_ctxt *ctxt);
 int llog_cleanup(struct llog_ctxt *);
-int llog_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
+int llog_sync(struct llog_ctxt *ctxt, struct obd_export *exp, int flags);
 int llog_add(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
              struct lov_stripe_md *lsm, struct llog_cookie *logcookies,
              int numcookies);
@@ -177,17 +208,14 @@ int llog_cancel(struct llog_ctxt *, struct lov_stripe_md *lsm,
 
 int llog_obd_origin_setup(struct obd_device *obd, struct obd_llog_group *olg,
                           int index, struct obd_device *disk_obd, int count,
-                          struct llog_logid *logid);
+                          struct llog_logid *logid, const char *name);
 int llog_obd_origin_cleanup(struct llog_ctxt *ctxt);
 int llog_obd_origin_add(struct llog_ctxt *ctxt,
                         struct llog_rec_hdr *rec, struct lov_stripe_md *lsm,
                         struct llog_cookie *logcookies, int numcookies);
 
-int llog_cat_initialize(struct obd_device *obd, struct obd_llog_group *olg,
-                        int idx, struct obd_uuid *uuid);
 int obd_llog_init(struct obd_device *obd, struct obd_llog_group *olg,
-                  struct obd_device *disk_obd, int count,
-                  struct llog_catid *logid, struct obd_uuid *uuid);
+                  struct obd_device *disk_obd, int *idx);
 
 int obd_llog_finish(struct obd_device *obd, int count);
 
@@ -199,7 +227,7 @@ int llog_catalog_list(struct obd_device *obd, int count,
 /* llog_net.c */
 int llog_initiator_connect(struct llog_ctxt *ctxt);
 int llog_receptor_accept(struct llog_ctxt *ctxt, struct obd_import *imp);
-int llog_origin_connect(struct llog_ctxt *ctxt, int count,
+int llog_origin_connect(struct llog_ctxt *ctxt,
                         struct llog_logid *logid, struct llog_gen *gen,
                         struct obd_uuid *uuid);
 int llog_handle_connect(struct ptlrpc_request *req);
@@ -208,8 +236,9 @@ int llog_handle_connect(struct ptlrpc_request *req);
 int llog_obd_repl_cancel(struct llog_ctxt *ctxt,
                          struct lov_stripe_md *lsm, int count,
                          struct llog_cookie *cookies, int flags);
-int llog_obd_repl_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
-int llog_obd_repl_connect(struct llog_ctxt *ctxt, int count,
+int llog_obd_repl_sync(struct llog_ctxt *ctxt, struct obd_export *exp,
+                      int flags);
+int llog_obd_repl_connect(struct llog_ctxt *ctxt,
                           struct llog_logid *logid, struct llog_gen *gen,
                           struct obd_uuid *uuid);
 
@@ -228,28 +257,58 @@ struct llog_operations {
         int (*lop_close)(struct llog_handle *handle);
         int (*lop_read_header)(struct llog_handle *handle);
 
-        int (*lop_setup)(struct obd_device *obd, struct obd_llog_group *olg, 
+        int (*lop_setup)(struct obd_device *obd, struct obd_llog_group *olg,
                          int ctxt_idx, struct obd_device *disk_obd, int count,
-                         struct llog_logid *logid);
-        int (*lop_sync)(struct llog_ctxt *ctxt, struct obd_export *exp);
+                         struct llog_logid *logid, const char *name);
+       int (*lop_sync)(struct llog_ctxt *ctxt, struct obd_export *exp,
+                       int flags);
         int (*lop_cleanup)(struct llog_ctxt *ctxt);
         int (*lop_add)(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
                        struct lov_stripe_md *lsm,
                        struct llog_cookie *logcookies, int numcookies);
         int (*lop_cancel)(struct llog_ctxt *ctxt, struct lov_stripe_md *lsm,
                           int count, struct llog_cookie *cookies, int flags);
-        int (*lop_connect)(struct llog_ctxt *ctxt, int count,
+        int (*lop_connect)(struct llog_ctxt *ctxt,
                            struct llog_logid *logid, struct llog_gen *gen,
                            struct obd_uuid *uuid);
         /* XXX add 2 more: commit callbacks and llog recovery functions */
 };
 
+/* In-memory descriptor for a log object or log catalog */
+struct llog_handle {
+       cfs_rw_semaphore_t       lgh_lock;
+       struct llog_logid        lgh_id; /* id of this log */
+       struct llog_log_hdr     *lgh_hdr;
+       cfs_spinlock_t           lgh_hdr_lock; /* protect lgh_hdr data */
+       union {
+               struct file             *lgh_file;
+               struct dt_object        *lgh_obj;
+       };
+       int                      lgh_last_idx;
+       int                      lgh_cur_idx; /* used during llog_process */
+       __u64                    lgh_cur_offset; /* used during llog_process */
+       struct llog_ctxt        *lgh_ctxt;
+       union {
+               struct plain_handle_data         phd;
+               struct cat_handle_data           chd;
+       } u;
+       char                    *lgh_name;
+       void                    *private_data;
+       struct llog_operations  *lgh_logops;
+};
+
 /* llog_lvfs.c */
 extern struct llog_operations llog_lvfs_ops;
-int llog_get_cat_list(struct obd_device *obd, struct obd_device *disk_obd,
+int llog_get_cat_list(struct obd_device *disk_obd,
                       char *name, int idx, int count,
                       struct llog_catid *idarray);
 
+int llog_put_cat_list(struct obd_device *disk_obd,
+                      char *name, int idx, int count, struct llog_catid *idarray);
+
+#define LLOG_CTXT_FLAG_UNINITIALIZED     0x00000001
+#define LLOG_CTXT_FLAG_STOP             0x00000002
+
 struct llog_ctxt {
         int                      loc_idx; /* my index the obd array of ctxt's */
         struct llog_gen          loc_gen;
@@ -262,9 +321,11 @@ struct llog_ctxt {
         struct llog_handle      *loc_handle;
         struct llog_commit_master *loc_lcm;
         struct llog_canceld_ctxt *loc_llcd;
-        struct semaphore         loc_sem; /* protects loc_llcd and loc_imp */
-        atomic_t                 loc_refcount;
+        cfs_mutex_t              loc_mutex; /* protects loc_llcd and loc_imp */
+        cfs_atomic_t             loc_refcount;
         void                    *llog_proc_cb;
+        long                     loc_flags; /* flags, see above defines */
+       struct dt_object        *loc_dir;
 };
 
 #define LCM_NAME_SIZE 64
@@ -277,25 +338,44 @@ struct llog_commit_master {
         /**
          * Number of llcds onthis lcm.
          */
-        atomic_t                   lcm_count;
+        cfs_atomic_t               lcm_count;
         /**
-         * Ptlrpc requests set. All cancel rpcs go via this request set.
+         * The refcount for lcm
          */
-        struct ptlrpc_request_set *lcm_set;
+         cfs_atomic_t              lcm_refcount;
         /**
          * Thread control structure. Used for control commit thread.
          */
         struct ptlrpcd_ctl         lcm_pc;
         /**
-         * Busy resources waitq
+         * Lock protecting list of llcds.
+         */
+        cfs_spinlock_t             lcm_lock;
+        /**
+         * Llcds in flight for debugging purposes.
          */
-        cfs_waitq_t                lcm_waitq;
+        cfs_list_t                 lcm_llcds;
         /**
          * Commit thread name buffer. Only used for thread start.
          */
         char                       lcm_name[LCM_NAME_SIZE];
 };
 
+static inline struct llog_commit_master
+*lcm_get(struct llog_commit_master *lcm)
+{
+        cfs_atomic_inc(&lcm->lcm_refcount);
+        return lcm;
+}
+
+static inline void
+lcm_put(struct llog_commit_master *lcm)
+{
+        LASSERT_ATOMIC_POS(&lcm->lcm_refcount);
+        if (cfs_atomic_dec_and_test(&lcm->lcm_refcount))
+                OBD_FREE_PTR(lcm);
+}
+
 struct llog_canceld_ctxt {
         /**
          * Llog context this llcd is attached to. Used for accessing
@@ -314,6 +394,10 @@ struct llog_canceld_ctxt {
          */
         int                        llcd_size;
         /**
+         * Link to lcm llcds list.
+         */
+        cfs_list_t                 llcd_list;
+        /**
          * Current llcd size while gathering cookies. This should not be
          * more than ->llcd_size. Used for determining if we need to
          * send this llcd (if full) and allocate new one. This is also
@@ -328,22 +412,21 @@ struct llog_canceld_ctxt {
 
 /* ptlrpc/recov_thread.c */
 extern struct llog_commit_master *llog_recov_thread_init(char *name);
-extern void llog_recov_thread_fini(struct llog_commit_master *lcm, 
+extern void llog_recov_thread_fini(struct llog_commit_master *lcm,
                                    int force);
 extern int llog_recov_thread_start(struct llog_commit_master *lcm);
-extern void llog_recov_thread_stop(struct llog_commit_master *lcm, 
+extern void llog_recov_thread_stop(struct llog_commit_master *lcm,
                                     int force);
 
 static inline void llog_gen_init(struct llog_ctxt *ctxt)
 {
         struct obd_device *obd = ctxt->loc_exp->exp_obd;
 
-        if (!strcmp(obd->obd_type->typ_name, LUSTRE_MDS_NAME))
-                ctxt->loc_gen.mnt_cnt = obd->u.mds.mds_mount_count;
-        else if (!strstr(obd->obd_type->typ_name, LUSTRE_OST_NAME))
-                ctxt->loc_gen.mnt_cnt = obd->u.filter.fo_mount_count;
-        else
-                ctxt->loc_gen.mnt_cnt = 0;
+        LASSERTF(obd->u.obt.obt_magic == OBT_MAGIC,
+                 "%s: wrong obt magic %#x\n",
+                 obd->obd_name, obd->u.obt.obt_magic);
+        ctxt->loc_gen.mnt_cnt = obd->u.obt.obt_mount_count;
+        ctxt->loc_gen.conn_cnt++;
 }
 
 static inline int llog_gen_lt(struct llog_gen a, struct llog_gen b)
@@ -355,7 +438,6 @@ static inline int llog_gen_lt(struct llog_gen a, struct llog_gen b)
         return(a.conn_cnt < b.conn_cnt ? 1 : 0);
 }
 
-#define LLOG_GEN_INC(gen)  ((gen).conn_cnt ++)
 #define LLOG_PROC_BREAK 0x0001
 #define LLOG_DEL_RECORD 0x0002
 
@@ -383,15 +465,14 @@ static inline int llog_handle2ops(struct llog_handle *loghandle,
 
 static inline int llog_data_len(int len)
 {
-        return size_round(len);
+        return cfs_size_round(len);
 }
 
 static inline struct llog_ctxt *llog_ctxt_get(struct llog_ctxt *ctxt)
 {
-        LASSERT(atomic_read(&ctxt->loc_refcount) > 0);
-        atomic_inc(&ctxt->loc_refcount);
+        cfs_atomic_inc(&ctxt->loc_refcount);
         CDEBUG(D_INFO, "GETting ctxt %p : new refcount %d\n", ctxt,
-               atomic_read(&ctxt->loc_refcount));
+               cfs_atomic_read(&ctxt->loc_refcount));
         return ctxt;
 }
 
@@ -399,32 +480,32 @@ static inline void llog_ctxt_put(struct llog_ctxt *ctxt)
 {
         if (ctxt == NULL)
                 return;
-        LASSERT(atomic_read(&ctxt->loc_refcount) > 0);
-        LASSERT(atomic_read(&ctxt->loc_refcount) < 0x5a5a5a);
+        LASSERT_ATOMIC_GT_LT(&ctxt->loc_refcount, 0, LI_POISON);
         CDEBUG(D_INFO, "PUTting ctxt %p : new refcount %d\n", ctxt,
-               atomic_read(&ctxt->loc_refcount) - 1);
+               cfs_atomic_read(&ctxt->loc_refcount) - 1);
         __llog_ctxt_put(ctxt);
 }
 
 static inline void llog_group_init(struct obd_llog_group *olg, int group)
 {
         cfs_waitq_init(&olg->olg_waitq);
-        spin_lock_init(&olg->olg_lock);
-        olg->olg_group = group;
+        cfs_spin_lock_init(&olg->olg_lock);
+        cfs_mutex_init(&olg->olg_cat_processing);
+        olg->olg_seq = group;
 }
 
 static inline void llog_group_set_export(struct obd_llog_group *olg,
                                          struct obd_export *exp)
 {
         LASSERT(exp != NULL);
-        
-        spin_lock(&olg->olg_lock);
+
+        cfs_spin_lock(&olg->olg_lock);
         if (olg->olg_exp != NULL && olg->olg_exp != exp)
                 CWARN("%s: export for group %d is changed: 0x%p -> 0x%p\n",
-                      exp->exp_obd->obd_name, olg->olg_group,
+                      exp->exp_obd->obd_name, olg->olg_seq,
                       olg->olg_exp, exp);
         olg->olg_exp = exp;
-        spin_unlock(&olg->olg_lock);
+        cfs_spin_unlock(&olg->olg_lock);
 }
 
 static inline int llog_group_set_ctxt(struct obd_llog_group *olg,
@@ -432,13 +513,13 @@ static inline int llog_group_set_ctxt(struct obd_llog_group *olg,
 {
         LASSERT(index >= 0 && index < LLOG_MAX_CTXTS);
 
-        spin_lock(&olg->olg_lock);  
+        cfs_spin_lock(&olg->olg_lock);
         if (olg->olg_ctxts[index] != NULL) {
-                spin_unlock(&olg->olg_lock);
+                cfs_spin_unlock(&olg->olg_lock);
                 return -EEXIST;
         }
         olg->olg_ctxts[index] = ctxt;
-        spin_unlock(&olg->olg_lock);
+        cfs_spin_unlock(&olg->olg_lock);
         return 0;
 }
 
@@ -449,13 +530,13 @@ static inline struct llog_ctxt *llog_group_get_ctxt(struct obd_llog_group *olg,
 
         LASSERT(index >= 0 && index < LLOG_MAX_CTXTS);
 
-        spin_lock(&olg->olg_lock);  
+        cfs_spin_lock(&olg->olg_lock);
         if (olg->olg_ctxts[index] == NULL) {
                 ctxt = NULL;
         } else {
                 ctxt = llog_ctxt_get(olg->olg_ctxts[index]);
         }
-        spin_unlock(&olg->olg_lock);
+        cfs_spin_unlock(&olg->olg_lock);
         return ctxt;
 }
 
@@ -491,19 +572,20 @@ static inline int llog_write_rec(struct llog_handle *handle,
         if (lop->lop_write_rec == NULL)
                 RETURN(-EOPNOTSUPP);
 
+        /* FIXME:  Why doesn't caller just set the right lrh_len itself? */
         if (buf)
                 buflen = rec->lrh_len + sizeof(struct llog_rec_hdr)
                                 + sizeof(struct llog_rec_tail);
         else
                 buflen = rec->lrh_len;
-        LASSERT(size_round(buflen) == buflen);
+        LASSERT(cfs_size_round(buflen) == buflen);
 
         raised = cfs_cap_raised(CFS_CAP_SYS_RESOURCE);
         if (!raised)
-                cfs_cap_raise(CFS_CAP_SYS_RESOURCE); 
+                cfs_cap_raise(CFS_CAP_SYS_RESOURCE);
         rc = lop->lop_write_rec(handle, rec, logcookies, numcookies, buf, idx);
         if (!raised)
-                cfs_cap_lower(CFS_CAP_SYS_RESOURCE); 
+                cfs_cap_lower(CFS_CAP_SYS_RESOURCE);
         RETURN(rc);
 }
 
@@ -617,7 +699,7 @@ static inline int llog_create(struct llog_ctxt *ctxt, struct llog_handle **res,
         RETURN(rc);
 }
 
-static inline int llog_connect(struct llog_ctxt *ctxt, int count,
+static inline int llog_connect(struct llog_ctxt *ctxt,
                                struct llog_logid *logid, struct llog_gen *gen,
                                struct obd_uuid *uuid)
 {
@@ -631,8 +713,15 @@ static inline int llog_connect(struct llog_ctxt *ctxt, int count,
         if (lop->lop_connect == NULL)
                 RETURN(-EOPNOTSUPP);
 
-        rc = lop->lop_connect(ctxt, count, logid, gen, uuid);
+        rc = lop->lop_connect(ctxt, logid, gen, uuid);
         RETURN(rc);
 }
 
+int lustre_process_log(struct super_block *sb, char *logname,
+                       struct config_llog_instance *cfg);
+int lustre_end_log(struct super_block *sb, char *logname,
+                   struct config_llog_instance *cfg);
+
+/** @} log */
+
 #endif