Whamcloud - gitweb
LU-3336 lfsck: use rbtree to record OST-object accessing
[fs/lustre-release.git] / lustre / ofd / ofd_internal.h
index 4632151..ab041ce 100644 (file)
@@ -27,7 +27,7 @@
  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  *
- * Copyright (c) 2012, Intel Corporation.
+ * Copyright (c) 2012, 2013, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
@@ -40,6 +40,7 @@
 #include <obd.h>
 #include <obd_class.h>
 #include <dt_object.h>
+#include <md_object.h>
 #include <lustre_fid.h>
 #include <obd_ost.h>
 #include <lustre_capa.h>
@@ -48,7 +49,7 @@
 #define OFD_ROCOMPAT_SUPP (0)
 #define OFD_INCOMPAT_SUPP (OBD_INCOMPAT_GROUPS | OBD_INCOMPAT_OST | \
                           OBD_INCOMPAT_COMMON_LR)
-#define OFD_PRECREATE_BATCH_DEFAULT (FILTER_SUBDIR_COUNT * 4)
+#define OFD_PRECREATE_BATCH_DEFAULT (OBJ_SUBDIR_COUNT * 4)
 
 /* on small filesystems we should not precreate too many objects in
  * a single transaction, otherwise we can overflow transactions */
@@ -69,39 +70,41 @@ struct ofd_mod_data {
 };
 
 #define OFD_FMD_MAX_NUM_DEFAULT 128
-#define OFD_FMD_MAX_AGE_DEFAULT ((obd_timeout + 10) * CFS_HZ)
+#define OFD_FMD_MAX_AGE_DEFAULT ((obd_timeout + 10) * HZ)
 
-enum {
-       LPROC_OFD_READ_BYTES = 0,
-       LPROC_OFD_WRITE_BYTES = 1,
-       LPROC_OFD_LAST,
-};
+#define OFD_SOFT_SYNC_LIMIT_DEFAULT 16
 
-/* for job stats */
+/* request stats */
 enum {
        LPROC_OFD_STATS_READ = 0,
-       LPROC_OFD_STATS_WRITE = 1,
-       LPROC_OFD_STATS_SETATTR = 2,
-       LPROC_OFD_STATS_PUNCH = 3,
-       LPROC_OFD_STATS_SYNC = 4,
+       LPROC_OFD_STATS_WRITE,
+       LPROC_OFD_STATS_GETATTR,
+       LPROC_OFD_STATS_SETATTR,
+       LPROC_OFD_STATS_PUNCH,
+       LPROC_OFD_STATS_SYNC,
+       LPROC_OFD_STATS_DESTROY,
+       LPROC_OFD_STATS_CREATE,
+       LPROC_OFD_STATS_STATFS,
+       LPROC_OFD_STATS_GET_INFO,
+       LPROC_OFD_STATS_SET_INFO,
+       LPROC_OFD_STATS_QUOTACTL,
        LPROC_OFD_STATS_LAST,
 };
 
 static inline void ofd_counter_incr(struct obd_export *exp, int opcode,
                                    char *jobid, long amount)
 {
+       if (exp->exp_obd && exp->exp_obd->obd_stats)
+               lprocfs_counter_add(exp->exp_obd->obd_stats, opcode, amount);
+
        if (exp->exp_obd && exp->exp_obd->u.obt.obt_jobstats.ojs_hash &&
            (exp_connect_flags(exp) & OBD_CONNECT_JOBSTATS))
                lprocfs_job_stats_log(exp->exp_obd, jobid, opcode, amount);
 
        if (exp->exp_nid_stats != NULL &&
            exp->exp_nid_stats->nid_stats != NULL) {
-               if (opcode == LPROC_OFD_STATS_READ)
-                       lprocfs_counter_add(exp->exp_nid_stats->nid_stats,
-                                           LPROC_OFD_READ_BYTES, amount);
-               else if (opcode == LPROC_OFD_STATS_WRITE)
-                       lprocfs_counter_add(exp->exp_nid_stats->nid_stats,
-                                           LPROC_OFD_WRITE_BYTES, amount);
+               lprocfs_counter_add(exp->exp_nid_stats->nid_stats, opcode,
+                                   amount);
        }
 }
 
@@ -110,7 +113,7 @@ struct ofd_seq {
        struct ost_id           os_oi;
        spinlock_t              os_last_oid_lock;
        struct mutex            os_create_lock;
-       cfs_atomic_t            os_refc;
+       atomic_t                os_refc;
        struct dt_object        *os_lastid_obj;
        unsigned long           os_destroys_in_progress:1;
 };
@@ -123,9 +126,6 @@ struct ofd_device {
        /* DLM name-space for meta-data locks maintained by this server */
        struct ldlm_namespace   *ofd_namespace;
 
-       /* transaction callbacks */
-       struct dt_txn_callback   ofd_txn_cb;
-
        /* last_rcvd file */
        struct lu_target         ofd_lut;
        struct dt_object        *ofd_health_check_file;
@@ -179,12 +179,18 @@ struct ofd_device {
        unsigned long            ofd_raid_degraded:1,
                                 /* sync journal on writes */
                                 ofd_syncjournal:1,
-                                /* sync on lock cancel */
-                                ofd_sync_lock_cancel:2,
                                 /* shall we grant space to clients not
                                  * supporting OBD_CONNECT_GRANT_PARAM? */
-                                ofd_grant_compat_disable:1;
+                                ofd_grant_compat_disable:1,
+                                /* Protected by ofd_lastid_rwsem. */
+                                ofd_lastid_rebuilding:1,
+                                ofd_record_fid_accessed:1;
        struct seq_server_site   ofd_seq_site;
+       /* the limit of SOFT_SYNC RPCs that will trigger a soft sync */
+       unsigned int             ofd_soft_sync_limit;
+       /* Protect ::ofd_lastid_rebuilding */
+       struct rw_semaphore      ofd_lastid_rwsem;
+       __u64                    ofd_lastid_gen;
 };
 
 static inline struct ofd_device *ofd_dev(struct lu_device *d)
@@ -291,10 +297,7 @@ struct ofd_thread_info {
 
        struct obd_export               *fti_exp;
        __u64                            fti_xid;
-       __u64                            fti_transno;
        __u64                            fti_pre_version;
-       __u32                            fti_has_trans:1, /* has txn already */
-                                        fti_mult_trans:1;
 
        struct lu_fid                    fti_fid;
        struct lu_attr                   fti_attr;
@@ -317,6 +320,7 @@ struct ofd_thread_info {
        /* Space used by the I/O, used by grant code */
        unsigned long                    fti_used;
        struct ost_lvb                   fti_lvb;
+       struct lfsck_request             fti_lr;
 };
 
 extern void target_recovery_fini(struct obd_device *obd);
@@ -324,19 +328,26 @@ extern void target_recovery_init(struct lu_target *lut, svc_handler_t handler);
 
 /* ofd_capa.c */
 int ofd_update_capa_key(struct ofd_device *ofd, struct lustre_capa_key *key);
-int ofd_auth_capa(struct obd_export *exp, struct lu_fid *fid, obd_seq seq,
-                 struct lustre_capa *capa, __u64 opc);
+int ofd_auth_capa(struct obd_export *exp, const struct lu_fid *fid,
+                 obd_seq seq, struct lustre_capa *capa, __u64 opc);
 void ofd_free_capa_keys(struct ofd_device *ofd);
 
 /* ofd_dev.c */
 extern struct lu_context_key ofd_thread_key;
 int ofd_postrecov(const struct lu_env *env, struct ofd_device *ofd);
+int ofd_fiemap_get(const struct lu_env *env, struct ofd_device *ofd,
+                  struct lu_fid *fid, struct ll_user_fiemap *fiemap);
 
 /* ofd_obd.c */
 extern struct obd_ops ofd_obd_ops;
 int ofd_statfs_internal(const struct lu_env *env, struct ofd_device *ofd,
                        struct obd_statfs *osfs, __u64 max_age,
                        int *from_cache);
+int ofd_destroy_by_fid(const struct lu_env *env, struct ofd_device *ofd,
+                      const struct lu_fid *fid, int orphan);
+int ofd_statfs(const struct lu_env *env,  struct obd_export *exp,
+              struct obd_statfs *osfs, __u64 max_age, __u32 flags);
+int ofd_obd_disconnect(struct obd_export *exp);
 
 /* ofd_fs.c */
 obd_id ofd_seq_last_oid(struct ofd_seq *oseq);
@@ -354,6 +365,7 @@ int ofd_precreate_batch(struct ofd_device *ofd, int batch);
 struct ofd_seq *ofd_seq_load(const struct lu_env *env, struct ofd_device *ofd,
                             obd_seq seq);
 void ofd_seqs_fini(const struct lu_env *env, struct ofd_device *ofd);
+void ofd_seqs_free(const struct lu_env *env, struct ofd_device *ofd);
 
 /* ofd_io.c */
 int ofd_preprw(const struct lu_env *env,int cmd, struct obd_export *exp,
@@ -414,6 +426,21 @@ int ofd_attr_get(const struct lu_env *env, struct ofd_object *fo,
 int ofd_attr_handle_ugid(const struct lu_env *env, struct ofd_object *fo,
                         struct lu_attr *la, int is_setattr);
 
+static inline
+struct ofd_object *ofd_object_find_exists(const struct lu_env *env,
+                                         struct ofd_device *ofd,
+                                         const struct lu_fid *fid)
+{
+       struct ofd_object *fo;
+
+       fo = ofd_object_find(env, ofd, fid);
+       if (!IS_ERR(fo) && !ofd_object_exists(fo)) {
+               ofd_object_put(env, fo);
+               fo = ERR_PTR(-ENOENT);
+       }
+       return fo;
+}
+
 /* ofd_grants.c */
 #define OFD_GRANT_RATIO_SHIFT 8
 static inline __u64 ofd_grant_reserved(struct ofd_device *ofd, obd_size bavail)
@@ -439,7 +466,7 @@ static inline int ofd_grant_compat(struct obd_export *exp,
                                   struct ofd_device *ofd)
 {
        /* Clients which don't support OBD_CONNECT_GRANT_PARAM cannot handle
-        * a block size > page size and consume CFS_PAGE_SIZE of grant when
+        * a block size > page size and consume PAGE_CACHE_SIZE of grant when
         * dirtying a page regardless of the block size */
        return !!(ofd_obd(ofd)->obd_self_export != exp &&
                  ofd->ofd_blockbits > COMPAT_BSIZE_SHIFT &&
@@ -452,7 +479,7 @@ static inline int ofd_grant_prohibit(struct obd_export *exp,
        /* When ofd_grant_compat_disable is set, we don't grant any space to
         * clients not supporting OBD_CONNECT_GRANT_PARAM.
         * Otherwise, space granted to such a client is inflated since it
-        * consumes CFS_PAGE_SIZE of grant space per block */
+        * consumes PAGE_CACHE_SIZE of grant space per block */
        return !!(ofd_grant_compat(exp, ofd) && ofd->ofd_grant_compat_disable);
 }
 
@@ -472,14 +499,14 @@ int ofd_grant_create(const struct lu_env *env, struct obd_export *exp, int *nr);
 int ofd_fmd_init(void);
 void ofd_fmd_exit(void);
 struct ofd_mod_data *ofd_fmd_find(struct obd_export *exp,
-                                 struct lu_fid *fid);
+                                 const struct lu_fid *fid);
 struct ofd_mod_data *ofd_fmd_get(struct obd_export *exp,
-                                struct lu_fid *fid);
+                                const struct lu_fid *fid);
 void ofd_fmd_put(struct obd_export *exp, struct ofd_mod_data *fmd);
 void ofd_fmd_expire(struct obd_export *exp);
 void ofd_fmd_cleanup(struct obd_export *exp);
 #ifdef DO_FMD_DROP
-void ofd_fmd_drop(struct obd_export *exp, struct lu_fid *fid);
+void ofd_fmd_drop(struct obd_export *exp, const struct lu_fid *fid);
 #else
 #define ofd_fmd_drop(exp, fid) do {} while (0)
 #endif
@@ -498,24 +525,22 @@ int ofd_intent_policy(struct ldlm_namespace *ns, struct ldlm_lock **lockp,
                      void *req_cookie, ldlm_mode_t mode, __u64 flags,
                      void *data);
 
-static inline struct ofd_thread_info * ofd_info(const struct lu_env *env)
+static inline struct ofd_thread_info *ofd_info(const struct lu_env *env)
 {
        struct ofd_thread_info *info;
 
+       lu_env_refill((void *)env);
        info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
        LASSERT(info);
-       LASSERT(info->fti_env);
-       LASSERT(info->fti_env == env);
        return info;
 }
 
-static inline struct ofd_thread_info * ofd_info_init(const struct lu_env *env,
-                                                    struct obd_export *exp)
+static inline struct ofd_thread_info *ofd_info_init(const struct lu_env *env,
+                                                   struct obd_export *exp)
 {
        struct ofd_thread_info *info;
 
-       info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
-       LASSERT(info);
+       info = ofd_info(env);
        LASSERT(info->fti_exp == NULL);
        LASSERT(info->fti_env == NULL);
        LASSERT(info->fti_attr.la_valid == 0);
@@ -523,8 +548,30 @@ static inline struct ofd_thread_info * ofd_info_init(const struct lu_env *env,
        info->fti_env = env;
        info->fti_exp = exp;
        info->fti_pre_version = 0;
-       info->fti_transno = 0;
-       info->fti_has_trans = 0;
+       return info;
+}
+
+static inline struct ofd_thread_info *tsi2ofd_info(struct tgt_session_info *tsi)
+{
+       struct ptlrpc_request   *req = tgt_ses_req(tsi);
+       struct ofd_thread_info  *info;
+
+       info = ofd_info(tsi->tsi_env);
+       LASSERT(info->fti_exp == NULL);
+       LASSERT(info->fti_env == NULL);
+       LASSERT(info->fti_attr.la_valid == 0);
+
+       info->fti_env = tsi->tsi_env;
+       info->fti_exp = tsi->tsi_exp;
+
+       info->fti_xid = req->rq_xid;
+       /** VBR: take versions from request */
+       if (req->rq_reqmsg != NULL &&
+           lustre_msg_get_flags(req->rq_reqmsg) & MSG_REPLAY) {
+               __u64 *pre_version = lustre_msg_get_versions(req->rq_reqmsg);
+
+               info->fti_pre_version = pre_version ? pre_version[0] : 0;
+       }
        return info;
 }
 
@@ -532,7 +579,6 @@ static inline void ofd_oti2info(struct ofd_thread_info *info,
                                struct obd_trans_info *oti)
 {
        info->fti_xid = oti->oti_xid;
-       info->fti_transno = oti->oti_transno;
        info->fti_pre_version = oti->oti_pre_version;
 }
 
@@ -540,11 +586,6 @@ static inline void ofd_info2oti(struct ofd_thread_info *info,
                                 struct obd_trans_info *oti)
 {
        oti->oti_xid = info->fti_xid;
-       LASSERTF(ergo(oti->oti_transno > 0,
-                     oti->oti_transno == info->fti_transno),
-                "Overwrite replay transno "LPX64" by "LPX64"\n",
-                oti->oti_transno, info->fti_transno);
-       oti->oti_transno = info->fti_transno;
        oti->oti_pre_version = info->fti_pre_version;
 }
 
@@ -554,15 +595,14 @@ static inline void ofd_info2oti(struct ofd_thread_info *info,
 static inline void ofd_slc_set(struct ofd_device *ofd)
 {
        if (ofd->ofd_syncjournal == 1)
-               ofd->ofd_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
-       else if (ofd->ofd_sync_lock_cancel == NEVER_SYNC_ON_CANCEL)
-               ofd->ofd_sync_lock_cancel = ALWAYS_SYNC_ON_CANCEL;
+               ofd->ofd_lut.lut_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
+       else if (ofd->ofd_lut.lut_sync_lock_cancel == NEVER_SYNC_ON_CANCEL)
+               ofd->ofd_lut.lut_sync_lock_cancel = ALWAYS_SYNC_ON_CANCEL;
 }
 
-static inline void ofd_prepare_fidea(struct filter_fid *ff, struct obdo *oa)
+static inline void ofd_prepare_fidea(struct filter_fid *ff,
+                                    const struct obdo *oa)
 {
-       if (!(oa->o_valid & OBD_MD_FLGROUP))
-               ostid_set_seq_mdt0(&oa->o_oi);
        /* packing fid and converting it to LE for storing into EA.
         * Here ->o_stripe_idx should be filled by LOV and rest of
         * fields - by client. */