Whamcloud - gitweb
LU-17705 ptlrpc: replace synchronize_rcu() with rcu_barrier()
[fs/lustre-release.git] / lustre / ofd / ofd_internal.h
index d303646..55e1639 100644 (file)
  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  *
- * Copyright (c) 2012, 2016, Intel Corporation.
+ * Copyright (c) 2012, 2017, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
- * Lustre is a trademark of Sun Microsystems, Inc.
  */
 
 #ifndef _OFD_INTERNAL_H
 #define OFD_VALID_FLAGS (LA_TYPE | LA_MODE | LA_SIZE | LA_BLOCKS | \
                         LA_BLKSIZE | LA_ATIME | LA_MTIME | LA_CTIME)
 
-/* per-client-per-object persistent state (LRU) */
-struct ofd_mod_data {
-       struct list_head fmd_list;        /* linked to fed_mod_list */
-       struct lu_fid    fmd_fid;         /* FID being written to */
-       __u64            fmd_mactime_xid; /* xid highest {m,a,c}time setattr */
-       time64_t         fmd_expire;      /* time when the fmd should expire */
-       int              fmd_refcount;    /* reference counter - list holds 1 */
-};
-
-#define OFD_FMD_MAX_NUM_DEFAULT 128
-#define OFD_FMD_MAX_AGE_DEFAULT (obd_timeout + 10)
-
 #define OFD_SOFT_SYNC_LIMIT_DEFAULT 16
 
+/*
+ * update atime if on-disk value older than client's one
+ * by OFD_ATIME_DIFF or more
+ */
+#define OFD_DEF_ATIME_DIFF     0 /* disabled */
+
 /* request stats */
 enum {
-       LPROC_OFD_STATS_READ = 0,
+       LPROC_OFD_STATS_READ_BYTES = 0,
+       LPROC_OFD_STATS_WRITE_BYTES,
+       LPROC_OFD_STATS_READ,
        LPROC_OFD_STATS_WRITE,
        LPROC_OFD_STATS_GETATTR,
        LPROC_OFD_STATS_SETATTR,
@@ -79,6 +74,7 @@ enum {
        LPROC_OFD_STATS_GET_INFO,
        LPROC_OFD_STATS_SET_INFO,
        LPROC_OFD_STATS_QUOTACTL,
+       LPROC_OFD_STATS_PREALLOC,
        LPROC_OFD_STATS_LAST,
 };
 
@@ -88,7 +84,7 @@ static inline void ofd_counter_incr(struct obd_export *exp, int opcode,
        if (exp->exp_obd && exp->exp_obd->obd_stats)
                lprocfs_counter_add(exp->exp_obd->obd_stats, opcode, amount);
 
-       if (exp->exp_obd && exp->exp_obd->u.obt.obt_jobstats.ojs_hash &&
+       if (exp->exp_obd && obd2obt(exp->exp_obd)->obt_jobstats.ojs_hash &&
            (exp_connect_flags(exp) & OBD_CONNECT_JOBSTATS))
                lprocfs_job_stats_log(exp->exp_obd, jobid, opcode, amount);
 
@@ -104,9 +100,11 @@ struct ofd_seq {
        struct ost_id           os_oi;
        spinlock_t              os_last_oid_lock;
        struct mutex            os_create_lock;
-       atomic_t                os_refc;
+       refcount_t              os_refc;
+       atomic_t                os_precreate_in_progress;
        struct dt_object        *os_lastid_obj;
-       unsigned long           os_destroys_in_progress:1;
+       unsigned long           os_destroys_in_progress:1,
+                               os_last_id_synced:1;
 };
 
 struct ofd_device {
@@ -124,6 +122,10 @@ struct ofd_device {
        __u64                    ofd_inconsistency_self_detected;
        __u64                    ofd_inconsistency_self_repaired;
 
+       struct ofd_access_log   *ofd_access_log;
+       unsigned int             ofd_access_log_size;
+       unsigned int             ofd_access_log_mask;
+
        struct list_head        ofd_seq_list;
        rwlock_t                ofd_seq_list_lock;
        int                     ofd_seq_count;
@@ -132,17 +134,10 @@ struct ofd_device {
 
        /* preferred BRW size, decided by storage type and capability */
        __u32                    ofd_brw_size;
-       /* checksum types supported on this node */
-       enum cksum_types         ofd_cksum_types_supported;
-
-       /* ofd mod data: ofd_device wide values */
-       int                      ofd_fmd_max_num; /* per ofd ofd_mod_data */
-       time64_t                 ofd_fmd_max_age; /* time to fmd expiry */
-
        spinlock_t               ofd_flags_lock;
        unsigned long            ofd_raid_degraded:1,
                                 /* sync journal on writes */
-                                ofd_syncjournal:1,
+                                ofd_sync_journal:1,
                                 /* Protected by ofd_lastid_rwsem. */
                                 ofd_lastid_rebuilding:1,
                                 ofd_record_fid_accessed:1,
@@ -154,14 +149,19 @@ struct ofd_device {
        /* Protect ::ofd_lastid_rebuilding */
        struct rw_semaphore      ofd_lastid_rwsem;
        __u64                    ofd_lastid_gen;
-       struct ptlrpc_thread     ofd_inconsistency_thread;
+       struct task_struct      *ofd_inconsistency_task;
        struct list_head         ofd_inconsistency_list;
        spinlock_t               ofd_inconsistency_lock;
+       /* Backwards compatibility */
+       struct attribute        *ofd_read_cache_enable;
+       struct attribute        *ofd_read_cache_max_filesize;
+       struct attribute        *ofd_write_cache_enable;
+       time64_t                 ofd_atime_diff;
 };
 
 static inline struct ofd_device *ofd_dev(struct lu_device *d)
 {
-       return container_of0(d, struct ofd_device, ofd_dt_dev.dd_lu_dev);
+       return container_of_safe(d, struct ofd_device, ofd_dt_dev.dd_lu_dev);
 }
 
 static inline struct obd_device *ofd_obd(struct ofd_device *ofd)
@@ -183,13 +183,14 @@ struct ofd_object {
        struct lu_object_header ofo_header;
        struct dt_object        ofo_obj;
        struct filter_fid       ofo_ff;
+       time64_t                ofo_atime_ondisk;
        unsigned int            ofo_pfid_checking:1,
                                ofo_pfid_verified:1;
 };
 
 static inline struct ofd_object *ofd_obj(struct lu_object *o)
 {
-       return container_of0(o, struct ofd_object, ofo_obj.do_lu);
+       return container_of_safe(o, struct ofd_object, ofo_obj.do_lu);
 }
 
 static inline int ofd_object_exists(struct ofd_object *obj)
@@ -209,7 +210,7 @@ static inline struct dt_object *ofd_object_child(struct ofd_object *_obj)
 {
        struct lu_object *lu = &(_obj)->ofo_obj.do_lu;
 
-       return container_of0(lu_object_next(lu), struct dt_object, do_lu);
+       return container_of(lu_object_next(lu), struct dt_object, do_lu);
 }
 
 static inline struct ofd_device *ofd_obj2dev(const struct ofd_object *fo)
@@ -288,6 +289,18 @@ struct ofd_thread_info {
 extern void target_recovery_fini(struct obd_device *obd);
 extern void target_recovery_init(struct lu_target *lut, svc_handler_t handler);
 
+/* ofd_access_log.c */
+bool ofd_access_log_size_is_valid(unsigned int size);
+int ofd_access_log_module_init(void);
+void ofd_access_log_module_exit(void);
+
+struct ofd_access_log;
+struct ofd_access_log *ofd_access_log_create(const char *ofd_name, size_t size);
+void ofd_access_log_delete(struct ofd_access_log *oal);
+void ofd_access(const struct lu_env *env, struct ofd_device *m,
+               const struct lu_fid *parent_fid, __u64 begin, __u64 end,
+               unsigned int size, unsigned int segment_count, int rw);
+
 /* ofd_dev.c */
 extern struct lu_context_key ofd_thread_key;
 int ofd_postrecov(const struct lu_env *env, struct ofd_device *ofd);
@@ -295,11 +308,11 @@ int ofd_fiemap_get(const struct lu_env *env, struct ofd_device *ofd,
                   struct lu_fid *fid, struct fiemap *fiemap);
 
 /* ofd_obd.c */
-extern struct obd_ops ofd_obd_ops;
+extern const struct obd_ops ofd_obd_ops;
 int ofd_destroy_by_fid(const struct lu_env *env, struct ofd_device *ofd,
                       const struct lu_fid *fid, int orphan);
 int ofd_statfs(const struct lu_env *env,  struct obd_export *exp,
-              struct obd_statfs *osfs, __u64 max_age, __u32 flags);
+              struct obd_statfs *osfs, time64_t max_age, __u32 flags);
 int ofd_obd_disconnect(struct obd_export *exp);
 
 /* ofd_fs.c */
@@ -334,7 +347,8 @@ int ofd_preprw(const struct lu_env *env,int cmd, struct obd_export *exp,
 int ofd_commitrw(const struct lu_env *env, int cmd, struct obd_export *exp,
                 struct obdo *oa, int objcount, struct obd_ioobj *obj,
                 struct niobuf_remote *rnb, int npages,
-                struct niobuf_local *lnb, int old_rc);
+                struct niobuf_local *lnb, int old_rc, int nob,
+                ktime_t kstart);
 
 /* ofd_trans.c */
 struct thandle *ofd_trans_create(const struct lu_env *env,
@@ -348,11 +362,15 @@ int ofd_txn_stop_cb(const struct lu_env *env, struct thandle *txn,
                    void *cookie);
 
 /* lproc_ofd.c */
+int ofd_tunables_init(struct ofd_device *ofd);
 #ifdef CONFIG_PROC_FS
-extern struct lprocfs_vars lprocfs_ofd_obd_vars[];
-void ofd_stats_counter_init(struct lprocfs_stats *stats);
+void ofd_stats_counter_init(struct lprocfs_stats *stats, unsigned int offset,
+                           enum lprocfs_counter_config cntr_umask);
 #else
-static inline void ofd_stats_counter_init(struct lprocfs_stats *stats) {}
+static inline void
+ofd_stats_counter_init(struct lprocfs_stats *stats,
+                      unsigned int offset,
+                      enum lprocfs_counter_config cntr_umask) {}
 #endif
 
 /* ofd_objects.c */
@@ -363,7 +381,8 @@ int ofd_object_ff_load(const struct lu_env *env, struct ofd_object *fo);
 int ofd_object_ff_update(const struct lu_env *env, struct ofd_object *fo,
                         const struct obdo *oa, struct filter_fid *ff);
 int ofd_precreate_objects(const struct lu_env *env, struct ofd_device *ofd,
-                         u64 id, struct ofd_seq *oseq, int nr, int sync);
+                         u64 id, struct ofd_seq *oseq, int nr, int sync,
+                         bool trans_local);
 
 static inline void ofd_object_put(const struct lu_env *env,
                                  struct ofd_object *fo)
@@ -375,6 +394,9 @@ int ofd_attr_set(const struct lu_env *env, struct ofd_object *fo,
 int ofd_object_punch(const struct lu_env *env, struct ofd_object *fo,
                     __u64 start, __u64 end, struct lu_attr *la,
                     struct obdo *oa);
+int ofd_object_fallocate(const struct lu_env *env, struct ofd_object *fo,
+                        __u64 start, __u64 end, int mode, struct lu_attr *la,
+                        struct obdo *oa);
 int ofd_destroy(const struct lu_env *, struct ofd_object *, int);
 int ofd_attr_get(const struct lu_env *env, struct ofd_object *fo,
                 struct lu_attr *la);
@@ -396,22 +418,6 @@ struct ofd_object *ofd_object_find_exists(const struct lu_env *env,
        return fo;
 }
 
-/* ofd_fmd.c */
-int ofd_fmd_init(void);
-void ofd_fmd_exit(void);
-struct ofd_mod_data *ofd_fmd_find(struct obd_export *exp,
-                                 const struct lu_fid *fid);
-struct ofd_mod_data *ofd_fmd_get(struct obd_export *exp,
-                                const struct lu_fid *fid);
-void ofd_fmd_put(struct obd_export *exp, struct ofd_mod_data *fmd);
-void ofd_fmd_expire(struct obd_export *exp);
-void ofd_fmd_cleanup(struct obd_export *exp);
-#ifdef DO_FMD_DROP
-void ofd_fmd_drop(struct obd_export *exp, const struct lu_fid *fid);
-#else
-#define ofd_fmd_drop(exp, fid) do {} while (0)
-#endif
-
 /* ofd_dev.c */
 int ofd_fid_set_index(const struct lu_env *env, struct ofd_device *ofd,
                      int index);
@@ -424,18 +430,13 @@ extern struct ldlm_valblock_ops ofd_lvbo;
 /* ofd_dlm.c */
 extern struct kmem_cache *ldlm_glimpse_work_kmem;
 
-int ofd_intent_policy(struct ldlm_namespace *ns, struct ldlm_lock **lockp,
-                     void *req_cookie, enum ldlm_mode mode, __u64 flags,
-                     void *data);
+int ofd_intent_policy(const struct lu_env *env, struct ldlm_namespace *ns,
+                     struct ldlm_lock **lockp, void *req_cookie,
+                     enum ldlm_mode mode, __u64 flags, void *data);
 
 static inline struct ofd_thread_info *ofd_info(const struct lu_env *env)
 {
-       struct ofd_thread_info *info;
-
-       lu_env_refill((void *)env);
-       info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
-       LASSERT(info);
-       return info;
+       return lu_env_info(env, &ofd_thread_key);
 }
 
 static inline struct ofd_thread_info *ofd_info_init(const struct lu_env *env,
@@ -483,10 +484,10 @@ static inline struct ofd_thread_info *tsi2ofd_info(struct tgt_session_info *tsi)
  * sync on lock cancel if it is not enabled already. */
 static inline void ofd_slc_set(struct ofd_device *ofd)
 {
-       if (ofd->ofd_syncjournal == 1)
-               ofd->ofd_lut.lut_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
-       else if (ofd->ofd_lut.lut_sync_lock_cancel == NEVER_SYNC_ON_CANCEL)
-               ofd->ofd_lut.lut_sync_lock_cancel = ALWAYS_SYNC_ON_CANCEL;
+       if (ofd->ofd_sync_journal == 1)
+               ofd->ofd_lut.lut_sync_lock_cancel = SYNC_LOCK_CANCEL_NEVER;
+       else if (ofd->ofd_lut.lut_sync_lock_cancel == SYNC_LOCK_CANCEL_NEVER)
+               ofd->ofd_lut.lut_sync_lock_cancel = SYNC_LOCK_CANCEL_ALWAYS;
 }
 
 static inline int ofd_validate_seq(struct obd_export *exp, __u64 seq)
@@ -502,4 +503,41 @@ static inline int ofd_validate_seq(struct obd_export *exp, __u64 seq)
 
        return 0;
 }
+
+/**
+ * whether the requestion IO contains older layout version than that on the
+ * disk.
+ */
+static inline bool ofd_layout_version_less(__u32 req_version,
+                                          __u32 ondisk_version)
+{
+       __u32 req = req_version & ~LU_LAYOUT_RESYNC;
+       __u32 ondisk = ondisk_version & ~LU_LAYOUT_RESYNC;
+
+       /**
+        * request layout version could be circularly increased to the samllest
+        * value, in that case @req < @ondisk but @req does not have the high
+        * end bit set while @ondisk does.
+        */
+       return (req < ondisk) &&
+               ((req & LU_LAYOUT_HIGEN) == (ondisk & LU_LAYOUT_HIGEN));
+}
+
+static inline int ofd_seq_is_exhausted(struct ofd_device *ofd,
+                                      const struct obdo *oa)
+{
+       struct seq_server_site *ss = &ofd->ofd_seq_site;
+       __u64 seq_width = ss->ss_client_seq->lcs_width;
+       __u64 seq = ostid_seq(&oa->o_oi);
+       __u64 oid = ostid_id(&oa->o_oi);
+
+       if (fid_seq_is_norm(seq))
+               return oid >= min(seq_width, OBIF_MAX_OID);
+       if (fid_seq_is_idif(seq) || fid_seq_is_mdt0(seq))
+               return oid >= min(seq_width, IDIF_MAX_OID);
+       CERROR("%s : invalid o_seq "DOSTID"\n",
+              ofd_name(ofd), POSTID(&oa->o_oi));
+       return -EINVAL;
+}
+
 #endif /* _OFD_INTERNAL_H */