Whamcloud - gitweb
LU-5814 llite: add cl_object_maxbytes()
[fs/lustre-release.git] / lustre / include / obd.h
index 5d1dde4..71f1662 100644 (file)
@@ -27,7 +27,7 @@
  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  *
- * Copyright (c) 2011, 2013, Intel Corporation.
+ * Copyright (c) 2011, 2014, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
@@ -37,7 +37,7 @@
 #ifndef __OBD_H
 #define __OBD_H
 
-#include <linux/obd.h>
+#include <linux/spinlock.h>
 
 #include <lustre/lustre_idl.h>
 #include <lustre_lib.h>
@@ -96,31 +96,17 @@ struct lov_stripe_md {
 
        /* maximum possible file size, might change as OSTs status changes,
         * e.g. disconnected, deactivated */
-       __u64            lsm_maxbytes;
-        struct {
-                /* Public members. */
-               struct ost_id lw_object_oi; /* lov object id/seq */
-
-                /* LOV-private members start here -- only for use in lov/. */
-                __u32 lw_magic;
-                __u32 lw_stripe_size;      /* size of the stripe */
-                __u32 lw_pattern;          /* striping pattern (RAID0, RAID1) */
-                __u16 lw_stripe_count;  /* number of objects being striped over */
-                __u16 lw_layout_gen;       /* generation of the layout */
-               char  lw_pool_name[LOV_MAXPOOLNAME + 1]; /* pool name */
-        } lsm_wire;
-
-        struct lov_oinfo *lsm_oinfo[0];
+       loff_t          lsm_maxbytes;
+       struct ost_id   lsm_oi;
+       __u32           lsm_magic;
+       __u32           lsm_stripe_size;
+       __u32           lsm_pattern; /* RAID0, RAID1, released, ... */
+       __u16           lsm_stripe_count;
+       __u16           lsm_layout_gen;
+       char            lsm_pool_name[LOV_MAXPOOLNAME + 1];
+       struct lov_oinfo        *lsm_oinfo[0];
 };
 
-#define lsm_oi          lsm_wire.lw_object_oi
-#define lsm_magic        lsm_wire.lw_magic
-#define lsm_layout_gen   lsm_wire.lw_layout_gen
-#define lsm_stripe_size  lsm_wire.lw_stripe_size
-#define lsm_pattern      lsm_wire.lw_pattern
-#define lsm_stripe_count lsm_wire.lw_stripe_count
-#define lsm_pool_name    lsm_wire.lw_pool_name
-
 static inline bool lsm_is_released(struct lov_stripe_md *lsm)
 {
        return !!(lsm->lsm_pattern & LOV_PATTERN_F_RELEASED);
@@ -166,7 +152,7 @@ struct obd_info {
         /* statfs data specific for every OSC, if needed at all. */
         struct obd_statfs      *oi_osfs;
         /* An update callback which is called to update some data on upper
-         * level. E.g. it is used for update lsm->lsm_oinfo at every recieved
+        * level. E.g. it is used for update lsm->lsm_oinfo at every received
          * request in osc level for enqueue requests. It is also possible to
          * update some caller data from LOV layer if needed. */
         obd_enqueue_update_f    oi_cb_up;
@@ -189,10 +175,10 @@ struct obd_type {
 };
 
 struct brw_page {
-       obd_off  off;
-       struct page *pg;
-       int count;
-       obd_flag flag;
+       u64              off;
+       struct page     *pg;
+       u32              count;
+       u32              flag;
 };
 
 struct timeout_item {
@@ -219,23 +205,59 @@ enum {
         NUM_SYNC_ON_CANCEL_STATES
 };
 
+/*
+ * Limit reply buffer size for striping data to one x86_64 page. This
+ * value is chosen to fit the striping data for common use cases while
+ * staying well below the limit at which the buffer must be backed by
+ * vmalloc(). Excessive use of vmalloc() may cause spinlock contention
+ * on the MDS.
+ */
+#define OBD_MAX_DEFAULT_EA_SIZE                4096
+#define OBD_MAX_DEFAULT_COOKIE_SIZE    4096
+
 struct mdc_rpc_lock;
 struct obd_import;
 struct client_obd {
        struct rw_semaphore      cl_sem;
-        struct obd_uuid          cl_target_uuid;
-        struct obd_import       *cl_import; /* ptlrpc connection state */
-        int                      cl_conn_count;
-       /* max_mds_easize is purely a performance thing so we don't have to
-        * call obd_size_diskmd() all the time. */
+       struct obd_uuid          cl_target_uuid;
+       struct obd_import       *cl_import; /* ptlrpc connection state */
+       size_t                   cl_conn_count;
+
+       /* Cache maximum and default values for easize and cookiesize. This is
+        * strictly a performance optimization to minimize calls to
+        * obd_size_diskmd(). The default values are used to calculate the
+        * initial size of a request buffer. The ptlrpc layer will resize the
+        * buffer as needed to accommodate a larger reply from the
+        * server. The default values should be small enough to avoid wasted
+        * memory and excessive use of vmalloc(), yet large enough to avoid
+        * reallocating the buffer in the common use case. */
+
+       /* Default EA size for striping attributes. It is initialized at
+        * mount-time based on the default stripe width of the filesystem,
+        * then it tracks the largest observed EA size advertised by
+        * the MDT, up to a maximum value of OBD_MAX_DEFAULT_EA_SIZE. */
        __u32                    cl_default_mds_easize;
+
+       /* Maximum possible EA size computed at mount-time based on
+        * the number of OSTs in the filesystem. May be increased at
+        * run-time if a larger observed size is advertised by the MDT. */
        __u32                    cl_max_mds_easize;
+
+       /* Default cookie size for llog cookies (see struct llog_cookie). It is
+        * initialized to zero at mount-time, then it tracks the largest
+        * observed cookie size advertised by the MDT, up to a maximum value of
+        * OBD_MAX_DEFAULT_COOKIE_SIZE. Note that llog_cookies are not
+        * used by clients communicating with MDS versions 2.4.0 and later.*/
        __u32                    cl_default_mds_cookiesize;
+
+       /* Maximum possible cookie size computed at mount-time based on
+        * the number of OSTs in the filesystem. May be increased at
+        * run-time if a larger observed size is advertised by the MDT. */
        __u32                    cl_max_mds_cookiesize;
 
-        enum lustre_sec_part     cl_sp_me;
-        enum lustre_sec_part     cl_sp_to;
-        struct sptlrpc_flavor    cl_flvr_mgc;   /* fixed flavor of mgc->mgs */
+       enum lustre_sec_part     cl_sp_me;
+       enum lustre_sec_part     cl_sp_to;
+       struct sptlrpc_flavor    cl_flvr_mgc; /* fixed flavor of mgc->mgs */
 
        /* the grant values are protected by loi_list_lock below */
        unsigned long            cl_dirty_pages;      /* all _dirty_ in pages */
@@ -257,7 +279,7 @@ struct client_obd {
        /* A chunk is an optimal size used by osc_extent to determine
         * the extent size. A chunk is max(PAGE_CACHE_SIZE, OST block size) */
        int                     cl_chunkbits;
-       int                     cl_extent_tax;  /* extent overhead, by bytes */
+       unsigned int            cl_extent_tax;  /* extent overhead, by bytes */
 
        /* keep track of objects that have lois that contain pages which
         * have been queued for async brw.  this lock also protects the
@@ -273,14 +295,10 @@ struct client_obd {
          * blocking everywhere, but we don't want to slow down fast-path of
          * our main platform.)
          *
-         * Exact type of ->cl_loi_list_lock is defined in arch/obd.h together
-         * with client_obd_list_{un,}lock() and
-         * client_obd_list_lock_{init,done}() functions.
-        *
         * NB by Jinshan: though field names are still _loi_, but actually
         * osc_object{}s are in the list.
         */
-       client_obd_lock_t       cl_loi_list_lock;
+       spinlock_t              cl_loi_list_lock;
        struct list_head        cl_loi_ready_list;
        struct list_head        cl_loi_hp_ready_list;
        struct list_head        cl_loi_write_list;
@@ -307,7 +325,7 @@ struct client_obd {
        atomic_long_t            cl_lru_in_list;
        atomic_long_t            cl_unstable_count;
        struct list_head         cl_lru_list; /* lru page list */
-       client_obd_lock_t        cl_lru_list_lock; /* page list protector */
+       spinlock_t               cl_lru_list_lock; /* page list protector */
        atomic_t                 cl_lru_shrinkers;
 
        /* number of in flight destroy rpcs is limited to max_rpcs_in_flight */
@@ -355,8 +373,8 @@ struct client_obd {
 #define obd2cli_tgt(obd) ((char *)(obd)->u.cli.cl_target_uuid.uuid)
 
 struct obd_id_info {
-        __u32   idx;
-        obd_id  *data;
+       u32      idx;
+       u64     *data;
 };
 
 struct echo_client_obd {
@@ -410,7 +428,7 @@ struct lov_obd {
        enum lustre_sec_part    lov_sp_me;
 
        /* Cached LRU and unstable data from upper layer */
-       void                   *lov_cache;
+       struct cl_client_cache *lov_cache;
 
        struct rw_semaphore     lov_notify_lock;
 };
@@ -442,7 +460,7 @@ struct lmv_obd {
        struct obd_export       *exp;
        struct proc_dir_entry   *targets_proc_entry;
 
-       struct mutex            init_mutex;
+       struct mutex            lmv_init_mutex;
        int                     connected;
        int                     max_easize;
        int                     max_def_easize;
@@ -698,7 +716,7 @@ struct obd_device {
        struct proc_dir_entry   *obd_proc_exports_entry;
        struct proc_dir_entry   *obd_svc_procroot;
        struct lprocfs_stats    *obd_svc_stats;
-       struct lprocfs_seq_vars *obd_vars;
+       struct lprocfs_vars     *obd_vars;
        atomic_t                obd_evict_inprogress;
        wait_queue_head_t       obd_evict_inprogress_waitq;
        struct list_head        obd_evict_list; /* protected with pet_lock */
@@ -797,6 +815,14 @@ static inline int it_to_lock_mode(struct lookup_intent *it)
        return -EINVAL;
 }
 
+enum md_op_flags {
+       MF_MDC_CANCEL_FID1      = 1 << 0,
+       MF_MDC_CANCEL_FID2      = 1 << 1,
+       MF_MDC_CANCEL_FID3      = 1 << 2,
+       MF_MDC_CANCEL_FID4      = 1 << 3,
+       MF_GET_MDT_IDX          = 1 << 4,
+};
+
 enum md_cli_flags {
        CLI_SET_MEA     = 1 << 0,
        CLI_RM_ENTRY    = 1 << 1,
@@ -811,8 +837,8 @@ struct md_op_data {
         struct lu_fid           op_fid3; /* 2 extra fids to find conflicting */
         struct lu_fid           op_fid4; /* to the operation locks. */
        u32                     op_mds;  /* what mds server open will go to */
-        struct lustre_handle    op_handle;
-        obd_time                op_mod_time;
+       struct lustre_handle    op_handle;
+       s64                     op_mod_time;
         const char             *op_name;
        size_t                  op_namelen;
         __u32                   op_mode;
@@ -831,8 +857,6 @@ struct md_op_data {
        unsigned int            op_attr_flags; /* LUSTRE_{SYNC,..}_FL */
        __u64                   op_valid; /* OBD_MD_* */
 
-       /* Size-on-MDS epoch and flags. */
-       __u64                   op_ioepoch;
        enum md_op_flags        op_flags;
 
        /* Capa fields */
@@ -852,6 +876,9 @@ struct md_op_data {
        /* File object data version for HSM release, on client */
        __u64                   op_data_version;
        struct lustre_handle    op_lease_handle;
+
+       /* default stripe offset */
+       __u32                   op_default_stripe_offset;
 };
 
 struct md_callback {
@@ -879,19 +906,17 @@ struct obd_ops {
        struct module *o_owner;
        int (*o_iocontrol)(unsigned int cmd, struct obd_export *exp, int len,
                           void *karg, void __user *uarg);
-        int (*o_get_info)(const struct lu_env *env, struct obd_export *,
-                          __u32 keylen, void *key, __u32 *vallen, void *val,
-                          struct lov_stripe_md *lsm);
-        int (*o_set_info_async)(const struct lu_env *, struct obd_export *,
-                                __u32 keylen, void *key,
-                                __u32 vallen, void *val,
-                                struct ptlrpc_request_set *set);
+       int (*o_get_info)(const struct lu_env *env, struct obd_export *,
+                         __u32 keylen, void *key, __u32 *vallen, void *val);
+       int (*o_set_info_async)(const struct lu_env *, struct obd_export *,
+                               __u32 keylen, void *key,
+                               __u32 vallen, void *val,
+                               struct ptlrpc_request_set *set);
         int (*o_setup) (struct obd_device *dev, struct lustre_cfg *cfg);
         int (*o_precleanup)(struct obd_device *dev,
                             enum obd_cleanup_stage cleanup_stage);
         int (*o_cleanup)(struct obd_device *dev);
-        int (*o_process_config)(struct obd_device *dev, obd_count len,
-                                void *data);
+       int (*o_process_config)(struct obd_device *dev, size_t len, void *data);
         int (*o_postrecov)(struct obd_device *dev);
         int (*o_add_conn)(struct obd_import *imp, struct obd_uuid *uuid,
                           int priority);
@@ -932,37 +957,25 @@ struct obd_ops {
                         struct lov_stripe_md *mem_src);
         int (*o_unpackmd)(struct obd_export *exp,struct lov_stripe_md **mem_tgt,
                           struct lov_mds_md *disk_src, int disk_len);
-        int (*o_create)(const struct lu_env *env, struct obd_export *exp,
-                        struct obdo *oa, struct lov_stripe_md **ea,
-                        struct obd_trans_info *oti);
-        int (*o_destroy)(const struct lu_env *env, struct obd_export *exp,
-                         struct obdo *oa, struct lov_stripe_md *ea,
-                         struct obd_trans_info *oti, struct obd_export *md_exp,
-                         void *capa);
+       int (*o_create)(const struct lu_env *env, struct obd_export *exp,
+                       struct obdo *oa, struct obd_trans_info *oti);
+       int (*o_destroy)(const struct lu_env *env, struct obd_export *exp,
+                        struct obdo *oa, struct obd_trans_info *oti);
         int (*o_setattr)(const struct lu_env *, struct obd_export *exp,
                          struct obd_info *oinfo, struct obd_trans_info *oti);
-        int (*o_setattr_async)(struct obd_export *exp, struct obd_info *oinfo,
-                               struct obd_trans_info *oti,
-                               struct ptlrpc_request_set *rqset);
         int (*o_getattr)(const struct lu_env *env, struct obd_export *exp,
                          struct obd_info *oinfo);
-        int (*o_getattr_async)(struct obd_export *exp, struct obd_info *oinfo,
-                               struct ptlrpc_request_set *set);
         int (*o_preprw)(const struct lu_env *env, int cmd,
                         struct obd_export *exp, struct obdo *oa, int objcount,
                         struct obd_ioobj *obj, struct niobuf_remote *remote,
-                        int *nr_pages, struct niobuf_local *local,
-                        struct obd_trans_info *oti, struct lustre_capa *capa);
+                       int *nr_pages, struct niobuf_local *local,
+                       struct obd_trans_info *oti);
         int (*o_commitrw)(const struct lu_env *env, int cmd,
                           struct obd_export *exp, struct obdo *oa,
                           int objcount, struct obd_ioobj *obj,
                           struct niobuf_remote *remote, int pages,
                           struct niobuf_local *local,
                           struct obd_trans_info *oti, int rc);
-        int (*o_change_cbdata)(struct obd_export *, struct lov_stripe_md *,
-                               ldlm_iterator_t it, void *data);
-        int (*o_find_cbdata)(struct obd_export *, struct lov_stripe_md *,
-                             ldlm_iterator_t it, void *data);
         int (*o_init_export)(struct obd_export *exp);
         int (*o_destroy_export)(struct obd_export *exp);
 
@@ -1074,8 +1087,7 @@ struct md_ops {
                        struct ptlrpc_request **);
 
        int (*m_setattr)(struct obd_export *, struct md_op_data *, void *,
-                       size_t , void *, size_t, struct ptlrpc_request **,
-                        struct md_open_data **mod);
+                        size_t , struct ptlrpc_request **);
 
        int (*m_fsync)(struct obd_export *, const struct lu_fid *,
                       struct obd_capa *, struct ptlrpc_request **);
@@ -1088,12 +1100,12 @@ struct md_ops {
                        struct ptlrpc_request **);
 
        int (*m_setxattr)(struct obd_export *, const struct lu_fid *,
-                         struct obd_capa *, obd_valid, const char *,
+                         struct obd_capa *, u64, const char *,
                          const char *, int, int, int, __u32,
                          struct ptlrpc_request **);
 
        int (*m_getxattr)(struct obd_export *, const struct lu_fid *,
-                         struct obd_capa *, obd_valid, const char *,
+                         struct obd_capa *, u64, const char *,
                          const char *, int, int, int,
                          struct ptlrpc_request **);
 
@@ -1114,9 +1126,6 @@ struct md_ops {
        int (*m_find_cbdata)(struct obd_export *, const struct lu_fid *,
                             ldlm_iterator_t, void *);
 
-       int (*m_done_writing)(struct obd_export *, struct md_op_data  *,
-                             struct md_open_data *);
-
        int (*m_getattr_name)(struct obd_export *, struct md_op_data *,
                              struct ptlrpc_request **);
 
@@ -1130,10 +1139,7 @@ struct md_ops {
 
        int (*m_merge_attr)(struct obd_export *,
                            const struct lmv_stripe_md *lsm,
-                           struct cl_attr *attr);
-
-       int (*m_update_lsm_md)(struct obd_export *, struct lmv_stripe_md *lsm,
-                              struct mdt_body *, ldlm_blocking_callback);
+                           struct cl_attr *attr, ldlm_blocking_callback);
 
        int (*m_set_open_replay_data)(struct obd_export *,
                                      struct obd_client_handle *,
@@ -1170,13 +1176,11 @@ struct md_ops {
 };
 
 struct lsm_operations {
-        void (*lsm_free)(struct lov_stripe_md *);
-        int (*lsm_destroy)(struct lov_stripe_md *, struct obdo *oa,
-                           struct obd_export *md_exp);
-        void (*lsm_stripe_by_index)(struct lov_stripe_md *, int *, obd_off *,
-                                    obd_off *);
-        void (*lsm_stripe_by_offset)(struct lov_stripe_md *, int *, obd_off *,
-                                     obd_off *);
+       void (*lsm_free)(struct lov_stripe_md *);
+       void (*lsm_stripe_by_index)(struct lov_stripe_md *, int *,
+                                   loff_t *, loff_t *);
+       void (*lsm_stripe_by_offset)(struct lov_stripe_md *, int *,
+                                    loff_t *, loff_t *);
         int (*lsm_lmm_verify) (struct lov_mds_md *lmm, int lmm_bytes,
                                __u16 *stripe_count);
         int (*lsm_unpackmd) (struct lov_obd *lov, struct lov_stripe_md *lsm,
@@ -1185,7 +1189,7 @@ struct lsm_operations {
 
 extern const struct lsm_operations lsm_v1_ops;
 extern const struct lsm_operations lsm_v3_ops;
-static inline const struct lsm_operations *lsm_op_find(int magic)
+static inline const struct lsm_operations *lsm_op_find(u32 magic)
 {
         switch(magic) {
         case LOV_MAGIC_V1:
@@ -1218,7 +1222,7 @@ static inline struct md_open_data *obd_mod_alloc(void)
        }                                                         \
 })
 
-void obdo_from_inode(struct obdo *dst, struct inode *src, obd_flag valid);
+void obdo_from_inode(struct obdo *dst, struct inode *src, u64 valid);
 void obdo_set_parent_fid(struct obdo *dst, const struct lu_fid *parent);
 
 /* return 1 if client should be resend request */
@@ -1266,7 +1270,7 @@ static inline bool filename_is_volatile(const char *name, size_t namelen,
        }
        /* we have an idx, read it */
        start = name + LUSTRE_VOLATILE_HDR_LEN + 1;
-       *idx = strtoul(start, &end, 16);
+       *idx = simple_strtoul(start, &end, 16);
        /* error cases:
         * no digit, no trailing :, negative value
         */