Whamcloud - gitweb
LU-5549 mdc: cl_default_mds_easize not refreshed
[fs/lustre-release.git] / lustre / include / obd.h
index e0eca82..de554b8 100644 (file)
@@ -27,7 +27,7 @@
  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  *
- * Copyright (c) 2011, 2013, Intel Corporation.
+ * Copyright (c) 2011, 2014, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
@@ -37,7 +37,7 @@
 #ifndef __OBD_H
 #define __OBD_H
 
-#include <linux/obd.h>
+#include <linux/spinlock.h>
 
 #include <lustre/lustre_idl.h>
 #include <lustre_lib.h>
@@ -96,31 +96,17 @@ struct lov_stripe_md {
 
        /* maximum possible file size, might change as OSTs status changes,
         * e.g. disconnected, deactivated */
-       __u64            lsm_maxbytes;
-        struct {
-                /* Public members. */
-               struct ost_id lw_object_oi; /* lov object id/seq */
-
-                /* LOV-private members start here -- only for use in lov/. */
-                __u32 lw_magic;
-                __u32 lw_stripe_size;      /* size of the stripe */
-                __u32 lw_pattern;          /* striping pattern (RAID0, RAID1) */
-                __u16 lw_stripe_count;  /* number of objects being striped over */
-                __u16 lw_layout_gen;       /* generation of the layout */
-                char  lw_pool_name[LOV_MAXPOOLNAME]; /* pool name */
-        } lsm_wire;
-
-        struct lov_oinfo *lsm_oinfo[0];
+       __u64           lsm_maxbytes;
+       struct ost_id   lsm_oi;
+       __u32           lsm_magic;
+       __u32           lsm_stripe_size;
+       __u32           lsm_pattern; /* RAID0, RAID1, released, ... */
+       __u16           lsm_stripe_count;
+       __u16           lsm_layout_gen;
+       char            lsm_pool_name[LOV_MAXPOOLNAME + 1];
+       struct lov_oinfo        *lsm_oinfo[0];
 };
 
-#define lsm_oi          lsm_wire.lw_object_oi
-#define lsm_magic        lsm_wire.lw_magic
-#define lsm_layout_gen   lsm_wire.lw_layout_gen
-#define lsm_stripe_size  lsm_wire.lw_stripe_size
-#define lsm_pattern      lsm_wire.lw_pattern
-#define lsm_stripe_count lsm_wire.lw_stripe_count
-#define lsm_pool_name    lsm_wire.lw_pool_name
-
 static inline bool lsm_is_released(struct lov_stripe_md *lsm)
 {
        return !!(lsm->lsm_pattern & LOV_PATTERN_F_RELEASED);
@@ -189,10 +175,10 @@ struct obd_type {
 };
 
 struct brw_page {
-       obd_off  off;
-       struct page *pg;
-       int count;
-       obd_flag flag;
+       u64              off;
+       struct page     *pg;
+       u32              count;
+       u32              flag;
 };
 
 struct timeout_item {
@@ -219,23 +205,59 @@ enum {
         NUM_SYNC_ON_CANCEL_STATES
 };
 
+/*
+ * Limit reply buffer size for striping data to one x86_64 page. This
+ * value is chosen to fit the striping data for common use cases while
+ * staying well below the limit at which the buffer must be backed by
+ * vmalloc(). Excessive use of vmalloc() may cause spinlock contention
+ * on the MDS.
+ */
+#define OBD_MAX_DEFAULT_EA_SIZE                4096
+#define OBD_MAX_DEFAULT_COOKIE_SIZE    4096
+
 struct mdc_rpc_lock;
 struct obd_import;
 struct client_obd {
        struct rw_semaphore      cl_sem;
-        struct obd_uuid          cl_target_uuid;
-        struct obd_import       *cl_import; /* ptlrpc connection state */
-        int                      cl_conn_count;
-       /* max_mds_easize is purely a performance thing so we don't have to
-        * call obd_size_diskmd() all the time. */
-       int                      cl_default_mds_easize;
-       int                      cl_max_mds_easize;
-       int                      cl_default_mds_cookiesize;
-       int                      cl_max_mds_cookiesize;
-
-        enum lustre_sec_part     cl_sp_me;
-        enum lustre_sec_part     cl_sp_to;
-        struct sptlrpc_flavor    cl_flvr_mgc;   /* fixed flavor of mgc->mgs */
+       struct obd_uuid          cl_target_uuid;
+       struct obd_import       *cl_import; /* ptlrpc connection state */
+       size_t                   cl_conn_count;
+
+       /* Cache maximum and default values for easize and cookiesize. This is
+        * strictly a performance optimization to minimize calls to
+        * obd_size_diskmd(). The default values are used to calculate the
+        * initial size of a request buffer. The ptlrpc layer will resize the
+        * buffer as needed to accommodate a larger reply from the
+        * server. The default values should be small enough to avoid wasted
+        * memory and excessive use of vmalloc(), yet large enough to avoid
+        * reallocating the buffer in the common use case. */
+
+       /* Default EA size for striping attributes. It is initialized at
+        * mount-time based on the default stripe width of the filesystem,
+        * then it tracks the largest observed EA size advertised by
+        * the MDT, up to a maximum value of OBD_MAX_DEFAULT_EA_SIZE. */
+       __u32                    cl_default_mds_easize;
+
+       /* Maximum possible EA size computed at mount-time based on
+        * the number of OSTs in the filesystem. May be increased at
+        * run-time if a larger observed size is advertised by the MDT. */
+       __u32                    cl_max_mds_easize;
+
+       /* Default cookie size for llog cookies (see struct llog_cookie). It is
+        * initialized to zero at mount-time, then it tracks the largest
+        * observed cookie size advertised by the MDT, up to a maximum value of
+        * OBD_MAX_DEFAULT_COOKIE_SIZE. Note that llog_cookies are not
+        * used by clients communicating with MDS versions 2.4.0 and later.*/
+       __u32                    cl_default_mds_cookiesize;
+
+       /* Maximum possible cookie size computed at mount-time based on
+        * the number of OSTs in the filesystem. May be increased at
+        * run-time if a larger observed size is advertised by the MDT. */
+       __u32                    cl_max_mds_cookiesize;
+
+       enum lustre_sec_part     cl_sp_me;
+       enum lustre_sec_part     cl_sp_to;
+       struct sptlrpc_flavor    cl_flvr_mgc; /* fixed flavor of mgc->mgs */
 
        /* the grant values are protected by loi_list_lock below */
        unsigned long            cl_dirty_pages;      /* all _dirty_ in pages */
@@ -257,7 +279,7 @@ struct client_obd {
        /* A chunk is an optimal size used by osc_extent to determine
         * the extent size. A chunk is max(PAGE_CACHE_SIZE, OST block size) */
        int                     cl_chunkbits;
-       int                     cl_extent_tax;  /* extent overhead, by bytes */
+       unsigned int            cl_extent_tax;  /* extent overhead, by bytes */
 
        /* keep track of objects that have lois that contain pages which
         * have been queued for async brw.  this lock also protects the
@@ -273,14 +295,10 @@ struct client_obd {
          * blocking everywhere, but we don't want to slow down fast-path of
          * our main platform.)
          *
-         * Exact type of ->cl_loi_list_lock is defined in arch/obd.h together
-         * with client_obd_list_{un,}lock() and
-         * client_obd_list_lock_{init,done}() functions.
-        *
         * NB by Jinshan: though field names are still _loi_, but actually
         * osc_object{}s are in the list.
         */
-       client_obd_lock_t       cl_loi_list_lock;
+       spinlock_t              cl_loi_list_lock;
        struct list_head        cl_loi_ready_list;
        struct list_head        cl_loi_hp_ready_list;
        struct list_head        cl_loi_write_list;
@@ -302,13 +320,13 @@ struct client_obd {
        /* lru for osc caching pages */
        struct cl_client_cache  *cl_cache;
        struct list_head         cl_lru_osc; /* member of cl_cache->ccc_lru */
-       atomic_t                *cl_lru_left;
-       atomic_t                 cl_lru_busy;
-       atomic_t                 cl_lru_shrinkers;
-       atomic_t                 cl_lru_in_list;
+       atomic_long_t           *cl_lru_left;
+       atomic_long_t            cl_lru_busy;
+       atomic_long_t            cl_lru_in_list;
+       atomic_long_t            cl_unstable_count;
        struct list_head         cl_lru_list; /* lru page list */
-       client_obd_lock_t        cl_lru_list_lock; /* page list protector */
-       atomic_t                 cl_unstable_count;
+       spinlock_t               cl_lru_list_lock; /* page list protector */
+       atomic_t                 cl_lru_shrinkers;
 
        /* number of in flight destroy rpcs is limited to max_rpcs_in_flight */
        atomic_t                 cl_destroy_in_flight;
@@ -355,8 +373,8 @@ struct client_obd {
 #define obd2cli_tgt(obd) ((char *)(obd)->u.cli.cl_target_uuid.uuid)
 
 struct obd_id_info {
-        __u32   idx;
-        obd_id  *data;
+       u32      idx;
+       u64     *data;
 };
 
 struct echo_client_obd {
@@ -364,7 +382,6 @@ struct echo_client_obd {
        spinlock_t              ec_lock;
        struct list_head        ec_objects;
        struct list_head        ec_locks;
-       int                     ec_nstripes;
        __u64                   ec_unique;
 };
 
@@ -443,15 +460,14 @@ struct lmv_obd {
        struct obd_export       *exp;
        struct proc_dir_entry   *targets_proc_entry;
 
-       struct mutex            init_mutex;
+       struct mutex            lmv_init_mutex;
        int                     connected;
        int                     max_easize;
        int                     max_def_easize;
        int                     max_cookiesize;
        int                     max_def_cookiesize;
-       int                     server_timeout;
 
-       int                     tgts_size; /* size of tgts array */
+       __u32                   tgts_size; /* size of tgts array */
        struct lmv_tgt_desc     **tgts;
 
        struct obd_connect_data conn_data;
@@ -700,7 +716,7 @@ struct obd_device {
        struct proc_dir_entry   *obd_proc_exports_entry;
        struct proc_dir_entry   *obd_svc_procroot;
        struct lprocfs_stats    *obd_svc_stats;
-       struct lprocfs_seq_vars *obd_vars;
+       struct lprocfs_vars     *obd_vars;
        atomic_t                obd_evict_inprogress;
        wait_queue_head_t       obd_evict_inprogress_waitq;
        struct list_head        obd_evict_list; /* protected with pet_lock */
@@ -745,22 +761,18 @@ enum obd_cleanup_stage {
 #define KEY_INTERMDS            "inter_mds"
 #define KEY_LAST_ID             "last_id"
 #define KEY_LAST_FID           "last_fid"
-#define KEY_LOCK_TO_STRIPE      "lock_to_stripe"
 #define KEY_LOVDESC             "lovdesc"
 #define KEY_MAX_EASIZE         "max_easize"
 #define KEY_DEFAULT_EASIZE     "default_easize"
 #define KEY_MAX_COOKIESIZE     "max_cookiesize"
 #define KEY_DEFAULT_COOKIESIZE "default_cookiesize"
-#define KEY_MDS_CONN            "mds_conn"
 #define KEY_MGSSEC              "mgssec"
-#define KEY_NEXT_ID             "next_id"
 #define KEY_READ_ONLY           "read-only"
 #define KEY_REGISTER_TARGET     "register_target"
 #define KEY_SET_FS              "set_fs"
 #define KEY_TGT_COUNT           "tgt_count"
 /*      KEY_SET_INFO in lustre_idl.h */
 #define KEY_SPTLRPC_CONF        "sptlrpc_conf"
-#define KEY_CONNECT_FLAG        "connect_flags"
 
 #define KEY_CACHE_SET          "cache_set"
 #define KEY_CACHE_LRU_SHRINK   "cache_lru_shrink"
@@ -803,16 +815,24 @@ static inline int it_to_lock_mode(struct lookup_intent *it)
        return -EINVAL;
 }
 
+enum md_cli_flags {
+       CLI_SET_MEA     = 1 << 0,
+       CLI_RM_ENTRY    = 1 << 1,
+       CLI_HASH64      = 1 << 2,
+       CLI_API32       = 1 << 3,
+       CLI_MIGRATE     = 1 << 4,
+};
+
 struct md_op_data {
         struct lu_fid           op_fid1; /* operation fid1 (usualy parent) */
         struct lu_fid           op_fid2; /* operation fid2 (usualy child) */
         struct lu_fid           op_fid3; /* 2 extra fids to find conflicting */
         struct lu_fid           op_fid4; /* to the operation locks. */
        u32                     op_mds;  /* what mds server open will go to */
-        struct lustre_handle    op_handle;
-        obd_time                op_mod_time;
+       struct lustre_handle    op_handle;
+       s64                     op_mod_time;
         const char             *op_name;
-        int                     op_namelen;
+       size_t                  op_namelen;
         __u32                   op_mode;
         struct lmv_stripe_md   *op_mea1;
         struct lmv_stripe_md   *op_mea2;
@@ -824,13 +844,14 @@ struct md_op_data {
        size_t                  op_data_size;
 
         /* iattr fields and blocks. */
-        struct iattr            op_attr;
-       __u64                   op_valid;
+       struct iattr            op_attr;
        loff_t                  op_attr_blocks;
+       unsigned int            op_attr_flags; /* LUSTRE_{SYNC,..}_FL */
+       __u64                   op_valid; /* OBD_MD_* */
 
        /* Size-on-MDS epoch and flags. */
        __u64                   op_ioepoch;
-       __u32                   op_flags;
+       enum md_op_flags        op_flags;
 
        /* Capa fields */
        struct obd_capa        *op_capa1;
@@ -840,19 +861,19 @@ struct md_op_data {
        enum mds_op_bias        op_bias;
 
        /* Used by readdir */
-       __u32                   op_npages;
+       unsigned int            op_max_pages;
 
        /* used to transfer info between the stacks of MD client
         * see enum op_cli_flags */
-       __u32                   op_cli_flags;
+       enum md_cli_flags       op_cli_flags;
 
        /* File object data version for HSM release, on client */
        __u64                   op_data_version;
        struct lustre_handle    op_lease_handle;
-};
 
-#define op_stripe_offset       op_ioepoch
-#define op_max_pages           op_valid
+       /* default stripe offset */
+       __u32                   op_default_stripe_offset;
+};
 
 struct md_callback {
        int (*md_blocking_ast)(struct ldlm_lock *lock,
@@ -867,31 +888,31 @@ typedef int (* md_enqueue_cb_t)(struct ptlrpc_request *req,
                                 int rc);
 
 struct md_enqueue_info {
-        struct md_op_data       mi_data;
-        struct lookup_intent    mi_it;
-        struct lustre_handle    mi_lockh;
-        struct inode           *mi_dir;
-        md_enqueue_cb_t         mi_cb;
-        __u64                   mi_cbdata;
+       struct md_op_data       mi_data;
+       struct lookup_intent    mi_it;
+       struct lustre_handle    mi_lockh;
+       struct inode           *mi_dir;
+       md_enqueue_cb_t         mi_cb;
+       void                   *mi_cbdata;
 };
 
 struct obd_ops {
        struct module *o_owner;
        int (*o_iocontrol)(unsigned int cmd, struct obd_export *exp, int len,
-                          void *karg, void *uarg);
-        int (*o_get_info)(const struct lu_env *env, struct obd_export *,
-                          __u32 keylen, void *key, __u32 *vallen, void *val,
-                          struct lov_stripe_md *lsm);
-        int (*o_set_info_async)(const struct lu_env *, struct obd_export *,
-                                __u32 keylen, void *key,
-                                __u32 vallen, void *val,
-                                struct ptlrpc_request_set *set);
+                          void *karg, void __user *uarg);
+       int (*o_get_info)(const struct lu_env *env, struct obd_export *,
+                         __u32 keylen, void *key,
+                         __u32 *vallen, void *val,
+                         struct lov_stripe_md *lsm);
+       int (*o_set_info_async)(const struct lu_env *, struct obd_export *,
+                               __u32 keylen, void *key,
+                               __u32 vallen, void *val,
+                               struct ptlrpc_request_set *set);
         int (*o_setup) (struct obd_device *dev, struct lustre_cfg *cfg);
         int (*o_precleanup)(struct obd_device *dev,
                             enum obd_cleanup_stage cleanup_stage);
         int (*o_cleanup)(struct obd_device *dev);
-        int (*o_process_config)(struct obd_device *dev, obd_count len,
-                                void *data);
+       int (*o_process_config)(struct obd_device *dev, size_t len, void *data);
         int (*o_postrecov)(struct obd_device *dev);
         int (*o_add_conn)(struct obd_import *imp, struct obd_uuid *uuid,
                           int priority);
@@ -932,13 +953,10 @@ struct obd_ops {
                         struct lov_stripe_md *mem_src);
         int (*o_unpackmd)(struct obd_export *exp,struct lov_stripe_md **mem_tgt,
                           struct lov_mds_md *disk_src, int disk_len);
-        int (*o_create)(const struct lu_env *env, struct obd_export *exp,
-                        struct obdo *oa, struct lov_stripe_md **ea,
-                        struct obd_trans_info *oti);
-        int (*o_destroy)(const struct lu_env *env, struct obd_export *exp,
-                         struct obdo *oa, struct lov_stripe_md *ea,
-                         struct obd_trans_info *oti, struct obd_export *md_exp,
-                         void *capa);
+       int (*o_create)(const struct lu_env *env, struct obd_export *exp,
+                       struct obdo *oa, struct obd_trans_info *oti);
+       int (*o_destroy)(const struct lu_env *env, struct obd_export *exp,
+                        struct obdo *oa, struct obd_trans_info *oti);
         int (*o_setattr)(const struct lu_env *, struct obd_export *exp,
                          struct obd_info *oinfo, struct obd_trans_info *oti);
         int (*o_setattr_async)(struct obd_export *exp, struct obd_info *oinfo,
@@ -959,18 +977,9 @@ struct obd_ops {
                           struct niobuf_remote *remote, int pages,
                           struct niobuf_local *local,
                           struct obd_trans_info *oti, int rc);
-        int (*o_change_cbdata)(struct obd_export *, struct lov_stripe_md *,
-                               ldlm_iterator_t it, void *data);
-        int (*o_find_cbdata)(struct obd_export *, struct lov_stripe_md *,
-                             ldlm_iterator_t it, void *data);
         int (*o_init_export)(struct obd_export *exp);
         int (*o_destroy_export)(struct obd_export *exp);
 
-        /* llog related obd_methods */
-        int (*o_llog_init)(struct obd_device *obd, struct obd_llog_group *grp,
-                           struct obd_device *disk_obd, int *idx);
-        int (*o_llog_finish)(struct obd_device *obd, int count);
-
         int (*o_import_event)(struct obd_device *, struct obd_import *,
                               enum obd_import_event);
 
@@ -1055,8 +1064,8 @@ struct md_ops {
                       struct md_open_data *, struct ptlrpc_request **);
 
        int (*m_create)(struct obd_export *, struct md_op_data *,
-                       const void *, int, int, __u32, __u32, cfs_cap_t,
-                       __u64, struct ptlrpc_request **);
+                       const void *, size_t, umode_t, uid_t, gid_t,
+                       cfs_cap_t, __u64, struct ptlrpc_request **);
 
        int (*m_enqueue)(struct obd_export *, struct ldlm_enqueue_info *,
                         const union ldlm_policy_data *,
@@ -1075,11 +1084,11 @@ struct md_ops {
                      struct ptlrpc_request **);
 
        int (*m_rename)(struct obd_export *, struct md_op_data *,
-                       const char *, int, const char *, int,
+                       const char *, size_t, const char *, size_t,
                        struct ptlrpc_request **);
 
        int (*m_setattr)(struct obd_export *, struct md_op_data *, void *,
-                        int , void *, int, struct ptlrpc_request **,
+                       size_t , void *, size_t, struct ptlrpc_request **,
                         struct md_open_data **mod);
 
        int (*m_fsync)(struct obd_export *, const struct lu_fid *,
@@ -1093,12 +1102,12 @@ struct md_ops {
                        struct ptlrpc_request **);
 
        int (*m_setxattr)(struct obd_export *, const struct lu_fid *,
-                         struct obd_capa *, obd_valid, const char *,
+                         struct obd_capa *, u64, const char *,
                          const char *, int, int, int, __u32,
                          struct ptlrpc_request **);
 
        int (*m_getxattr)(struct obd_export *, const struct lu_fid *,
-                         struct obd_capa *, obd_valid, const char *,
+                         struct obd_capa *, u64, const char *,
                          const char *, int, int, int,
                          struct ptlrpc_request **);
 
@@ -1125,7 +1134,7 @@ struct md_ops {
        int (*m_getattr_name)(struct obd_export *, struct md_op_data *,
                              struct ptlrpc_request **);
 
-       int (*m_init_ea_size)(struct obd_export *, int, int, int, int);
+       int (*m_init_ea_size)(struct obd_export *, __u32, __u32, __u32, __u32);
 
        int (*m_get_lustre_md)(struct obd_export *, struct ptlrpc_request *,
                               struct obd_export *, struct obd_export *,
@@ -1135,10 +1144,7 @@ struct md_ops {
 
        int (*m_merge_attr)(struct obd_export *,
                            const struct lmv_stripe_md *lsm,
-                           struct cl_attr *attr);
-
-       int (*m_update_lsm_md)(struct obd_export *, struct lmv_stripe_md *lsm,
-                              struct mdt_body *, ldlm_blocking_callback);
+                           struct cl_attr *attr, ldlm_blocking_callback);
 
        int (*m_set_open_replay_data)(struct obd_export *,
                                      struct obd_client_handle *,
@@ -1175,13 +1181,11 @@ struct md_ops {
 };
 
 struct lsm_operations {
-        void (*lsm_free)(struct lov_stripe_md *);
-        int (*lsm_destroy)(struct lov_stripe_md *, struct obdo *oa,
-                           struct obd_export *md_exp);
-        void (*lsm_stripe_by_index)(struct lov_stripe_md *, int *, obd_off *,
-                                    obd_off *);
-        void (*lsm_stripe_by_offset)(struct lov_stripe_md *, int *, obd_off *,
-                                     obd_off *);
+       void (*lsm_free)(struct lov_stripe_md *);
+       void (*lsm_stripe_by_index)(struct lov_stripe_md *, int *,
+                                   loff_t *, loff_t *);
+       void (*lsm_stripe_by_offset)(struct lov_stripe_md *, int *,
+                                    loff_t *, loff_t *);
         int (*lsm_lmm_verify) (struct lov_mds_md *lmm, int lmm_bytes,
                                __u16 *stripe_count);
         int (*lsm_unpackmd) (struct lov_obd *lov, struct lov_stripe_md *lsm,
@@ -1190,7 +1194,7 @@ struct lsm_operations {
 
 extern const struct lsm_operations lsm_v1_ops;
 extern const struct lsm_operations lsm_v3_ops;
-static inline const struct lsm_operations *lsm_op_find(int magic)
+static inline const struct lsm_operations *lsm_op_find(u32 magic)
 {
         switch(magic) {
         case LOV_MAGIC_V1:
@@ -1223,7 +1227,7 @@ static inline struct md_open_data *obd_mod_alloc(void)
        }                                                         \
 })
 
-void obdo_from_inode(struct obdo *dst, struct inode *src, obd_flag valid);
+void obdo_from_inode(struct obdo *dst, struct inode *src, u32 valid);
 void obdo_set_parent_fid(struct obdo *dst, const struct lu_fid *parent);
 
 /* return 1 if client should be resend request */
@@ -1245,7 +1249,8 @@ static inline const char *lu_dev_name(const struct lu_device *lu_dev)
         return lu_dev->ld_obd->obd_name;
 }
 
-static inline bool filename_is_volatile(const char *name, int namelen, int *idx)
+static inline bool filename_is_volatile(const char *name, size_t namelen,
+                                       int *idx)
 {
        const char      *start;
        char            *end;