Whamcloud - gitweb
LU-3540 lod: update recovery thread
[fs/lustre-release.git] / lustre / lod / lod_internal.h
index 2a00890..60617cf 100644 (file)
@@ -6,13 +6,13 @@
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License version 2 only,
  * as published by the Free Software Foundation.
-
+ *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  * GNU General Public License version 2 for more details.  A copy is
  * included in the COPYING file that accompanied this code.
-
+ *
  * You should have received a copy of the GNU General Public License
  * along with this program; if not, write to the Free Software
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
@@ -23,7 +23,7 @@
  * Copyright  2009 Sun Microsystems, Inc. All rights reserved
  * Use is subject to license terms.
  *
- * Copyright (c) 2012, 2013, Intel Corporation.
+ * Copyright (c) 2012, 2014, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
 #define LOV_USES_ASSIGNED_STRIPE        0
 #define LOV_USES_DEFAULT_STRIPE         1
 
+/* Special values to remove LOV EA from disk */
+#define LOVEA_DELETE_VALUES(size, count, offset, pool)                 \
+       ((size) == 0 && (count) == 0 &&                                 \
+        (offset) == (typeof(offset))(-1) && (pool) == NULL)
+
+#define LMVEA_DELETE_VALUES(count, offset)                             \
+       ((count) == 0 && (offset) == (typeof(offset))(-1))
+
+#define LOV_OFFSET_DEFAULT             ((__u16)-1)
+
 struct lod_qos_rr {
        __u32                    lqr_start_idx; /* start index of new inode */
        __u32                    lqr_offset_idx; /* aliasing for start_idx */
@@ -58,7 +68,7 @@ struct pool_desc {
        struct ost_pool          pool_obds;     /* pool members */
        atomic_t                 pool_refcount;
        struct lod_qos_rr        pool_rr;
-       cfs_hlist_node_t         pool_hash;     /* access by poolname */
+       struct hlist_node        pool_hash;     /* access by poolname */
        struct list_head         pool_list;
        struct proc_dir_entry   *pool_proc_entry;
        struct obd_device       *pool_lobd;     /* owner */
@@ -112,9 +122,11 @@ struct lod_tgt_desc {
        __u32              ltd_index;
        struct ltd_qos     ltd_qos; /* qos info per target */
        struct obd_statfs  ltd_statfs;
+       struct ptlrpc_thread    *ltd_recovery_thread;
        unsigned long      ltd_active:1,/* is this target up for requests */
                           ltd_activate:1,/* should  target be activated */
-                          ltd_reap:1;  /* should this target be deleted */
+                          ltd_reap:1,  /* should this target be deleted */
+                          ltd_got_update_log:1; /* Already got update log */
 };
 
 #define TGT_PTRS               256     /* number of pointers at 1st level */
@@ -136,7 +148,7 @@ struct lod_tgt_descs {
        /* Size of the lod_tgts array, granted to be a power of 2 */
        __u32                   ltd_tgts_size;
        /* number of registered TGTs */
-       int                     ltd_tgtnr;
+       __u32                   ltd_tgtnr;
        /* bitmap of TGTs available */
        cfs_bitmap_t            *ltd_tgt_bitmap;
        /* TGTs scheduled to be deleted */
@@ -153,12 +165,14 @@ struct lod_device {
        struct dt_device      lod_dt_dev;
        struct obd_export    *lod_child_exp;
        struct dt_device     *lod_child;
-       cfs_proc_dir_entry_t *lod_proc_entry;
+       struct proc_dir_entry *lod_proc_entry;
        struct lprocfs_stats *lod_stats;
        spinlock_t            lod_connects_lock;
        int                   lod_connects;
        unsigned int          lod_recovery_completed:1,
-                             lod_initialized:1;
+                             lod_initialized:1,
+                             lod_lmv_failout:1,
+                             lod_child_got_update_log:1;
 
        /* lov settings descriptor storing static information */
        struct lov_desc       lod_desc;
@@ -171,6 +185,9 @@ struct lod_device {
        /* Description of MDT */
        struct lod_tgt_descs  lod_mdt_descs;
 
+       /* Recovery thread for lod_child */
+       struct ptlrpc_thread    lod_child_recovery_thread;
+
        /* maximum EA size underlied OSD may have */
        unsigned int          lod_osd_max_easize;
 
@@ -181,15 +198,15 @@ struct lod_device {
        struct lod_qos        lod_qos; /* qos info per lod */
 
        /* OST pool data */
-       struct ost_pool       lod_pool_info; /* all OSTs in a packed array */
-       int                   lod_pool_count;
-       cfs_hash_t           *lod_pools_hash_body; /* used for key access */
-       cfs_list_t            lod_pool_list; /* used for sequential access */
-       cfs_proc_dir_entry_t *lod_pool_proc_entry;
+       struct ost_pool         lod_pool_info; /* all OSTs in a packed array */
+       int                     lod_pool_count;
+       cfs_hash_t             *lod_pools_hash_body; /* used for key access */
+       struct list_head        lod_pool_list; /* used for sequential access */
+       struct proc_dir_entry  *lod_pool_proc_entry;
 
        enum lustre_sec_part   lod_sp_me;
 
-       cfs_proc_dir_entry_t *lod_symlink;
+       struct proc_dir_entry *lod_symlink;
 };
 
 #define lod_osts       lod_ost_descs.ltd_tgts
@@ -213,8 +230,8 @@ struct lod_dir_stripe_info {
        __u32   ldsi_def_hash_type;
        __u32   ldsi_hash_type;
 
-       unsigned int ldsi_striping_cached:1,
-                    ldsi_def_striping_set:1,
+       unsigned int ldsi_def_striping_set:1,
+                    ldsi_def_striping_cached:1,
                     ldsi_striped:1;
 };
 
@@ -240,6 +257,7 @@ struct lod_object {
        unsigned int       ldo_stripes_allocated:16,
                           ldo_striping_cached:1,
                           ldo_def_striping_set:1,
+                          ldo_def_striping_cached:1,
        /* ldo_dir_slave_stripe indicate this is a slave stripe of
         * a striped dir */
                           ldo_dir_slave_stripe:1;
@@ -253,20 +271,23 @@ struct lod_object {
 #define ldo_dir_def_stripenr   ldo_dir_stripe->ldsi_def_stripenr
 #define ldo_dir_hash_type      ldo_dir_stripe->ldsi_hash_type
 #define ldo_dir_def_hash_type  ldo_dir_stripe->ldsi_def_hash_type
-#define ldo_dir_striping_cached        ldo_dir_stripe->ldsi_striping_cached
 #define ldo_dir_striped                ldo_dir_stripe->ldsi_striped
 #define ldo_dir_def_striping_set       ldo_dir_stripe->ldsi_def_striping_set
+#define ldo_dir_def_striping_cached    ldo_dir_stripe->ldsi_def_striping_cached
 #define ldo_dir_def_stripe_offset      ldo_dir_stripe->ldsi_def_stripe_offset
 
 struct lod_it {
        struct dt_object        *lit_obj; /* object from the layer below */
+       /* stripe offset of iteration */
+       __u32                   lit_stripe_index;
+       __u32                   lit_attr;
        struct dt_it            *lit_it;  /* iterator from the layer below */
 };
 
 struct lod_thread_info {
        /* per-thread buffer for LOV EA */
        void             *lti_ea_store;
-       int               lti_ea_store_size;
+       __u32             lti_ea_store_size;
        /* per-thread buffer for LMV EA */
        struct lu_buf     lti_buf;
        struct ost_id     lti_ostid;
@@ -274,6 +295,15 @@ struct lod_thread_info {
        struct obd_statfs lti_osfs;
        struct lu_attr    lti_attr;
        struct lod_it     lti_it;
+       struct ldlm_res_id lti_res_id;
+       /* used to hold lu_dirent, sizeof(struct lu_dirent) + NAME_MAX */
+       char              lti_key[sizeof(struct lu_dirent) + NAME_MAX];
+       struct dt_object_format lti_format;
+       struct lu_name    lti_name;
+       struct lu_buf     lti_linkea_buf;
+       struct dt_insert_rec lti_dt_rec;
+       struct llog_catid lti_cid;
+       struct llog_cookie lti_cookie;
 };
 
 extern const struct lu_device_operations lod_lu_ops;
@@ -333,12 +363,6 @@ static inline struct dt_object* lod_object_child(struct lod_object *o)
                        struct dt_object, do_lu);
 }
 
-static inline struct dt_object *dt_object_child(struct dt_object *o)
-{
-       return container_of0(lu_object_next(&(o)->do_lu),
-                       struct dt_object, do_lu);
-}
-
 extern struct lu_context_key lod_thread_key;
 
 static inline struct lod_thread_info *lod_env_info(const struct lu_env *env)
@@ -349,13 +373,34 @@ static inline struct lod_thread_info *lod_env_info(const struct lu_env *env)
        return info;
 }
 
+static inline struct lu_name *
+lod_name_get(const struct lu_env *env, const void *area, int len)
+{
+       struct lu_name *lname;
+
+       lname = &lod_env_info(env)->lti_name;
+       lname->ln_name = area;
+       lname->ln_namelen = len;
+       return lname;
+}
+
 #define lod_foreach_ost(__dev, index)  \
        if ((__dev)->lod_osts_size > 0) \
                cfs_foreach_bit((__dev)->lod_ost_bitmap, (index))
 
+#define lod_foreach_mdt(mdt_dev, index)        \
+       cfs_foreach_bit((mdt_dev)->lod_mdt_bitmap, (index))
+
 /* lod_dev.c */
+extern struct kmem_cache *lod_object_kmem;
 int lod_fld_lookup(const struct lu_env *env, struct lod_device *lod,
                   const struct lu_fid *fid, __u32 *tgt, int *flags);
+int lod_sub_init_llog(const struct lu_env *env, struct lod_device *lod,
+                     struct dt_device *dt);
+void lod_sub_fini_llog(const struct lu_env *env,
+                      struct dt_device *dt, struct ptlrpc_thread *thread);
+int lodname2mdt_index(char *lodname, __u32 *mdt_index);
+
 /* lod_lov.c */
 void lod_getref(struct lod_tgt_descs *ltd);
 void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd);
@@ -367,7 +412,8 @@ int lod_del_device(const struct lu_env *env, struct lod_device *lod,
                   unsigned gen, bool for_ost);
 int lod_fini_tgt(const struct lu_env *env, struct lod_device *lod,
                 struct lod_tgt_descs *ltd, bool for_ost);
-int lod_load_striping(const struct lu_env *env, struct lod_object *mo);
+int lod_load_striping_locked(const struct lu_env *env, struct lod_object *lo);
+int lod_load_striping(const struct lu_env *env, struct lod_object *lo);
 
 int lod_get_ea(const struct lu_env *env, struct lod_object *lo,
               const char *name);
@@ -402,12 +448,11 @@ int lod_parse_dir_striping(const struct lu_env *env, struct lod_object *lo,
                           const struct lu_buf *buf);
 int lod_initialize_objects(const struct lu_env *env, struct lod_object *mo,
                           struct lov_ost_data_v1 *objs);
-int lod_store_def_striping(const struct lu_env *env, struct dt_object *dt,
-                          struct thandle *th);
-int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf, int specific);
+int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
+                       bool is_from_disk);
 int lod_generate_and_set_lovea(const struct lu_env *env,
                               struct lod_object *mo, struct thandle *th);
-int lod_ea_store_resize(struct lod_thread_info *info, int size);
+int lod_ea_store_resize(struct lod_thread_info *info, size_t size);
 /* lod_pool.c */
 int lod_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
 int lod_ost_pool_remove(struct ost_pool *op, __u32 idx);
@@ -431,11 +476,14 @@ int qos_add_tgt(struct lod_device*, struct lod_tgt_desc *);
 int qos_del_tgt(struct lod_device *, struct lod_tgt_desc *);
 
 /* lproc_lod.c */
-void lprocfs_lod_init_vars(struct lprocfs_static_vars *lvars);
 int lod_procfs_init(struct lod_device *lod);
 void lod_procfs_fini(struct lod_device *lod);
 
 /* lod_object.c */
+extern struct dt_object_operations lod_obj_ops;
+extern struct lu_object_operations lod_lu_obj_ops;
+int lod_load_lmv_shards(const struct lu_env *env, struct lod_object *lo,
+                       struct lu_buf *buf, bool resize);
 int lod_object_set_pool(struct lod_object *o, char *pool);
 int lod_declare_striped_object(const struct lu_env *env, struct dt_object *dt,
                               struct lu_attr *attr,
@@ -445,5 +493,90 @@ int lod_striping_create(const struct lu_env *env, struct dt_object *dt,
                        struct thandle *th);
 void lod_object_free_striping(const struct lu_env *env, struct lod_object *lo);
 
+/* lod_sub_object.c */
+struct thandle *lod_sub_get_thandle(const struct lu_env *env,
+                                   struct thandle *th,
+                                   const struct dt_object *sub_obj,
+                                   bool *record_update);
+int lod_sub_object_declare_create(const struct lu_env *env,
+                                 struct dt_object *dt,
+                                 struct lu_attr *attr,
+                                 struct dt_allocation_hint *hint,
+                                 struct dt_object_format *dof,
+                                 struct thandle *th);
+int lod_sub_object_create(const struct lu_env *env, struct dt_object *dt,
+                         struct lu_attr *attr,
+                         struct dt_allocation_hint *hint,
+                         struct dt_object_format *dof,
+                         struct thandle *th);
+int lod_sub_object_declare_ref_add(const struct lu_env *env,
+                                  struct dt_object *dt,
+                                  struct thandle *th);
+int lod_sub_object_ref_add(const struct lu_env *env, struct dt_object *dt,
+                          struct thandle *th);
+int lod_sub_object_declare_ref_del(const struct lu_env *env,
+                                  struct dt_object *dt,
+                                  struct thandle *th);
+int lod_sub_object_ref_del(const struct lu_env *env, struct dt_object *dt,
+                          struct thandle *th);
+int lod_sub_object_declare_destroy(const struct lu_env *env,
+                                  struct dt_object *dt,
+                                  struct thandle *th);
+int lod_sub_object_destroy(const struct lu_env *env, struct dt_object *dt,
+                          struct thandle *th);
+int lod_sub_object_declare_insert(const struct lu_env *env,
+                                 struct dt_object *dt,
+                                 const struct dt_rec *rec,
+                                 const struct dt_key *key,
+                                 struct thandle *th);
+int lod_sub_object_index_insert(const struct lu_env *env, struct dt_object *dt,
+                               const struct dt_rec *rec,
+                               const struct dt_key *key, struct thandle *th,
+                               int ign);
+int lod_sub_object_declare_delete(const struct lu_env *env,
+                                 struct dt_object *dt,
+                                 const struct dt_key *key,
+                                 struct thandle *th);
+int lod_sub_object_delete(const struct lu_env *env, struct dt_object *dt,
+                         const struct dt_key *name, struct thandle *th);
+int lod_sub_object_declare_xattr_set(const struct lu_env *env,
+                                    struct dt_object *dt,
+                                    const struct lu_buf *buf,
+                                    const char *name, int fl,
+                                    struct thandle *th);
+int lod_sub_object_xattr_set(const struct lu_env *env, struct dt_object *dt,
+                            const struct lu_buf *buf, const char *name, int fl,
+                            struct thandle *th);
+int lod_sub_object_declare_attr_set(const struct lu_env *env,
+                                   struct dt_object *dt,
+                                   const struct lu_attr *attr,
+                                   struct thandle *th);
+int lod_sub_object_attr_set(const struct lu_env *env,
+                           struct dt_object *dt,
+                           const struct lu_attr *attr,
+                           struct thandle *th);
+int lod_sub_object_declare_xattr_del(const struct lu_env *env,
+                                    struct dt_object *dt,
+                                    const char *name,
+                                    struct thandle *th);
+int lod_sub_object_xattr_del(const struct lu_env *env,
+                            struct dt_object *dt,
+                            const char *name,
+                            struct thandle *th);
+int lod_sub_object_declare_write(const struct lu_env *env,
+                                struct dt_object *dt,
+                                const struct lu_buf *buf, loff_t pos,
+                                struct thandle *th);
+ssize_t lod_sub_object_write(const struct lu_env *env, struct dt_object *dt,
+                            const struct lu_buf *buf, loff_t *pos,
+                            struct thandle *th, int rq);
+int lod_sub_object_declare_punch(const struct lu_env *env,
+                                struct dt_object *dt,
+                                __u64 start, __u64 end,
+                                struct thandle *th);
+int lod_sub_object_punch(const struct lu_env *env, struct dt_object *dt,
+                        __u64 start, __u64 end, struct thandle *th);
+
+int lod_sub_prep_llog(const struct lu_env *env, struct lod_device *lod,
+                     struct dt_device *dt, int index);
 #endif
-