Whamcloud - gitweb
LU-9859 lod: use linux kernel bitmap API
[fs/lustre-release.git] / lustre / lod / lod_internal.h
index 4aa2b10..68d890d 100644 (file)
@@ -87,11 +87,15 @@ struct lod_avoid_guide {
        /* number of allocated array items */
        unsigned int            lag_oaa_size;
        /* bitmap of OSTs avoid guidance */
-       struct cfs_bitmap       *lag_ost_avoid_bitmap;
+       unsigned long           *lag_ost_avoid_bitmap;
+       u32                     lag_ost_avoid_size;
        /* how many OSTs are available for alloc */
        __u32                   lag_ost_avail;
 };
 
+#define LOD_DOM_MIN_SIZE_KB (LOV_MIN_STRIPE_SIZE >> 10)
+#define LOD_DOM_SFS_MAX_AGE 10
+
 struct lod_device {
        struct dt_device      lod_dt_dev;
        struct obd_export    *lod_child_exp;
@@ -113,12 +117,22 @@ struct lod_device {
        struct lod_tgt_descs  lod_mdt_descs;
 
        /* Recovery thread for lod_child */
-       struct ptlrpc_thread    lod_child_recovery_thread;
+       struct task_struct   *lod_child_recovery_task;
 
        /* maximum EA size underlied OSD may have */
        unsigned int          lod_osd_max_easize;
        /* maximum size of MDT stripe for Data-on-MDT files. */
-       unsigned int          lod_dom_max_stripesize;
+       unsigned int          lod_dom_stripesize_max_kb;
+       /* current DOM default stripe size adjusted by threshold */
+       unsigned int          lod_dom_stripesize_cur_kb;
+       /* Threshold at which DOM default stripe will start decreasing */
+       __u64                 lod_dom_threshold_free_mb;
+
+       /* Local OSD statfs cache */
+       spinlock_t            lod_lsfs_lock;
+       time64_t              lod_lsfs_age;
+       __u64                 lod_lsfs_total_mb;
+       __u64                 lod_lsfs_free_mb;
 
        /* OST pool data */
        int                     lod_pool_count;
@@ -216,6 +230,7 @@ struct lod_object {
                        __u32           ldo_dir_hash_type;
                        __u32           ldo_dir_migrate_offset;
                        __u32           ldo_dir_migrate_hash;
+                       __u32           ldo_dir_layout_version;
                        /* Is a slave stripe of striped directory? */
                        __u32           ldo_dir_slave_stripe:1,
                                        ldo_dir_striped:1,
@@ -252,6 +267,9 @@ struct lod_object {
        };
 };
 
+#define ldo_dir_split_offset   ldo_dir_migrate_offset
+#define ldo_dir_split_hash     ldo_dir_migrate_hash
+
 #define lod_foreach_mirror_comp(comp, lo, mirror_idx)                      \
 for (comp = &lo->ldo_comp_entries[lo->ldo_mirrors[mirror_idx].lme_start];  \
      comp <= &lo->ldo_comp_entries[lo->ldo_mirrors[mirror_idx].lme_end];   \
@@ -265,6 +283,21 @@ static inline bool lod_is_flr(const struct lod_object *lo)
        return (lo->ldo_flr_state & LCM_FL_FLR_MASK) != LCM_FL_NONE;
 }
 
+static inline bool lod_is_splitting(const struct lod_object *lo)
+{
+       return lmv_hash_is_splitting(lo->ldo_dir_hash_type);
+}
+
+static inline bool lod_is_migrating(const struct lod_object *lo)
+{
+       return lmv_hash_is_migrating(lo->ldo_dir_hash_type);
+}
+
+static inline bool lod_is_layout_changing(const struct lod_object *lo)
+{
+       return lmv_hash_is_layout_changing(lo->ldo_dir_hash_type);
+}
+
 static inline int lod_set_pool(char **pool, const char *new_pool)
 {
        int len;
@@ -359,6 +392,7 @@ struct lod_thread_info {
        struct lu_attr                  lti_layout_attr;
        /* object allocation avoid guide info */
        struct lod_avoid_guide          lti_avoid;
+       union lmv_mds_md                lti_lmv;
 };
 
 extern const struct lu_device_operations lod_lu_ops;
@@ -371,7 +405,7 @@ static inline int lu_device_is_lod(struct lu_device *d)
 static inline struct lod_device* lu2lod_dev(struct lu_device *d)
 {
        LASSERT(lu_device_is_lod(d));
-       return container_of0(d, struct lod_device, lod_dt_dev.dd_lu_dev);
+       return container_of_safe(d, struct lod_device, lod_dt_dev.dd_lu_dev);
 }
 
 static inline struct lu_device *lod2lu_dev(struct lod_device *d)
@@ -387,13 +421,13 @@ static inline struct obd_device *lod2obd(struct lod_device *d)
 static inline struct lod_device *dt2lod_dev(struct dt_device *d)
 {
        LASSERT(lu_device_is_lod(&d->dd_lu_dev));
-       return container_of0(d, struct lod_device, lod_dt_dev);
+       return container_of(d, struct lod_device, lod_dt_dev);
 }
 
 static inline struct lod_object *lu2lod_obj(struct lu_object *o)
 {
        LASSERT(ergo(o != NULL, lu_device_is_lod(o->lo_dev)));
-       return container_of0(o, struct lod_object, ldo_obj.do_lu);
+       return container_of_safe(o, struct lod_object, ldo_obj.do_lu);
 }
 
 static inline struct lu_object *lod2lu_obj(struct lod_object *obj)
@@ -409,7 +443,7 @@ static inline const struct lu_fid *lod_object_fid(struct lod_object *obj)
 static inline struct lod_object *lod_obj(const struct lu_object *o)
 {
        LASSERT(lu_device_is_lod(o->lo_dev));
-       return container_of0(o, struct lod_object, ldo_obj.do_lu);
+       return container_of(o, struct lod_object, ldo_obj.do_lu);
 }
 
 static inline struct lod_object *lod_dt_obj(const struct dt_object *d)
@@ -419,8 +453,8 @@ static inline struct lod_object *lod_dt_obj(const struct dt_object *d)
 
 static inline struct dt_object* lod_object_child(struct lod_object *o)
 {
-       return container_of0(lu_object_next(lod2lu_obj(o)),
-                       struct dt_object, do_lu);
+       return container_of(lu_object_next(lod2lu_obj(o)),
+                           struct dt_object, do_lu);
 }
 
 static inline bool lod_obj_is_striped(struct dt_object *dt)
@@ -500,7 +534,7 @@ int lod_fld_lookup(const struct lu_env *env, struct lod_device *lod,
 int lod_sub_init_llog(const struct lu_env *env, struct lod_device *lod,
                      struct dt_device *dt);
 void lod_sub_fini_llog(const struct lu_env *env,
-                      struct dt_device *dt, struct ptlrpc_thread *thread);
+                      struct dt_device *dt, struct task_struct **taskp);
 int lodname2mdt_index(char *lodname, __u32 *mdt_index);
 extern void target_recovery_fini(struct obd_device *obd);
 
@@ -518,6 +552,7 @@ int lod_fini_tgt(const struct lu_env *env, struct lod_device *lod,
 int lod_striping_load(const struct lu_env *env, struct lod_object *lo);
 int lod_striping_reload(const struct lu_env *env, struct lod_object *lo,
                        const struct lu_buf *buf);
+void lod_dom_stripesize_recalc(struct lod_device *d);
 
 int lod_get_ea(const struct lu_env *env, struct lod_object *lo,
               const char *name);
@@ -591,8 +626,9 @@ int lod_parse_dir_striping(const struct lu_env *env, struct lod_object *lo,
                           const struct lu_buf *buf);
 int lod_initialize_objects(const struct lu_env *env, struct lod_object *mo,
                           struct lov_ost_data_v1 *objs, int index);
-int lod_verify_striping(struct lod_device *d, struct lod_object *lo,
-                       const struct lu_buf *buf, bool is_from_disk);
+int lod_verify_striping(const struct lu_env *env, struct lod_device *d,
+                       struct lod_object *lo, const struct lu_buf *buf,
+                       bool is_from_disk);
 int lod_generate_lovea(const struct lu_env *env, struct lod_object *lo,
                       struct lov_mds_md *lmm, int *lmm_size, bool is_dir);
 int lod_ea_store_resize(struct lod_thread_info *info, size_t size);
@@ -603,11 +639,6 @@ int lod_alloc_comp_entries(struct lod_object *lo, int mirror_cnt, int comp_cnt);
 int lod_fill_mirrors(struct lod_object *lo);
 
 /* lod_pool.c */
-int lod_tgt_pool_init(struct lu_tgt_pool *op, unsigned int count);
-int lod_tgt_pool_free(struct lu_tgt_pool *op);
-int lod_tgt_pool_add(struct lu_tgt_pool *op, __u32 idx, unsigned int min_count);
-int lod_tgt_pool_remove(struct lu_tgt_pool *op, __u32 idx);
-int lod_tgt_pool_extend(struct lu_tgt_pool *op, unsigned int min_count);
 struct pool_desc *lod_find_pool(struct lod_device *lod, char *poolname);
 void lod_pool_putref(struct pool_desc *pool);
 int lod_pool_del(struct obd_device *obd, char *poolname);
@@ -642,9 +673,11 @@ struct lod_obj_stripe_cb_data {
 
 /* lod_qos.c */
 int lod_mdt_alloc_qos(const struct lu_env *env, struct lod_object *lo,
-                     struct dt_object **stripes);
+                     struct dt_object **stripes, u32 stripe_idx,
+                     u32 stripe_count);
 int lod_mdt_alloc_rr(const struct lu_env *env, struct lod_object *lo,
-                    struct dt_object **stripe);
+                    struct dt_object **stripes, u32 stripe_idx,
+                    u32 stripe_count);
 int lod_prepare_create(const struct lu_env *env, struct lod_object *lo,
                       struct lu_attr *attr, const struct lu_buf *buf,
                       struct thandle *th);
@@ -654,12 +687,11 @@ int lod_qos_parse_config(const struct lu_env *env, struct lod_object *lo,
                         const struct lu_buf *buf);
 int lod_qos_prep_create(const struct lu_env *env, struct lod_object *lo,
                        struct lu_attr *attr, struct thandle *th,
-                       int comp_idx);
+                       int comp_idx, __u64 reserve);
 __u16 lod_comp_entry_stripe_count(struct lod_object *lo,
-                                 struct lod_layout_component *entry,
-                                 bool is_dir);
+                                 int comp_idx, bool is_dir);
 __u16 lod_get_stripe_count(struct lod_device *lod, struct lod_object *lo,
-                          __u16 stripe_count, bool overstriping);
+                          int comp_idx, __u16 stripe_count, bool overstriping);
 void lod_qos_statfs_update(const struct lu_env *env, struct lod_device *lod,
                           struct lu_tgt_descs *ltd);
 
@@ -689,6 +721,8 @@ int lod_obj_for_each_stripe(const struct lu_env *env, struct lod_object *lo,
                            struct lod_obj_stripe_cb_data *data);
 int lod_comp_copy_ost_lists(struct lod_layout_component *lod_comp,
                            struct lov_user_md_v3 *v3);
+void lod_adjust_stripe_size(struct lod_layout_component *comp,
+                           __u32 def_stripe_size);
 
 /* lod_sub_object.c */
 struct thandle *lod_sub_get_thandle(const struct lu_env *env,