lustre/lov/lov_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2016, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  */
  32
  33 #ifndef LOV_INTERNAL_H
  34 #define LOV_INTERNAL_H
  35
  36 #include <obd_class.h>
  37 #include <lustre/lustre_user.h>
  38
  39 /* If we are unable to get the maximum object size from the OST in
  40  * ocd_maxbytes using OBD_CONNECT_MAXBYTES, then we fall back to using
  41  * the old maximum object size from ext3. */
  42 #define LUSTRE_EXT3_STRIPE_MAXBYTES 0x1fffffff000ULL
  43
  44 struct lov_stripe_md_entry {
  45         struct lu_extent        lsme_extent;
  46         u32                     lsme_id;
  47         u32                     lsme_magic;
  48         u32                     lsme_pattern;
  49         u32                     lsme_stripe_size;
  50         u16                     lsme_stripe_count;
  51         u16                     lsme_layout_gen;
  52         char                    lsme_pool_name[LOV_MAXPOOLNAME + 1];
  53         struct lov_oinfo       *lsme_oinfo[];
  54 };
  55
  56 struct lov_stripe_md {
  57         atomic_t        lsm_refc;
  58         spinlock_t      lsm_lock;
  59         pid_t           lsm_lock_owner; /* debugging */
  60
  61         /* maximum possible file size, might change as OSTs status changes,
  62          * e.g. disconnected, deactivated */
  63         loff_t          lsm_maxbytes;
  64         struct ost_id   lsm_oi;
  65         u32             lsm_magic;
  66         u32             lsm_layout_gen;
  67         u32             lsm_entry_count;
  68         bool            lsm_is_released;
  69         struct lov_stripe_md_entry *lsm_entries[];
  70 };
  71
  72 static inline size_t lov_comp_md_size(const struct lov_stripe_md *lsm)
  73 {
  74         struct lov_stripe_md_entry *lsme;
  75         size_t size;
  76         int entry;
  77
  78         if (lsm->lsm_magic == LOV_MAGIC_V1 || lsm->lsm_magic == LOV_MAGIC_V3)
  79                 return lov_mds_md_size(lsm->lsm_entries[0]->lsme_stripe_count,
  80                                        lsm->lsm_entries[0]->lsme_magic);
  81
  82         LASSERT(lsm->lsm_magic == LOV_MAGIC_COMP_V1);
  83
  84         size = sizeof(struct lov_comp_md_v1);
  85         for (entry = 0; entry < lsm->lsm_entry_count; entry++) {
  86                 lsme = lsm->lsm_entries[entry];
  87
  88                 size += sizeof(*lsme);
  89                 size += lov_mds_md_size(lsme->lsme_stripe_count,
  90                                         lsme->lsme_magic);
  91         }
  92
  93         return size;
  94 }
  95
  96 static inline bool lsm_has_objects(struct lov_stripe_md *lsm)
  97 {
  98         return lsm != NULL && !lsm->lsm_is_released;
  99 }
 100
 101 static inline unsigned int lov_comp_index(int entry, int stripe)
 102 {
 103         LASSERT(entry >= 0 && entry <= SHRT_MAX);
 104         LASSERT(stripe >= 0 && stripe < USHRT_MAX);
 105
 106         return entry << 16 | stripe;
 107 }
 108
 109 static inline int lov_comp_stripe(int index)
 110 {
 111         return index & 0xffff;
 112 }
 113
 114 static inline int lov_comp_entry(int index)
 115 {
 116         return index >> 16;
 117 }
 118
 119 struct lsm_operations {
 120         struct lov_stripe_md *(*lsm_unpackmd)(struct lov_obd *, void *, size_t);
 121 };
 122
 123 extern const struct lsm_operations lsm_v1_ops;
 124 extern const struct lsm_operations lsm_v3_ops;
 125 extern const struct lsm_operations lsm_comp_md_v1_ops;
 126 static inline const struct lsm_operations *lsm_op_find(int magic)
 127 {
 128         switch (magic) {
 129         case LOV_MAGIC_V1:
 130                 return &lsm_v1_ops;
 131         case LOV_MAGIC_V3:
 132                 return &lsm_v3_ops;
 133         case LOV_MAGIC_COMP_V1:
 134                 return &lsm_comp_md_v1_ops;
 135         default:
 136                 CERROR("unrecognized lsm_magic %08x\n", magic);
 137                 return NULL;
 138         }
 139 }
 140
 141 void lsm_free(struct lov_stripe_md *lsm);
 142
 143 /* lov_do_div64(a, b) returns a % b, and a = a / b.
 144  * The 32-bit code is LOV-specific due to knowing about stripe limits in
 145  * order to reduce the divisor to a 32-bit number.  If the divisor is
 146  * already a 32-bit value the compiler handles this directly. */
 147 #if BITS_PER_LONG == 64
 148 # define lov_do_div64(n, base) ({                                       \
 149         uint64_t __base = (base);                                       \
 150         uint64_t __rem;                                                 \
 151         __rem = ((uint64_t)(n)) % __base;                               \
 152         (n) = ((uint64_t)(n)) / __base;                                 \
 153         __rem;                                                          \
 154 })
 155 #elif BITS_PER_LONG == 32
 156 # define lov_do_div64(n, base) ({                                       \
 157         uint64_t __rem;                                                 \
 158         if ((sizeof(base) > 4) && (((base) & 0xffffffff00000000ULL) != 0)) {  \
 159                 int __remainder;                                              \
 160                 LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)), "64 bit lov " \
 161                          "division %llu / %llu\n", (n), (uint64_t)(base));    \
 162                 __remainder = (n) & (LOV_MIN_STRIPE_SIZE - 1);          \
 163                 (n) >>= LOV_MIN_STRIPE_BITS;                            \
 164                 __rem = do_div(n, (base) >> LOV_MIN_STRIPE_BITS);       \
 165                 __rem <<= LOV_MIN_STRIPE_BITS;                          \
 166                 __rem += __remainder;                                   \
 167         } else {                                                        \
 168                 __rem = do_div(n, base);                                \
 169         }                                                               \
 170         __rem;                                                          \
 171 })
 172 #endif
 173
 174 #define pool_tgt_size(p) ((p)->pool_obds.op_size)
 175 #define pool_tgt_count(p) ((p)->pool_obds.op_count)
 176 #define pool_tgt_array(p) ((p)->pool_obds.op_array)
 177 #define pool_tgt_rw_sem(p) ((p)->pool_obds.op_rw_sem)
 178
 179 struct pool_desc {
 180         char                     pool_name[LOV_MAXPOOLNAME + 1];
 181         struct ost_pool          pool_obds;
 182         atomic_t                 pool_refcount;
 183         struct hlist_node        pool_hash;     /* access by poolname */
 184         struct list_head         pool_list;     /* serial access */
 185         struct proc_dir_entry   *pool_proc_entry;
 186         struct obd_device       *pool_lobd;     /* owner */
 187 };
 188
 189 struct lov_request {
 190         struct obd_info          rq_oi;
 191         struct lov_request_set  *rq_rqset;
 192         struct list_head         rq_link;
 193         int                      rq_idx;        /* index in lov->tgts array */
 194 };
 195
 196 struct lov_request_set {
 197         struct obd_info         *set_oi;
 198         struct obd_device       *set_obd;
 199         int                      set_count;
 200         atomic_t                 set_completes;
 201         atomic_t                 set_success;
 202         struct list_head         set_list;
 203 };
 204
 205 extern struct kmem_cache *lov_oinfo_slab;
 206
 207 extern struct lu_kmem_descr lov_caches[];
 208
 209 #define lov_uuid2str(lv, index) \
 210         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
 211
 212 /* lov_merge.c */
 213 int lov_merge_lvb_kms(struct lov_stripe_md *lsm, int index,
 214                       struct ost_lvb *lvb, __u64 *kms_place);
 215
 216 /* lov_offset.c */
 217 u64 lov_stripe_size(struct lov_stripe_md *lsm, int index,
 218                     u64 ost_size, int stripeno);
 219 int lov_stripe_offset(struct lov_stripe_md *lsm, int index, loff_t lov_off,
 220                       int stripeno, loff_t *obd_off);
 221 loff_t lov_size_to_stripe(struct lov_stripe_md *lsm, int index, u64 file_size,
 222                           int stripeno);
 223 int lov_stripe_intersects(struct lov_stripe_md *lsm, int index, int stripeno,
 224                           struct lu_extent *ext, u64 *obd_start, u64 *obd_end);
 225 int lov_stripe_number(struct lov_stripe_md *lsm, int index, loff_t lov_off);
 226 pgoff_t lov_stripe_pgoff(struct lov_stripe_md *lsm, int index,
 227                          pgoff_t stripe_index, int stripe);
 228
 229 /* lov_request.c */
 230 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
 231                         struct lov_request_set **reqset);
 232 int lov_fini_statfs_set(struct lov_request_set *set);
 233
 234 /* lov_obd.c */
 235 void lov_stripe_lock(struct lov_stripe_md *md);
 236 void lov_stripe_unlock(struct lov_stripe_md *md);
 237 void lov_fix_desc(struct lov_desc *desc);
 238 void lov_fix_desc_stripe_size(__u64 *val);
 239 void lov_fix_desc_stripe_count(__u32 *val);
 240 void lov_fix_desc_pattern(__u32 *val);
 241 void lov_fix_desc_qos_maxage(__u32 *val);
 242 __u16 lov_get_stripecnt(struct lov_obd *lov, __u32 magic, __u16 stripe_count);
 243 int lov_connect_obd(struct obd_device *obd, __u32 index, int activate,
 244                     struct obd_connect_data *data);
 245 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
 246 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
 247                             __u32 *indexp, int *genp);
 248 int lov_del_target(struct obd_device *obd, __u32 index,
 249                    struct obd_uuid *uuidp, int gen);
 250
 251 /* lov_pack.c */
 252 ssize_t lov_lsm_pack(const struct lov_stripe_md *lsm, void *buf,
 253                      size_t buf_size);
 254 struct lov_stripe_md *lov_unpackmd(struct lov_obd *lov, void *buf,
 255                                    size_t buf_size);
 256 int lov_free_memmd(struct lov_stripe_md **lsmp);
 257
 258 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
 259 void lov_dump_lmm_v3(int level, struct lov_mds_md_v3 *lmm);
 260 void lov_dump_lmm_common(int level, void *lmmp);
 261 void lov_dump_lmm(int level, void *lmm);
 262
 263 /* lov_ea.c */
 264 void lsm_free_plain(struct lov_stripe_md *lsm);
 265 void dump_lsm(unsigned int level, const struct lov_stripe_md *lsm);
 266
 267 /* lproc_lov.c */
 268 extern struct file_operations lov_proc_target_fops;
 269 #ifdef CONFIG_PROC_FS
 270 extern struct lprocfs_vars lprocfs_lov_obd_vars[];
 271 #endif
 272
 273 /* lov_cl.c */
 274 extern struct lu_device_type lov_device_type;
 275
 276 /* pools */
 277 extern struct cfs_hash_ops pool_hash_operations;
 278 /* ost_pool methods */
 279 int lov_ost_pool_init(struct ost_pool *op, unsigned int count);
 280 int lov_ost_pool_extend(struct ost_pool *op, unsigned int min_count);
 281 int lov_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
 282 int lov_ost_pool_remove(struct ost_pool *op, __u32 idx);
 283 int lov_ost_pool_free(struct ost_pool *op);
 284
 285 /* high level pool methods */
 286 int lov_pool_new(struct obd_device *obd, char *poolname);
 287 int lov_pool_del(struct obd_device *obd, char *poolname);
 288 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
 289 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
 290 void lov_dump_pool(int level, struct pool_desc *pool);
 291
 292 static inline struct lov_stripe_md *lsm_addref(struct lov_stripe_md *lsm)
 293 {
 294         LASSERT(atomic_read(&lsm->lsm_refc) > 0);
 295         atomic_inc(&lsm->lsm_refc);
 296         return lsm;
 297 }
 298
 299 static inline bool lov_oinfo_is_dummy(const struct lov_oinfo *loi)
 300 {
 301         if (unlikely(loi->loi_oi.oi.oi_id == 0 &&
 302                      loi->loi_oi.oi.oi_seq == 0 &&
 303                      loi->loi_ost_idx == 0 &&
 304                      loi->loi_ost_gen == 0))
 305                 return true;
 306
 307         return false;
 308 }
 309
 310 static inline struct obd_device *lov2obd(const struct lov_obd *lov)
 311 {
 312         return container_of0(lov, struct obd_device, u.lov);
 313 }
 314
 315 static inline void lov_lsm2layout(struct lov_stripe_md *lsm,
 316                                   struct lov_stripe_md_entry *lsme,
 317                                   struct ost_layout *ol)
 318 {
 319         ol->ol_stripe_size = lsme->lsme_stripe_size;
 320         ol->ol_stripe_count = lsme->lsme_stripe_count;
 321         if (lsm->lsm_magic == LOV_MAGIC_COMP_V1) {
 322                 ol->ol_comp_start = lsme->lsme_extent.e_start;
 323                 ol->ol_comp_end = lsme->lsme_extent.e_end;
 324                 ol->ol_comp_id = lsme->lsme_id;
 325         } else {
 326                 ol->ol_comp_start = 0;
 327                 ol->ol_comp_end = 0;
 328                 ol->ol_comp_id = 0;
 329         }
 330 }
 331 #endif