lustre/lov/lov_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2017, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  */
  32
  33 #ifndef LOV_INTERNAL_H
  34 #define LOV_INTERNAL_H
  35
  36 #include <obd_class.h>
  37 #include <uapi/linux/lustre/lustre_user.h>
  38
  39 /* If we are unable to get the maximum object size from the OST in
  40  * ocd_maxbytes using OBD_CONNECT_MAXBYTES, then we fall back to using
  41  * the old maximum object size from ext3. */
  42 #define LUSTRE_EXT3_STRIPE_MAXBYTES 0x1fffffff000ULL
  43
  44 struct lov_stripe_md_entry {
  45         struct lu_extent        lsme_extent;
  46         u32                     lsme_id;
  47         u32                     lsme_magic;
  48         u32                     lsme_flags;
  49         u32                     lsme_pattern;
  50         u64                     lsme_timestamp;
  51         u32                     lsme_stripe_size;
  52         u16                     lsme_stripe_count;
  53         u16                     lsme_layout_gen;
  54         char                    lsme_pool_name[LOV_MAXPOOLNAME + 1];
  55         struct lov_oinfo       *lsme_oinfo[];
  56 };
  57
  58 static inline bool lsme_is_dom(struct lov_stripe_md_entry *lsme)
  59 {
  60         return (lov_pattern(lsme->lsme_pattern) == LOV_PATTERN_MDT);
  61 }
  62
  63 static inline void copy_lsm_entry(struct lov_stripe_md_entry *dst,
  64                                   struct lov_stripe_md_entry *src)
  65 {
  66         unsigned i;
  67
  68         for (i = 0; i < src->lsme_stripe_count; i++)
  69                 *dst->lsme_oinfo[i] = *src->lsme_oinfo[i];
  70         memcpy(dst, src, offsetof(typeof(*src), lsme_oinfo));
  71 }
  72
  73 struct lov_stripe_md {
  74         atomic_t        lsm_refc;
  75         spinlock_t      lsm_lock;
  76         pid_t           lsm_lock_owner; /* debugging */
  77
  78         union {
  79                 /* maximum possible file size, might change as OSTs status
  80                  * changes, e.g. disconnected, deactivated
  81                  */
  82                 loff_t          lsm_maxbytes;
  83                 /* size of full foreign LOV */
  84                 size_t          lsm_foreign_size;
  85         };
  86         struct ost_id   lsm_oi;
  87         u32             lsm_magic;
  88         u32             lsm_layout_gen;
  89         u16             lsm_flags;
  90         bool            lsm_is_released;
  91         u16             lsm_mirror_count;
  92         u16             lsm_entry_count;
  93         struct lov_stripe_md_entry *lsm_entries[];
  94 };
  95
  96 #define lsm_foreign(lsm) (lsm->lsm_entries[0])
  97
  98 static inline bool lsme_is_foreign(const struct lov_stripe_md_entry *lsme)
  99 {
 100         return lsme->lsme_magic == LOV_MAGIC_FOREIGN;
 101 }
 102
 103 static inline bool lsm_entry_is_foreign(const struct lov_stripe_md *lsm,
 104                                         int index)
 105 {
 106         return lsme_is_foreign(lsm->lsm_entries[index]);
 107 }
 108
 109 static inline bool lsme_inited(const struct lov_stripe_md_entry *lsme)
 110 {
 111         return lsme->lsme_flags & LCME_FL_INIT;
 112 }
 113
 114 static inline bool lsm_entry_inited(const struct lov_stripe_md *lsm, int index)
 115 {
 116         return lsme_inited(lsm->lsm_entries[index]);
 117 }
 118
 119 static inline bool lsm_is_composite(__u32 magic)
 120 {
 121         return magic == LOV_MAGIC_COMP_V1;
 122 }
 123
 124 static inline size_t lov_comp_md_size(const struct lov_stripe_md *lsm)
 125 {
 126         struct lov_stripe_md_entry *lsme;
 127         size_t size;
 128         int entry;
 129
 130         if (lsm->lsm_magic == LOV_MAGIC_V1 || lsm->lsm_magic == LOV_MAGIC_V3)
 131                 return lov_mds_md_size(lsm->lsm_entries[0]->lsme_stripe_count,
 132                                        lsm->lsm_entries[0]->lsme_magic);
 133
 134         if (lsm->lsm_magic == LOV_MAGIC_FOREIGN)
 135                 return lsm->lsm_foreign_size;
 136
 137         LASSERT(lsm->lsm_magic == LOV_MAGIC_COMP_V1);
 138
 139         size = sizeof(struct lov_comp_md_v1) +
 140                sizeof(struct lov_comp_md_entry_v1) * lsm->lsm_entry_count;
 141         for (entry = 0; entry < lsm->lsm_entry_count; entry++) {
 142                 u16 stripe_count;
 143
 144                 lsme = lsm->lsm_entries[entry];
 145
 146                 if (lsme_inited(lsme))
 147                         stripe_count = lsme->lsme_stripe_count;
 148                 else
 149                         stripe_count = 0;
 150
 151                 size += lov_mds_md_size(stripe_count,
 152                                         lsme->lsme_magic);
 153         }
 154
 155         return size;
 156 }
 157
 158 static inline bool lsm_has_objects(struct lov_stripe_md *lsm)
 159 {
 160         return lsm != NULL && !lsm->lsm_is_released;
 161 }
 162
 163 static inline unsigned int lov_comp_index(int entry, int stripe)
 164 {
 165         LASSERT(entry >= 0 && entry <= SHRT_MAX);
 166         LASSERT(stripe >= 0 && stripe < USHRT_MAX);
 167
 168         return entry << 16 | stripe;
 169 }
 170
 171 static inline int lov_comp_stripe(int index)
 172 {
 173         return index & 0xffff;
 174 }
 175
 176 static inline int lov_comp_entry(int index)
 177 {
 178         return index >> 16;
 179 }
 180
 181 struct lsm_operations {
 182         struct lov_stripe_md *(*lsm_unpackmd)(struct lov_obd *, void *, size_t);
 183 };
 184
 185 extern const struct lsm_operations lsm_v1_ops;
 186 extern const struct lsm_operations lsm_v3_ops;
 187 extern const struct lsm_operations lsm_comp_md_v1_ops;
 188 extern const struct lsm_operations lsm_foreign_ops;
 189 static inline const struct lsm_operations *lsm_op_find(int magic)
 190 {
 191         switch (magic) {
 192         case LOV_MAGIC_V1:
 193                 return &lsm_v1_ops;
 194         case LOV_MAGIC_V3:
 195                 return &lsm_v3_ops;
 196         case LOV_MAGIC_COMP_V1:
 197                 return &lsm_comp_md_v1_ops;
 198         case LOV_MAGIC_FOREIGN:
 199                 return &lsm_foreign_ops;
 200         default:
 201                 CERROR("unrecognized lsm_magic %08x\n", magic);
 202                 return NULL;
 203         }
 204 }
 205
 206 void lsm_free(struct lov_stripe_md *lsm);
 207
 208 /* lov_do_div64(a, b) returns a % b, and a = a / b.
 209  * The 32-bit code is LOV-specific due to knowing about stripe limits in
 210  * order to reduce the divisor to a 32-bit number.  If the divisor is
 211  * already a 32-bit value the compiler handles this directly. */
 212 #if BITS_PER_LONG == 64
 213 # define lov_do_div64(n, base) ({                                       \
 214         uint64_t __base = (base);                                       \
 215         uint64_t __rem;                                                 \
 216         __rem = ((uint64_t)(n)) % __base;                               \
 217         (n) = ((uint64_t)(n)) / __base;                                 \
 218         __rem;                                                          \
 219 })
 220 #elif BITS_PER_LONG == 32
 221 # define lov_do_div64(n, base) ({                                       \
 222         uint64_t __num = (n);                                           \
 223         uint64_t __rem;                                                 \
 224         if ((sizeof(base) > 4) && (((base) & 0xffffffff00000000ULL) != 0)) {  \
 225                 int __remainder;                                        \
 226                 LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)),         \
 227                          "64 bit lov division %llu / %llu\n",           \
 228                          __num, (uint64_t)(base));                      \
 229                 __remainder = __num & (LOV_MIN_STRIPE_SIZE - 1);        \
 230                 __num >>= LOV_MIN_STRIPE_BITS;                          \
 231                 __rem = do_div(__num, (base) >> LOV_MIN_STRIPE_BITS);   \
 232                 __rem <<= LOV_MIN_STRIPE_BITS;                          \
 233                 __rem += __remainder;                                   \
 234         } else {                                                        \
 235                 __rem = do_div(__num, base);                            \
 236         }                                                               \
 237         (n) = __num;                                                    \
 238         __rem;                                                          \
 239 })
 240 #endif
 241
 242 #define pool_tgt_count(p) ((p)->pool_obds.op_count)
 243 #define pool_tgt_array(p) ((p)->pool_obds.op_array)
 244 #define pool_tgt_rw_sem(p) ((p)->pool_obds.op_rw_sem)
 245
 246 struct pool_desc {
 247         char                     pool_name[LOV_MAXPOOLNAME + 1];
 248         struct lu_tgt_pool       pool_obds;
 249         atomic_t                 pool_refcount;
 250         struct rhash_head        pool_hash;     /* access by poolname */
 251         struct list_head         pool_list;     /* serial access */
 252         struct rcu_head          pool_rcu;
 253         struct proc_dir_entry   *pool_proc_entry;
 254         struct obd_device       *pool_lobd;     /* owner */
 255 };
 256
 257 int lov_pool_hash_init(struct rhashtable *tbl);
 258 void lov_pool_hash_destroy(struct rhashtable *tbl);
 259
 260 struct lov_request {
 261         struct obd_info          rq_oi;
 262         struct lov_request_set  *rq_rqset;
 263         struct list_head         rq_link;
 264         int                      rq_idx;        /* index in lov->tgts array */
 265 };
 266
 267 struct lov_request_set {
 268         struct obd_info         *set_oi;
 269         struct obd_device       *set_obd;
 270         int                      set_count;
 271         atomic_t                 set_completes;
 272         atomic_t                 set_success;
 273         struct list_head         set_list;
 274 };
 275
 276 extern struct kmem_cache *lov_oinfo_slab;
 277
 278 extern struct lu_kmem_descr lov_caches[];
 279
 280 #define lov_uuid2str(lv, index) \
 281         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
 282
 283 /* lov_merge.c */
 284 int lov_merge_lvb_kms(struct lov_stripe_md *lsm, int index,
 285                       struct ost_lvb *lvb, __u64 *kms_place);
 286
 287 /* lov_offset.c */
 288 loff_t stripe_width(struct lov_stripe_md *lsm, unsigned int index);
 289 u64 lov_stripe_size(struct lov_stripe_md *lsm, int index,
 290                     u64 ost_size, int stripeno);
 291 int lov_stripe_offset(struct lov_stripe_md *lsm, int index, loff_t lov_off,
 292                       int stripeno, loff_t *obd_off);
 293 loff_t lov_size_to_stripe(struct lov_stripe_md *lsm, int index, u64 file_size,
 294                           int stripeno);
 295 int lov_stripe_intersects(struct lov_stripe_md *lsm, int index, int stripeno,
 296                           struct lu_extent *ext, u64 *obd_start, u64 *obd_end);
 297 int lov_stripe_number(struct lov_stripe_md *lsm, int index, loff_t lov_off);
 298 pgoff_t lov_stripe_pgoff(struct lov_stripe_md *lsm, int index,
 299                          pgoff_t stripe_index, int stripe);
 300
 301 /* lov_request.c */
 302 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
 303                         struct lov_request_set **reqset);
 304 int lov_fini_statfs_set(struct lov_request_set *set);
 305
 306 /* lov_obd.c */
 307 void lov_tgts_getref(struct obd_device *obd);
 308 void lov_tgts_putref(struct obd_device *obd);
 309 void lov_stripe_lock(struct lov_stripe_md *md);
 310 void lov_stripe_unlock(struct lov_stripe_md *md);
 311 void lov_fix_desc(struct lov_desc *desc);
 312 void lov_fix_desc_stripe_size(__u64 *val);
 313 void lov_fix_desc_stripe_count(__u32 *val);
 314 void lov_fix_desc_pattern(__u32 *val);
 315 void lov_fix_desc_qos_maxage(__u32 *val);
 316 __u16 lov_get_stripe_count(struct lov_obd *lov, __u32 magic,
 317                            __u16 stripe_count);
 318 int lov_connect_obd(struct obd_device *obd, u32 index, int activate,
 319                     struct obd_connect_data *data);
 320 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
 321 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
 322                             u32 *indexp, int *genp);
 323 int lov_del_target(struct obd_device *obd, u32 index,
 324                    struct obd_uuid *uuidp, int gen);
 325
 326 /* lov_pack.c */
 327 ssize_t lov_lsm_pack(const struct lov_stripe_md *lsm, void *buf,
 328                      size_t buf_size);
 329 struct lov_stripe_md *lov_unpackmd(struct lov_obd *lov, void *buf,
 330                                    size_t buf_size);
 331 int lov_free_memmd(struct lov_stripe_md **lsmp);
 332
 333 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
 334 void lov_dump_lmm_common(int level, void *lmmp);
 335
 336 /* lov_ea.c */
 337 void lsm_free_plain(struct lov_stripe_md *lsm);
 338 void dump_lsm(unsigned int level, const struct lov_stripe_md *lsm);
 339
 340 /* lproc_lov.c */
 341 int lov_tunables_init(struct obd_device *obd);
 342
 343 /* lov_cl.c */
 344 extern struct lu_device_type lov_device_type;
 345
 346 #define LOV_MDC_TGT_MAX 256
 347
 348 /* lu_tgt_pool methods */
 349 int lov_ost_pool_init(struct lu_tgt_pool *op, unsigned int count);
 350 int lov_ost_pool_extend(struct lu_tgt_pool *op, unsigned int min_count);
 351 int lov_ost_pool_add(struct lu_tgt_pool *op, __u32 idx, unsigned int min_count);
 352 int lov_ost_pool_remove(struct lu_tgt_pool *op, __u32 idx);
 353 int lov_ost_pool_free(struct lu_tgt_pool *op);
 354
 355 /* high level pool methods */
 356 int lov_pool_new(struct obd_device *obd, char *poolname);
 357 int lov_pool_del(struct obd_device *obd, char *poolname);
 358 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
 359 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
 360 void lov_dump_pool(int level, struct pool_desc *pool);
 361
 362 static inline struct lov_stripe_md *lsm_addref(struct lov_stripe_md *lsm)
 363 {
 364         LASSERT(atomic_read(&lsm->lsm_refc) > 0);
 365         atomic_inc(&lsm->lsm_refc);
 366         return lsm;
 367 }
 368
 369 static inline bool lov_oinfo_is_dummy(const struct lov_oinfo *loi)
 370 {
 371         if (unlikely(loi->loi_oi.oi.oi_id == 0 &&
 372                      loi->loi_oi.oi.oi_seq == 0 &&
 373                      loi->loi_ost_idx == 0 &&
 374                      loi->loi_ost_gen == 0))
 375                 return true;
 376
 377         return false;
 378 }
 379
 380 static inline struct obd_device *lov2obd(const struct lov_obd *lov)
 381 {
 382         return container_of_safe(lov, struct obd_device, u.lov);
 383 }
 384
 385 static inline void lov_lsm2layout(struct lov_stripe_md *lsm,
 386                                   struct lov_stripe_md_entry *lsme,
 387                                   struct ost_layout *ol)
 388 {
 389         ol->ol_stripe_size = lsme->lsme_stripe_size;
 390         ol->ol_stripe_count = lsme->lsme_stripe_count;
 391         if (lsm->lsm_magic == LOV_MAGIC_COMP_V1) {
 392                 ol->ol_comp_start = lsme->lsme_extent.e_start;
 393                 ol->ol_comp_end = lsme->lsme_extent.e_end;
 394                 ol->ol_comp_id = lsme->lsme_id;
 395         } else {
 396                 ol->ol_comp_start = 0;
 397                 ol->ol_comp_end = 0;
 398                 ol->ol_comp_id = 0;
 399         }
 400 }
 401
 402 struct pool_desc *lov_pool_find(struct obd_device *obd, char *poolname);
 403 void lov_pool_putref(struct pool_desc *pool);
 404 #endif