lustre/lov/lov_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2017, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  */
  31
  32 #ifndef LOV_INTERNAL_H
  33 #define LOV_INTERNAL_H
  34
  35 #include <obd_class.h>
  36 #include <uapi/linux/lustre/lustre_user.h>
  37
  38 /* If we are unable to get the maximum object size from the OST in
  39  * ocd_maxbytes using OBD_CONNECT_MAXBYTES, then we fall back to using
  40  * the old maximum object size from ext3. */
  41 #define LUSTRE_EXT3_STRIPE_MAXBYTES 0x1fffffff000ULL
  42
  43 struct lov_stripe_md_entry {
  44         struct lu_extent        lsme_extent;
  45         u32                     lsme_id;
  46         u32                     lsme_magic;
  47         u32                     lsme_flags;
  48         u32                     lsme_pattern;
  49         u64                     lsme_timestamp;
  50         union {
  51                 struct { /* For stripe objects */
  52                         u32     lsme_stripe_size;
  53                         u16     lsme_stripe_count;
  54                         u16     lsme_layout_gen;
  55                         char    lsme_pool_name[LOV_MAXPOOLNAME + 1];
  56                         struct lov_oinfo        *lsme_oinfo[];
  57                 };
  58                 struct { /* For foreign layout (i.e. HSM, DAOS) */
  59                         u32     lsme_length;
  60                         u32     lsme_type;
  61                         u32     lsme_foreign_flags;
  62                         u32     lsme_padding;
  63                         union {
  64                                 /* inline HSM layout data */
  65                                 struct lov_hsm_base      lsme_hsm;
  66                                 /* Other kind of foreign layout (i.e. DAOS) */
  67                                 char                    *lsme_value;
  68                         };
  69                 };
  70         };
  71 };
  72
  73 #define lsme_archive_id         lsme_hsm.lhb_archive_id
  74 #define lsme_archive_ver        lsme_hsm.lhb_archive_ver
  75 #define lsme_uuid               lsme_hsm.lhb_uuid
  76
  77 static inline bool lsme_is_dom(struct lov_stripe_md_entry *lsme)
  78 {
  79         return (lov_pattern(lsme->lsme_pattern) & LOV_PATTERN_MDT);
  80 }
  81
  82 static inline void copy_lsm_entry(struct lov_stripe_md_entry *dst,
  83                                   struct lov_stripe_md_entry *src)
  84 {
  85         unsigned i;
  86
  87         for (i = 0; i < src->lsme_stripe_count; i++)
  88                 *dst->lsme_oinfo[i] = *src->lsme_oinfo[i];
  89         memcpy(dst, src, offsetof(typeof(*src), lsme_oinfo));
  90 }
  91
  92 struct lov_stripe_md {
  93         atomic_t        lsm_refc;
  94         spinlock_t      lsm_lock;
  95         pid_t           lsm_lock_owner; /* debugging */
  96
  97         union {
  98                 /* maximum possible file size, might change as OSTs status
  99                  * changes, e.g. disconnected, deactivated
 100                  */
 101                 loff_t          lsm_maxbytes;
 102                 /* size of full foreign LOV */
 103                 size_t          lsm_foreign_size;
 104         };
 105         struct ost_id   lsm_oi;
 106         u32             lsm_magic;
 107         u32             lsm_layout_gen;
 108         u16             lsm_flags;
 109         bool            lsm_is_released;
 110         bool            lsm_is_rdonly;
 111         u16             lsm_mirror_count;
 112         u16             lsm_entry_count;
 113         struct lov_stripe_md_entry *lsm_entries[];
 114 };
 115
 116 #define lsm_foreign(lsm) (lsm->lsm_entries[0])
 117
 118 static inline bool lsme_is_foreign(const struct lov_stripe_md_entry *lsme)
 119 {
 120         return lsme->lsme_magic == LOV_MAGIC_FOREIGN;
 121 }
 122
 123 static inline bool lsm_entry_is_foreign(const struct lov_stripe_md *lsm,
 124                                         int index)
 125 {
 126         return lsme_is_foreign(lsm->lsm_entries[index]);
 127 }
 128
 129 static inline bool lsme_inited(const struct lov_stripe_md_entry *lsme)
 130 {
 131         return lsme->lsme_flags & LCME_FL_INIT;
 132 }
 133
 134 static inline bool lsm_entry_inited(const struct lov_stripe_md *lsm, int index)
 135 {
 136         return lsme_inited(lsm->lsm_entries[index]);
 137 }
 138
 139 static inline bool lsm_is_composite(__u32 magic)
 140 {
 141         return magic == LOV_MAGIC_COMP_V1;
 142 }
 143
 144 static inline bool lsm_is_rdonly(const struct lov_stripe_md *lsm)
 145 {
 146         return lsm->lsm_is_rdonly;
 147 }
 148
 149 static inline size_t lov_comp_md_size(const struct lov_stripe_md *lsm)
 150 {
 151         struct lov_stripe_md_entry *lsme;
 152         size_t size;
 153         int entry;
 154
 155         if (lsm->lsm_magic == LOV_MAGIC_V1 || lsm->lsm_magic == LOV_MAGIC_V3)
 156                 return lov_mds_md_size(lsm->lsm_entries[0]->lsme_stripe_count,
 157                                        lsm->lsm_entries[0]->lsme_magic);
 158
 159         if (lsm->lsm_magic == LOV_MAGIC_FOREIGN)
 160                 return lsm->lsm_foreign_size;
 161
 162         LASSERT(lsm->lsm_magic == LOV_MAGIC_COMP_V1);
 163
 164         size = sizeof(struct lov_comp_md_v1) +
 165                sizeof(struct lov_comp_md_entry_v1) * lsm->lsm_entry_count;
 166         for (entry = 0; entry < lsm->lsm_entry_count; entry++) {
 167                 u16 stripe_count;
 168
 169                 lsme = lsm->lsm_entries[entry];
 170
 171                 if (lsme->lsme_magic == LOV_MAGIC_FOREIGN) {
 172                         size += lov_foreign_md_size(lsme->lsme_length);
 173                 } else {
 174                         if (lsme_inited(lsme))
 175                                 stripe_count = lsme->lsme_stripe_count;
 176                         else
 177                                 stripe_count = 0;
 178
 179                         size += lov_mds_md_size(stripe_count, lsme->lsme_magic);
 180                 }
 181         }
 182
 183         return size;
 184 }
 185
 186 static inline bool lsm_has_objects(struct lov_stripe_md *lsm)
 187 {
 188         return lsm != NULL && !lsm->lsm_is_released;
 189 }
 190
 191 static inline unsigned int lov_comp_index(int entry, int stripe)
 192 {
 193         LASSERT(entry >= 0 && entry <= SHRT_MAX);
 194         LASSERT(stripe >= 0 && stripe < USHRT_MAX);
 195
 196         return entry << 16 | stripe;
 197 }
 198
 199 static inline int lov_comp_stripe(int index)
 200 {
 201         return index & 0xffff;
 202 }
 203
 204 static inline int lov_comp_entry(int index)
 205 {
 206         return index >> 16;
 207 }
 208
 209 struct lsm_operations {
 210         struct lov_stripe_md *(*lsm_unpackmd)(struct lov_obd *, void *, size_t);
 211 };
 212
 213 const struct lsm_operations *lsm_op_find(int magic);
 214 void lsm_free(struct lov_stripe_md *lsm);
 215
 216 static inline bool lov_supported_comp_magic(unsigned int magic)
 217 {
 218         return magic == LOV_MAGIC_V1 || magic == LOV_MAGIC_V3 ||
 219                magic == LOV_MAGIC_FOREIGN;
 220 }
 221
 222 #define pool_tgt_count(p) ((p)->pool_obds.op_count)
 223 #define pool_tgt_array(p) ((p)->pool_obds.op_array)
 224 #define pool_tgt_rw_sem(p) ((p)->pool_obds.op_rw_sem)
 225
 226 struct lov_pool_desc {
 227         char                     pool_name[LOV_MAXPOOLNAME + 1];
 228         struct lu_tgt_pool       pool_obds;
 229         struct kref              pool_refcount;
 230         struct rhash_head        pool_hash;     /* access by poolname */
 231         struct list_head         pool_list;     /* serial access */
 232         struct rcu_head          pool_rcu;
 233         struct proc_dir_entry   *pool_proc_entry;
 234         struct obd_device       *pool_lobd;     /* owner */
 235 };
 236
 237 int lov_pool_hash_init(struct rhashtable *tbl);
 238 void lov_pool_hash_destroy(struct rhashtable *tbl);
 239
 240 struct lov_request {
 241         struct obd_info          rq_oi;
 242         struct lov_request_set  *rq_rqset;
 243         struct list_head         rq_link;
 244         int                      rq_idx;        /* index in lov->tgts array */
 245 };
 246
 247 struct lov_request_set {
 248         struct obd_info         *set_oi;
 249         struct obd_device       *set_obd;
 250         int                      set_count;
 251         atomic_t                 set_completes;
 252         atomic_t                 set_success;
 253         struct list_head         set_list;
 254 };
 255
 256 extern struct kmem_cache *lov_oinfo_slab;
 257
 258 extern struct lu_kmem_descr lov_caches[];
 259
 260 #define lov_uuid2str(lv, index) \
 261         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
 262
 263 /* lov_merge.c */
 264 int lov_merge_lvb_kms(struct lov_stripe_md *lsm, int index,
 265                       struct cl_attr *attr);
 266
 267 /* lov_offset.c */
 268 u64 stripe_width(struct lov_stripe_md *lsm, unsigned int index);
 269 u64 lov_stripe_size(struct lov_stripe_md *lsm, int index,
 270                     u64 ost_size, int stripeno);
 271 int lov_stripe_offset(struct lov_stripe_md *lsm, int index, loff_t lov_off,
 272                       int stripeno, loff_t *obd_off);
 273 loff_t lov_size_to_stripe(struct lov_stripe_md *lsm, int index, u64 file_size,
 274                           int stripeno);
 275 int lov_stripe_intersects(struct lov_stripe_md *lsm, int index, int stripeno,
 276                           struct lu_extent *ext, u64 *obd_start, u64 *obd_end);
 277 int lov_stripe_number(struct lov_stripe_md *lsm, int index, u64 lov_off);
 278 pgoff_t lov_stripe_pgoff(struct lov_stripe_md *lsm, int index,
 279                          pgoff_t stripe_index, int stripe);
 280
 281 /* lov_request.c */
 282 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
 283                         struct lov_request_set **reqset);
 284 int lov_fini_statfs_set(struct lov_request_set *set);
 285
 286 /* lov_obd.c */
 287 void lov_tgts_getref(struct obd_device *obd);
 288 void lov_tgts_putref(struct obd_device *obd);
 289 void lov_stripe_lock(struct lov_stripe_md *md);
 290 void lov_stripe_unlock(struct lov_stripe_md *md);
 291 void lov_fix_desc(struct lov_desc *desc);
 292 void lov_fix_desc_stripe_size(__u64 *val);
 293 void lov_fix_desc_stripe_count(__u32 *val);
 294 void lov_fix_desc_pattern(__u32 *val);
 295 void lov_fix_desc_qos_maxage(__u32 *val);
 296 __u16 lov_get_stripe_count(struct lov_obd *lov, __u32 magic,
 297                            __u16 stripe_count);
 298 int lov_connect_obd(struct obd_device *obd, u32 index, int activate,
 299                     struct obd_connect_data *data);
 300 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
 301 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
 302                             u32 *indexp, int *genp);
 303 int lov_del_target(struct obd_device *obd, u32 index,
 304                    struct obd_uuid *uuidp, int gen);
 305
 306 /* lov_pack.c */
 307 ssize_t lov_lsm_pack(const struct lov_stripe_md *lsm, void *buf,
 308                      size_t buf_size);
 309 struct lov_stripe_md *lov_unpackmd(struct lov_obd *lov, void *buf,
 310                                    size_t buf_size);
 311 int lov_free_memmd(struct lov_stripe_md **lsmp);
 312
 313 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
 314 void lov_dump_lmm_common(int level, void *lmmp);
 315
 316 /* lov_ea.c */
 317 void lsm_free_plain(struct lov_stripe_md *lsm);
 318 void dump_lsm(unsigned int level, const struct lov_stripe_md *lsm);
 319
 320 /* lproc_lov.c */
 321 int lov_tunables_init(struct obd_device *obd);
 322
 323 /* lov_cl.c */
 324 extern struct lu_device_type lov_device_type;
 325
 326 #define LOV_MDC_TGT_MAX 256
 327
 328 /* high level pool methods */
 329 int lov_pool_new(struct obd_device *obd, char *poolname);
 330 int lov_pool_del(struct obd_device *obd, char *poolname);
 331 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
 332 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
 333
 334 static inline struct lov_stripe_md *lsm_addref(struct lov_stripe_md *lsm)
 335 {
 336         LASSERT(atomic_read(&lsm->lsm_refc) > 0);
 337         atomic_inc(&lsm->lsm_refc);
 338         return lsm;
 339 }
 340
 341 static inline bool lov_oinfo_is_dummy(const struct lov_oinfo *loi)
 342 {
 343         if (unlikely(loi->loi_oi.oi.oi_id == 0 &&
 344                      loi->loi_oi.oi.oi_seq == 0 &&
 345                      loi->loi_ost_idx == 0 &&
 346                      loi->loi_ost_gen == 0))
 347                 return true;
 348
 349         return false;
 350 }
 351
 352 static inline struct obd_device *lov2obd(const struct lov_obd *lov)
 353 {
 354         return container_of_safe(lov, struct obd_device, u.lov);
 355 }
 356
 357 static inline void lov_lsm2layout(struct lov_stripe_md *lsm,
 358                                   struct lov_stripe_md_entry *lsme,
 359                                   struct ost_layout *ol)
 360 {
 361         ol->ol_stripe_size = lsme->lsme_stripe_size;
 362         ol->ol_stripe_count = lsme->lsme_stripe_count;
 363         if (lsm->lsm_magic == LOV_MAGIC_COMP_V1) {
 364                 ol->ol_comp_start = lsme->lsme_extent.e_start;
 365                 ol->ol_comp_end = lsme->lsme_extent.e_end;
 366                 ol->ol_comp_id = lsme->lsme_id;
 367         } else {
 368                 ol->ol_comp_start = 0;
 369                 ol->ol_comp_end = 0;
 370                 ol->ol_comp_id = 0;
 371         }
 372 }
 373
 374 struct lov_pool_desc *lov_pool_find(struct obd_device *obd, char *poolname);
 375 void lov_pool_putref(struct lov_pool_desc *pool);
 376 #endif