lustre/lov/lov_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  19  *
  20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  21  * CA 95054 USA or visit www.sun.com if you need additional information or
  22  * have any questions.
  23  *
  24  * GPL HEADER END
  25  */
  26 /*
  27  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  28  * Use is subject to license terms.
  29  *
  30  * Copyright (c) 2011, 2014, Intel Corporation.
  31  */
  32 /*
  33  * This file is part of Lustre, http://www.lustre.org/
  34  * Lustre is a trademark of Sun Microsystems, Inc.
  35  */
  36
  37 #ifndef LOV_INTERNAL_H
  38 #define LOV_INTERNAL_H
  39
  40 #include <obd_class.h>
  41 #include <lustre/lustre_user.h>
  42
  43 /* If we are unable to get the maximum object size from the OST in
  44  * ocd_maxbytes using OBD_CONNECT_MAXBYTES, then we fall back to using
  45  * the old maximum object size from ext3. */
  46 #define LUSTRE_EXT3_STRIPE_MAXBYTES 0x1fffffff000ULL
  47
  48 struct lov_stripe_md {
  49         atomic_t        lsm_refc;
  50         spinlock_t      lsm_lock;
  51         pid_t           lsm_lock_owner; /* debugging */
  52
  53         /* maximum possible file size, might change as OSTs status changes,
  54          * e.g. disconnected, deactivated */
  55         loff_t          lsm_maxbytes;
  56         struct ost_id   lsm_oi;
  57         u32             lsm_magic;
  58         u32             lsm_stripe_size;
  59         u32             lsm_pattern; /* RAID0, RAID1, released, ... */
  60         u16             lsm_stripe_count;
  61         u16             lsm_layout_gen;
  62         char            lsm_pool_name[LOV_MAXPOOLNAME + 1];
  63         struct lov_oinfo        *lsm_oinfo[0];
  64 };
  65
  66 static inline bool lsm_is_released(struct lov_stripe_md *lsm)
  67 {
  68         return !!(lsm->lsm_pattern & LOV_PATTERN_F_RELEASED);
  69 }
  70
  71 static inline bool lsm_has_objects(struct lov_stripe_md *lsm)
  72 {
  73         if (lsm == NULL)
  74                 return false;
  75
  76         if (lsm_is_released(lsm))
  77                 return false;
  78
  79         return true;
  80 }
  81
  82 static inline int lov_stripe_md_size(unsigned int stripe_count)
  83 {
  84         struct lov_stripe_md lsm;
  85
  86         return sizeof(lsm) + stripe_count * sizeof(lsm.lsm_oinfo[0]);
  87 }
  88
  89 struct lsm_operations {
  90         void (*lsm_free)(struct lov_stripe_md *);
  91         void (*lsm_stripe_by_index)(struct lov_stripe_md *, int *, loff_t *,
  92                                     loff_t *);
  93         void (*lsm_stripe_by_offset)(struct lov_stripe_md *, int *, loff_t *,
  94                                      loff_t *);
  95         int (*lsm_lmm_verify)(struct lov_mds_md *lmm, int lmm_bytes,
  96                               u16 *stripe_count);
  97         int (*lsm_unpackmd)(struct lov_obd *lov, struct lov_stripe_md *lsm,
  98                             struct lov_mds_md *lmm);
  99 };
 100
 101 extern const struct lsm_operations lsm_v1_ops;
 102 extern const struct lsm_operations lsm_v3_ops;
 103 static inline const struct lsm_operations *lsm_op_find(int magic)
 104 {
 105         switch (magic) {
 106         case LOV_MAGIC_V1:
 107                 return &lsm_v1_ops;
 108         case LOV_MAGIC_V3:
 109                 return &lsm_v3_ops;
 110         default:
 111                 CERROR("unrecognized lsm_magic %08x\n", magic);
 112                 return NULL;
 113         }
 114 }
 115
 116 /* lov_do_div64(a, b) returns a % b, and a = a / b.
 117  * The 32-bit code is LOV-specific due to knowing about stripe limits in
 118  * order to reduce the divisor to a 32-bit number.  If the divisor is
 119  * already a 32-bit value the compiler handles this directly. */
 120 #if BITS_PER_LONG == 64
 121 # define lov_do_div64(n, base) ({                                       \
 122         uint64_t __base = (base);                                       \
 123         uint64_t __rem;                                                 \
 124         __rem = ((uint64_t)(n)) % __base;                               \
 125         (n) = ((uint64_t)(n)) / __base;                                 \
 126         __rem;                                                          \
 127 })
 128 #elif BITS_PER_LONG == 32
 129 # define lov_do_div64(n, base) ({                                       \
 130         uint64_t __rem;                                                 \
 131         if ((sizeof(base) > 4) && (((base) & 0xffffffff00000000ULL) != 0)) {  \
 132                 int __remainder;                                              \
 133                 LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)), "64 bit lov " \
 134                          "division %llu / %llu\n", (n), (uint64_t)(base));    \
 135                 __remainder = (n) & (LOV_MIN_STRIPE_SIZE - 1);          \
 136                 (n) >>= LOV_MIN_STRIPE_BITS;                            \
 137                 __rem = do_div(n, (base) >> LOV_MIN_STRIPE_BITS);       \
 138                 __rem <<= LOV_MIN_STRIPE_BITS;                          \
 139                 __rem += __remainder;                                   \
 140         } else {                                                        \
 141                 __rem = do_div(n, base);                                \
 142         }                                                               \
 143         __rem;                                                          \
 144 })
 145 #endif
 146
 147 #define pool_tgt_size(p) ((p)->pool_obds.op_size)
 148 #define pool_tgt_count(p) ((p)->pool_obds.op_count)
 149 #define pool_tgt_array(p) ((p)->pool_obds.op_array)
 150 #define pool_tgt_rw_sem(p) ((p)->pool_obds.op_rw_sem)
 151
 152 struct pool_desc {
 153         char                     pool_name[LOV_MAXPOOLNAME + 1];
 154         struct ost_pool          pool_obds;
 155         atomic_t                 pool_refcount;
 156         struct hlist_node        pool_hash;     /* access by poolname */
 157         struct list_head         pool_list;     /* serial access */
 158         struct proc_dir_entry   *pool_proc_entry;
 159         struct obd_device       *pool_lobd;     /* owner */
 160 };
 161
 162 struct lov_request {
 163         struct obd_info          rq_oi;
 164         struct lov_request_set  *rq_rqset;
 165         struct list_head         rq_link;
 166         int                      rq_idx;        /* index in lov->tgts array */
 167         int                      rq_stripe;     /* stripe number */
 168         int                      rq_complete;
 169         int                      rq_rc;
 170 };
 171
 172 struct lov_request_set {
 173         struct obd_info         *set_oi;
 174         atomic_t                 set_refcount;
 175         struct obd_export       *set_exp;
 176         /* XXX: There is @set_exp already, however obd_statfs gets
 177            obd_device only. */
 178         struct obd_device       *set_obd;
 179         int                      set_count;
 180         atomic_t                 set_completes;
 181         atomic_t                 set_success;
 182         atomic_t                 set_finish_checked;
 183         struct list_head         set_list;
 184         wait_queue_head_t        set_waitq;
 185 };
 186
 187 extern struct kmem_cache *lov_oinfo_slab;
 188
 189 extern struct lu_kmem_descr lov_caches[];
 190
 191 void lov_finish_set(struct lov_request_set *set);
 192
 193 static inline void lov_put_reqset(struct lov_request_set *set)
 194 {
 195         if (atomic_dec_and_test(&set->set_refcount))
 196                 lov_finish_set(set);
 197 }
 198
 199 #define lov_uuid2str(lv, index) \
 200         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
 201
 202 /* lov_merge.c */
 203 int lov_merge_lvb_kms(struct lov_stripe_md *lsm,
 204                       struct ost_lvb *lvb, __u64 *kms_place);
 205
 206 /* lov_offset.c */
 207 u64 lov_stripe_size(struct lov_stripe_md *lsm, u64 ost_size, int stripeno);
 208 int lov_stripe_offset(struct lov_stripe_md *lsm, loff_t lov_off, int stripeno,
 209                       loff_t *obd_off);
 210 loff_t lov_size_to_stripe(struct lov_stripe_md *lsm, u64 file_size,
 211                           int stripeno);
 212 int lov_stripe_intersects(struct lov_stripe_md *lsm, int stripeno,
 213                           loff_t start, loff_t end,
 214                           loff_t *obd_start, loff_t *obd_end);
 215 int lov_stripe_number(struct lov_stripe_md *lsm, loff_t lov_off);
 216 pgoff_t lov_stripe_pgoff(struct lov_stripe_md *lsm, pgoff_t stripe_index,
 217                          int stripe);
 218
 219 /* lov_request.c */
 220 void lov_set_add_req(struct lov_request *req, struct lov_request_set *set);
 221 int lov_set_finished(struct lov_request_set *set, int idempotent);
 222 void lov_update_set(struct lov_request_set *set,
 223                     struct lov_request *req, int rc);
 224 int lov_check_and_wait_active(struct lov_obd *lov, int ost_idx);
 225 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
 226                         struct lov_request_set **reqset);
 227 void lov_update_statfs(struct obd_statfs *osfs, struct obd_statfs *lov_sfs,
 228                        int success);
 229 int lov_fini_statfs(struct obd_device *obd, struct obd_statfs *osfs,
 230                     int success);
 231 int lov_fini_statfs_set(struct lov_request_set *set);
 232 int lov_statfs_interpret(struct ptlrpc_request_set *rqset, void *data, int rc);
 233
 234 /* lov_obd.c */
 235 void lov_stripe_lock(struct lov_stripe_md *md);
 236 void lov_stripe_unlock(struct lov_stripe_md *md);
 237 void lov_fix_desc(struct lov_desc *desc);
 238 void lov_fix_desc_stripe_size(__u64 *val);
 239 void lov_fix_desc_stripe_count(__u32 *val);
 240 void lov_fix_desc_pattern(__u32 *val);
 241 void lov_fix_desc_qos_maxage(__u32 *val);
 242 __u16 lov_get_stripecnt(struct lov_obd *lov, __u32 magic, __u16 stripe_count);
 243 int lov_connect_obd(struct obd_device *obd, __u32 index, int activate,
 244                     struct obd_connect_data *data);
 245 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
 246 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
 247                             __u32 *indexp, int *genp);
 248 int lov_del_target(struct obd_device *obd, __u32 index,
 249                    struct obd_uuid *uuidp, int gen);
 250
 251 /* lov_pack.c */
 252 ssize_t lov_lsm_pack(const struct lov_stripe_md *lsm, void *buf,
 253                      size_t buf_size);
 254 int lov_unpackmd(struct obd_export *exp, struct lov_stripe_md **lsmp,
 255                  struct lov_mds_md *lmm, int lmm_bytes);
 256 int lov_alloc_memmd(struct lov_stripe_md **lsmp, __u16 stripe_count,
 257                     int pattern, int magic);
 258 int lov_free_memmd(struct lov_stripe_md **lsmp);
 259
 260 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
 261 void lov_dump_lmm_v3(int level, struct lov_mds_md_v3 *lmm);
 262 void lov_dump_lmm_common(int level, void *lmmp);
 263 void lov_dump_lmm(int level, void *lmm);
 264
 265 /* lov_ea.c */
 266 struct lov_stripe_md *lsm_alloc_plain(__u16 stripe_count, int *size);
 267 void lsm_free_plain(struct lov_stripe_md *lsm);
 268 void dump_lsm(unsigned int level, const struct lov_stripe_md *lsm);
 269
 270 /* lproc_lov.c */
 271 extern struct file_operations lov_proc_target_fops;
 272 #ifdef CONFIG_PROC_FS
 273 extern struct lprocfs_vars lprocfs_lov_obd_vars[];
 274 #endif
 275
 276 /* lov_cl.c */
 277 extern struct lu_device_type lov_device_type;
 278
 279 /* pools */
 280 extern struct cfs_hash_ops pool_hash_operations;
 281 /* ost_pool methods */
 282 int lov_ost_pool_init(struct ost_pool *op, unsigned int count);
 283 int lov_ost_pool_extend(struct ost_pool *op, unsigned int min_count);
 284 int lov_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
 285 int lov_ost_pool_remove(struct ost_pool *op, __u32 idx);
 286 int lov_ost_pool_free(struct ost_pool *op);
 287
 288 /* high level pool methods */
 289 int lov_pool_new(struct obd_device *obd, char *poolname);
 290 int lov_pool_del(struct obd_device *obd, char *poolname);
 291 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
 292 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
 293 void lov_dump_pool(int level, struct pool_desc *pool);
 294
 295 static inline struct lov_stripe_md *lsm_addref(struct lov_stripe_md *lsm)
 296 {
 297         LASSERT(atomic_read(&lsm->lsm_refc) > 0);
 298         atomic_inc(&lsm->lsm_refc);
 299         return lsm;
 300 }
 301
 302 static inline bool lov_oinfo_is_dummy(const struct lov_oinfo *loi)
 303 {
 304         if (unlikely(loi->loi_oi.oi.oi_id == 0 &&
 305                      loi->loi_oi.oi.oi_seq == 0 &&
 306                      loi->loi_ost_idx == 0 &&
 307                      loi->loi_ost_gen == 0))
 308                 return true;
 309
 310         return false;
 311 }
 312
 313 static inline struct obd_device *lov2obd(const struct lov_obd *lov)
 314 {
 315         return container_of0(lov, struct obd_device, u.lov);
 316 }
 317
 318 #endif