Whamcloud - gitweb
LU-11673 tests: add space before ']' in test-framework
[fs/lustre-release.git] / lustre / lov / lov_internal.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  */
32
33 #ifndef LOV_INTERNAL_H
34 #define LOV_INTERNAL_H
35
36 #include <obd_class.h>
37 #include <uapi/linux/lustre/lustre_user.h>
38
39 /* If we are unable to get the maximum object size from the OST in
40  * ocd_maxbytes using OBD_CONNECT_MAXBYTES, then we fall back to using
41  * the old maximum object size from ext3. */
42 #define LUSTRE_EXT3_STRIPE_MAXBYTES 0x1fffffff000ULL
43
44 struct lov_stripe_md_entry {
45         struct lu_extent        lsme_extent;
46         u32                     lsme_id;
47         u32                     lsme_magic;
48         u32                     lsme_flags;
49         u32                     lsme_pattern;
50         u64                     lsme_timestamp;
51         u32                     lsme_stripe_size;
52         u16                     lsme_stripe_count;
53         u16                     lsme_layout_gen;
54         char                    lsme_pool_name[LOV_MAXPOOLNAME + 1];
55         struct lov_oinfo       *lsme_oinfo[];
56 };
57
58 static inline bool lsme_is_dom(struct lov_stripe_md_entry *lsme)
59 {
60         return (lov_pattern(lsme->lsme_pattern) == LOV_PATTERN_MDT);
61 }
62
63 static inline void copy_lsm_entry(struct lov_stripe_md_entry *dst,
64                                   struct lov_stripe_md_entry *src)
65 {
66         unsigned i;
67
68         for (i = 0; i < src->lsme_stripe_count; i++)
69                 *dst->lsme_oinfo[i] = *src->lsme_oinfo[i];
70         memcpy(dst, src, offsetof(typeof(*src), lsme_oinfo));
71 }
72
73 struct lov_stripe_md {
74         atomic_t        lsm_refc;
75         spinlock_t      lsm_lock;
76         pid_t           lsm_lock_owner; /* debugging */
77
78         union {
79                 /* maximum possible file size, might change as OSTs status
80                  * changes, e.g. disconnected, deactivated
81                  */
82                 loff_t          lsm_maxbytes;
83                 /* size of full foreign LOV */
84                 size_t          lsm_foreign_size;
85         };
86         struct ost_id   lsm_oi;
87         u32             lsm_magic;
88         u32             lsm_layout_gen;
89         u16             lsm_flags;
90         bool            lsm_is_released;
91         u16             lsm_mirror_count;
92         u16             lsm_entry_count;
93         struct lov_stripe_md_entry *lsm_entries[];
94 };
95
96 #define lsm_foreign(lsm) (lsm->lsm_entries[0])
97
98 static inline bool lsme_inited(const struct lov_stripe_md_entry *lsme)
99 {
100         return lsme->lsme_flags & LCME_FL_INIT;
101 }
102
103 static inline bool lsm_entry_inited(const struct lov_stripe_md *lsm, int index)
104 {
105         return lsme_inited(lsm->lsm_entries[index]);
106 }
107
108 static inline bool lsm_is_composite(__u32 magic)
109 {
110         return magic == LOV_MAGIC_COMP_V1;
111 }
112
113 static inline size_t lov_comp_md_size(const struct lov_stripe_md *lsm)
114 {
115         struct lov_stripe_md_entry *lsme;
116         size_t size;
117         int entry;
118
119         if (lsm->lsm_magic == LOV_MAGIC_V1 || lsm->lsm_magic == LOV_MAGIC_V3)
120                 return lov_mds_md_size(lsm->lsm_entries[0]->lsme_stripe_count,
121                                        lsm->lsm_entries[0]->lsme_magic);
122
123         if (lsm->lsm_magic == LOV_MAGIC_FOREIGN)
124                 return lsm->lsm_foreign_size;
125
126         LASSERT(lsm->lsm_magic == LOV_MAGIC_COMP_V1);
127
128         size = sizeof(struct lov_comp_md_v1);
129         for (entry = 0; entry < lsm->lsm_entry_count; entry++) {
130                 u16 stripe_count;
131
132                 lsme = lsm->lsm_entries[entry];
133
134                 if (lsme_inited(lsme))
135                         stripe_count = lsme->lsme_stripe_count;
136                 else
137                         stripe_count = 0;
138
139                 size += sizeof(*lsme);
140                 size += lov_mds_md_size(lsme->lsme_stripe_count,
141                                         lsme->lsme_magic);
142         }
143
144         return size;
145 }
146
147 static inline bool lsm_has_objects(struct lov_stripe_md *lsm)
148 {
149         return lsm != NULL && !lsm->lsm_is_released;
150 }
151
152 static inline unsigned int lov_comp_index(int entry, int stripe)
153 {
154         LASSERT(entry >= 0 && entry <= SHRT_MAX);
155         LASSERT(stripe >= 0 && stripe < USHRT_MAX);
156
157         return entry << 16 | stripe;
158 }
159
160 static inline int lov_comp_stripe(int index)
161 {
162         return index & 0xffff;
163 }
164
165 static inline int lov_comp_entry(int index)
166 {
167         return index >> 16;
168 }
169
170 struct lsm_operations {
171         struct lov_stripe_md *(*lsm_unpackmd)(struct lov_obd *, void *, size_t);
172 };
173
174 extern const struct lsm_operations lsm_v1_ops;
175 extern const struct lsm_operations lsm_v3_ops;
176 extern const struct lsm_operations lsm_comp_md_v1_ops;
177 extern const struct lsm_operations lsm_foreign_ops;
178 static inline const struct lsm_operations *lsm_op_find(int magic)
179 {
180         switch (magic) {
181         case LOV_MAGIC_V1:
182                 return &lsm_v1_ops;
183         case LOV_MAGIC_V3:
184                 return &lsm_v3_ops;
185         case LOV_MAGIC_COMP_V1:
186                 return &lsm_comp_md_v1_ops;
187         case LOV_MAGIC_FOREIGN:
188                 return &lsm_foreign_ops;
189         default:
190                 CERROR("unrecognized lsm_magic %08x\n", magic);
191                 return NULL;
192         }
193 }
194
195 void lsm_free(struct lov_stripe_md *lsm);
196
197 /* lov_do_div64(a, b) returns a % b, and a = a / b.
198  * The 32-bit code is LOV-specific due to knowing about stripe limits in
199  * order to reduce the divisor to a 32-bit number.  If the divisor is
200  * already a 32-bit value the compiler handles this directly. */
201 #if BITS_PER_LONG == 64
202 # define lov_do_div64(n, base) ({                                       \
203         uint64_t __base = (base);                                       \
204         uint64_t __rem;                                                 \
205         __rem = ((uint64_t)(n)) % __base;                               \
206         (n) = ((uint64_t)(n)) / __base;                                 \
207         __rem;                                                          \
208 })
209 #elif BITS_PER_LONG == 32
210 # define lov_do_div64(n, base) ({                                       \
211         uint64_t __num = (n);                                           \
212         uint64_t __rem;                                                 \
213         if ((sizeof(base) > 4) && (((base) & 0xffffffff00000000ULL) != 0)) {  \
214                 int __remainder;                                        \
215                 LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)),         \
216                          "64 bit lov division %llu / %llu\n",           \
217                          __num, (uint64_t)(base));                      \
218                 __remainder = __num & (LOV_MIN_STRIPE_SIZE - 1);        \
219                 __num >>= LOV_MIN_STRIPE_BITS;                          \
220                 __rem = do_div(__num, (base) >> LOV_MIN_STRIPE_BITS);   \
221                 __rem <<= LOV_MIN_STRIPE_BITS;                          \
222                 __rem += __remainder;                                   \
223         } else {                                                        \
224                 __rem = do_div(__num, base);                            \
225         }                                                               \
226         (n) = __num;                                                    \
227         __rem;                                                          \
228 })
229 #endif
230
231 #define pool_tgt_count(p) ((p)->pool_obds.op_count)
232 #define pool_tgt_array(p) ((p)->pool_obds.op_array)
233 #define pool_tgt_rw_sem(p) ((p)->pool_obds.op_rw_sem)
234
235 struct pool_desc {
236         char                     pool_name[LOV_MAXPOOLNAME + 1];
237         struct ost_pool          pool_obds;
238         atomic_t                 pool_refcount;
239         struct hlist_node        pool_hash;     /* access by poolname */
240         struct list_head         pool_list;     /* serial access */
241         struct proc_dir_entry   *pool_proc_entry;
242         struct obd_device       *pool_lobd;     /* owner */
243 };
244
245 struct lov_request {
246         struct obd_info          rq_oi;
247         struct lov_request_set  *rq_rqset;
248         struct list_head         rq_link;
249         int                      rq_idx;        /* index in lov->tgts array */
250 };
251
252 struct lov_request_set {
253         struct obd_info         *set_oi;
254         struct obd_device       *set_obd;
255         int                      set_count;
256         atomic_t                 set_completes;
257         atomic_t                 set_success;
258         struct list_head         set_list;
259 };
260
261 extern struct kmem_cache *lov_oinfo_slab;
262
263 extern struct lu_kmem_descr lov_caches[];
264
265 #define lov_uuid2str(lv, index) \
266         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
267
268 /* lov_merge.c */
269 int lov_merge_lvb_kms(struct lov_stripe_md *lsm, int index,
270                       struct ost_lvb *lvb, __u64 *kms_place);
271
272 /* lov_offset.c */
273 u64 lov_stripe_size(struct lov_stripe_md *lsm, int index,
274                     u64 ost_size, int stripeno);
275 int lov_stripe_offset(struct lov_stripe_md *lsm, int index, loff_t lov_off,
276                       int stripeno, loff_t *obd_off);
277 loff_t lov_size_to_stripe(struct lov_stripe_md *lsm, int index, u64 file_size,
278                           int stripeno);
279 int lov_stripe_intersects(struct lov_stripe_md *lsm, int index, int stripeno,
280                           struct lu_extent *ext, u64 *obd_start, u64 *obd_end);
281 int lov_stripe_number(struct lov_stripe_md *lsm, int index, loff_t lov_off);
282 pgoff_t lov_stripe_pgoff(struct lov_stripe_md *lsm, int index,
283                          pgoff_t stripe_index, int stripe);
284
285 /* lov_request.c */
286 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
287                         struct lov_request_set **reqset);
288 int lov_fini_statfs_set(struct lov_request_set *set);
289
290 /* lov_obd.c */
291 void lov_tgts_getref(struct obd_device *obd);
292 void lov_tgts_putref(struct obd_device *obd);
293 void lov_stripe_lock(struct lov_stripe_md *md);
294 void lov_stripe_unlock(struct lov_stripe_md *md);
295 void lov_fix_desc(struct lov_desc *desc);
296 void lov_fix_desc_stripe_size(__u64 *val);
297 void lov_fix_desc_stripe_count(__u32 *val);
298 void lov_fix_desc_pattern(__u32 *val);
299 void lov_fix_desc_qos_maxage(__u32 *val);
300 __u16 lov_get_stripe_count(struct lov_obd *lov, __u32 magic,
301                            __u16 stripe_count);
302 int lov_connect_obd(struct obd_device *obd, u32 index, int activate,
303                     struct obd_connect_data *data);
304 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
305 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
306                             u32 *indexp, int *genp);
307 int lov_del_target(struct obd_device *obd, u32 index,
308                    struct obd_uuid *uuidp, int gen);
309
310 /* lov_pack.c */
311 ssize_t lov_lsm_pack(const struct lov_stripe_md *lsm, void *buf,
312                      size_t buf_size);
313 struct lov_stripe_md *lov_unpackmd(struct lov_obd *lov, void *buf,
314                                    size_t buf_size);
315 int lov_free_memmd(struct lov_stripe_md **lsmp);
316
317 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
318 void lov_dump_lmm_v3(int level, struct lov_mds_md_v3 *lmm);
319 void lov_dump_lmm_common(int level, void *lmmp);
320 void lov_dump_lmm(int level, void *lmm);
321
322 /* lov_ea.c */
323 void lsm_free_plain(struct lov_stripe_md *lsm);
324 void dump_lsm(unsigned int level, const struct lov_stripe_md *lsm);
325
326 /* lproc_lov.c */
327 int lov_tunables_init(struct obd_device *obd);
328
329 /* lov_cl.c */
330 extern struct lu_device_type lov_device_type;
331
332 #define LOV_MDC_TGT_MAX 256
333
334 /* pools */
335 extern struct cfs_hash_ops pool_hash_operations;
336 /* ost_pool methods */
337 int lov_ost_pool_init(struct ost_pool *op, unsigned int count);
338 int lov_ost_pool_extend(struct ost_pool *op, unsigned int min_count);
339 int lov_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
340 int lov_ost_pool_remove(struct ost_pool *op, __u32 idx);
341 int lov_ost_pool_free(struct ost_pool *op);
342
343 /* high level pool methods */
344 int lov_pool_new(struct obd_device *obd, char *poolname);
345 int lov_pool_del(struct obd_device *obd, char *poolname);
346 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
347 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
348 void lov_dump_pool(int level, struct pool_desc *pool);
349
350 static inline struct lov_stripe_md *lsm_addref(struct lov_stripe_md *lsm)
351 {
352         LASSERT(atomic_read(&lsm->lsm_refc) > 0);
353         atomic_inc(&lsm->lsm_refc);
354         return lsm;
355 }
356
357 static inline bool lov_oinfo_is_dummy(const struct lov_oinfo *loi)
358 {
359         if (unlikely(loi->loi_oi.oi.oi_id == 0 &&
360                      loi->loi_oi.oi.oi_seq == 0 &&
361                      loi->loi_ost_idx == 0 &&
362                      loi->loi_ost_gen == 0))
363                 return true;
364
365         return false;
366 }
367
368 static inline struct obd_device *lov2obd(const struct lov_obd *lov)
369 {
370         return container_of0(lov, struct obd_device, u.lov);
371 }
372
373 static inline void lov_lsm2layout(struct lov_stripe_md *lsm,
374                                   struct lov_stripe_md_entry *lsme,
375                                   struct ost_layout *ol)
376 {
377         ol->ol_stripe_size = lsme->lsme_stripe_size;
378         ol->ol_stripe_count = lsme->lsme_stripe_count;
379         if (lsm->lsm_magic == LOV_MAGIC_COMP_V1) {
380                 ol->ol_comp_start = lsme->lsme_extent.e_start;
381                 ol->ol_comp_end = lsme->lsme_extent.e_end;
382                 ol->ol_comp_id = lsme->lsme_id;
383         } else {
384                 ol->ol_comp_start = 0;
385                 ol->ol_comp_end = 0;
386                 ol->ol_comp_id = 0;
387         }
388 }
389 #endif