Whamcloud - gitweb
LU-80 lov: large stripe count support
[fs/lustre-release.git] / lustre / lov / lov_internal.h
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * GPL HEADER START
5  *
6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 only,
10  * as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * General Public License version 2 for more details (a copy is included
16  * in the LICENSE file that accompanied this code).
17  *
18  * You should have received a copy of the GNU General Public License
19  * version 2 along with this program; If not, see
20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
21  *
22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
23  * CA 95054 USA or visit www.sun.com if you need additional information or
24  * have any questions.
25  *
26  * GPL HEADER END
27  */
28 /*
29  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
30  * Use is subject to license terms.
31  */
32 /*
33  * Copyright (c) 2011 Whamcloud, Inc.
34  */
35 /*
36  * This file is part of Lustre, http://www.lustre.org/
37  * Lustre is a trademark of Sun Microsystems, Inc.
38  */
39
40 #ifndef LOV_INTERNAL_H
41 #define LOV_INTERNAL_H
42
43 #include <obd_class.h>
44 #include <lustre/lustre_user.h>
45
46 struct lov_lock_handles {
47         struct portals_handle   llh_handle;
48         cfs_atomic_t            llh_refcount;
49         int                     llh_stripe_count;
50         struct lustre_handle    llh_handles[0];
51 };
52
53 struct lov_request {
54         struct obd_info          rq_oi;
55         struct lov_request_set  *rq_rqset;
56
57         cfs_list_t               rq_link;
58
59         int                      rq_idx;        /* index in lov->tgts array */
60         int                      rq_stripe;     /* stripe number */
61         int                      rq_complete;
62         int                      rq_rc;
63         int                      rq_buflen;     /* length of sub_md */
64
65         obd_count                rq_oabufs;
66         obd_count                rq_pgaidx;
67 };
68
69 struct lov_request_set {
70         struct ldlm_enqueue_info*set_ei;
71         struct obd_info         *set_oi;
72         cfs_atomic_t             set_refcount;
73         struct obd_export       *set_exp;
74         /* XXX: There is @set_exp already, however obd_statfs gets obd_device
75            only. */
76         struct obd_device       *set_obd;
77         int                      set_count;
78         cfs_atomic_t             set_completes;
79         cfs_atomic_t             set_success;
80         struct llog_cookie      *set_cookies;
81         int                      set_cookie_sent;
82         struct obd_trans_info   *set_oti;
83         obd_count                set_oabufs;
84         struct brw_page         *set_pga;
85         struct lov_lock_handles *set_lockh;
86         cfs_list_t               set_list;
87         cfs_waitq_t              set_waitq;
88         cfs_spinlock_t           set_lock;
89 };
90
91 extern cfs_mem_cache_t *lov_oinfo_slab;
92
93 static inline void lov_llh_addref(void *llhp)
94 {
95         struct lov_lock_handles *llh = llhp;
96         cfs_atomic_inc(&llh->llh_refcount);
97         CDEBUG(D_INFO, "GETting llh %p : new refcount %d\n", llh,
98                cfs_atomic_read(&llh->llh_refcount));
99 }
100
101 static inline struct lov_lock_handles *lov_llh_new(struct lov_stripe_md *lsm)
102 {
103         struct lov_lock_handles *llh;
104
105         OBD_ALLOC(llh, sizeof *llh +
106                   sizeof(*llh->llh_handles) * lsm->lsm_stripe_count);
107         if (llh == NULL)
108                 return NULL;
109         cfs_atomic_set(&llh->llh_refcount, 2);
110         llh->llh_stripe_count = lsm->lsm_stripe_count;
111         CFS_INIT_LIST_HEAD(&llh->llh_handle.h_link);
112         class_handle_hash(&llh->llh_handle, lov_llh_addref);
113         return llh;
114 }
115
116 void lov_finish_set(struct lov_request_set *set);
117
118 static inline void lov_get_reqset(struct lov_request_set *set)
119 {
120         LASSERT(set != NULL);
121         LASSERT(cfs_atomic_read(&set->set_refcount) > 0);
122         cfs_atomic_inc(&set->set_refcount);
123 }
124
125 static inline void lov_put_reqset(struct lov_request_set *set)
126 {
127         if (cfs_atomic_dec_and_test(&set->set_refcount))
128                 lov_finish_set(set);
129 }
130
131 static inline struct lov_lock_handles *
132 lov_handle2llh(struct lustre_handle *handle)
133 {
134         LASSERT(handle != NULL);
135         return(class_handle2object(handle->cookie));
136 }
137
138 static inline void lov_llh_put(struct lov_lock_handles *llh)
139 {
140         CDEBUG(D_INFO, "PUTting llh %p : new refcount %d\n", llh,
141                cfs_atomic_read(&llh->llh_refcount) - 1);
142         LASSERT(cfs_atomic_read(&llh->llh_refcount) > 0 &&
143                 cfs_atomic_read(&llh->llh_refcount) < 0x5a5a);
144         if (cfs_atomic_dec_and_test(&llh->llh_refcount)) {
145                 class_handle_unhash(&llh->llh_handle);
146                 /* The structure may be held by other threads because RCU.
147                  *   -jxiong */
148                 if (cfs_atomic_read(&llh->llh_refcount))
149                         return;
150
151                 OBD_FREE_RCU(llh, sizeof *llh +
152                              sizeof(*llh->llh_handles) * llh->llh_stripe_count,
153                              &llh->llh_handle);
154         }
155 }
156
157 #define lov_uuid2str(lv, index) \
158         (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
159
160 /* lov_merge.c */
161 void lov_merge_attrs(struct obdo *tgt, struct obdo *src, obd_flag valid,
162                      struct lov_stripe_md *lsm, int stripeno, int *set);
163 int lov_merge_lvb(struct obd_export *exp, struct lov_stripe_md *lsm,
164                   struct ost_lvb *lvb, int kms_only);
165 int lov_adjust_kms(struct obd_export *exp, struct lov_stripe_md *lsm,
166                    obd_off size, int shrink);
167 int lov_merge_lvb_kms(struct lov_stripe_md *lsm,
168                       struct ost_lvb *lvb, __u64 *kms_place);
169
170 /* lov_offset.c */
171 obd_size lov_stripe_size(struct lov_stripe_md *lsm, obd_size ost_size,
172                          int stripeno);
173 int lov_stripe_offset(struct lov_stripe_md *lsm, obd_off lov_off,
174                       int stripeno, obd_off *obd_off);
175 obd_off lov_size_to_stripe(struct lov_stripe_md *lsm, obd_off file_size,
176                            int stripeno);
177 int lov_stripe_intersects(struct lov_stripe_md *lsm, int stripeno,
178                           obd_off start, obd_off end,
179                           obd_off *obd_start, obd_off *obd_end);
180 int lov_stripe_number(struct lov_stripe_md *lsm, obd_off lov_off);
181
182 /* lov_qos.c */
183 #define LOV_USES_ASSIGNED_STRIPE        0
184 #define LOV_USES_DEFAULT_STRIPE         1
185 int qos_add_tgt(struct obd_device *obd, __u32 index);
186 int qos_del_tgt(struct obd_device *obd, struct lov_tgt_desc *tgt);
187 void qos_shrink_lsm(struct lov_request_set *set);
188 int qos_prep_create(struct obd_export *exp, struct lov_request_set *set);
189 void qos_update(struct lov_obd *lov);
190 void qos_statfs_done(struct lov_obd *lov);
191 void qos_statfs_update(struct obd_device *obd, __u64 max_age, int wait);
192 int qos_remedy_create(struct lov_request_set *set, struct lov_request *req);
193
194 /* lov_request.c */
195 void lov_set_add_req(struct lov_request *req, struct lov_request_set *set);
196 int lov_finished_set(struct lov_request_set *set);
197 void lov_update_set(struct lov_request_set *set,
198                     struct lov_request *req, int rc);
199 int lov_update_common_set(struct lov_request_set *set,
200                           struct lov_request *req, int rc);
201 int lov_prep_create_set(struct obd_export *exp, struct obd_info *oifo,
202                         struct lov_stripe_md **ea, struct obdo *src_oa,
203                         struct obd_trans_info *oti,
204                         struct lov_request_set **reqset);
205 int cb_create_update(void *cookie, int rc);
206 int lov_fini_create_set(struct lov_request_set *set, struct lov_stripe_md **ea);
207 int lov_prep_brw_set(struct obd_export *exp, struct obd_info *oinfo,
208                      obd_count oa_bufs, struct brw_page *pga,
209                      struct obd_trans_info *oti,
210                      struct lov_request_set **reqset);
211 int lov_fini_brw_set(struct lov_request_set *set);
212 int lov_prep_getattr_set(struct obd_export *exp, struct obd_info *oinfo,
213                          struct lov_request_set **reqset);
214 int lov_fini_getattr_set(struct lov_request_set *set);
215 int lov_prep_destroy_set(struct obd_export *exp, struct obd_info *oinfo,
216                          struct obdo *src_oa, struct lov_stripe_md *lsm,
217                          struct obd_trans_info *oti,
218                          struct lov_request_set **reqset);
219 int lov_update_destroy_set(struct lov_request_set *set,
220                            struct lov_request *req, int rc);
221 int lov_fini_destroy_set(struct lov_request_set *set);
222 int lov_prep_setattr_set(struct obd_export *exp, struct obd_info *oinfo,
223                          struct obd_trans_info *oti,
224                          struct lov_request_set **reqset);
225 int lov_update_setattr_set(struct lov_request_set *set,
226                            struct lov_request *req, int rc);
227 int lov_fini_setattr_set(struct lov_request_set *set);
228 int lov_prep_punch_set(struct obd_export *exp, struct obd_info *oinfo,
229                        struct obd_trans_info *oti,
230                        struct lov_request_set **reqset);
231 int lov_fini_punch_set(struct lov_request_set *set);
232 int lov_prep_sync_set(struct obd_export *exp, struct obd_info *obd_info,
233                       obd_off start, obd_off end,
234                       struct lov_request_set **reqset);
235 int lov_fini_sync_set(struct lov_request_set *set);
236 int lov_prep_enqueue_set(struct obd_export *exp, struct obd_info *oinfo,
237                          struct ldlm_enqueue_info *einfo,
238                          struct lov_request_set **reqset);
239 int lov_fini_enqueue_set(struct lov_request_set *set, __u32 mode, int rc,
240                          struct ptlrpc_request_set *rqset);
241 int lov_prep_match_set(struct obd_export *exp, struct obd_info *oinfo,
242                        struct lov_stripe_md *lsm,
243                        ldlm_policy_data_t *policy, __u32 mode,
244                        struct lustre_handle *lockh,
245                        struct lov_request_set **reqset);
246 int lov_fini_match_set(struct lov_request_set *set, __u32 mode, int flags);
247 int lov_prep_cancel_set(struct obd_export *exp, struct obd_info *oinfo,
248                         struct lov_stripe_md *lsm,
249                         __u32 mode, struct lustre_handle *lockh,
250                         struct lov_request_set **reqset);
251 int lov_fini_cancel_set(struct lov_request_set *set);
252 int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
253                         struct lov_request_set **reqset);
254 void lov_update_statfs(struct obd_statfs *osfs, struct obd_statfs *lov_sfs,
255                        int success);
256 int lov_fini_statfs(struct obd_device *obd, struct obd_statfs *osfs,
257                     int success);
258 int lov_fini_statfs_set(struct lov_request_set *set);
259 int lov_statfs_interpret(struct ptlrpc_request_set *rqset, void *data, int rc);
260
261 /* lov_obd.c */
262 void lov_fix_desc(struct lov_desc *desc);
263 void lov_fix_desc_stripe_size(__u64 *val);
264 void lov_fix_desc_stripe_count(__u32 *val);
265 void lov_fix_desc_pattern(__u32 *val);
266 void lov_fix_desc_qos_maxage(__u32 *val);
267 __u32 lov_get_stripecnt(struct lov_obd *lov, __u32 magic, __u32 stripe_count);
268 int lov_connect_obd(struct obd_device *obd, __u32 index, int activate,
269                     struct obd_connect_data *data);
270 int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
271 int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
272                             __u32 *indexp, int *genp);
273 int lov_del_target(struct obd_device *obd, __u32 index,
274                    struct obd_uuid *uuidp, int gen);
275 /* lov_log.c */
276 int lov_llog_init(struct obd_device *obd, struct obd_llog_group *olg,
277                   struct obd_device *tgt, int *idx);
278 int lov_llog_finish(struct obd_device *obd, int count);
279
280 /* lov_pack.c */
281 int lov_packmd(struct obd_export *exp, struct lov_mds_md **lmm,
282                struct lov_stripe_md *lsm);
283 int lov_unpackmd(struct obd_export *exp, struct lov_stripe_md **lsmp,
284                  struct lov_mds_md *lmm, int lmm_bytes);
285 int lov_setstripe(struct obd_export *exp, int max_lmm_size,
286                   struct lov_stripe_md **lsmp, struct lov_user_md *lump);
287 int lov_setea(struct obd_export *exp, struct lov_stripe_md **lsmp,
288               struct lov_user_md *lump);
289 int lov_getstripe(struct obd_export *exp,
290                   struct lov_stripe_md *lsm, struct lov_user_md *lump);
291 int lov_alloc_memmd(struct lov_stripe_md **lsmp, int stripe_count,
292                     int pattern, int magic);
293 void lov_free_memmd(struct lov_stripe_md **lsmp);
294
295 void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
296 void lov_dump_lmm_v3(int level, struct lov_mds_md_v3 *lmm);
297 void lov_dump_lmm(int level, void *lmm);
298
299 /* lov_ea.c */
300 struct lov_stripe_md *lsm_alloc_plain(int stripe_count, int *size);
301 void lsm_free_plain(struct lov_stripe_md *lsm);
302
303 int lovea_destroy_object(struct lov_obd *lov, struct lov_stripe_md *lsm,
304                          struct obdo *oa, void *data);
305 /* lproc_lov.c */
306 extern struct file_operations lov_proc_target_fops;
307 #ifdef LPROCFS
308 void lprocfs_lov_init_vars(struct lprocfs_static_vars *lvars);
309 #else
310 static inline void lprocfs_lov_init_vars(struct lprocfs_static_vars *lvars)
311 {
312         memset(lvars, 0, sizeof(*lvars));
313 }
314 #endif
315
316 /* lov_cl.c */
317 extern struct lu_device_type lov_device_type;
318
319 /* pools */
320 extern cfs_hash_ops_t pool_hash_operations;
321 /* ost_pool methods */
322 int lov_ost_pool_init(struct ost_pool *op, unsigned int count);
323 int lov_ost_pool_extend(struct ost_pool *op, unsigned int min_count);
324 int lov_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
325 int lov_ost_pool_remove(struct ost_pool *op, __u32 idx);
326 int lov_ost_pool_free(struct ost_pool *op);
327
328 /* high level pool methods */
329 int lov_pool_new(struct obd_device *obd, char *poolname);
330 int lov_pool_del(struct obd_device *obd, char *poolname);
331 int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
332 int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
333 void lov_dump_pool(int level, struct pool_desc *pool);
334 struct pool_desc *lov_find_pool(struct lov_obd *lov, char *poolname);
335 int lov_check_index_in_pool(__u32 idx, struct pool_desc *pool);
336 void lov_pool_putref(struct pool_desc *pool);
337
338 #if BITS_PER_LONG == 64
339 # define ll_do_div64(n,base) ({                                 \
340         uint64_t __base = (base);                               \
341         uint64_t __rem;                                         \
342         __rem = ((uint64_t)(n)) % __base;                       \
343         (n) = ((uint64_t)(n)) / __base;                         \
344         __rem;                                                  \
345   })
346 #elif BITS_PER_LONG == 32
347 # define ll_do_div64(n,base) ({                                 \
348         uint64_t __rem;                                         \
349         if ((sizeof(base) > 4) && (((base)&0xffffffff00000000ULL) != 0)) { \
350                 int __remainder;                                \
351                 LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)), "64 bit lov "\
352                           "division %llu / %llu\n", (n), (base)); \
353                 __remainder = (n) & (LOV_MIN_STRIPE_SIZE - 1);  \
354                 (n) >>= LOV_MIN_STRIPE_BITS;                    \
355                 (base) >>= LOV_MIN_STRIPE_BITS;                 \
356                 __rem = do_div(n, base);                        \
357                 __rem <<= LOV_MIN_STRIPE_BITS;                  \
358                 __rem += __remainder;                           \
359         } else {                                                \
360                 __rem = do_div(n, base);                        \
361         }                                                       \
362         __rem;                                                  \
363   })
364 #else
365 #error Unsupported architecture.
366 #endif
367
368 #endif