Whamcloud - gitweb
LU-3285 lov: add MDT target to the LOV device
[fs/lustre-release.git] / lustre / lov / lov_cl_internal.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2008, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2012, 2016, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  *
36  * Internal interfaces of LOV layer.
37  *
38  *   Author: Nikita Danilov <nikita.danilov@sun.com>
39  *   Author: Jinshan Xiong <jinshan.xiong@intel.com>
40  */
41
42 #ifndef LOV_CL_INTERNAL_H
43 #define LOV_CL_INTERNAL_H
44
45 #include <libcfs/libcfs.h>
46 #include <obd.h>
47 #include <cl_object.h>
48 #include "lov_internal.h"
49
50 /** \defgroup lov lov
51  * Logical object volume layer. This layer implements data striping (raid0).
52  *
53  * At the lov layer top-entity (object, page, lock, io) is connected to one or
54  * more sub-entities: top-object, representing a file is connected to a set of
55  * sub-objects, each representing a stripe, file-level top-lock is connected
56  * to a set of per-stripe sub-locks, top-page is connected to a (single)
57  * sub-page, and a top-level IO is connected to a set of (potentially
58  * concurrent) sub-IO's.
59  *
60  * Sub-object, sub-page, and sub-io have well-defined top-object and top-page
61  * respectively, while a single sub-lock can be part of multiple top-locks.
62  *
63  * Reference counting models are different for different types of entities:
64  *
65  *     - top-object keeps a reference to its sub-objects, and destroys them
66  *       when it is destroyed.
67  *
68  *     - top-page keeps a reference to its sub-page, and destroys it when it
69  *       is destroyed.
70  *
71  *     - IO's are not reference counted.
72  *
73  * To implement a connection between top and sub entities, lov layer is split
74  * into two pieces: lov ("upper half"), and lovsub ("bottom half"), both
75  * implementing full set of cl-interfaces. For example, top-object has vvp and
76  * lov layers, and it's sub-object has lovsub and osc layers. lovsub layer is
77  * used to track child-parent relationship.
78  *
79  * @{
80  */
81
82 struct lovsub_device;
83 struct lovsub_object;
84 struct lovsub_lock;
85
86 enum lov_device_flags {
87         LOV_DEV_INITIALIZED = 1 << 0
88 };
89
90 /*
91  * Upper half.
92  */
93
94 /* Data-on-MDT array item in lov_device::ld_md_tgts[] */
95 struct lovdom_device {
96         struct cl_device        *ldm_mdc;
97         int                      ldm_idx;
98 };
99
100 struct lov_device {
101         /*
102          * XXX Locking of lov-private data is missing.
103          */
104         struct cl_device          ld_cl;
105         struct lov_obd           *ld_lov;
106         /** size of lov_device::ld_target[] array */
107         __u32                     ld_target_nr;
108         struct lovsub_device    **ld_target;
109         __u32                     ld_flags;
110
111         /* Data-on-MDT devices */
112         __u32                     ld_md_tgts_nr;
113         struct lovdom_device     *ld_md_tgts;
114         struct obd_device        *ld_lmv;
115         /* LU site for subdevices */
116         struct lu_site            ld_site;
117 };
118
119 /**
120  * Layout type.
121  */
122 enum lov_layout_type {
123         LLT_EMPTY,      /** empty file without body (mknod + truncate) */
124         LLT_RELEASED,   /** file with no objects (data in HSM) */
125         LLT_COMP,       /** support composite layout */
126         LLT_NR
127 };
128
129 static inline char *llt2str(enum lov_layout_type llt)
130 {
131         switch (llt) {
132         case LLT_EMPTY:
133                 return "EMPTY";
134         case LLT_RELEASED:
135                 return "RELEASED";
136         case LLT_COMP:
137                 return "COMPOSITE";
138         case LLT_NR:
139                 LBUG();
140         }
141         LBUG();
142         return "";
143 }
144
145 /**
146  * Return lov_layout_entry_type associated with a given composite layout
147  * entry.
148  */
149 static inline __u32 lov_entry_type(struct lov_stripe_md_entry *lsme)
150 {
151         if ((lov_pattern(lsme->lsme_pattern) == LOV_PATTERN_RAID0) ||
152             (lov_pattern(lsme->lsme_pattern) == LOV_PATTERN_MDT))
153                 return lov_pattern(lsme->lsme_pattern);
154         return 0;
155 }
156
157 struct lov_layout_entry;
158 struct lov_object;
159 struct lov_lock_sub;
160
161 struct lov_comp_layout_entry_ops {
162         int (*lco_init)(const struct lu_env *env, struct lov_device *dev,
163                         struct lov_object *lov, unsigned int index,
164                         const struct cl_object_conf *conf,
165                         struct lov_layout_entry *lle);
166         void (*lco_fini)(const struct lu_env *env,
167                          struct lov_layout_entry *lle);
168         int  (*lco_getattr)(const struct lu_env *env, struct lov_object *obj,
169                             unsigned int index, struct lov_layout_entry *lle,
170                             struct cl_attr **attr);
171 };
172
173 struct lov_layout_raid0 {
174         unsigned               lo_nr;
175         /**
176          * When this is true, lov_object::lo_attr contains
177          * valid up to date attributes for a top-level
178          * object. This field is reset to 0 when attributes of
179          * any sub-object change.
180          */
181         int                    lo_attr_valid;
182         /**
183          * Array of sub-objects. Allocated when top-object is
184          * created (lov_init_raid0()).
185          *
186          * Top-object is a strict master of its sub-objects:
187          * it is created before them, and outlives its
188          * children (this later is necessary so that basic
189          * functions like cl_object_top() always
190          * work). Top-object keeps a reference on every
191          * sub-object.
192          *
193          * When top-object is destroyed (lov_delete_raid0())
194          * it releases its reference to a sub-object and waits
195          * until the latter is finally destroyed.
196          */
197         struct lovsub_object **lo_sub;
198         /**
199          * protect lo_sub
200          */
201         spinlock_t              lo_sub_lock;
202         /**
203          * Cached object attribute, built from sub-object
204          * attributes.
205          */
206         struct cl_attr         lo_attr;
207 };
208
209 struct lov_layout_dom {
210         /* keep this always at first place so DOM layout entry
211          * can be addressed also as RAID0 after initialization.
212          */
213         struct lov_layout_raid0 lo_dom_r0;
214         struct lovsub_object *lo_dom;
215         struct lov_oinfo *lo_loi;
216 };
217
218 struct lov_layout_entry {
219         __u32 lle_type;
220         struct lu_extent lle_extent;
221         struct lov_comp_layout_entry_ops *lle_comp_ops;
222         union {
223                 struct lov_layout_raid0 lle_raid0;
224                 struct lov_layout_dom lle_dom;
225         };
226 };
227
228 /**
229  * lov-specific file state.
230  *
231  * lov object has particular layout type, determining how top-object is built
232  * on top of sub-objects. Layout type can change dynamically. When this
233  * happens, lov_object::lo_type_guard semaphore is taken in exclusive mode,
234  * all state pertaining to the old layout type is destroyed, and new state is
235  * constructed. All object methods take said semaphore in the shared mode,
236  * providing serialization against transition between layout types.
237  *
238  * To avoid multiple `if' or `switch' statements, selecting behavior for the
239  * current layout type, object methods perform double-dispatch, invoking
240  * function corresponding to the current layout type.
241  */
242 struct lov_object {
243         struct cl_object        lo_cl;
244         /**
245          * Serializes object operations with transitions between layout types.
246          *
247          * This semaphore is taken in shared mode by all object methods, and
248          * is taken in exclusive mode when object type is changed.
249          *
250          * \see lov_object::lo_type
251          */
252         struct rw_semaphore     lo_type_guard;
253         /**
254          * Type of an object. Protected by lov_object::lo_type_guard.
255          */
256         enum lov_layout_type    lo_type;
257         /**
258          * True if layout is invalid. This bit is cleared when layout lock
259          * is lost.
260          */
261         bool                    lo_layout_invalid;
262         /**
263          * How many IOs are on going on this object. Layout can be changed
264          * only if there is no active IO.
265          */
266         atomic_t               lo_active_ios;
267         /**
268          * Waitq - wait for no one else is using lo_lsm
269          */
270         wait_queue_head_t       lo_waitq;
271         /**
272          * Layout metadata. NULL if empty layout.
273          */
274         struct lov_stripe_md  *lo_lsm;
275
276         union lov_layout_state {
277                 struct lov_layout_state_empty {
278                 } empty;
279                 struct lov_layout_state_released {
280                 } released;
281                 struct lov_layout_composite {
282                         /**
283                          * Current valid entry count of entries.
284                          */
285                         unsigned int lo_entry_count;
286                         struct lov_layout_entry *lo_entries;
287                 } composite;
288         } u;
289         /**
290          * Thread that acquired lov_object::lo_type_guard in an exclusive
291          * mode.
292          */
293         struct task_struct            *lo_owner;
294 };
295
296 #define lov_foreach_layout_entry(lov, entry)                    \
297         for (entry = &lov->u.composite.lo_entries[0];           \
298              entry < &lov->u.composite.lo_entries               \
299                         [lov->u.composite.lo_entry_count];      \
300              entry++)
301
302 /**
303  * State lov_lock keeps for each sub-lock.
304  */
305 struct lov_lock_sub {
306         /** sub-lock itself */
307         struct cl_lock          sub_lock;
308         /** Set if the sublock has ever been enqueued, meaning it may
309          * hold resources of underlying layers */
310         unsigned int            sub_is_enqueued:1,
311                                 sub_initialized:1;
312         int                     sub_index;
313 };
314
315 /**
316  * lov-specific lock state.
317  */
318 struct lov_lock {
319         struct cl_lock_slice    lls_cl;
320         /** Number of sub-locks in this lock */
321         int                     lls_nr;
322         /** sublock array */
323         struct lov_lock_sub     lls_sub[0];
324 };
325
326 struct lov_page {
327         struct cl_page_slice    lps_cl;
328         /** layout_entry + stripe index, composed using lov_comp_index() */
329         unsigned int            lps_index;
330 };
331
332 /*
333  * Bottom half.
334  */
335
336 struct lovsub_device {
337         struct cl_device   acid_cl;
338         struct cl_device  *acid_next;
339 };
340
341 struct lovsub_object {
342         struct cl_object_header lso_header;
343         struct cl_object        lso_cl;
344         struct lov_object      *lso_super;
345         int                     lso_index;
346 };
347
348 /**
349  * Lock state at lovsub layer.
350  */
351 struct lovsub_lock {
352         struct cl_lock_slice  lss_cl;
353 };
354
355 /**
356  * Describe the environment settings for sublocks.
357  */
358 struct lov_sublock_env {
359         const struct lu_env *lse_env;
360         struct cl_io        *lse_io;
361 };
362
363 struct lovsub_page {
364         struct cl_page_slice lsb_cl;
365 };
366
367
368 struct lov_thread_info {
369         struct cl_object_conf   lti_stripe_conf;
370         struct lu_fid           lti_fid;
371         struct ost_lvb          lti_lvb;
372         struct cl_2queue        lti_cl2q;
373         struct cl_page_list     lti_plist;
374         wait_queue_t            lti_waiter;
375 };
376
377 /**
378  * State that lov_io maintains for every sub-io.
379  */
380 struct lov_io_sub {
381         /**
382          * Linkage into a list (hanging off lov_io::lis_subios)
383          */
384         struct list_head        sub_list;
385         /**
386          * Linkage into a list (hanging off lov_io::lis_active) of all
387          * sub-io's active for the current IO iteration.
388          */
389         struct list_head        sub_linkage;
390         unsigned int            sub_subio_index;
391         /**
392          * sub-io for a stripe. Ideally sub-io's can be stopped and resumed
393          * independently, with lov acting as a scheduler to maximize overall
394          * throughput.
395          */
396         struct cl_io            sub_io;
397         /**
398          * environment, in which sub-io executes.
399          */
400         struct lu_env           *sub_env;
401         /**
402          * environment's refcheck.
403          *
404          * \see cl_env_get()
405          */
406         __u16                   sub_refcheck;
407         __u16                   sub_reenter;
408 };
409
410 /**
411  * IO state private for LOV.
412  */
413 struct lov_io {
414         /** super-class */
415         struct cl_io_slice lis_cl;
416         /**
417          * Pointer to the object slice. This is a duplicate of
418          * lov_io::lis_cl::cis_object.
419          */
420         struct lov_object *lis_object;
421         /**
422          * Original end-of-io position for this IO, set by the upper layer as
423          * cl_io::u::ci_rw::pos + cl_io::u::ci_rw::count. lov remembers this,
424          * changes pos and count to fit IO into a single stripe and uses saved
425          * value to determine when IO iterations have to stop.
426          *
427          * This is used only for CIT_READ and CIT_WRITE io's.
428          */
429         loff_t             lis_io_endpos;
430
431         /**
432          * starting position within a file, for the current io loop iteration
433          * (stripe), used by ci_io_loop().
434          */
435         loff_t                  lis_pos;
436         /**
437          * end position with in a file, for the current stripe io. This is
438          * exclusive (i.e., next offset after last byte affected by io).
439          */
440         loff_t                  lis_endpos;
441         int                     lis_nr_subios;
442
443         /**
444          * the index of ls_single_subio in ls_subios array
445          */
446         int                     lis_single_subio_index;
447         struct lov_io_sub       lis_single_subio;
448
449         /**
450          * List of active sub-io's. Active sub-io's are under the range
451          * of [lis_pos, lis_endpos).
452          */
453         struct list_head        lis_active;
454         /**
455          * All sub-io's created in this lov_io.
456          */
457         struct list_head        lis_subios;
458 };
459
460 struct lov_session {
461         struct lov_io          ls_io;
462         struct lov_sublock_env ls_subenv;
463 };
464
465 extern struct lu_device_type lov_device_type;
466 extern struct lu_device_type lovsub_device_type;
467
468 extern struct lu_context_key lov_key;
469 extern struct lu_context_key lov_session_key;
470
471 extern struct kmem_cache *lov_lock_kmem;
472 extern struct kmem_cache *lov_object_kmem;
473 extern struct kmem_cache *lov_thread_kmem;
474 extern struct kmem_cache *lov_session_kmem;
475
476 extern struct kmem_cache *lovsub_lock_kmem;
477 extern struct kmem_cache *lovsub_object_kmem;
478
479 int   lov_object_init     (const struct lu_env *env, struct lu_object *obj,
480                            const struct lu_object_conf *conf);
481 int   lovsub_object_init  (const struct lu_env *env, struct lu_object *obj,
482                            const struct lu_object_conf *conf);
483 int   lov_lock_init       (const struct lu_env *env, struct cl_object *obj,
484                            struct cl_lock *lock, const struct cl_io *io);
485 int   lov_io_init         (const struct lu_env *env, struct cl_object *obj,
486                            struct cl_io *io);
487 int   lovsub_lock_init    (const struct lu_env *env, struct cl_object *obj,
488                            struct cl_lock *lock, const struct cl_io *io);
489
490 int   lov_lock_init_composite(const struct lu_env *env, struct cl_object *obj,
491                            struct cl_lock *lock, const struct cl_io *io);
492 int   lov_lock_init_empty (const struct lu_env *env, struct cl_object *obj,
493                            struct cl_lock *lock, const struct cl_io *io);
494 int   lov_io_init_composite(const struct lu_env *env, struct cl_object *obj,
495                            struct cl_io *io);
496 int   lov_io_init_empty   (const struct lu_env *env, struct cl_object *obj,
497                            struct cl_io *io);
498 int   lov_io_init_released(const struct lu_env *env, struct cl_object *obj,
499                            struct cl_io *io);
500
501 struct lov_io_sub *lov_sub_get(const struct lu_env *env, struct lov_io *lio,
502                                int stripe);
503
504 int   lov_page_init       (const struct lu_env *env, struct cl_object *ob,
505                            struct cl_page *page, pgoff_t index);
506 int   lovsub_page_init    (const struct lu_env *env, struct cl_object *ob,
507                            struct cl_page *page, pgoff_t index);
508 int   lov_page_init_empty (const struct lu_env *env, struct cl_object *obj,
509                            struct cl_page *page, pgoff_t index);
510 int   lov_page_init_composite(const struct lu_env *env, struct cl_object *obj,
511                            struct cl_page *page, pgoff_t index);
512 struct lu_object *lov_object_alloc   (const struct lu_env *env,
513                                       const struct lu_object_header *hdr,
514                                       struct lu_device *dev);
515 struct lu_object *lovsub_object_alloc(const struct lu_env *env,
516                                       const struct lu_object_header *hdr,
517                                       struct lu_device *dev);
518
519 struct lov_stripe_md *lov_lsm_addref(struct lov_object *lov);
520 int lov_page_stripe(const struct cl_page *page);
521 int lov_lsm_entry(const struct lov_stripe_md *lsm, __u64 offset);
522
523 #define lov_foreach_target(lov, var)                    \
524         for (var = 0; var < lov_targets_nr(lov); ++var)
525
526 /*****************************************************************************
527  *
528  * Type conversions.
529  *
530  * Accessors.
531  *
532  */
533
534 static inline struct lov_session *lov_env_session(const struct lu_env *env)
535 {
536         struct lov_session *ses;
537
538         ses = lu_context_key_get(env->le_ses, &lov_session_key);
539         LASSERT(ses != NULL);
540         return ses;
541 }
542
543 static inline struct lov_io *lov_env_io(const struct lu_env *env)
544 {
545         return &lov_env_session(env)->ls_io;
546 }
547
548 static inline int lov_is_object(const struct lu_object *obj)
549 {
550         return obj->lo_dev->ld_type == &lov_device_type;
551 }
552
553 static inline int lovsub_is_object(const struct lu_object *obj)
554 {
555         return obj->lo_dev->ld_type == &lovsub_device_type;
556 }
557
558 static inline struct lu_device *lov2lu_dev(struct lov_device *lov)
559 {
560         return &lov->ld_cl.cd_lu_dev;
561 }
562
563 static inline struct lov_device *lu2lov_dev(const struct lu_device *d)
564 {
565         LINVRNT(d->ld_type == &lov_device_type);
566         return container_of0(d, struct lov_device, ld_cl.cd_lu_dev);
567 }
568
569 static inline struct cl_device *lovsub2cl_dev(struct lovsub_device *lovsub)
570 {
571         return &lovsub->acid_cl;
572 }
573
574 static inline struct lu_device *lovsub2lu_dev(struct lovsub_device *lovsub)
575 {
576         return &lovsub2cl_dev(lovsub)->cd_lu_dev;
577 }
578
579 static inline struct lovsub_device *lu2lovsub_dev(const struct lu_device *d)
580 {
581         LINVRNT(d->ld_type == &lovsub_device_type);
582         return container_of0(d, struct lovsub_device, acid_cl.cd_lu_dev);
583 }
584
585 static inline struct lovsub_device *cl2lovsub_dev(const struct cl_device *d)
586 {
587         LINVRNT(d->cd_lu_dev.ld_type == &lovsub_device_type);
588         return container_of0(d, struct lovsub_device, acid_cl);
589 }
590
591 static inline struct lu_object *lov2lu(struct lov_object *lov)
592 {
593         return &lov->lo_cl.co_lu;
594 }
595
596 static inline struct cl_object *lov2cl(struct lov_object *lov)
597 {
598         return &lov->lo_cl;
599 }
600
601 static inline struct lov_object *lu2lov(const struct lu_object *obj)
602 {
603         LINVRNT(lov_is_object(obj));
604         return container_of0(obj, struct lov_object, lo_cl.co_lu);
605 }
606
607 static inline struct lov_object *cl2lov(const struct cl_object *obj)
608 {
609         LINVRNT(lov_is_object(&obj->co_lu));
610         return container_of0(obj, struct lov_object, lo_cl);
611 }
612
613 static inline struct lu_object *lovsub2lu(struct lovsub_object *los)
614 {
615         return &los->lso_cl.co_lu;
616 }
617
618 static inline struct cl_object *lovsub2cl(struct lovsub_object *los)
619 {
620         return &los->lso_cl;
621 }
622
623 static inline struct lovsub_object *cl2lovsub(const struct cl_object *obj)
624 {
625         LINVRNT(lovsub_is_object(&obj->co_lu));
626         return container_of0(obj, struct lovsub_object, lso_cl);
627 }
628
629 static inline struct lovsub_object *lu2lovsub(const struct lu_object *obj)
630 {
631         LINVRNT(lovsub_is_object(obj));
632         return container_of0(obj, struct lovsub_object, lso_cl.co_lu);
633 }
634
635 static inline struct lovsub_lock *
636 cl2lovsub_lock(const struct cl_lock_slice *slice)
637 {
638         LINVRNT(lovsub_is_object(&slice->cls_obj->co_lu));
639         return container_of(slice, struct lovsub_lock, lss_cl);
640 }
641
642 static inline struct lovsub_lock *cl2sub_lock(const struct cl_lock *lock)
643 {
644         const struct cl_lock_slice *slice;
645
646         slice = cl_lock_at(lock, &lovsub_device_type);
647         LASSERT(slice != NULL);
648         return cl2lovsub_lock(slice);
649 }
650
651 static inline struct lov_lock *cl2lov_lock(const struct cl_lock_slice *slice)
652 {
653         LINVRNT(lov_is_object(&slice->cls_obj->co_lu));
654         return container_of(slice, struct lov_lock, lls_cl);
655 }
656
657 static inline struct lov_page *cl2lov_page(const struct cl_page_slice *slice)
658 {
659         LINVRNT(lov_is_object(&slice->cpl_obj->co_lu));
660         return container_of0(slice, struct lov_page, lps_cl);
661 }
662
663 static inline struct lovsub_page *
664 cl2lovsub_page(const struct cl_page_slice *slice)
665 {
666         LINVRNT(lovsub_is_object(&slice->cpl_obj->co_lu));
667         return container_of0(slice, struct lovsub_page, lsb_cl);
668 }
669
670 static inline struct lov_io *cl2lov_io(const struct lu_env *env,
671                                 const struct cl_io_slice *ios)
672 {
673         struct lov_io *lio;
674
675         lio = container_of(ios, struct lov_io, lis_cl);
676         LASSERT(lio == lov_env_io(env));
677         return lio;
678 }
679
680 static inline int lov_targets_nr(const struct lov_device *lov)
681 {
682         return lov->ld_lov->desc.ld_tgt_count;
683 }
684
685 static inline struct lov_thread_info *lov_env_info(const struct lu_env *env)
686 {
687         struct lov_thread_info *info;
688
689         info = lu_context_key_get(&env->le_ctx, &lov_key);
690         LASSERT(info != NULL);
691         return info;
692 }
693
694 static inline struct lov_layout_entry *lov_entry(struct lov_object *lov, int i)
695 {
696         LASSERT(lov->lo_type == LLT_COMP);
697         LASSERTF(i < lov->u.composite.lo_entry_count,
698                  "entry %d entry_count %d", i, lov->u.composite.lo_entry_count);
699
700         return &lov->u.composite.lo_entries[i];
701 }
702
703 static inline struct lov_layout_raid0 *lov_r0(struct lov_object *lov, int i)
704 {
705         LASSERT(lov->lo_type == LLT_COMP);
706         LASSERTF(i < lov->u.composite.lo_entry_count,
707                  "entry %d entry_count %d", i, lov->u.composite.lo_entry_count);
708
709         return &lov->u.composite.lo_entries[i].lle_raid0;
710 }
711
712 static inline struct lov_stripe_md_entry *lov_lse(struct lov_object *lov, int i)
713 {
714         LASSERT(lov->lo_lsm != NULL);
715         LASSERT(i < lov->lo_lsm->lsm_entry_count);
716
717         return lov->lo_lsm->lsm_entries[i];
718 }
719
720 /* lov_pack.c */
721 int lov_getstripe(const struct lu_env *env, struct lov_object *obj,
722                   struct lov_stripe_md *lsm, struct lov_user_md __user *lump,
723                   size_t size);
724
725 /** @} lov */
726
727 #endif