lustre/include/linux/lustre_lib.h

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (C) 2001 Cluster File Systems, Inc. <braam@clusterfs.com>
   5  *
   6  *   This file is part of Lustre, http://www.lustre.org.
   7  *
   8  *   Lustre is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Lustre is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Lustre; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  *
  21  * Basic Lustre library routines.
  22  *
  23  */
  24
  25 #ifndef _LUSTRE_LIB_H
  26 #define _LUSTRE_LIB_H
  27
  28 #ifndef __KERNEL__
  29 # include <string.h>
  30 #else
  31 # include <asm/semaphore.h>
  32 #include <linux/kp30.h> /* XXX just for LASSERT! */
  33 #endif
  34 #include <linux/portals_lib.h>
  35 #include <linux/lustre_idl.h>
  36
  37 #if BITS_PER_LONG > 32
  38 #define LPU64 "%lu"
  39 #define LPD64 "%ld"
  40 #define LPX64 "%#lx"
  41 #else
  42 #define LPU64 "%Lu"
  43 #define LPD64 "%Ld"
  44 #define LPX64 "%#Lx"
  45 #endif
  46
  47 #ifdef __KERNEL__
  48 /* l_net.c */
  49 struct ptlrpc_request;
  50 struct obd_device;
  51 struct recovd_data;
  52
  53 int target_handle_connect(struct ptlrpc_request *req);
  54 int target_handle_disconnect(struct ptlrpc_request *req);
  55 int client_obd_connect(struct lustre_handle *conn, struct obd_device *obd,
  56                        obd_uuid_t cluuid);
  57 int client_obd_disconnect(struct lustre_handle *conn);
  58 int client_obd_setup(struct obd_device *obddev, obd_count len, void *buf);
  59 int client_obd_cleanup(struct obd_device * obddev);
  60 struct client_obd *client_conn2cli(struct lustre_handle *conn);
  61
  62 int target_revoke_connection(struct recovd_data *rd, int phase);
  63
  64 /* l_lock.c */
  65 struct lustre_lock {
  66         int l_depth;
  67         struct task_struct *l_owner;
  68         struct semaphore l_sem;
  69         spinlock_t l_spin;
  70 };
  71
  72 void l_lock_init(struct lustre_lock *);
  73 void l_lock(struct lustre_lock *);
  74 void l_unlock(struct lustre_lock *);
  75
  76
  77 /* page.c */
  78 #define CB_PHASE_START   12
  79 #define CB_PHASE_FINISH  13
  80
  81 /*
  82  * io_cb_data: io callback data merged into one struct to simplify
  83  *   memory managment. This may be turn out to be too simple.
  84  */
  85 struct io_cb_data;
  86 typedef int (*brw_callback_t)(struct io_cb_data *, int err, int phase);
  87
  88 struct io_cb_data {
  89         wait_queue_head_t waitq;
  90         atomic_t refcount;
  91         int complete;
  92         int err;
  93         struct ptlrpc_bulk_desc *desc;
  94         brw_callback_t cb;
  95         void *data;
  96 };
  97
  98 int ll_sync_io_cb(struct io_cb_data *data, int err, int phase);
  99 struct  io_cb_data *ll_init_cb(void);
 100
 101 /* simple.c */
 102 struct obd_run_ctxt;
 103 void push_ctxt(struct obd_run_ctxt *save, struct obd_run_ctxt *new);
 104 void pop_ctxt(struct obd_run_ctxt *saved);
 105 struct dentry *simple_mkdir(struct dentry *dir, char *name, int mode);
 106 struct dentry *simple_mknod(struct dentry *dir, char *name, int mode);
 107 int lustre_fread(struct file *file, char *str, int len, loff_t *off);
 108 int lustre_fwrite(struct file *file, const char *str, int len, loff_t *off);
 109 int lustre_fsync(struct file *file);
 110
 111 static inline void l_dput(struct dentry *de)
 112 {
 113         if (!de || IS_ERR(de))
 114                 return;
 115         shrink_dcache_parent(de);
 116         LASSERT(atomic_read(&de->d_count) > 0);
 117         dput(de);
 118 }
 119
 120 static inline void ll_sleep(int t)
 121 {
 122         set_current_state(TASK_INTERRUPTIBLE);
 123         schedule_timeout(t * HZ);
 124         set_current_state(TASK_RUNNING);
 125 }
 126 #endif
 127
 128 /* FIXME: This needs to validate pointers and cookies */
 129 static inline void *lustre_handle2object(struct lustre_handle *handle)
 130 {
 131         if (handle)
 132                 return (void *)(unsigned long)(handle->addr);
 133         return NULL;
 134 }
 135
 136 static inline void ldlm_object2handle(void *object, struct lustre_handle *handle)
 137 {
 138         handle->addr = (__u64)(unsigned long)object;
 139 }
 140
 141 struct obd_statfs;
 142 struct statfs;
 143 void statfs_pack(struct obd_statfs *osfs, struct statfs *sfs);
 144 void statfs_unpack(struct statfs *sfs, struct obd_statfs *osfs);
 145 void obd_statfs_pack(struct obd_statfs *tgt, struct obd_statfs *src);
 146 static inline void
 147 obd_statfs_unpack(struct obd_statfs *tgt, struct obd_statfs *src)
 148 {
 149         obd_statfs_pack(tgt, src);
 150 }
 151
 152 #include <linux/portals_lib.h>
 153
 154 /*
 155  *   OBD IOCTLS
 156  */
 157 #define OBD_IOCTL_VERSION 0x00010001
 158
 159 struct obd_ioctl_data {
 160         uint32_t ioc_len;
 161         uint32_t ioc_version;
 162
 163         uint64_t ioc_addr;
 164         uint64_t ioc_cookie;
 165         uint32_t ioc_conn1;
 166         uint32_t ioc_conn2;
 167
 168         struct obdo ioc_obdo1;
 169         struct obdo ioc_obdo2;
 170
 171         obd_size         ioc_count;
 172         obd_off          ioc_offset;
 173         uint32_t         ioc_dev;
 174         uint32_t         ____padding;
 175
 176         /* buffers the kernel will treat as user pointers */
 177         uint32_t ioc_plen1;
 178         char    *ioc_pbuf1;
 179         uint32_t ioc_plen2;
 180         char    *ioc_pbuf2;
 181
 182         /* two inline buffers */
 183         uint32_t ioc_inllen1;
 184         char    *ioc_inlbuf1;
 185         uint32_t ioc_inllen2;
 186         char    *ioc_inlbuf2;
 187         uint32_t ioc_inllen3;
 188         char    *ioc_inlbuf3;
 189
 190         char    ioc_bulk[0];
 191 };
 192
 193 struct obd_ioctl_hdr {
 194         uint32_t ioc_len;
 195         uint32_t ioc_version;
 196 };
 197
 198 static inline int obd_ioctl_packlen(struct obd_ioctl_data *data)
 199 {
 200         int len = size_round(sizeof(struct obd_ioctl_data));
 201         len += size_round(data->ioc_inllen1);
 202         len += size_round(data->ioc_inllen2);
 203         len += size_round(data->ioc_inllen3);
 204         return len;
 205 }
 206
 207
 208 static inline int obd_ioctl_is_invalid(struct obd_ioctl_data *data)
 209 {
 210         if (data->ioc_len > (1<<30)) {
 211                 printk("OBD ioctl: ioc_len larger than 1<<30\n");
 212                 return 1;
 213         }
 214         if (data->ioc_inllen1 > (1<<30)) {
 215                 printk("OBD ioctl: ioc_inllen1 larger than 1<<30\n");
 216                 return 1;
 217         }
 218         if (data->ioc_inllen2 > (1<<30)) {
 219                 printk("OBD ioctl: ioc_inllen2 larger than 1<<30\n");
 220                 return 1;
 221         }
 222
 223         if (data->ioc_inllen3 > (1<<30)) {
 224                 printk("OBD ioctl: ioc_inllen3 larger than 1<<30\n");
 225                 return 1;
 226         }
 227         if (data->ioc_inlbuf1 && !data->ioc_inllen1) {
 228                 printk("OBD ioctl: inlbuf1 pointer but 0 length\n");
 229                 return 1;
 230         }
 231         if (data->ioc_inlbuf2 && !data->ioc_inllen2) {
 232                 printk("OBD ioctl: inlbuf2 pointer but 0 length\n");
 233                 return 1;
 234         }
 235         if (data->ioc_inlbuf3 && !data->ioc_inllen3) {
 236                 printk("OBD ioctl: inlbuf3 pointer but 0 length\n");
 237                 return 1;
 238         }
 239         if (data->ioc_pbuf1 && !data->ioc_plen1) {
 240                 printk("OBD ioctl: pbuf1 pointer but 0 length\n");
 241                 return 1;
 242         }
 243         if (data->ioc_pbuf2 && !data->ioc_plen2) {
 244                 printk("OBD ioctl: pbuf2 pointer but 0 length\n");
 245                 return 1;
 246         }
 247         /*
 248         if (data->ioc_inllen1 && !data->ioc_inlbuf1) {
 249                 printk("OBD ioctl: inllen1 set but NULL pointer\n");
 250                 return 1;
 251         }
 252         if (data->ioc_inllen2 && !data->ioc_inlbuf2) {
 253                 printk("OBD ioctl: inllen2 set but NULL pointer\n");
 254                 return 1;
 255         }
 256         if (data->ioc_inllen3 && !data->ioc_inlbuf3) {
 257                 printk("OBD ioctl: inllen3 set but NULL pointer\n");
 258                 return 1;
 259         }
 260         */
 261         if (data->ioc_plen1 && !data->ioc_pbuf1) {
 262                 printk("OBD ioctl: plen1 set but NULL pointer\n");
 263                 return 1;
 264         }
 265         if (data->ioc_plen2 && !data->ioc_pbuf2) {
 266                 printk("OBD ioctl: plen2 set but NULL pointer\n");
 267                 return 1;
 268         }
 269         if (obd_ioctl_packlen(data) != data->ioc_len ) {
 270                 printk("OBD ioctl: packlen exceeds ioc_len\n");
 271                 return 1;
 272         }
 273 #if 0
 274         if (data->ioc_inllen1 &&
 275             data->ioc_bulk[data->ioc_inllen1 - 1] != '\0') {
 276                 printk("OBD ioctl: inlbuf1 not 0 terminated\n");
 277                 return 1;
 278         }
 279         if (data->ioc_inllen2 &&
 280             data->ioc_bulk[size_round(data->ioc_inllen1) + data->ioc_inllen2 - 1] != '\0') {
 281                 printk("OBD ioctl: inlbuf2 not 0 terminated\n");
 282                 return 1;
 283         }
 284         if (data->ioc_inllen3 &&
 285             data->ioc_bulk[size_round(data->ioc_inllen1) + size_round(data->ioc_inllen2)
 286                            + data->ioc_inllen3 - 1] != '\0') {
 287                 printk("OBD ioctl: inlbuf3 not 0 terminated\n");
 288                 return 1;
 289         }
 290 #endif
 291         return 0;
 292 }
 293
 294 #ifndef __KERNEL__
 295 static inline int obd_ioctl_pack(struct obd_ioctl_data *data, char **pbuf,
 296                                  int max)
 297 {
 298         char *ptr;
 299         struct obd_ioctl_data *overlay;
 300         data->ioc_len = obd_ioctl_packlen(data);
 301         data->ioc_version = OBD_IOCTL_VERSION;
 302
 303         if (*pbuf && obd_ioctl_packlen(data) > max)
 304                 return 1;
 305         if (*pbuf == NULL) {
 306                 *pbuf = malloc(data->ioc_len);
 307         }
 308         if (!*pbuf)
 309                 return 1;
 310         overlay = (struct obd_ioctl_data *)*pbuf;
 311         memcpy(*pbuf, data, sizeof(*data));
 312
 313         ptr = overlay->ioc_bulk;
 314         if (data->ioc_inlbuf1)
 315                 LOGL(data->ioc_inlbuf1, data->ioc_inllen1, ptr);
 316         if (data->ioc_inlbuf2)
 317                 LOGL(data->ioc_inlbuf2, data->ioc_inllen2, ptr);
 318         if (data->ioc_inlbuf3)
 319                 LOGL(data->ioc_inlbuf3, data->ioc_inllen3, ptr);
 320         if (obd_ioctl_is_invalid(overlay))
 321                 return 1;
 322
 323         return 0;
 324 }
 325
 326 #else
 327
 328 #include <linux/obd_support.h>
 329
 330 /* buffer MUST be at least the size of obd_ioctl_hdr */
 331 static inline int obd_ioctl_getdata(char **buf, int *len, void *arg)
 332 {
 333         struct obd_ioctl_hdr hdr;
 334         struct obd_ioctl_data *data;
 335         int err;
 336         ENTRY;
 337
 338
 339         err = copy_from_user(&hdr, (void *)arg, sizeof(hdr));
 340         if ( err ) {
 341                 EXIT;
 342                 return err;
 343         }
 344
 345         if (hdr.ioc_version != OBD_IOCTL_VERSION) {
 346                 printk("OBD: version mismatch kernel vs application\n");
 347                 return -EINVAL;
 348         }
 349
 350         if (hdr.ioc_len > 8192) {
 351                 printk("OBD: user buffer exceeds 8192 max buffer\n");
 352                 return -EINVAL;
 353         }
 354
 355         if (hdr.ioc_len < sizeof(struct obd_ioctl_data)) {
 356                 printk("OBD: user buffer too small for ioctl\n");
 357                 return -EINVAL;
 358         }
 359
 360         OBD_ALLOC(*buf, hdr.ioc_len);
 361         if (!*buf) {
 362                 CERROR("Cannot allocate control buffer of len %d\n",
 363                        hdr.ioc_len);
 364                 RETURN(-EINVAL);
 365         }
 366         *len = hdr.ioc_len;
 367         data = (struct obd_ioctl_data *)*buf;
 368
 369         err = copy_from_user(*buf, (void *)arg, hdr.ioc_len);
 370         if ( err ) {
 371                 EXIT;
 372                 return err;
 373         }
 374
 375         if (obd_ioctl_is_invalid(data)) {
 376                 printk("OBD: ioctl not correctly formatted\n");
 377                 return -EINVAL;
 378         }
 379
 380         if (data->ioc_inllen1) {
 381                 data->ioc_inlbuf1 = &data->ioc_bulk[0];
 382         }
 383
 384         if (data->ioc_inllen2) {
 385                 data->ioc_inlbuf2 = &data->ioc_bulk[0] + size_round(data->ioc_inllen1);
 386         }
 387
 388         if (data->ioc_inllen3) {
 389                 data->ioc_inlbuf3 = &data->ioc_bulk[0] + size_round(data->ioc_inllen1) +
 390                         size_round(data->ioc_inllen2);
 391         }
 392
 393         EXIT;
 394         return 0;
 395 }
 396 #endif
 397
 398 #define OBD_IOC_CREATE                 _IOR ('f', 101, long)
 399 #define OBD_IOC_SETUP                  _IOW ('f', 102, long)
 400 #define OBD_IOC_CLEANUP                _IO  ('f', 103      )
 401 #define OBD_IOC_DESTROY                _IOW ('f', 104, long)
 402 #define OBD_IOC_PREALLOCATE            _IOWR('f', 105, long)
 403 #define OBD_IOC_DEC_USE_COUNT          _IO  ('f', 106      )
 404 #define OBD_IOC_SETATTR                _IOW ('f', 107, long)
 405 #define OBD_IOC_GETATTR                _IOR ('f', 108, long)
 406 #define OBD_IOC_READ                   _IOWR('f', 109, long)
 407 #define OBD_IOC_WRITE                  _IOWR('f', 110, long)
 408 #define OBD_IOC_CONNECT                _IOR ('f', 111, long)
 409 #define OBD_IOC_DISCONNECT             _IOW ('f', 112, long)
 410 #define OBD_IOC_STATFS                 _IOWR('f', 113, long)
 411 #define OBD_IOC_SYNC                   _IOR ('f', 114, long)
 412 #define OBD_IOC_READ2                  _IOWR('f', 115, long)
 413 #define OBD_IOC_FORMAT                 _IOWR('f', 116, long)
 414 #define OBD_IOC_PARTITION              _IOWR('f', 117, long)
 415 #define OBD_IOC_ATTACH                 _IOWR('f', 118, long)
 416 #define OBD_IOC_DETACH                 _IOWR('f', 119, long)
 417 #define OBD_IOC_COPY                   _IOWR('f', 120, long)
 418 #define OBD_IOC_MIGR                   _IOWR('f', 121, long)
 419 #define OBD_IOC_PUNCH                  _IOWR('f', 122, long)
 420 #define OBD_IOC_DEVICE                 _IOWR('f', 123, long)
 421 #define OBD_IOC_MODULE_DEBUG           _IOWR('f', 124, long)
 422 #define OBD_IOC_BRW_READ               _IOWR('f', 125, long)
 423 #define OBD_IOC_BRW_WRITE              _IOWR('f', 126, long)
 424 #define OBD_IOC_NAME2DEV               _IOWR('f', 127, long)
 425 #define OBD_IOC_NEWDEV                 _IOWR('f', 128, long)
 426 #define OBD_IOC_LIST                   _IOWR('f', 129, long)
 427 #define OBD_IOC_UUID2DEV               _IOWR('f', 130, long)
 428
 429 #define OBD_IOC_RECOVD_NEWCONN         _IOWR('f', 131, long)
 430 #define OBD_IOC_LOV_CONFIG             _IOWR('f', 132, long)
 431
 432 #define OBD_IOC_DEC_FS_USE_COUNT       _IO  ('f', 133      )
 433
 434 #define OBD_IOC_OPEN                   _IOWR('f', 134, long)
 435 #define OBD_IOC_CLOSE                  _IOWR('f', 135, long)
 436
 437 /*
 438  * l_wait_event is a flexible sleeping function, permitting simple caller
 439  * configuration of interrupt and timeout sensitivity along with actions to
 440  * be performed in the event of either exception.
 441  *
 442  * Common usage looks like this:
 443  *
 444  * struct l_wait_info lwi = LWI_TIMEOUT_INTR(timeout, timeout_handler,
 445  *                                           intr_handler, callback_data);
 446  * rc = l_wait_event(waitq, condition, &lwi);
 447  *
 448  * (LWI_TIMEOUT and LWI_INTR macros are available for timeout- and
 449  * interrupt-only variants, respectively.)
 450  *
 451  * If a timeout is specified, the timeout_handler will be invoked in the event
 452  * that the timeout expires before the process is awakened.  (Note that any
 453  * waking of the process will restart the timeout, even if the condition is
 454  * not satisfied and the process immediately returns to sleep.  This might be
 455  * considered a bug.)  If the timeout_handler returns non-zero, l_wait_event
 456  * will return -ETIMEDOUT and the caller will continue.  If the handler returns
 457  * zero instead, the process will go back to sleep until it is awakened by the
 458  * waitq or some similar mechanism, or an interrupt occurs (if the caller has
 459  * asked for interrupts to be detected).  The timeout will only fire once, so
 460  * callers should take care that a timeout_handler which returns zero will take
 461  * future steps to awaken the process.  N.B. that these steps must include making
 462  * the provided condition become true.
 463  *
 464  * If the interrupt flag (lwi_signals) is non-zero, then the process will be
 465  * interruptible, and will be awakened by any "killable" signal (SIGTERM,
 466  * SIGKILL or SIGINT).  If a timeout is also specified, then the process will
 467  * only become interruptible _after_ the timeout has expired, though it can be
 468  * awakened by a signal that was delivered before the timeout and is still
 469  * pending when the timeout expires.  If a timeout is not specified, the process
 470  * will be interruptible at all times during l_wait_event.
 471  */
 472
 473 struct l_wait_info {
 474         long   lwi_timeout;
 475         int  (*lwi_on_timeout)(void *);
 476         long   lwi_signals;
 477         int  (*lwi_on_signal)(void *); /* XXX return is ignored for now */
 478         void  *lwi_cb_data;
 479 };
 480
 481 #define LWI_TIMEOUT(time, cb, data)                                             \
 482 ((struct l_wait_info) {                                                         \
 483         lwi_timeout:    time,                                                   \
 484         lwi_on_timeout: cb,                                                     \
 485         lwi_cb_data:    data                                                    \
 486 })
 487
 488 #define LWI_INTR(cb, data)                                                      \
 489 ((struct l_wait_info) {                                                         \
 490         lwi_signals:   1,                                                       \
 491         lwi_on_signal: cb,                                                      \
 492         lwi_cb_data:   data                                                     \
 493 })
 494
 495 #define LWI_TIMEOUT_INTR(time, time_cb, sig_cb, data)                           \
 496 ((struct l_wait_info) {                                                         \
 497         lwi_timeout:    time,                                                   \
 498         lwi_on_timeout: time_cb,                                                \
 499         lwi_signals:    1,                                                      \
 500         lwi_on_signal:  sig_cb,                                                 \
 501         lwi_cb_data:    data                                                    \
 502 })
 503
 504 /* XXX this should be one mask-check */
 505 #define l_killable_pending(task)                                                \
 506 (sigismember(&(task->pending.signal), SIGKILL) ||                               \
 507  sigismember(&(task->pending.signal), SIGINT) ||                                \
 508  sigismember(&(task->pending.signal), SIGTERM))
 509
 510 #define __l_wait_event(wq, condition, info, ret)                                \
 511 do {                                                                            \
 512         wait_queue_t __wait;                                                    \
 513         long __state;                                                           \
 514         int __timed_out = 0;                                                    \
 515         init_waitqueue_entry(&__wait, current);                                 \
 516                                                                                 \
 517         add_wait_queue(&wq, &__wait);                                           \
 518         if (info->lwi_signals && !info->lwi_timeout)                            \
 519             __state = TASK_INTERRUPTIBLE;                                       \
 520         else                                                                    \
 521             __state = TASK_UNINTERRUPTIBLE;                                     \
 522         for (;;) {                                                              \
 523             set_current_state(__state);                                         \
 524             if (condition)                                                      \
 525                     break;                                                      \
 526             if (__state == TASK_INTERRUPTIBLE && l_killable_pending(current)) { \
 527                 CERROR("lwe: interrupt\n");                                     \
 528                 if (info->lwi_on_signal)                                        \
 529                         info->lwi_on_signal(info->lwi_cb_data);                 \
 530                 ret = -EINTR;                                                   \
 531                 break;                                                          \
 532             }                                                                   \
 533             if (info->lwi_timeout && !__timed_out) {                            \
 534                 if (schedule_timeout(info->lwi_timeout) == 0) {                 \
 535                     CERROR("lwe: timeout\n");                                   \
 536                     __timed_out = 1;                                            \
 537                     if (!info->lwi_on_timeout ||                                \
 538                         info->lwi_on_timeout(info->lwi_cb_data)) {              \
 539                         ret = -ETIMEDOUT;                                       \
 540                         break;                                                  \
 541                     }                                                           \
 542                     /* We'll take signals after a timeout. */                   \
 543                     if (info->lwi_signals) {                                    \
 544                         __state = TASK_INTERRUPTIBLE;                           \
 545                         /* Check for a pending interrupt. */                    \
 546                         if (info->lwi_signals && l_killable_pending(current)) { \
 547                             CERROR("lwe: pending interrupt\n");                 \
 548                             if (info->lwi_on_signal)                            \
 549                                 info->lwi_on_signal(info->lwi_cb_data);         \
 550                             ret = -EINTR;                                       \
 551                             break;                                              \
 552                         }                                                       \
 553                     }                                                           \
 554                 }                                                               \
 555             } else {                                                            \
 556                 schedule();                                                     \
 557             }                                                                   \
 558         }                                                                       \
 559         current->state = TASK_RUNNING;                                          \
 560         remove_wait_queue(&wq, &__wait);                                        \
 561 } while(0)
 562
 563 #define l_wait_event(wq, condition, info)                                       \
 564 ({                                                                              \
 565         int __ret = 0;                                                          \
 566         struct l_wait_info *__info = (info);                                    \
 567         if (!(condition))                                                       \
 568                 __l_wait_event(wq, condition, __info, __ret);                   \
 569         __ret;                                                                  \
 570 })
 571
 572 #endif /* _LUSTRE_LIB_H */