lustre/include/liblustre.h

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (C) 2001 Cluster File Systems, Inc. <info@clusterfs.com>
   5  *
   6  *   This file is part of Lustre, http://www.lustre.org.
   7  *
   8  *   Lustre is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Lustre is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Lustre; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  *
  21  * User-space Lustre headers.
  22  *
  23  */
  24 #ifndef LIBLUSTRE_H__
  25 #define LIBLUSTRE_H__
  26
  27 #include <sys/mman.h>
  28 #ifdef HAVE_STDINT_H
  29 # include <stdint.h>
  30 #endif
  31 #ifdef HAVE_ASM_PAGE_H
  32 # include <asm/page.h>
  33 #endif
  34 #ifdef HAVE_SYS_USER_H
  35 # include <sys/user.h>
  36 #endif
  37
  38 #include "ioctl.h"
  39
  40 #include <stdio.h>
  41 #include <sys/ioctl.h>
  42 #include <stdlib.h>
  43 #include <string.h>
  44 #include <errno.h>
  45 #include <sys/stat.h>
  46 #include <sys/vfs.h>
  47
  48 #include <libcfs/list.h>
  49 #include <portals/p30.h>
  50 #include <libcfs/kp30.h>
  51
  52 /* definitions for liblustre */
  53
  54 #ifdef __CYGWIN__
  55
  56 #define PAGE_SHIFT 12
  57 #define PAGE_SIZE (1UL << PAGE_SHIFT)
  58 #define PAGE_MASK (~(PAGE_SIZE-1))
  59 #define loff_t long long
  60 #define ERESTART 2001
  61 typedef unsigned short umode_t;
  62
  63 #endif
  64
  65 /* This is because lprocfs_status.h gets included here indirectly.  It would
  66  * be much better to just avoid lprocfs being included into liblustre entirely
  67  * but that requires more header surgery than I can handle right now.
  68  */
  69 #ifndef smp_processor_id
  70 #define smp_processor_id() 0
  71 #endif
  72
  73 /* always adopt 2.5 definitions */
  74 #define KERNEL_VERSION(a,b,c) ((a)*100+(b)*10+c)
  75 #define LINUX_VERSION_CODE (2*200+5*10+0)
  76
  77 static inline void inter_module_put(void *a)
  78 {
  79         return;
  80 }
  81
  82 extern ptl_handle_ni_t         tcpnal_ni;
  83
  84 void *inter_module_get(char *arg);
  85
  86 /* cheats for now */
  87
  88 struct work_struct {
  89         void (*ws_task)(void *arg);
  90         void *ws_arg;
  91 };
  92
  93 static inline void prepare_work(struct work_struct *q, void (*t)(void *),
  94                                 void *arg)
  95 {
  96         q->ws_task = t;
  97         q->ws_arg = arg;
  98         return;
  99 }
 100
 101 static inline void schedule_work(struct work_struct *q)
 102 {
 103         q->ws_task(q->ws_arg);
 104 }
 105
 106
 107 #define strnlen(a,b) strlen(a)
 108 static inline void *kmalloc(int size, int prot)
 109 {
 110         return malloc(size);
 111 }
 112 #define vmalloc malloc
 113 #define vfree free
 114 #define kfree(a) free(a)
 115 #define GFP_KERNEL 1
 116 #define GFP_HIGHUSER 1
 117 #define GFP_ATOMIC 1
 118 #define GFP_NOFS 1
 119 #define IS_ERR(a) (((a) && abs((long)(a)) < 500) ? 1 : 0)
 120 #define PTR_ERR(a) ((long)(a))
 121 #define ERR_PTR(a) ((void*)((long)(a)))
 122
 123 typedef struct {
 124         void *cwd;
 125 }mm_segment_t;
 126
 127 typedef int (read_proc_t)(char *page, char **start, off_t off,
 128                           int count, int *eof, void *data);
 129
 130 struct file; /* forward ref */
 131 typedef int (write_proc_t)(struct file *file, const char *buffer,
 132                            unsigned long count, void *data);
 133
 134 #define NIPQUAD(addr) \
 135         ((unsigned char *)&addr)[0], \
 136         ((unsigned char *)&addr)[1], \
 137         ((unsigned char *)&addr)[2], \
 138         ((unsigned char *)&addr)[3]
 139
 140 #if defined(__LITTLE_ENDIAN)
 141 #define HIPQUAD(addr) \
 142         ((unsigned char *)&addr)[3], \
 143         ((unsigned char *)&addr)[2], \
 144         ((unsigned char *)&addr)[1], \
 145         ((unsigned char *)&addr)[0]
 146 #elif defined(__BIG_ENDIAN)
 147 #define HIPQUAD NIPQUAD
 148 #else
 149 #error "Undefined byteorder??"
 150 #endif /* __LITTLE_ENDIAN */
 151
 152 /* bits ops */
 153 static __inline__ int set_bit(int nr,long * addr)
 154 {
 155         int     mask, retval;
 156
 157         addr += nr >> 5;
 158         mask = 1 << (nr & 0x1f);
 159         retval = (mask & *addr) != 0;
 160         *addr |= mask;
 161         return retval;
 162 }
 163
 164 static __inline__ int clear_bit(int nr, long * addr)
 165 {
 166         int     mask, retval;
 167
 168         addr += nr >> 5;
 169         mask = 1 << (nr & 0x1f);
 170         retval = (mask & *addr) != 0;
 171         *addr &= ~mask;
 172         return retval;
 173 }
 174
 175 static __inline__ int test_bit(int nr, long * addr)
 176 {
 177         int     mask;
 178
 179         addr += nr >> 5;
 180         mask = 1 << (nr & 0x1f);
 181         return ((mask & *addr) != 0);
 182 }
 183
 184 static __inline__ int ext2_set_bit(int nr, void *addr)
 185 {
 186         return set_bit(nr, (long*)addr);
 187 }
 188
 189 static __inline__ int ext2_clear_bit(int nr, void *addr)
 190 {
 191         return clear_bit(nr, (long*)addr);
 192 }
 193
 194 static __inline__ int ext2_test_bit(int nr, void *addr)
 195 {
 196         return test_bit(nr, (long*)addr);
 197 }
 198
 199 /* modules */
 200
 201 struct module {
 202         int count;
 203 };
 204
 205 static inline void MODULE_AUTHOR(char *name)
 206 {
 207         printf("%s\n", name);
 208 }
 209 #define MODULE_DESCRIPTION(name) MODULE_AUTHOR(name)
 210 #define MODULE_LICENSE(name) MODULE_AUTHOR(name)
 211
 212 #define THIS_MODULE NULL
 213 #define __init
 214 #define __exit
 215
 216 /* devices */
 217
 218 static inline int misc_register(void *foo)
 219 {
 220         return 0;
 221 }
 222
 223 static inline int misc_deregister(void *foo)
 224 {
 225         return 0;
 226 }
 227
 228 static inline int request_module(char *name)
 229 {
 230         return (-EINVAL);
 231 }
 232
 233 #define __MOD_INC_USE_COUNT(m)  do {} while (0)
 234 #define __MOD_DEC_USE_COUNT(m)  do {} while (0)
 235 #define MOD_INC_USE_COUNT       do {} while (0)
 236 #define MOD_DEC_USE_COUNT       do {} while (0)
 237 static inline void __module_get(struct module *module)
 238 {
 239 }
 240
 241 static inline int try_module_get(struct module *module)
 242 {
 243         return 1;
 244 }
 245
 246 static inline void module_put(struct module *module)
 247 {
 248 }
 249
 250 /* module initialization */
 251 extern int init_obdclass(void);
 252 extern int ptlrpc_init(void);
 253 extern int ldlm_init(void);
 254 extern int osc_init(void);
 255 extern int lov_init(void);
 256 extern int mdc_init(void);
 257 extern int echo_client_init(void);
 258
 259
 260
 261 /* general stuff */
 262
 263 #define EXPORT_SYMBOL(S)
 264
 265 typedef struct { } spinlock_t;
 266 typedef __u64 kdev_t;
 267
 268 #define SPIN_LOCK_UNLOCKED (spinlock_t) { }
 269 #define LASSERT_SPIN_LOCKED(lock) do {} while(0)
 270
 271 static inline void spin_lock(spinlock_t *l) {return;}
 272 static inline void spin_unlock(spinlock_t *l) {return;}
 273 static inline void spin_lock_init(spinlock_t *l) {return;}
 274 static inline void local_irq_save(unsigned long flag) {return;}
 275 static inline void local_irq_restore(unsigned long flag) {return;}
 276 static inline int spin_is_locked(spinlock_t *l) {return 1;}
 277
 278 static inline void spin_lock_bh(spinlock_t *l) {}
 279 static inline void spin_unlock_bh(spinlock_t *l) {}
 280 static inline void spin_lock_irqsave(spinlock_t *a, unsigned long b) {}
 281 static inline void spin_unlock_irqrestore(spinlock_t *a, unsigned long b) {}
 282
 283 #define min(x,y) ((x)<(y) ? (x) : (y))
 284 #define max(x,y) ((x)>(y) ? (x) : (y))
 285
 286 #ifndef min_t
 287 #define min_t(type,x,y) \
 288         ({ type __x = (x); type __y = (y); __x < __y ? __x: __y; })
 289 #endif
 290 #ifndef max_t
 291 #define max_t(type,x,y) \
 292         ({ type __x = (x); type __y = (y); __x > __y ? __x: __y; })
 293 #endif
 294
 295 /* registering symbols */
 296
 297 #define ERESTARTSYS ERESTART
 298 #define HZ 1
 299
 300 /* random */
 301
 302 static inline void get_random_bytes(void *ptr, int size)
 303 {
 304         int *p = (int *)ptr;
 305         int i, count = size/sizeof(int);
 306
 307         for (i = 0; i< count; i++)
 308                 *p++ = rand();
 309 }
 310
 311 /* memory */
 312
 313 /* FIXME */
 314 #define num_physpages (16 * 1024)
 315
 316 static inline int copy_from_user(void *a,void *b, int c)
 317 {
 318         memcpy(a,b,c);
 319         return 0;
 320 }
 321
 322 static inline int copy_to_user(void *a,void *b, int c)
 323 {
 324         memcpy(a,b,c);
 325         return 0;
 326 }
 327
 328
 329 /* slabs */
 330 typedef struct {
 331          int size;
 332 } kmem_cache_t;
 333 #define SLAB_HWCACHE_ALIGN 0
 334 static inline kmem_cache_t *
 335 kmem_cache_create(const char *name, size_t objsize, size_t cdum,
 336                   unsigned long d,
 337                   void (*e)(void *, kmem_cache_t *, unsigned long),
 338                   void (*f)(void *, kmem_cache_t *, unsigned long))
 339 {
 340         kmem_cache_t *c;
 341         c = malloc(sizeof(*c));
 342         if (!c)
 343                 return NULL;
 344         c->size = objsize;
 345         CDEBUG(D_MALLOC, "alloc slab cache %s at %p, objsize %d\n",
 346                name, c, (int)objsize);
 347         return c;
 348 };
 349
 350 static inline int kmem_cache_destroy(kmem_cache_t *a)
 351 {
 352         CDEBUG(D_MALLOC, "destroy slab cache %p, objsize %u\n", a, a->size);
 353         free(a);
 354         return 0;
 355 }
 356 #define kmem_cache_alloc(cache, prio) malloc(cache->size)
 357 #define kmem_cache_free(cache, obj) free(obj)
 358
 359 #define PAGE_CACHE_SIZE  PAGE_SIZE
 360 #define PAGE_CACHE_SHIFT PAGE_SHIFT
 361 #define PAGE_CACHE_MASK  PAGE_MASK
 362
 363 /* struct page decl moved out from here into portals/include/libcfs/user-prim.h */
 364
 365 #define kmap(page) (page)->addr
 366 #define kunmap(a) do {} while (0)
 367
 368 static inline struct page *alloc_pages(int mask, unsigned long order)
 369 {
 370         struct page *pg = malloc(sizeof(*pg));
 371
 372         if (!pg)
 373                 return NULL;
 374 #if 0 //#ifdef MAP_ANONYMOUS
 375         pg->addr = mmap(0, PAGE_SIZE << order, PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, 0, 0);
 376 #else
 377         pg->addr = malloc(PAGE_SIZE << order);
 378 #endif
 379
 380         if (!pg->addr) {
 381                 free(pg);
 382                 return NULL;
 383         }
 384         return pg;
 385 }
 386
 387 #define alloc_page(mask) alloc_pages((mask), 0)
 388
 389 static inline void __free_pages(struct page *pg, int what)
 390 {
 391 #if 0 //#ifdef MAP_ANONYMOUS
 392         munmap(pg->addr, PAGE_SIZE);
 393 #else
 394         free(pg->addr);
 395 #endif
 396         free(pg);
 397 }
 398
 399 #define __free_page(page) __free_pages((page), 0)
 400 #define free_page(page) __free_page(page)
 401
 402 static inline struct page* __grab_cache_page(unsigned long index)
 403 {
 404         struct page *pg = alloc_pages(0, 0);
 405
 406         if (pg)
 407                 pg->index = index;
 408         return pg;
 409 }
 410
 411 #define grab_cache_page(index) __grab_cache_page(index)
 412 #define page_cache_release(page) __free_pages(page, 0)
 413
 414 /* arithmetic */
 415 #define do_div(a,b)                     \
 416         ({                              \
 417                 unsigned long remainder;\
 418                 remainder = (a) % (b);  \
 419                 (a) = (a) / (b);        \
 420                 (remainder);            \
 421         })
 422
 423 /* VFS stuff */
 424 #define ATTR_MODE       0x0001
 425 #define ATTR_UID        0x0002
 426 #define ATTR_GID        0x0004
 427 #define ATTR_SIZE       0x0008
 428 #define ATTR_ATIME      0x0010
 429 #define ATTR_MTIME      0x0020
 430 #define ATTR_CTIME      0x0040
 431 #define ATTR_ATIME_SET  0x0080
 432 #define ATTR_MTIME_SET  0x0100
 433 #define ATTR_FORCE      0x0200  /* Not a change, but a change it */
 434 #define ATTR_ATTR_FLAG  0x0400
 435 #define ATTR_RAW        0x0800  /* file system, not vfs will massage attrs */
 436 #define ATTR_FROM_OPEN  0x1000  /* called from open path, ie O_TRUNC */
 437 #define ATTR_CTIME_SET  0x2000
 438
 439 struct iattr {
 440         unsigned int    ia_valid;
 441         umode_t         ia_mode;
 442         uid_t           ia_uid;
 443         gid_t           ia_gid;
 444         loff_t          ia_size;
 445         time_t          ia_atime;
 446         time_t          ia_mtime;
 447         time_t          ia_ctime;
 448         unsigned int    ia_attr_flags;
 449 };
 450
 451 #define IT_OPEN     0x0001
 452 #define IT_CREAT    0x0002
 453 #define IT_READDIR  0x0004
 454 #define IT_GETATTR  0x0008
 455 #define IT_LOOKUP   0x0010
 456 #define IT_UNLINK   0x0020
 457 #define IT_GETXATTR 0x0040
 458 #define IT_EXEC     0x0080
 459 #define IT_PIN      0x0100
 460
 461 #define IT_FL_LOCKED   0x0001
 462 #define IT_FL_FOLLOWED 0x0002 /* set by vfs_follow_link */
 463
 464 #define INTENT_MAGIC 0x19620323
 465
 466 struct lustre_intent_data {
 467         int       it_disposition;
 468         int       it_status;
 469         __u64     it_lock_handle;
 470         void     *it_data;
 471         int       it_lock_mode;
 472         int it_int_flags;
 473 };
 474 struct lookup_intent {
 475         int     it_magic;
 476         void    (*it_op_release)(struct lookup_intent *);
 477         int     it_op;
 478         int     it_flags;
 479         int     it_create_mode;
 480         union {
 481                 struct lustre_intent_data lustre;
 482         } d;
 483 };
 484
 485 static inline void intent_init(struct lookup_intent *it, int op, int flags)
 486 {
 487         memset(it, 0, sizeof(*it));
 488         it->it_magic = INTENT_MAGIC;
 489         it->it_op = op;
 490         it->it_flags = flags;
 491 }
 492
 493
 494 struct dentry {
 495         int d_count;
 496 };
 497
 498 struct vfsmount {
 499         void *pwd;
 500 };
 501
 502 /* semaphores */
 503 struct rw_semaphore {
 504         int count;
 505 };
 506
 507 /* semaphores */
 508 struct semaphore {
 509         int count;
 510 };
 511
 512 /* use the macro's argument to avoid unused warnings */
 513 #define down(a) do { (void)a; } while (0)
 514 #define up(a) do { (void)a; } while (0)
 515 #define down_read(a) do { (void)a; } while (0)
 516 #define up_read(a) do { (void)a; } while (0)
 517 #define down_write(a) do { (void)a; } while (0)
 518 #define up_write(a) do { (void)a; } while (0)
 519 #define sema_init(a,b) do { (void)a; } while (0)
 520 #define init_rwsem(a) do { (void)a; } while (0)
 521 #define DECLARE_MUTEX(name)     \
 522         struct semaphore name = { 1 }
 523 static inline void init_MUTEX (struct semaphore *sem)
 524 {
 525         sema_init(sem, 1);
 526 }
 527
 528
 529 typedef struct  {
 530         struct list_head sleepers;
 531 } wait_queue_head_t;
 532
 533 typedef struct  {
 534         struct list_head sleeping;
 535         void *process;
 536 } wait_queue_t;
 537
 538 struct signal {
 539         int signal;
 540 };
 541
 542 struct fs_struct {
 543         int umask;
 544 };
 545
 546 struct task_struct {
 547         struct fs_struct *fs;
 548         int state;
 549         struct signal pending;
 550         char comm[32];
 551         int pid;
 552         int fsuid;
 553         int fsgid;
 554         __u32 cap_effective;
 555 };
 556
 557 extern struct task_struct *current;
 558
 559 #define in_group_p(a) 0 /* FIXME */
 560
 561 #define set_current_state(foo) do { current->state = foo; } while (0)
 562
 563 #define init_waitqueue_entry(q,p) do { (q)->process = p; } while (0)
 564 #define add_wait_queue(q,p) do {  list_add(&(q)->sleepers, &(p)->sleeping); } while (0)
 565 #define del_wait_queue(p) do { list_del(&(p)->sleeping); } while (0)
 566 #define remove_wait_queue(q,p) do { list_del(&(p)->sleeping); } while (0)
 567
 568 #define DECLARE_WAIT_QUEUE_HEAD(HEAD)                           \
 569         wait_queue_head_t HEAD = {                              \
 570                 .sleepers = LIST_HEAD_INIT(HEAD.sleepers)       \
 571         }
 572 #define init_waitqueue_head(l) INIT_LIST_HEAD(&(l)->sleepers)
 573 #define wake_up(l) do { int a; a++; } while (0)
 574 #define TASK_INTERRUPTIBLE 0
 575 #define TASK_UNINTERRUPTIBLE 1
 576 #define TASK_RUNNING 2
 577
 578 #define wait_event_interruptible(wq, condition)                         \
 579 ({                                                                      \
 580         struct l_wait_info lwi;                                         \
 581         int timeout = 100000000;/* for ever */                          \
 582         int ret;                                                        \
 583                                                                         \
 584         lwi = LWI_TIMEOUT(timeout, NULL, NULL);                         \
 585         ret = l_wait_event(NULL, condition, &lwi);                      \
 586                                                                         \
 587         ret;                                                            \
 588 })
 589
 590 #define in_interrupt() (0)
 591
 592 #define schedule() do {} while (0)
 593 static inline int schedule_timeout(signed long t)
 594 {
 595         return 0;
 596 }
 597
 598 #define lock_kernel() do {} while (0)
 599 #define daemonize(l) do {} while (0)
 600 #define sigfillset(l) do {} while (0)
 601 #define recalc_sigpending(l) do {} while (0)
 602 #define kernel_thread(l,m,n) LBUG()
 603
 604 #define USERMODEHELPER(path, argv, envp) (0)
 605 #define SIGNAL_MASK_ASSERT()
 606 #define KERN_INFO
 607
 608 #include <sys/time.h>
 609 #if HZ != 1
 610 #error "liblustre's jiffies currently expects HZ to be 1"
 611 #endif
 612 #define jiffies                                 \
 613 ({                                              \
 614         unsigned long _ret = 0;                 \
 615         struct timeval tv;                      \
 616         if (gettimeofday(&tv, NULL) == 0)       \
 617                 _ret = tv.tv_sec;               \
 618         _ret;                                   \
 619 })
 620 #define time_after(a, b) ((long)(b) - (long)(a) < 0)
 621 #define time_before(a, b) time_after(b,a)
 622
 623 struct timer_list {
 624         struct list_head tl_list;
 625         void (*function)(unsigned long unused);
 626         unsigned long data;
 627         long expires;
 628 };
 629
 630 static inline int timer_pending(struct timer_list *l)
 631 {
 632         if (l->expires > jiffies)
 633                 return 1;
 634         else
 635                 return 0;
 636 }
 637
 638 static inline int init_timer(struct timer_list *l)
 639 {
 640         INIT_LIST_HEAD(&l->tl_list);
 641         return 0;
 642 }
 643
 644 static inline void mod_timer(struct timer_list *l, int thetime)
 645 {
 646         l->expires = thetime;
 647 }
 648
 649 static inline void del_timer(struct timer_list *l)
 650 {
 651         free(l);
 652 }
 653
 654 typedef struct { volatile int counter; } atomic_t;
 655
 656 #define atomic_read(a) ((a)->counter)
 657 #define atomic_set(a,b) do {(a)->counter = b; } while (0)
 658 #define atomic_dec_and_test(a) ((--((a)->counter)) == 0)
 659 #define atomic_inc(a)  (((a)->counter)++)
 660 #define atomic_dec(a)  do { (a)->counter--; } while (0)
 661 #define atomic_add(b,a)  do {(a)->counter += b;} while (0)
 662 #define atomic_sub(b,a)  do {(a)->counter -= b;} while (0)
 663
 664 #ifndef likely
 665 #define likely(exp) (exp)
 666 #endif
 667 #ifndef unlikely
 668 #define unlikely(exp) (exp)
 669 #endif
 670
 671 /* log related */
 672 static inline int llog_init_commit_master(void) { return 0; }
 673 static inline int llog_cleanup_commit_master(int force) { return 0; }
 674 static inline void portals_run_lbug_upcall(char *file, const char *fn,
 675                                            const int l){}
 676
 677 #define LBUG()                                                          \
 678         do {                                                            \
 679                 printf("!!!LBUG at %s:%d\n", __FILE__, __LINE__);       \
 680                 sleep(1000000);                                         \
 681         } while (0)
 682
 683
 684
 685 /* completion */
 686 struct completion {
 687         unsigned int done;
 688         wait_queue_head_t wait;
 689 };
 690
 691 #define COMPLETION_INITIALIZER(work) \
 692         { 0, __WAIT_QUEUE_HEAD_INITIALIZER((work).wait) }
 693
 694 #define DECLARE_COMPLETION(work) \
 695         struct completion work = COMPLETION_INITIALIZER(work)
 696
 697 #define INIT_COMPLETION(x)      ((x).done = 0)
 698
 699 static inline void init_completion(struct completion *x)
 700 {
 701         x->done = 0;
 702         init_waitqueue_head(&x->wait);
 703 }
 704
 705 struct liblustre_wait_callback {
 706         struct list_head    llwc_list;
 707         int               (*llwc_fn)(void *arg);
 708         void               *llwc_arg;
 709 };
 710
 711 void *liblustre_register_wait_callback(int (*fn)(void *arg), void *arg);
 712 void liblustre_deregister_wait_callback(void *notifier);
 713 int liblustre_wait_event(int timeout);
 714
 715 #include <linux/obd_support.h>
 716 #include <linux/lustre_idl.h>
 717 #include <linux/lustre_lib.h>
 718 #include <linux/lustre_import.h>
 719 #include <linux/lustre_export.h>
 720 #include <linux/lustre_net.h>
 721
 722
 723 #endif