Whamcloud - gitweb
- landing of b_hd_cleanup_merge to HEAD.
[fs/lustre-release.git] / lnet / klnds / openiblnd / openiblnd.h
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * Copyright (C) 2004 Cluster File Systems, Inc.
5  *   Author: Eric Barton <eric@bartonsoftware.com>
6  *
7  *   This file is part of Lustre, http://www.lustre.org.
8  *
9  *   Lustre is free software; you can redistribute it and/or
10  *   modify it under the terms of version 2 of the GNU General Public
11  *   License as published by the Free Software Foundation.
12  *
13  *   Lustre is distributed in the hope that it will be useful,
14  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
15  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  *   GNU General Public License for more details.
17  *
18  *   You should have received a copy of the GNU General Public License
19  *   along with Lustre; if not, write to the Free Software
20  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
21  *
22  */
23
24 #ifndef EXPORT_SYMTAB
25 # define EXPORT_SYMTAB
26 #endif
27
28 #include <linux/config.h>
29 #include <linux/module.h>
30 #include <linux/kernel.h>
31 #include <linux/mm.h>
32 #include <linux/string.h>
33 #include <linux/stat.h>
34 #include <linux/errno.h>
35 #include <linux/smp_lock.h>
36 #include <linux/unistd.h>
37 #include <linux/uio.h>
38
39 #include <asm/system.h>
40 #include <asm/uaccess.h>
41 #include <asm/io.h>
42
43 #include <linux/init.h>
44 #include <linux/fs.h>
45 #include <linux/file.h>
46 #include <linux/stat.h>
47 #include <linux/list.h>
48 #include <linux/kmod.h>
49 #include <linux/sysctl.h>
50
51 #define DEBUG_SUBSYSTEM S_OPENIBNAL
52
53 #include <linux/kp30.h>
54 #include <portals/p30.h>
55 #include <portals/lib-p30.h>
56 #include <portals/nal.h>
57
58 #include <ts_ib_core.h>
59 #include <ts_ib_cm.h>
60 #include <ts_ib_sa_client.h>
61
62 #define OPENIBNAL_SERVICE_NAME   "openibnal"
63
64 #if CONFIG_SMP
65 # define OPENIBNAL_N_SCHED      num_online_cpus() /* # schedulers */
66 #else
67 # define OPENIBNAL_N_SCHED      1                 /* # schedulers */
68 #endif
69
70 #define OPENIBNAL_MIN_RECONNECT_INTERVAL HZ       /* first failed connection retry... */
71 #define OPENIBNAL_MAX_RECONNECT_INTERVAL (60*HZ)  /* ...exponentially increasing to this */
72
73 #define OPENIBNAL_MSG_SIZE       (4<<10)          /* max size of queued messages (inc hdr) */
74
75 #define OPENIBNAL_MSG_QUEUE_SIZE   8              /* # messages in-flight */
76 #define OPENIBNAL_CREDIT_HIGHWATER 6              /* when to eagerly return credits */
77 #define OPENIBNAL_RETRY            7              /* # times to retry */
78 #define OPENIBNAL_RNR_RETRY        7              /*  */
79 #define OPENIBNAL_CM_RETRY         7              /* # times to retry connection */
80 #define OPENIBNAL_FLOW_CONTROL     1
81 #define OPENIBNAL_RESPONDER_RESOURCES 8
82
83 #define OPENIBNAL_NTX             64              /* # tx descs */
84 #define OPENIBNAL_NTX_NBLK        256             /* # reserved tx descs */
85
86 #define OPENIBNAL_PEER_HASH_SIZE  101             /* # peer lists */
87
88 #define OPENIBNAL_RESCHED         100             /* # scheduler loops before reschedule */
89
90 #define OPENIBNAL_CONCURRENT_PEERS 1000           /* # nodes all talking at once to me */
91
92 /* default vals for runtime tunables */
93 #define OPENIBNAL_IO_TIMEOUT      50              /* default comms timeout (seconds) */
94
95 /************************/
96 /* derived constants... */
97
98 /* TX messages (shared by all connections) */
99 #define OPENIBNAL_TX_MSGS       (OPENIBNAL_NTX + OPENIBNAL_NTX_NBLK)
100 #define OPENIBNAL_TX_MSG_BYTES  (OPENIBNAL_TX_MSGS * OPENIBNAL_MSG_SIZE)
101 #define OPENIBNAL_TX_MSG_PAGES  ((OPENIBNAL_TX_MSG_BYTES + PAGE_SIZE - 1)/PAGE_SIZE)
102
103 /* we may have up to 2 completions per transmit */
104 #define OPENIBNAL_TX_CQ_ENTRIES  (2*OPENIBNAL_TX_MSGS)
105
106 /* RX messages (per connection) */
107 #define OPENIBNAL_RX_MSGS       OPENIBNAL_MSG_QUEUE_SIZE
108 #define OPENIBNAL_RX_MSG_BYTES  (OPENIBNAL_RX_MSGS * OPENIBNAL_MSG_SIZE)
109 #define OPENIBNAL_RX_MSG_PAGES  ((OPENIBNAL_RX_MSG_BYTES + PAGE_SIZE - 1)/PAGE_SIZE)
110
111 /* 1 completion per receive, per connection */
112 #define OPENIBNAL_RX_CQ_ENTRIES (OPENIBNAL_RX_MSGS * OPENIBNAL_CONCURRENT_PEERS)
113
114 #define OPENIBNAL_RDMA_BASE  0x0eeb0000
115 #define OPENIBNAL_FMR        1
116 #define OPENIBNAL_CKSUM      0
117 //#define OPENIBNAL_CALLBACK_CTXT  IB_CQ_CALLBACK_PROCESS
118 #define OPENIBNAL_CALLBACK_CTXT  IB_CQ_CALLBACK_INTERRUPT
119
120 typedef struct 
121 {
122         int               koib_io_timeout;      /* comms timeout (seconds) */
123         struct ctl_table_header *koib_sysctl;   /* sysctl interface */
124 } koib_tunables_t;
125
126 typedef struct
127 {
128         int               oibp_npages;          /* # pages */
129         int               oibp_mapped;          /* mapped? */
130         __u64             oibp_vaddr;           /* mapped region vaddr */
131         __u32             oibp_lkey;            /* mapped region lkey */
132         __u32             oibp_rkey;            /* mapped region rkey */
133         struct ib_mr     *oibp_handle;          /* mapped region handle */
134         struct page      *oibp_pages[0];
135 } koib_pages_t;
136         
137 typedef struct 
138 {
139         int               koib_init;            /* initialisation state */
140         __u64             koib_incarnation;     /* which one am I */
141         int               koib_shutdown;        /* shut down? */
142         atomic_t          koib_nthreads;        /* # live threads */
143
144         __u64             koib_cm_service_id;   /* service number I listen on */
145         ptl_nid_t         koib_nid;             /* my NID */
146         struct semaphore  koib_nid_mutex;       /* serialise NID ops */
147         struct semaphore  koib_nid_signal;      /* signal completion */
148
149         rwlock_t          koib_global_lock;     /* stabilize peer/conn ops */
150
151         struct list_head *koib_peers;           /* hash table of all my known peers */
152         int               koib_peer_hash_size;  /* size of koib_peers */
153         atomic_t          koib_npeers;          /* # peers extant */
154         atomic_t          koib_nconns;          /* # connections extant */
155
156         struct list_head  koib_connd_conns;     /* connections to progress */
157         struct list_head  koib_connd_peers;     /* peers waiting for a connection */
158         wait_queue_head_t koib_connd_waitq;     /* connection daemons sleep here */
159         unsigned long     koib_connd_waketime;  /* when connd will wake */
160         spinlock_t        koib_connd_lock;      /* serialise */
161
162         wait_queue_head_t koib_sched_waitq;     /* schedulers sleep here */
163         struct list_head  koib_sched_txq;       /* tx requiring attention */
164         struct list_head  koib_sched_rxq;       /* rx requiring attention */
165         spinlock_t        koib_sched_lock;      /* serialise */
166         
167         struct koib_tx   *koib_tx_descs;        /* all the tx descriptors */
168         koib_pages_t     *koib_tx_pages;        /* premapped tx msg pages */
169
170         struct list_head  koib_idle_txs;        /* idle tx descriptors */
171         struct list_head  koib_idle_nblk_txs;   /* idle reserved tx descriptors */
172         wait_queue_head_t koib_idle_tx_waitq;   /* block here for tx descriptor */
173         __u64             koib_next_tx_cookie;  /* RDMA completion cookie */
174         spinlock_t        koib_tx_lock;         /* serialise */
175         
176         struct ib_device *koib_device;          /* "the" device */
177         struct ib_device_properties koib_device_props; /* its properties */
178         int               koib_port;            /* port on the device */
179         struct ib_port_properties koib_port_props; /* its properties */
180         struct ib_pd     *koib_pd;              /* protection domain */
181 #if OPENIBNAL_FMR
182         struct ib_fmr_pool *koib_fmr_pool;      /* fast memory region pool */
183 #endif
184         struct ib_cq     *koib_rx_cq;           /* receive completion queue */
185         struct ib_cq     *koib_tx_cq;           /* transmit completion queue */
186         void             *koib_listen_handle;   /* where I listen for connections */
187         struct ib_common_attrib_service koib_service; /* SM service */
188         
189 } koib_data_t;
190
191 #define OPENIBNAL_INIT_NOTHING         0
192 #define OPENIBNAL_INIT_DATA            1
193 #define OPENIBNAL_INIT_LIB             2
194 #define OPENIBNAL_INIT_PD              3
195 #define OPENIBNAL_INIT_FMR             4
196 #define OPENIBNAL_INIT_TXD             5
197 #define OPENIBNAL_INIT_RX_CQ           6
198 #define OPENIBNAL_INIT_TX_CQ           7
199 #define OPENIBNAL_INIT_ALL             8
200
201 /************************************************************************
202  * Wire message structs.
203  * These are sent in sender's byte order (i.e. receiver flips).
204  * CAVEAT EMPTOR: other structs communicated between nodes (e.g. MAD
205  * private data and SM service info), is LE on the wire.
206  */
207
208 typedef struct
209 {
210         union {
211                 struct ib_mr    *mr;
212                 struct ib_fmr   *fmr;
213         }                 md_handle;
214         __u32             md_lkey;
215         __u32             md_rkey;
216         __u64             md_addr;
217 } koib_md_t;
218
219 typedef struct
220 {
221         __u32                 rd_key;           /* remote key */
222         __u32                 rd_nob;           /* # of bytes */
223         __u64                 rd_addr;          /* remote io vaddr */
224 } koib_rdma_desc_t;
225
226
227 typedef struct
228 {
229         ptl_hdr_t         oibim_hdr;            /* portals header */
230         char              oibim_payload[0];     /* piggy-backed payload */
231 } koib_immediate_msg_t;
232
233 typedef struct
234 {
235         ptl_hdr_t         oibrm_hdr;            /* portals header */
236         __u64             oibrm_cookie;         /* opaque completion cookie */
237         koib_rdma_desc_t  oibrm_desc;           /* where to suck/blow */
238 } koib_rdma_msg_t;
239
240 typedef struct
241 {
242         __u64             oibcm_cookie;         /* opaque completion cookie */
243         __u32             oibcm_status;         /* completion status */
244 } koib_completion_msg_t;
245
246 typedef struct
247 {
248         __u32              oibm_magic;          /* I'm an openibnal message */
249         __u16              oibm_version;        /* this is my version number */
250         __u8               oibm_type;           /* msg type */
251         __u8               oibm_credits;        /* returned credits */
252 #if OPENIBNAL_CKSUM
253         __u32              oibm_nob;
254         __u32              oibm_cksum;
255 #endif
256         union {
257                 koib_immediate_msg_t   immediate;
258                 koib_rdma_msg_t        rdma;
259                 koib_completion_msg_t  completion;
260         }                    oibm_u;
261 } koib_msg_t;
262
263 #define OPENIBNAL_MSG_MAGIC       0x0be91b91    /* unique magic */
264 #define OPENIBNAL_MSG_VERSION              1    /* current protocol version */
265
266 #define OPENIBNAL_MSG_NOOP              0xd0    /* nothing (just credits) */
267 #define OPENIBNAL_MSG_IMMEDIATE         0xd1    /* portals hdr + payload */
268 #define OPENIBNAL_MSG_PUT_RDMA          0xd2    /* portals PUT hdr + source rdma desc */
269 #define OPENIBNAL_MSG_PUT_DONE          0xd3    /* signal PUT rdma completion */
270 #define OPENIBNAL_MSG_GET_RDMA          0xd4    /* portals GET hdr + sink rdma desc */
271 #define OPENIBNAL_MSG_GET_DONE          0xd5    /* signal GET rdma completion */
272
273 /***********************************************************************/
274
275 typedef struct koib_rx                          /* receive message */
276 {
277         struct list_head          rx_list;      /* queue for attention */
278         struct koib_conn         *rx_conn;      /* owning conn */
279         int                       rx_rdma;      /* RDMA completion posted? */
280         int                       rx_posted;    /* posted? */
281         __u64                     rx_vaddr;     /* pre-mapped buffer (hca vaddr) */
282         koib_msg_t               *rx_msg;       /* pre-mapped buffer (host vaddr) */
283         struct ib_receive_param   rx_sp;        /* receive work item */
284         struct ib_gather_scatter  rx_gl;        /* and it's memory */
285 } koib_rx_t;
286
287 typedef struct koib_tx                          /* transmit message */
288 {
289         struct list_head          tx_list;      /* queue on idle_txs ibc_tx_queue etc. */
290         int                       tx_isnblk;    /* I'm reserved for non-blocking sends */
291         struct koib_conn         *tx_conn;      /* owning conn */
292         int                       tx_mapped;    /* mapped for RDMA? */
293         int                       tx_sending;   /* # tx callbacks outstanding */
294         int                       tx_status;    /* completion status */
295         int                       tx_passive_rdma; /* waiting for peer to RDMA? */
296         int                       tx_passive_rdma_wait; /* on ibc_rdma_queue */
297         unsigned long             tx_passive_rdma_deadline; /* completion deadline */
298         __u64                     tx_passive_rdma_cookie; /* completion cookie */
299         lib_msg_t                *tx_libmsg[2]; /* lib msgs to finalize on completion */
300         koib_md_t                 tx_md;        /* RDMA mapping (active/passive) */
301         __u64                     tx_vaddr;     /* pre-mapped buffer (hca vaddr) */
302         koib_msg_t               *tx_msg;       /* pre-mapped buffer (host vaddr) */
303         int                       tx_nsp;       /* # send work items */
304         struct ib_send_param      tx_sp[2];     /* send work items... */
305         struct ib_gather_scatter  tx_gl[2];     /* ...and their memory */
306 } koib_tx_t;
307
308 #define KOIB_TX_UNMAPPED       0
309 #define KOIB_TX_MAPPED         1
310 #define KOIB_TX_MAPPED_FMR     2
311
312 typedef struct koib_wire_connreq
313 {
314         __u32        wcr_magic;                 /* I'm an openibnal connreq */
315         __u16        wcr_version;               /* this is my version number */
316         __u16        wcr_queue_depth;           /* this is my receive queue size */
317         __u64        wcr_nid;                   /* peer's NID */
318         __u64        wcr_incarnation;           /* peer's incarnation */
319 } koib_wire_connreq_t;
320
321 typedef struct koib_connreq
322 {
323         /* connection-in-progress */
324         struct koib_conn                   *cr_conn;
325         koib_wire_connreq_t                 cr_wcr;
326         __u64                               cr_tid;
327         struct ib_common_attrib_service     cr_service;
328         tTS_IB_GID                          cr_gid;
329         struct ib_path_record               cr_path;
330         struct ib_cm_active_param           cr_connparam;
331 } koib_connreq_t;
332
333 typedef struct koib_conn
334
335         struct koib_peer   *ibc_peer;           /* owning peer */
336         struct list_head    ibc_list;           /* stash on peer's conn list */
337         __u64               ibc_incarnation;    /* which instance of the peer */
338         atomic_t            ibc_refcount;       /* # users */
339         int                 ibc_state;          /* what's happening */
340         atomic_t            ibc_nob;            /* # bytes buffered */
341         int                 ibc_nsends_posted;  /* # uncompleted sends */
342         int                 ibc_credits;        /* # credits I have */
343         int                 ibc_outstanding_credits; /* # credits to return */
344         struct list_head    ibc_tx_queue;       /* send queue */
345         struct list_head    ibc_rdma_queue;     /* tx awaiting RDMA completion */
346         spinlock_t          ibc_lock;           /* serialise */
347         koib_rx_t          *ibc_rxs;            /* the rx descs */
348         koib_pages_t       *ibc_rx_pages;       /* premapped rx msg pages */
349         struct ib_qp       *ibc_qp;             /* queue pair */
350         __u32               ibc_qpn;            /* queue pair number */
351         tTS_IB_CM_COMM_ID   ibc_comm_id;        /* connection ID? */
352         koib_connreq_t     *ibc_connreq;        /* connection request state */
353 } koib_conn_t;
354
355 #define OPENIBNAL_CONN_INIT_NOTHING      0      /* initial state */
356 #define OPENIBNAL_CONN_INIT_QP           1      /* ibc_qp set up */
357 #define OPENIBNAL_CONN_CONNECTING        2      /* started to connect */
358 #define OPENIBNAL_CONN_ESTABLISHED       3      /* connection established */
359 #define OPENIBNAL_CONN_DEATHROW          4      /* waiting to be closed */
360 #define OPENIBNAL_CONN_ZOMBIE            5      /* waiting to be freed */
361
362 typedef struct koib_peer
363 {
364         struct list_head    ibp_list;           /* stash on global peer list */
365         struct list_head    ibp_connd_list;     /* schedule on koib_connd_peers */
366         ptl_nid_t           ibp_nid;            /* who's on the other end(s) */
367         atomic_t            ibp_refcount;       /* # users */
368         int                 ibp_persistence;    /* "known" peer refs */
369         struct list_head    ibp_conns;          /* all active connections */
370         struct list_head    ibp_tx_queue;       /* msgs waiting for a conn */
371         int                 ibp_connecting;     /* connecting+accepting */
372         unsigned long       ibp_reconnect_time; /* when reconnect may be attempted */
373         unsigned long       ibp_reconnect_interval; /* exponential backoff */
374 } koib_peer_t;
375
376
377 extern lib_nal_t        koibnal_lib;
378 extern koib_data_t      koibnal_data;
379 extern koib_tunables_t  koibnal_tunables;
380
381 static inline struct list_head *
382 koibnal_nid2peerlist (ptl_nid_t nid) 
383 {
384         unsigned int hash = ((unsigned int)nid) % koibnal_data.koib_peer_hash_size;
385         
386         return (&koibnal_data.koib_peers [hash]);
387 }
388
389 static inline int
390 koibnal_peer_active(koib_peer_t *peer)
391 {
392         /* Am I in the peer hash table? */
393         return (!list_empty(&peer->ibp_list));
394 }
395
396 static inline void
397 koibnal_queue_tx_locked (koib_tx_t *tx, koib_conn_t *conn)
398 {
399         /* CAVEAT EMPTOR: tx takes caller's ref on conn */
400
401         LASSERT (tx->tx_nsp > 0);               /* work items set up */
402         LASSERT (tx->tx_conn == NULL);          /* only set here */
403
404         tx->tx_conn = conn;
405         list_add_tail(&tx->tx_list, &conn->ibc_tx_queue);
406 }
407
408 #define KOIBNAL_SERVICE_KEY_MASK  (IB_SA_SERVICE_COMP_MASK_NAME |       \
409                                    IB_SA_SERVICE_COMP_MASK_DATA8_1 |    \
410                                    IB_SA_SERVICE_COMP_MASK_DATA8_2 |    \
411                                    IB_SA_SERVICE_COMP_MASK_DATA8_3 |    \
412                                    IB_SA_SERVICE_COMP_MASK_DATA8_4 |    \
413                                    IB_SA_SERVICE_COMP_MASK_DATA8_5 |    \
414                                    IB_SA_SERVICE_COMP_MASK_DATA8_6 |    \
415                                    IB_SA_SERVICE_COMP_MASK_DATA8_7 |    \
416                                    IB_SA_SERVICE_COMP_MASK_DATA8_8)
417
418 static inline __u64*
419 koibnal_service_nid_field(struct ib_common_attrib_service *srv)
420 {
421         /* must be consistent with KOIBNAL_SERVICE_KEY_MASK */
422         return (__u64 *)srv->service_data8;
423 }
424
425
426 static inline void
427 koibnal_set_service_keys(struct ib_common_attrib_service *srv, ptl_nid_t nid)
428 {
429         LASSERT (strlen (OPENIBNAL_SERVICE_NAME) < sizeof(srv->service_name));
430         memset (srv->service_name, 0, sizeof(srv->service_name));
431         strcpy (srv->service_name, OPENIBNAL_SERVICE_NAME);
432
433         *koibnal_service_nid_field(srv) = cpu_to_le64(nid);
434 }
435
436 #if 0
437 static inline void
438 koibnal_show_rdma_attr (koib_conn_t *conn)
439 {
440         struct ib_qp_attribute qp_attr;
441         int                    rc;
442         
443         memset (&qp_attr, 0, sizeof(qp_attr));
444         rc = ib_qp_query(conn->ibc_qp, &qp_attr);
445         if (rc != 0) {
446                 CERROR ("Can't get qp attrs: %d\n", rc);
447                 return;
448         }
449         
450         CWARN ("RDMA CAPABILITY: write %s read %s\n",
451                (qp_attr.valid_fields & TS_IB_QP_ATTRIBUTE_RDMA_ATOMIC_ENABLE) ?
452                (qp_attr.enable_rdma_write ? "enabled" : "disabled") : "invalid",
453                (qp_attr.valid_fields & TS_IB_QP_ATTRIBUTE_RDMA_ATOMIC_ENABLE) ?
454                (qp_attr.enable_rdma_read ? "enabled" : "disabled") : "invalid");
455 }
456 #endif
457
458 #if CONFIG_X86
459 static inline __u64
460 koibnal_page2phys (struct page *p)
461 {
462         __u64 page_number = p - mem_map;
463         
464         return (page_number << PAGE_SHIFT);
465 }
466 #else
467 # error "no page->phys"
468 #endif
469
470 extern koib_peer_t *koibnal_create_peer (ptl_nid_t nid);
471 extern void koibnal_put_peer (koib_peer_t *peer);
472 extern int koibnal_del_peer (ptl_nid_t nid, int single_share);
473 extern koib_peer_t *koibnal_find_peer_locked (ptl_nid_t nid);
474 extern void koibnal_unlink_peer_locked (koib_peer_t *peer);
475 extern int  koibnal_close_stale_conns_locked (koib_peer_t *peer, 
476                                               __u64 incarnation);
477 extern koib_conn_t *koibnal_create_conn (void);
478 extern void koibnal_put_conn (koib_conn_t *conn);
479 extern void koibnal_destroy_conn (koib_conn_t *conn);
480 extern int koibnal_alloc_pages (koib_pages_t **pp, int npages, int access);
481 extern void koibnal_free_pages (koib_pages_t *p);
482
483 extern void koibnal_check_sends (koib_conn_t *conn);
484
485 extern tTS_IB_CM_CALLBACK_RETURN
486 koibnal_conn_callback (tTS_IB_CM_EVENT event, tTS_IB_CM_COMM_ID cid,
487                        void *param, void *arg);
488 extern tTS_IB_CM_CALLBACK_RETURN 
489 koibnal_passive_conn_callback (tTS_IB_CM_EVENT event, tTS_IB_CM_COMM_ID cid,
490                                void *param, void *arg);
491
492 extern void koibnal_close_conn_locked (koib_conn_t *conn, int error);
493 extern void koibnal_destroy_conn (koib_conn_t *conn);
494 extern int  koibnal_thread_start (int (*fn)(void *arg), void *arg);
495 extern int  koibnal_scheduler(void *arg);
496 extern int  koibnal_connd (void *arg);
497 extern void koibnal_rx_callback (struct ib_cq *cq, struct ib_cq_entry *e, void *arg);
498 extern void koibnal_tx_callback (struct ib_cq *cq, struct ib_cq_entry *e, void *arg);
499 extern void koibnal_init_tx_msg (koib_tx_t *tx, int type, int body_nob);
500 extern int  koibnal_close_conn (koib_conn_t *conn, int why);
501 extern void koibnal_start_active_rdma (int type, int status, 
502                                        koib_rx_t *rx, lib_msg_t *libmsg, 
503                                        unsigned int niov, 
504                                        struct iovec *iov, ptl_kiov_t *kiov,
505                                        size_t offset, size_t nob);
506
507
508
509