Whamcloud - gitweb
b=14132
[fs/lustre-release.git] / lnet / ulnds / socklnd / usocklnd.h
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * GPL HEADER START
5  *
6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 only,
10  * as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * General Public License version 2 for more details (a copy is included
16  * in the LICENSE file that accompanied this code).
17  *
18  * You should have received a copy of the GNU General Public License
19  * version 2 along with this program; If not, see
20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
21  *
22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
23  * CA 95054 USA or visit www.sun.com if you need additional information or
24  * have any questions.
25  *
26  * GPL HEADER END
27  */
28 /*
29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
30  * Use is subject to license terms.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  *
36  * lnet/ulnds/socklnd/usocklnd.h
37  *
38  * Author: Maxim Patlasov <maxim@clusterfs.com>
39  */
40 #ifndef _GNU_SOURCE
41 #define _GNU_SOURCE
42 #endif
43 #include <pthread.h>
44 #include <poll.h>
45 #include <lnet/lib-lnet.h>
46 #include <lnet/socklnd.h>
47
48 typedef struct {
49         struct list_head tx_list;    /* neccessary to form tx list */
50         lnet_msg_t      *tx_lnetmsg; /* lnet message for lnet_finalize() */
51         ksock_msg_t      tx_msg;     /* buffer for wire header of ksock msg */
52         int              tx_resid;   /* # of residual bytes */
53         int              tx_nob;     /* # of packet bytes */
54         int              tx_size;    /* size of this descriptor */
55         struct iovec    *tx_iov;     /* points to tx_iova[i] */
56         int              tx_niov;    /* # of packet iovec frags */
57         struct iovec     tx_iova[1]; /* iov for header */
58 } usock_tx_t;
59
60 struct usock_peer_s;
61
62 typedef struct {
63         cfs_socket_t        *uc_sock;        /* socket */
64         int                  uc_type;        /* conn type */
65         int                  uc_activeflag;  /* active side of connection? */
66         int                  uc_flip;        /* is peer other endian? */
67         int                  uc_state;       /* connection state */
68         struct usock_peer_s *uc_peer;        /* owning peer */
69         lnet_process_id_t    uc_peerid;      /* id of remote peer */
70         int                  uc_pt_idx;      /* index in ud_pollthreads[] of
71                                               * owning poll thread */
72         lnet_ni_t            *uc_ni;         /* parent NI while accepting */
73         struct usock_preq_s  *uc_preq;       /* preallocated request */
74         __u32                 uc_peer_ip;    /* IP address of the peer */
75         __u16                 uc_peer_port;  /* port of the peer */
76         struct list_head      uc_stale_list; /* orphaned connections */
77
78         /* Receive state */
79         int                uc_rx_state;      /* message or hello state */
80         ksock_hello_msg_t *uc_rx_hello;      /* hello buffer */
81         struct iovec      *uc_rx_iov;        /* points to uc_rx_iova[i] */
82         struct iovec       uc_rx_iova[LNET_MAX_IOV]; /* message frags */
83         int                uc_rx_niov;       /* # frags */
84         int                uc_rx_nob_left;   /* # bytes to next hdr/body */
85         int                uc_rx_nob_wanted; /* # of bytes actually wanted */
86         void              *uc_rx_lnetmsg;    /* LNET message being received */
87         cfs_time_t         uc_rx_deadline;   /* when to time out */
88         int                uc_rx_flag;       /* deadline valid? */
89         ksock_msg_t        uc_rx_msg;        /* message buffer */
90
91         /* Send state */
92         struct list_head   uc_tx_list;       /* pending txs */
93         struct list_head   uc_zcack_list;    /* pending zc_acks */
94         cfs_time_t         uc_tx_deadline;   /* when to time out */
95         int                uc_tx_flag;       /* deadline valid? */
96         int                uc_sending;       /* send op is in progress */
97         usock_tx_t        *uc_tx_hello;      /* fake tx with hello */
98
99         cfs_atomic_t       uc_refcount;      /* # of users */
100         pthread_mutex_t    uc_lock;          /* serialize */
101         int                uc_errored;       /* a flag for lnet_notify() */
102 } usock_conn_t;
103
104 /* Allowable conn states are: */
105 #define UC_CONNECTING 1
106 #define UC_SENDING_HELLO 2
107 #define UC_RECEIVING_HELLO 3
108 #define UC_READY 4
109 #define UC_DEAD 5
110
111 /* Allowable RX states are: */
112 #define UC_RX_HELLO_MAGIC 1
113 #define UC_RX_HELLO_VERSION 2
114 #define UC_RX_HELLO_BODY 3
115 #define UC_RX_HELLO_IPS 4
116 #define UC_RX_KSM_HEADER 5
117 #define UC_RX_LNET_HEADER 6
118 #define UC_RX_PARSE 7
119 #define UC_RX_PARSE_WAIT 8
120 #define UC_RX_LNET_PAYLOAD 9
121 #define UC_RX_SKIPPING 10
122
123 #define N_CONN_TYPES 3 /* CONTROL, BULK_IN and BULK_OUT */
124
125 typedef struct usock_peer_s {
126         struct list_head  up_list;         /* neccessary to form peer list */
127         lnet_process_id_t up_peerid;       /* id of remote peer */
128         usock_conn_t     *up_conns[N_CONN_TYPES]; /* conns that connect us
129                                                    * us with the peer */
130         lnet_ni_t        *up_ni;           /* pointer to parent NI */
131         __u64             up_incarnation;  /* peer's incarnation */
132         int               up_incrn_is_set; /* 0 if peer's incarnation
133                                             * hasn't been set so far */
134         cfs_atomic_t      up_refcount;     /* # of users */
135         pthread_mutex_t   up_lock;         /* serialize */
136         int               up_errored;      /* a flag for lnet_notify() */
137         cfs_time_t        up_last_alive;   /* when the peer was last alive */
138 } usock_peer_t;
139
140 typedef struct {
141         cfs_socket_t     *upt_notifier[2];       /* notifier sockets: 1st for
142                                                   writing, 2nd for reading */
143         struct pollfd    *upt_pollfd;            /* poll fds */
144         int               upt_nfds;              /* active poll fds */
145         int               upt_npollfd;           /* allocated poll fds */
146         usock_conn_t    **upt_idx2conn;          /* conns corresponding to
147                                                   * upt_pollfd[idx] */
148         int              *upt_skip;              /* skip chain */
149         int              *upt_fd2idx;            /* index into upt_pollfd[]
150                                                   * by fd */
151         int               upt_nfd2idx;           /* # of allocated elements
152                                                   * of upt_fd2idx[] */
153         struct list_head  upt_stale_list;        /* list of orphaned conns */
154         struct list_head  upt_pollrequests;      /* list of poll requests */
155         pthread_mutex_t   upt_pollrequests_lock; /* serialize */
156         int               upt_errno;             /* non-zero if errored */
157         struct cfs_completion upt_completion;    /* wait/signal facility for
158                                                   * syncronizing shutdown */
159 } usock_pollthread_t;
160
161 /* Number of elements in upt_pollfd[], upt_idx2conn[] and upt_fd2idx[]
162  * at initialization time. Will be resized on demand */
163 #define UPT_START_SIZ 32
164
165 /* # peer lists */
166 #define UD_PEER_HASH_SIZE  101
167
168 typedef struct {
169         int                 ud_state;          /* initialization state */
170         int                 ud_npollthreads;   /* # of poll threads */
171         usock_pollthread_t *ud_pollthreads;    /* their state */
172         int                 ud_shutdown;       /* shutdown flag */
173         int                 ud_nets_count;     /* # of instances */
174         struct list_head    ud_peers[UD_PEER_HASH_SIZE]; /* peer hash table */
175         pthread_rwlock_t    ud_peers_lock;     /* serialize */
176 } usock_data_t;
177
178 extern usock_data_t usock_data;
179
180 /* ud_state allowed values */
181 #define UD_STATE_INIT_NOTHING 0
182 #define UD_STATE_INITIALIZED 1
183
184 typedef struct {
185         int             un_peercount;   /* # of peers */
186         int             un_shutdown;    /* shutdown flag */
187         __u64           un_incarnation; /* my epoch */
188         pthread_cond_t  un_cond;        /* condvar to wait for notifications */
189         pthread_mutex_t un_lock;        /* a lock to protect un_cond */
190 } usock_net_t;
191
192 typedef struct {
193         int ut_poll_timeout;  /* the third arg for poll(2) (seconds) */
194         int ut_timeout;       /* "stuck" socket timeout (seconds) */
195         int ut_npollthreads;  /* number of poll thread to spawn */
196         int ut_fair_limit;    /* how many packets can we receive or transmit
197                                * without calling poll(2) */
198         int ut_min_bulk;      /* smallest "large" message */
199         int ut_txcredits;     /* # concurrent sends */
200         int ut_peertxcredits; /* # concurrent sends to 1 peer */
201         int ut_socknagle;     /* Is Nagle alg on ? */
202         int ut_sockbufsiz;    /* size of socket buffers */
203 } usock_tunables_t;
204
205 extern usock_tunables_t usock_tuns;
206
207 typedef struct usock_preq_s {
208         int              upr_type;  /* type of requested action */
209         short            upr_value; /* bitmask of POLLIN and POLLOUT bits */
210         usock_conn_t *   upr_conn;  /* a conn for the sake of which
211                                      * action will be performed */
212         struct list_head upr_list;  /* neccessary to form list */
213 } usock_pollrequest_t;
214
215 /* Allowable poll request types are: */
216 #define POLL_ADD_REQUEST 1
217 #define POLL_DEL_REQUEST 2
218 #define POLL_RX_SET_REQUEST 3
219 #define POLL_TX_SET_REQUEST 4
220 #define POLL_SET_REQUEST 5
221
222 typedef struct {
223         struct list_head zc_list;   /* neccessary to form zc_ack list */
224         __u64            zc_cookie; /* zero-copy cookie */
225 } usock_zc_ack_t;
226
227 static inline void
228 usocklnd_conn_addref(usock_conn_t *conn)
229 {
230         LASSERT (cfs_atomic_read(&conn->uc_refcount) > 0);
231         cfs_atomic_inc(&conn->uc_refcount);
232 }
233
234 void usocklnd_destroy_conn(usock_conn_t *conn);
235
236 static inline void
237 usocklnd_conn_decref(usock_conn_t *conn)
238 {
239         LASSERT (cfs_atomic_read(&conn->uc_refcount) > 0);
240         if (cfs_atomic_dec_and_test(&conn->uc_refcount))
241                 usocklnd_destroy_conn(conn);
242 }
243
244 static inline void
245 usocklnd_peer_addref(usock_peer_t *peer)
246 {
247         LASSERT (cfs_atomic_read(&peer->up_refcount) > 0);
248         cfs_atomic_inc(&peer->up_refcount);
249 }
250
251 void usocklnd_destroy_peer(usock_peer_t *peer);
252
253 static inline void
254 usocklnd_peer_decref(usock_peer_t *peer)
255 {
256         LASSERT (cfs_atomic_read(&peer->up_refcount) > 0);
257         if (cfs_atomic_dec_and_test(&peer->up_refcount))
258                 usocklnd_destroy_peer(peer);
259 }
260
261 static inline int
262 usocklnd_ip2pt_idx(__u32 ip) {
263         return ip % usock_data.ud_npollthreads;
264 }
265
266 static inline struct list_head *
267 usocklnd_nid2peerlist(lnet_nid_t nid)
268 {
269         unsigned int hash = ((unsigned int)nid) % UD_PEER_HASH_SIZE;
270
271         return &usock_data.ud_peers[hash];
272 }
273
274 int usocklnd_startup(lnet_ni_t *ni);
275 void usocklnd_shutdown(lnet_ni_t *ni);
276 int usocklnd_send(lnet_ni_t *ni, void *private, lnet_msg_t *lntmsg);
277 int usocklnd_recv(lnet_ni_t *ni, void *private, lnet_msg_t *msg, int delayed,
278                   unsigned int niov, struct iovec *iov, lnet_kiov_t *kiov,
279                   unsigned int offset, unsigned int mlen, unsigned int rlen);
280 int usocklnd_accept(lnet_ni_t *ni, cfs_socket_t *sock);
281
282 int usocklnd_poll_thread(void *arg);
283 int usocklnd_add_pollrequest(usock_conn_t *conn, int type, short value);
284 void usocklnd_add_killrequest(usock_conn_t *conn);
285 int usocklnd_process_pollrequest(usock_pollrequest_t *pr,
286                                  usock_pollthread_t *pt_data);
287 void usocklnd_execute_handlers(usock_pollthread_t *pt_data);
288 int usocklnd_calculate_chunk_size(int num);
289 void usocklnd_wakeup_pollthread(int i);
290
291 int usocklnd_notifier_handler(int fd);
292 void usocklnd_exception_handler(usock_conn_t *conn);
293 int usocklnd_read_handler(usock_conn_t *conn);
294 int usocklnd_read_msg(usock_conn_t *conn, int *cont_flag);
295 int usocklnd_handle_zc_req(usock_peer_t *peer, __u64 cookie);
296 int usocklnd_read_hello(usock_conn_t *conn, int *cont_flag);
297 int usocklnd_activeconn_hellorecv(usock_conn_t *conn);
298 int usocklnd_passiveconn_hellorecv(usock_conn_t *conn);
299 int usocklnd_write_handler(usock_conn_t *conn);
300 usock_tx_t * usocklnd_try_piggyback(struct list_head *tx_list_p,
301                                     struct list_head *zcack_list_p);
302 int usocklnd_activeconn_hellosent(usock_conn_t *conn);
303 int usocklnd_passiveconn_hellosent(usock_conn_t *conn);
304 int usocklnd_send_tx(usock_conn_t *conn, usock_tx_t *tx);
305 int usocklnd_read_data(usock_conn_t *conn);
306
307 void usocklnd_release_poll_states(int n);
308 int usocklnd_base_startup();
309 void usocklnd_base_shutdown(int n);
310 __u64 usocklnd_new_incarnation();
311 void usocklnd_del_all_peers(lnet_ni_t *ni);
312 void usocklnd_del_peer_and_conns(usock_peer_t *peer);
313 void usocklnd_del_conns_locked(usock_peer_t *peer);
314
315 int usocklnd_conn_timed_out(usock_conn_t *conn, cfs_time_t current_time);
316 void usocklnd_conn_kill(usock_conn_t *conn);
317 void usocklnd_conn_kill_locked(usock_conn_t *conn);
318 usock_conn_t *usocklnd_conn_allocate();
319 void usocklnd_conn_free(usock_conn_t *conn);
320 void usocklnd_tear_peer_conn(usock_conn_t *conn);
321 void usocklnd_check_peer_stale(lnet_ni_t *ni, lnet_process_id_t id);
322 int usocklnd_create_passive_conn(lnet_ni_t *ni,
323                                  cfs_socket_t *sock, usock_conn_t **connp);
324 int usocklnd_create_active_conn(usock_peer_t *peer, int type,
325                                 usock_conn_t **connp);
326 int usocklnd_connect_srv_mode(cfs_socket_t **sockp,
327                               __u32 dst_ip, __u16 dst_port);
328 int usocklnd_connect_cli_mode(cfs_socket_t **sockp,
329                               __u32 dst_ip, __u16 dst_port);
330 int usocklnd_set_sock_options(cfs_socket_t *sock);
331 usock_tx_t *usocklnd_create_noop_tx(__u64 cookie);
332 usock_tx_t *usocklnd_create_tx(lnet_msg_t *lntmsg);
333 void usocklnd_init_hello_msg(ksock_hello_msg_t *hello,
334                              lnet_ni_t *ni, int type, lnet_nid_t peer_nid);
335 usock_tx_t *usocklnd_create_hello_tx(lnet_ni_t *ni,
336                                      int type, lnet_nid_t peer_nid);
337 usock_tx_t *usocklnd_create_cr_hello_tx(lnet_ni_t *ni,
338                                         int type, lnet_nid_t peer_nid);
339 void usocklnd_destroy_tx(lnet_ni_t *ni, usock_tx_t *tx);
340 void usocklnd_destroy_txlist(lnet_ni_t *ni, struct list_head *txlist);
341 void usocklnd_destroy_zcack_list(struct list_head *zcack_list);
342 void usocklnd_destroy_peer (usock_peer_t *peer);
343 int usocklnd_get_conn_type(lnet_msg_t *lntmsg);
344 int usocklnd_type2idx(int type);
345 usock_peer_t *usocklnd_find_peer_locked(lnet_ni_t *ni, lnet_process_id_t id);
346 int usocklnd_create_peer(lnet_ni_t *ni, lnet_process_id_t id,
347                          usock_peer_t **peerp);
348 int usocklnd_find_or_create_peer(lnet_ni_t *ni, lnet_process_id_t id,
349                                  usock_peer_t **peerp);
350 int usocklnd_find_or_create_conn(usock_peer_t *peer, int type,
351                                  usock_conn_t **connp,
352                                  usock_tx_t *tx, usock_zc_ack_t *zc_ack,
353                                  int *send_immediately_flag);
354 void usocklnd_link_conn_to_peer(usock_conn_t *conn, usock_peer_t *peer, int idx);
355 int usocklnd_invert_type(int type);
356 void usocklnd_conn_new_state(usock_conn_t *conn, int new_state);
357 void usocklnd_cleanup_stale_conns(usock_peer_t *peer, __u64 incrn,
358                                   usock_conn_t *skip_conn);
359
360 void usocklnd_rx_hellomagic_state_transition(usock_conn_t *conn);
361 void usocklnd_rx_helloversion_state_transition(usock_conn_t *conn);
362 void usocklnd_rx_hellobody_state_transition(usock_conn_t *conn);
363 void usocklnd_rx_helloIPs_state_transition(usock_conn_t *conn);
364 void usocklnd_rx_lnethdr_state_transition(usock_conn_t *conn);
365 void usocklnd_rx_ksmhdr_state_transition(usock_conn_t *conn);
366 void usocklnd_rx_skipping_state_transition(usock_conn_t *conn);