Whamcloud - gitweb
b=16133
[fs/lustre-release.git] / lnet / klnds / gmlnd / gmlnd_api.c
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * GPL HEADER START
5  *
6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 only,
10  * as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * General Public License version 2 for more details (a copy is included
16  * in the LICENSE file that accompanied this code).
17  *
18  * You should have received a copy of the GNU General Public License
19  * version 2 along with this program; If not, see
20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
21  *
22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
23  * CA 95054 USA or visit www.sun.com if you need additional information or
24  * have any questions.
25  *
26  * GPL HEADER END
27  */
28 /*
29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
30  * Use is subject to license terms.
31  *
32  * Copyright (c) 2003 Los Alamos National Laboratory (LANL)
33  */
34 /*
35  * This file is part of Lustre, http://www.lustre.org/
36  * Lustre is a trademark of Sun Microsystems, Inc.
37  */
38
39 /*
40  *      Implements the API NAL functions
41  */
42
43 #include "gmlnd.h"
44
45 lnd_t the_gmlnd =
46 {
47         .lnd_type            = GMLND,
48         .lnd_startup         = gmnal_startup,
49         .lnd_shutdown        = gmnal_shutdown,
50         .lnd_ctl             = gmnal_ctl,
51         .lnd_send            = gmnal_send,
52         .lnd_recv            = gmnal_recv,
53 };
54
55 gmnal_ni_t *the_gmni = NULL;
56
57 int
58 gmnal_ctl(lnet_ni_t *ni, unsigned int cmd, void *arg)
59 {
60         struct libcfs_ioctl_data *data = arg;
61
62         switch (cmd) {
63         case IOC_LIBCFS_REGISTER_MYNID:
64                 if (data->ioc_nid == ni->ni_nid)
65                         return 0;
66
67                 LASSERT (LNET_NIDNET(data->ioc_nid) == LNET_NIDNET(ni->ni_nid));
68
69                 CERROR("obsolete IOC_LIBCFS_REGISTER_MYNID for %s(%s)\n",
70                        libcfs_nid2str(data->ioc_nid),
71                        libcfs_nid2str(ni->ni_nid));
72                 return 0;
73
74         default:
75                 return (-EINVAL);
76         }
77 }
78
79 int
80 gmnal_set_local_nid (gmnal_ni_t *gmni)
81 {
82         lnet_ni_t       *ni = gmni->gmni_ni;
83         __u32            local_gmid;
84         __u32            global_gmid;
85         gm_status_t      gm_status;
86
87         /* Called before anything initialised: no need to lock */
88         gm_status = gm_get_node_id(gmni->gmni_port, &local_gmid);
89         if (gm_status != GM_SUCCESS)
90                 return 0;
91
92         CDEBUG(D_NET, "Local node id is [%u]\n", local_gmid);
93
94         gm_status = gm_node_id_to_global_id(gmni->gmni_port, 
95                                             local_gmid, 
96                                             &global_gmid);
97         if (gm_status != GM_SUCCESS)
98                 return 0;
99
100         CDEBUG(D_NET, "Global node id is [%u]\n", global_gmid);
101
102         ni->ni_nid = LNET_MKNID(LNET_NIDNET(ni->ni_nid), global_gmid);
103         return 1;
104 }
105
106 void
107 gmnal_shutdown(lnet_ni_t *ni)
108 {
109         gmnal_ni_t *gmni = ni->ni_data;
110
111         CDEBUG(D_TRACE, "gmnal_api_shutdown: gmni [%p]\n", gmni);
112
113         LASSERT (gmni == the_gmni);
114
115         /* stop processing messages */
116         gmnal_stop_threads(gmni);
117
118         /* stop all network callbacks */
119         gm_close(gmni->gmni_port);
120         gmni->gmni_port = NULL;
121
122         gm_finalize();
123
124         gmnal_free_ltxbufs(gmni);
125         gmnal_free_txs(gmni);
126         gmnal_free_rxs(gmni);
127
128         LIBCFS_FREE(gmni, sizeof(*gmni));
129
130         the_gmni = NULL;
131         PORTAL_MODULE_UNUSE;
132 }
133
134 int
135 gmnal_startup(lnet_ni_t *ni)
136 {
137         gmnal_ni_t  *gmni = NULL;
138         gmnal_rx_t  *rx = NULL;
139         gm_status_t  gm_status;
140         int          rc;
141
142         LASSERT (ni->ni_lnd == &the_gmlnd);
143
144         ni->ni_maxtxcredits = *gmnal_tunables.gm_credits;
145         ni->ni_peertxcredits = *gmnal_tunables.gm_peer_credits;
146
147         if (the_gmni != NULL) {
148                 CERROR("Only 1 instance supported\n");
149                 return -EINVAL;
150         }
151
152         LIBCFS_ALLOC(gmni, sizeof(*gmni));
153         if (gmni == NULL) {
154                 CERROR("can't allocate gmni\n");
155                 return -ENOMEM;
156         }
157
158         ni->ni_data = gmni;
159
160         memset(gmni, 0, sizeof(*gmni));
161         gmni->gmni_ni = ni;
162         spin_lock_init(&gmni->gmni_tx_lock);
163         spin_lock_init(&gmni->gmni_gm_lock);
164         INIT_LIST_HEAD(&gmni->gmni_idle_txs);
165         INIT_LIST_HEAD(&gmni->gmni_idle_ltxbs);
166         INIT_LIST_HEAD(&gmni->gmni_buf_txq);
167         INIT_LIST_HEAD(&gmni->gmni_cred_txq);
168         sema_init(&gmni->gmni_rx_mutex, 1);
169         PORTAL_MODULE_USE;
170
171         /*
172          * initialise the interface,
173          */
174         CDEBUG(D_NET, "Calling gm_init\n");
175         if (gm_init() != GM_SUCCESS) {
176                 CERROR("call to gm_init failed\n");
177                 goto failed_0;
178         }
179
180         CDEBUG(D_NET, "Calling gm_open with port [%d], version [%d]\n",
181                *gmnal_tunables.gm_port, GM_API_VERSION);
182
183         gm_status = gm_open(&gmni->gmni_port, 0, *gmnal_tunables.gm_port, 
184                             "gmnal", GM_API_VERSION);
185
186         if (gm_status != GM_SUCCESS) {
187                 CERROR("Can't open GM port %d: %d (%s)\n",
188                        *gmnal_tunables.gm_port, gm_status, 
189                        gmnal_gmstatus2str(gm_status));
190                 goto failed_1;
191         }
192
193         CDEBUG(D_NET,"gm_open succeeded port[%p]\n",gmni->gmni_port);
194
195         if (!gmnal_set_local_nid(gmni))
196                 goto failed_2;
197
198         CDEBUG(D_NET, "portals_nid is %s\n", libcfs_nid2str(ni->ni_nid));
199
200         gmni->gmni_large_msgsize = 
201                 offsetof(gmnal_msg_t, gmm_u.immediate.gmim_payload[LNET_MAX_PAYLOAD]);
202         gmni->gmni_large_gmsize = 
203                 gm_min_size_for_length(gmni->gmni_large_msgsize);
204         gmni->gmni_large_pages =
205                 (gmni->gmni_large_msgsize + PAGE_SIZE - 1)/PAGE_SIZE;
206
207         gmni->gmni_small_msgsize = MIN(GM_MTU, PAGE_SIZE);
208         gmni->gmni_small_gmsize = 
209                 gm_min_size_for_length(gmni->gmni_small_msgsize);
210
211         gmni->gmni_netaddr_base = GMNAL_NETADDR_BASE;
212         gmni->gmni_netaddr_size = 0;
213
214         CDEBUG(D_NET, "Msg size %08x/%08x [%d/%d]\n", 
215                gmni->gmni_large_msgsize, gmni->gmni_small_msgsize,
216                gmni->gmni_large_gmsize, gmni->gmni_small_gmsize);
217
218         if (gmnal_alloc_rxs(gmni) != 0) {
219                 CERROR("Failed to allocate rx descriptors\n");
220                 goto failed_2;
221         }
222
223         if (gmnal_alloc_txs(gmni) != 0) {
224                 CERROR("Failed to allocate tx descriptors\n");
225                 goto failed_2;
226         }
227
228         if (gmnal_alloc_ltxbufs(gmni) != 0) {
229                 CERROR("Failed to allocate large tx buffers\n");
230                 goto failed_2;
231         }
232
233         rc = gmnal_start_threads(gmni);
234         if (rc != 0) {
235                 CERROR("Can't start threads: %d\n", rc);
236                 goto failed_2;
237         }
238
239         /* Start listening */
240         for (rx = gmni->gmni_rxs; rx != NULL; rx = rx->rx_next)
241                 gmnal_post_rx(gmni, rx);
242
243         the_gmni = gmni;
244
245         CDEBUG(D_NET, "gmnal_init finished\n");
246         return 0;
247
248  failed_2:
249         gm_close(gmni->gmni_port);
250         gmni->gmni_port = NULL;
251
252  failed_1:
253         gm_finalize();
254
255  failed_0:
256         /* safe to free descriptors after network has been shut down */
257         gmnal_free_ltxbufs(gmni);
258         gmnal_free_txs(gmni);
259         gmnal_free_rxs(gmni);
260
261         LIBCFS_FREE(gmni, sizeof(*gmni));
262         PORTAL_MODULE_UNUSE;
263
264         return -EIO;
265 }
266
267 /* 
268  *        Called when module loaded
269  */
270 int gmnal_init(void)
271 {
272         lnet_register_lnd(&the_gmlnd);
273         return 0;
274 }
275
276 /*
277  *      Called when module removed
278  */
279 void gmnal_fini()
280 {
281         lnet_unregister_lnd(&the_gmlnd);
282 }