lnet/klnds/gmlnd/gmlnd_api.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * GPL HEADER START
   5  *
   6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 only,
  10  * as published by the Free Software Foundation.
  11  *
  12  * This program is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * General Public License version 2 for more details (a copy is included
  16  * in the LICENSE file that accompanied this code).
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * version 2 along with this program; If not, see
  20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  21  *
  22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  23  * CA 95054 USA or visit www.sun.com if you need additional information or
  24  * have any questions.
  25  *
  26  * GPL HEADER END
  27  */
  28 /*
  29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
  30  * Use is subject to license terms.
  31  *
  32  * Copyright (c) 2003 Los Alamos National Laboratory (LANL)
  33  */
  34 /*
  35  * This file is part of Lustre, http://www.lustre.org/
  36  * Lustre is a trademark of Sun Microsystems, Inc.
  37  */
  38
  39 /*
  40  *      Implements the API NAL functions
  41  */
  42
  43 #include "gmlnd.h"
  44
  45 lnd_t the_gmlnd =
  46 {
  47         .lnd_type            = GMLND,
  48         .lnd_startup         = gmnal_startup,
  49         .lnd_shutdown        = gmnal_shutdown,
  50         .lnd_ctl             = gmnal_ctl,
  51         .lnd_send            = gmnal_send,
  52         .lnd_recv            = gmnal_recv,
  53 };
  54
  55 gmnal_ni_t *the_gmni = NULL;
  56
  57 int
  58 gmnal_ctl(lnet_ni_t *ni, unsigned int cmd, void *arg)
  59 {
  60         struct libcfs_ioctl_data *data = arg;
  61
  62         switch (cmd) {
  63         case IOC_LIBCFS_REGISTER_MYNID:
  64                 if (data->ioc_nid == ni->ni_nid)
  65                         return 0;
  66
  67                 LASSERT (LNET_NIDNET(data->ioc_nid) == LNET_NIDNET(ni->ni_nid));
  68
  69                 CERROR("obsolete IOC_LIBCFS_REGISTER_MYNID for %s(%s)\n",
  70                        libcfs_nid2str(data->ioc_nid),
  71                        libcfs_nid2str(ni->ni_nid));
  72                 return 0;
  73
  74         default:
  75                 return (-EINVAL);
  76         }
  77 }
  78
  79 int
  80 gmnal_set_local_nid (gmnal_ni_t *gmni)
  81 {
  82         lnet_ni_t       *ni = gmni->gmni_ni;
  83         __u32            local_gmid;
  84         __u32            global_gmid;
  85         gm_status_t      gm_status;
  86
  87         /* Called before anything initialised: no need to lock */
  88         gm_status = gm_get_node_id(gmni->gmni_port, &local_gmid);
  89         if (gm_status != GM_SUCCESS)
  90                 return 0;
  91
  92         CDEBUG(D_NET, "Local node id is [%u]\n", local_gmid);
  93
  94         gm_status = gm_node_id_to_global_id(gmni->gmni_port,
  95                                             local_gmid,
  96                                             &global_gmid);
  97         if (gm_status != GM_SUCCESS)
  98                 return 0;
  99
 100         CDEBUG(D_NET, "Global node id is [%u]\n", global_gmid);
 101
 102         ni->ni_nid = LNET_MKNID(LNET_NIDNET(ni->ni_nid), global_gmid);
 103         return 1;
 104 }
 105
 106 void
 107 gmnal_shutdown(lnet_ni_t *ni)
 108 {
 109         gmnal_ni_t *gmni = ni->ni_data;
 110
 111         CDEBUG(D_TRACE, "gmnal_api_shutdown: gmni [%p]\n", gmni);
 112
 113         LASSERT (gmni == the_gmni);
 114
 115         /* stop processing messages */
 116         gmnal_stop_threads(gmni);
 117
 118         /* stop all network callbacks */
 119         gm_close(gmni->gmni_port);
 120         gmni->gmni_port = NULL;
 121
 122         gm_finalize();
 123
 124         gmnal_free_ltxbufs(gmni);
 125         gmnal_free_txs(gmni);
 126         gmnal_free_rxs(gmni);
 127
 128         LIBCFS_FREE(gmni, sizeof(*gmni));
 129
 130         the_gmni = NULL;
 131         PORTAL_MODULE_UNUSE;
 132 }
 133
 134 int
 135 gmnal_startup(lnet_ni_t *ni)
 136 {
 137         gmnal_ni_t  *gmni = NULL;
 138         gmnal_rx_t  *rx = NULL;
 139         gm_status_t  gm_status;
 140         int          rc;
 141
 142         LASSERT (ni->ni_lnd == &the_gmlnd);
 143
 144         ni->ni_maxtxcredits = *gmnal_tunables.gm_credits;
 145         ni->ni_peertxcredits = *gmnal_tunables.gm_peer_credits;
 146
 147         if (the_gmni != NULL) {
 148                 CERROR("Only 1 instance supported\n");
 149                 return -EINVAL;
 150         }
 151
 152         LIBCFS_ALLOC(gmni, sizeof(*gmni));
 153         if (gmni == NULL) {
 154                 CERROR("can't allocate gmni\n");
 155                 return -ENOMEM;
 156         }
 157
 158         ni->ni_data = gmni;
 159
 160         memset(gmni, 0, sizeof(*gmni));
 161         gmni->gmni_ni = ni;
 162         cfs_spin_lock_init(&gmni->gmni_tx_lock);
 163         cfs_spin_lock_init(&gmni->gmni_gm_lock);
 164         CFS_INIT_LIST_HEAD(&gmni->gmni_idle_txs);
 165         CFS_INIT_LIST_HEAD(&gmni->gmni_idle_ltxbs);
 166         CFS_INIT_LIST_HEAD(&gmni->gmni_buf_txq);
 167         CFS_INIT_LIST_HEAD(&gmni->gmni_cred_txq);
 168         cfs_sema_init(&gmni->gmni_rx_mutex, 1);
 169         PORTAL_MODULE_USE;
 170
 171         /*
 172          * initialise the interface,
 173          */
 174         CDEBUG(D_NET, "Calling gm_init\n");
 175         if (gm_init() != GM_SUCCESS) {
 176                 CERROR("call to gm_init failed\n");
 177                 goto failed_0;
 178         }
 179
 180         CDEBUG(D_NET, "Calling gm_open with port [%d], version [%d]\n",
 181                *gmnal_tunables.gm_port, GM_API_VERSION);
 182
 183         gm_status = gm_open(&gmni->gmni_port, 0, *gmnal_tunables.gm_port,
 184                             "gmnal", GM_API_VERSION);
 185
 186         if (gm_status != GM_SUCCESS) {
 187                 CERROR("Can't open GM port %d: %d (%s)\n",
 188                        *gmnal_tunables.gm_port, gm_status,
 189                        gmnal_gmstatus2str(gm_status));
 190                 goto failed_1;
 191         }
 192
 193         CDEBUG(D_NET,"gm_open succeeded port[%p]\n",gmni->gmni_port);
 194
 195         if (!gmnal_set_local_nid(gmni))
 196                 goto failed_2;
 197
 198         CDEBUG(D_NET, "portals_nid is %s\n", libcfs_nid2str(ni->ni_nid));
 199
 200         gmni->gmni_large_msgsize =
 201                 offsetof(gmnal_msg_t, gmm_u.immediate.gmim_payload[LNET_MAX_PAYLOAD]);
 202         gmni->gmni_large_gmsize =
 203                 gm_min_size_for_length(gmni->gmni_large_msgsize);
 204         gmni->gmni_large_pages =
 205                 (gmni->gmni_large_msgsize + PAGE_SIZE - 1)/PAGE_SIZE;
 206
 207         gmni->gmni_small_msgsize = MIN(GM_MTU, PAGE_SIZE);
 208         gmni->gmni_small_gmsize =
 209                 gm_min_size_for_length(gmni->gmni_small_msgsize);
 210
 211         gmni->gmni_netaddr_base = GMNAL_NETADDR_BASE;
 212         gmni->gmni_netaddr_size = 0;
 213
 214         CDEBUG(D_NET, "Msg size %08x/%08x [%d/%d]\n",
 215                gmni->gmni_large_msgsize, gmni->gmni_small_msgsize,
 216                gmni->gmni_large_gmsize, gmni->gmni_small_gmsize);
 217
 218         if (gmnal_alloc_rxs(gmni) != 0) {
 219                 CERROR("Failed to allocate rx descriptors\n");
 220                 goto failed_2;
 221         }
 222
 223         if (gmnal_alloc_txs(gmni) != 0) {
 224                 CERROR("Failed to allocate tx descriptors\n");
 225                 goto failed_2;
 226         }
 227
 228         if (gmnal_alloc_ltxbufs(gmni) != 0) {
 229                 CERROR("Failed to allocate large tx buffers\n");
 230                 goto failed_2;
 231         }
 232
 233         rc = gmnal_start_threads(gmni);
 234         if (rc != 0) {
 235                 CERROR("Can't start threads: %d\n", rc);
 236                 goto failed_2;
 237         }
 238
 239         /* Start listening */
 240         for (rx = gmni->gmni_rxs; rx != NULL; rx = rx->rx_next)
 241                 gmnal_post_rx(gmni, rx);
 242
 243         the_gmni = gmni;
 244
 245         CDEBUG(D_NET, "gmnal_init finished\n");
 246         return 0;
 247
 248  failed_2:
 249         gm_close(gmni->gmni_port);
 250         gmni->gmni_port = NULL;
 251
 252  failed_1:
 253         gm_finalize();
 254
 255  failed_0:
 256         /* safe to free descriptors after network has been shut down */
 257         gmnal_free_ltxbufs(gmni);
 258         gmnal_free_txs(gmni);
 259         gmnal_free_rxs(gmni);
 260
 261         LIBCFS_FREE(gmni, sizeof(*gmni));
 262         PORTAL_MODULE_UNUSE;
 263
 264         return -EIO;
 265 }
 266
 267 /*
 268  *        Called when module loaded
 269  */
 270 int gmnal_init(void)
 271 {
 272         lnet_register_lnd(&the_gmlnd);
 273         return 0;
 274 }
 275
 276 /*
 277  *      Called when module removed
 278  */
 279 void gmnal_fini()
 280 {
 281         lnet_unregister_lnd(&the_gmlnd);
 282 }