lnet/klnds/gmlnd/gmlnd_api.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * Copyright (c) 2003 Los Alamos National Laboratory (LANL)
   5  * Copyright (C) 2005 Cluster File Systems, Inc. All rights reserved.
   6  *
   7  *   This file is part of Lustre, http://www.lustre.org/
   8  *
   9  *   Lustre is free software; you can redistribute it and/or
  10  *   modify it under the terms of version 2 of the GNU General Public
  11  *   License as published by the Free Software Foundation.
  12  *
  13  *   Lustre is distributed in the hope that it will be useful,
  14  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  *   GNU General Public License for more details.
  17  *
  18  *   You should have received a copy of the GNU General Public License
  19  *   along with Lustre; if not, write to the Free Software
  20  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  21  */
  22
  23 /*
  24  *      Implements the API NAL functions
  25  */
  26
  27 #include "gmlnd.h"
  28
  29 lnd_t the_gmlnd =
  30 {
  31         .lnd_type            = GMLND,
  32         .lnd_startup         = gmnal_startup,
  33         .lnd_shutdown        = gmnal_shutdown,
  34         .lnd_ctl             = gmnal_ctl,
  35         .lnd_send            = gmnal_send,
  36         .lnd_recv            = gmnal_recv,
  37 };
  38
  39 gmnal_ni_t *the_gmni = NULL;
  40
  41 int
  42 gmnal_ctl(lnet_ni_t *ni, unsigned int cmd, void *arg)
  43 {
  44         struct libcfs_ioctl_data *data = arg;
  45
  46         switch (cmd) {
  47         case IOC_LIBCFS_REGISTER_MYNID:
  48                 if (data->ioc_nid == ni->ni_nid)
  49                         return 0;
  50
  51                 LASSERT (LNET_NIDNET(data->ioc_nid) == LNET_NIDNET(ni->ni_nid));
  52
  53                 CERROR("obsolete IOC_LIBCFS_REGISTER_MYNID for %s(%s)\n",
  54                        libcfs_nid2str(data->ioc_nid),
  55                        libcfs_nid2str(ni->ni_nid));
  56                 return 0;
  57
  58         default:
  59                 return (-EINVAL);
  60         }
  61 }
  62
  63 int
  64 gmnal_set_local_nid (gmnal_ni_t *gmni)
  65 {
  66         lnet_ni_t       *ni = gmni->gmni_ni;
  67         __u32            local_gmid;
  68         __u32            global_gmid;
  69         gm_status_t      gm_status;
  70
  71         /* Called before anything initialised: no need to lock */
  72         gm_status = gm_get_node_id(gmni->gmni_port, &local_gmid);
  73         if (gm_status != GM_SUCCESS)
  74                 return 0;
  75
  76         CDEBUG(D_NET, "Local node id is [%u]\n", local_gmid);
  77
  78         gm_status = gm_node_id_to_global_id(gmni->gmni_port,
  79                                             local_gmid,
  80                                             &global_gmid);
  81         if (gm_status != GM_SUCCESS)
  82                 return 0;
  83
  84         CDEBUG(D_NET, "Global node id is [%u]\n", global_gmid);
  85
  86         ni->ni_nid = LNET_MKNID(LNET_NIDNET(ni->ni_nid), global_gmid);
  87         return 1;
  88 }
  89
  90 void
  91 gmnal_shutdown(lnet_ni_t *ni)
  92 {
  93         gmnal_ni_t      *gmni = ni->ni_data;
  94
  95         CDEBUG(D_TRACE, "gmnal_api_shutdown: gmni [%p]\n", gmni);
  96
  97         LASSERT (gmni == the_gmni);
  98
  99         /* stop processing messages */
 100         gmnal_stop_threads(gmni);
 101
 102         /* stop all network callbacks */
 103         gm_close(gmni->gmni_port);
 104         gmni->gmni_port = NULL;
 105
 106         gm_finalize();
 107
 108         gmnal_free_ltxbufs(gmni);
 109         gmnal_free_txs(gmni);
 110         gmnal_free_rxs(gmni);
 111
 112         LIBCFS_FREE(gmni, sizeof(*gmni));
 113
 114         the_gmni = NULL;
 115 }
 116
 117 int
 118 gmnal_startup(lnet_ni_t *ni)
 119 {
 120         gmnal_ni_t      *gmni = NULL;
 121         gmnal_rx_t      *rx = NULL;
 122         gm_status_t      gm_status;
 123         int              rc;
 124
 125         LASSERT (ni->ni_lnd == &the_gmlnd);
 126
 127         ni->ni_maxtxcredits = *gmnal_tunables.gm_credits;
 128         ni->ni_peertxcredits = *gmnal_tunables.gm_peer_credits;
 129
 130         if (the_gmni != NULL) {
 131                 CERROR("Only 1 instance supported\n");
 132                 return -EINVAL;
 133         }
 134
 135         LIBCFS_ALLOC(gmni, sizeof(*gmni));
 136         if (gmni == NULL) {
 137                 CERROR("can't allocate gmni\n");
 138                 return -ENOMEM;
 139         }
 140
 141         ni->ni_data = gmni;
 142
 143         memset(gmni, 0, sizeof(*gmni));
 144         gmni->gmni_ni = ni;
 145         spin_lock_init(&gmni->gmni_tx_lock);
 146         spin_lock_init(&gmni->gmni_gm_lock);
 147         INIT_LIST_HEAD(&gmni->gmni_idle_txs);
 148         INIT_LIST_HEAD(&gmni->gmni_idle_ltxbs);
 149         INIT_LIST_HEAD(&gmni->gmni_buf_txq);
 150         INIT_LIST_HEAD(&gmni->gmni_cred_txq);
 151         sema_init(&gmni->gmni_rx_mutex, 1);
 152
 153         /*
 154          *      initialise the interface,
 155          */
 156         CDEBUG(D_NET, "Calling gm_init\n");
 157         if (gm_init() != GM_SUCCESS) {
 158                 CERROR("call to gm_init failed\n");
 159                 goto failed_0;
 160         }
 161
 162         CDEBUG(D_NET, "Calling gm_open with port [%d], version [%d]\n",
 163                *gmnal_tunables.gm_port, GM_API_VERSION);
 164
 165         gm_status = gm_open(&gmni->gmni_port, 0, *gmnal_tunables.gm_port,
 166                             "gmnal", GM_API_VERSION);
 167
 168         if (gm_status != GM_SUCCESS) {
 169                 CERROR("Can't open GM port %d: %d (%s)\n",
 170                        *gmnal_tunables.gm_port, gm_status,
 171                        gmnal_gmstatus2str(gm_status));
 172                 goto failed_1;
 173         }
 174
 175         CDEBUG(D_NET,"gm_open succeeded port[%p]\n",gmni->gmni_port);
 176
 177         if (!gmnal_set_local_nid(gmni))
 178                 goto failed_2;
 179
 180         CDEBUG(D_NET, "portals_nid is %s\n", libcfs_nid2str(ni->ni_nid));
 181
 182         gmni->gmni_large_msgsize =
 183                 offsetof(gmnal_msg_t, gmm_u.immediate.gmim_payload[LNET_MAX_PAYLOAD]);
 184         gmni->gmni_large_gmsize =
 185                 gm_min_size_for_length(gmni->gmni_large_msgsize);
 186         gmni->gmni_large_pages =
 187                 (gmni->gmni_large_msgsize + PAGE_SIZE - 1)/PAGE_SIZE;
 188
 189         gmni->gmni_small_msgsize = MIN(GM_MTU, PAGE_SIZE);
 190         gmni->gmni_small_gmsize =
 191                 gm_min_size_for_length(gmni->gmni_small_msgsize);
 192
 193         gmni->gmni_netaddr_base = GMNAL_NETADDR_BASE;
 194         gmni->gmni_netaddr_size = 0;
 195
 196         CDEBUG(D_NET, "Msg size %08x/%08x [%d/%d]\n",
 197                gmni->gmni_large_msgsize, gmni->gmni_small_msgsize,
 198                gmni->gmni_large_gmsize, gmni->gmni_small_gmsize);
 199
 200         if (gmnal_alloc_rxs(gmni) != 0) {
 201                 CERROR("Failed to allocate rx descriptors\n");
 202                 goto failed_2;
 203         }
 204
 205         if (gmnal_alloc_txs(gmni) != 0) {
 206                 CERROR("Failed to allocate tx descriptors\n");
 207                 goto failed_2;
 208         }
 209
 210         if (gmnal_alloc_ltxbufs(gmni) != 0) {
 211                 CERROR("Failed to allocate large tx buffers\n");
 212                 goto failed_2;
 213         }
 214
 215         rc = gmnal_start_threads(gmni);
 216         if (rc != 0) {
 217                 CERROR("Can't start threads: %d\n", rc);
 218                 goto failed_2;
 219         }
 220
 221         /* Start listening */
 222         for (rx = gmni->gmni_rxs; rx != NULL; rx = rx->rx_next)
 223                 gmnal_post_rx(gmni, rx);
 224
 225         the_gmni = gmni;
 226
 227         CDEBUG(D_NET, "gmnal_init finished\n");
 228         return 0;
 229
 230  failed_2:
 231         gm_close(gmni->gmni_port);
 232         gmni->gmni_port = NULL;
 233
 234  failed_1:
 235         gm_finalize();
 236
 237  failed_0:
 238         /* safe to free descriptors after network has been shut down */
 239         gmnal_free_ltxbufs(gmni);
 240         gmnal_free_txs(gmni);
 241         gmnal_free_rxs(gmni);
 242
 243         LIBCFS_FREE(gmni, sizeof(*gmni));
 244
 245         return -EIO;
 246 }
 247
 248 /*
 249  *        Called when module loaded
 250  */
 251 int gmnal_init(void)
 252 {
 253         lnet_register_lnd(&the_gmlnd);
 254         return 0;
 255 }
 256
 257 /*
 258  *      Called when module removed
 259  */
 260 void gmnal_fini()
 261 {
 262         lnet_unregister_lnd(&the_gmlnd);
 263 }