lustre/portals/knals/scimacnal/scimacnal.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:cindent:
   3  *
   4  * Copyright (C) 2003 High Performance Computing Center North (HPC2N)
   5  *   Author: Niklas Edmundsson <nikke@hpc2n.umu.se>
   6
   7  * Based on gmnal, which is based on ksocknal and qswnal
   8  *
   9  * This file is part of Portals, http://www.sf.net/projects/lustre/
  10  *
  11  * Portals is free software; you can redistribute it and/or
  12  * modify it under the terms of version 2 of the GNU General Public
  13  * License as published by the Free Software Foundation.
  14  *
  15  * Portals is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with Portals; if not, write to the Free Software
  22  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  23  *
  24  */
  25
  26
  27 #include "scimacnal.h"
  28
  29 ptl_handle_ni_t kscimacnal_ni;
  30 nal_t  kscimacnal_api;
  31
  32 kscimacnal_data_t kscimacnal_data;
  33
  34 kpr_nal_interface_t kscimacnal_router_interface = {
  35         kprni_nalid:    SCIMACNAL,
  36         kprni_arg:      NULL,
  37         kprni_fwd:      kscimacnal_fwd_packet,
  38 };
  39
  40
  41 int kscimacnal_cmd (struct portal_ioctl_data *data, void *private)
  42 {
  43         LASSERT (data != NULL);
  44
  45         switch (data->ioc_nal_cmd) {
  46                 case NAL_CMD_REGISTER_MYNID:
  47                         if(kscimacnal_lib.ni.nid == data->ioc_nid) {
  48                                 break;
  49                         }
  50                         CDEBUG (D_IOCTL, "Can't change NID from "LPX64" to "LPX64")\n", kscimacnal_lib.ni.nid, data->ioc_nid);
  51                         return(-EINVAL);
  52                 default:
  53                         return(-EINVAL);
  54         }
  55
  56         return(0);
  57 }
  58
  59 static int kscimacnal_forward(nal_t   *nal,
  60                           int     id,
  61                           void    *args,  size_t args_len,
  62                           void    *ret,   size_t ret_len)
  63 {
  64         kscimacnal_data_t *ksci = nal->nal_data;
  65         nal_cb_t      *nal_cb = ksci->ksci_cb;
  66
  67         LASSERT (nal == &kscimacnal_api);
  68         LASSERT (ksci == &kscimacnal_data);
  69         LASSERT (nal_cb == &kscimacnal_lib);
  70
  71         lib_dispatch(nal_cb, ksci, id, args, ret); /* nal needs ksci */
  72         return PTL_OK;
  73 }
  74
  75
  76 static void kscimacnal_lock(nal_t *nal, unsigned long *flags)
  77 {
  78         kscimacnal_data_t *ksci = nal->nal_data;
  79         nal_cb_t      *nal_cb = ksci->ksci_cb;
  80
  81
  82         LASSERT (nal == &kscimacnal_api);
  83         LASSERT (ksci == &kscimacnal_data);
  84         LASSERT (nal_cb == &kscimacnal_lib);
  85
  86         nal_cb->cb_cli(nal_cb,flags);
  87 }
  88
  89
  90 static void kscimacnal_unlock(nal_t *nal, unsigned long *flags)
  91 {
  92         kscimacnal_data_t *ksci = nal->nal_data;
  93         nal_cb_t      *nal_cb = ksci->ksci_cb;
  94
  95
  96         LASSERT (nal == &kscimacnal_api);
  97         LASSERT (ksci == &kscimacnal_data);
  98         LASSERT (nal_cb == &kscimacnal_lib);
  99
 100         nal_cb->cb_sti(nal_cb,flags);
 101 }
 102
 103
 104 static int kscimacnal_shutdown(nal_t *nal, int ni)
 105 {
 106         LASSERT (nal == &kscimacnal_api);
 107         return 0;
 108 }
 109
 110
 111 static void kscimacnal_yield( nal_t *nal )
 112 {
 113         LASSERT (nal == &kscimacnal_api);
 114
 115         if (current->need_resched)
 116                 schedule();
 117         return;
 118 }
 119
 120
 121 static nal_t *kscimacnal_init(int interface, ptl_pt_index_t  ptl_size,
 122                 ptl_ac_index_t  ac_size, ptl_pid_t requested_pid)
 123 {
 124         int     nnids = 512; /* FIXME: Need ScaMac funktion to get #nodes */
 125
 126         CDEBUG(D_NET, "calling lib_init with nid "LPX64" nnids %d\n", kscimacnal_data.ksci_nid, nnids);
 127         lib_init(&kscimacnal_lib, kscimacnal_data.ksci_nid, 0, nnids,ptl_size, ac_size);
 128         return &kscimacnal_api;
 129 }
 130
 131
 132 /* Called by kernel at module unload time */
 133 static void /*__exit*/
 134 kscimacnal_finalize(void)
 135 {
 136         /* FIXME: How should the shutdown procedure really look? */
 137         kscimacnal_data.ksci_shuttingdown=1;
 138
 139         PORTAL_SYMBOL_UNREGISTER(kscimacnal_ni);
 140
 141         PtlNIFini(kscimacnal_ni);
 142         lib_fini(&kscimacnal_lib);
 143
 144         mac_finish(kscimacnal_data.ksci_machandle);
 145
 146         CDEBUG (D_MALLOC, "done kmem %d\n", atomic_read (&portal_kmemory));
 147
 148         return;
 149 }
 150
 151
 152 /* Called by kernel at module insertion time */
 153 static int __init
 154 kscimacnal_initialize(void)
 155 {
 156         int rc;
 157         unsigned long     nid=0;
 158         mac_handle_t    *machandle = NULL;
 159
 160
 161         CDEBUG (D_MALLOC, "start kmem %d\n", atomic_read (&portal_kmemory));
 162
 163         kscimacnal_api.forward = kscimacnal_forward;
 164         kscimacnal_api.shutdown = kscimacnal_shutdown;
 165         kscimacnal_api.yield = kscimacnal_yield;
 166         kscimacnal_api.validate = NULL;         /* our api validate is a NOOP */
 167         kscimacnal_api.lock= kscimacnal_lock;
 168         kscimacnal_api.unlock= kscimacnal_unlock;
 169         kscimacnal_api.nal_data = &kscimacnal_data;
 170
 171         kscimacnal_lib.nal_data = &kscimacnal_data;
 172
 173         memset(&kscimacnal_data, 0, sizeof(kscimacnal_data));
 174
 175         kscimacnal_data.ksci_cb = &kscimacnal_lib;
 176
 177         /* We're not using this, but cli/sti callbacks does... ??? */
 178         spin_lock_init(&kscimacnal_data.ksci_dispatch_lock);
 179
 180         /* FIXME: We only support one adapter for now */
 181         machandle = mac_init(0, MAC_SAPID_LUSTRE, kscimacnal_rx,
 182                         &kscimacnal_data);
 183
 184         if(!machandle) {
 185                 CERROR("mac_init() failed\n");
 186                 return -1;
 187         }
 188
 189         kscimacnal_data.ksci_machandle = machandle;
 190
 191         /* Make sure the scimac MTU is tuned */
 192         if(mac_get_mtusize(machandle) < SCIMACNAL_MTU) {
 193                 CERROR("scimac mtu of %ld smaller than SCIMACNAL MTU of %d\n",
 194                                 mac_get_mtusize(machandle), SCIMACNAL_MTU);
 195                 CERROR("Consult README.scimacnal for more information\n");
 196                 mac_finish(machandle);
 197                 return -1;
 198         }
 199
 200         /* Get the node ID */
 201         /* mac_get_physaddrlen() is a function instead of define, sigh */
 202         LASSERT(mac_get_physaddrlen(machandle) <= sizeof(nid));
 203         if(mac_get_physaddr(machandle, (mac_physaddr_t *) &nid)) {
 204                 CERROR("mac_get_physaddr() failed\n");
 205                 mac_finish(machandle);
 206                 return -1;
 207         }
 208         nid = ntohl(nid);
 209         kscimacnal_data.ksci_nid = nid;
 210
 211
 212         /* Initialize Network Interface */
 213         /* FIXME: What do the magic numbers mean? Documentation anyone? */
 214         rc = PtlNIInit(kscimacnal_init, 32, 4, 0, &kscimacnal_ni);
 215         if (rc) {
 216                 CERROR("PtlNIInit failed %d\n", rc);
 217                 mac_finish(machandle);
 218                 return (-ENOMEM);
 219         }
 220
 221         /* Init command interface */
 222         rc = kportal_nal_register (SCIMACNAL, &kscimacnal_cmd, NULL);
 223         if (rc != 0) {
 224                 CERROR ("Can't initialise command interface (rc = %d)\n", rc);
 225                 PtlNIFini(kscimacnal_ni);
 226                 mac_finish(machandle);
 227                 return (rc);
 228         }
 229
 230
 231         PORTAL_SYMBOL_REGISTER(kscimacnal_ni);
 232
 233         /* We're done now, it's OK for the RX callback to do stuff */
 234         kscimacnal_data.ksci_init = 1;
 235
 236         return 0;
 237 }
 238
 239
 240 MODULE_AUTHOR("Niklas Edmundsson <nikke@hpc2n.umu.se>");
 241 MODULE_DESCRIPTION("Kernel Scali ScaMAC SCI NAL v0.1");
 242 MODULE_LICENSE("GPL");
 243
 244 module_init (kscimacnal_initialize);
 245 module_exit (kscimacnal_finalize);
 246
 247 EXPORT_SYMBOL(kscimacnal_ni);