lustre/portals/knals/scimacnal/scimacnal.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:cindent:
   3  *
   4  * Copyright (C) 2003 High Performance Computing Center North (HPC2N)
   5  *   Author: Niklas Edmundsson <nikke@hpc2n.umu.se>
   6
   7  * Based on gmnal, which is based on ksocknal and qswnal
   8  *
   9  * This file is part of Portals, http://www.sf.net/projects/lustre/
  10  *
  11  * Portals is free software; you can redistribute it and/or
  12  * modify it under the terms of version 2 of the GNU General Public
  13  * License as published by the Free Software Foundation.
  14  *
  15  * Portals is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18  * GNU General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU General Public License
  21  * along with Portals; if not, write to the Free Software
  22  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  23  *
  24  */
  25
  26
  27 #include "scimacnal.h"
  28
  29 ptl_handle_ni_t kscimacnal_ni;
  30 nal_t  kscimacnal_api;
  31
  32 kscimacnal_data_t kscimacnal_data;
  33
  34 kpr_nal_interface_t kscimacnal_router_interface = {
  35         kprni_nalid:    SCIMACNAL,
  36         kprni_arg:      NULL,
  37         kprni_fwd:      kscimacnal_fwd_packet,
  38 };
  39
  40
  41 static int kscimacnal_forward(nal_t   *nal,
  42                           int     id,
  43                           void    *args,  size_t args_len,
  44                           void    *ret,   size_t ret_len)
  45 {
  46         kscimacnal_data_t *ksci = nal->nal_data;
  47         nal_cb_t      *nal_cb = ksci->ksci_cb;
  48
  49         LASSERT (nal == &kscimacnal_api);
  50         LASSERT (ksci == &kscimacnal_data);
  51         LASSERT (nal_cb == &kscimacnal_lib);
  52
  53         lib_dispatch(nal_cb, ksci, id, args, ret); /* nal needs ksci */
  54         return PTL_OK;
  55 }
  56
  57
  58 static void kscimacnal_lock(nal_t *nal, unsigned long *flags)
  59 {
  60         kscimacnal_data_t *ksci = nal->nal_data;
  61         nal_cb_t      *nal_cb = ksci->ksci_cb;
  62
  63
  64         LASSERT (nal == &kscimacnal_api);
  65         LASSERT (ksci == &kscimacnal_data);
  66         LASSERT (nal_cb == &kscimacnal_lib);
  67
  68         nal_cb->cb_cli(nal_cb,flags);
  69 }
  70
  71
  72 static void kscimacnal_unlock(nal_t *nal, unsigned long *flags)
  73 {
  74         kscimacnal_data_t *ksci = nal->nal_data;
  75         nal_cb_t      *nal_cb = ksci->ksci_cb;
  76
  77
  78         LASSERT (nal == &kscimacnal_api);
  79         LASSERT (ksci == &kscimacnal_data);
  80         LASSERT (nal_cb == &kscimacnal_lib);
  81
  82         nal_cb->cb_sti(nal_cb,flags);
  83 }
  84
  85
  86 static int kscimacnal_shutdown(nal_t *nal, int ni)
  87 {
  88         LASSERT (nal == &kscimacnal_api);
  89         return 0;
  90 }
  91
  92
  93 static void kscimacnal_yield( nal_t *nal )
  94 {
  95         LASSERT (nal == &kscimacnal_api);
  96
  97         if (current->need_resched)
  98                 schedule();
  99         return;
 100 }
 101
 102
 103 static nal_t *kscimacnal_init(int interface, ptl_pt_index_t  ptl_size,
 104                 ptl_ac_index_t  ac_size, ptl_pid_t requested_pid)
 105 {
 106         int     nnids = 512; /* FIXME: Need ScaMac funktion to get #nodes */
 107
 108         CDEBUG(D_NET, "calling lib_init with nid 0x%Lx nnids %d\n", kscimacnal_data.ksci_nid, nnids);
 109         lib_init(&kscimacnal_lib, kscimacnal_data.ksci_nid, 0, nnids,ptl_size, ac_size);
 110         return &kscimacnal_api;
 111 }
 112
 113
 114 /* Called by kernel at module unload time */
 115 static void /*__exit*/
 116 kscimacnal_finalize(void)
 117 {
 118         /* FIXME: How should the shutdown procedure really look? */
 119         kscimacnal_data.ksci_shuttingdown=1;
 120
 121         PORTAL_SYMBOL_UNREGISTER(kscimacnal_ni);
 122
 123         PtlNIFini(kscimacnal_ni);
 124         lib_fini(&kscimacnal_lib);
 125
 126         mac_finish(kscimacnal_data.ksci_machandle);
 127
 128         CDEBUG (D_MALLOC, "done kmem %d\n", atomic_read (&portal_kmemory));
 129
 130         return;
 131 }
 132
 133
 134 /* Called by kernel at module insertion time */
 135 static int __init
 136 kscimacnal_initialize(void)
 137 {
 138         int rc;
 139         unsigned long     nid=0;
 140         mac_handle_t    *machandle = NULL;
 141
 142
 143         CDEBUG (D_MALLOC, "start kmem %d\n", atomic_read (&portal_kmemory));
 144
 145         kscimacnal_api.forward = kscimacnal_forward;
 146         kscimacnal_api.shutdown = kscimacnal_shutdown;
 147         kscimacnal_api.yield = kscimacnal_yield;
 148         kscimacnal_api.validate = NULL;         /* our api validate is a NOOP */
 149         kscimacnal_api.lock= kscimacnal_lock;
 150         kscimacnal_api.unlock= kscimacnal_unlock;
 151         kscimacnal_api.nal_data = &kscimacnal_data;
 152
 153         kscimacnal_lib.nal_data = &kscimacnal_data;
 154
 155         memset(&kscimacnal_data, 0, sizeof(kscimacnal_data));
 156
 157         kscimacnal_data.ksci_cb = &kscimacnal_lib;
 158
 159         /* We're not using this, but cli/sti callbacks does... ??? */
 160         spin_lock_init(&kscimacnal_data.ksci_dispatch_lock);
 161
 162         /* FIXME: We only support one adapter for now */
 163         machandle = mac_init(0, MAC_SAPID_LUSTRE, kscimacnal_rx,
 164                         &kscimacnal_data);
 165
 166         if(!machandle) {
 167                 CERROR("mac_init() failed\n");
 168                 return -1;
 169         }
 170
 171         kscimacnal_data.ksci_machandle = machandle;
 172
 173         /* Make sure the scimac MTU is tuned */
 174         if(mac_get_mtusize(machandle) < SCIMACNAL_MTU) {
 175                 CERROR("scimac mtu of %ld smaller than SCIMACNAL MTU of %d\n",
 176                                 mac_get_mtusize(machandle), SCIMACNAL_MTU);
 177                 CERROR("Consult README.scimacnal for more information\n");
 178                 mac_finish(machandle);
 179                 return -1;
 180         }
 181
 182         /* Get the node ID */
 183         /* mac_get_physaddrlen() is a function instead of define, sigh */
 184         LASSERT(mac_get_physaddrlen(machandle) <= sizeof(nid));
 185         if(mac_get_physaddr(machandle, (mac_physaddr_t *) &nid)) {
 186                 CERROR("mac_get_physaddr() failed\n");
 187                 mac_finish(machandle);
 188                 return -1;
 189         }
 190         nid = ntohl(nid);
 191         kscimacnal_data.ksci_nid = nid;
 192
 193
 194         /* Initialize Network Interface */
 195         /* FIXME: What do the magic numbers mean? Documentation anyone? */
 196         rc = PtlNIInit(kscimacnal_init, 32, 4, 0, &kscimacnal_ni);
 197         if (rc) {
 198                 CERROR("PtlNIInit failed %d\n", rc);
 199                 mac_finish(machandle);
 200                 return (-ENOMEM);
 201         }
 202
 203         PORTAL_SYMBOL_REGISTER(kscimacnal_ni);
 204
 205         /* We're done now, it's OK for the RX callback to do stuff */
 206         kscimacnal_data.ksci_init = 1;
 207
 208         return 0;
 209 }
 210
 211
 212 MODULE_AUTHOR("Niklas Edmundsson <nikke@hpc2n.umu.se>");
 213 MODULE_DESCRIPTION("Kernel Scali ScaMAC SCI NAL v0.0");
 214 MODULE_LICENSE("GPL");
 215
 216 module_init (kscimacnal_initialize);
 217 module_exit (kscimacnal_finalize);
 218
 219 EXPORT_SYMBOL(kscimacnal_ni);