lustre/portals/knals/scimacnal/README.scimacnal

   1
   2 scimacnal - A NAL for the Scali ScaMAC midlayer.
   3
   4 The ScaMAC midlayer is a simplified API to the SCI high performance
   5 interconnect (http://www.scali.com/, http://www.dolphinics.com/).
   6
   7 In order to use this NAL you'll need to tune scimac to use larger buffers.
   8 See scimac.conf in this directory for an example.
   9
  10 You'll also need to edit portals/include/portals/lib-types.h and reduce
  11 the MTU to 64kB (the limit of scimac), this diff should help:
  12
  13 ----------------------8<----------------------------------
  14 --- portals/include/portals/lib-types.h 27 Jul 2003 02:05:47 -0000      1.1.2.5
  15 +++ portals/include/portals/lib-types.h 14 Aug 2003 08:32:14 -0000
  16 @@ -137,8 +137,8 @@
  17  } lib_counters_t;
  18
  19  /* temporary expedient: limit number of entries in discontiguous MDs */
  20 -# define PTL_MTU        (512<<10)
  21 -# define PTL_MD_MAX_IOV 128
  22 +# define PTL_MTU        (64<<10)
  23 +# define PTL_MD_MAX_IOV 16
  24
  25  struct lib_msg_t {
  26          struct list_head  msg_list;
  27 ----------------------8<----------------------------------
  28
  29 The NAL itself seems quite stable, though scimac has recovery bugs when
  30 rebooting nodes at times (confirmed by the fact that the IP driver that
  31 also uses scimac loses connectivity when scimacnal does).  This is
  32 solved by unloading lustre and reloading the scimac driver on the
  33 affected nodes.
  34
  35 Performance isn't great when it comes to latency, scimac seems to have
  36 problems with per packet latencies (confirmed with the IP driver which
  37 has similar behaviour). Bandwidth using large packets is pretty OK
  38 (probably due to the fact that it hides the latency issues).
  39
  40 TODO:
  41 Routing isn't yet implemented.
  42 Need some way to inform portals about our MTU.