lnet/ChangeLog

   1 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
   2        * version 1.4.11 / 1.6.1
   3        * Support for networks:
   4         socklnd   - kernels up to 2.6.16
   5         qswlnd    - Qsnet kernel modules 5.20 and later
   6         openiblnd - IbGold 1.8.2
   7         o2iblnd   - OFED 1.1
   8         viblnd    - Voltaire ibhost 3.4.5 and later
   9         ciblnd    - Topspin 3.2.0
  10         iiblnd    - Infiniserv 3.3 + PathBits patch
  11         gmlnd     - GM 2.1.22 and later
  12         mxlnd     - MX 1.2.1 or later
  13         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14        * bug fixes
  15
  16 Severity   : normal
  17 Bugzilla   : 11680
  18 Description: make panic on lbug configurable
  19
  20 ------------------------------------------------------------------------------
  21
  22 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
  23        * version 1.4.10 / 1.6.0
  24        * Support for networks:
  25         socklnd   - kernels up to 2.6.16
  26         qswlnd    - Qsnet kernel modules 5.20 and later
  27         openiblnd - IbGold 1.8.2
  28         o2iblnd   - OFED 1.1
  29         viblnd    - Voltaire ibhost 3.4.5 and later
  30         ciblnd    - Topspin 3.2.0
  31         iiblnd    - Infiniserv 3.3 + PathBits patch
  32         gmlnd     - GM 2.1.22 and later
  33         mxlnd     - MX 1.2.1 or later
  34         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  35        * bug fixes
  36
  37 Severity   : minor
  38 Frequency  : rare
  39 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
  40              possibly accessed in kptllnd_shutdown. Ptllnd should init
  41              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
  42
  43 Severity   : normal
  44 Frequency  : rare
  45 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
  46
  47 Severity   : minor
  48 Frequency  : rare
  49 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
  50
  51 Severity   : minor
  52 Frequency  : rare
  53 Description: the_lnet.ln_finalizing was not set when the current thread is
  54              about to complete messages. It only affects multi-threaded
  55              user space LNet.
  56
  57 Severity   : normal
  58 Frequency  : rare
  59 Bugzilla   : 11472
  60 Description: Changed the default kqswlnd ntxmsg=512
  61
  62 Severity   : major
  63 Frequency  : rare
  64 Bugzilla   : 12458
  65 Description: Assertion failure in kernel ptllnd caused by posting passive
  66              bulk buffers before connection establishment complete.
  67
  68 Severity   : major
  69 Frequency  : rare
  70 Bugzilla   : 12455
  71 Description: A race in kernel ptllnd between deleting a peer and posting
  72              new communications for it could hang communications -
  73              manifesting as "Unexpectedly long timeout" messages.
  74
  75 Severity   : major
  76 Frequency  : rare
  77 Bugzilla   : 12432
  78 Description: Kernel ptllnd lock ordering issue could hang a node.
  79
  80 Severity   : major
  81 Frequency  : rare
  82 Bugzilla   : 12016
  83 Description: node crash on socket teardown race
  84
  85 Severity   : minor
  86 Frequency  : 'lctl peer_list' issued on a mx net
  87 Bugzilla   : 12237
  88 Description: Enable lctl's peer_list for MXLND
  89
  90 Severity   : major
  91 Frequency  : after Ptllnd timeouts and portals congestion
  92 Bugzilla   : 11659
  93 Description: Credit overflows
  94 Details    : This was a bug in ptllnd connection establishment.  The fix
  95              implements better peer stamps to disambiguate connection
  96              establishment and ensure both peers enter the credit flow
  97              state machine consistently.
  98
  99 Severity   : major
 100 Frequency  : rare
 101 Bugzilla   : 11394
 102 Description: kptllnd didn't propagate some network errors up to LNET
 103 Details    : This bug was spotted while investigating 11394.  The fix
 104              ensures network errors on sends and bulk transfers are
 105              propagated to LNET/lustre correctly.
 106
 107 Severity   : enhancement
 108 Bugzilla   : 10316
 109 Description: Fixed console chatter in case of -ETIMEDOUT.
 110
 111 Severity   : enhancement
 112 Bugzilla   : 11684
 113 Description: Added D_NETTRACE for recording network packet history
 114              (initially only for ptllnd).  Also a separate userspace
 115              ptllnd facility to gather history which should really be
 116              covered by D_NETTRACE too, if only CDEBUG recorded history in
 117              userspace.
 118
 119 Severity   : major
 120 Frequency  : rare
 121 Bugzilla   : 11616
 122 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 123 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 124              callback can occur before a connection has actually been
 125              established.  This caused an assertion failure previously.
 126
 127 Severity   : enhancement
 128 Bugzilla   : 11094
 129 Description: Multiple instances for o2iblnd
 130 Details    : Allow multiple instances of o2iblnd to enable networking over
 131              multiple HCAs and routing between them.
 132
 133 Severity   : major
 134 Bugzilla   : 11201
 135 Description: lnet deadlock in router_checker
 136 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 137              into BH locks to eliminate potential deadlock caused by
 138              ksocknal_data_ready() preempting code holding these locks.
 139
 140 Severity   : major
 141 Bugzilla   : 11126
 142 Description: Millions of failed socklnd connection attempts cause a very slow FS
 143 Details    : added a new route flag ksnr_scheduled to distinguish from
 144              ksnr_connecting, so that a peer connection request is only turned
 145              down for race concerns when an active connection to the same peer
 146              is under progress (instead of just being scheduled).
 147
 148 ------------------------------------------------------------------------------
 149
 150 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 151        * version 1.4.9
 152        * Support for networks:
 153         socklnd   - kernels up to 2.6.16
 154         qswlnd    - Qsnet kernel modules 5.20 and later
 155         openiblnd - IbGold 1.8.2
 156         o2iblnd   - OFED 1.1
 157         viblnd    - Voltaire ibhost 3.4.5 and later
 158         ciblnd    - Topspin 3.2.0
 159         iiblnd    - Infiniserv 3.3 + PathBits patch
 160         gmlnd     - GM 2.1.22 and later
 161         mxlnd     - MX 1.2.1 or later
 162         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 163        * bug fixes
 164
 165 Severity   : major on XT3
 166 Bugzilla   : none
 167 Description: libcfs overwrites /proc/sys/portals
 168 Details    : libcfs created a symlink from /proc/sys/portals to
 169              /proc/sys/lnet for backwards compatibility.  This is no
 170              longer required and makes the Cray portals /proc variables
 171              inaccessible.
 172
 173 Severity   : minor
 174 Bugzilla   : 11312
 175 Description: OFED FMR API change
 176 Details    : This changes parameter usage to reflect a change in
 177              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 178              that FMR support is only used in experimental versions of the
 179              o2iblnd - this change does not affect standard usage at all.
 180
 181 Severity   : enhancement
 182 Bugzilla   : 11245
 183 Description: new ko2iblnd module parameter: ib_mtu
 184 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 185              HCAs.  You can avoid this problem by setting the MTU to 1024
 186              using this module parameter.
 187
 188 Severity   : enhancement
 189 Bugzilla   : 11118/11620
 190 Description: ptllnd small request message buffer alignment fix
 191 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 192              Round up small message size on sends in case this option
 193              is not supported.  11620 was a defect in the initial
 194              implementation which effectively asserted all peers had to be
 195              running the correct protocol version which was fixed by always
 196              NAK-ing such requests and handling any misalignments they
 197              introduce.
 198
 199 Severity   : minor
 200 Frequency  : rarely
 201 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 202              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 203              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 204
 205 Severity   : enhancement
 206 Bugzilla   : 11250
 207 Description: Patchless ZC(zero copy) socklnd
 208 Details    : New protocol for socklnd, socklnd can support zero copy without
 209              kernel patch, it's compatible with old socklnd. Checksum is
 210              moved from tunables to modparams.
 211
 212 Severity   : minor
 213 Frequency  : rarely
 214 Description: When ksocknal_del_peer() is called upon a peer whose
 215              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 216              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 217
 218 Severity   : normal
 219 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 220 Bugzilla   : 11318
 221 Description: In lnet_match_blocked_msg(), md can be used without holding a
 222              ref on it.
 223
 224 Severity   : minor
 225 Frequency  : very rarely
 226 Bugzilla   : 10727
 227 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 228              If connd connects a route which has been closed by
 229              ksocknal_shutdown(), ksocknal_create_routes() may create new
 230              routes which hold references on the peer, causing shutdown
 231              process to wait for peer to disappear forever.
 232
 233 Severity   : enhancement
 234 Bugzilla   : 11234
 235 Description: Dump XT3 portals traces on kptllnd timeout
 236 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 237              dump Cray portals debug traces to a file.  The kptllnd module
 238              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 239              is the basename of the dump file.
 240
 241 Severity   : major
 242 Frequency  : infrequent
 243 Bugzilla   : 11308
 244 Description: kernel ptllnd fix bug in connection re-establishment
 245 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 246              matchbits and/or violate the credit flow protocol when trying
 247              to re-establish a connection with a peer after an error or
 248              timeout.
 249
 250 Severity   : enhancement
 251 Bugzilla   : 10316
 252 Description: Allow /proc/sys/lnet/debug to be set symbolically
 253 Details    : Allow debug and subsystem debug values to be read/set by name
 254              in addition to numerically, for ease of use.
 255
 256 Severity   : normal
 257 Frequency  : only in configurations with LNET routers
 258 Bugzilla   : 10316
 259 Description: routes automatically marked down and recovered
 260 Details    : In configurations with LNET routers if a router fails routers
 261              now actively try to recover routes that are down, unless they
 262              are marked down by an administrator.
 263
 264 ------------------------------------------------------------------------------
 265
 266 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 267
 268 Severity   : critical
 269 Frequency  : very rarely, in configurations with LNET routers and TCP
 270 Bugzilla   : 10889
 271 Description: incorrect data written to files on OSTs
 272 Details    : In certain high-load conditions incorrect data may be written
 273              to files on the OST when using TCP networks.
 274
 275 ------------------------------------------------------------------------------
 276
 277 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 278         * version 1.4.7
 279         - rework CDEBUG messages rate-limiting mechanism b=10375
 280         - add per-socket tunables for socklnd if the kernel is patched b=10327
 281
 282 ------------------------------------------------------------------------------
 283
 284 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 285         * version 1.4.6
 286         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 287         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 288         - quiet LNET startup LNI message for liblustre b=10128
 289         - Better console error messages if 'ip2nets' can't match an IP address
 290         - Fixed overflow/use-before-set bugs in linux-time.h
 291         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 292         - LNET teardown failed an assertion about the route table being empty
 293         - Fixed a crash in LNetEQPoll(<invalid handle>)
 294         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 295         - improve debug message for liblustre/Catamount nodes (b=10116)
 296
 297 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 298         * Configuration change for the XT3
 299              The PTLLND is now used to run Lustre over Portals on the XT3.
 300              The configure option(s) --with-cray-portals are no longer
 301              used.  Rather --with-portals=<path-to-portals-includes> is
 302              used to enable building on the XT3.  In addition to enable
 303              XT3 specific features the option --enable-cray-xt3 must be
 304              used.
 305
 306 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 307         * Portals has been removed, replaced by LNET.
 308            LNET is new networking infrastructure for Lustre, it includes a
 309            reorganized network configuration mode (see the user
 310            documentation for full details) as well as support for routing
 311            between different network fabrics.  Lustre Networking Devices
 312            (LNDS) for the supported network fabrics have also been created
 313            for this new infrastructure.
 314
 315 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 316        * version 1.4.4
 317        * bug fixes
 318
 319 Severity   : major
 320 Frequency  : rare (large Voltaire clusters only)
 321 Bugzilla   : 6993
 322 Description: the default number of reserved transmit descriptors was too low
 323              for some large clusters
 324 Details    : As a workaround, the number was increased.  A proper fix includes
 325              a run-time tunable.
 326
 327 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 328        * version 1.4.3
 329        * bug fixes
 330
 331 Severity   : major
 332 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 333 Bugzilla   : 6411
 334 Description: too many error messages on console obscure actual problem and
 335              can slow down/panic server, or cause recovery to fail repeatedly
 336 Details    : enable rate-limiting of console error messages, and some messages
 337              that were console errors now only go to the kernel log
 338
 339 Severity   : enhancement
 340 Bugzilla   : 1693
 341 Description: add /proc/sys/portals/catastrophe entry which will report if
 342              that node has previously LBUGged
 343
 344 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 345        * bugs
 346         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 347
 348 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 349        * bugs
 350         - handle error return code in kranal_check_fma_rx() (5915,6054)
 351
 352 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 353        * miscellania
 354         - update vibnal (Voltaire IB NAL)
 355         - update gmnal (Myrinet NAL), gmnalid
 356
 357 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 358
 359         * Landed portals:b_port_step as follows...
 360
 361           - removed CFS_DECL_SPIN*
 362             just use 'spinlock_t' and initialise with spin_lock_init()
 363
 364           - removed CFS_DECL_MUTEX*
 365             just use 'struct semaphore' and initialise with init_mutex()
 366
 367           - removed CFS_DECL_RWSEM*
 368             just use 'struct rw_semaphore' and initialise with init_rwsem()
 369
 370           - renamed cfs_sleep_chan -> cfs_waitq
 371                     cfs_sleep_link -> cfs_waitlink
 372
 373           - fixed race in linux version of arch-independent socknal
 374             (the ENOMEM/EAGAIN decision).
 375
 376           - Didn't fix problems in Darwin version of arch-independent socknal
 377             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 378
 379           - removed libcfs types from non-socknal header files (only some types
 380             in the header files had been changed; the .c files hadn't been
 381             updated at all).