lnet/ChangeLog

   1 tbd         Cluster File Systems, Inc. <info@clusterfs.com>
   2        * version 1.6.4
   3        * Support for networks:
   4         socklnd   - any kernel supported by Lustre,
   5         qswlnd    - Qsnet kernel modules 5.20 and later,
   6         openiblnd - IbGold 1.8.2,
   7         o2iblnd   - OFED 1.1 and 1.2,
   8         viblnd    - Voltaire ibhost 3.4.5 and later,
   9         ciblnd    - Topspin 3.2.0,
  10         iiblnd    - Infiniserv 3.3 + PathBits patch,
  11         gmlnd     - GM 2.1.22 and later,
  12         mxlnd     - MX 1.2.1 or later,
  13         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 --------------------------------------------------------------------------------
  16
  17 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
  18        * version 1.6.3
  19        * Support for networks:
  20         socklnd   - any kernel supported by Lustre,
  21         qswlnd    - Qsnet kernel modules 5.20 and later,
  22         openiblnd - IbGold 1.8.2,
  23         o2iblnd   - OFED 1.1 and 1.2,
  24         viblnd    - Voltaire ibhost 3.4.5 and later,
  25         ciblnd    - Topspin 3.2.0,
  26         iiblnd    - Infiniserv 3.3 + PathBits patch,
  27         gmlnd     - GM 2.1.22 and later,
  28         mxlnd     - MX 1.2.1 or later,
  29         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  30
  31 Severity   : normal
  32 Bugzilla   : 12782
  33 Description: /proc/sys/lnet has non-sysctl entries
  34 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
  35
  36 Severity   : major
  37 Bugzilla   : 13236
  38 Description: TOE Kernel panic by ksocklnd
  39 Details    : offloaded sockets provide their own implementation of sendpage,
  40              can't call tcp_sendpage() directly
  41
  42 Severity   : normal
  43 Bugzilla   : 10778
  44 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
  45 Details    : races between lnd_shutdown and peer creation prevent
  46              lnd_shutdown from finishing.
  47
  48 Severity   : normal
  49 Bugzilla   : 13279
  50 Description: open files rlimit 1024 reached while liblustre testing
  51 Details    : ulnds/socklnd must close open socket after unsuccessful
  52              'say hello' attempt.
  53
  54 ------------------------------------------------------------------------------
  55
  56 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
  57        * version 1.6.1
  58        * Support for networks:
  59         socklnd   - kernels up to 2.6.16,
  60         qswlnd    - Qsnet kernel modules 5.20 and later,
  61         openiblnd - IbGold 1.8.2,
  62         o2iblnd   - OFED 1.1 and 1.2
  63         viblnd    - Voltaire ibhost 3.4.5 and later,
  64         ciblnd    - Topspin 3.2.0,
  65         iiblnd    - Infiniserv 3.3 + PathBits patch,
  66         gmlnd     - GM 2.1.22 and later,
  67         mxlnd     - MX 1.2.1 or later,
  68         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  69
  70 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
  71        * version 1.4.11
  72        * Support for networks:
  73         socklnd   - kernels up to 2.6.16,
  74         qswlnd    - Qsnet kernel modules 5.20 and later,
  75         openiblnd - IbGold 1.8.2,
  76         o2iblnd   - OFED 1.1
  77         viblnd    - Voltaire ibhost 3.4.5 and later,
  78         ciblnd    - Topspin 3.2.0,
  79         iiblnd    - Infiniserv 3.3 + PathBits patch,
  80         gmlnd     - GM 2.1.22 and later,
  81         mxlnd     - MX 1.2.1 or later,
  82         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  83
  84 Severity   : minor
  85 Bugzilla   : 13288
  86 Description: Initialize cpumask before use
  87
  88 Severity   : major
  89 Bugzilla   : 12014
  90 Description: ASSERTION failures when upgrading to the patchless zero-copy
  91              socklnd
  92 Details    : This bug affects "rolling upgrades", causing an inconsistent
  93              protocol version negotiation and subsequent assertion failure
  94              during rolling upgrades after the first wave of upgrades.
  95
  96 Severity   : minor
  97 Bugzilla   : 11223
  98 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
  99              logged instead of creating "console chatter" when a lustre
 100              timeout races with normal RPC completion.
 101
 102 Severity   : minor
 103 Details    : lnet_clear_peer_table can wait forever if user forgets to
 104              clear a lazy portal.
 105
 106 Severity   : minor
 107 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 108
 109 Severity   : major
 110 Bugzilla   : 10916
 111 Description: added LNET self test
 112 Details    : landing b_self_test
 113
 114 Severity   : minor
 115 Frequency  : rare
 116 Bugzilla   : 12227
 117 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 118              struct timeval.
 119 Details    : do_div() macro is used incorrectly.
 120
 121 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 122
 123 Severity   : normal
 124 Bugzilla   : 11680
 125 Description: make panic on lbug configurable
 126
 127 Severity   : major
 128 Bugzilla   : 12316
 129 Description: Add OFED1.2 support to o2iblnd
 130 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 131              are installed (other than kernel's in-tree infiniband), there
 132              could be some problem while insmod o2iblnd (mismatch CRC of
 133              ib_* symbols).
 134              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 135              this link provides solution:
 136              https://bugs.openfabrics.org/show_bug.cgi?id=355
 137              if extra Module.symvers is not supported in kernel, we will
 138              have to run the script in bug 12316 to update
 139              $LINUX/module.symvers before building o2iblnd.
 140              More details about this are in bug 12316.
 141
 142 ------------------------------------------------------------------------------
 143
 144 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 145        * version 1.4.10 / 1.6.0
 146        * Support for networks:
 147         socklnd   - kernels up to 2.6.16,
 148         qswlnd    - Qsnet kernel modules 5.20 and later,
 149         openiblnd - IbGold 1.8.2,
 150         o2iblnd   - OFED 1.1,
 151         viblnd    - Voltaire ibhost 3.4.5 and later,
 152         ciblnd    - Topspin 3.2.0,
 153         iiblnd    - Infiniserv 3.3 + PathBits patch,
 154         gmlnd     - GM 2.1.22 and later,
 155         mxlnd     - MX 1.2.1 or later,
 156         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 157
 158 Severity   : minor
 159 Frequency  : rare
 160 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 161              possibly accessed in kptllnd_shutdown. Ptllnd should init
 162              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 163
 164 Severity   : normal
 165 Frequency  : rare
 166 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 167
 168 Severity   : minor
 169 Frequency  : rare
 170 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 171
 172 Severity   : minor
 173 Frequency  : rare
 174 Description: the_lnet.ln_finalizing was not set when the current thread is
 175              about to complete messages. It only affects multi-threaded
 176              user space LNet.
 177
 178 Severity   : normal
 179 Frequency  : rare
 180 Bugzilla   : 11472
 181 Description: Changed the default kqswlnd ntxmsg=512
 182
 183 Severity   : major
 184 Frequency  : rare
 185 Bugzilla   : 12458
 186 Description: Assertion failure in kernel ptllnd caused by posting passive
 187              bulk buffers before connection establishment complete.
 188
 189 Severity   : major
 190 Frequency  : rare
 191 Bugzilla   : 12455
 192 Description: A race in kernel ptllnd between deleting a peer and posting
 193              new communications for it could hang communications -
 194              manifesting as "Unexpectedly long timeout" messages.
 195
 196 Severity   : major
 197 Frequency  : rare
 198 Bugzilla   : 12432
 199 Description: Kernel ptllnd lock ordering issue could hang a node.
 200
 201 Severity   : major
 202 Frequency  : rare
 203 Bugzilla   : 12016
 204 Description: node crash on socket teardown race
 205
 206 Severity   : minor
 207 Frequency  : 'lctl peer_list' issued on a mx net
 208 Bugzilla   : 12237
 209 Description: Enable lctl's peer_list for MXLND
 210
 211 Severity   : major
 212 Frequency  : after Ptllnd timeouts and portals congestion
 213 Bugzilla   : 11659
 214 Description: Credit overflows
 215 Details    : This was a bug in ptllnd connection establishment.  The fix
 216              implements better peer stamps to disambiguate connection
 217              establishment and ensure both peers enter the credit flow
 218              state machine consistently.
 219
 220 Severity   : major
 221 Frequency  : rare
 222 Bugzilla   : 11394
 223 Description: kptllnd didn't propagate some network errors up to LNET
 224 Details    : This bug was spotted while investigating 11394.  The fix
 225              ensures network errors on sends and bulk transfers are
 226              propagated to LNET/lustre correctly.
 227
 228 Severity   : enhancement
 229 Bugzilla   : 10316
 230 Description: Fixed console chatter in case of -ETIMEDOUT.
 231
 232 Severity   : enhancement
 233 Bugzilla   : 11684
 234 Description: Added D_NETTRACE for recording network packet history
 235              (initially only for ptllnd).  Also a separate userspace
 236              ptllnd facility to gather history which should really be
 237              covered by D_NETTRACE too, if only CDEBUG recorded history in
 238              userspace.
 239
 240 Severity   : major
 241 Frequency  : rare
 242 Bugzilla   : 11616
 243 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 244 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 245              callback can occur before a connection has actually been
 246              established.  This caused an assertion failure previously.
 247
 248 Severity   : enhancement
 249 Bugzilla   : 11094
 250 Description: Multiple instances for o2iblnd
 251 Details    : Allow multiple instances of o2iblnd to enable networking over
 252              multiple HCAs and routing between them.
 253
 254 Severity   : major
 255 Bugzilla   : 11201
 256 Description: lnet deadlock in router_checker
 257 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 258              into BH locks to eliminate potential deadlock caused by
 259              ksocknal_data_ready() preempting code holding these locks.
 260
 261 Severity   : major
 262 Bugzilla   : 11126
 263 Description: Millions of failed socklnd connection attempts cause a very slow FS
 264 Details    : added a new route flag ksnr_scheduled to distinguish from
 265              ksnr_connecting, so that a peer connection request is only turned
 266              down for race concerns when an active connection to the same peer
 267              is under progress (instead of just being scheduled).
 268
 269 ------------------------------------------------------------------------------
 270
 271 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 272        * version 1.4.9
 273        * Support for networks:
 274         socklnd   - kernels up to 2.6.16
 275         qswlnd    - Qsnet kernel modules 5.20 and later
 276         openiblnd - IbGold 1.8.2
 277         o2iblnd   - OFED 1.1
 278         viblnd    - Voltaire ibhost 3.4.5 and later
 279         ciblnd    - Topspin 3.2.0
 280         iiblnd    - Infiniserv 3.3 + PathBits patch
 281         gmlnd     - GM 2.1.22 and later
 282         mxlnd     - MX 1.2.1 or later
 283         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 284        * bug fixes
 285
 286 Severity   : major on XT3
 287 Bugzilla   : none
 288 Description: libcfs overwrites /proc/sys/portals
 289 Details    : libcfs created a symlink from /proc/sys/portals to
 290              /proc/sys/lnet for backwards compatibility.  This is no
 291              longer required and makes the Cray portals /proc variables
 292              inaccessible.
 293
 294 Severity   : minor
 295 Bugzilla   : 11312
 296 Description: OFED FMR API change
 297 Details    : This changes parameter usage to reflect a change in
 298              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 299              that FMR support is only used in experimental versions of the
 300              o2iblnd - this change does not affect standard usage at all.
 301
 302 Severity   : enhancement
 303 Bugzilla   : 11245
 304 Description: new ko2iblnd module parameter: ib_mtu
 305 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 306              HCAs.  You can avoid this problem by setting the MTU to 1024
 307              using this module parameter.
 308
 309 Severity   : enhancement
 310 Bugzilla   : 11118/11620
 311 Description: ptllnd small request message buffer alignment fix
 312 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 313              Round up small message size on sends in case this option
 314              is not supported.  11620 was a defect in the initial
 315              implementation which effectively asserted all peers had to be
 316              running the correct protocol version which was fixed by always
 317              NAK-ing such requests and handling any misalignments they
 318              introduce.
 319
 320 Severity   : minor
 321 Frequency  : rarely
 322 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 323              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 324              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 325
 326 Severity   : enhancement
 327 Bugzilla   : 11250
 328 Description: Patchless ZC(zero copy) socklnd
 329 Details    : New protocol for socklnd, socklnd can support zero copy without
 330              kernel patch, it's compatible with old socklnd. Checksum is
 331              moved from tunables to modparams.
 332
 333 Severity   : minor
 334 Frequency  : rarely
 335 Description: When ksocknal_del_peer() is called upon a peer whose
 336              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 337              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 338
 339 Severity   : normal
 340 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 341 Bugzilla   : 11318
 342 Description: In lnet_match_blocked_msg(), md can be used without holding a
 343              ref on it.
 344
 345 Severity   : minor
 346 Frequency  : very rarely
 347 Bugzilla   : 10727
 348 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 349              If connd connects a route which has been closed by
 350              ksocknal_shutdown(), ksocknal_create_routes() may create new
 351              routes which hold references on the peer, causing shutdown
 352              process to wait for peer to disappear forever.
 353
 354 Severity   : enhancement
 355 Bugzilla   : 11234
 356 Description: Dump XT3 portals traces on kptllnd timeout
 357 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 358              dump Cray portals debug traces to a file.  The kptllnd module
 359              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 360              is the basename of the dump file.
 361
 362 Severity   : major
 363 Frequency  : infrequent
 364 Bugzilla   : 11308
 365 Description: kernel ptllnd fix bug in connection re-establishment
 366 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 367              matchbits and/or violate the credit flow protocol when trying
 368              to re-establish a connection with a peer after an error or
 369              timeout.
 370
 371 Severity   : enhancement
 372 Bugzilla   : 10316
 373 Description: Allow /proc/sys/lnet/debug to be set symbolically
 374 Details    : Allow debug and subsystem debug values to be read/set by name
 375              in addition to numerically, for ease of use.
 376
 377 Severity   : normal
 378 Frequency  : only in configurations with LNET routers
 379 Bugzilla   : 10316
 380 Description: routes automatically marked down and recovered
 381 Details    : In configurations with LNET routers if a router fails routers
 382              now actively try to recover routes that are down, unless they
 383              are marked down by an administrator.
 384
 385 ------------------------------------------------------------------------------
 386
 387 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 388
 389 Severity   : critical
 390 Frequency  : very rarely, in configurations with LNET routers and TCP
 391 Bugzilla   : 10889
 392 Description: incorrect data written to files on OSTs
 393 Details    : In certain high-load conditions incorrect data may be written
 394              to files on the OST when using TCP networks.
 395
 396 ------------------------------------------------------------------------------
 397
 398 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 399         * version 1.4.7
 400         - rework CDEBUG messages rate-limiting mechanism b=10375
 401         - add per-socket tunables for socklnd if the kernel is patched b=10327
 402
 403 ------------------------------------------------------------------------------
 404
 405 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 406         * version 1.4.6
 407         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 408         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 409         - quiet LNET startup LNI message for liblustre b=10128
 410         - Better console error messages if 'ip2nets' can't match an IP address
 411         - Fixed overflow/use-before-set bugs in linux-time.h
 412         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 413         - LNET teardown failed an assertion about the route table being empty
 414         - Fixed a crash in LNetEQPoll(<invalid handle>)
 415         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 416         - improve debug message for liblustre/Catamount nodes (b=10116)
 417
 418 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 419         * Configuration change for the XT3
 420              The PTLLND is now used to run Lustre over Portals on the XT3.
 421              The configure option(s) --with-cray-portals are no longer
 422              used.  Rather --with-portals=<path-to-portals-includes> is
 423              used to enable building on the XT3.  In addition to enable
 424              XT3 specific features the option --enable-cray-xt3 must be
 425              used.
 426
 427 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 428         * Portals has been removed, replaced by LNET.
 429            LNET is new networking infrastructure for Lustre, it includes a
 430            reorganized network configuration mode (see the user
 431            documentation for full details) as well as support for routing
 432            between different network fabrics.  Lustre Networking Devices
 433            (LNDS) for the supported network fabrics have also been created
 434            for this new infrastructure.
 435
 436 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 437        * version 1.4.4
 438        * bug fixes
 439
 440 Severity   : major
 441 Frequency  : rare (large Voltaire clusters only)
 442 Bugzilla   : 6993
 443 Description: the default number of reserved transmit descriptors was too low
 444              for some large clusters
 445 Details    : As a workaround, the number was increased.  A proper fix includes
 446              a run-time tunable.
 447
 448 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 449        * version 1.4.3
 450        * bug fixes
 451
 452 Severity   : major
 453 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 454 Bugzilla   : 6411
 455 Description: too many error messages on console obscure actual problem and
 456              can slow down/panic server, or cause recovery to fail repeatedly
 457 Details    : enable rate-limiting of console error messages, and some messages
 458              that were console errors now only go to the kernel log
 459
 460 Severity   : enhancement
 461 Bugzilla   : 1693
 462 Description: add /proc/sys/portals/catastrophe entry which will report if
 463              that node has previously LBUGged
 464
 465 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 466        * bugs
 467         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 468
 469 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 470        * bugs
 471         - handle error return code in kranal_check_fma_rx() (5915,6054)
 472
 473 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 474        * miscellania
 475         - update vibnal (Voltaire IB NAL)
 476         - update gmnal (Myrinet NAL), gmnalid
 477
 478 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 479
 480         * Landed portals:b_port_step as follows...
 481
 482           - removed CFS_DECL_SPIN*
 483             just use 'spinlock_t' and initialise with spin_lock_init()
 484
 485           - removed CFS_DECL_MUTEX*
 486             just use 'struct semaphore' and initialise with init_mutex()
 487
 488           - removed CFS_DECL_RWSEM*
 489             just use 'struct rw_semaphore' and initialise with init_rwsem()
 490
 491           - renamed cfs_sleep_chan -> cfs_waitq
 492                     cfs_sleep_link -> cfs_waitlink
 493
 494           - fixed race in linux version of arch-independent socknal
 495             (the ENOMEM/EAGAIN decision).
 496
 497           - Didn't fix problems in Darwin version of arch-independent socknal
 498             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 499
 500           - removed libcfs types from non-socknal header files (only some types
 501             in the header files had been changed; the .c files hadn't been
 502             updated at all).