lnet/ChangeLog

   1 tbd         Cluster File Systems, Inc. <info@clusterfs.com>
   2        * version 1.6.5
   3        * Support for networks:
   4         socklnd   - any kernel supported by Lustre,
   5         qswlnd    - Qsnet kernel modules 5.20 and later,
   6         openiblnd - IbGold 1.8.2,
   7         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
   8         viblnd    - Voltaire ibhost 3.4.5 and later,
   9         ciblnd    - Topspin 3.2.0,
  10         iiblnd    - Infiniserv 3.3 + PathBits patch,
  11         gmlnd     - GM 2.1.22 and later,
  12         mxlnd     - MX 1.2.1 or later,
  13         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 --------------------------------------------------------------------------------
  16
  17 2007-10-26         Cluster File Systems, Inc. <info@clusterfs.com>
  18        * version 1.6.4
  19        * Support for networks:
  20         socklnd   - any kernel supported by Lustre,
  21         qswlnd    - Qsnet kernel modules 5.20 and later,
  22         openiblnd - IbGold 1.8.2,
  23         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
  24         viblnd    - Voltaire ibhost 3.4.5 and later,
  25         ciblnd    - Topspin 3.2.0,
  26         iiblnd    - Infiniserv 3.3 + PathBits patch,
  27         gmlnd     - GM 2.1.22 and later,
  28         mxlnd     - MX 1.2.1 or later,
  29         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  30
  31 Severity   : normal
  32 Bugzilla   : 12302
  33 Description: new userspace socklnd
  34 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
  35              with new one - usocklnd.
  36
  37 Severity   : enhancement
  38 Bugzilla   : 11686
  39 Description: Console message flood
  40 Details    : Make cdls ratelimiting more tunable by adding several tunable in
  41              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
  42              /proc/sys/lnet/console_backoff.
  43
  44 --------------------------------------------------------------------------------
  45
  46 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
  47        * version 1.6.3
  48        * Support for networks:
  49         socklnd   - any kernel supported by Lustre,
  50         qswlnd    - Qsnet kernel modules 5.20 and later,
  51         openiblnd - IbGold 1.8.2,
  52         o2iblnd   - OFED 1.1 and 1.2,
  53         viblnd    - Voltaire ibhost 3.4.5 and later,
  54         ciblnd    - Topspin 3.2.0,
  55         iiblnd    - Infiniserv 3.3 + PathBits patch,
  56         gmlnd     - GM 2.1.22 and later,
  57         mxlnd     - MX 1.2.1 or later,
  58         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  59
  60 Severity   : normal
  61 Bugzilla   : 12782
  62 Description: /proc/sys/lnet has non-sysctl entries
  63 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
  64
  65 Severity   : major
  66 Bugzilla   : 13236
  67 Description: TOE Kernel panic by ksocklnd
  68 Details    : offloaded sockets provide their own implementation of sendpage,
  69              can't call tcp_sendpage() directly
  70
  71 Severity   : normal
  72 Bugzilla   : 10778
  73 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
  74 Details    : races between lnd_shutdown and peer creation prevent
  75              lnd_shutdown from finishing.
  76
  77 Severity   : normal
  78 Bugzilla   : 13279
  79 Description: open files rlimit 1024 reached while liblustre testing
  80 Details    : ulnds/socklnd must close open socket after unsuccessful
  81              'say hello' attempt.
  82
  83 Severity   : major
  84 Bugzilla   : 13482
  85 Description: build error
  86 Details    : fix typos in gmlnd, ptllnd and viblnd
  87
  88 ------------------------------------------------------------------------------
  89
  90 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
  91        * version 1.6.1
  92        * Support for networks:
  93         socklnd   - kernels up to 2.6.16,
  94         qswlnd    - Qsnet kernel modules 5.20 and later,
  95         openiblnd - IbGold 1.8.2,
  96         o2iblnd   - OFED 1.1 and 1.2
  97         viblnd    - Voltaire ibhost 3.4.5 and later,
  98         ciblnd    - Topspin 3.2.0,
  99         iiblnd    - Infiniserv 3.3 + PathBits patch,
 100         gmlnd     - GM 2.1.22 and later,
 101         mxlnd     - MX 1.2.1 or later,
 102         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 103
 104 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 105        * version 1.4.11
 106        * Support for networks:
 107         socklnd   - kernels up to 2.6.16,
 108         qswlnd    - Qsnet kernel modules 5.20 and later,
 109         openiblnd - IbGold 1.8.2,
 110         o2iblnd   - OFED 1.1
 111         viblnd    - Voltaire ibhost 3.4.5 and later,
 112         ciblnd    - Topspin 3.2.0,
 113         iiblnd    - Infiniserv 3.3 + PathBits patch,
 114         gmlnd     - GM 2.1.22 and later,
 115         mxlnd     - MX 1.2.1 or later,
 116         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 117
 118 Severity   : minor
 119 Bugzilla   : 13288
 120 Description: Initialize cpumask before use
 121
 122 Severity   : major
 123 Bugzilla   : 12014
 124 Description: ASSERTION failures when upgrading to the patchless zero-copy
 125              socklnd
 126 Details    : This bug affects "rolling upgrades", causing an inconsistent
 127              protocol version negotiation and subsequent assertion failure
 128              during rolling upgrades after the first wave of upgrades.
 129
 130 Severity   : minor
 131 Bugzilla   : 11223
 132 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 133              logged instead of creating "console chatter" when a lustre
 134              timeout races with normal RPC completion.
 135
 136 Severity   : minor
 137 Details    : lnet_clear_peer_table can wait forever if user forgets to
 138              clear a lazy portal.
 139
 140 Severity   : minor
 141 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 142
 143 Severity   : major
 144 Bugzilla   : 10916
 145 Description: added LNET self test
 146 Details    : landing b_self_test
 147
 148 Severity   : minor
 149 Frequency  : rare
 150 Bugzilla   : 12227
 151 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 152              struct timeval.
 153 Details    : do_div() macro is used incorrectly.
 154
 155 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 156
 157 Severity   : normal
 158 Bugzilla   : 11680
 159 Description: make panic on lbug configurable
 160
 161 Severity   : major
 162 Bugzilla   : 12316
 163 Description: Add OFED1.2 support to o2iblnd
 164 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 165              are installed (other than kernel's in-tree infiniband), there
 166              could be some problem while insmod o2iblnd (mismatch CRC of
 167              ib_* symbols).
 168              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 169              this link provides solution:
 170              https://bugs.openfabrics.org/show_bug.cgi?id=355
 171              if extra Module.symvers is not supported in kernel, we will
 172              have to run the script in bug 12316 to update
 173              $LINUX/module.symvers before building o2iblnd.
 174              More details about this are in bug 12316.
 175
 176 ------------------------------------------------------------------------------
 177
 178 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 179        * version 1.4.10 / 1.6.0
 180        * Support for networks:
 181         socklnd   - kernels up to 2.6.16,
 182         qswlnd    - Qsnet kernel modules 5.20 and later,
 183         openiblnd - IbGold 1.8.2,
 184         o2iblnd   - OFED 1.1,
 185         viblnd    - Voltaire ibhost 3.4.5 and later,
 186         ciblnd    - Topspin 3.2.0,
 187         iiblnd    - Infiniserv 3.3 + PathBits patch,
 188         gmlnd     - GM 2.1.22 and later,
 189         mxlnd     - MX 1.2.1 or later,
 190         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 191
 192 Severity   : minor
 193 Frequency  : rare
 194 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 195              possibly accessed in kptllnd_shutdown. Ptllnd should init
 196              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 197
 198 Severity   : normal
 199 Frequency  : rare
 200 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 201
 202 Severity   : minor
 203 Frequency  : rare
 204 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 205
 206 Severity   : minor
 207 Frequency  : rare
 208 Description: the_lnet.ln_finalizing was not set when the current thread is
 209              about to complete messages. It only affects multi-threaded
 210              user space LNet.
 211
 212 Severity   : normal
 213 Frequency  : rare
 214 Bugzilla   : 11472
 215 Description: Changed the default kqswlnd ntxmsg=512
 216
 217 Severity   : major
 218 Frequency  : rare
 219 Bugzilla   : 12458
 220 Description: Assertion failure in kernel ptllnd caused by posting passive
 221              bulk buffers before connection establishment complete.
 222
 223 Severity   : major
 224 Frequency  : rare
 225 Bugzilla   : 12455
 226 Description: A race in kernel ptllnd between deleting a peer and posting
 227              new communications for it could hang communications -
 228              manifesting as "Unexpectedly long timeout" messages.
 229
 230 Severity   : major
 231 Frequency  : rare
 232 Bugzilla   : 12432
 233 Description: Kernel ptllnd lock ordering issue could hang a node.
 234
 235 Severity   : major
 236 Frequency  : rare
 237 Bugzilla   : 12016
 238 Description: node crash on socket teardown race
 239
 240 Severity   : minor
 241 Frequency  : 'lctl peer_list' issued on a mx net
 242 Bugzilla   : 12237
 243 Description: Enable lctl's peer_list for MXLND
 244
 245 Severity   : major
 246 Frequency  : after Ptllnd timeouts and portals congestion
 247 Bugzilla   : 11659
 248 Description: Credit overflows
 249 Details    : This was a bug in ptllnd connection establishment.  The fix
 250              implements better peer stamps to disambiguate connection
 251              establishment and ensure both peers enter the credit flow
 252              state machine consistently.
 253
 254 Severity   : major
 255 Frequency  : rare
 256 Bugzilla   : 11394
 257 Description: kptllnd didn't propagate some network errors up to LNET
 258 Details    : This bug was spotted while investigating 11394.  The fix
 259              ensures network errors on sends and bulk transfers are
 260              propagated to LNET/lustre correctly.
 261
 262 Severity   : enhancement
 263 Bugzilla   : 10316
 264 Description: Fixed console chatter in case of -ETIMEDOUT.
 265
 266 Severity   : enhancement
 267 Bugzilla   : 11684
 268 Description: Added D_NETTRACE for recording network packet history
 269              (initially only for ptllnd).  Also a separate userspace
 270              ptllnd facility to gather history which should really be
 271              covered by D_NETTRACE too, if only CDEBUG recorded history in
 272              userspace.
 273
 274 Severity   : major
 275 Frequency  : rare
 276 Bugzilla   : 11616
 277 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 278 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 279              callback can occur before a connection has actually been
 280              established.  This caused an assertion failure previously.
 281
 282 Severity   : enhancement
 283 Bugzilla   : 11094
 284 Description: Multiple instances for o2iblnd
 285 Details    : Allow multiple instances of o2iblnd to enable networking over
 286              multiple HCAs and routing between them.
 287
 288 Severity   : major
 289 Bugzilla   : 11201
 290 Description: lnet deadlock in router_checker
 291 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 292              into BH locks to eliminate potential deadlock caused by
 293              ksocknal_data_ready() preempting code holding these locks.
 294
 295 Severity   : major
 296 Bugzilla   : 11126
 297 Description: Millions of failed socklnd connection attempts cause a very slow FS
 298 Details    : added a new route flag ksnr_scheduled to distinguish from
 299              ksnr_connecting, so that a peer connection request is only turned
 300              down for race concerns when an active connection to the same peer
 301              is under progress (instead of just being scheduled).
 302
 303 ------------------------------------------------------------------------------
 304
 305 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 306        * version 1.4.9
 307        * Support for networks:
 308         socklnd   - kernels up to 2.6.16
 309         qswlnd    - Qsnet kernel modules 5.20 and later
 310         openiblnd - IbGold 1.8.2
 311         o2iblnd   - OFED 1.1
 312         viblnd    - Voltaire ibhost 3.4.5 and later
 313         ciblnd    - Topspin 3.2.0
 314         iiblnd    - Infiniserv 3.3 + PathBits patch
 315         gmlnd     - GM 2.1.22 and later
 316         mxlnd     - MX 1.2.1 or later
 317         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 318        * bug fixes
 319
 320 Severity   : major on XT3
 321 Bugzilla   : none
 322 Description: libcfs overwrites /proc/sys/portals
 323 Details    : libcfs created a symlink from /proc/sys/portals to
 324              /proc/sys/lnet for backwards compatibility.  This is no
 325              longer required and makes the Cray portals /proc variables
 326              inaccessible.
 327
 328 Severity   : minor
 329 Bugzilla   : 11312
 330 Description: OFED FMR API change
 331 Details    : This changes parameter usage to reflect a change in
 332              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 333              that FMR support is only used in experimental versions of the
 334              o2iblnd - this change does not affect standard usage at all.
 335
 336 Severity   : enhancement
 337 Bugzilla   : 11245
 338 Description: new ko2iblnd module parameter: ib_mtu
 339 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 340              HCAs.  You can avoid this problem by setting the MTU to 1024
 341              using this module parameter.
 342
 343 Severity   : enhancement
 344 Bugzilla   : 11118/11620
 345 Description: ptllnd small request message buffer alignment fix
 346 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 347              Round up small message size on sends in case this option
 348              is not supported.  11620 was a defect in the initial
 349              implementation which effectively asserted all peers had to be
 350              running the correct protocol version which was fixed by always
 351              NAK-ing such requests and handling any misalignments they
 352              introduce.
 353
 354 Severity   : minor
 355 Frequency  : rarely
 356 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 357              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 358              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 359
 360 Severity   : enhancement
 361 Bugzilla   : 11250
 362 Description: Patchless ZC(zero copy) socklnd
 363 Details    : New protocol for socklnd, socklnd can support zero copy without
 364              kernel patch, it's compatible with old socklnd. Checksum is
 365              moved from tunables to modparams.
 366
 367 Severity   : minor
 368 Frequency  : rarely
 369 Description: When ksocknal_del_peer() is called upon a peer whose
 370              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 371              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 372
 373 Severity   : normal
 374 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 375 Bugzilla   : 11318
 376 Description: In lnet_match_blocked_msg(), md can be used without holding a
 377              ref on it.
 378
 379 Severity   : minor
 380 Frequency  : very rarely
 381 Bugzilla   : 10727
 382 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 383              If connd connects a route which has been closed by
 384              ksocknal_shutdown(), ksocknal_create_routes() may create new
 385              routes which hold references on the peer, causing shutdown
 386              process to wait for peer to disappear forever.
 387
 388 Severity   : enhancement
 389 Bugzilla   : 11234
 390 Description: Dump XT3 portals traces on kptllnd timeout
 391 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 392              dump Cray portals debug traces to a file.  The kptllnd module
 393              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 394              is the basename of the dump file.
 395
 396 Severity   : major
 397 Frequency  : infrequent
 398 Bugzilla   : 11308
 399 Description: kernel ptllnd fix bug in connection re-establishment
 400 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 401              matchbits and/or violate the credit flow protocol when trying
 402              to re-establish a connection with a peer after an error or
 403              timeout.
 404
 405 Severity   : enhancement
 406 Bugzilla   : 10316
 407 Description: Allow /proc/sys/lnet/debug to be set symbolically
 408 Details    : Allow debug and subsystem debug values to be read/set by name
 409              in addition to numerically, for ease of use.
 410
 411 Severity   : normal
 412 Frequency  : only in configurations with LNET routers
 413 Bugzilla   : 10316
 414 Description: routes automatically marked down and recovered
 415 Details    : In configurations with LNET routers if a router fails routers
 416              now actively try to recover routes that are down, unless they
 417              are marked down by an administrator.
 418
 419 ------------------------------------------------------------------------------
 420
 421 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 422
 423 Severity   : critical
 424 Frequency  : very rarely, in configurations with LNET routers and TCP
 425 Bugzilla   : 10889
 426 Description: incorrect data written to files on OSTs
 427 Details    : In certain high-load conditions incorrect data may be written
 428              to files on the OST when using TCP networks.
 429
 430 ------------------------------------------------------------------------------
 431
 432 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 433         * version 1.4.7
 434         - rework CDEBUG messages rate-limiting mechanism b=10375
 435         - add per-socket tunables for socklnd if the kernel is patched b=10327
 436
 437 ------------------------------------------------------------------------------
 438
 439 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 440         * version 1.4.6
 441         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 442         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 443         - quiet LNET startup LNI message for liblustre b=10128
 444         - Better console error messages if 'ip2nets' can't match an IP address
 445         - Fixed overflow/use-before-set bugs in linux-time.h
 446         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 447         - LNET teardown failed an assertion about the route table being empty
 448         - Fixed a crash in LNetEQPoll(<invalid handle>)
 449         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 450         - improve debug message for liblustre/Catamount nodes (b=10116)
 451
 452 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 453         * Configuration change for the XT3
 454              The PTLLND is now used to run Lustre over Portals on the XT3.
 455              The configure option(s) --with-cray-portals are no longer
 456              used.  Rather --with-portals=<path-to-portals-includes> is
 457              used to enable building on the XT3.  In addition to enable
 458              XT3 specific features the option --enable-cray-xt3 must be
 459              used.
 460
 461 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 462         * Portals has been removed, replaced by LNET.
 463            LNET is new networking infrastructure for Lustre, it includes a
 464            reorganized network configuration mode (see the user
 465            documentation for full details) as well as support for routing
 466            between different network fabrics.  Lustre Networking Devices
 467            (LNDS) for the supported network fabrics have also been created
 468            for this new infrastructure.
 469
 470 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 471        * version 1.4.4
 472        * bug fixes
 473
 474 Severity   : major
 475 Frequency  : rare (large Voltaire clusters only)
 476 Bugzilla   : 6993
 477 Description: the default number of reserved transmit descriptors was too low
 478              for some large clusters
 479 Details    : As a workaround, the number was increased.  A proper fix includes
 480              a run-time tunable.
 481
 482 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 483        * version 1.4.3
 484        * bug fixes
 485
 486 Severity   : major
 487 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 488 Bugzilla   : 6411
 489 Description: too many error messages on console obscure actual problem and
 490              can slow down/panic server, or cause recovery to fail repeatedly
 491 Details    : enable rate-limiting of console error messages, and some messages
 492              that were console errors now only go to the kernel log
 493
 494 Severity   : enhancement
 495 Bugzilla   : 1693
 496 Description: add /proc/sys/portals/catastrophe entry which will report if
 497              that node has previously LBUGged
 498
 499 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 500        * bugs
 501         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 502
 503 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 504        * bugs
 505         - handle error return code in kranal_check_fma_rx() (5915,6054)
 506
 507 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 508        * miscellania
 509         - update vibnal (Voltaire IB NAL)
 510         - update gmnal (Myrinet NAL), gmnalid
 511
 512 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 513
 514         * Landed portals:b_port_step as follows...
 515
 516           - removed CFS_DECL_SPIN*
 517             just use 'spinlock_t' and initialise with spin_lock_init()
 518
 519           - removed CFS_DECL_MUTEX*
 520             just use 'struct semaphore' and initialise with init_mutex()
 521
 522           - removed CFS_DECL_RWSEM*
 523             just use 'struct rw_semaphore' and initialise with init_rwsem()
 524
 525           - renamed cfs_sleep_chan -> cfs_waitq
 526                     cfs_sleep_link -> cfs_waitlink
 527
 528           - fixed race in linux version of arch-independent socknal
 529             (the ENOMEM/EAGAIN decision).
 530
 531           - Didn't fix problems in Darwin version of arch-independent socknal
 532             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 533
 534           - removed libcfs types from non-socknal header files (only some types
 535             in the header files had been changed; the .c files hadn't been
 536             updated at all).