lnet/ChangeLog

   1 tbd  Sun Microsystems, Inc.
   2         * version 1.6.6
   3         * Support for networks:
   4          socklnd   - any kernel supported by Lustre,
   5          qswlnd    - Qsnet kernel modules 5.20 and later,
   6          openiblnd - IbGold 1.8.2,
   7          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
   8          viblnd    - Voltaire ibhost 3.4.5 and later,
   9          ciblnd    - Topspin 3.2.0,
  10          iiblnd    - Infiniserv 3.3 + PathBits patch,
  11          gmlnd     - GM 2.1.22 and later,
  12          mxlnd     - MX 1.2.1 or later,
  13          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   :
  16 Bugzilla   :
  17 Description:
  18 Details    :
  19
  20 Severity   : minor
  21 Bugzilla   : 15984
  22 Description: uptllnd credit overflow fix
  23 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
  24              it is only a __u8.
  25
  26 Severity   : major
  27 Bugzilla   : 14634
  28 Description: socklnd prtocol version 3
  29 Details    : With current protocol V2, connections on router can be
  30              blocked and can't receive any incoming messages when there is no
  31              more router buffer, so ZC-ACK can't be handled (LNet message
  32              can't be finalized) and will cause deadlock on router.
  33              Protocol V3 has a dedicated connection for emergency messages
  34              like ZC-ACK to router, messages on this dedicated connection
  35              don't need any credit so will never be blocked. Also, V3 can send
  36              keepalive ping in specified period for router healthy checking.
  37
  38 Severity   : major
  39 Bugzilla   : 15983
  40 Description: workaround for OOM from o2iblnd
  41 Details    : OFED needs allocate big chunk of memory for QP while creating
  42              connection for o2iblnd, OOM can happen if no such a contiguous
  43              memory chunk.
  44              QP size is decided by concurrent_sends and max_fragments of
  45              o2iblnd, now we permit user to specify smaller value for
  46              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
  47              will decrease memory block size required by creating QP.
  48
  49 Severity   : major
  50 Bugzilla   : 15093
  51 Description: Support Zerocopy receive of Chelsio device
  52 Details    : Chelsio driver can support zerocopy for iov[1] if it's
  53              contiguous and large enough.
  54
  55 Severity   : normal
  56 Bugzilla   : 13490
  57 Description: fix credit flow deadlock in uptllnd
  58
  59 Severity   : normal
  60 Bugzilla   : 16308
  61 Description: finalize network operation in reasonable time
  62 Details    : conf-sanity test_32a couldn't stop ost and mds because it
  63              tried to access non-existent peer and tcp connect took
  64              quite long before timing out.
  65
  66 Severity   : normal
  67 Bugzilla   : 13139
  68 Description: Remove portals compatibility
  69 Details    : Remove portals compatibility, not interoperable with releases
  70              before 1.4.6
  71
  72 Severity   : major
  73 Bugzilla   : 16338
  74 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
  75 Details    : Lost reference on conn prevents peer from being destroyed, which
  76              could prevent new peer creation if peer count has reached upper
  77              limit.
  78
  79 Severity   : normal
  80 Bugzilla   : 16102
  81 Description: LNET Selftest results in Soft lockup on OSS CPU
  82 Details    : only hits when 8 or more o2ib clients involved and a session is
  83              torn down with 'lst end_session' without preceeding 'lst stop'.
  84
  85 Severity   : minor
  86 Bugzilla   : 16321
  87 Description: concurrent_sends in IB LNDs should not be changeable at run time
  88 Details    : concurrent_sends in IB LNDs should not be changeable at run time
  89
  90 Severity   : normal
  91 Bugzilla   : 15272
  92 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
  93 Details    : only hits under out-of-memory situations
  94
  95
  96 -------------------------------------------------------------------------------
  97
  98
  99 04-26-2008  Sun Microsystems, Inc.
 100        * version 1.6.5
 101        * Support for networks:
 102         socklnd   - any kernel supported by Lustre,
 103         qswlnd    - Qsnet kernel modules 5.20 and later,
 104         openiblnd - IbGold 1.8.2,
 105         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 106         viblnd    - Voltaire ibhost 3.4.5 and later,
 107         ciblnd    - Topspin 3.2.0,
 108         iiblnd    - Infiniserv 3.3 + PathBits patch,
 109         gmlnd     - GM 2.1.22 and later,
 110         mxlnd     - MX 1.2.1 or later,
 111         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 112
 113 Severity   : normal
 114 Bugzilla   : 14322
 115 Description: excessive debug information removed
 116 Details    : excessive debug information removed
 117
 118 Severity   : major
 119 Bugzilla   : 15712
 120 Description: ksocknal_create_conn() hit ASSERTION during connection race
 121 Details    : ksocknal_create_conn() hit ASSERTION during connection race
 122
 123 Severity   : major
 124 Bugzilla   : 13983
 125 Description: ksocknal_send_hello() hit ASSERTION while connecting race
 126 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
 127
 128 Severity   : major
 129 Bugzilla   : 14425
 130 Description: o2iblnd/ptllnd credit deadlock in a routed config.
 131 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
 132
 133 Severity   : normal
 134 Bugzilla   : 14956
 135 Description: High load after starting lnet
 136 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
 137              uptime utility reports high load that looks confusingly.
 138
 139 Severity   : normal
 140 Bugzilla   : 14838
 141 Description: ksocklnd fails to establish connection if accept_port is high
 142 Details    : PID remapping must not be done for active (outgoing) connections
 143
 144 --------------------------------------------------------------------------------
 145
 146 2008-01-11  Sun Microsystems, Inc.
 147        * version 1.4.12
 148        * Support for networks:
 149         socklnd   - any kernel supported by Lustre,
 150         qswlnd    - Qsnet kernel modules 5.20 and later,
 151         openiblnd - IbGold 1.8.2,
 152         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 153         viblnd    - Voltaire ibhost 3.4.5 and later,
 154         ciblnd    - Topspin 3.2.0,
 155         iiblnd    - Infiniserv 3.3 + PathBits patch,
 156         gmlnd     - GM 2.1.22 and later,
 157         mxlnd     - MX 1.2.1 or later,
 158         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 159 Severity   : normal
 160 Bugzilla   : 14387
 161 Description: liblustre network error
 162 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 163              variable even if they don't start lnet acceptor.
 164
 165 Severity   : normal
 166 Bugzilla   : 14300
 167 Description: Strange message from lnet (Ignoring prediction from the future)
 168 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 169
 170 --------------------------------------------------------------------------------
 171
 172 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 173        * version 1.6.4
 174        * Support for networks:
 175         socklnd   - any kernel supported by Lustre,
 176         qswlnd    - Qsnet kernel modules 5.20 and later,
 177         openiblnd - IbGold 1.8.2,
 178         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 179         viblnd    - Voltaire ibhost 3.4.5 and later,
 180         ciblnd    - Topspin 3.2.0,
 181         iiblnd    - Infiniserv 3.3 + PathBits patch,
 182         gmlnd     - GM 2.1.22 and later,
 183         mxlnd     - MX 1.2.1 or later,
 184         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 185
 186 Severity   : normal
 187 Bugzilla   : 14238
 188 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 189
 190 Severity   : normal
 191 Bugzilla   : 12494
 192 Description: increase send queue size for ciblnd/openiblnd
 193
 194 Severity   : normal
 195 Bugzilla   : 12302
 196 Description: new userspace socklnd
 197 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 198              with new one - usocklnd.
 199
 200 Severity   : enhancement
 201 Bugzilla   : 11686
 202 Description: Console message flood
 203 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 204              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 205              /proc/sys/lnet/console_backoff.
 206
 207 --------------------------------------------------------------------------------
 208
 209 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 210        * version 1.6.3
 211        * Support for networks:
 212         socklnd   - any kernel supported by Lustre,
 213         qswlnd    - Qsnet kernel modules 5.20 and later,
 214         openiblnd - IbGold 1.8.2,
 215         o2iblnd   - OFED 1.1 and 1.2,
 216         viblnd    - Voltaire ibhost 3.4.5 and later,
 217         ciblnd    - Topspin 3.2.0,
 218         iiblnd    - Infiniserv 3.3 + PathBits patch,
 219         gmlnd     - GM 2.1.22 and later,
 220         mxlnd     - MX 1.2.1 or later,
 221         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 222
 223 Severity   : normal
 224 Bugzilla   : 12782
 225 Description: /proc/sys/lnet has non-sysctl entries
 226 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 227
 228 Severity   : major
 229 Bugzilla   : 13236
 230 Description: TOE Kernel panic by ksocklnd
 231 Details    : offloaded sockets provide their own implementation of sendpage,
 232              can't call tcp_sendpage() directly
 233
 234 Severity   : normal
 235 Bugzilla   : 10778
 236 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 237 Details    : races between lnd_shutdown and peer creation prevent
 238              lnd_shutdown from finishing.
 239
 240 Severity   : normal
 241 Bugzilla   : 13279
 242 Description: open files rlimit 1024 reached while liblustre testing
 243 Details    : ulnds/socklnd must close open socket after unsuccessful
 244              'say hello' attempt.
 245
 246 Severity   : major
 247 Bugzilla   : 13482
 248 Description: build error
 249 Details    : fix typos in gmlnd, ptllnd and viblnd
 250
 251 ------------------------------------------------------------------------------
 252
 253 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 254        * version 1.6.1
 255        * Support for networks:
 256         socklnd   - kernels up to 2.6.16,
 257         qswlnd    - Qsnet kernel modules 5.20 and later,
 258         openiblnd - IbGold 1.8.2,
 259         o2iblnd   - OFED 1.1 and 1.2
 260         viblnd    - Voltaire ibhost 3.4.5 and later,
 261         ciblnd    - Topspin 3.2.0,
 262         iiblnd    - Infiniserv 3.3 + PathBits patch,
 263         gmlnd     - GM 2.1.22 and later,
 264         mxlnd     - MX 1.2.1 or later,
 265         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 266
 267 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 268        * version 1.4.11
 269        * Support for networks:
 270         socklnd   - kernels up to 2.6.16,
 271         qswlnd    - Qsnet kernel modules 5.20 and later,
 272         openiblnd - IbGold 1.8.2,
 273         o2iblnd   - OFED 1.1
 274         viblnd    - Voltaire ibhost 3.4.5 and later,
 275         ciblnd    - Topspin 3.2.0,
 276         iiblnd    - Infiniserv 3.3 + PathBits patch,
 277         gmlnd     - GM 2.1.22 and later,
 278         mxlnd     - MX 1.2.1 or later,
 279         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 280
 281 Severity   : minor
 282 Bugzilla   : 13288
 283 Description: Initialize cpumask before use
 284
 285 Severity   : major
 286 Bugzilla   : 12014
 287 Description: ASSERTION failures when upgrading to the patchless zero-copy
 288              socklnd
 289 Details    : This bug affects "rolling upgrades", causing an inconsistent
 290              protocol version negotiation and subsequent assertion failure
 291              during rolling upgrades after the first wave of upgrades.
 292
 293 Severity   : minor
 294 Bugzilla   : 11223
 295 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 296              logged instead of creating "console chatter" when a lustre
 297              timeout races with normal RPC completion.
 298
 299 Severity   : minor
 300 Details    : lnet_clear_peer_table can wait forever if user forgets to
 301              clear a lazy portal.
 302
 303 Severity   : minor
 304 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 305
 306 Severity   : major
 307 Bugzilla   : 10916
 308 Description: added LNET self test
 309 Details    : landing b_self_test
 310
 311 Severity   : minor
 312 Frequency  : rare
 313 Bugzilla   : 12227
 314 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 315              struct timeval.
 316 Details    : do_div() macro is used incorrectly.
 317
 318 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 319
 320 Severity   : normal
 321 Bugzilla   : 11680
 322 Description: make panic on lbug configurable
 323
 324 Severity   : major
 325 Bugzilla   : 12316
 326 Description: Add OFED1.2 support to o2iblnd
 327 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 328              are installed (other than kernel's in-tree infiniband), there
 329              could be some problem while insmod o2iblnd (mismatch CRC of
 330              ib_* symbols).
 331              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 332              this link provides solution:
 333              https://bugs.openfabrics.org/show_bug.cgi?id=355
 334              if extra Module.symvers is not supported in kernel, we will
 335              have to run the script in bug 12316 to update
 336              $LINUX/module.symvers before building o2iblnd.
 337              More details about this are in bug 12316.
 338
 339 ------------------------------------------------------------------------------
 340
 341 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 342        * version 1.4.10 / 1.6.0
 343        * Support for networks:
 344         socklnd   - kernels up to 2.6.16,
 345         qswlnd    - Qsnet kernel modules 5.20 and later,
 346         openiblnd - IbGold 1.8.2,
 347         o2iblnd   - OFED 1.1,
 348         viblnd    - Voltaire ibhost 3.4.5 and later,
 349         ciblnd    - Topspin 3.2.0,
 350         iiblnd    - Infiniserv 3.3 + PathBits patch,
 351         gmlnd     - GM 2.1.22 and later,
 352         mxlnd     - MX 1.2.1 or later,
 353         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 354
 355 Severity   : minor
 356 Frequency  : rare
 357 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 358              possibly accessed in kptllnd_shutdown. Ptllnd should init
 359              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 360
 361 Severity   : normal
 362 Frequency  : rare
 363 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 364
 365 Severity   : minor
 366 Frequency  : rare
 367 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 368
 369 Severity   : minor
 370 Frequency  : rare
 371 Description: the_lnet.ln_finalizing was not set when the current thread is
 372              about to complete messages. It only affects multi-threaded
 373              user space LNet.
 374
 375 Severity   : normal
 376 Frequency  : rare
 377 Bugzilla   : 11472
 378 Description: Changed the default kqswlnd ntxmsg=512
 379
 380 Severity   : major
 381 Frequency  : rare
 382 Bugzilla   : 12458
 383 Description: Assertion failure in kernel ptllnd caused by posting passive
 384              bulk buffers before connection establishment complete.
 385
 386 Severity   : major
 387 Frequency  : rare
 388 Bugzilla   : 12445
 389 Description: A race in kernel ptllnd between deleting a peer and posting
 390              new communications for it could hang communications -
 391              manifesting as "Unexpectedly long timeout" messages.
 392
 393 Severity   : major
 394 Frequency  : rare
 395 Bugzilla   : 12432
 396 Description: Kernel ptllnd lock ordering issue could hang a node.
 397
 398 Severity   : major
 399 Frequency  : rare
 400 Bugzilla   : 12016
 401 Description: node crash on socket teardown race
 402
 403 Severity   : minor
 404 Frequency  : 'lctl peer_list' issued on a mx net
 405 Bugzilla   : 12237
 406 Description: Enable lctl's peer_list for MXLND
 407
 408 Severity   : major
 409 Frequency  : after Ptllnd timeouts and portals congestion
 410 Bugzilla   : 11659
 411 Description: Credit overflows
 412 Details    : This was a bug in ptllnd connection establishment.  The fix
 413              implements better peer stamps to disambiguate connection
 414              establishment and ensure both peers enter the credit flow
 415              state machine consistently.
 416
 417 Severity   : major
 418 Frequency  : rare
 419 Bugzilla   : 11394
 420 Description: kptllnd didn't propagate some network errors up to LNET
 421 Details    : This bug was spotted while investigating 11394.  The fix
 422              ensures network errors on sends and bulk transfers are
 423              propagated to LNET/lustre correctly.
 424
 425 Severity   : enhancement
 426 Bugzilla   : 10316
 427 Description: Fixed console chatter in case of -ETIMEDOUT.
 428
 429 Severity   : enhancement
 430 Bugzilla   : 11684
 431 Description: Added D_NETTRACE for recording network packet history
 432              (initially only for ptllnd).  Also a separate userspace
 433              ptllnd facility to gather history which should really be
 434              covered by D_NETTRACE too, if only CDEBUG recorded history in
 435              userspace.
 436
 437 Severity   : major
 438 Frequency  : rare
 439 Bugzilla   : 11616
 440 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 441 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 442              callback can occur before a connection has actually been
 443              established.  This caused an assertion failure previously.
 444
 445 Severity   : enhancement
 446 Bugzilla   : 11094
 447 Description: Multiple instances for o2iblnd
 448 Details    : Allow multiple instances of o2iblnd to enable networking over
 449              multiple HCAs and routing between them.
 450
 451 Severity   : major
 452 Bugzilla   : 11201
 453 Description: lnet deadlock in router_checker
 454 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 455              into BH locks to eliminate potential deadlock caused by
 456              ksocknal_data_ready() preempting code holding these locks.
 457
 458 Severity   : major
 459 Bugzilla   : 11126
 460 Description: Millions of failed socklnd connection attempts cause a very slow FS
 461 Details    : added a new route flag ksnr_scheduled to distinguish from
 462              ksnr_connecting, so that a peer connection request is only turned
 463              down for race concerns when an active connection to the same peer
 464              is under progress (instead of just being scheduled).
 465
 466 ------------------------------------------------------------------------------
 467
 468 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 469        * version 1.4.9
 470        * Support for networks:
 471         socklnd   - kernels up to 2.6.16
 472         qswlnd    - Qsnet kernel modules 5.20 and later
 473         openiblnd - IbGold 1.8.2
 474         o2iblnd   - OFED 1.1
 475         viblnd    - Voltaire ibhost 3.4.5 and later
 476         ciblnd    - Topspin 3.2.0
 477         iiblnd    - Infiniserv 3.3 + PathBits patch
 478         gmlnd     - GM 2.1.22 and later
 479         mxlnd     - MX 1.2.1 or later
 480         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 481        * bug fixes
 482
 483 Severity   : major on XT3
 484 Bugzilla   : none
 485 Description: libcfs overwrites /proc/sys/portals
 486 Details    : libcfs created a symlink from /proc/sys/portals to
 487              /proc/sys/lnet for backwards compatibility.  This is no
 488              longer required and makes the Cray portals /proc variables
 489              inaccessible.
 490
 491 Severity   : minor
 492 Bugzilla   : 11312
 493 Description: OFED FMR API change
 494 Details    : This changes parameter usage to reflect a change in
 495              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 496              that FMR support is only used in experimental versions of the
 497              o2iblnd - this change does not affect standard usage at all.
 498
 499 Severity   : enhancement
 500 Bugzilla   : 11245
 501 Description: new ko2iblnd module parameter: ib_mtu
 502 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 503              HCAs.  You can avoid this problem by setting the MTU to 1024
 504              using this module parameter.
 505
 506 Severity   : enhancement
 507 Bugzilla   : 11118/11620
 508 Description: ptllnd small request message buffer alignment fix
 509 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 510              Round up small message size on sends in case this option
 511              is not supported.  11620 was a defect in the initial
 512              implementation which effectively asserted all peers had to be
 513              running the correct protocol version which was fixed by always
 514              NAK-ing such requests and handling any misalignments they
 515              introduce.
 516
 517 Severity   : minor
 518 Frequency  : rarely
 519 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 520              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 521              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 522
 523 Severity   : enhancement
 524 Bugzilla   : 11250
 525 Description: Patchless ZC(zero copy) socklnd
 526 Details    : New protocol for socklnd, socklnd can support zero copy without
 527              kernel patch, it's compatible with old socklnd. Checksum is
 528              moved from tunables to modparams.
 529
 530 Severity   : minor
 531 Frequency  : rarely
 532 Description: When ksocknal_del_peer() is called upon a peer whose
 533              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 534              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 535
 536 Severity   : normal
 537 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 538 Bugzilla   : 11318
 539 Description: In lnet_match_blocked_msg(), md can be used without holding a
 540              ref on it.
 541
 542 Severity   : minor
 543 Frequency  : very rarely
 544 Bugzilla   : 10727
 545 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 546              If connd connects a route which has been closed by
 547              ksocknal_shutdown(), ksocknal_create_routes() may create new
 548              routes which hold references on the peer, causing shutdown
 549              process to wait for peer to disappear forever.
 550
 551 Severity   : enhancement
 552 Bugzilla   : 11234
 553 Description: Dump XT3 portals traces on kptllnd timeout
 554 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 555              dump Cray portals debug traces to a file.  The kptllnd module
 556              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 557              is the basename of the dump file.
 558
 559 Severity   : major
 560 Frequency  : infrequent
 561 Bugzilla   : 11308
 562 Description: kernel ptllnd fix bug in connection re-establishment
 563 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 564              matchbits and/or violate the credit flow protocol when trying
 565              to re-establish a connection with a peer after an error or
 566              timeout.
 567
 568 Severity   : enhancement
 569 Bugzilla   : 10316
 570 Description: Allow /proc/sys/lnet/debug to be set symbolically
 571 Details    : Allow debug and subsystem debug values to be read/set by name
 572              in addition to numerically, for ease of use.
 573
 574 Severity   : normal
 575 Frequency  : only in configurations with LNET routers
 576 Bugzilla   : 10316
 577 Description: routes automatically marked down and recovered
 578 Details    : In configurations with LNET routers if a router fails routers
 579              now actively try to recover routes that are down, unless they
 580              are marked down by an administrator.
 581
 582 ------------------------------------------------------------------------------
 583
 584 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 585
 586 Severity   : critical
 587 Frequency  : very rarely, in configurations with LNET routers and TCP
 588 Bugzilla   : 10889
 589 Description: incorrect data written to files on OSTs
 590 Details    : In certain high-load conditions incorrect data may be written
 591              to files on the OST when using TCP networks.
 592
 593 ------------------------------------------------------------------------------
 594
 595 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 596         * version 1.4.7
 597         - rework CDEBUG messages rate-limiting mechanism b=10375
 598         - add per-socket tunables for socklnd if the kernel is patched b=10327
 599
 600 ------------------------------------------------------------------------------
 601
 602 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 603         * version 1.4.6
 604         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 605         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 606         - quiet LNET startup LNI message for liblustre b=10128
 607         - Better console error messages if 'ip2nets' can't match an IP address
 608         - Fixed overflow/use-before-set bugs in linux-time.h
 609         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 610         - LNET teardown failed an assertion about the route table being empty
 611         - Fixed a crash in LNetEQPoll(<invalid handle>)
 612         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 613         - improve debug message for liblustre/Catamount nodes (b=10116)
 614
 615 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 616         * Configuration change for the XT3
 617              The PTLLND is now used to run Lustre over Portals on the XT3.
 618              The configure option(s) --with-cray-portals are no longer
 619              used.  Rather --with-portals=<path-to-portals-includes> is
 620              used to enable building on the XT3.  In addition to enable
 621              XT3 specific features the option --enable-cray-xt3 must be
 622              used.
 623
 624 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 625         * Portals has been removed, replaced by LNET.
 626            LNET is new networking infrastructure for Lustre, it includes a
 627            reorganized network configuration mode (see the user
 628            documentation for full details) as well as support for routing
 629            between different network fabrics.  Lustre Networking Devices
 630            (LNDS) for the supported network fabrics have also been created
 631            for this new infrastructure.
 632
 633 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 634        * version 1.4.4
 635        * bug fixes
 636
 637 Severity   : major
 638 Frequency  : rare (large Voltaire clusters only)
 639 Bugzilla   : 6993
 640 Description: the default number of reserved transmit descriptors was too low
 641              for some large clusters
 642 Details    : As a workaround, the number was increased.  A proper fix includes
 643              a run-time tunable.
 644
 645 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 646        * version 1.4.3
 647        * bug fixes
 648
 649 Severity   : major
 650 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 651 Bugzilla   : 6411
 652 Description: too many error messages on console obscure actual problem and
 653              can slow down/panic server, or cause recovery to fail repeatedly
 654 Details    : enable rate-limiting of console error messages, and some messages
 655              that were console errors now only go to the kernel log
 656
 657 Severity   : enhancement
 658 Bugzilla   : 1693
 659 Description: add /proc/sys/portals/catastrophe entry which will report if
 660              that node has previously LBUGged
 661
 662 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 663        * bugs
 664         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 665
 666 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 667        * bugs
 668         - handle error return code in kranal_check_fma_rx() (5915,6054)
 669
 670 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 671        * miscellania
 672         - update vibnal (Voltaire IB NAL)
 673         - update gmnal (Myrinet NAL), gmnalid
 674
 675 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 676
 677         * Landed portals:b_port_step as follows...
 678
 679           - removed CFS_DECL_SPIN*
 680             just use 'spinlock_t' and initialise with spin_lock_init()
 681
 682           - removed CFS_DECL_MUTEX*
 683             just use 'struct semaphore' and initialise with init_mutex()
 684
 685           - removed CFS_DECL_RWSEM*
 686             just use 'struct rw_semaphore' and initialise with init_rwsem()
 687
 688           - renamed cfs_sleep_chan -> cfs_waitq
 689                     cfs_sleep_link -> cfs_waitlink
 690
 691           - fixed race in linux version of arch-independent socknal
 692             (the ENOMEM/EAGAIN decision).
 693
 694           - Didn't fix problems in Darwin version of arch-independent socknal
 695             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 696
 697           - removed libcfs types from non-socknal header files (only some types
 698             in the header files had been changed; the .c files hadn't been
 699             updated at all).