lnet/ChangeLog

   1 tbd  Sun Microsystems, Inc.
   2         * version 1.6.6
   3         * Support for networks:
   4          socklnd   - any kernel supported by Lustre,
   5          qswlnd    - Qsnet kernel modules 5.20 and later,
   6          openiblnd - IbGold 1.8.2,
   7          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
   8          viblnd    - Voltaire ibhost 3.4.5 and later,
   9          ciblnd    - Topspin 3.2.0,
  10          iiblnd    - Infiniserv 3.3 + PathBits patch,
  11          gmlnd     - GM 2.1.22 and later,
  12          mxlnd     - MX 1.2.1 or later,
  13          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   :
  16 Bugzilla   :
  17 Description:
  18 Details    :
  19
  20 Severity   : normal
  21 Bugzilla   : 13139
  22 Description: Remove portals compatibility
  23 Details    : Remove portals compatibility, not interoperable with releases
  24              before 1.4.6
  25
  26 Severity   : major
  27 Bugzilla   : 16338
  28 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
  29 Details    : Lost reference on conn prevents peer from being destroyed, which
  30              could prevent new peer creation if peer count has reached upper
  31              limit.
  32
  33 Severity   : normal
  34 Bugzilla   : 16102
  35 Description: LNET Selftest results in Soft lockup on OSS CPU
  36 Details    : only hits when 8 or more o2ib clients involved and a session is
  37              torn down with 'lst end_session' without preceeding 'lst stop'.
  38
  39 Severity   : minor
  40 Bugzilla   : 16321
  41 Description: concurrent_sends in IB LNDs should not be changeable at run time
  42 Details    : concurrent_sends in IB LNDs should not be changeable at run time
  43
  44 Severity   : normal
  45 Bugzilla   : 15272
  46 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
  47 Details    : only hits under out-of-memory situations
  48
  49
  50 -------------------------------------------------------------------------------
  51
  52
  53 04-26-2008  Sun Microsystems, Inc.
  54        * version 1.6.5
  55        * Support for networks:
  56         socklnd   - any kernel supported by Lustre,
  57         qswlnd    - Qsnet kernel modules 5.20 and later,
  58         openiblnd - IbGold 1.8.2,
  59         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
  60         viblnd    - Voltaire ibhost 3.4.5 and later,
  61         ciblnd    - Topspin 3.2.0,
  62         iiblnd    - Infiniserv 3.3 + PathBits patch,
  63         gmlnd     - GM 2.1.22 and later,
  64         mxlnd     - MX 1.2.1 or later,
  65         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  66
  67 Severity   : normal
  68 Bugzilla   : 14322
  69 Description: excessive debug information removed
  70 Details    : excessive debug information removed
  71
  72 Severity   : major
  73 Bugzilla   : 15712
  74 Description: ksocknal_create_conn() hit ASSERTION during connection race
  75 Details    : ksocknal_create_conn() hit ASSERTION during connection race
  76
  77 Severity   : major
  78 Bugzilla   : 13983
  79 Description: ksocknal_send_hello() hit ASSERTION while connecting race
  80 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
  81
  82 Severity   : major
  83 Bugzilla   : 14425
  84 Description: o2iblnd/ptllnd credit deadlock in a routed config.
  85 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
  86
  87 Severity   : normal
  88 Bugzilla   : 14956
  89 Description: High load after starting lnet
  90 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
  91              uptime utility reports high load that looks confusingly.
  92
  93 Severity   : normal
  94 Bugzilla   : 14838
  95 Description: ksocklnd fails to establish connection if accept_port is high
  96 Details    : PID remapping must not be done for active (outgoing) connections
  97
  98 --------------------------------------------------------------------------------
  99
 100 2008-01-11  Sun Microsystems, Inc.
 101        * version 1.4.12
 102        * Support for networks:
 103         socklnd   - any kernel supported by Lustre,
 104         qswlnd    - Qsnet kernel modules 5.20 and later,
 105         openiblnd - IbGold 1.8.2,
 106         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 107         viblnd    - Voltaire ibhost 3.4.5 and later,
 108         ciblnd    - Topspin 3.2.0,
 109         iiblnd    - Infiniserv 3.3 + PathBits patch,
 110         gmlnd     - GM 2.1.22 and later,
 111         mxlnd     - MX 1.2.1 or later,
 112         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 113 Severity   : normal
 114 Bugzilla   : 14387
 115 Description: liblustre network error
 116 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 117              variable even if they don't start lnet acceptor.
 118
 119 Severity   : normal
 120 Bugzilla   : 14300
 121 Description: Strange message from lnet (Ignoring prediction from the future)
 122 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 123
 124 --------------------------------------------------------------------------------
 125
 126 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 127        * version 1.6.4
 128        * Support for networks:
 129         socklnd   - any kernel supported by Lustre,
 130         qswlnd    - Qsnet kernel modules 5.20 and later,
 131         openiblnd - IbGold 1.8.2,
 132         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 133         viblnd    - Voltaire ibhost 3.4.5 and later,
 134         ciblnd    - Topspin 3.2.0,
 135         iiblnd    - Infiniserv 3.3 + PathBits patch,
 136         gmlnd     - GM 2.1.22 and later,
 137         mxlnd     - MX 1.2.1 or later,
 138         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 139
 140 Severity   : normal
 141 Bugzilla   : 14238
 142 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 143
 144 Severity   : normal
 145 Bugzilla   : 12494
 146 Description: increase send queue size for ciblnd/openiblnd
 147
 148 Severity   : normal
 149 Bugzilla   : 12302
 150 Description: new userspace socklnd
 151 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 152              with new one - usocklnd.
 153
 154 Severity   : enhancement
 155 Bugzilla   : 11686
 156 Description: Console message flood
 157 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 158              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 159              /proc/sys/lnet/console_backoff.
 160
 161 --------------------------------------------------------------------------------
 162
 163 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 164        * version 1.6.3
 165        * Support for networks:
 166         socklnd   - any kernel supported by Lustre,
 167         qswlnd    - Qsnet kernel modules 5.20 and later,
 168         openiblnd - IbGold 1.8.2,
 169         o2iblnd   - OFED 1.1 and 1.2,
 170         viblnd    - Voltaire ibhost 3.4.5 and later,
 171         ciblnd    - Topspin 3.2.0,
 172         iiblnd    - Infiniserv 3.3 + PathBits patch,
 173         gmlnd     - GM 2.1.22 and later,
 174         mxlnd     - MX 1.2.1 or later,
 175         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 176
 177 Severity   : normal
 178 Bugzilla   : 12782
 179 Description: /proc/sys/lnet has non-sysctl entries
 180 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 181
 182 Severity   : major
 183 Bugzilla   : 13236
 184 Description: TOE Kernel panic by ksocklnd
 185 Details    : offloaded sockets provide their own implementation of sendpage,
 186              can't call tcp_sendpage() directly
 187
 188 Severity   : normal
 189 Bugzilla   : 10778
 190 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 191 Details    : races between lnd_shutdown and peer creation prevent
 192              lnd_shutdown from finishing.
 193
 194 Severity   : normal
 195 Bugzilla   : 13279
 196 Description: open files rlimit 1024 reached while liblustre testing
 197 Details    : ulnds/socklnd must close open socket after unsuccessful
 198              'say hello' attempt.
 199
 200 Severity   : major
 201 Bugzilla   : 13482
 202 Description: build error
 203 Details    : fix typos in gmlnd, ptllnd and viblnd
 204
 205 ------------------------------------------------------------------------------
 206
 207 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 208        * version 1.6.1
 209        * Support for networks:
 210         socklnd   - kernels up to 2.6.16,
 211         qswlnd    - Qsnet kernel modules 5.20 and later,
 212         openiblnd - IbGold 1.8.2,
 213         o2iblnd   - OFED 1.1 and 1.2
 214         viblnd    - Voltaire ibhost 3.4.5 and later,
 215         ciblnd    - Topspin 3.2.0,
 216         iiblnd    - Infiniserv 3.3 + PathBits patch,
 217         gmlnd     - GM 2.1.22 and later,
 218         mxlnd     - MX 1.2.1 or later,
 219         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 220
 221 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 222        * version 1.4.11
 223        * Support for networks:
 224         socklnd   - kernels up to 2.6.16,
 225         qswlnd    - Qsnet kernel modules 5.20 and later,
 226         openiblnd - IbGold 1.8.2,
 227         o2iblnd   - OFED 1.1
 228         viblnd    - Voltaire ibhost 3.4.5 and later,
 229         ciblnd    - Topspin 3.2.0,
 230         iiblnd    - Infiniserv 3.3 + PathBits patch,
 231         gmlnd     - GM 2.1.22 and later,
 232         mxlnd     - MX 1.2.1 or later,
 233         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 234
 235 Severity   : minor
 236 Bugzilla   : 13288
 237 Description: Initialize cpumask before use
 238
 239 Severity   : major
 240 Bugzilla   : 12014
 241 Description: ASSERTION failures when upgrading to the patchless zero-copy
 242              socklnd
 243 Details    : This bug affects "rolling upgrades", causing an inconsistent
 244              protocol version negotiation and subsequent assertion failure
 245              during rolling upgrades after the first wave of upgrades.
 246
 247 Severity   : minor
 248 Bugzilla   : 11223
 249 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 250              logged instead of creating "console chatter" when a lustre
 251              timeout races with normal RPC completion.
 252
 253 Severity   : minor
 254 Details    : lnet_clear_peer_table can wait forever if user forgets to
 255              clear a lazy portal.
 256
 257 Severity   : minor
 258 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 259
 260 Severity   : major
 261 Bugzilla   : 10916
 262 Description: added LNET self test
 263 Details    : landing b_self_test
 264
 265 Severity   : minor
 266 Frequency  : rare
 267 Bugzilla   : 12227
 268 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 269              struct timeval.
 270 Details    : do_div() macro is used incorrectly.
 271
 272 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 273
 274 Severity   : normal
 275 Bugzilla   : 11680
 276 Description: make panic on lbug configurable
 277
 278 Severity   : major
 279 Bugzilla   : 12316
 280 Description: Add OFED1.2 support to o2iblnd
 281 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 282              are installed (other than kernel's in-tree infiniband), there
 283              could be some problem while insmod o2iblnd (mismatch CRC of
 284              ib_* symbols).
 285              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 286              this link provides solution:
 287              https://bugs.openfabrics.org/show_bug.cgi?id=355
 288              if extra Module.symvers is not supported in kernel, we will
 289              have to run the script in bug 12316 to update
 290              $LINUX/module.symvers before building o2iblnd.
 291              More details about this are in bug 12316.
 292
 293 ------------------------------------------------------------------------------
 294
 295 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 296        * version 1.4.10 / 1.6.0
 297        * Support for networks:
 298         socklnd   - kernels up to 2.6.16,
 299         qswlnd    - Qsnet kernel modules 5.20 and later,
 300         openiblnd - IbGold 1.8.2,
 301         o2iblnd   - OFED 1.1,
 302         viblnd    - Voltaire ibhost 3.4.5 and later,
 303         ciblnd    - Topspin 3.2.0,
 304         iiblnd    - Infiniserv 3.3 + PathBits patch,
 305         gmlnd     - GM 2.1.22 and later,
 306         mxlnd     - MX 1.2.1 or later,
 307         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 308
 309 Severity   : minor
 310 Frequency  : rare
 311 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 312              possibly accessed in kptllnd_shutdown. Ptllnd should init
 313              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 314
 315 Severity   : normal
 316 Frequency  : rare
 317 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 318
 319 Severity   : minor
 320 Frequency  : rare
 321 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 322
 323 Severity   : minor
 324 Frequency  : rare
 325 Description: the_lnet.ln_finalizing was not set when the current thread is
 326              about to complete messages. It only affects multi-threaded
 327              user space LNet.
 328
 329 Severity   : normal
 330 Frequency  : rare
 331 Bugzilla   : 11472
 332 Description: Changed the default kqswlnd ntxmsg=512
 333
 334 Severity   : major
 335 Frequency  : rare
 336 Bugzilla   : 12458
 337 Description: Assertion failure in kernel ptllnd caused by posting passive
 338              bulk buffers before connection establishment complete.
 339
 340 Severity   : major
 341 Frequency  : rare
 342 Bugzilla   : 12445
 343 Description: A race in kernel ptllnd between deleting a peer and posting
 344              new communications for it could hang communications -
 345              manifesting as "Unexpectedly long timeout" messages.
 346
 347 Severity   : major
 348 Frequency  : rare
 349 Bugzilla   : 12432
 350 Description: Kernel ptllnd lock ordering issue could hang a node.
 351
 352 Severity   : major
 353 Frequency  : rare
 354 Bugzilla   : 12016
 355 Description: node crash on socket teardown race
 356
 357 Severity   : minor
 358 Frequency  : 'lctl peer_list' issued on a mx net
 359 Bugzilla   : 12237
 360 Description: Enable lctl's peer_list for MXLND
 361
 362 Severity   : major
 363 Frequency  : after Ptllnd timeouts and portals congestion
 364 Bugzilla   : 11659
 365 Description: Credit overflows
 366 Details    : This was a bug in ptllnd connection establishment.  The fix
 367              implements better peer stamps to disambiguate connection
 368              establishment and ensure both peers enter the credit flow
 369              state machine consistently.
 370
 371 Severity   : major
 372 Frequency  : rare
 373 Bugzilla   : 11394
 374 Description: kptllnd didn't propagate some network errors up to LNET
 375 Details    : This bug was spotted while investigating 11394.  The fix
 376              ensures network errors on sends and bulk transfers are
 377              propagated to LNET/lustre correctly.
 378
 379 Severity   : enhancement
 380 Bugzilla   : 10316
 381 Description: Fixed console chatter in case of -ETIMEDOUT.
 382
 383 Severity   : enhancement
 384 Bugzilla   : 11684
 385 Description: Added D_NETTRACE for recording network packet history
 386              (initially only for ptllnd).  Also a separate userspace
 387              ptllnd facility to gather history which should really be
 388              covered by D_NETTRACE too, if only CDEBUG recorded history in
 389              userspace.
 390
 391 Severity   : major
 392 Frequency  : rare
 393 Bugzilla   : 11616
 394 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 395 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 396              callback can occur before a connection has actually been
 397              established.  This caused an assertion failure previously.
 398
 399 Severity   : enhancement
 400 Bugzilla   : 11094
 401 Description: Multiple instances for o2iblnd
 402 Details    : Allow multiple instances of o2iblnd to enable networking over
 403              multiple HCAs and routing between them.
 404
 405 Severity   : major
 406 Bugzilla   : 11201
 407 Description: lnet deadlock in router_checker
 408 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 409              into BH locks to eliminate potential deadlock caused by
 410              ksocknal_data_ready() preempting code holding these locks.
 411
 412 Severity   : major
 413 Bugzilla   : 11126
 414 Description: Millions of failed socklnd connection attempts cause a very slow FS
 415 Details    : added a new route flag ksnr_scheduled to distinguish from
 416              ksnr_connecting, so that a peer connection request is only turned
 417              down for race concerns when an active connection to the same peer
 418              is under progress (instead of just being scheduled).
 419
 420 ------------------------------------------------------------------------------
 421
 422 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 423        * version 1.4.9
 424        * Support for networks:
 425         socklnd   - kernels up to 2.6.16
 426         qswlnd    - Qsnet kernel modules 5.20 and later
 427         openiblnd - IbGold 1.8.2
 428         o2iblnd   - OFED 1.1
 429         viblnd    - Voltaire ibhost 3.4.5 and later
 430         ciblnd    - Topspin 3.2.0
 431         iiblnd    - Infiniserv 3.3 + PathBits patch
 432         gmlnd     - GM 2.1.22 and later
 433         mxlnd     - MX 1.2.1 or later
 434         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 435        * bug fixes
 436
 437 Severity   : major on XT3
 438 Bugzilla   : none
 439 Description: libcfs overwrites /proc/sys/portals
 440 Details    : libcfs created a symlink from /proc/sys/portals to
 441              /proc/sys/lnet for backwards compatibility.  This is no
 442              longer required and makes the Cray portals /proc variables
 443              inaccessible.
 444
 445 Severity   : minor
 446 Bugzilla   : 11312
 447 Description: OFED FMR API change
 448 Details    : This changes parameter usage to reflect a change in
 449              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 450              that FMR support is only used in experimental versions of the
 451              o2iblnd - this change does not affect standard usage at all.
 452
 453 Severity   : enhancement
 454 Bugzilla   : 11245
 455 Description: new ko2iblnd module parameter: ib_mtu
 456 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 457              HCAs.  You can avoid this problem by setting the MTU to 1024
 458              using this module parameter.
 459
 460 Severity   : enhancement
 461 Bugzilla   : 11118/11620
 462 Description: ptllnd small request message buffer alignment fix
 463 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 464              Round up small message size on sends in case this option
 465              is not supported.  11620 was a defect in the initial
 466              implementation which effectively asserted all peers had to be
 467              running the correct protocol version which was fixed by always
 468              NAK-ing such requests and handling any misalignments they
 469              introduce.
 470
 471 Severity   : minor
 472 Frequency  : rarely
 473 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 474              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 475              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 476
 477 Severity   : enhancement
 478 Bugzilla   : 11250
 479 Description: Patchless ZC(zero copy) socklnd
 480 Details    : New protocol for socklnd, socklnd can support zero copy without
 481              kernel patch, it's compatible with old socklnd. Checksum is
 482              moved from tunables to modparams.
 483
 484 Severity   : minor
 485 Frequency  : rarely
 486 Description: When ksocknal_del_peer() is called upon a peer whose
 487              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 488              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 489
 490 Severity   : normal
 491 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 492 Bugzilla   : 11318
 493 Description: In lnet_match_blocked_msg(), md can be used without holding a
 494              ref on it.
 495
 496 Severity   : minor
 497 Frequency  : very rarely
 498 Bugzilla   : 10727
 499 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 500              If connd connects a route which has been closed by
 501              ksocknal_shutdown(), ksocknal_create_routes() may create new
 502              routes which hold references on the peer, causing shutdown
 503              process to wait for peer to disappear forever.
 504
 505 Severity   : enhancement
 506 Bugzilla   : 11234
 507 Description: Dump XT3 portals traces on kptllnd timeout
 508 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 509              dump Cray portals debug traces to a file.  The kptllnd module
 510              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 511              is the basename of the dump file.
 512
 513 Severity   : major
 514 Frequency  : infrequent
 515 Bugzilla   : 11308
 516 Description: kernel ptllnd fix bug in connection re-establishment
 517 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 518              matchbits and/or violate the credit flow protocol when trying
 519              to re-establish a connection with a peer after an error or
 520              timeout.
 521
 522 Severity   : enhancement
 523 Bugzilla   : 10316
 524 Description: Allow /proc/sys/lnet/debug to be set symbolically
 525 Details    : Allow debug and subsystem debug values to be read/set by name
 526              in addition to numerically, for ease of use.
 527
 528 Severity   : normal
 529 Frequency  : only in configurations with LNET routers
 530 Bugzilla   : 10316
 531 Description: routes automatically marked down and recovered
 532 Details    : In configurations with LNET routers if a router fails routers
 533              now actively try to recover routes that are down, unless they
 534              are marked down by an administrator.
 535
 536 ------------------------------------------------------------------------------
 537
 538 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 539
 540 Severity   : critical
 541 Frequency  : very rarely, in configurations with LNET routers and TCP
 542 Bugzilla   : 10889
 543 Description: incorrect data written to files on OSTs
 544 Details    : In certain high-load conditions incorrect data may be written
 545              to files on the OST when using TCP networks.
 546
 547 ------------------------------------------------------------------------------
 548
 549 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 550         * version 1.4.7
 551         - rework CDEBUG messages rate-limiting mechanism b=10375
 552         - add per-socket tunables for socklnd if the kernel is patched b=10327
 553
 554 ------------------------------------------------------------------------------
 555
 556 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 557         * version 1.4.6
 558         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 559         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 560         - quiet LNET startup LNI message for liblustre b=10128
 561         - Better console error messages if 'ip2nets' can't match an IP address
 562         - Fixed overflow/use-before-set bugs in linux-time.h
 563         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 564         - LNET teardown failed an assertion about the route table being empty
 565         - Fixed a crash in LNetEQPoll(<invalid handle>)
 566         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 567         - improve debug message for liblustre/Catamount nodes (b=10116)
 568
 569 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 570         * Configuration change for the XT3
 571              The PTLLND is now used to run Lustre over Portals on the XT3.
 572              The configure option(s) --with-cray-portals are no longer
 573              used.  Rather --with-portals=<path-to-portals-includes> is
 574              used to enable building on the XT3.  In addition to enable
 575              XT3 specific features the option --enable-cray-xt3 must be
 576              used.
 577
 578 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 579         * Portals has been removed, replaced by LNET.
 580            LNET is new networking infrastructure for Lustre, it includes a
 581            reorganized network configuration mode (see the user
 582            documentation for full details) as well as support for routing
 583            between different network fabrics.  Lustre Networking Devices
 584            (LNDS) for the supported network fabrics have also been created
 585            for this new infrastructure.
 586
 587 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 588        * version 1.4.4
 589        * bug fixes
 590
 591 Severity   : major
 592 Frequency  : rare (large Voltaire clusters only)
 593 Bugzilla   : 6993
 594 Description: the default number of reserved transmit descriptors was too low
 595              for some large clusters
 596 Details    : As a workaround, the number was increased.  A proper fix includes
 597              a run-time tunable.
 598
 599 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 600        * version 1.4.3
 601        * bug fixes
 602
 603 Severity   : major
 604 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 605 Bugzilla   : 6411
 606 Description: too many error messages on console obscure actual problem and
 607              can slow down/panic server, or cause recovery to fail repeatedly
 608 Details    : enable rate-limiting of console error messages, and some messages
 609              that were console errors now only go to the kernel log
 610
 611 Severity   : enhancement
 612 Bugzilla   : 1693
 613 Description: add /proc/sys/portals/catastrophe entry which will report if
 614              that node has previously LBUGged
 615
 616 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 617        * bugs
 618         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 619
 620 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 621        * bugs
 622         - handle error return code in kranal_check_fma_rx() (5915,6054)
 623
 624 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 625        * miscellania
 626         - update vibnal (Voltaire IB NAL)
 627         - update gmnal (Myrinet NAL), gmnalid
 628
 629 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 630
 631         * Landed portals:b_port_step as follows...
 632
 633           - removed CFS_DECL_SPIN*
 634             just use 'spinlock_t' and initialise with spin_lock_init()
 635
 636           - removed CFS_DECL_MUTEX*
 637             just use 'struct semaphore' and initialise with init_mutex()
 638
 639           - removed CFS_DECL_RWSEM*
 640             just use 'struct rw_semaphore' and initialise with init_rwsem()
 641
 642           - renamed cfs_sleep_chan -> cfs_waitq
 643                     cfs_sleep_link -> cfs_waitlink
 644
 645           - fixed race in linux version of arch-independent socknal
 646             (the ENOMEM/EAGAIN decision).
 647
 648           - Didn't fix problems in Darwin version of arch-independent socknal
 649             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 650
 651           - removed libcfs types from non-socknal header files (only some types
 652             in the header files had been changed; the .c files hadn't been
 653             updated at all).