lnet/ChangeLog

   1 tbd  Sun Microsystems, Inc.
   2         * version 1.8.1
   3         * Support for networks:
   4          socklnd   - any kernel supported by Lustre,
   5          qswlnd    - Qsnet kernel modules 5.20 and later,
   6          openiblnd - IbGold 1.8.2,
   7          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
   8          viblnd    - Voltaire ibhost 3.4.5 and later,
   9          ciblnd    - Topspin 3.2.0,
  10          iiblnd    - Infiniserv 3.3 + PathBits patch,
  11          gmlnd     - GM 2.1.22 and later,
  12          mxlnd     - MX 1.2.1 or later,
  13          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   :
  16 Bugzilla   :
  17 Description:
  18 Details    :
  19
  20 Severity   : enhancement
  21 Bugzilla   : 14132
  22 Description: acceptor.c cleanup
  23 Details    : Code duplication in acceptor.c for the cases of kernel and
  24              user-space removed. User-space libcfs tcpip primitives
  25              uniformed to have prototypes similar to kernel ones. Minor
  26              cosmetic changes in usocklnd to use cfs_socket_t as
  27              representation of socket.
  28
  29 Severity   : minor
  30 Bugzilla   : 11245
  31 Description: IB path MTU mistakenly set to 1st path MTU when ib_mtu is off
  32 Details    : See comment 46 in bug 11245 for details - it's indeed a bug
  33              introduced by the original 11245 fix.
  34
  35 Severity   : minor
  36 Bugzilla   : 15984
  37 Description: uptllnd credit overflow fix
  38 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
  39              it is only a __u8.
  40
  41 Severity   : major
  42 Bugzilla   : 14634
  43 Description: socklnd protocol version 3
  44 Details    : With current protocol V2, connections on router can be
  45              blocked and can't receive any incoming messages when there is no
  46              more router buffer, so ZC-ACK can't be handled (LNet message
  47              can't be finalized) and will cause deadlock on router.
  48              Protocol V3 has a dedicated connection for emergency messages
  49              like ZC-ACK to router, messages on this dedicated connection
  50              don't need any credit so will never be blocked. Also, V3 can send
  51              keepalive ping in specified period for router healthy checking.
  52
  53 -------------------------------------------------------------------------------
  54
  55 12-31-2008  Sun Microsystems, Inc.
  56         * version 1.8.0
  57         * Support for networks:
  58          socklnd   - any kernel supported by Lustre,
  59          qswlnd    - Qsnet kernel modules 5.20 and later,
  60          openiblnd - IbGold 1.8.2,
  61          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
  62          viblnd    - Voltaire ibhost 3.4.5 and later,
  63          ciblnd    - Topspin 3.2.0,
  64          iiblnd    - Infiniserv 3.3 + PathBits patch,
  65          gmlnd     - GM 2.1.22 and later,
  66          mxlnd     - MX 1.2.1 or later,
  67          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  68
  69 Severity   : major
  70 Bugzilla   : 15983
  71 Description: workaround for OOM from o2iblnd
  72 Details    : OFED needs allocate big chunk of memory for QP while creating
  73              connection for o2iblnd, OOM can happen if no such a contiguous
  74              memory chunk.
  75              QP size is decided by concurrent_sends and max_fragments of
  76              o2iblnd, now we permit user to specify smaller value for
  77              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
  78              will decrease memory block size required by creating QP.
  79
  80 Severity   : major
  81 Bugzilla   : 15093
  82 Description: Support Zerocopy receive of Chelsio device
  83 Details    : Chelsio driver can support zerocopy for iov[1] if it's
  84              contiguous and large enough.
  85
  86 Severity   : normal
  87 Bugzilla   : 13490
  88 Description: fix credit flow deadlock in uptllnd
  89
  90 Severity   : normal
  91 Bugzilla   : 16308
  92 Description: finalize network operation in reasonable time
  93 Details    : conf-sanity test_32a couldn't stop ost and mds because it
  94              tried to access non-existent peer and tcp connect took
  95              quite long before timing out.
  96
  97 Severity   : major
  98 Bugzilla   : 16338
  99 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 100 Details    : Lost reference on conn prevents peer from being destroyed, which
 101              could prevent new peer creation if peer count has reached upper
 102              limit.
 103
 104 Severity   : normal
 105 Bugzilla   : 16102
 106 Description: LNET Selftest results in Soft lockup on OSS CPU
 107 Details    : only hits when 8 or more o2ib clients involved and a session is
 108              torn down with 'lst end_session' without preceeding 'lst stop'.
 109
 110 Severity   : minor
 111 Bugzilla   : 16321
 112 Description: concurrent_sends in IB LNDs should not be changeable at run time
 113 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 114
 115 Severity   : normal
 116 Bugzilla   : 15272
 117 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 118 Details    : only hits under out-of-memory situations
 119
 120
 121 -------------------------------------------------------------------------------
 122
 123 2009-02-07 Sun Microsystems, Inc.
 124         * version 1.6.7
 125         * Support for networks:
 126          socklnd   - any kernel supported by Lustre,
 127          qswlnd    - Qsnet kernel modules 5.20 and later,
 128          openiblnd - IbGold 1.8.2,
 129          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 130          viblnd    - Voltaire ibhost 3.4.5 and later,
 131          ciblnd    - Topspin 3.2.0,
 132          iiblnd    - Infiniserv 3.3 + PathBits patch,
 133          gmlnd     - GM 2.1.22 and later,
 134          mxlnd     - MX 1.2.1 or later,
 135          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 136 Severity   : major
 137 Bugzilla   : 15983
 138 Description: workaround for OOM from o2iblnd
 139 Details    : OFED needs allocate big chunk of memory for QP while creating
 140              connection for o2iblnd, OOM can happen if no such a contiguous
 141              memory chunk.
 142              QP size is decided by concurrent_sends and max_fragments of
 143              o2iblnd, now we permit user to specify smaller value for
 144              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 145              will decrease memory block size required by creating QP.
 146
 147 Severity   : major
 148 Bugzilla   : 15093
 149 Description: Support Zerocopy receive of Chelsio device
 150 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 151              contiguous and large enough.
 152 Severity   : normal
 153 Bugzilla   : 13490
 154 Description: fix credit flow deadlock in uptllnd
 155
 156 Severity   : normal
 157 Bugzilla   : 16308
 158 Description: finalize network operation in reasonable time
 159 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 160              tried to access non-existent peer and tcp connect took
 161              quite long before timing out.
 162
 163 Severity   : major
 164 Bugzilla   : 16338
 165 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 166 Details    : Lost reference on conn prevents peer from being destroyed, which
 167              could prevent new peer creation if peer count has reached upper
 168              limit.
 169
 170 Severity   : normal
 171 Bugzilla   : 16102
 172 Description: LNET Selftest results in Soft lockup on OSS CPU
 173 Details    : only hits when 8 or more o2ib clients involved and a session is
 174              torn down with 'lst end_session' without preceeding 'lst stop'.
 175
 176 Severity   : minor
 177 Bugzilla   : 16321
 178 Description: concurrent_sends in IB LNDs should not be changeable at run time
 179 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 180
 181 -------------------------------------------------------------------------------
 182
 183 11-03-2008  Sun Microsystems, Inc.
 184         * version 1.6.6
 185         * Support for networks:
 186          socklnd   - any kernel supported by Lustre,
 187          qswlnd    - Qsnet kernel modules 5.20 and later,
 188          openiblnd - IbGold 1.8.2,
 189          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 190          viblnd    - Voltaire ibhost 3.4.5 and later,
 191          ciblnd    - Topspin 3.2.0,
 192          iiblnd    - Infiniserv 3.3 + PathBits patch,
 193          gmlnd     - GM 2.1.22 and later,
 194          mxlnd     - MX 1.2.1 or later,
 195          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 196
 197 Severity   : normal
 198 Bugzilla   : 15272
 199 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 200 Details    : only hits under out-of-memory situations
 201
 202
 203 -------------------------------------------------------------------------------
 204
 205
 206 04-26-2008  Sun Microsystems, Inc.
 207        * version 1.6.5
 208        * Support for networks:
 209         socklnd   - any kernel supported by Lustre,
 210         qswlnd    - Qsnet kernel modules 5.20 and later,
 211         openiblnd - IbGold 1.8.2,
 212         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 213         viblnd    - Voltaire ibhost 3.4.5 and later,
 214         ciblnd    - Topspin 3.2.0,
 215         iiblnd    - Infiniserv 3.3 + PathBits patch,
 216         gmlnd     - GM 2.1.22 and later,
 217         mxlnd     - MX 1.2.1 or later,
 218         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 219
 220 Severity   : normal
 221 Bugzilla   : 14322
 222 Description: excessive debug information removed
 223 Details    : excessive debug information removed
 224
 225 Severity   : major
 226 Bugzilla   : 15712
 227 Description: ksocknal_create_conn() hit ASSERTION during connection race
 228 Details    : ksocknal_create_conn() hit ASSERTION during connection race
 229
 230 Severity   : major
 231 Bugzilla   : 13983
 232 Description: ksocknal_send_hello() hit ASSERTION while connecting race
 233 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
 234
 235 Severity   : major
 236 Bugzilla   : 14425
 237 Description: o2iblnd/ptllnd credit deadlock in a routed config.
 238 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
 239
 240 Severity   : normal
 241 Bugzilla   : 14956
 242 Description: High load after starting lnet
 243 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
 244              uptime utility reports high load that looks confusingly.
 245
 246 Severity   : normal
 247 Bugzilla   : 14838
 248 Description: ksocklnd fails to establish connection if accept_port is high
 249 Details    : PID remapping must not be done for active (outgoing) connections
 250
 251 --------------------------------------------------------------------------------
 252
 253 2008-01-11  Sun Microsystems, Inc.
 254        * version 1.4.12
 255        * Support for networks:
 256         socklnd   - any kernel supported by Lustre,
 257         qswlnd    - Qsnet kernel modules 5.20 and later,
 258         openiblnd - IbGold 1.8.2,
 259         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 260         viblnd    - Voltaire ibhost 3.4.5 and later,
 261         ciblnd    - Topspin 3.2.0,
 262         iiblnd    - Infiniserv 3.3 + PathBits patch,
 263         gmlnd     - GM 2.1.22 and later,
 264         mxlnd     - MX 1.2.1 or later,
 265         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 266 Severity   : normal
 267 Bugzilla   : 14387
 268 Description: liblustre network error
 269 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 270              variable even if they don't start lnet acceptor.
 271
 272 Severity   : normal
 273 Bugzilla   : 14300
 274 Description: Strange message from lnet (Ignoring prediction from the future)
 275 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 276
 277 --------------------------------------------------------------------------------
 278
 279 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 280        * version 1.6.4
 281        * Support for networks:
 282         socklnd   - any kernel supported by Lustre,
 283         qswlnd    - Qsnet kernel modules 5.20 and later,
 284         openiblnd - IbGold 1.8.2,
 285         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 286         viblnd    - Voltaire ibhost 3.4.5 and later,
 287         ciblnd    - Topspin 3.2.0,
 288         iiblnd    - Infiniserv 3.3 + PathBits patch,
 289         gmlnd     - GM 2.1.22 and later,
 290         mxlnd     - MX 1.2.1 or later,
 291         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 292
 293 Severity   : normal
 294 Bugzilla   : 14238
 295 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 296
 297 Severity   : normal
 298 Bugzilla   : 12494
 299 Description: increase send queue size for ciblnd/openiblnd
 300
 301 Severity   : normal
 302 Bugzilla   : 12302
 303 Description: new userspace socklnd
 304 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 305              with new one - usocklnd.
 306
 307 Severity   : enhancement
 308 Bugzilla   : 11686
 309 Description: Console message flood
 310 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 311              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 312              /proc/sys/lnet/console_backoff.
 313
 314 --------------------------------------------------------------------------------
 315
 316 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 317        * version 1.6.3
 318        * Support for networks:
 319         socklnd   - any kernel supported by Lustre,
 320         qswlnd    - Qsnet kernel modules 5.20 and later,
 321         openiblnd - IbGold 1.8.2,
 322         o2iblnd   - OFED 1.1 and 1.2,
 323         viblnd    - Voltaire ibhost 3.4.5 and later,
 324         ciblnd    - Topspin 3.2.0,
 325         iiblnd    - Infiniserv 3.3 + PathBits patch,
 326         gmlnd     - GM 2.1.22 and later,
 327         mxlnd     - MX 1.2.1 or later,
 328         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 329
 330 Severity   : normal
 331 Bugzilla   : 12782
 332 Description: /proc/sys/lnet has non-sysctl entries
 333 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 334
 335 Severity   : major
 336 Bugzilla   : 13236
 337 Description: TOE Kernel panic by ksocklnd
 338 Details    : offloaded sockets provide their own implementation of sendpage,
 339              can't call tcp_sendpage() directly
 340
 341 Severity   : normal
 342 Bugzilla   : 10778
 343 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 344 Details    : races between lnd_shutdown and peer creation prevent
 345              lnd_shutdown from finishing.
 346
 347 Severity   : normal
 348 Bugzilla   : 13279
 349 Description: open files rlimit 1024 reached while liblustre testing
 350 Details    : ulnds/socklnd must close open socket after unsuccessful
 351              'say hello' attempt.
 352
 353 Severity   : major
 354 Bugzilla   : 13482
 355 Description: build error
 356 Details    : fix typos in gmlnd, ptllnd and viblnd
 357
 358 ------------------------------------------------------------------------------
 359
 360 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 361        * version 1.6.1
 362        * Support for networks:
 363         socklnd   - kernels up to 2.6.16,
 364         qswlnd    - Qsnet kernel modules 5.20 and later,
 365         openiblnd - IbGold 1.8.2,
 366         o2iblnd   - OFED 1.1 and 1.2
 367         viblnd    - Voltaire ibhost 3.4.5 and later,
 368         ciblnd    - Topspin 3.2.0,
 369         iiblnd    - Infiniserv 3.3 + PathBits patch,
 370         gmlnd     - GM 2.1.22 and later,
 371         mxlnd     - MX 1.2.1 or later,
 372         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 373
 374 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 375        * version 1.4.11
 376        * Support for networks:
 377         socklnd   - kernels up to 2.6.16,
 378         qswlnd    - Qsnet kernel modules 5.20 and later,
 379         openiblnd - IbGold 1.8.2,
 380         o2iblnd   - OFED 1.1
 381         viblnd    - Voltaire ibhost 3.4.5 and later,
 382         ciblnd    - Topspin 3.2.0,
 383         iiblnd    - Infiniserv 3.3 + PathBits patch,
 384         gmlnd     - GM 2.1.22 and later,
 385         mxlnd     - MX 1.2.1 or later,
 386         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 387
 388 Severity   : minor
 389 Bugzilla   : 13288
 390 Description: Initialize cpumask before use
 391
 392 Severity   : major
 393 Bugzilla   : 12014
 394 Description: ASSERTION failures when upgrading to the patchless zero-copy
 395              socklnd
 396 Details    : This bug affects "rolling upgrades", causing an inconsistent
 397              protocol version negotiation and subsequent assertion failure
 398              during rolling upgrades after the first wave of upgrades.
 399
 400 Severity   : minor
 401 Bugzilla   : 11223
 402 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 403              logged instead of creating "console chatter" when a lustre
 404              timeout races with normal RPC completion.
 405
 406 Severity   : minor
 407 Details    : lnet_clear_peer_table can wait forever if user forgets to
 408              clear a lazy portal.
 409
 410 Severity   : minor
 411 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 412
 413 Severity   : major
 414 Bugzilla   : 10916
 415 Description: added LNET self test
 416 Details    : landing b_self_test
 417
 418 Severity   : minor
 419 Frequency  : rare
 420 Bugzilla   : 12227
 421 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 422              struct timeval.
 423 Details    : do_div() macro is used incorrectly.
 424
 425 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 426
 427 Severity   : normal
 428 Bugzilla   : 11680
 429 Description: make panic on lbug configurable
 430
 431 Severity   : major
 432 Bugzilla   : 12316
 433 Description: Add OFED1.2 support to o2iblnd
 434 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 435              are installed (other than kernel's in-tree infiniband), there
 436              could be some problem while insmod o2iblnd (mismatch CRC of
 437              ib_* symbols).
 438              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 439              this link provides solution:
 440              https://bugs.openfabrics.org/show_bug.cgi?id=355
 441              if extra Module.symvers is not supported in kernel, we will
 442              have to run the script in bug 12316 to update
 443              $LINUX/module.symvers before building o2iblnd.
 444              More details about this are in bug 12316.
 445
 446 ------------------------------------------------------------------------------
 447
 448 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 449        * version 1.4.10 / 1.6.0
 450        * Support for networks:
 451         socklnd   - kernels up to 2.6.16,
 452         qswlnd    - Qsnet kernel modules 5.20 and later,
 453         openiblnd - IbGold 1.8.2,
 454         o2iblnd   - OFED 1.1,
 455         viblnd    - Voltaire ibhost 3.4.5 and later,
 456         ciblnd    - Topspin 3.2.0,
 457         iiblnd    - Infiniserv 3.3 + PathBits patch,
 458         gmlnd     - GM 2.1.22 and later,
 459         mxlnd     - MX 1.2.1 or later,
 460         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 461
 462 Severity   : minor
 463 Frequency  : rare
 464 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 465              possibly accessed in kptllnd_shutdown. Ptllnd should init
 466              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 467
 468 Severity   : normal
 469 Frequency  : rare
 470 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 471
 472 Severity   : minor
 473 Frequency  : rare
 474 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 475
 476 Severity   : minor
 477 Frequency  : rare
 478 Description: the_lnet.ln_finalizing was not set when the current thread is
 479              about to complete messages. It only affects multi-threaded
 480              user space LNet.
 481
 482 Severity   : normal
 483 Frequency  : rare
 484 Bugzilla   : 11472
 485 Description: Changed the default kqswlnd ntxmsg=512
 486
 487 Severity   : major
 488 Frequency  : rare
 489 Bugzilla   : 12458
 490 Description: Assertion failure in kernel ptllnd caused by posting passive
 491              bulk buffers before connection establishment complete.
 492
 493 Severity   : major
 494 Frequency  : rare
 495 Bugzilla   : 12445
 496 Description: A race in kernel ptllnd between deleting a peer and posting
 497              new communications for it could hang communications -
 498              manifesting as "Unexpectedly long timeout" messages.
 499
 500 Severity   : major
 501 Frequency  : rare
 502 Bugzilla   : 12432
 503 Description: Kernel ptllnd lock ordering issue could hang a node.
 504
 505 Severity   : major
 506 Frequency  : rare
 507 Bugzilla   : 12016
 508 Description: node crash on socket teardown race
 509
 510 Severity   : minor
 511 Frequency  : 'lctl peer_list' issued on a mx net
 512 Bugzilla   : 12237
 513 Description: Enable lctl's peer_list for MXLND
 514
 515 Severity   : major
 516 Frequency  : after Ptllnd timeouts and portals congestion
 517 Bugzilla   : 11659
 518 Description: Credit overflows
 519 Details    : This was a bug in ptllnd connection establishment.  The fix
 520              implements better peer stamps to disambiguate connection
 521              establishment and ensure both peers enter the credit flow
 522              state machine consistently.
 523
 524 Severity   : major
 525 Frequency  : rare
 526 Bugzilla   : 11394
 527 Description: kptllnd didn't propagate some network errors up to LNET
 528 Details    : This bug was spotted while investigating 11394.  The fix
 529              ensures network errors on sends and bulk transfers are
 530              propagated to LNET/lustre correctly.
 531
 532 Severity   : enhancement
 533 Bugzilla   : 10316
 534 Description: Fixed console chatter in case of -ETIMEDOUT.
 535
 536 Severity   : enhancement
 537 Bugzilla   : 11684
 538 Description: Added D_NETTRACE for recording network packet history
 539              (initially only for ptllnd).  Also a separate userspace
 540              ptllnd facility to gather history which should really be
 541              covered by D_NETTRACE too, if only CDEBUG recorded history in
 542              userspace.
 543
 544 Severity   : major
 545 Frequency  : rare
 546 Bugzilla   : 11616
 547 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 548 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 549              callback can occur before a connection has actually been
 550              established.  This caused an assertion failure previously.
 551
 552 Severity   : enhancement
 553 Bugzilla   : 11094
 554 Description: Multiple instances for o2iblnd
 555 Details    : Allow multiple instances of o2iblnd to enable networking over
 556              multiple HCAs and routing between them.
 557
 558 Severity   : major
 559 Bugzilla   : 11201
 560 Description: lnet deadlock in router_checker
 561 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 562              into BH locks to eliminate potential deadlock caused by
 563              ksocknal_data_ready() preempting code holding these locks.
 564
 565 Severity   : major
 566 Bugzilla   : 11126
 567 Description: Millions of failed socklnd connection attempts cause a very slow FS
 568 Details    : added a new route flag ksnr_scheduled to distinguish from
 569              ksnr_connecting, so that a peer connection request is only turned
 570              down for race concerns when an active connection to the same peer
 571              is under progress (instead of just being scheduled).
 572
 573 ------------------------------------------------------------------------------
 574
 575 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 576        * version 1.4.9
 577        * Support for networks:
 578         socklnd   - kernels up to 2.6.16
 579         qswlnd    - Qsnet kernel modules 5.20 and later
 580         openiblnd - IbGold 1.8.2
 581         o2iblnd   - OFED 1.1
 582         viblnd    - Voltaire ibhost 3.4.5 and later
 583         ciblnd    - Topspin 3.2.0
 584         iiblnd    - Infiniserv 3.3 + PathBits patch
 585         gmlnd     - GM 2.1.22 and later
 586         mxlnd     - MX 1.2.1 or later
 587         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 588        * bug fixes
 589
 590 Severity   : major on XT3
 591 Bugzilla   : none
 592 Description: libcfs overwrites /proc/sys/portals
 593 Details    : libcfs created a symlink from /proc/sys/portals to
 594              /proc/sys/lnet for backwards compatibility.  This is no
 595              longer required and makes the Cray portals /proc variables
 596              inaccessible.
 597
 598 Severity   : minor
 599 Bugzilla   : 11312
 600 Description: OFED FMR API change
 601 Details    : This changes parameter usage to reflect a change in
 602              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 603              that FMR support is only used in experimental versions of the
 604              o2iblnd - this change does not affect standard usage at all.
 605
 606 Severity   : enhancement
 607 Bugzilla   : 11245
 608 Description: new ko2iblnd module parameter: ib_mtu
 609 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 610              HCAs.  You can avoid this problem by setting the MTU to 1024
 611              using this module parameter.
 612
 613 Severity   : enhancement
 614 Bugzilla   : 11118/11620
 615 Description: ptllnd small request message buffer alignment fix
 616 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 617              Round up small message size on sends in case this option
 618              is not supported.  11620 was a defect in the initial
 619              implementation which effectively asserted all peers had to be
 620              running the correct protocol version which was fixed by always
 621              NAK-ing such requests and handling any misalignments they
 622              introduce.
 623
 624 Severity   : minor
 625 Frequency  : rarely
 626 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 627              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 628              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 629
 630 Severity   : enhancement
 631 Bugzilla   : 11250
 632 Description: Patchless ZC(zero copy) socklnd
 633 Details    : New protocol for socklnd, socklnd can support zero copy without
 634              kernel patch, it's compatible with old socklnd. Checksum is
 635              moved from tunables to modparams.
 636
 637 Severity   : minor
 638 Frequency  : rarely
 639 Description: When ksocknal_del_peer() is called upon a peer whose
 640              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 641              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 642
 643 Severity   : normal
 644 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 645 Bugzilla   : 11318
 646 Description: In lnet_match_blocked_msg(), md can be used without holding a
 647              ref on it.
 648
 649 Severity   : minor
 650 Frequency  : very rarely
 651 Bugzilla   : 10727
 652 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 653              If connd connects a route which has been closed by
 654              ksocknal_shutdown(), ksocknal_create_routes() may create new
 655              routes which hold references on the peer, causing shutdown
 656              process to wait for peer to disappear forever.
 657
 658 Severity   : enhancement
 659 Bugzilla   : 11234
 660 Description: Dump XT3 portals traces on kptllnd timeout
 661 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 662              dump Cray portals debug traces to a file.  The kptllnd module
 663              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 664              is the basename of the dump file.
 665
 666 Severity   : major
 667 Frequency  : infrequent
 668 Bugzilla   : 11308
 669 Description: kernel ptllnd fix bug in connection re-establishment
 670 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 671              matchbits and/or violate the credit flow protocol when trying
 672              to re-establish a connection with a peer after an error or
 673              timeout.
 674
 675 Severity   : enhancement
 676 Bugzilla   : 10316
 677 Description: Allow /proc/sys/lnet/debug to be set symbolically
 678 Details    : Allow debug and subsystem debug values to be read/set by name
 679              in addition to numerically, for ease of use.
 680
 681 Severity   : normal
 682 Frequency  : only in configurations with LNET routers
 683 Bugzilla   : 10316
 684 Description: routes automatically marked down and recovered
 685 Details    : In configurations with LNET routers if a router fails routers
 686              now actively try to recover routes that are down, unless they
 687              are marked down by an administrator.
 688
 689 ------------------------------------------------------------------------------
 690
 691 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 692
 693 Severity   : critical
 694 Frequency  : very rarely, in configurations with LNET routers and TCP
 695 Bugzilla   : 10889
 696 Description: incorrect data written to files on OSTs
 697 Details    : In certain high-load conditions incorrect data may be written
 698              to files on the OST when using TCP networks.
 699
 700 ------------------------------------------------------------------------------
 701
 702 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 703         * version 1.4.7
 704         - rework CDEBUG messages rate-limiting mechanism b=10375
 705         - add per-socket tunables for socklnd if the kernel is patched b=10327
 706
 707 ------------------------------------------------------------------------------
 708
 709 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 710         * version 1.4.6
 711         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 712         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 713         - quiet LNET startup LNI message for liblustre b=10128
 714         - Better console error messages if 'ip2nets' can't match an IP address
 715         - Fixed overflow/use-before-set bugs in linux-time.h
 716         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 717         - LNET teardown failed an assertion about the route table being empty
 718         - Fixed a crash in LNetEQPoll(<invalid handle>)
 719         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 720         - improve debug message for liblustre/Catamount nodes (b=10116)
 721
 722 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 723         * Configuration change for the XT3
 724              The PTLLND is now used to run Lustre over Portals on the XT3.
 725              The configure option(s) --with-cray-portals are no longer
 726              used.  Rather --with-portals=<path-to-portals-includes> is
 727              used to enable building on the XT3.  In addition to enable
 728              XT3 specific features the option --enable-cray-xt3 must be
 729              used.
 730
 731 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 732         * Portals has been removed, replaced by LNET.
 733            LNET is new networking infrastructure for Lustre, it includes a
 734            reorganized network configuration mode (see the user
 735            documentation for full details) as well as support for routing
 736            between different network fabrics.  Lustre Networking Devices
 737            (LNDS) for the supported network fabrics have also been created
 738            for this new infrastructure.
 739
 740 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 741        * version 1.4.4
 742        * bug fixes
 743
 744 Severity   : major
 745 Frequency  : rare (large Voltaire clusters only)
 746 Bugzilla   : 6993
 747 Description: the default number of reserved transmit descriptors was too low
 748              for some large clusters
 749 Details    : As a workaround, the number was increased.  A proper fix includes
 750              a run-time tunable.
 751
 752 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 753        * version 1.4.3
 754        * bug fixes
 755
 756 Severity   : major
 757 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 758 Bugzilla   : 6411
 759 Description: too many error messages on console obscure actual problem and
 760              can slow down/panic server, or cause recovery to fail repeatedly
 761 Details    : enable rate-limiting of console error messages, and some messages
 762              that were console errors now only go to the kernel log
 763
 764 Severity   : enhancement
 765 Bugzilla   : 1693
 766 Description: add /proc/sys/portals/catastrophe entry which will report if
 767              that node has previously LBUGged
 768
 769 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 770        * bugs
 771         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 772
 773 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 774        * bugs
 775         - handle error return code in kranal_check_fma_rx() (5915,6054)
 776
 777 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 778        * miscellania
 779         - update vibnal (Voltaire IB NAL)
 780         - update gmnal (Myrinet NAL), gmnalid
 781
 782 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 783
 784         * Landed portals:b_port_step as follows...
 785
 786           - removed CFS_DECL_SPIN*
 787             just use 'spinlock_t' and initialise with spin_lock_init()
 788
 789           - removed CFS_DECL_MUTEX*
 790             just use 'struct semaphore' and initialise with init_mutex()
 791
 792           - removed CFS_DECL_RWSEM*
 793             just use 'struct rw_semaphore' and initialise with init_rwsem()
 794
 795           - renamed cfs_sleep_chan -> cfs_waitq
 796                     cfs_sleep_link -> cfs_waitlink
 797
 798           - fixed race in linux version of arch-independent socknal
 799             (the ENOMEM/EAGAIN decision).
 800
 801           - Didn't fix problems in Darwin version of arch-independent socknal
 802             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 803
 804           - removed libcfs types from non-socknal header files (only some types
 805             in the header files had been changed; the .c files hadn't been
 806             updated at all).