lnet/ChangeLog

   1 tbd  Sun Microsystems, Inc.
   2         * version 2.0.0
   3         * Support for networks:
   4          socklnd   - any kernel supported by Lustre,
   5          qswlnd    - Qsnet kernel modules 5.20 and later,
   6          openiblnd - IbGold 1.8.2,
   7          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, and 1.4.1
   8          viblnd    - Voltaire ibhost 3.4.5 and later,
   9          ciblnd    - Topspin 3.2.0,
  10          iiblnd    - Infiniserv 3.3 + PathBits patch,
  11          gmlnd     - GM 2.1.22 and later,
  12          mxlnd     - MX 1.2.1 or later,
  13          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   :
  16 Bugzilla   :
  17 Description:
  18 Details    :
  19
  20 Severity   : enhancement
  21 Bugzilla   : 15332
  22 Description: LNet router shuffler.
  23
  24 Severity   : enhancement
  25 Bugzilla   : 15332
  26 Description: LNet fine grain routing support.
  27
  28 Severity   : normal
  29 Bugzilla   : 20171
  30 Description: router checker stops working when system wall clock goes backward
  31 Details    : use monotonic timing source instead of system wall clock time.
  32
  33 Severity   : enhancement
  34 Bugzilla   : 18460
  35 Description: avoid asymmetrical router failures
  36
  37 Severity   : enhancement
  38 Bugzilla   : 19735
  39 Description: multiple-instance support for kptllnd
  40
  41 Severity   : normal
  42 Bugzilla   : 20897
  43 Description: ksocknal_close_conn_locked connection race
  44 Details    : A race was possible when ksocknal_create_conn calls
  45              ksocknal_close_conn_locked for already closed conn.
  46
  47 Severity   : normal
  48 Bugzilla   : 18102
  49 Description: router_proc.c is rewritten to use sysctl-interface for parameters
  50              residing in /proc/sys/lnet
  51
  52 Severity   : enhancement
  53 Bugzilla   : 13065
  54 Description: port router pinger to userspace
  55
  56 Severity   : normal
  57 Bugzilla   : 17546
  58 Description: kptllnd HELLO protocol deadlock
  59 Details    : kptllnd HELLO protocol doesn't run to completion in finite time
  60
  61 Severity   : normal
  62 Bugzilla   : 18075
  63 Description: LNet selftest fixes and enhancements
  64
  65 Severity   : enhancement
  66 Bugzilla   : 19156
  67 Description: allow a test node to be a member of multiple test groups
  68
  69 Severity   : enhancement
  70 Bugzilla   : 18654
  71 Description: MXLND: eliminate hosts file, use arp for peer nic_id resolution
  72 Details    : an update from the upstream developer Scott Atchley.
  73
  74 Severity   : enhancement
  75 Bugzilla   : 15332
  76 Description: add a new LND optiion to control peer buffer credits on routers
  77
  78 Severity   : normal
  79 Bugzilla   : 18844
  80 Description: Fixing deadlock in usocklnd
  81 Details    : A deadlock was possible in usocklnd due to race condition while
  82              tearing connection down. The problem resulted from erroneous
  83              assumption that lnet_finalize() could have been called holding
  84              some lnd-level locks.
  85
  86 Severity   : major
  87 Bugzilla   : 13621, 15983
  88 Description: Protocol V2 of o2iblnd
  89 Details    : o2iblnd V2 has several new features:
  90              . map-on-demand: map-on-demand is disabled by default, it can
  91                be enabled by using modparam "map_on_demand=@value@", @value@
  92                should >= 0 and < 256, 0 will disable map-on-demand, any other
  93                valid value will enable map-on-demand.
  94                Oi2blnd will create FMR or physical MR for RDMA if fragments of
  95                RD > @value@.
  96                Enable map-on-demand will take less memory for new connection,
  97                but a little more CPU for RDMA.
  98              . iWARP : to support iWARP, please enable map-on-demand, 32 and 64
  99                are recommanded value. iWARP will probably fail for value >=128.
 100              . OOB NOOP message: to resolve deadlock on router.
 101              . tunable peer_credits_hiw: (high water to return credits),
 102                default value of peer_credits_hiw equals to (peer_credits -1),
 103                user can change it between peer_credits/2 and (peer_credits - 1).
 104                Lower value is recommended for high latency network.
 105              . tunable message queue size: it always equals to peer_credits,
 106                higher value is recommended for high latency network.
 107              . It's compatible with earlier version of o2iblnd
 108
 109 Severity   : normal
 110 Bugzilla   : 18414
 111 Description: Fixing 'running out of ports' issue
 112 Details    : Add a delay before next reconnect attempt in ksocklnd in
 113              the case of lost race. Limit the frequency of query-requests
 114              in lnet. Improved handling of 'dead peer' notifications in
 115              lnet.
 116
 117 Severity   : normal
 118 Bugzilla   : 16034
 119 Description: Change ptllnd timeout and watchdog timers
 120 Details    : Add ptltrace_on_nal_failed and bump ptllnd timeout to match
 121              Portals wire timeout.
 122
 123 Severity   : normal
 124 Bugzilla   : 16186
 125 Description: One down Lustre FS hangs ALL mounted Lustre filesystems
 126 Details    : Shared routing enhancements - peer health detection.
 127
 128 Severity   : enhancement
 129 Bugzilla   : 14132
 130 Description: acceptor.c cleanup
 131 Details    : Code duplication in acceptor.c for the cases of kernel and
 132              user-space removed. User-space libcfs tcpip primitives
 133              uniformed to have prototypes similar to kernel ones. Minor
 134              cosmetic changes in usocklnd to use cfs_socket_t as
 135              representation of socket.
 136
 137 Severity   : minor
 138 Bugzilla   : 11245
 139 Description: IB path MTU mistakenly set to 1st path MTU when ib_mtu is off
 140 Details    : See comment 46 in bug 11245 for details - it's indeed a bug
 141              introduced by the original 11245 fix.
 142
 143 Severity   : minor
 144 Bugzilla   : 15984
 145 Description: uptllnd credit overflow fix
 146 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
 147              it is only a __u8.
 148
 149 Severity   : major
 150 Bugzilla   : 14634
 151 Description: socklnd protocol version 3
 152 Details    : With current protocol V2, connections on router can be
 153              blocked and can't receive any incoming messages when there is no
 154              more router buffer, so ZC-ACK can't be handled (LNet message
 155              can't be finalized) and will cause deadlock on router.
 156              Protocol V3 has a dedicated connection for emergency messages
 157              like ZC-ACK to router, messages on this dedicated connection
 158              don't need any credit so will never be blocked. Also, V3 can send
 159              keepalive ping in specified period for router healthy checking.
 160
 161 -------------------------------------------------------------------------------
 162
 163 12-31-2008  Sun Microsystems, Inc.
 164         * version 1.8.0
 165         * Support for networks:
 166          socklnd   - any kernel supported by Lustre,
 167          qswlnd    - Qsnet kernel modules 5.20 and later,
 168          openiblnd - IbGold 1.8.2,
 169          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 170          viblnd    - Voltaire ibhost 3.4.5 and later,
 171          ciblnd    - Topspin 3.2.0,
 172          iiblnd    - Infiniserv 3.3 + PathBits patch,
 173          gmlnd     - GM 2.1.22 and later,
 174          mxlnd     - MX 1.2.1 or later,
 175          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 176
 177 Severity   : major
 178 Bugzilla   : 15983
 179 Description: workaround for OOM from o2iblnd
 180 Details    : OFED needs allocate big chunk of memory for QP while creating
 181              connection for o2iblnd, OOM can happen if no such a contiguous
 182              memory chunk.
 183              QP size is decided by concurrent_sends and max_fragments of
 184              o2iblnd, now we permit user to specify smaller value for
 185              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 186              will decrease memory block size required by creating QP.
 187
 188 Severity   : major
 189 Bugzilla   : 15093
 190 Description: Support Zerocopy receive of Chelsio device
 191 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 192              contiguous and large enough.
 193
 194 Severity   : normal
 195 Bugzilla   : 13490
 196 Description: fix credit flow deadlock in uptllnd
 197
 198 Severity   : normal
 199 Bugzilla   : 16308
 200 Description: finalize network operation in reasonable time
 201 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 202              tried to access non-existent peer and tcp connect took
 203              quite long before timing out.
 204
 205 Severity   : major
 206 Bugzilla   : 16338
 207 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 208 Details    : Lost reference on conn prevents peer from being destroyed, which
 209              could prevent new peer creation if peer count has reached upper
 210              limit.
 211
 212 Severity   : normal
 213 Bugzilla   : 16102
 214 Description: LNET Selftest results in Soft lockup on OSS CPU
 215 Details    : only hits when 8 or more o2ib clients involved and a session is
 216              torn down with 'lst end_session' without preceeding 'lst stop'.
 217
 218 Severity   : minor
 219 Bugzilla   : 16321
 220 Description: concurrent_sends in IB LNDs should not be changeable at run time
 221 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 222
 223 Severity   : normal
 224 Bugzilla   : 15272
 225 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 226 Details    : only hits under out-of-memory situations
 227
 228
 229 -------------------------------------------------------------------------------
 230
 231 2009-02-07 Sun Microsystems, Inc.
 232         * version 1.6.7
 233         * Support for networks:
 234          socklnd   - any kernel supported by Lustre,
 235          qswlnd    - Qsnet kernel modules 5.20 and later,
 236          openiblnd - IbGold 1.8.2,
 237          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 238          viblnd    - Voltaire ibhost 3.4.5 and later,
 239          ciblnd    - Topspin 3.2.0,
 240          iiblnd    - Infiniserv 3.3 + PathBits patch,
 241          gmlnd     - GM 2.1.22 and later,
 242          mxlnd     - MX 1.2.1 or later,
 243          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 244 Severity   : major
 245 Bugzilla   : 15983
 246 Description: workaround for OOM from o2iblnd
 247 Details    : OFED needs allocate big chunk of memory for QP while creating
 248              connection for o2iblnd, OOM can happen if no such a contiguous
 249              memory chunk.
 250              QP size is decided by concurrent_sends and max_fragments of
 251              o2iblnd, now we permit user to specify smaller value for
 252              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 253              will decrease memory block size required by creating QP.
 254
 255 Severity   : major
 256 Bugzilla   : 15093
 257 Description: Support Zerocopy receive of Chelsio device
 258 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 259              contiguous and large enough.
 260 Severity   : normal
 261 Bugzilla   : 13490
 262 Description: fix credit flow deadlock in uptllnd
 263
 264 Severity   : normal
 265 Bugzilla   : 16308
 266 Description: finalize network operation in reasonable time
 267 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 268              tried to access non-existent peer and tcp connect took
 269              quite long before timing out.
 270
 271 Severity   : major
 272 Bugzilla   : 16338
 273 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 274 Details    : Lost reference on conn prevents peer from being destroyed, which
 275              could prevent new peer creation if peer count has reached upper
 276              limit.
 277
 278 Severity   : normal
 279 Bugzilla   : 16102
 280 Description: LNET Selftest results in Soft lockup on OSS CPU
 281 Details    : only hits when 8 or more o2ib clients involved and a session is
 282              torn down with 'lst end_session' without preceeding 'lst stop'.
 283
 284 Severity   : minor
 285 Bugzilla   : 16321
 286 Description: concurrent_sends in IB LNDs should not be changeable at run time
 287 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 288
 289 -------------------------------------------------------------------------------
 290
 291 11-03-2008  Sun Microsystems, Inc.
 292         * version 1.6.6
 293         * Support for networks:
 294          socklnd   - any kernel supported by Lustre,
 295          qswlnd    - Qsnet kernel modules 5.20 and later,
 296          openiblnd - IbGold 1.8.2,
 297          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 298          viblnd    - Voltaire ibhost 3.4.5 and later,
 299          ciblnd    - Topspin 3.2.0,
 300          iiblnd    - Infiniserv 3.3 + PathBits patch,
 301          gmlnd     - GM 2.1.22 and later,
 302          mxlnd     - MX 1.2.1 or later,
 303          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 304
 305 Severity   : normal
 306 Bugzilla   : 15272
 307 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 308 Details    : only hits under out-of-memory situations
 309
 310 -------------------------------------------------------------------------------
 311
 312 04-26-2008  Sun Microsystems, Inc.
 313        * version 1.6.5
 314        * Support for networks:
 315         socklnd   - any kernel supported by Lustre,
 316         qswlnd    - Qsnet kernel modules 5.20 and later,
 317         openiblnd - IbGold 1.8.2,
 318         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 319         viblnd    - Voltaire ibhost 3.4.5 and later,
 320         ciblnd    - Topspin 3.2.0,
 321         iiblnd    - Infiniserv 3.3 + PathBits patch,
 322         gmlnd     - GM 2.1.22 and later,
 323         mxlnd     - MX 1.2.1 or later,
 324         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 325
 326 Severity   : normal
 327 Bugzilla   : 14322
 328 Description: excessive debug information removed
 329 Details    : excessive debug information removed
 330
 331 Severity   : major
 332 Bugzilla   : 15712
 333 Description: ksocknal_create_conn() hit ASSERTION during connection race
 334 Details    : ksocknal_create_conn() hit ASSERTION during connection race
 335
 336 Severity   : major
 337 Bugzilla   : 13983
 338 Description: ksocknal_send_hello() hit ASSERTION while connecting race
 339 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
 340
 341 Severity   : major
 342 Bugzilla   : 14425
 343 Description: o2iblnd/ptllnd credit deadlock in a routed config.
 344 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
 345
 346 Severity   : normal
 347 Bugzilla   : 14956
 348 Description: High load after starting lnet
 349 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
 350              uptime utility reports high load that looks confusingly.
 351
 352 Severity   : normal
 353 Bugzilla   : 14838
 354 Description: ksocklnd fails to establish connection if accept_port is high
 355 Details    : PID remapping must not be done for active (outgoing) connections
 356
 357
 358 --------------------------------------------------------------------------------
 359
 360 2008-01-11  Sun Microsystems, Inc.
 361        * version 1.4.12
 362        * Support for networks:
 363         socklnd   - any kernel supported by Lustre,
 364         qswlnd    - Qsnet kernel modules 5.20 and later,
 365         openiblnd - IbGold 1.8.2,
 366         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 367         viblnd    - Voltaire ibhost 3.4.5 and later,
 368         ciblnd    - Topspin 3.2.0,
 369         iiblnd    - Infiniserv 3.3 + PathBits patch,
 370         gmlnd     - GM 2.1.22 and later,
 371         mxlnd     - MX 1.2.1 or later,
 372         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 373
 374 Severity   : normal
 375 Bugzilla   : 14387
 376 Description: liblustre network error
 377 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 378              variable even if they don't start lnet acceptor.
 379
 380 Severity   : normal
 381 Bugzilla   : 14300
 382 Description: Strange message from lnet (Ignoring prediction from the future)
 383 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 384
 385 --------------------------------------------------------------------------------
 386
 387 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 388        * version 1.6.4
 389        * Support for networks:
 390         socklnd   - any kernel supported by Lustre,
 391         qswlnd    - Qsnet kernel modules 5.20 and later,
 392         openiblnd - IbGold 1.8.2,
 393         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 394         viblnd    - Voltaire ibhost 3.4.5 and later,
 395         ciblnd    - Topspin 3.2.0,
 396         iiblnd    - Infiniserv 3.3 + PathBits patch,
 397         gmlnd     - GM 2.1.22 and later,
 398         mxlnd     - MX 1.2.1 or later,
 399         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 400
 401 Severity   : normal
 402 Bugzilla   : 14238
 403 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 404
 405 Severity   : normal
 406 Bugzilla   : 12494
 407 Description: increase send queue size for ciblnd/openiblnd
 408
 409 Severity   : normal
 410 Bugzilla   : 12302
 411 Description: new userspace socklnd
 412 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 413              with new one - usocklnd.
 414
 415 Severity   : enhancement
 416 Bugzilla   : 11686
 417 Description: Console message flood
 418 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 419              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 420              /proc/sys/lnet/console_backoff.
 421
 422 --------------------------------------------------------------------------------
 423
 424 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 425        * version 1.6.3
 426        * Support for networks:
 427         socklnd   - any kernel supported by Lustre,
 428         qswlnd    - Qsnet kernel modules 5.20 and later,
 429         openiblnd - IbGold 1.8.2,
 430         o2iblnd   - OFED 1.1 and 1.2,
 431         viblnd    - Voltaire ibhost 3.4.5 and later,
 432         ciblnd    - Topspin 3.2.0,
 433         iiblnd    - Infiniserv 3.3 + PathBits patch,
 434         gmlnd     - GM 2.1.22 and later,
 435         mxlnd     - MX 1.2.1 or later,
 436         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 437
 438 Severity   : normal
 439 Bugzilla   : 12782
 440 Description: /proc/sys/lnet has non-sysctl entries
 441 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 442
 443 Severity   : major
 444 Bugzilla   : 13236
 445 Description: TOE Kernel panic by ksocklnd
 446 Details    : offloaded sockets provide their own implementation of sendpage,
 447              can't call tcp_sendpage() directly
 448
 449 Severity   : normal
 450 Bugzilla   : 10778
 451 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 452 Details    : races between lnd_shutdown and peer creation prevent
 453              lnd_shutdown from finishing.
 454
 455 Severity   : normal
 456 Bugzilla   : 13279
 457 Description: open files rlimit 1024 reached while liblustre testing
 458 Details    : ulnds/socklnd must close open socket after unsuccessful
 459              'say hello' attempt.
 460
 461 Severity   : major
 462 Bugzilla   : 13482
 463 Description: build error
 464 Details    : fix typos in gmlnd, ptllnd and viblnd
 465
 466 --------------------------------------------------------------------------------
 467
 468 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 469        * version 1.6.1
 470        * Support for networks:
 471         socklnd   - kernels up to 2.6.16,
 472         qswlnd    - Qsnet kernel modules 5.20 and later,
 473         openiblnd - IbGold 1.8.2,
 474         o2iblnd   - OFED 1.1 and 1.2
 475         viblnd    - Voltaire ibhost 3.4.5 and later,
 476         ciblnd    - Topspin 3.2.0,
 477         iiblnd    - Infiniserv 3.3 + PathBits patch,
 478         gmlnd     - GM 2.1.22 and later,
 479         mxlnd     - MX 1.2.1 or later,
 480         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 481
 482 --------------------------------------------------------------------------------
 483
 484 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 485        * version 1.4.11
 486        * Support for networks:
 487         socklnd   - kernels up to 2.6.16,
 488         qswlnd    - Qsnet kernel modules 5.20 and later,
 489         openiblnd - IbGold 1.8.2,
 490         o2iblnd   - OFED 1.1
 491         viblnd    - Voltaire ibhost 3.4.5 and later,
 492         ciblnd    - Topspin 3.2.0,
 493         iiblnd    - Infiniserv 3.3 + PathBits patch,
 494         gmlnd     - GM 2.1.22 and later,
 495         mxlnd     - MX 1.2.1 or later,
 496         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 497
 498 Severity   : minor
 499 Bugzilla   : 13288
 500 Description: Initialize cpumask before use
 501
 502 Severity   : major
 503 Bugzilla   : 12014
 504 Description: ASSERTION failures when upgrading to the patchless zero-copy
 505              socklnd
 506 Details    : This bug affects "rolling upgrades", causing an inconsistent
 507              protocol version negotiation and subsequent assertion failure
 508              during rolling upgrades after the first wave of upgrades.
 509
 510 Severity   : minor
 511 Bugzilla   : 11223
 512 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 513              logged instead of creating "console chatter" when a lustre
 514              timeout races with normal RPC completion.
 515
 516 Severity   : minor
 517 Details    : lnet_clear_peer_table can wait forever if user forgets to
 518              clear a lazy portal.
 519
 520 Severity   : minor
 521 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 522
 523 Severity   : major
 524 Bugzilla   : 10916
 525 Description: added LNET self test
 526 Details    : landing b_self_test
 527
 528 Severity   : minor
 529 Frequency  : rare
 530 Bugzilla   : 12227
 531 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 532              struct timeval.
 533 Details    : do_div() macro is used incorrectly.
 534
 535 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 536
 537 Severity   : normal
 538 Bugzilla   : 11680
 539 Description: make panic on lbug configurable
 540
 541 Severity   : major
 542 Bugzilla   : 12316
 543 Description: Add OFED1.2 support to o2iblnd
 544 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 545              are installed (other than kernel's in-tree infiniband), there
 546              could be some problem while insmod o2iblnd (mismatch CRC of
 547              ib_* symbols).
 548              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 549              this link provides solution:
 550              https://bugs.openfabrics.org/show_bug.cgi?id=355
 551              if extra Module.symvers is not supported in kernel, we will
 552              have to run the script in bug 12316 to update
 553              $LINUX/module.symvers before building o2iblnd.
 554              More details about this are in bug 12316.
 555
 556 ------------------------------------------------------------------------------
 557
 558 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 559        * version 1.4.10 / 1.6.0
 560        * Support for networks:
 561         socklnd   - kernels up to 2.6.16,
 562         qswlnd    - Qsnet kernel modules 5.20 and later,
 563         openiblnd - IbGold 1.8.2,
 564         o2iblnd   - OFED 1.1,
 565         viblnd    - Voltaire ibhost 3.4.5 and later,
 566         ciblnd    - Topspin 3.2.0,
 567         iiblnd    - Infiniserv 3.3 + PathBits patch,
 568         gmlnd     - GM 2.1.22 and later,
 569         mxlnd     - MX 1.2.1 or later,
 570         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 571
 572 Severity   : minor
 573 Frequency  : rare
 574 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 575              possibly accessed in kptllnd_shutdown. Ptllnd should init
 576              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 577
 578 Severity   : normal
 579 Frequency  : rare
 580 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 581
 582 Severity   : minor
 583 Frequency  : rare
 584 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 585
 586 Severity   : minor
 587 Frequency  : rare
 588 Description: the_lnet.ln_finalizing was not set when the current thread is
 589              about to complete messages. It only affects multi-threaded
 590              user space LNet.
 591
 592 Severity   : normal
 593 Frequency  : rare
 594 Bugzilla   : 11472
 595 Description: Changed the default kqswlnd ntxmsg=512
 596
 597 Severity   : major
 598 Frequency  : rare
 599 Bugzilla   : 12458
 600 Description: Assertion failure in kernel ptllnd caused by posting passive
 601              bulk buffers before connection establishment complete.
 602
 603 Severity   : major
 604 Frequency  : rare
 605 Bugzilla   : 12445
 606 Description: A race in kernel ptllnd between deleting a peer and posting
 607              new communications for it could hang communications -
 608              manifesting as "Unexpectedly long timeout" messages.
 609
 610 Severity   : major
 611 Frequency  : rare
 612 Bugzilla   : 12432
 613 Description: Kernel ptllnd lock ordering issue could hang a node.
 614
 615 Severity   : major
 616 Frequency  : rare
 617 Bugzilla   : 12016
 618 Description: node crash on socket teardown race
 619
 620 Severity   : minor
 621 Frequency  : 'lctl peer_list' issued on a mx net
 622 Bugzilla   : 12237
 623 Description: Enable lctl's peer_list for MXLND
 624
 625 Severity   : major
 626 Frequency  : after Ptllnd timeouts and portals congestion
 627 Bugzilla   : 11659
 628 Description: Credit overflows
 629 Details    : This was a bug in ptllnd connection establishment.  The fix
 630              implements better peer stamps to disambiguate connection
 631              establishment and ensure both peers enter the credit flow
 632              state machine consistently.
 633
 634 Severity   : major
 635 Frequency  : rare
 636 Bugzilla   : 11394
 637 Description: kptllnd didn't propagate some network errors up to LNET
 638 Details    : This bug was spotted while investigating 11394.  The fix
 639              ensures network errors on sends and bulk transfers are
 640              propagated to LNET/lustre correctly.
 641
 642 Severity   : enhancement
 643 Bugzilla   : 10316
 644 Description: Fixed console chatter in case of -ETIMEDOUT.
 645
 646 Severity   : enhancement
 647 Bugzilla   : 11684
 648 Description: Added D_NETTRACE for recording network packet history
 649              (initially only for ptllnd).  Also a separate userspace
 650              ptllnd facility to gather history which should really be
 651              covered by D_NETTRACE too, if only CDEBUG recorded history in
 652              userspace.
 653
 654 Severity   : major
 655 Frequency  : rare
 656 Bugzilla   : 11616
 657 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 658 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 659              callback can occur before a connection has actually been
 660              established.  This caused an assertion failure previously.
 661
 662 Severity   : enhancement
 663 Bugzilla   : 11094
 664 Description: Multiple instances for o2iblnd
 665 Details    : Allow multiple instances of o2iblnd to enable networking over
 666              multiple HCAs and routing between them.
 667
 668 Severity   : major
 669 Bugzilla   : 11201
 670 Description: lnet deadlock in router_checker
 671 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 672              into BH locks to eliminate potential deadlock caused by
 673              ksocknal_data_ready() preempting code holding these locks.
 674
 675 Severity   : major
 676 Bugzilla   : 11126
 677 Description: Millions of failed socklnd connection attempts cause a very slow FS
 678 Details    : added a new route flag ksnr_scheduled to distinguish from
 679              ksnr_connecting, so that a peer connection request is only turned
 680              down for race concerns when an active connection to the same peer
 681              is under progress (instead of just being scheduled).
 682
 683 ------------------------------------------------------------------------------
 684
 685 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 686        * version 1.4.9
 687        * Support for networks:
 688         socklnd   - kernels up to 2.6.16
 689         qswlnd    - Qsnet kernel modules 5.20 and later
 690         openiblnd - IbGold 1.8.2
 691         o2iblnd   - OFED 1.1
 692         viblnd    - Voltaire ibhost 3.4.5 and later
 693         ciblnd    - Topspin 3.2.0
 694         iiblnd    - Infiniserv 3.3 + PathBits patch
 695         gmlnd     - GM 2.1.22 and later
 696         mxlnd     - MX 1.2.1 or later
 697         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 698        * bug fixes
 699
 700 Severity   : major on XT3
 701 Bugzilla   : none
 702 Description: libcfs overwrites /proc/sys/portals
 703 Details    : libcfs created a symlink from /proc/sys/portals to
 704              /proc/sys/lnet for backwards compatibility.  This is no
 705              longer required and makes the Cray portals /proc variables
 706              inaccessible.
 707
 708 Severity   : minor
 709 Bugzilla   : 11312
 710 Description: OFED FMR API change
 711 Details    : This changes parameter usage to reflect a change in
 712              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 713              that FMR support is only used in experimental versions of the
 714              o2iblnd - this change does not affect standard usage at all.
 715
 716 Severity   : enhancement
 717 Bugzilla   : 11245
 718 Description: new ko2iblnd module parameter: ib_mtu
 719 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 720              HCAs.  You can avoid this problem by setting the MTU to 1024
 721              using this module parameter.
 722
 723 Severity   : enhancement
 724 Bugzilla   : 11118/11620
 725 Description: ptllnd small request message buffer alignment fix
 726 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 727              Round up small message size on sends in case this option
 728              is not supported.  11620 was a defect in the initial
 729              implementation which effectively asserted all peers had to be
 730              running the correct protocol version which was fixed by always
 731              NAK-ing such requests and handling any misalignments they
 732              introduce.
 733
 734 Severity   : minor
 735 Frequency  : rarely
 736 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 737              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 738              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 739
 740 Severity   : enhancement
 741 Bugzilla   : 11250
 742 Description: Patchless ZC(zero copy) socklnd
 743 Details    : New protocol for socklnd, socklnd can support zero copy without
 744              kernel patch, it's compatible with old socklnd. Checksum is
 745              moved from tunables to modparams.
 746
 747 Severity   : minor
 748 Frequency  : rarely
 749 Description: When ksocknal_del_peer() is called upon a peer whose
 750              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 751              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 752
 753 Severity   : normal
 754 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 755 Bugzilla   : 11318
 756 Description: In lnet_match_blocked_msg(), md can be used without holding a
 757              ref on it.
 758
 759 Severity   : minor
 760 Frequency  : very rarely
 761 Bugzilla   : 10727
 762 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 763              If connd connects a route which has been closed by
 764              ksocknal_shutdown(), ksocknal_create_routes() may create new
 765              routes which hold references on the peer, causing shutdown
 766              process to wait for peer to disappear forever.
 767
 768 Severity   : enhancement
 769 Bugzilla   : 11234
 770 Description: Dump XT3 portals traces on kptllnd timeout
 771 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 772              dump Cray portals debug traces to a file.  The kptllnd module
 773              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 774              is the basename of the dump file.
 775
 776 Severity   : major
 777 Frequency  : infrequent
 778 Bugzilla   : 11308
 779 Description: kernel ptllnd fix bug in connection re-establishment
 780 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 781              matchbits and/or violate the credit flow protocol when trying
 782              to re-establish a connection with a peer after an error or
 783              timeout.
 784
 785 Severity   : enhancement
 786 Bugzilla   : 10316
 787 Description: Allow /proc/sys/lnet/debug to be set symbolically
 788 Details    : Allow debug and subsystem debug values to be read/set by name
 789              in addition to numerically, for ease of use.
 790
 791 Severity   : normal
 792 Frequency  : only in configurations with LNET routers
 793 Bugzilla   : 10316
 794 Description: routes automatically marked down and recovered
 795 Details    : In configurations with LNET routers if a router fails routers
 796              now actively try to recover routes that are down, unless they
 797              are marked down by an administrator.
 798
 799 ------------------------------------------------------------------------------
 800
 801 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 802
 803 Severity   : critical
 804 Frequency  : very rarely, in configurations with LNET routers and TCP
 805 Bugzilla   : 10889
 806 Description: incorrect data written to files on OSTs
 807 Details    : In certain high-load conditions incorrect data may be written
 808              to files on the OST when using TCP networks.
 809
 810 ------------------------------------------------------------------------------
 811
 812 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 813         * version 1.4.7
 814         - rework CDEBUG messages rate-limiting mechanism b=10375
 815         - add per-socket tunables for socklnd if the kernel is patched b=10327
 816
 817 ------------------------------------------------------------------------------
 818
 819 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 820         * version 1.4.6
 821         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 822         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 823         - quiet LNET startup LNI message for liblustre b=10128
 824         - Better console error messages if 'ip2nets' can't match an IP address
 825         - Fixed overflow/use-before-set bugs in linux-time.h
 826         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 827         - LNET teardown failed an assertion about the route table being empty
 828         - Fixed a crash in LNetEQPoll(<invalid handle>)
 829         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 830         - improve debug message for liblustre/Catamount nodes (b=10116)
 831
 832 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 833         * Configuration change for the XT3
 834              The PTLLND is now used to run Lustre over Portals on the XT3.
 835              The configure option(s) --with-cray-portals are no longer
 836              used.  Rather --with-portals=<path-to-portals-includes> is
 837              used to enable building on the XT3.  In addition to enable
 838              XT3 specific features the option --enable-cray-xt3 must be
 839              used.
 840
 841 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 842         * Portals has been removed, replaced by LNET.
 843            LNET is new networking infrastructure for Lustre, it includes a
 844            reorganized network configuration mode (see the user
 845            documentation for full details) as well as support for routing
 846            between different network fabrics.  Lustre Networking Devices
 847            (LNDS) for the supported network fabrics have also been created
 848            for this new infrastructure.
 849
 850 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 851        * version 1.4.4
 852        * bug fixes
 853
 854 Severity   : major
 855 Frequency  : rare (large Voltaire clusters only)
 856 Bugzilla   : 6993
 857 Description: the default number of reserved transmit descriptors was too low
 858              for some large clusters
 859 Details    : As a workaround, the number was increased.  A proper fix includes
 860              a run-time tunable.
 861
 862 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 863        * version 1.4.3
 864        * bug fixes
 865
 866 Severity   : major
 867 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 868 Bugzilla   : 6411
 869 Description: too many error messages on console obscure actual problem and
 870              can slow down/panic server, or cause recovery to fail repeatedly
 871 Details    : enable rate-limiting of console error messages, and some messages
 872              that were console errors now only go to the kernel log
 873
 874 Severity   : enhancement
 875 Bugzilla   : 1693
 876 Description: add /proc/sys/portals/catastrophe entry which will report if
 877              that node has previously LBUGged
 878
 879 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 880        * bugs
 881         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 882
 883 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 884        * bugs
 885         - handle error return code in kranal_check_fma_rx() (5915,6054)
 886
 887 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 888        * miscellania
 889         - update vibnal (Voltaire IB NAL)
 890         - update gmnal (Myrinet NAL), gmnalid
 891
 892 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 893
 894         * Landed portals:b_port_step as follows...
 895
 896           - removed CFS_DECL_SPIN*
 897             just use 'spinlock_t' and initialise with spin_lock_init()
 898
 899           - removed CFS_DECL_MUTEX*
 900             just use 'struct semaphore' and initialise with init_mutex()
 901
 902           - removed CFS_DECL_RWSEM*
 903             just use 'struct rw_semaphore' and initialise with init_rwsem()
 904
 905           - renamed cfs_sleep_chan -> cfs_waitq
 906                     cfs_sleep_link -> cfs_waitlink
 907
 908           - fixed race in linux version of arch-independent socknal
 909             (the ENOMEM/EAGAIN decision).
 910
 911           - Didn't fix problems in Darwin version of arch-independent socknal
 912             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 913
 914           - removed libcfs types from non-socknal header files (only some types
 915             in the header files had been changed; the .c files hadn't been
 916             updated at all).