lnet/ChangeLog

   1 tbd  Sun Microsystems, Inc.
   2         * version 1.8.2
   3         * Support for networks:
   4           socklnd   - any kernel supported by Lustre,
   5           qswlnd    - Qsnet kernel modules 5.20 and later,
   6           openiblnd - IbGold 1.8.2,
   7           o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, and 1.4.1
   8           viblnd    - Voltaire ibhost 3.4.5 and later,
   9           ciblnd    - Topspin 3.2.0,
  10           iiblnd    - Infiniserv 3.3 + PathBits patch,
  11           gmlnd     - GM 2.1.22 and later,
  12           mxlnd     - MX 1.2.1 or later,
  13           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   : normal
  16 Bugzilla   : 17546
  17 Description: kptllnd HELLO protocol deadlock
  18 Details    : kptllnd HELLO protocol doesn't run to completion in finite time
  19
  20 Severity   : normal
  21 Bugzilla   : 18075
  22 Description: LNet selftest fixes and enhancements
  23
  24 Severity   : enhancement
  25 Bugzilla   : 19156
  26 Description: allow a test node to be a member of multiple test groups
  27
  28 Severity   : enhancement
  29 Bugzilla   : 18654
  30 Description: MXLND: eliminate hosts file, use arp for peer nic_id resolution
  31 Details    : an update from the upstream developer Scott Atchley.
  32
  33
  34 -------------------------------------------------------------------------------
  35 tbd  Sun Microsystems, Inc.
  36         * version 1.8.1
  37         * Support for networks:
  38          socklnd   - any kernel supported by Lustre,
  39          qswlnd    - Qsnet kernel modules 5.20 and later,
  40          openiblnd - IbGold 1.8.2,
  41          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, and 1.4.1
  42          viblnd    - Voltaire ibhost 3.4.5 and later,
  43          ciblnd    - Topspin 3.2.0,
  44          iiblnd    - Infiniserv 3.3 + PathBits patch,
  45          gmlnd     - GM 2.1.22 and later,
  46          mxlnd     - MX 1.2.1 or later,
  47          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  48
  49 Severity   : enhancement
  50 Bugzilla   : 15332
  51 Description: add a new LND optiion to control peer buffer credits on routers
  52
  53 Severity   : normal
  54 Bugzilla   : 18844
  55 Description: Fixing deadlock in usocklnd
  56 Details    : A deadlock was possible in usocklnd due to race condition while
  57              tearing connection down. The problem resulted from erroneous
  58              assumption that lnet_finalize() could have been called holding
  59              some lnd-level locks.
  60
  61 Severity   : major
  62 Bugzilla   : 13621, 15983
  63 Description: Protocol V2 of o2iblnd
  64 Details    : o2iblnd V2 has several new features:
  65              . map-on-demand: map-on-demand is disabled by default, it can
  66                be enabled by using modparam "map_on_demand=@value@", @value@
  67                should >= 0 and < 256, 0 will disable map-on-demand, any other
  68                valid value will enable map-on-demand.
  69                Oi2blnd will create FMR or physical MR for RDMA if fragments of
  70                RD > @value@.
  71                Enable map-on-demand will take less memory for new connection,
  72                but a little more CPU for RDMA.
  73              . iWARP : to support iWARP, please enable map-on-demand, 32 and 64
  74                are recommanded value. iWARP will probably fail for value >=128.
  75              . OOB NOOP message: to resolve deadlock on router.
  76              . tunable peer_credits_hiw: (high water to return credits),
  77                default value of peer_credits_hiw equals to (peer_credits -1),
  78                user can change it between peer_credits/2 and (peer_credits - 1).
  79                Lower value is recommended for high latency network.
  80              . tunable message queue size: it always equals to peer_credits,
  81                higher value is recommended for high latency network.
  82              . It's compatible with earlier version of o2iblnd
  83
  84 Severity   : normal
  85 Bugzilla   : 18414
  86 Description: Fixing 'running out of ports' issue
  87 Details    : Add a delay before next reconnect attempt in ksocklnd in
  88              the case of lost race. Limit the frequency of query-requests
  89              in lnet. Improved handling of 'dead peer' notifications in
  90              lnet.
  91
  92 Severity   : normal
  93 Bugzilla   : 16034
  94 Description: Change ptllnd timeout and watchdog timers
  95 Details    : Add ptltrace_on_nal_failed and bump ptllnd timeout to match
  96              Portals wire timeout.
  97
  98 Severity   : normal
  99 Bugzilla   : 16186
 100 Description: One down Lustre FS hangs ALL mounted Lustre filesystems
 101 Details    : Shared routing enhancements - peer health detection.
 102
 103 Severity   : minor
 104 Bugzilla   : 11245
 105 Description: IB path MTU mistakenly set to 1st path MTU when ib_mtu is off
 106 Details    : See comment 46 in bug 11245 for details - it's indeed a bug
 107              introduced by the original 11245 fix.
 108
 109 Severity   : minor
 110 Bugzilla   : 15984
 111 Description: uptllnd credit overflow fix
 112 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
 113              it is only a __u8.
 114
 115 Severity   : major
 116 Bugzilla   : 14634
 117 Description: socklnd protocol version 3
 118 Details    : With current protocol V2, connections on router can be
 119              blocked and can't receive any incoming messages when there is no
 120              more router buffer, so ZC-ACK can't be handled (LNet message
 121              can't be finalized) and will cause deadlock on router.
 122              Protocol V3 has a dedicated connection for emergency messages
 123              like ZC-ACK to router, messages on this dedicated connection
 124              don't need any credit so will never be blocked. Also, V3 can send
 125              keepalive ping in specified period for router healthy checking.
 126
 127 -------------------------------------------------------------------------------
 128 12-31-2008  Sun Microsystems, Inc.
 129         * version 1.8.0
 130         * Support for networks:
 131          socklnd   - any kernel supported by Lustre,
 132          qswlnd    - Qsnet kernel modules 5.20 and later,
 133          openiblnd - IbGold 1.8.2,
 134          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 135          viblnd    - Voltaire ibhost 3.4.5 and later,
 136          ciblnd    - Topspin 3.2.0,
 137          iiblnd    - Infiniserv 3.3 + PathBits patch,
 138          gmlnd     - GM 2.1.22 and later,
 139          mxlnd     - MX 1.2.1 or later,
 140          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 141
 142 Severity   :
 143 Bugzilla   :
 144 Description:
 145 Details    :
 146
 147 Severity   : major
 148 Bugzilla   : 15983
 149 Description: workaround for OOM from o2iblnd
 150 Details    : OFED needs allocate big chunk of memory for QP while creating
 151              connection for o2iblnd, OOM can happen if no such a contiguous
 152              memory chunk.
 153              QP size is decided by concurrent_sends and max_fragments of
 154              o2iblnd, now we permit user to specify smaller value for
 155              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 156              will decrease memory block size required by creating QP.
 157
 158 Severity   : major
 159 Bugzilla   : 15093
 160 Description: Support Zerocopy receive of Chelsio device
 161 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 162              contiguous and large enough.
 163
 164 Severity   : normal
 165 Bugzilla   : 13490
 166 Description: fix credit flow deadlock in uptllnd
 167
 168 Severity   : normal
 169 Bugzilla   : 16308
 170 Description: finalize network operation in reasonable time
 171 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 172              tried to access non-existent peer and tcp connect took
 173              quite long before timing out.
 174
 175 Severity   : major
 176 Bugzilla   : 16338
 177 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 178 Details    : Lost reference on conn prevents peer from being destroyed, which
 179              could prevent new peer creation if peer count has reached upper
 180              limit.
 181
 182 Severity   : normal
 183 Bugzilla   : 16102
 184 Description: LNET Selftest results in Soft lockup on OSS CPU
 185 Details    : only hits when 8 or more o2ib clients involved and a session is
 186              torn down with 'lst end_session' without preceeding 'lst stop'.
 187
 188 Severity   : minor
 189 Bugzilla   : 16321
 190 Description: concurrent_sends in IB LNDs should not be changeable at run time
 191 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 192
 193 Severity   : normal
 194 Bugzilla   : 15272
 195 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 196 Details    : only hits under out-of-memory situations
 197
 198
 199 -------------------------------------------------------------------------------
 200
 201 2009-02-07 Sun Microsystems, Inc.
 202         * version 1.6.7
 203         * Support for networks:
 204          socklnd   - any kernel supported by Lustre,
 205          qswlnd    - Qsnet kernel modules 5.20 and later,
 206          openiblnd - IbGold 1.8.2,
 207          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 208          viblnd    - Voltaire ibhost 3.4.5 and later,
 209          ciblnd    - Topspin 3.2.0,
 210          iiblnd    - Infiniserv 3.3 + PathBits patch,
 211          gmlnd     - GM 2.1.22 and later,
 212          mxlnd     - MX 1.2.1 or later,
 213          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 214
 215 Severity   : major
 216 Bugzilla   : 15983
 217 Description: workaround for OOM from o2iblnd
 218 Details    : OFED needs allocate big chunk of memory for QP while creating
 219              connection for o2iblnd, OOM can happen if no such a contiguous
 220              memory chunk.
 221              QP size is decided by concurrent_sends and max_fragments of
 222              o2iblnd, now we permit user to specify smaller value for
 223              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 224              will decrease memory block size required by creating QP.
 225
 226 Severity   : major
 227 Bugzilla   : 15093
 228 Description: Support Zerocopy receive of Chelsio device
 229 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 230              contiguous and large enough.
 231
 232 Severity   : normal
 233 Bugzilla   : 13490
 234 Description: fix credit flow deadlock in uptllnd
 235
 236 Severity   : normal
 237 Bugzilla   : 16308
 238 Description: finalize network operation in reasonable time
 239 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 240              tried to access non-existent peer and tcp connect took
 241              quite long before timing out.
 242
 243 Severity   : major
 244 Bugzilla   : 16338
 245 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 246 Details    : Lost reference on conn prevents peer from being destroyed, which
 247              could prevent new peer creation if peer count has reached upper
 248              limit.
 249
 250 Severity   : normal
 251 Bugzilla   : 16102
 252 Description: LNET Selftest results in Soft lockup on OSS CPU
 253 Details    : only hits when 8 or more o2ib clients involved and a session is
 254              torn down with 'lst end_session' without preceeding 'lst stop'.
 255
 256 Severity   : minor
 257 Bugzilla   : 16321
 258 Description: concurrent_sends in IB LNDs should not be changeable at run time
 259 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 260
 261 -------------------------------------------------------------------------------
 262
 263 11-03-2008  Sun Microsystems, Inc.
 264         * version 1.6.6
 265         * Support for networks:
 266          socklnd   - any kernel supported by Lustre,
 267          qswlnd    - Qsnet kernel modules 5.20 and later,
 268          openiblnd - IbGold 1.8.2,
 269          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 270          viblnd    - Voltaire ibhost 3.4.5 and later,
 271          ciblnd    - Topspin 3.2.0,
 272          iiblnd    - Infiniserv 3.3 + PathBits patch,
 273          gmlnd     - GM 2.1.22 and later,
 274          mxlnd     - MX 1.2.1 or later,
 275          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 276
 277 Severity   : normal
 278 Bugzilla   : 15272
 279 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 280 Details    : only hits under out-of-memory situations
 281
 282 -------------------------------------------------------------------------------
 283
 284
 285 04-26-2008  Sun Microsystems, Inc.
 286        * version 1.6.5
 287        * Support for networks:
 288         socklnd   - any kernel supported by Lustre,
 289         qswlnd    - Qsnet kernel modules 5.20 and later,
 290         openiblnd - IbGold 1.8.2,
 291         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 292         viblnd    - Voltaire ibhost 3.4.5 and later,
 293         ciblnd    - Topspin 3.2.0,
 294         iiblnd    - Infiniserv 3.3 + PathBits patch,
 295         gmlnd     - GM 2.1.22 and later,
 296         mxlnd     - MX 1.2.1 or later,
 297         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 298
 299 Severity   : normal
 300 Bugzilla   : 14322
 301 Description: excessive debug information removed
 302 Details    : excessive debug information removed
 303
 304 Severity   : major
 305 Bugzilla   : 15712
 306 Description: ksocknal_create_conn() hit ASSERTION during connection race
 307 Details    : ksocknal_create_conn() hit ASSERTION during connection race
 308
 309 Severity   : major
 310 Bugzilla   : 13983
 311 Description: ksocknal_send_hello() hit ASSERTION while connecting race
 312 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
 313
 314 Severity   : major
 315 Bugzilla   : 14425
 316 Description: o2iblnd/ptllnd credit deadlock in a routed config.
 317 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
 318
 319 Severity   : normal
 320 Bugzilla   : 14956
 321 Description: High load after starting lnet
 322 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
 323              uptime utility reports high load that looks confusingly.
 324
 325 Severity   : normal
 326 Bugzilla   : 14838
 327 Description: ksocklnd fails to establish connection if accept_port is high
 328 Details    : PID remapping must not be done for active (outgoing) connections
 329
 330 --------------------------------------------------------------------------------
 331
 332 2008-01-11  Sun Microsystems, Inc.
 333        * version 1.4.12
 334        * Support for networks:
 335         socklnd   - any kernel supported by Lustre,
 336         qswlnd    - Qsnet kernel modules 5.20 and later,
 337         openiblnd - IbGold 1.8.2,
 338         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 339         viblnd    - Voltaire ibhost 3.4.5 and later,
 340         ciblnd    - Topspin 3.2.0,
 341         iiblnd    - Infiniserv 3.3 + PathBits patch,
 342         gmlnd     - GM 2.1.22 and later,
 343         mxlnd     - MX 1.2.1 or later,
 344         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 345 Severity   : normal
 346 Bugzilla   : 14387
 347 Description: liblustre network error
 348 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 349              variable even if they don't start lnet acceptor.
 350
 351 Severity   : normal
 352 Bugzilla   : 14300
 353 Description: Strange message from lnet (Ignoring prediction from the future)
 354 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 355
 356 --------------------------------------------------------------------------------
 357
 358 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 359        * version 1.6.4
 360        * Support for networks:
 361         socklnd   - any kernel supported by Lustre,
 362         qswlnd    - Qsnet kernel modules 5.20 and later,
 363         openiblnd - IbGold 1.8.2,
 364         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 365         viblnd    - Voltaire ibhost 3.4.5 and later,
 366         ciblnd    - Topspin 3.2.0,
 367         iiblnd    - Infiniserv 3.3 + PathBits patch,
 368         gmlnd     - GM 2.1.22 and later,
 369         mxlnd     - MX 1.2.1 or later,
 370         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 371
 372 Severity   : normal
 373 Bugzilla   : 14238
 374 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 375
 376 Severity   : normal
 377 Bugzilla   : 12494
 378 Description: increase send queue size for ciblnd/openiblnd
 379
 380 Severity   : normal
 381 Bugzilla   : 12302
 382 Description: new userspace socklnd
 383 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 384              with new one - usocklnd.
 385
 386 Severity   : enhancement
 387 Bugzilla   : 11686
 388 Description: Console message flood
 389 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 390              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 391              /proc/sys/lnet/console_backoff.
 392
 393 --------------------------------------------------------------------------------
 394
 395 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 396        * version 1.6.3
 397        * Support for networks:
 398         socklnd   - any kernel supported by Lustre,
 399         qswlnd    - Qsnet kernel modules 5.20 and later,
 400         openiblnd - IbGold 1.8.2,
 401         o2iblnd   - OFED 1.1 and 1.2,
 402         viblnd    - Voltaire ibhost 3.4.5 and later,
 403         ciblnd    - Topspin 3.2.0,
 404         iiblnd    - Infiniserv 3.3 + PathBits patch,
 405         gmlnd     - GM 2.1.22 and later,
 406         mxlnd     - MX 1.2.1 or later,
 407         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 408
 409 Severity   : normal
 410 Bugzilla   : 12782
 411 Description: /proc/sys/lnet has non-sysctl entries
 412 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 413
 414 Severity   : major
 415 Bugzilla   : 13236
 416 Description: TOE Kernel panic by ksocklnd
 417 Details    : offloaded sockets provide their own implementation of sendpage,
 418              can't call tcp_sendpage() directly
 419
 420 Severity   : normal
 421 Bugzilla   : 10778
 422 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 423 Details    : races between lnd_shutdown and peer creation prevent
 424              lnd_shutdown from finishing.
 425
 426 Severity   : normal
 427 Bugzilla   : 13279
 428 Description: open files rlimit 1024 reached while liblustre testing
 429 Details    : ulnds/socklnd must close open socket after unsuccessful
 430              'say hello' attempt.
 431
 432 Severity   : major
 433 Bugzilla   : 13482
 434 Description: build error
 435 Details    : fix typos in gmlnd, ptllnd and viblnd
 436
 437 ------------------------------------------------------------------------------
 438
 439 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 440        * version 1.6.1
 441        * Support for networks:
 442         socklnd   - kernels up to 2.6.16,
 443         qswlnd    - Qsnet kernel modules 5.20 and later,
 444         openiblnd - IbGold 1.8.2,
 445         o2iblnd   - OFED 1.1 and 1.2
 446         viblnd    - Voltaire ibhost 3.4.5 and later,
 447         ciblnd    - Topspin 3.2.0,
 448         iiblnd    - Infiniserv 3.3 + PathBits patch,
 449         gmlnd     - GM 2.1.22 and later,
 450         mxlnd     - MX 1.2.1 or later,
 451         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 452
 453 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 454        * version 1.4.11
 455        * Support for networks:
 456         socklnd   - kernels up to 2.6.16,
 457         qswlnd    - Qsnet kernel modules 5.20 and later,
 458         openiblnd - IbGold 1.8.2,
 459         o2iblnd   - OFED 1.1
 460         viblnd    - Voltaire ibhost 3.4.5 and later,
 461         ciblnd    - Topspin 3.2.0,
 462         iiblnd    - Infiniserv 3.3 + PathBits patch,
 463         gmlnd     - GM 2.1.22 and later,
 464         mxlnd     - MX 1.2.1 or later,
 465         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 466
 467 Severity   : minor
 468 Bugzilla   : 13288
 469 Description: Initialize cpumask before use
 470
 471 Severity   : major
 472 Bugzilla   : 12014
 473 Description: ASSERTION failures when upgrading to the patchless zero-copy
 474              socklnd
 475 Details    : This bug affects "rolling upgrades", causing an inconsistent
 476              protocol version negotiation and subsequent assertion failure
 477              during rolling upgrades after the first wave of upgrades.
 478
 479 Severity   : minor
 480 Bugzilla   : 11223
 481 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 482              logged instead of creating "console chatter" when a lustre
 483              timeout races with normal RPC completion.
 484
 485 Severity   : minor
 486 Details    : lnet_clear_peer_table can wait forever if user forgets to
 487              clear a lazy portal.
 488
 489 Severity   : minor
 490 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 491
 492 Severity   : major
 493 Bugzilla   : 10916
 494 Description: added LNET self test
 495 Details    : landing b_self_test
 496
 497 Severity   : minor
 498 Frequency  : rare
 499 Bugzilla   : 12227
 500 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 501              struct timeval.
 502 Details    : do_div() macro is used incorrectly.
 503
 504 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 505
 506 Severity   : normal
 507 Bugzilla   : 11680
 508 Description: make panic on lbug configurable
 509
 510 Severity   : major
 511 Bugzilla   : 12316
 512 Description: Add OFED1.2 support to o2iblnd
 513 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 514              are installed (other than kernel's in-tree infiniband), there
 515              could be some problem while insmod o2iblnd (mismatch CRC of
 516              ib_* symbols).
 517              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 518              this link provides solution:
 519              https://bugs.openfabrics.org/show_bug.cgi?id=355
 520              if extra Module.symvers is not supported in kernel, we will
 521              have to run the script in bug 12316 to update
 522              $LINUX/module.symvers before building o2iblnd.
 523              More details about this are in bug 12316.
 524
 525 ------------------------------------------------------------------------------
 526
 527 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 528        * version 1.4.10 / 1.6.0
 529        * Support for networks:
 530         socklnd   - kernels up to 2.6.16,
 531         qswlnd    - Qsnet kernel modules 5.20 and later,
 532         openiblnd - IbGold 1.8.2,
 533         o2iblnd   - OFED 1.1,
 534         viblnd    - Voltaire ibhost 3.4.5 and later,
 535         ciblnd    - Topspin 3.2.0,
 536         iiblnd    - Infiniserv 3.3 + PathBits patch,
 537         gmlnd     - GM 2.1.22 and later,
 538         mxlnd     - MX 1.2.1 or later,
 539         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 540
 541 Severity   : minor
 542 Frequency  : rare
 543 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 544              possibly accessed in kptllnd_shutdown. Ptllnd should init
 545              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 546
 547 Severity   : normal
 548 Frequency  : rare
 549 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 550
 551 Severity   : minor
 552 Frequency  : rare
 553 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 554
 555 Severity   : minor
 556 Frequency  : rare
 557 Description: the_lnet.ln_finalizing was not set when the current thread is
 558              about to complete messages. It only affects multi-threaded
 559              user space LNet.
 560
 561 Severity   : normal
 562 Frequency  : rare
 563 Bugzilla   : 11472
 564 Description: Changed the default kqswlnd ntxmsg=512
 565
 566 Severity   : major
 567 Frequency  : rare
 568 Bugzilla   : 12458
 569 Description: Assertion failure in kernel ptllnd caused by posting passive
 570              bulk buffers before connection establishment complete.
 571
 572 Severity   : major
 573 Frequency  : rare
 574 Bugzilla   : 12445
 575 Description: A race in kernel ptllnd between deleting a peer and posting
 576              new communications for it could hang communications -
 577              manifesting as "Unexpectedly long timeout" messages.
 578
 579 Severity   : major
 580 Frequency  : rare
 581 Bugzilla   : 12432
 582 Description: Kernel ptllnd lock ordering issue could hang a node.
 583
 584 Severity   : major
 585 Frequency  : rare
 586 Bugzilla   : 12016
 587 Description: node crash on socket teardown race
 588
 589 Severity   : minor
 590 Frequency  : 'lctl peer_list' issued on a mx net
 591 Bugzilla   : 12237
 592 Description: Enable lctl's peer_list for MXLND
 593
 594 Severity   : major
 595 Frequency  : after Ptllnd timeouts and portals congestion
 596 Bugzilla   : 11659
 597 Description: Credit overflows
 598 Details    : This was a bug in ptllnd connection establishment.  The fix
 599              implements better peer stamps to disambiguate connection
 600              establishment and ensure both peers enter the credit flow
 601              state machine consistently.
 602
 603 Severity   : major
 604 Frequency  : rare
 605 Bugzilla   : 11394
 606 Description: kptllnd didn't propagate some network errors up to LNET
 607 Details    : This bug was spotted while investigating 11394.  The fix
 608              ensures network errors on sends and bulk transfers are
 609              propagated to LNET/lustre correctly.
 610
 611 Severity   : enhancement
 612 Bugzilla   : 10316
 613 Description: Fixed console chatter in case of -ETIMEDOUT.
 614
 615 Severity   : enhancement
 616 Bugzilla   : 11684
 617 Description: Added D_NETTRACE for recording network packet history
 618              (initially only for ptllnd).  Also a separate userspace
 619              ptllnd facility to gather history which should really be
 620              covered by D_NETTRACE too, if only CDEBUG recorded history in
 621              userspace.
 622
 623 Severity   : major
 624 Frequency  : rare
 625 Bugzilla   : 11616
 626 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 627 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 628              callback can occur before a connection has actually been
 629              established.  This caused an assertion failure previously.
 630
 631 Severity   : enhancement
 632 Bugzilla   : 11094
 633 Description: Multiple instances for o2iblnd
 634 Details    : Allow multiple instances of o2iblnd to enable networking over
 635              multiple HCAs and routing between them.
 636
 637 Severity   : major
 638 Bugzilla   : 11201
 639 Description: lnet deadlock in router_checker
 640 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 641              into BH locks to eliminate potential deadlock caused by
 642              ksocknal_data_ready() preempting code holding these locks.
 643
 644 Severity   : major
 645 Bugzilla   : 11126
 646 Description: Millions of failed socklnd connection attempts cause a very slow FS
 647 Details    : added a new route flag ksnr_scheduled to distinguish from
 648              ksnr_connecting, so that a peer connection request is only turned
 649              down for race concerns when an active connection to the same peer
 650              is under progress (instead of just being scheduled).
 651
 652 ------------------------------------------------------------------------------
 653
 654 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 655        * version 1.4.9
 656        * Support for networks:
 657         socklnd   - kernels up to 2.6.16
 658         qswlnd    - Qsnet kernel modules 5.20 and later
 659         openiblnd - IbGold 1.8.2
 660         o2iblnd   - OFED 1.1
 661         viblnd    - Voltaire ibhost 3.4.5 and later
 662         ciblnd    - Topspin 3.2.0
 663         iiblnd    - Infiniserv 3.3 + PathBits patch
 664         gmlnd     - GM 2.1.22 and later
 665         mxlnd     - MX 1.2.1 or later
 666         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 667        * bug fixes
 668
 669 Severity   : major on XT3
 670 Bugzilla   : none
 671 Description: libcfs overwrites /proc/sys/portals
 672 Details    : libcfs created a symlink from /proc/sys/portals to
 673              /proc/sys/lnet for backwards compatibility.  This is no
 674              longer required and makes the Cray portals /proc variables
 675              inaccessible.
 676
 677 Severity   : minor
 678 Bugzilla   : 11312
 679 Description: OFED FMR API change
 680 Details    : This changes parameter usage to reflect a change in
 681              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 682              that FMR support is only used in experimental versions of the
 683              o2iblnd - this change does not affect standard usage at all.
 684
 685 Severity   : enhancement
 686 Bugzilla   : 11245
 687 Description: new ko2iblnd module parameter: ib_mtu
 688 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 689              HCAs.  You can avoid this problem by setting the MTU to 1024
 690              using this module parameter.
 691
 692 Severity   : enhancement
 693 Bugzilla   : 11118/11620
 694 Description: ptllnd small request message buffer alignment fix
 695 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 696              Round up small message size on sends in case this option
 697              is not supported.  11620 was a defect in the initial
 698              implementation which effectively asserted all peers had to be
 699              running the correct protocol version which was fixed by always
 700              NAK-ing such requests and handling any misalignments they
 701              introduce.
 702
 703 Severity   : minor
 704 Frequency  : rarely
 705 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 706              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 707              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 708
 709 Severity   : enhancement
 710 Bugzilla   : 11250
 711 Description: Patchless ZC(zero copy) socklnd
 712 Details    : New protocol for socklnd, socklnd can support zero copy without
 713              kernel patch, it's compatible with old socklnd. Checksum is
 714              moved from tunables to modparams.
 715
 716 Severity   : minor
 717 Frequency  : rarely
 718 Description: When ksocknal_del_peer() is called upon a peer whose
 719              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 720              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 721
 722 Severity   : normal
 723 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 724 Bugzilla   : 11318
 725 Description: In lnet_match_blocked_msg(), md can be used without holding a
 726              ref on it.
 727
 728 Severity   : minor
 729 Frequency  : very rarely
 730 Bugzilla   : 10727
 731 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 732              If connd connects a route which has been closed by
 733              ksocknal_shutdown(), ksocknal_create_routes() may create new
 734              routes which hold references on the peer, causing shutdown
 735              process to wait for peer to disappear forever.
 736
 737 Severity   : enhancement
 738 Bugzilla   : 11234
 739 Description: Dump XT3 portals traces on kptllnd timeout
 740 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 741              dump Cray portals debug traces to a file.  The kptllnd module
 742              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 743              is the basename of the dump file.
 744
 745 Severity   : major
 746 Frequency  : infrequent
 747 Bugzilla   : 11308
 748 Description: kernel ptllnd fix bug in connection re-establishment
 749 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 750              matchbits and/or violate the credit flow protocol when trying
 751              to re-establish a connection with a peer after an error or
 752              timeout.
 753
 754 Severity   : enhancement
 755 Bugzilla   : 10316
 756 Description: Allow /proc/sys/lnet/debug to be set symbolically
 757 Details    : Allow debug and subsystem debug values to be read/set by name
 758              in addition to numerically, for ease of use.
 759
 760 Severity   : normal
 761 Frequency  : only in configurations with LNET routers
 762 Bugzilla   : 10316
 763 Description: routes automatically marked down and recovered
 764 Details    : In configurations with LNET routers if a router fails routers
 765              now actively try to recover routes that are down, unless they
 766              are marked down by an administrator.
 767
 768 ------------------------------------------------------------------------------
 769
 770 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 771
 772 Severity   : critical
 773 Frequency  : very rarely, in configurations with LNET routers and TCP
 774 Bugzilla   : 10889
 775 Description: incorrect data written to files on OSTs
 776 Details    : In certain high-load conditions incorrect data may be written
 777              to files on the OST when using TCP networks.
 778
 779 ------------------------------------------------------------------------------
 780
 781 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 782         * version 1.4.7
 783         - rework CDEBUG messages rate-limiting mechanism b=10375
 784         - add per-socket tunables for socklnd if the kernel is patched b=10327
 785
 786 ------------------------------------------------------------------------------
 787
 788 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 789         * version 1.4.6
 790         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 791         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 792         - quiet LNET startup LNI message for liblustre b=10128
 793         - Better console error messages if 'ip2nets' can't match an IP address
 794         - Fixed overflow/use-before-set bugs in linux-time.h
 795         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 796         - LNET teardown failed an assertion about the route table being empty
 797         - Fixed a crash in LNetEQPoll(<invalid handle>)
 798         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 799         - improve debug message for liblustre/Catamount nodes (b=10116)
 800
 801 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 802         * Configuration change for the XT3
 803              The PTLLND is now used to run Lustre over Portals on the XT3.
 804              The configure option(s) --with-cray-portals are no longer
 805              used.  Rather --with-portals=<path-to-portals-includes> is
 806              used to enable building on the XT3.  In addition to enable
 807              XT3 specific features the option --enable-cray-xt3 must be
 808              used.
 809
 810 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 811         * Portals has been removed, replaced by LNET.
 812            LNET is new networking infrastructure for Lustre, it includes a
 813            reorganized network configuration mode (see the user
 814            documentation for full details) as well as support for routing
 815            between different network fabrics.  Lustre Networking Devices
 816            (LNDS) for the supported network fabrics have also been created
 817            for this new infrastructure.
 818
 819 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 820        * version 1.4.4
 821        * bug fixes
 822
 823 Severity   : major
 824 Frequency  : rare (large Voltaire clusters only)
 825 Bugzilla   : 6993
 826 Description: the default number of reserved transmit descriptors was too low
 827              for some large clusters
 828 Details    : As a workaround, the number was increased.  A proper fix includes
 829              a run-time tunable.
 830
 831 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
 832        * version 1.4.3
 833        * bug fixes
 834
 835 Severity   : major
 836 Frequency  : occasional (large-scale events, cluster reboot, network failure)
 837 Bugzilla   : 6411
 838 Description: too many error messages on console obscure actual problem and
 839              can slow down/panic server, or cause recovery to fail repeatedly
 840 Details    : enable rate-limiting of console error messages, and some messages
 841              that were console errors now only go to the kernel log
 842
 843 Severity   : enhancement
 844 Bugzilla   : 1693
 845 Description: add /proc/sys/portals/catastrophe entry which will report if
 846              that node has previously LBUGged
 847
 848 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
 849        * bugs
 850         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
 851
 852 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
 853        * bugs
 854         - handle error return code in kranal_check_fma_rx() (5915,6054)
 855
 856 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
 857        * miscellania
 858         - update vibnal (Voltaire IB NAL)
 859         - update gmnal (Myrinet NAL), gmnalid
 860
 861 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
 862
 863         * Landed portals:b_port_step as follows...
 864
 865           - removed CFS_DECL_SPIN*
 866             just use 'spinlock_t' and initialise with spin_lock_init()
 867
 868           - removed CFS_DECL_MUTEX*
 869             just use 'struct semaphore' and initialise with init_mutex()
 870
 871           - removed CFS_DECL_RWSEM*
 872             just use 'struct rw_semaphore' and initialise with init_rwsem()
 873
 874           - renamed cfs_sleep_chan -> cfs_waitq
 875                     cfs_sleep_link -> cfs_waitlink
 876
 877           - fixed race in linux version of arch-independent socknal
 878             (the ENOMEM/EAGAIN decision).
 879
 880           - Didn't fix problems in Darwin version of arch-independent socknal
 881             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
 882
 883           - removed libcfs types from non-socknal header files (only some types
 884             in the header files had been changed; the .c files hadn't been
 885             updated at all).