lnet/ChangeLog

   1 xxxx-xx-xx Oracle, Inc.
   2         * version 1.8.6
   3         * Support for networks:
   4           socklnd   - any kernel supported by Lustre,
   5           qswlnd    - Qsnet kernel modules 5.20 and later,
   6           openiblnd - IbGold 1.8.2,
   7           o2iblnd   - OFED 1.3, 1.4.1, 1.4.2, 1.5.1 and 1.5.2
   8           viblnd    - Voltaire ibhost 3.4.5 and later,
   9           ciblnd    - Topspin 3.2.0,
  10           iiblnd    - Infiniserv 3.3 + PathBits patch,
  11           gmlnd     - GM 2.1.22 and later,
  12           mxlnd     - MX 1.2.10 or later,
  13           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  14
  15 Severity   : normal
  16 Bugzilla   : 23575
  17 Description: fix o2iblnd v2 regression of credit deadlock with v1 peers (bug 14425).
  18
  19 Severity   : normal
  20 Bugzilla   : 21456
  21 Description: lctl ping of 1.6.6 server from 1.8 router causes protocol error
  22
  23 -------------------------------------------------------------------------------
  24
  25 2010-10-29 Oracle, Inc.
  26         * version 1.8.5
  27         * Support for networks:
  28           socklnd   - any kernel supported by Lustre,
  29           qswlnd    - Qsnet kernel modules 5.20 and later,
  30           openiblnd - IbGold 1.8.2,
  31           o2iblnd   - OFED 1.3, 1.4.1, 1.4.2, 1.5.1 and 1.5.2
  32           viblnd    - Voltaire ibhost 3.4.5 and later,
  33           ciblnd    - Topspin 3.2.0,
  34           iiblnd    - Infiniserv 3.3 + PathBits patch,
  35           gmlnd     - GM 2.1.22 and later,
  36           mxlnd     - MX 1.2.10 or later,
  37           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  38
  39 Severity   : normal
  40 Bugzilla   : 23179
  41 Description: MDS node unresponsive
  42 Details    : improve hash distribution, doubled hash size for the lnet cookie
  43              hash.
  44
  45 -------------------------------------------------------------------------------
  46
  47 2010-07-31 Oracle, Inc.
  48         * version 1.8.4
  49         * Support for networks:
  50           socklnd   - any kernel supported by Lustre,
  51           qswlnd    - Qsnet kernel modules 5.20 and later,
  52           openiblnd - IbGold 1.8.2,
  53           o2iblnd   - OFED 1.3, 1.4.1, 1.4.2 and 1.5.1
  54           viblnd    - Voltaire ibhost 3.4.5 and later,
  55           ciblnd    - Topspin 3.2.0,
  56           iiblnd    - Infiniserv 3.3 + PathBits patch,
  57           gmlnd     - GM 2.1.22 and later,
  58           mxlnd     - MX 1.2.10 or later,
  59           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  60
  61 Severity   : normal
  62 Bugzilla   : 23076
  63 Description: With peer health detection, o2iblnd makes only one attempt to
  64              reconnect which is not enough with nodes running lustre 1.6
  65              because of proto version mismatch. Fix o2iblnd to retry one more
  66              time.
  67
  68 Severity   : enhancement
  69 Bugzilla   : 16909
  70 Description: Quiet some LNET messages
  71
  72 Severity   : enhancement
  73 Bugzilla   : 22787
  74 Description: Add OFED 1.5.1 support
  75
  76 Severity   : enhancement
  77 Bugzilla   : 21678
  78 Description: The peer health code lacked some important debugging info in
  79              lnd_query code paths. We've added necessary debug prints,
  80              not just for bug 21678, but also for future troubleshooting.
  81
  82 -------------------------------------------------------------------------------
  83
  84 2010-04-30 Oracle, Inc.
  85         * version 1.8.3
  86         * Support for networks:
  87           socklnd   - any kernel supported by Lustre,
  88           qswlnd    - Qsnet kernel modules 5.20 and later,
  89           openiblnd - IbGold 1.8.2,
  90           o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, 1.4.1, and 1.4.2
  91           viblnd    - Voltaire ibhost 3.4.5 and later,
  92           ciblnd    - Topspin 3.2.0,
  93           iiblnd    - Infiniserv 3.3 + PathBits patch,
  94           gmlnd     - GM 2.1.22 and later,
  95           mxlnd     - MX 1.2.10 or later,
  96           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
  97
  98 Severity   : normal
  99 Bugzilla   : 22556
 100 Description: lst: check # of remained RPCs before aborting
 101 Details    : lstcon_rpc_trans_postwait() calls lstcon_rpc_trans_abort() only
 102              when the transaction is timeout, so if we got "end_session" to
 103              interrupt waiting on  transaction, then we can hit the assertion
 104              failure ASSERTION(crpc->crp_stamp != 0)
 105
 106 Severity   : normal
 107 Bugzilla   : 20615
 108 Description: print more debug info for  timedout ZC-req
 109 Details    : Print more information for timedout ZC-req and partial
 110              received connection. Close connection for timedout ZC-req
 111              Always send ZC_ACK on non-blocking connection(BULK_IN)
 112
 113 Severity   : normal
 114 Bugzilla   : 21945
 115 Description: Adding WIRE_ATTR attribute to LNET types
 116 Details    : LST nodes on different platforms might not communicate well
 117              due to the lack of WIRE_ATTR attribute in some LNET structures
 118              traversing network. The patch fixes the problem by adding
 119              WIRE_ATTR where needed.
 120
 121 Severity   : normal
 122 Bugzilla   : 21619
 123 Description: hash MEs on RDMA portal
 124 Details    : RDMA portal can have very long ME list on client side, which
 125              will trigger soft lockup because of long searching on list.
 126              Hash MEs on RDMA portal can resolve this problem.
 127
 128 Severity   : normal
 129 Bugzilla   : 21911
 130 Description: fix for double release of ibc_lock in o2iblnd
 131 Details    : Re-acquire ibc_lock in kiblnd_post_tx_locked(). Add extra
 132              reference to conn before calling kiblnd_post_tx_locked()
 133              to avoid scenario when conn disappears inside
 134              kiblnd_post_tx_locked().
 135
 136 -------------------------------------------------------------------------------
 137 2010-01-29  Sun Microsystems, Inc.
 138         * version 1.8.2
 139         * Support for networks:
 140           socklnd   - any kernel supported by Lustre,
 141           qswlnd    - Qsnet kernel modules 5.20 and later,
 142           openiblnd - IbGold 1.8.2,
 143           o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, 1.4.1, and 1.4.2
 144           viblnd    - Voltaire ibhost 3.4.5 and later,
 145           ciblnd    - Topspin 3.2.0,
 146           iiblnd    - Infiniserv 3.3 + PathBits patch,
 147           gmlnd     - GM 2.1.22 and later,
 148           mxlnd     - MX 1.2.10 or later,
 149           ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 150
 151 Severity   : minor
 152 Bugzilla   : 21459
 153 Description: should update lp_alive for non-router peers.
 154
 155 Severity   : enhancement
 156 Bugzilla   : 15332
 157 Description: LNet router shuffler.
 158
 159 Severity   : enhancement
 160 Bugzilla   : 15332
 161 Description: LNet fine grain routing support.
 162
 163 Severity   : normal
 164 Bugzilla   : 20171
 165 Description: router checker stops working when system wall clock goes backward
 166 Details    : use monotonic timing source instead of system wall clock time.
 167
 168 Severity   : enhancement
 169 Bugzilla   : 18460
 170 Description: avoid asymmetrical router failures
 171
 172 Severity   : enhancement
 173 Bugzilla   : 19735
 174 Description: multiple-instance support for kptllnd
 175
 176 Severity   : normal
 177 Bugzilla   : 20897
 178 Description: ksocknal_close_conn_locked connection race
 179 Details    : A race was possible when ksocknal_create_conn calls
 180              ksocknal_close_conn_locked for already closed conn.
 181
 182 Severity   : enhancement
 183 Bugzilla   : 13065
 184 Description: port router pinger to userspace
 185
 186 Severity   : normal
 187 Bugzilla   : 17546
 188 Description: kptllnd HELLO protocol deadlock
 189 Details    : kptllnd HELLO protocol doesn't run to completion in finite time
 190
 191 Severity   : normal
 192 Bugzilla   : 18075
 193 Description: LNet selftest fixes and enhancements
 194
 195 Severity   : enhancement
 196 Bugzilla   : 19156
 197 Description: allow a test node to be a member of multiple test groups
 198
 199 Severity   : enhancement
 200 Bugzilla   : 18654
 201 Description: MXLND: eliminate hosts file, use arp for peer nic_id resolution
 202 Details    : an update from the upstream developer Scott Atchley.
 203
 204
 205 -------------------------------------------------------------------------------
 206 2009-07-31  Sun Microsystems, Inc.
 207         * version 1.8.1
 208         * Support for networks:
 209          socklnd   - any kernel supported by Lustre,
 210          qswlnd    - Qsnet kernel modules 5.20 and later,
 211          openiblnd - IbGold 1.8.2,
 212          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, 1.3, and 1.4.1
 213          viblnd    - Voltaire ibhost 3.4.5 and later,
 214          ciblnd    - Topspin 3.2.0,
 215          iiblnd    - Infiniserv 3.3 + PathBits patch,
 216          gmlnd     - GM 2.1.22 and later,
 217          mxlnd     - MX 1.2.1 or later,
 218          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 219
 220 Severity   : normal
 221 Bugzilla   : 18102
 222 Description: router_proc.c is rewritten to use sysctl-interface for parameters
 223              residing in /proc/sys/lnet
 224
 225 Severity   : enhancement
 226 Bugzilla   : 15332
 227 Description: add a new LND optiion to control peer buffer credits on routers
 228
 229 Severity   : normal
 230 Bugzilla   : 18844
 231 Description: Fixing deadlock in usocklnd
 232 Details    : A deadlock was possible in usocklnd due to race condition while
 233              tearing connection down. The problem resulted from erroneous
 234              assumption that lnet_finalize() could have been called holding
 235              some lnd-level locks.
 236
 237 Severity   : major
 238 Bugzilla   : 13621, 15983
 239 Description: Protocol V2 of o2iblnd
 240 Details    : o2iblnd V2 has several new features:
 241              . map-on-demand: map-on-demand is disabled by default, it can
 242                be enabled by using modparam "map_on_demand=@value@", @value@
 243                should >= 0 and < 256, 0 will disable map-on-demand, any other
 244                valid value will enable map-on-demand.
 245                Oi2blnd will create FMR or physical MR for RDMA if fragments of
 246                RD > @value@.
 247                Enable map-on-demand will take less memory for new connection,
 248                but a little more CPU for RDMA.
 249              . iWARP : to support iWARP, please enable map-on-demand, 32 and 64
 250                are recommanded value. iWARP will probably fail for value >=128.
 251              . OOB NOOP message: to resolve deadlock on router.
 252              . tunable peer_credits_hiw: (high water to return credits),
 253                default value of peer_credits_hiw equals to (peer_credits -1),
 254                user can change it between peer_credits/2 and (peer_credits - 1).
 255                Lower value is recommended for high latency network.
 256              . tunable message queue size: it always equals to peer_credits,
 257                higher value is recommended for high latency network.
 258              . It's compatible with earlier version of o2iblnd
 259
 260 Severity   : normal
 261 Bugzilla   : 18414
 262 Description: Fixing 'running out of ports' issue
 263 Details    : Add a delay before next reconnect attempt in ksocklnd in
 264              the case of lost race. Limit the frequency of query-requests
 265              in lnet. Improved handling of 'dead peer' notifications in
 266              lnet.
 267
 268 Severity   : normal
 269 Bugzilla   : 16034
 270 Description: Change ptllnd timeout and watchdog timers
 271 Details    : Add ptltrace_on_nal_failed and bump ptllnd timeout to match
 272              Portals wire timeout.
 273
 274 Severity   : normal
 275 Bugzilla   : 16186
 276 Description: One down Lustre FS hangs ALL mounted Lustre filesystems
 277 Details    : Shared routing enhancements - peer health detection.
 278
 279 Severity   : minor
 280 Bugzilla   : 11245
 281 Description: IB path MTU mistakenly set to 1st path MTU when ib_mtu is off
 282 Details    : See comment 46 in bug 11245 for details - it's indeed a bug
 283              introduced by the original 11245 fix.
 284
 285 Severity   : minor
 286 Bugzilla   : 15984
 287 Description: uptllnd credit overflow fix
 288 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
 289              it is only a __u8.
 290
 291 Severity   : major
 292 Bugzilla   : 14634
 293 Description: socklnd protocol version 3
 294 Details    : With current protocol V2, connections on router can be
 295              blocked and can't receive any incoming messages when there is no
 296              more router buffer, so ZC-ACK can't be handled (LNet message
 297              can't be finalized) and will cause deadlock on router.
 298              Protocol V3 has a dedicated connection for emergency messages
 299              like ZC-ACK to router, messages on this dedicated connection
 300              don't need any credit so will never be blocked. Also, V3 can send
 301              keepalive ping in specified period for router healthy checking.
 302
 303 -------------------------------------------------------------------------------
 304 12-31-2008  Sun Microsystems, Inc.
 305         * version 1.8.0
 306         * Support for networks:
 307          socklnd   - any kernel supported by Lustre,
 308          qswlnd    - Qsnet kernel modules 5.20 and later,
 309          openiblnd - IbGold 1.8.2,
 310          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 311          viblnd    - Voltaire ibhost 3.4.5 and later,
 312          ciblnd    - Topspin 3.2.0,
 313          iiblnd    - Infiniserv 3.3 + PathBits patch,
 314          gmlnd     - GM 2.1.22 and later,
 315          mxlnd     - MX 1.2.1 or later,
 316          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 317
 318 Severity   :
 319 Bugzilla   :
 320 Description:
 321 Details    :
 322
 323 Severity   : major
 324 Bugzilla   : 15983
 325 Description: workaround for OOM from o2iblnd
 326 Details    : OFED needs allocate big chunk of memory for QP while creating
 327              connection for o2iblnd, OOM can happen if no such a contiguous
 328              memory chunk.
 329              QP size is decided by concurrent_sends and max_fragments of
 330              o2iblnd, now we permit user to specify smaller value for
 331              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 332              will decrease memory block size required by creating QP.
 333
 334 Severity   : major
 335 Bugzilla   : 15093
 336 Description: Support Zerocopy receive of Chelsio device
 337 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 338              contiguous and large enough.
 339
 340 Severity   : normal
 341 Bugzilla   : 13490
 342 Description: fix credit flow deadlock in uptllnd
 343
 344 Severity   : normal
 345 Bugzilla   : 16308
 346 Description: finalize network operation in reasonable time
 347 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 348              tried to access non-existent peer and tcp connect took
 349              quite long before timing out.
 350
 351 Severity   : major
 352 Bugzilla   : 16338
 353 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 354 Details    : Lost reference on conn prevents peer from being destroyed, which
 355              could prevent new peer creation if peer count has reached upper
 356              limit.
 357
 358 Severity   : normal
 359 Bugzilla   : 16102
 360 Description: LNET Selftest results in Soft lockup on OSS CPU
 361 Details    : only hits when 8 or more o2ib clients involved and a session is
 362              torn down with 'lst end_session' without preceeding 'lst stop'.
 363
 364 Severity   : minor
 365 Bugzilla   : 16321
 366 Description: concurrent_sends in IB LNDs should not be changeable at run time
 367 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 368
 369 Severity   : normal
 370 Bugzilla   : 15272
 371 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 372 Details    : only hits under out-of-memory situations
 373
 374
 375 -------------------------------------------------------------------------------
 376
 377 2009-02-07 Sun Microsystems, Inc.
 378         * version 1.6.7
 379         * Support for networks:
 380          socklnd   - any kernel supported by Lustre,
 381          qswlnd    - Qsnet kernel modules 5.20 and later,
 382          openiblnd - IbGold 1.8.2,
 383          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 384          viblnd    - Voltaire ibhost 3.4.5 and later,
 385          ciblnd    - Topspin 3.2.0,
 386          iiblnd    - Infiniserv 3.3 + PathBits patch,
 387          gmlnd     - GM 2.1.22 and later,
 388          mxlnd     - MX 1.2.1 or later,
 389          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 390
 391 Severity   : major
 392 Bugzilla   : 15983
 393 Description: workaround for OOM from o2iblnd
 394 Details    : OFED needs allocate big chunk of memory for QP while creating
 395              connection for o2iblnd, OOM can happen if no such a contiguous
 396              memory chunk.
 397              QP size is decided by concurrent_sends and max_fragments of
 398              o2iblnd, now we permit user to specify smaller value for
 399              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
 400              will decrease memory block size required by creating QP.
 401
 402 Severity   : major
 403 Bugzilla   : 15093
 404 Description: Support Zerocopy receive of Chelsio device
 405 Details    : Chelsio driver can support zerocopy for iov[1] if it's
 406              contiguous and large enough.
 407
 408 Severity   : normal
 409 Bugzilla   : 13490
 410 Description: fix credit flow deadlock in uptllnd
 411
 412 Severity   : normal
 413 Bugzilla   : 16308
 414 Description: finalize network operation in reasonable time
 415 Details    : conf-sanity test_32a couldn't stop ost and mds because it
 416              tried to access non-existent peer and tcp connect took
 417              quite long before timing out.
 418
 419 Severity   : major
 420 Bugzilla   : 16338
 421 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
 422 Details    : Lost reference on conn prevents peer from being destroyed, which
 423              could prevent new peer creation if peer count has reached upper
 424              limit.
 425
 426 Severity   : normal
 427 Bugzilla   : 16102
 428 Description: LNET Selftest results in Soft lockup on OSS CPU
 429 Details    : only hits when 8 or more o2ib clients involved and a session is
 430              torn down with 'lst end_session' without preceeding 'lst stop'.
 431
 432 Severity   : minor
 433 Bugzilla   : 16321
 434 Description: concurrent_sends in IB LNDs should not be changeable at run time
 435 Details    : concurrent_sends in IB LNDs should not be changeable at run time
 436
 437 -------------------------------------------------------------------------------
 438
 439 11-03-2008  Sun Microsystems, Inc.
 440         * version 1.6.6
 441         * Support for networks:
 442          socklnd   - any kernel supported by Lustre,
 443          qswlnd    - Qsnet kernel modules 5.20 and later,
 444          openiblnd - IbGold 1.8.2,
 445          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
 446          viblnd    - Voltaire ibhost 3.4.5 and later,
 447          ciblnd    - Topspin 3.2.0,
 448          iiblnd    - Infiniserv 3.3 + PathBits patch,
 449          gmlnd     - GM 2.1.22 and later,
 450          mxlnd     - MX 1.2.1 or later,
 451          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 452
 453 Severity   : normal
 454 Bugzilla   : 15272
 455 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
 456 Details    : only hits under out-of-memory situations
 457
 458 -------------------------------------------------------------------------------
 459
 460
 461 04-26-2008  Sun Microsystems, Inc.
 462        * version 1.6.5
 463        * Support for networks:
 464         socklnd   - any kernel supported by Lustre,
 465         qswlnd    - Qsnet kernel modules 5.20 and later,
 466         openiblnd - IbGold 1.8.2,
 467         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 468         viblnd    - Voltaire ibhost 3.4.5 and later,
 469         ciblnd    - Topspin 3.2.0,
 470         iiblnd    - Infiniserv 3.3 + PathBits patch,
 471         gmlnd     - GM 2.1.22 and later,
 472         mxlnd     - MX 1.2.1 or later,
 473         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 474
 475 Severity   : normal
 476 Bugzilla   : 14322
 477 Description: excessive debug information removed
 478 Details    : excessive debug information removed
 479
 480 Severity   : major
 481 Bugzilla   : 15712
 482 Description: ksocknal_create_conn() hit ASSERTION during connection race
 483 Details    : ksocknal_create_conn() hit ASSERTION during connection race
 484
 485 Severity   : major
 486 Bugzilla   : 13983
 487 Description: ksocknal_send_hello() hit ASSERTION while connecting race
 488 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
 489
 490 Severity   : major
 491 Bugzilla   : 14425
 492 Description: o2iblnd/ptllnd credit deadlock in a routed config.
 493 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
 494
 495 Severity   : normal
 496 Bugzilla   : 14956
 497 Description: High load after starting lnet
 498 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
 499              uptime utility reports high load that looks confusingly.
 500
 501 Severity   : normal
 502 Bugzilla   : 14838
 503 Description: ksocklnd fails to establish connection if accept_port is high
 504 Details    : PID remapping must not be done for active (outgoing) connections
 505
 506 --------------------------------------------------------------------------------
 507
 508 2008-01-11  Sun Microsystems, Inc.
 509        * version 1.4.12
 510        * Support for networks:
 511         socklnd   - any kernel supported by Lustre,
 512         qswlnd    - Qsnet kernel modules 5.20 and later,
 513         openiblnd - IbGold 1.8.2,
 514         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
 515         viblnd    - Voltaire ibhost 3.4.5 and later,
 516         ciblnd    - Topspin 3.2.0,
 517         iiblnd    - Infiniserv 3.3 + PathBits patch,
 518         gmlnd     - GM 2.1.22 and later,
 519         mxlnd     - MX 1.2.1 or later,
 520         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 521 Severity   : normal
 522 Bugzilla   : 14387
 523 Description: liblustre network error
 524 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
 525              variable even if they don't start lnet acceptor.
 526
 527 Severity   : normal
 528 Bugzilla   : 14300
 529 Description: Strange message from lnet (Ignoring prediction from the future)
 530 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
 531
 532 --------------------------------------------------------------------------------
 533
 534 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
 535        * version 1.6.4
 536        * Support for networks:
 537         socklnd   - any kernel supported by Lustre,
 538         qswlnd    - Qsnet kernel modules 5.20 and later,
 539         openiblnd - IbGold 1.8.2,
 540         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
 541         viblnd    - Voltaire ibhost 3.4.5 and later,
 542         ciblnd    - Topspin 3.2.0,
 543         iiblnd    - Infiniserv 3.3 + PathBits patch,
 544         gmlnd     - GM 2.1.22 and later,
 545         mxlnd     - MX 1.2.1 or later,
 546         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 547
 548 Severity   : normal
 549 Bugzilla   : 14238
 550 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
 551
 552 Severity   : normal
 553 Bugzilla   : 12494
 554 Description: increase send queue size for ciblnd/openiblnd
 555
 556 Severity   : normal
 557 Bugzilla   : 12302
 558 Description: new userspace socklnd
 559 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
 560              with new one - usocklnd.
 561
 562 Severity   : enhancement
 563 Bugzilla   : 11686
 564 Description: Console message flood
 565 Details    : Make cdls ratelimiting more tunable by adding several tunable in
 566              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
 567              /proc/sys/lnet/console_backoff.
 568
 569 --------------------------------------------------------------------------------
 570
 571 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
 572        * version 1.6.3
 573        * Support for networks:
 574         socklnd   - any kernel supported by Lustre,
 575         qswlnd    - Qsnet kernel modules 5.20 and later,
 576         openiblnd - IbGold 1.8.2,
 577         o2iblnd   - OFED 1.1 and 1.2,
 578         viblnd    - Voltaire ibhost 3.4.5 and later,
 579         ciblnd    - Topspin 3.2.0,
 580         iiblnd    - Infiniserv 3.3 + PathBits patch,
 581         gmlnd     - GM 2.1.22 and later,
 582         mxlnd     - MX 1.2.1 or later,
 583         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 584
 585 Severity   : normal
 586 Bugzilla   : 12782
 587 Description: /proc/sys/lnet has non-sysctl entries
 588 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
 589
 590 Severity   : major
 591 Bugzilla   : 13236
 592 Description: TOE Kernel panic by ksocklnd
 593 Details    : offloaded sockets provide their own implementation of sendpage,
 594              can't call tcp_sendpage() directly
 595
 596 Severity   : normal
 597 Bugzilla   : 10778
 598 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
 599 Details    : races between lnd_shutdown and peer creation prevent
 600              lnd_shutdown from finishing.
 601
 602 Severity   : normal
 603 Bugzilla   : 13279
 604 Description: open files rlimit 1024 reached while liblustre testing
 605 Details    : ulnds/socklnd must close open socket after unsuccessful
 606              'say hello' attempt.
 607
 608 Severity   : major
 609 Bugzilla   : 13482
 610 Description: build error
 611 Details    : fix typos in gmlnd, ptllnd and viblnd
 612
 613 ------------------------------------------------------------------------------
 614
 615 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
 616        * version 1.6.1
 617        * Support for networks:
 618         socklnd   - kernels up to 2.6.16,
 619         qswlnd    - Qsnet kernel modules 5.20 and later,
 620         openiblnd - IbGold 1.8.2,
 621         o2iblnd   - OFED 1.1 and 1.2
 622         viblnd    - Voltaire ibhost 3.4.5 and later,
 623         ciblnd    - Topspin 3.2.0,
 624         iiblnd    - Infiniserv 3.3 + PathBits patch,
 625         gmlnd     - GM 2.1.22 and later,
 626         mxlnd     - MX 1.2.1 or later,
 627         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 628
 629 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
 630        * version 1.4.11
 631        * Support for networks:
 632         socklnd   - kernels up to 2.6.16,
 633         qswlnd    - Qsnet kernel modules 5.20 and later,
 634         openiblnd - IbGold 1.8.2,
 635         o2iblnd   - OFED 1.1
 636         viblnd    - Voltaire ibhost 3.4.5 and later,
 637         ciblnd    - Topspin 3.2.0,
 638         iiblnd    - Infiniserv 3.3 + PathBits patch,
 639         gmlnd     - GM 2.1.22 and later,
 640         mxlnd     - MX 1.2.1 or later,
 641         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 642
 643 Severity   : minor
 644 Bugzilla   : 13288
 645 Description: Initialize cpumask before use
 646
 647 Severity   : major
 648 Bugzilla   : 12014
 649 Description: ASSERTION failures when upgrading to the patchless zero-copy
 650              socklnd
 651 Details    : This bug affects "rolling upgrades", causing an inconsistent
 652              protocol version negotiation and subsequent assertion failure
 653              during rolling upgrades after the first wave of upgrades.
 654
 655 Severity   : minor
 656 Bugzilla   : 11223
 657 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
 658              logged instead of creating "console chatter" when a lustre
 659              timeout races with normal RPC completion.
 660
 661 Severity   : minor
 662 Details    : lnet_clear_peer_table can wait forever if user forgets to
 663              clear a lazy portal.
 664
 665 Severity   : minor
 666 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
 667
 668 Severity   : major
 669 Bugzilla   : 10916
 670 Description: added LNET self test
 671 Details    : landing b_self_test
 672
 673 Severity   : minor
 674 Frequency  : rare
 675 Bugzilla   : 12227
 676 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
 677              struct timeval.
 678 Details    : do_div() macro is used incorrectly.
 679
 680 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
 681
 682 Severity   : normal
 683 Bugzilla   : 11680
 684 Description: make panic on lbug configurable
 685
 686 Severity   : major
 687 Bugzilla   : 12316
 688 Description: Add OFED1.2 support to o2iblnd
 689 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
 690              are installed (other than kernel's in-tree infiniband), there
 691              could be some problem while insmod o2iblnd (mismatch CRC of
 692              ib_* symbols).
 693              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
 694              this link provides solution:
 695              https://bugs.openfabrics.org/show_bug.cgi?id=355
 696              if extra Module.symvers is not supported in kernel, we will
 697              have to run the script in bug 12316 to update
 698              $LINUX/module.symvers before building o2iblnd.
 699              More details about this are in bug 12316.
 700
 701 ------------------------------------------------------------------------------
 702
 703 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
 704        * version 1.4.10 / 1.6.0
 705        * Support for networks:
 706         socklnd   - kernels up to 2.6.16,
 707         qswlnd    - Qsnet kernel modules 5.20 and later,
 708         openiblnd - IbGold 1.8.2,
 709         o2iblnd   - OFED 1.1,
 710         viblnd    - Voltaire ibhost 3.4.5 and later,
 711         ciblnd    - Topspin 3.2.0,
 712         iiblnd    - Infiniserv 3.3 + PathBits patch,
 713         gmlnd     - GM 2.1.22 and later,
 714         mxlnd     - MX 1.2.1 or later,
 715         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 716
 717 Severity   : minor
 718 Frequency  : rare
 719 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
 720              possibly accessed in kptllnd_shutdown. Ptllnd should init
 721              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
 722
 723 Severity   : normal
 724 Frequency  : rare
 725 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
 726
 727 Severity   : minor
 728 Frequency  : rare
 729 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
 730
 731 Severity   : minor
 732 Frequency  : rare
 733 Description: the_lnet.ln_finalizing was not set when the current thread is
 734              about to complete messages. It only affects multi-threaded
 735              user space LNet.
 736
 737 Severity   : normal
 738 Frequency  : rare
 739 Bugzilla   : 11472
 740 Description: Changed the default kqswlnd ntxmsg=512
 741
 742 Severity   : major
 743 Frequency  : rare
 744 Bugzilla   : 12458
 745 Description: Assertion failure in kernel ptllnd caused by posting passive
 746              bulk buffers before connection establishment complete.
 747
 748 Severity   : major
 749 Frequency  : rare
 750 Bugzilla   : 12445
 751 Description: A race in kernel ptllnd between deleting a peer and posting
 752              new communications for it could hang communications -
 753              manifesting as "Unexpectedly long timeout" messages.
 754
 755 Severity   : major
 756 Frequency  : rare
 757 Bugzilla   : 12432
 758 Description: Kernel ptllnd lock ordering issue could hang a node.
 759
 760 Severity   : major
 761 Frequency  : rare
 762 Bugzilla   : 12016
 763 Description: node crash on socket teardown race
 764
 765 Severity   : minor
 766 Frequency  : 'lctl peer_list' issued on a mx net
 767 Bugzilla   : 12237
 768 Description: Enable lctl's peer_list for MXLND
 769
 770 Severity   : major
 771 Frequency  : after Ptllnd timeouts and portals congestion
 772 Bugzilla   : 11659
 773 Description: Credit overflows
 774 Details    : This was a bug in ptllnd connection establishment.  The fix
 775              implements better peer stamps to disambiguate connection
 776              establishment and ensure both peers enter the credit flow
 777              state machine consistently.
 778
 779 Severity   : major
 780 Frequency  : rare
 781 Bugzilla   : 11394
 782 Description: kptllnd didn't propagate some network errors up to LNET
 783 Details    : This bug was spotted while investigating 11394.  The fix
 784              ensures network errors on sends and bulk transfers are
 785              propagated to LNET/lustre correctly.
 786
 787 Severity   : enhancement
 788 Bugzilla   : 10316
 789 Description: Fixed console chatter in case of -ETIMEDOUT.
 790
 791 Severity   : enhancement
 792 Bugzilla   : 11684
 793 Description: Added D_NETTRACE for recording network packet history
 794              (initially only for ptllnd).  Also a separate userspace
 795              ptllnd facility to gather history which should really be
 796              covered by D_NETTRACE too, if only CDEBUG recorded history in
 797              userspace.
 798
 799 Severity   : major
 800 Frequency  : rare
 801 Bugzilla   : 11616
 802 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
 803 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
 804              callback can occur before a connection has actually been
 805              established.  This caused an assertion failure previously.
 806
 807 Severity   : enhancement
 808 Bugzilla   : 11094
 809 Description: Multiple instances for o2iblnd
 810 Details    : Allow multiple instances of o2iblnd to enable networking over
 811              multiple HCAs and routing between them.
 812
 813 Severity   : major
 814 Bugzilla   : 11201
 815 Description: lnet deadlock in router_checker
 816 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
 817              into BH locks to eliminate potential deadlock caused by
 818              ksocknal_data_ready() preempting code holding these locks.
 819
 820 Severity   : major
 821 Bugzilla   : 11126
 822 Description: Millions of failed socklnd connection attempts cause a very slow FS
 823 Details    : added a new route flag ksnr_scheduled to distinguish from
 824              ksnr_connecting, so that a peer connection request is only turned
 825              down for race concerns when an active connection to the same peer
 826              is under progress (instead of just being scheduled).
 827
 828 ------------------------------------------------------------------------------
 829
 830 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
 831        * version 1.4.9
 832        * Support for networks:
 833         socklnd   - kernels up to 2.6.16
 834         qswlnd    - Qsnet kernel modules 5.20 and later
 835         openiblnd - IbGold 1.8.2
 836         o2iblnd   - OFED 1.1
 837         viblnd    - Voltaire ibhost 3.4.5 and later
 838         ciblnd    - Topspin 3.2.0
 839         iiblnd    - Infiniserv 3.3 + PathBits patch
 840         gmlnd     - GM 2.1.22 and later
 841         mxlnd     - MX 1.2.1 or later
 842         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
 843        * bug fixes
 844
 845 Severity   : major on XT3
 846 Bugzilla   : none
 847 Description: libcfs overwrites /proc/sys/portals
 848 Details    : libcfs created a symlink from /proc/sys/portals to
 849              /proc/sys/lnet for backwards compatibility.  This is no
 850              longer required and makes the Cray portals /proc variables
 851              inaccessible.
 852
 853 Severity   : minor
 854 Bugzilla   : 11312
 855 Description: OFED FMR API change
 856 Details    : This changes parameter usage to reflect a change in
 857              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
 858              that FMR support is only used in experimental versions of the
 859              o2iblnd - this change does not affect standard usage at all.
 860
 861 Severity   : enhancement
 862 Bugzilla   : 11245
 863 Description: new ko2iblnd module parameter: ib_mtu
 864 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
 865              HCAs.  You can avoid this problem by setting the MTU to 1024
 866              using this module parameter.
 867
 868 Severity   : enhancement
 869 Bugzilla   : 11118/11620
 870 Description: ptllnd small request message buffer alignment fix
 871 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
 872              Round up small message size on sends in case this option
 873              is not supported.  11620 was a defect in the initial
 874              implementation which effectively asserted all peers had to be
 875              running the correct protocol version which was fixed by always
 876              NAK-ing such requests and handling any misalignments they
 877              introduce.
 878
 879 Severity   : minor
 880 Frequency  : rarely
 881 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
 882              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
 883              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
 884
 885 Severity   : enhancement
 886 Bugzilla   : 11250
 887 Description: Patchless ZC(zero copy) socklnd
 888 Details    : New protocol for socklnd, socklnd can support zero copy without
 889              kernel patch, it's compatible with old socklnd. Checksum is
 890              moved from tunables to modparams.
 891
 892 Severity   : minor
 893 Frequency  : rarely
 894 Description: When ksocknal_del_peer() is called upon a peer whose
 895              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
 896              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
 897
 898 Severity   : normal
 899 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
 900 Bugzilla   : 11318
 901 Description: In lnet_match_blocked_msg(), md can be used without holding a
 902              ref on it.
 903
 904 Severity   : minor
 905 Frequency  : very rarely
 906 Bugzilla   : 10727
 907 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
 908              If connd connects a route which has been closed by
 909              ksocknal_shutdown(), ksocknal_create_routes() may create new
 910              routes which hold references on the peer, causing shutdown
 911              process to wait for peer to disappear forever.
 912
 913 Severity   : enhancement
 914 Bugzilla   : 11234
 915 Description: Dump XT3 portals traces on kptllnd timeout
 916 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
 917              dump Cray portals debug traces to a file.  The kptllnd module
 918              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
 919              is the basename of the dump file.
 920
 921 Severity   : major
 922 Frequency  : infrequent
 923 Bugzilla   : 11308
 924 Description: kernel ptllnd fix bug in connection re-establishment
 925 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
 926              matchbits and/or violate the credit flow protocol when trying
 927              to re-establish a connection with a peer after an error or
 928              timeout.
 929
 930 Severity   : enhancement
 931 Bugzilla   : 10316
 932 Description: Allow /proc/sys/lnet/debug to be set symbolically
 933 Details    : Allow debug and subsystem debug values to be read/set by name
 934              in addition to numerically, for ease of use.
 935
 936 Severity   : normal
 937 Frequency  : only in configurations with LNET routers
 938 Bugzilla   : 10316
 939 Description: routes automatically marked down and recovered
 940 Details    : In configurations with LNET routers if a router fails routers
 941              now actively try to recover routes that are down, unless they
 942              are marked down by an administrator.
 943
 944 ------------------------------------------------------------------------------
 945
 946 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
 947
 948 Severity   : critical
 949 Frequency  : very rarely, in configurations with LNET routers and TCP
 950 Bugzilla   : 10889
 951 Description: incorrect data written to files on OSTs
 952 Details    : In certain high-load conditions incorrect data may be written
 953              to files on the OST when using TCP networks.
 954
 955 ------------------------------------------------------------------------------
 956
 957 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
 958         * version 1.4.7
 959         - rework CDEBUG messages rate-limiting mechanism b=10375
 960         - add per-socket tunables for socklnd if the kernel is patched b=10327
 961
 962 ------------------------------------------------------------------------------
 963
 964 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
 965         * version 1.4.6
 966         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
 967         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
 968         - quiet LNET startup LNI message for liblustre b=10128
 969         - Better console error messages if 'ip2nets' can't match an IP address
 970         - Fixed overflow/use-before-set bugs in linux-time.h
 971         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
 972         - LNET teardown failed an assertion about the route table being empty
 973         - Fixed a crash in LNetEQPoll(<invalid handle>)
 974         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
 975         - improve debug message for liblustre/Catamount nodes (b=10116)
 976
 977 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 978         * Configuration change for the XT3
 979              The PTLLND is now used to run Lustre over Portals on the XT3.
 980              The configure option(s) --with-cray-portals are no longer
 981              used.  Rather --with-portals=<path-to-portals-includes> is
 982              used to enable building on the XT3.  In addition to enable
 983              XT3 specific features the option --enable-cray-xt3 must be
 984              used.
 985
 986 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
 987         * Portals has been removed, replaced by LNET.
 988            LNET is new networking infrastructure for Lustre, it includes a
 989            reorganized network configuration mode (see the user
 990            documentation for full details) as well as support for routing
 991            between different network fabrics.  Lustre Networking Devices
 992            (LNDS) for the supported network fabrics have also been created
 993            for this new infrastructure.
 994
 995 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
 996        * version 1.4.4
 997        * bug fixes
 998
 999 Severity   : major
1000 Frequency  : rare (large Voltaire clusters only)
1001 Bugzilla   : 6993
1002 Description: the default number of reserved transmit descriptors was too low
1003              for some large clusters
1004 Details    : As a workaround, the number was increased.  A proper fix includes
1005              a run-time tunable.
1006
1007 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
1008        * version 1.4.3
1009        * bug fixes
1010
1011 Severity   : major
1012 Frequency  : occasional (large-scale events, cluster reboot, network failure)
1013 Bugzilla   : 6411
1014 Description: too many error messages on console obscure actual problem and
1015              can slow down/panic server, or cause recovery to fail repeatedly
1016 Details    : enable rate-limiting of console error messages, and some messages
1017              that were console errors now only go to the kernel log
1018
1019 Severity   : enhancement
1020 Bugzilla   : 1693
1021 Description: add /proc/sys/portals/catastrophe entry which will report if
1022              that node has previously LBUGged
1023
1024 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
1025        * bugs
1026         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
1027
1028 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
1029        * bugs
1030         - handle error return code in kranal_check_fma_rx() (5915,6054)
1031
1032 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
1033        * miscellania
1034         - update vibnal (Voltaire IB NAL)
1035         - update gmnal (Myrinet NAL), gmnalid
1036
1037 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
1038
1039         * Landed portals:b_port_step as follows...
1040
1041           - removed CFS_DECL_SPIN*
1042             just use 'spinlock_t' and initialise with spin_lock_init()
1043
1044           - removed CFS_DECL_MUTEX*
1045             just use 'struct semaphore' and initialise with init_mutex()
1046
1047           - removed CFS_DECL_RWSEM*
1048             just use 'struct rw_semaphore' and initialise with init_rwsem()
1049
1050           - renamed cfs_sleep_chan -> cfs_waitq
1051                     cfs_sleep_link -> cfs_waitlink
1052
1053           - fixed race in linux version of arch-independent socknal
1054             (the ENOMEM/EAGAIN decision).
1055
1056           - Didn't fix problems in Darwin version of arch-independent socknal
1057             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
1058
1059           - removed libcfs types from non-socknal header files (only some types
1060             in the header files had been changed; the .c files hadn't been
1061             updated at all).