Whamcloud - gitweb
d0a0f50242c354185502f4af900df71bf2f4eaf9
[fs/lustre-release.git] / lnet / ChangeLog
1 tbd  Sun Microsystems, Inc.
2         * version 1.8.1
3         * Support for networks:
4          socklnd   - any kernel supported by Lustre,
5          qswlnd    - Qsnet kernel modules 5.20 and later,
6          openiblnd - IbGold 1.8.2,
7          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
8          viblnd    - Voltaire ibhost 3.4.5 and later,
9          ciblnd    - Topspin 3.2.0,
10          iiblnd    - Infiniserv 3.3 + PathBits patch,
11          gmlnd     - GM 2.1.22 and later,
12          mxlnd     - MX 1.2.1 or later,
13          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
14
15 Severity   :
16 Bugzilla   :
17 Description:
18 Details    :
19
20 Severity   : enhancement
21 Bugzilla   : 14132
22 Description: acceptor.c cleanup
23 Details    : Code duplication in acceptor.c for the cases of kernel and
24              user-space removed. User-space libcfs tcpip primitives
25              uniformed to have prototypes similar to kernel ones. Minor
26              cosmetic changes in usocklnd to use cfs_socket_t as
27              representation of socket.
28
29 Severity   : minor
30 Bugzilla   : 11245
31 Description: IB path MTU mistakenly set to 1st path MTU when ib_mtu is off
32 Details    : See comment 46 in bug 11245 for details - it's indeed a bug
33              introduced by the original 11245 fix.
34
35 Severity   : minor
36 Bugzilla   : 15984
37 Description: uptllnd credit overflow fix
38 Details    : kptl_msg_t::ptlm_credits could be overflown by uptllnd since
39              it is only a __u8.
40
41 Severity   : major
42 Bugzilla   : 14634
43 Description: socklnd protocol version 3
44 Details    : With current protocol V2, connections on router can be
45              blocked and can't receive any incoming messages when there is no
46              more router buffer, so ZC-ACK can't be handled (LNet message
47              can't be finalized) and will cause deadlock on router.
48              Protocol V3 has a dedicated connection for emergency messages
49              like ZC-ACK to router, messages on this dedicated connection
50              don't need any credit so will never be blocked. Also, V3 can send
51              keepalive ping in specified period for router healthy checking.
52
53 -------------------------------------------------------------------------------
54
55 12-31-2008  Sun Microsystems, Inc.
56         * version 1.8.0
57         * Support for networks:
58          socklnd   - any kernel supported by Lustre,
59          qswlnd    - Qsnet kernel modules 5.20 and later,
60          openiblnd - IbGold 1.8.2,
61          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
62          viblnd    - Voltaire ibhost 3.4.5 and later,
63          ciblnd    - Topspin 3.2.0,
64          iiblnd    - Infiniserv 3.3 + PathBits patch,
65          gmlnd     - GM 2.1.22 and later,
66          mxlnd     - MX 1.2.1 or later,
67          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
68
69 Severity   : major
70 Bugzilla   : 15983
71 Description: workaround for OOM from o2iblnd
72 Details    : OFED needs allocate big chunk of memory for QP while creating
73              connection for o2iblnd, OOM can happen if no such a contiguous
74              memory chunk.
75              QP size is decided by concurrent_sends and max_fragments of
76              o2iblnd, now we permit user to specify smaller value for
77              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
78              will decrease memory block size required by creating QP.
79
80 Severity   : major
81 Bugzilla   : 15093
82 Description: Support Zerocopy receive of Chelsio device
83 Details    : Chelsio driver can support zerocopy for iov[1] if it's
84              contiguous and large enough.
85
86 Severity   : normal
87 Bugzilla   : 13490
88 Description: fix credit flow deadlock in uptllnd
89
90 Severity   : normal
91 Bugzilla   : 16308
92 Description: finalize network operation in reasonable time
93 Details    : conf-sanity test_32a couldn't stop ost and mds because it
94              tried to access non-existent peer and tcp connect took
95              quite long before timing out.
96
97 Severity   : major
98 Bugzilla   : 16338
99 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
100 Details    : Lost reference on conn prevents peer from being destroyed, which
101              could prevent new peer creation if peer count has reached upper
102              limit.
103
104 Severity   : normal
105 Bugzilla   : 16102
106 Description: LNET Selftest results in Soft lockup on OSS CPU
107 Details    : only hits when 8 or more o2ib clients involved and a session is
108              torn down with 'lst end_session' without preceeding 'lst stop'.
109
110 Severity   : minor
111 Bugzilla   : 16321
112 Description: concurrent_sends in IB LNDs should not be changeable at run time
113 Details    : concurrent_sends in IB LNDs should not be changeable at run time
114
115 Severity   : normal
116 Bugzilla   : 15272
117 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
118 Details    : only hits under out-of-memory situations
119
120
121 -------------------------------------------------------------------------------
122
123 2009-02-07 Sun Microsystems, Inc.
124         * version 1.6.7
125         * Support for networks:
126          socklnd   - any kernel supported by Lustre,
127          qswlnd    - Qsnet kernel modules 5.20 and later,
128          openiblnd - IbGold 1.8.2,
129          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
130          viblnd    - Voltaire ibhost 3.4.5 and later,
131          ciblnd    - Topspin 3.2.0,
132          iiblnd    - Infiniserv 3.3 + PathBits patch,
133          gmlnd     - GM 2.1.22 and later,
134          mxlnd     - MX 1.2.1 or later,
135          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
136 Severity   : major
137 Bugzilla   : 15983
138 Description: workaround for OOM from o2iblnd
139 Details    : OFED needs allocate big chunk of memory for QP while creating
140              connection for o2iblnd, OOM can happen if no such a contiguous
141              memory chunk.
142              QP size is decided by concurrent_sends and max_fragments of
143              o2iblnd, now we permit user to specify smaller value for
144              concurrent_sends of o2iblnd(i.e: concurrent_sends=7), which
145              will decrease memory block size required by creating QP.
146
147 Severity   : major
148 Bugzilla   : 15093
149 Description: Support Zerocopy receive of Chelsio device
150 Details    : Chelsio driver can support zerocopy for iov[1] if it's
151              contiguous and large enough.
152 Severity   : normal
153 Bugzilla   : 13490
154 Description: fix credit flow deadlock in uptllnd
155
156 Severity   : normal
157 Bugzilla   : 16308
158 Description: finalize network operation in reasonable time
159 Details    : conf-sanity test_32a couldn't stop ost and mds because it
160              tried to access non-existent peer and tcp connect took
161              quite long before timing out.
162
163 Severity   : major
164 Bugzilla   : 16338
165 Description: Continuous recovery on 33 of 413 nodes after lustre oss failure
166 Details    : Lost reference on conn prevents peer from being destroyed, which
167              could prevent new peer creation if peer count has reached upper
168              limit.
169
170 Severity   : normal
171 Bugzilla   : 16102
172 Description: LNET Selftest results in Soft lockup on OSS CPU
173 Details    : only hits when 8 or more o2ib clients involved and a session is
174              torn down with 'lst end_session' without preceeding 'lst stop'.
175
176 Severity   : minor
177 Bugzilla   : 16321
178 Description: concurrent_sends in IB LNDs should not be changeable at run time
179 Details    : concurrent_sends in IB LNDs should not be changeable at run time
180
181 -------------------------------------------------------------------------------
182
183 11-03-2008  Sun Microsystems, Inc.
184         * version 1.6.6
185         * Support for networks:
186          socklnd   - any kernel supported by Lustre,
187          qswlnd    - Qsnet kernel modules 5.20 and later,
188          openiblnd - IbGold 1.8.2,
189          o2iblnd   - OFED 1.1, 1.2.0, 1.2.5, and 1.3
190          viblnd    - Voltaire ibhost 3.4.5 and later,
191          ciblnd    - Topspin 3.2.0,
192          iiblnd    - Infiniserv 3.3 + PathBits patch,
193          gmlnd     - GM 2.1.22 and later,
194          mxlnd     - MX 1.2.1 or later,
195          ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
196
197 Severity   : normal
198 Bugzilla   : 15272
199 Description: ptl_send_rpc hits LASSERT when ptl_send_buf fails
200 Details    : only hits under out-of-memory situations
201
202
203 -------------------------------------------------------------------------------
204
205
206 04-26-2008  Sun Microsystems, Inc.
207        * version 1.6.5
208        * Support for networks:
209         socklnd   - any kernel supported by Lustre,
210         qswlnd    - Qsnet kernel modules 5.20 and later,
211         openiblnd - IbGold 1.8.2,
212         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
213         viblnd    - Voltaire ibhost 3.4.5 and later,
214         ciblnd    - Topspin 3.2.0,
215         iiblnd    - Infiniserv 3.3 + PathBits patch,
216         gmlnd     - GM 2.1.22 and later,
217         mxlnd     - MX 1.2.1 or later,
218         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
219
220 Severity   : normal
221 Bugzilla   : 14322
222 Description: excessive debug information removed
223 Details    : excessive debug information removed
224
225 Severity   : major
226 Bugzilla   : 15712
227 Description: ksocknal_create_conn() hit ASSERTION during connection race
228 Details    : ksocknal_create_conn() hit ASSERTION during connection race
229
230 Severity   : major
231 Bugzilla   : 13983
232 Description: ksocknal_send_hello() hit ASSERTION while connecting race
233 Details    : ksocknal_send_hello() hit ASSERTION while connecting race
234
235 Severity   : major
236 Bugzilla   : 14425
237 Description: o2iblnd/ptllnd credit deadlock in a routed config.
238 Details    : o2iblnd/ptllnd credit deadlock in a routed config.
239
240 Severity   : normal
241 Bugzilla   : 14956
242 Description: High load after starting lnet
243 Details    : gmlnd should sleep in rx thread in interruptible way. Otherwise,
244              uptime utility reports high load that looks confusingly.
245
246 Severity   : normal
247 Bugzilla   : 14838
248 Description: ksocklnd fails to establish connection if accept_port is high
249 Details    : PID remapping must not be done for active (outgoing) connections
250
251 --------------------------------------------------------------------------------
252
253 2008-01-11  Sun Microsystems, Inc.
254        * version 1.4.12
255        * Support for networks:
256         socklnd   - any kernel supported by Lustre,
257         qswlnd    - Qsnet kernel modules 5.20 and later,
258         openiblnd - IbGold 1.8.2,
259         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5
260         viblnd    - Voltaire ibhost 3.4.5 and later,
261         ciblnd    - Topspin 3.2.0,
262         iiblnd    - Infiniserv 3.3 + PathBits patch,
263         gmlnd     - GM 2.1.22 and later,
264         mxlnd     - MX 1.2.1 or later,
265         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
266 Severity   : normal
267 Bugzilla   : 14387
268 Description: liblustre network error
269 Details    : liblustre clients should understand LNET_ACCEPT_PORT environment
270              variable even if they don't start lnet acceptor.
271
272 Severity   : normal
273 Bugzilla   : 14300
274 Description: Strange message from lnet (Ignoring prediction from the future)
275 Details    : Incorrect calculation of peer's last_alive value in ksocklnd
276
277 --------------------------------------------------------------------------------
278
279 2007-12-07         Cluster File Systems, Inc. <info@clusterfs.com>
280        * version 1.6.4
281        * Support for networks:
282         socklnd   - any kernel supported by Lustre,
283         qswlnd    - Qsnet kernel modules 5.20 and later,
284         openiblnd - IbGold 1.8.2,
285         o2iblnd   - OFED 1.1 and 1.2.0, 1.2.5.
286         viblnd    - Voltaire ibhost 3.4.5 and later,
287         ciblnd    - Topspin 3.2.0,
288         iiblnd    - Infiniserv 3.3 + PathBits patch,
289         gmlnd     - GM 2.1.22 and later,
290         mxlnd     - MX 1.2.1 or later,
291         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
292
293 Severity   : normal
294 Bugzilla   : 14238
295 Description: ASSERTION(me == md->md_me) failed in lnet_match_md()
296
297 Severity   : normal
298 Bugzilla   : 12494
299 Description: increase send queue size for ciblnd/openiblnd
300
301 Severity   : normal
302 Bugzilla   : 12302
303 Description: new userspace socklnd
304 Details    : Old userspace tcpnal that resided in lnet/ulnds/socklnd replaced
305              with new one - usocklnd.
306
307 Severity   : enhancement
308 Bugzilla   : 11686
309 Description: Console message flood
310 Details    : Make cdls ratelimiting more tunable by adding several tunable in
311              procfs /proc/sys/lnet/console_{min,max}_delay_centisecs and
312              /proc/sys/lnet/console_backoff.
313
314 --------------------------------------------------------------------------------
315
316 2007-09-27         Cluster File Systems, Inc. <info@clusterfs.com>
317        * version 1.6.3
318        * Support for networks:
319         socklnd   - any kernel supported by Lustre,
320         qswlnd    - Qsnet kernel modules 5.20 and later,
321         openiblnd - IbGold 1.8.2,
322         o2iblnd   - OFED 1.1 and 1.2,
323         viblnd    - Voltaire ibhost 3.4.5 and later,
324         ciblnd    - Topspin 3.2.0,
325         iiblnd    - Infiniserv 3.3 + PathBits patch,
326         gmlnd     - GM 2.1.22 and later,
327         mxlnd     - MX 1.2.1 or later,
328         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
329
330 Severity   : normal
331 Bugzilla   : 12782
332 Description: /proc/sys/lnet has non-sysctl entries
333 Details    : Updating dump_kernel/daemon_file/debug_mb to use sysctl variables
334
335 Severity   : major
336 Bugzilla   : 13236
337 Description: TOE Kernel panic by ksocklnd
338 Details    : offloaded sockets provide their own implementation of sendpage,
339              can't call tcp_sendpage() directly
340
341 Severity   : normal
342 Bugzilla   : 10778
343 Description: kibnal_shutdown() doesn't finish; lconf --cleanup hangs
344 Details    : races between lnd_shutdown and peer creation prevent 
345              lnd_shutdown from finishing.
346
347 Severity   : normal
348 Bugzilla   : 13279
349 Description: open files rlimit 1024 reached while liblustre testing
350 Details    : ulnds/socklnd must close open socket after unsuccessful
351              'say hello' attempt.
352
353 Severity   : major 
354 Bugzilla   : 13482
355 Description: build error
356 Details    : fix typos in gmlnd, ptllnd and viblnd
357
358 ------------------------------------------------------------------------------
359
360 2007-07-30  Cluster File Systems, Inc. <info@clusterfs.com>
361        * version 1.6.1
362        * Support for networks:
363         socklnd   - kernels up to 2.6.16,
364         qswlnd    - Qsnet kernel modules 5.20 and later,
365         openiblnd - IbGold 1.8.2,
366         o2iblnd   - OFED 1.1 and 1.2
367         viblnd    - Voltaire ibhost 3.4.5 and later,
368         ciblnd    - Topspin 3.2.0,
369         iiblnd    - Infiniserv 3.3 + PathBits patch,
370         gmlnd     - GM 2.1.22 and later,
371         mxlnd     - MX 1.2.1 or later,
372         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
373
374 2007-06-21  Cluster File Systems, Inc. <info@clusterfs.com>
375        * version 1.4.11
376        * Support for networks:
377         socklnd   - kernels up to 2.6.16,
378         qswlnd    - Qsnet kernel modules 5.20 and later,
379         openiblnd - IbGold 1.8.2,
380         o2iblnd   - OFED 1.1
381         viblnd    - Voltaire ibhost 3.4.5 and later,
382         ciblnd    - Topspin 3.2.0,
383         iiblnd    - Infiniserv 3.3 + PathBits patch,
384         gmlnd     - GM 2.1.22 and later,
385         mxlnd     - MX 1.2.1 or later,
386         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
387
388 Severity   : minor
389 Bugzilla   : 13288
390 Description: Initialize cpumask before use
391
392 Severity   : major
393 Bugzilla   : 12014
394 Description: ASSERTION failures when upgrading to the patchless zero-copy
395              socklnd 
396 Details    : This bug affects "rolling upgrades", causing an inconsistent
397              protocol version negotiation and subsequent assertion failure
398              during rolling upgrades after the first wave of upgrades.
399
400 Severity   : minor
401 Bugzilla   : 11223
402 Details    : Change "dropped message" CERRORs to D_NETERROR so they are
403              logged instead of creating "console chatter" when a lustre
404              timeout races with normal RPC completion.
405
406 Severity   : minor
407 Details    : lnet_clear_peer_table can wait forever if user forgets to
408              clear a lazy portal.
409
410 Severity   : minor
411 Details    : libcfs_id2str should check pid against LNET_PID_ANY.
412
413 Severity   : major
414 Bugzilla   : 10916
415 Description: added LNET self test
416 Details    : landing b_self_test
417
418 Severity   : minor
419 Frequency  : rare
420 Bugzilla   : 12227
421 Description: cfs_duration_{u,n}sec() wrongly calculate nanosecond part of
422              struct timeval.
423 Details    : do_div() macro is used incorrectly.
424
425 2007-04-23  Cluster File Systems, Inc. <info@clusterfs.com>
426
427 Severity   : normal
428 Bugzilla   : 11680
429 Description: make panic on lbug configurable
430
431 Severity   : major
432 Bugzilla   : 12316
433 Description: Add OFED1.2 support to o2iblnd
434 Details    : o2iblnd depends on OFED's modules, if out-tree OFED's modules
435              are installed (other than kernel's in-tree infiniband), there
436              could be some problem while insmod o2iblnd (mismatch CRC of 
437              ib_* symbols).
438              If extra Module.symvers is supported in kernel (i.e, 2.6.17),
439              this link provides solution:
440              https://bugs.openfabrics.org/show_bug.cgi?id=355
441              if extra Module.symvers is not supported in kernel, we will
442              have to run the script in bug 12316 to update
443              $LINUX/module.symvers before building o2iblnd.
444              More details about this are in bug 12316.
445
446 ------------------------------------------------------------------------------
447
448 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
449        * version 1.4.10 / 1.6.0
450        * Support for networks:
451         socklnd   - kernels up to 2.6.16,
452         qswlnd    - Qsnet kernel modules 5.20 and later,
453         openiblnd - IbGold 1.8.2,
454         o2iblnd   - OFED 1.1,
455         viblnd    - Voltaire ibhost 3.4.5 and later,
456         ciblnd    - Topspin 3.2.0,
457         iiblnd    - Infiniserv 3.3 + PathBits patch,
458         gmlnd     - GM 2.1.22 and later,
459         mxlnd     - MX 1.2.1 or later,
460         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
461         
462 Severity   : minor
463 Frequency  : rare
464 Description: Ptllnd didn't init kptllnd_data.kptl_idle_txs before it could be
465              possibly accessed in kptllnd_shutdown. Ptllnd should init 
466              kptllnd_data.kptl_ptlid2str_lock before calling kptllnd_ptlid2str.
467
468 Severity   : normal
469 Frequency  : rare
470 Description: gmlnd ignored some transmit errors when finalizing lnet messages.
471
472 Severity   : minor
473 Frequency  : rare
474 Description: ptllnd logs a piece of incorrect debug info in kptllnd_peer_handle_hello.
475
476 Severity   : minor
477 Frequency  : rare
478 Description: the_lnet.ln_finalizing was not set when the current thread is
479              about to complete messages. It only affects multi-threaded 
480              user space LNet.
481         
482 Severity   : normal
483 Frequency  : rare
484 Bugzilla   : 11472
485 Description: Changed the default kqswlnd ntxmsg=512
486         
487 Severity   : major
488 Frequency  : rare
489 Bugzilla   : 12458
490 Description: Assertion failure in kernel ptllnd caused by posting passive
491              bulk buffers before connection establishment complete.
492         
493 Severity   : major
494 Frequency  : rare
495 Bugzilla   : 12445
496 Description: A race in kernel ptllnd between deleting a peer and posting
497              new communications for it could hang communications -
498              manifesting as "Unexpectedly long timeout" messages.
499         
500 Severity   : major
501 Frequency  : rare
502 Bugzilla   : 12432
503 Description: Kernel ptllnd lock ordering issue could hang a node.
504         
505 Severity   : major
506 Frequency  : rare
507 Bugzilla   : 12016
508 Description: node crash on socket teardown race
509
510 Severity   : minor
511 Frequency  : 'lctl peer_list' issued on a mx net
512 Bugzilla   : 12237
513 Description: Enable lctl's peer_list for MXLND
514
515 Severity   : major
516 Frequency  : after Ptllnd timeouts and portals congestion
517 Bugzilla   : 11659
518 Description: Credit overflows
519 Details    : This was a bug in ptllnd connection establishment.  The fix
520              implements better peer stamps to disambiguate connection
521              establishment and ensure both peers enter the credit flow
522              state machine consistently.
523
524 Severity   : major
525 Frequency  : rare       
526 Bugzilla   : 11394
527 Description: kptllnd didn't propagate some network errors up to LNET 
528 Details    : This bug was spotted while investigating 11394.  The fix
529              ensures network errors on sends and bulk transfers are
530              propagated to LNET/lustre correctly.
531
532 Severity   : enhancement
533 Bugzilla   : 10316
534 Description: Fixed console chatter in case of -ETIMEDOUT.
535
536 Severity   : enhancement
537 Bugzilla   : 11684
538 Description: Added D_NETTRACE for recording network packet history
539              (initially only for ptllnd).  Also a separate userspace
540              ptllnd facility to gather history which should really be
541              covered by D_NETTRACE too, if only CDEBUG recorded history in
542              userspace.
543
544 Severity   : major
545 Frequency  : rare       
546 Bugzilla   : 11616
547 Description: o2iblnd handle early RDMA_CM_EVENT_DISCONNECTED.
548 Details    : If the fabric is lossy, an RDMA_CM_EVENT_DISCONNECTED
549              callback can occur before a connection has actually been
550              established.  This caused an assertion failure previously.
551
552 Severity   : enhancement
553 Bugzilla   : 11094
554 Description: Multiple instances for o2iblnd
555 Details    : Allow multiple instances of o2iblnd to enable networking over
556              multiple HCAs and routing between them.
557
558 Severity   : major
559 Bugzilla   : 11201
560 Description: lnet deadlock in router_checker
561 Details    : turned ksnd_connd_lock, ksnd_reaper_lock, and ksock_net_t:ksnd_lock
562              into BH locks to eliminate potential deadlock caused by
563              ksocknal_data_ready() preempting code holding these locks.
564
565 Severity   : major
566 Bugzilla   : 11126
567 Description: Millions of failed socklnd connection attempts cause a very slow FS
568 Details    : added a new route flag ksnr_scheduled to distinguish from
569              ksnr_connecting, so that a peer connection request is only turned
570              down for race concerns when an active connection to the same peer
571              is under progress (instead of just being scheduled).
572
573 ------------------------------------------------------------------------------
574
575 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
576        * version 1.4.9
577        * Support for networks:
578         socklnd   - kernels up to 2.6.16
579         qswlnd    - Qsnet kernel modules 5.20 and later
580         openiblnd - IbGold 1.8.2
581         o2iblnd   - OFED 1.1
582         viblnd    - Voltaire ibhost 3.4.5 and later
583         ciblnd    - Topspin 3.2.0
584         iiblnd    - Infiniserv 3.3 + PathBits patch
585         gmlnd     - GM 2.1.22 and later
586         mxlnd     - MX 1.2.1 or later
587         ptllnd    - Portals 3.3 / UNICOS/lc 1.5.x, 2.0.x
588        * bug fixes
589
590 Severity   : major on XT3
591 Bugzilla   : none
592 Description: libcfs overwrites /proc/sys/portals
593 Details    : libcfs created a symlink from /proc/sys/portals to
594              /proc/sys/lnet for backwards compatibility.  This is no
595              longer required and makes the Cray portals /proc variables
596              inaccessible.
597
598 Severity   : minor
599 Bugzilla   : 11312
600 Description: OFED FMR API change
601 Details    : This changes parameter usage to reflect a change in
602              ib_fmr_pool_map_phys() between OFED 1.0 and OFED 1.1.  Note
603              that FMR support is only used in experimental versions of the
604              o2iblnd - this change does not affect standard usage at all.
605
606 Severity   : enhancement
607 Bugzilla   : 11245
608 Description: new ko2iblnd module parameter: ib_mtu
609 Details    : the default IB MTU of 2048 performs badly on 23108 Tavor
610              HCAs.  You can avoid this problem by setting the MTU to 1024
611              using this module parameter.
612
613 Severity   : enhancement
614 Bugzilla   : 11118/11620
615 Description: ptllnd small request message buffer alignment fix
616 Details    : Set the PTL_MD_LOCAL_ALIGN8 option on small message receives.
617              Round up small message size on sends in case this option
618              is not supported.  11620 was a defect in the initial
619              implementation which effectively asserted all peers had to be
620              running the correct protocol version which was fixed by always
621              NAK-ing such requests and handling any misalignments they
622              introduce.
623
624 Severity   : minor
625 Frequency  : rarely
626 Description: When kib(nal|lnd)_del_peer() is called upon a peer whose
627              ibp_tx_queue is not empty, kib(nal|lnd)_destroy_peer()'s
628              'LASSERT(list_empty(&peer->ibp_tx_queue))' will fail.
629
630 Severity   : enhancement
631 Bugzilla   : 11250
632 Description: Patchless ZC(zero copy) socklnd
633 Details    : New protocol for socklnd, socklnd can support zero copy without
634              kernel patch, it's compatible with old socklnd. Checksum is 
635              moved from tunables to modparams.
636
637 Severity   : minor
638 Frequency  : rarely
639 Description: When ksocknal_del_peer() is called upon a peer whose
640              ksnp_tx_queue is not empty, ksocknal_destroy_peer()'s
641              'LASSERT(list_empty(&peer->ksnp_tx_queue))' will fail.
642
643 Severity   : normal
644 Frequency  : when ptlrpc is under heavy use and runs out of request buffer
645 Bugzilla   : 11318
646 Description: In lnet_match_blocked_msg(), md can be used without holding a
647              ref on it.
648
649 Severity   : minor
650 Frequency  : very rarely
651 Bugzilla   : 10727
652 Description: If ksocknal_lib_setup_sock() fails, a ref on peer is lost.
653              If connd connects a route which has been closed by
654              ksocknal_shutdown(), ksocknal_create_routes() may create new
655              routes which hold references on the peer, causing shutdown
656              process to wait for peer to disappear forever.
657
658 Severity   : enhancement
659 Bugzilla   : 11234
660 Description: Dump XT3 portals traces on kptllnd timeout
661 Details    : Set the kptllnd module parameter "ptltrace_on_timeout=1" to
662              dump Cray portals debug traces to a file.  The kptllnd module
663              parameter "ptltrace_basename", default "/tmp/lnet-ptltrace",
664              is the basename of the dump file.
665
666 Severity   : major
667 Frequency  : infrequent
668 Bugzilla   : 11308
669 Description: kernel ptllnd fix bug in connection re-establishment
670 Details    : Kernel ptllnd could produce protocol errors e.g. illegal
671              matchbits and/or violate the credit flow protocol when trying
672              to re-establish a connection with a peer after an error or
673              timeout. 
674
675 Severity   : enhancement
676 Bugzilla   : 10316
677 Description: Allow /proc/sys/lnet/debug to be set symbolically
678 Details    : Allow debug and subsystem debug values to be read/set by name
679              in addition to numerically, for ease of use.
680
681 Severity   : normal
682 Frequency  : only in configurations with LNET routers
683 Bugzilla   : 10316
684 Description: routes automatically marked down and recovered
685 Details    : In configurations with LNET routers if a router fails routers
686              now actively try to recover routes that are down, unless they
687              are marked down by an administrator.
688
689 ------------------------------------------------------------------------------
690
691 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
692
693 Severity   : critical
694 Frequency  : very rarely, in configurations with LNET routers and TCP
695 Bugzilla   : 10889
696 Description: incorrect data written to files on OSTs
697 Details    : In certain high-load conditions incorrect data may be written
698              to files on the OST when using TCP networks.
699
700 ------------------------------------------------------------------------------
701
702 2006-07-31  Cluster File Systems, Inc. <info@clusterfs.com>
703         * version 1.4.7
704         - rework CDEBUG messages rate-limiting mechanism b=10375
705         - add per-socket tunables for socklnd if the kernel is patched b=10327
706
707 ------------------------------------------------------------------------------
708
709 2006-02-15  Cluster File Systems, Inc. <info@clusterfs.com>
710         * version 1.4.6
711         - fix use of portals/lnet pid to avoid dropping RPCs b=10074
712         - iiblnd wasn't mapping all memory, resulting in comms errors b=9776
713         - quiet LNET startup LNI message for liblustre b=10128
714         - Better console error messages if 'ip2nets' can't match an IP address
715         - Fixed overflow/use-before-set bugs in linux-time.h
716         - Fixed ptllnd bug that wasn't initialising rx descriptors completely
717         - LNET teardown failed an assertion about the route table being empty
718         - Fixed a crash in LNetEQPoll(<invalid handle>)
719         - Future protocol compatibility work (b_rls146_lnetprotovrsn)
720         - improve debug message for liblustre/Catamount nodes (b=10116)
721
722 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
723         * Configuration change for the XT3
724              The PTLLND is now used to run Lustre over Portals on the XT3.
725              The configure option(s) --with-cray-portals are no longer
726              used.  Rather --with-portals=<path-to-portals-includes> is
727              used to enable building on the XT3.  In addition to enable
728              XT3 specific features the option --enable-cray-xt3 must be
729              used.
730
731 2005-10-10  Cluster File Systems, Inc. <info@clusterfs.com>
732         * Portals has been removed, replaced by LNET.
733            LNET is new networking infrastructure for Lustre, it includes a
734            reorganized network configuration mode (see the user
735            documentation for full details) as well as support for routing
736            between different network fabrics.  Lustre Networking Devices
737            (LNDS) for the supported network fabrics have also been created
738            for this new infrastructure.
739
740 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
741        * version 1.4.4
742        * bug fixes
743
744 Severity   : major
745 Frequency  : rare (large Voltaire clusters only)
746 Bugzilla   : 6993
747 Description: the default number of reserved transmit descriptors was too low
748              for some large clusters
749 Details    : As a workaround, the number was increased.  A proper fix includes
750              a run-time tunable.
751
752 2005-06-02  Cluster File Systems, Inc. <info@clusterfs.com>
753        * version 1.4.3
754        * bug fixes
755
756 Severity   : major
757 Frequency  : occasional (large-scale events, cluster reboot, network failure)
758 Bugzilla   : 6411
759 Description: too many error messages on console obscure actual problem and
760              can slow down/panic server, or cause recovery to fail repeatedly
761 Details    : enable rate-limiting of console error messages, and some messages
762              that were console errors now only go to the kernel log
763
764 Severity   : enhancement
765 Bugzilla   : 1693
766 Description: add /proc/sys/portals/catastrophe entry which will report if
767              that node has previously LBUGged
768
769 2005-04-06  Cluster File Systems, Inc. <info@clusterfs.com>
770        * bugs
771         - update gmnal to use PTL_MTU, fix module refcounting (b=5786)
772
773 2005-04-04  Cluster File Systems, Inc. <info@clusterfs.com>
774        * bugs
775         - handle error return code in kranal_check_fma_rx() (5915,6054)
776
777 2005-02-04  Cluster File Systems, Inc. <info@clusterfs.com>
778        * miscellania
779         - update vibnal (Voltaire IB NAL)
780         - update gmnal (Myrinet NAL), gmnalid
781
782 2005-02-04  Eric Barton  <eeb@bartonsoftware.com>
783
784         * Landed portals:b_port_step as follows...
785
786           - removed CFS_DECL_SPIN* 
787             just use 'spinlock_t' and initialise with spin_lock_init()
788
789           - removed CFS_DECL_MUTEX*
790             just use 'struct semaphore' and initialise with init_mutex()
791
792           - removed CFS_DECL_RWSEM*
793             just use 'struct rw_semaphore' and initialise with init_rwsem()
794
795           - renamed cfs_sleep_chan -> cfs_waitq
796                     cfs_sleep_link -> cfs_waitlink
797
798           - fixed race in linux version of arch-independent socknal
799             (the ENOMEM/EAGAIN decision).
800
801           - Didn't fix problems in Darwin version of arch-independent socknal
802             (resetting socket callbacks, eager ack hack, ENOMEM/EAGAIN decision)
803
804           - removed libcfs types from non-socknal header files (only some types
805             in the header files had been changed; the .c files hadn't been
806             updated at all).