Whamcloud - gitweb
badly clear PG_Writeback bit in ll_ap_completion can produce false
[fs/lustre-release.git] / lustre / ChangeLog
1 tbd  Sun Microsystems, Inc.
2        * version 1.8.0
3        * Support for kernels:
4         2.6.16.54-0.2.5 (SLES 10),
5         2.6.18-53.1.21.el5 (RHEL 5),
6         2.6.22.14 vanilla (kernel.org).
7        * Client support for unpatched kernels:
8         (see http://wiki.lustre.org/index.php?title=Patchless_Client)
9         2.6.16 - 2.6.21 vanilla (kernel.org)
10        * Recommended e2fsprogs version: 1.40.7-sun3
11        * Note that reiserfs quotas are disabled on SLES 10 in this kernel.
12        * RHEL 4 and RHEL 5/SLES 10 clients behaves differently on 'cd' to a
13         removed cwd "./" (refer to Bugzilla 14399).
14
15 Severity   : normal
16 Bugzilla   : 14742
17 Frequency  : rare
18 Description: ASSERTION(CheckWriteback(page,cmd)) failed
19 Details    : badly clear PG_Writeback bit in ll_ap_completion can produce false
20              positive assertion.
21
22 Severity   : enhancement
23 Bugzilla   : 15865
24 Description: Update to RHEL5 kernel-2.6.18-53.1.21.el5.
25
26 Severity   : major
27 Bugzilla   : 15924
28 Description: do not process already freed flock
29 Details    : flock can possibly be freed by another thread before it reaches
30              to ldlm_flock_completion_ast.
31
32 Severity   : normal
33 Bugzilla   : 14480
34 Description: LBUG during stress test
35 Details    : Need properly lock accesses the flock deadlock detection list.
36
37 Severity   : minor
38 Bugzilla   : 15837
39 Description: oops in page fault handler
40 Details    : kernel page fault handler can return two special 'pages' in error case, don't
41              try dereference NOPAGE_SIGBUS and NOPAGE_OMM.
42
43 Severity   : minor
44 Bugzilla   : 15716
45 Description: timeout with invalidate import.
46 Details    : ptlrpcd_check call obd_zombie_impexp_cull and wait request which should be
47              handled by ptlrpcd. This produce long age waiting and -ETIMEOUT
48              ptlrpc_invalidate_import and as result LASSERT.
49
50 Severity   : enhancement
51 Bugzilla   : 15741
52 Description: Update to RHEL5 kernel-2.6.18-53.1.19.el5.
53
54 Severity   : major
55 Bugzilla   : 14134
56 Description: enable MGS and MDT services start separately
57 Details    : add a 'nomgs' option in mount.lustre to enable start a MDT with
58              a co-located MGS without starting the MGS, which is a complement
59              to 'nosvc' mount option.
60
61 Severity   : normal
62 Bugzilla   : 14835
63 Frequency  : after recovery
64 Description: precreate to many object's after del orphan.
65 Details    : del orphan st in oscc last_id == next_id and this triger growing
66              count of precreated objects. Set flag LOW to skip increase count
67              of precreated objects.
68
69 Severity   : normal
70 Bugzilla   : 15139
71 Frequency  : rare, on clear nid stats
72 Description: ASSERTION(client_stat->nid_exp_ref_count == 0)
73 Details    : when clean nid stats sometimes try destroy live entry,
74              and this produce panic in free.
75
76 Severity   : major
77 Bugzilla   : 15575
78 Description: Stack overflow during MDS log replay
79  ease stack pressure by using a thread dealing llog_process.
80
81 Severity   : normal
82 Bugzilla   : 15443
83 Description: wait until IO finished before start new when do lock cancel.
84 Details    : VM protocol want old IO finished before start new, in this case
85              need wait until PG_writeback is cleared until check dirty flag and
86              call writepages in lock cancel callback.
87
88 Severity   : enhancement
89 Bugzilla   : 14929
90 Description: using special macro for print time and cleanup in includes.
91
92 Severity   : normal
93 Bugzilla   : 12888
94 Description: mds_mfd_close() ASSERTION(rc == 0) 
95 Details    : In mds_mfd_close(), we need protect inode's writecount change 
96              within its orphan write semaphore to prevent possible races.
97
98 Severity   : minor
99 Bugzilla   : 14929
100 Description: Obsolete CURRENT_SECONDS and use cfs_time_current_sec() instead.
101
102 Severity   : minor
103 Bugzilla   : 14645
104 Frequency  : rare, on shutdown ost
105 Description: don't hit live lock with umount ost.
106 Details    : shrink_dcache_parent can be in long loop with destroy dentries,
107              use shrink_dcache_sb instead.
108
109 Severity   : minor
110 Bugzilla   : 14949
111 Description: don't panic with use echo client
112 Details    : echo client pass NULL as client nid pointer and this produce null
113              pointer dereference.
114
115 Severity   : normal
116 Bugzilla   : 15278
117 Description: fix build on ppc32
118 Details    : compile code with -m64 flag produce wrong object file for ppc32.
119
120 Severity   : normal
121 Bugzilla   : 12191
122 Description: add message levels for liblustreapi
123
124 Severity   : normal
125 Bugzilla   : 13380
126 Description: fix for occasional failure case of -ENOSPC in recovery-small tests 
127 Details    : Move the 'good_osts' check before the 'total_bavail' check.  This 
128              will result in an -EAGAIN and in the exit call path we call 
129              alloc_rr() which will with increasing aggressiveness attempt to 
130              aquire precreated objects on the minimum number of required OSCs.
131
132 Severity   : major
133 Bugzilla   : 14326
134 Description: Use old size assignment to avoid deadlock
135 Details    : This reverts the changes in bugs 2369 and bug 14138 that introduced
136              the scheduling while holding a spinlock.  We do not need locking 
137              for size in ll_update_inode() because size is only updated from 
138              the MDS for directories or files without objects, so there is no 
139              other place to do the update, and concurrent access to such inodes 
140              are protected by the inode lock.
141
142 Severity   : normal
143 Bugzilla   : 14746
144 Description: resolve "_IOWR redefined" build error on SLES10
145
146 Severity   : normal
147 Bugzilla   : 14763
148 Description: dump the memory debugging after all modules are unloaded to
149              suppress false negative in conf_sanity test 39
150
151 Severity   : enhancement
152 Bugzilla   : 15316
153 Description: build kernel-ib packages for OFED 1.3 in our release cycle
154
155 Severity   : minor
156 Bugzilla   : 13969
157 Frequency  : always
158 Description: fix SLES kernel versioning
159 Details    : the kernel version for our SLES 10 kernel did not include a "-"
160              before the "smp" at the end.  while this was not a problem in
161              general, it did mean that software trying to use the kernel
162              version to try to detect a vendor specific kernel would fail.
163              this was most evident by the OFED build scripts.
164
165 Severity   : normal
166 Bugzilla   : 14803
167 Description: Don't update lov_desc members until making sure they are valid
168 Details    : When updating lov_desc members via proc fs, need fix their
169              validities before doing the real update.
170
171 Severity   : normal
172 Bugzilla   : 15069
173 Description: don't put request into delay list while invalidate in flight.
174 Details    : ptlrpc_delay_request sometimes put in delay list while invalidate
175              import in flight. this produce timeout for invalidate and sometimes
176              can cause stale data.
177
178 Severity   : minor
179 Bugzilla   : 14856
180 Frequency  : on ppc only
181 Description: not convert ost objects for directory because it's not exist.
182 Details    : ll_dir_getstripe assume dirrectory has ost objects but this wrong.
183
184 Severity   : normal
185 Bugzilla   : 12652
186 Description: Add FMODE_EXEC file flag for SLES10 SP1 kernel.
187
188 Severity   : enhancement
189 Bugzilla   : 13397
190 Description: Update to support 2.6.22.14 vanilla kernel.
191
192 Severity   : normal
193 Bugzilla   : 14533
194 Frequency  : rare, on recovery
195 Description: read procfs can produce deadlock in some situation
196 Details    : Holding lprocfs lock which send rpc can produce block for destroy
197              obd objects and this also block reconnect with -EALREADY. This isn't
198              fix all lprocfs bugs - but make it rare.
199
200 Severity   : enhancement
201 Bugzilla   : 15152
202 Description: Update kernel to RHEL5 2.6.18-53.1.14.el5.
203
204 Severity   : major
205 Frequency  : frequent on X2 node
206 Bugzilla   : 15010
207 Description: mdc_set_open_replay_data LBUG
208 Details    : Set replay data for requests that are eligible for replay.
209
210 Severity   : normal
211 Bugzilla   : 14321
212 Description: lustre_mgs: operation 101 on unconnected MGS
213 Details    : When MGC is disconnected from MGS long enough, MGS will evict the
214              MGC, and late on MGC cannot successfully connect to MGS and a lot
215              of the error messages complaining that MGS is not connected.
216
217 Severity   : major
218 Bugzilla   : 15027
219 Frequency  : on network error
220 Description: panic with double free request if network error 
221 Details    : mdc_finish_enqueue is finish request if any network error ocuring,
222              but it's true only for synchronus enqueue, for async enqueue 
223              (via ptlrpcd) this incorrect and ptlrpcd want finish request
224              himself.
225
226 Severity   : enhancement
227 Bugzilla   : 11401
228 Description: client-side metadata stat-ahead during readdir(directory readahead)
229 Details    : perform client-side metadata stat-ahead when the client detects
230              readdir and sequential stat of dir entries therein
231
232 Severity   : major
233 Frequency  : on start mds
234 Bugzilla   : 14884
235 Description: Implement get_info(last_id) in obdfilter.
236
237 Severity   : normal
238 Frequency  : occasional
239 Bugzilla   : 13537
240 Description: Correctly check stale fid, not start epoch if ost not support SOM
241 Details    : open with flag O_CREATE need set old fid in op_fid3 because op_fid2
242              overwrited with new generated fid, but mds can anwer with one of these
243              two fids and both is not stale. setattr incorectly start epoch and
244              assume will be called done_writeting, but without SOM done_writing
245              never called.
246
247 Severity   : major
248 Frequency  : rare, depends on device drivers and load
249 Bugzilla   : 14529
250 Description: MDS or OSS nodes crash due to stack overflow
251 Details    : Code changes in 1.8.0 increased the stack usage of some functions.
252              In some cases, in conjunction with device drivers that use a lot
253              of stack the MDS (or possibly OSS) service threads could overflow
254              the stack.  One change which was identified to consume additional
255              stack has been reworked to avoid the extra stack usage.
256
257 Severity   : normal
258 Frequency  : occasional
259 Bugzilla   : 13730
260 Description: Do not fail import if osc_interpret_create gets -EAGAIN
261 Details    : If osc_interpret_create got -EAGAIN it immediately exits and
262              wakeup oscc_waitq.  After wakeup oscc_wait_for_objects call
263              oscc_has_objects and see OSC has no objests and call
264              oscc_internal_create to resend create request.
265
266 Severity   : enhancement
267 Bugzilla   : 14858
268 Description: Update to SLES10 SP1 latest kernel-2.6.16.54-0.2.5.
269
270 Severity   : enhancement
271 Bugzilla   : 14876
272 Description: Update to RHEL5 latest kernel-2.6.18-53.1.13.el5.
273
274 Severity   : normal
275 Frequency  : very rare
276 Bugzilla   : 3462
277 Description: Fix replay if there is an un-replied request and open
278 Details    : In some cases, older replay request will revert the
279              mcd->mcd_last_xid on MDS which is used to record the client's
280              latest sent request.
281
282 Severity   : enhancement
283 Bugzilla   : 14720
284 Description: Update to RHEL5 latest kernel-2.6.18-53.1.6.el5.
285
286 Severity   : enhancement
287 Bugzilla   : 14482
288 Description: Add rhel5 support to HEAD.
289
290 Serverity  : enhancement
291 Bugzilla   : 14793
292 Description: Update RHEL4 kernel to 2.6.9-67.0.4.
293
294 Severity   : minor
295 Frequency  : rare
296 Bugzilla   : 13196
297 Description: Don't allow skipping OSTs if index has been specified.
298 Details    : Don't allow skipping OSTs if index has been specified, make locking
299              in internal create lots better.
300
301 Severity   : normal
302 Bugzilla   : 12228
303 Description: LBUG in ptlrpc_check_set() bad phase ebc0de00
304 Details    : access to bitfield in structure is always rounded to long
305              and this produce problem with not atomic change any bit.
306
307 Severity   : normal
308 Bugzilla   : 13647
309 Description: Lustre make rpms failed.
310 Details    : Remove ldiskfs spec file to avoids rpmbuild be confused when
311              builds Lustre rpms from tarball.
312
313 Severity   : normal
314 Frequency  : rare on shutdown ost
315 Bugzilla   : 14608
316 Description: If llog cancel was not send before clean_exports phase, this can
317              produce deadlock in llog code.
318 Details    : If llog thread has last reference to obd and call class_import_put
319              this produce deadlock because llog_cleanup_commit_master wait when
320              last llog_commit_thread exited, but this never success because was
321              called from llog_commit_thread.
322
323 Severity   : normal
324 Bugzilla   : 9977
325 Description: allow userland application know is lost one of stripes.
326 Details    : fill lvb_blocks with error code on ost and return it to
327              application if error flag found.
328
329 Severity   : normal
330 Bugzilla   : 14607
331 Description: NULL lov_tgts causing MDS oops
332 Details    : more safe checks for NULL lov_tgts for avoid oops.
333
334 Severity   : enhancement
335 Bugzilla   : 14531
336 Description: Update to RHEL4 latest kernel-2.6.9-67.0.1.EL.
337
338 Severity   : normal
339 Bugzilla   : 13375
340 Descriptoin: make lov_create() will not stuck in obd_statfs_rqset()
341 Details    : If an OST is down the MDS will hang indefinitely in
342              obd_statfs_rqset() waiting for the statfs data. While for
343              MDS QOS usage of statfs, it should not stuck in waiting.
344
345 Severity   : enhancement
346 Bugzilla   : 11842
347 Description: remote_acl support
348 Details    : Support ACL-based permission check for remote user.
349              Support setfacl/getfacl for remote user with the utils
350              "lfs {l,r}{s,g}etfacl" which follow the same parameter format as
351              the system "{s,g}etfacl" utils.
352
353 Severity   : enhancement
354 Bugzilla   : 14288
355 Description: Update to RHEL4 U6 kernel-2.6.9-67.EL.
356
357 Severity   : enhancement
358 Bugzilla   : 14368
359 Description: Update to RHEL5 latest kernel-2.6.18-53.1.4.el5.
360
361 Severity   : normal
362 Bugzilla   : 14136
363 Description: make mgs_setparam() handle fsname containing dash
364 Details    : fsname containing a dash does not work with lctl conf_param
365
366 Severity   : enhancement
367 Bugzilla   : 14388
368 Description: Update to SLES10 SP1 latest kernel-2.6.16.54-0.2.3.
369
370 Severity   : enhancement
371 Bugzilla   : 14289
372 Description: Update to RHEL5 Update-1 kernel 2.6.18-53.el5.
373
374 Severity   : major
375 Bugzilla   : 14260
376 Frequency  : rare, at shutdown
377 Description: access already free / zero obd_namespace.
378 Details    : if client_disconnect_export was called without force flag set,
379              and exist connect request in flight, this can produce access to
380              NULL pointer (or already free pointer) when connect_interpret
381              store ocd flags in obd_namespace.
382
383 Severity   : minor
384 Bugzilla   : 14418
385 Frequency  : only at startup
386 Description: not alloc memory with spinlock held.
387 Details    : allocation memory with GFP_KERNEL can produce sleep deadlock,
388              if any spinlock held.
389
390 Severity   : enhancement
391 Bugzilla   : 12211
392 Description: make lustre randomly fail allocating memory
393 Details    : Make lustre randomly failed allocating memory for testing purpose.
394
395 Severity   : enhancement
396 Bugzilla   : 12702
397 Description: lost problems with lov objid file
398 Details    : Fixes some scability and access to not inited memory problems
399              in work with lov objdid file.
400
401 Severity   : major
402 Frequency  : always
403 Bugzilla   : 14270
404 Description: lfs find does not continue on file error
405 Details    : Continue other files processing when a file/dir is absent.
406
407 Severity   : normal
408 Bugzilla   : 11791
409 Description: Inconsistent usage of lustre_pack_reply()
410 Details    : Standardize the usage of lustre_pack_reply() such that it
411              always generate a CERROR on failure.
412
413 Severity   : major
414 Frequency  : occasional
415 Bugzilla   : 13917
416 Description: MDS hang or stay in waiting lock
417 Details    : If client receive lock with CBPENDING flag ldlm need send lock
418              cancel as separate rpc, to avoid situation when cancel request
419              can't processed due all i/o threads stay in wait lock.
420
421 Severity   : normal
422 Bugzilla   : 13969
423 Description: Update to RHEL5 kernel 2.6.18-8.1.15.el5.
424
425 Severity   : normal
426 Bugzilla   : 13874
427 Description: Update to SLES10 SP1 kernel 2.6.16.53-0.16
428
429 Severity   : normal
430 Bugzilla   : 13889
431 Description: Update to SLES9 kernel-2.6.5-7.287.3.
432
433 Severity   : normal
434 Bugzilla   : 14041
435 Description: Update to RHEL4 latest kernel.
436
437 Severity   : enhancement
438 Bugzilla   : 13690
439 Description: Build SLES10 patchless client fails
440 Details    : The configure was broken by run ./configure with
441              --with-linux-obj=.... argument for patchless client. When the
442              configure use --with-linux-obj, the LINUXINCLUDE= -Iinclude
443              can't search header adequately. Use absolute path such as
444              -I($LINUX)/include instead.
445
446 Severity   : normal
447 Bugzilla   : 13888
448 Description: interrupt oig_wait produce painc on resend.
449 Details    : brw_redo_request can be used for resend requests from ptlrpcd and
450              private set, and this produce situation when rq_ptlrpcd_data not
451              copyed to new allocated request and triggered LBUG on assert
452              req->rq_ptlrpcd_data != NULL. But this member used only for wakeup
453              ptlrpcd set if request is changed and can be safety changed to use
454              rq_set directly.
455
456 Severity   : normal
457 Bugzilla   : 13497
458 Description: LASSERT_{REQ,REP}SWAB macros are buggy
459 Details    : If SWAB_PARANOIA is disabled, the LASSERT_REQSWAB and
460              LASSERT_REPSWAB macros become no-ops, which is incorrect. Drop
461              these macros and replace them with their difinitions instead.
462
463 Severity   : normal
464 Bugzilla   : 13521
465 Description: Update kernel patches for SLES10 2.6.16.53-0.8.
466 Details    : Update which_patch & target file for SLES10 latest kernel.
467
468 Bugzilla   : 12411
469 Description: Remove client patches from SLES 10 kernel.
470 Details    : This causes SLES 10 clients to behave as patchless clients
471              even on a Lustre-patched (server) kernel.
472
473 Severity   : enhancement
474 Bugzilla   : 2262
475 Description: self-adjustable client's lru lists
476 Details    : use adaptive algorithm for managing client cached locks lru
477              lists according to current server load, other client's work
478              pattern, memory activities, etc. Both, server and client
479              side namespaces provide number of proc tunables for controlling
480              things
481
482 Severity   : enhancement
483 Bugzilla   : 13641
484 Description: light-weight GSS support
485 Details    : Support krb5n and krb5a mode, which keep Kerberos 5 authentication
486              and reduce performance overhead.
487
488 Severity   : enhancement
489 Bugzilla   : 11832
490 Description: Linux keyring support
491 Details    : Support using service of Linux keyring for Lustre GSS internal
492              context refresh/cache mechanism.
493
494 Severity   : normal
495 Bugzilla   : 12186
496 Description: Fix errors in lfs documentation
497 Details    : Fixes man pages
498
499 Severity   : normal
500 Bugzilla   : 12606
501 Description: don't use GFP_* in generic Lustre code.
502 Details    : Use cfs_alloc_* functions and CFS_* flags for code portability.
503
504 Severity   : normal
505 Bugzilla   : 12333
506 Description: obdclass is limited by single OBD_ALLOC(idarray)
507 Details    : replace OBD_ALLOC/OBD_FREE with OBD_VMALLOC/OBD_VFREE
508
509 Severity   : normal
510 Bugzilla   : 13006
511 Description: warnings with build patchless client with vanila 2.6.19 and up
512 Details    : change old ctl_table style and replace ctl_table/ctl_table_header
513              with cfs_sysctl_table_t/cfs_sysctl_table_header_t
514
515 Severity   : normal
516 Bugzilla   : 13177
517 Frequency  : Only for SLES
518 Description: sanity_quota fail test_1
519 Details    : There are multiple occurences of $TSTUSR in SLES's /etc/group
520              file, which makes TSTID[2] inunique.
521
522 Severity   : normal
523 Bugzilla   : 13249
524 Frequency  : Only for SLES9
525 Description: Kernel patches for SLES9 2.6.5-7.286 kernel
526 Details    : Update target/ChangeLog/which_patch .
527
528 Severity   : normal
529 Bugzilla   : 13170
530 Frequency  : Only for test_10 in sanity-quota.sh
531 Description: a bug in quota test code
532 Details    : checking a test flag in a wrong place
533
534 Severity   : normal
535 Bugzilla   : 13171
536 Frequency  : Only for test_13 in sanity-quota.sh
537 Description: a bug in quota test script
538 Details    : shouldn't check overfull allocated quota
539
540 Severity   : normal
541 Bugzilla   : 12955
542 Description: jbd statistics
543 Details    : Port older jbd statistics patch for sles10
544
545 Severity   : enhancement
546 Bugzilla   : 11721
547 Description: Add printing inode info into message about error in writepage.
548
549 Severity   : normal
550 Bugzilla   : 11974
551 Frequency  : Rare
552 Description: reply_lock_interpret crash due to race with it and lock cancel.
553 Details    : Do not replay locks that are being cancelled. Do not reference
554              locks by their address during replay, just by their handle.
555
556 Severity   : normal
557 Bugzilla   : 13103
558 Frequency  : When flocks are used.
559 Description: assertion failure in ldlm_cli_enquque_fini for non NULL lock.
560 Details    : Flock locks might destroy just granted lock if it could be merged
561              with another existing flock, this is done in completion handler,
562              so teach ldlm_cli_enquque_fini that this is a valid case for
563              flock locks.
564
565 Severity   : minor
566 Bugzilla   : 13276
567 Frequency  : rare
568 Description: Oops in read and write path when failing to allocate lock.
569 Details    : Check if lock allocation failed and return error back.
570
571 Severity   : normal 
572 Bugzilla   : 11679
573 Description: lstripe command fails for valid OST index
574 Details    : The stripe offset is compared to lov->desc.ld_tgt_count
575              instead of lov->desc.ld_active_tgt_count.
576
577 Severity   : normal
578 Bugzilla   : 12584
579 Description: sanity.sh failed test 103
580 Details    : RHEL mis-interpret setfacl "-X" param, so we won't test setfacl
581              with param "-X".
582
583 Severity   : normal
584 Bugzilla   : 12743
585 Description: df doesn't work properly if diskfs blocksize != 4K
586 Details    : Choose biggest blocksize of OST's as the LOV's blocksize.
587
588 Severity   : normal
589 Bugzilla   : 12836
590 Description: lfs find on -1 stripe looping in lsm_lmm_verify_common()
591 Details    : Avoid lov_verify_lmm_common() on directory with -1 stripe count.
592
593 Severity   : major
594 Bugzilla   : 12932
595 Description: obd_health_check_timeout too short
596 Details    : set obd_health_check_timeout as 1.5x of obd_timeout
597
598 Severity   : normal
599 Bugzilla   : 12192
600 Description: llapi_file_create() does not allow some changes
601 Details    : add llapi_file_open() that allows specifying the mode and
602              open flags, and also returns an open file handle.
603
604 Severity   : normal
605 Bugzilla   : 11248
606 Description: merge and cleanup kernel patches.
607 Details    : Remove mnt_lustre_list in vfs_intent-2.6-rhel4.patch.
608
609 Severity   : normal
610 Bugzilla   : 10657
611 Description: Add journal checksum support.(Kernel part)
612 Details    : The journal checksum feature adds two new flags i.e
613              JBD2_FEATURE_INCOMPAT_ASYNC_COMMIT and
614              JBD2_FEATURE_COMPAT_CHECKSUM. JBD2_FEATURE_CHECKSUM flag
615              indicates that the commit block contains the checksum for
616              the blocks described by the descriptor blocks. Now commit
617              record can be sent to disk without waiting for descriptor
618              blocks to be written to disk. This behavior is controlled
619              using JBD2_FEATURE_ASYNC_COMMIT flag.
620
621 Severity   : minor
622 Bugzilla   : 12446
623 Description: OSS needs mutliple precreate threads
624 Details    : Add ability to start more than one create thread per OSS.
625
626 Severity   : normal
627 Bugzilla   : 13362
628 Description: Sanity.sh test_65k failed: setstripe should have succeeded
629 Details    : execute lfs setstripe on client
630
631 Severity   : major
632 Bugzilla   : 12223
633 Description: mds_obd_create error creating tmp object
634 Details    : When the user sets quota on root, llog will be affected and can't
635              create files and write files.
636
637 Severity   : normal
638 Frequency  : Always on ia64 patchless client, and possibly others.
639 Bugzilla   : 12826
640 Description: Add EXPORT_SYMBOL check for node_to_cpumask symbol.
641 Details    : This allows the patchless client to be loaded on architectures
642              without this export.
643
644 Severity   : normal
645 Bugzilla   : 13039
646 Description: RedHat Update kernel for RHEL5
647 Details    : Add the kernel config file for RHEL5.
648
649 Severity   : normal
650 Bugzilla   : 13039
651 Description: RedHat Update kernel for RHEL5
652 Details    : Modify the kernel config file more closer RHEL5.
653
654 Severity   : normal
655 Bugzilla   : 13360
656 Description: Build failure against Centos5 (RHEL5)
657 Details    : Define PAGE_SIZE when it isn't present.
658
659 Severity   : minor
660 Bugzilla   : 13363
661 Description: test_7 on sanity-quota.sh can't be used on separate machines
662 Details    : add facet to handle it
663
664 Severity   : normal
665 Bugzilla   : 13030
666 Description: "ll_intent_file_open()) lock enqueue: err: -13" with nfs
667 Details    : with NFS, the anon dentry's parent was set to itself in
668              d_alloc_anon(), so in MDS, we use rec->ur_fid1 to find the
669              corresponding dentry other than use rec->ur_name.
670
671 Severity   : enhancement
672 Bugzilla   : 12786
673 Description: lfs setstripe enhancement
674 Details    : Make lfs setstripe understand 'k', 'm' and 'g' for stripe size.
675
676 Severity   : normal
677 Bugzilla   : 12398
678 Description: enable data checksumming by default
679 Details    : enable checksum by default, allow --disable-checksum
680              configure option and "-o nochecksum" mount option.  Checksums
681              can also be disabled at runtime via $LPROC/osc/*/checksum_pages.
682
683 Severity   : normal
684 Bugzilla   : 11802
685 Description: lustre support for RHEL5
686 Details    : Add support for RHEL5.
687
688 Severity   : normal
689 Bugzilla   : 12459
690 Description: Client eviction due to failover config
691 Details    : after a connection loss, the lustre client should attempt to
692              reconnect to the last active server first before trying the
693              other potential connections.
694
695 Severity   : minor
696 Bugzilla   : 12588
697 Description: when mds and osts use different quota unit(32bit and 64bit),
698              quota will be released repeatly.
699 Details    : void sending multiple quota reqs to mds, which will keep the
700              status between the reqs.
701
702 Severity   : normal
703 Bugzilla   : 13125
704 Description: osts not allocated evenly to files
705 Details    : change the condition to increase offset_idx
706
707 Severity   : critical
708 Frequency  : Always for filesystems larger than 2TB on 32-bit systems.
709 Bugzilla   : 13547
710 Description: Data corruption for OSTs that are formatted larger than 2TB
711              on 32-bit servers.
712 Details    : When generating the bio request for lustre file writes the
713              sector number would overflow a temporary variable before being
714              used for the IO.  The data reads correctly from Lustre (which
715              will overflow in a similar manner) but other file data or
716              filesystem metadata may be corrupted in some cases.
717
718 Severity   : normal
719 Bugzilla   : 11230
720 Description: Tune the kernel for good SCSI performance.
721 Details    : Set the value of /sys/block/{dev}/queue/max_sectors_kb
722              to the value of /sys/block/{dev}/queue/max_hw_sectors_kb
723              in mount_lustre.
724
725 Severity   : cleanup
726 Bugzilla   : 13532
727 Description: rewrite ext2-derived code in obdclass/uuid.c
728 Details    : rewrite inherited code (uuid parsing code from ext2 utils)
729              from scratch preserving functionality.
730
731 Severity   : normal
732 Bugzilla   : 13600
733 Description: "lfs find -obd UUID" prints directories
734 Details    : "lfs find -obd UUID" will return all directory names instead
735              of just file names. It is incorrect because the directories
736              do not reside on the OSTs.
737
738 Severity   : minor
739 Bugzilla   : 2369
740 Description: use i_size_read and i_size_write in 2.6 port
741 Details    : replace inode->i_size access with i_size_read/write()
742
743 Severity   : normal
744 Frequency  : when removing large files
745 Bugzilla   : 13181
746 Description: scheduling issue during removal of large Lustre files
747 Details    : Don't take the BKL in fsfilt_ext3_setattr() for 2.6 kernels.
748              It causes scheduling issues when removing large files (17TB in the
749              present case).
750
751 Severity   : normal
752 Frequency  : only with liblustre clients on XT3
753 Bugzilla   : 12418
754 Description: evictions taking too long
755 Details    : allow llrd to evict clients directly on OSTs
756
757 Severity   : normal
758 Frequency  : only on ppc
759 Bugzilla   : 12234
760 Description: /proc/fs/lustre/devices broken on ppc
761 Details    : The patch as applied to 1.6.2 doesn't look correct for all arches.
762              We should make sure the type of 'index' is loff_t and then cast
763              explicitly as needed below.  Do not assign an explicitly cast
764              loff_t to an int.
765
766 Severity   : normal
767 Frequency  : only for rhel5
768 Bugzilla   : 13616
769 Description: Kernel patches update for RHEL5 2.6.18-8.1.10.el5.
770 Details    : Modify the target file & which_kernel.
771
772 Severity   : enhancement
773 Bugzilla   : 10786
774 Description: omit set fsid for export NFS
775 Details    : fix set/restore device id for avoid EMFILE error and mark lustre fs
776              as FS_REQUIRES_DEV for avoid problems with generate fsid.
777
778 Severity   : normal
779 Bugzilla   : 13304
780 Frequency  : Always, for kernels after 2.6.16
781 Description: Fix warning idr_remove called for id=.. which is not allocated.
782 Details    : Last kernels save old s_dev before kill super and not allow
783              to restore from callback - restore it before call kill_anon_super.
784
785 Severity   : minor
786 Bugzilla   : 12948
787 Description: buffer overruns could theoretically occur
788 Details    : llapi_semantic_traverse() modifies the "path" argument by
789              appending values to the end of the origin string, and a
790              overrun may occur. Adding buffer overrun check in liblustreapi.
791
792 Severity   : normal
793 Bugzilla   : 13334
794 Description: Fix error on 'ls .' at the top of the Lustre mount.
795 Details    : Don't revalidate dentry if it is a root dentry.
796
797 Severity   : normal
798 Bugzilla   : 13518
799 Description: Kernel patches update for RHEL4 2.6.9-55.0.6.
800 Details    : Modify vm-tunables-rhel4.patch.
801
802 Severity   : normal
803 Bugzilla   : 13452
804 Description: Kernel config for 2.6.18-vanilla.
805 Details    : Modify targets/2.6-vanilla.target.in.
806              Add config file kernel-2.6.18-2.6-vanilla-i686.config.
807              Add config file kernel-2.6.18-2.6-vanilla-i686-smp.config.
808              Add config file kernel-2.6.18-2.6-vanilla-x86_64.config.
809              Add config file kernel-2.6.18-2.6-vanilla-x86_64-smp.config.
810
811 Severity   : major
812 Bugzilla   : 11710
813 Description: improve handling recoverable errors
814 Details    : if request processig with error which can be recoverable on server
815              request should be resend, otherwise page released from cache and
816              marked as error.
817
818 Severity   : critical
819 Bugzilla   : 13751
820 Description: Kernel patches update for RHEL5 2.6.18-8.1.14.el5.
821 Details    : Modify target file & which_patch.
822              A flaw was found in the IA32 system call emulation provided
823              on AMD64 and Intel 64 platforms. An improperly validated 64-bit
824              value could be stored in the %RAX register, which could trigger an
825              out-of-bounds system call table access. An untrusted local user
826              could exploit this flaw to run code in the kernel
827              (ie a root privilege escalation). (CVE-2007-4573).
828
829 Severity   : major
830 Bugzilla   : 13093
831 Description: O_DIRECT bypasses client statistics.
832 Details    : When running with O_DIRECT I/O, neither the client rpc_stats nor
833              read_ahead_stats were updated. copied the stats section from
834              osc_send_oap_rpc() into async_internal().
835
836 Severity   : normal
837 Bugzilla   : 13454
838 Description: Add jbd statistics patch for RHEL5 and 2.6.18-vanilla
839
840 Severity   : minor
841 Bugzilla   : 13732
842 Description: change order of libsysio includes
843 Details    : '#include sysio.h' should always come before '#include xtio.h'
844
845 Severity   : normal
846 Bugzilla   : 11673
847 Description: handle "serious error: objid * already exists" more gracefully
848 Details    : If LAST_ID value on disk is smaller than the objects existing in
849              the O/0/d* directories, it indicates disk corruption and causes an
850              LBUG(). If the object is 0-length, then we should use the existing
851              object. This will help to avoid a full fsck in most cases.
852
853 Severity   : enhancement
854 Bugzilla   : 13207
855 Description: adapt the lustre_config script to support the upgrade case
856 Details    : Add "-u" option for lustre_config script to support upgrading 1.4
857              server targets to 1.6 in parallel.
858
859 Severity   : normal
860 Bugzilla   : 13570
861 Description: To avoid grant space > avaible space when the disk is almost
862              full. Without this patch you might see the error "grant XXXX >
863              available" or some LBUG about grant, when the disk is almost 
864              full.
865 Details    : In filter_check_grant, for non_grant cache write, we should
866              check the left space by  if (*left > ungranted + bytes), instead
867              of (*left > ungranted), because only we are sure the left space 
868              is enough for another "bytes", then the ungrant space should be
869              increase. In client, we should update cl_avail_grant only there
870              is OBD_MD_FLGRANT in the reply.
871
872 Severity   : critical
873 Bugzilla   : 13748
874 Description: Update RHEL 4 kernel to fix local root privilege escalation.
875 Details    : Update to the latest RHEL 4 kernel to fix the vulnerability
876              described in CVE-2007-4573.  This problem could allow untrusted
877              local users to gain root access.
878
879 Severity   : normal
880 Frequency  : when using O_DIRECT and quotas
881 Bugzilla   : 13930
882 Description: Incorrect file ownership on O_DIRECT output files
883 Details    : block usage reported by 'lfs quota' does not take into account
884              files that have been written with O_DIRECT.
885
886 Severity   : normal
887 Frequency  : always
888 Bugzilla   : 13976
889 Description: touch file failed when fs is not full
890 Details    : OST in recovery should not be discarded by MDS in alloc_qos(),
891              otherwise we can get ENOSP while fs is not full.
892
893 Severity   : normal
894 Bugzilla   : 11301
895 Description: parallel lock callbacks
896 Details    : Instead of sending blocking and completion callbacks as separated
897              requests, adding them to a set and sending in parallel.
898
899 Severity   : normal
900 Frequency  : only for Cray XT3
901 Bugzilla   : 12829/13455
902 Description: Changing primary group doesn't change the group lustre assigns to
903              a file
904 Details    : When CRAY_XT3 is defined, the fsgid supplied by the client is
905              overridden with the primary group provided by the group upcall,
906              whereas the supplied fsgid can be trusted if it is in the list of
907              supplementary groups returned by the group upcall.
908
909 Severity   : enhancement
910 Bugzilla   : 14398
911 Description: Allow masking D_WARNING, D_ERROR messages from console
912 Details    : Console messages can now be disabled via lnet.printk.
913
914 Severity   : normal
915 Bugzilla   : 14614
916 Description: User code with malformed file open parameter crashes client node 
917 Details    : Before packing join_file req, all the related reference should be
918              checked carefully in case some malformed flags cause fake
919              join_file req on client.
920
921 Severity   : normal
922 Bugzilla   : 14225
923 Description: LDLM_ENQUEUE races with LDLM_CP_CALLBACK
924 Details    : ldlm_completion_ast() assumes that a lock is granted when the req
925              mode is equal to the granted mode. However, it should also check
926              that LDLM_FL_CP_REQD is not set.
927
928 Severity   : normal
929 Bugzilla   : 14360
930 Description: Heavy nfs access might result in deadlocks
931 Details    : After ELC code landed, it is now improper to enqueue any mds
932              locks under och_sem, because enqueue might want to decide to
933              cancel open locks for same inode we are holding och_sem for.
934
935 Severity   : normal
936 Bugzilla   : 13843
937 Description: Client eviction while running blogbench
938 Details    : A lot of unlink operations with concurrent I/O can lead to a
939              deadlock causing evictions. To address the problem, the number of
940              oustanding OST_DESTROY requests is now throttled to
941              max_rpcs_in_flight per OSC and LDLM_FL_DISCARD_DATA blocking
942              callbacks are processed in priority.
943
944 Severity   : normal
945 Bugzilla   : 13829
946 Description: enable ACLs on MDS by default
947 Details    : ACLs must be enabled on MDS by default.
948
949 Severity   : normal
950 Frequency  : PPC/PPC64 only
951 Bugzilla   : 14845
952 Description: conflicts between asm-ppc64/types.h and lustre_types.h
953 Details    : fix duplicated definitions between asm-ppc64/types.h and
954              lustre_types.h on PPC.
955
956 Severity   : normal
957 Frequency  : PPC/PPC64 only
958 Bugzilla   : 14844
959 Description: asm-ppc/segment.h does not exist
960 Details    : fix compile issue on PPC.
961
962 Severity   : normal
963 Bugzilla   : 14864
964 Description: better handle error messages in extents code
965
966 Severity   : normal
967 Frequency  : RHEL4 only
968 Bugzilla   : 14618
969 Description: mkfs is very slow on IA64/RHEL4
970 Details    : A performance regression has been discovered in the MPT Fusion
971              driver between versions 3.02.73rh and 3.02.99.00rh. As a
972              consequence, we have downgraded the MPT Fusion driver in the RHEL4
973              kernel from 3.02.99.00 to 3.02.73 until this problem is fixed.
974
975 Severity   : enhancement
976 Bugzilla   : 14729
977 Description: SNMP support enhancement
978 Details    : Adding total number of sampled request for an MDS node in snmp
979              support.
980
981 Severity   : enhancement
982 Bugzilla   : 14748
983 Description: Optimize ldlm waiting list processing for PR extent locks
984 Details    : When processing waiting list for read extent lock and meeting read
985              lock that is same or wider to it that is not contended, skip
986              processing rest of the list and immediatelly return current
987              status of conflictness, since we are guaranteed there are no
988              conflicting locks in the rest of the list.
989
990 Severity   : normal
991 Bugzilla   : 14774
992 Description: Time out and refuse to reconnect
993 Details    : When the failover node is the primary node, it is possible
994              to have two identical connections in imp_conn_list. We must
995              compare not conn's pointers but NIDs, otherwise we can defeat
996              connection throttling.
997
998 Severity   : normal
999 Bugzilla   : 13821
1000 Description: port llog fixes from b1_6 into HEAD
1001 Details    : Port llog reference couting and some llog cleanups from b1_6
1002              (bug 10800) into HEAD, for protect from panic and access to already
1003              free llog structures.
1004
1005 Severity   : normal
1006 Bugzilla   : 14483
1007 Description: Detect stride IO mode in read-ahead
1008 Details    : When a client does stride read, read-ahead should detect that and
1009              read-ahead pages according to the detected stride pattern.
1010
1011 Severity   : normal
1012 Bugzilla   : 13805
1013 Description: data checksumming impacts single node performance
1014 Details    : add support for several checksum algorithm. Currently, only CRC32
1015              and Adler-32 are supported. The checksum type can be changed on
1016              the fly via /proc/fs/lustre/osc/*/checksum_type.
1017
1018 Severity   : normal
1019 Bugzilla   : 14648
1020 Description: use adler32 for page checksums
1021 Details    : when available, use the Adler-32 algorithm instead of CRC32 for
1022              page checksums.
1023
1024 Severity   : normal
1025 Bugzilla   : 15033
1026 Description: build for x2 fails
1027 Details    : fix compile issue on Cray systems.
1028
1029 Severity   : normal
1030 Bugzilla   : 14379
1031 Description: Properly match for duplicate locks
1032 Details    : Due to different lock order from skiplists code, we need to
1033              traverse entire list for now
1034
1035 Severity   : normal
1036 Frequency  : only on PPC/SLES10
1037 Bugzilla   : 14855
1038 Description: "BITS_PER_LONG is not 32 or 64" in linux/idr.h
1039 Details    : On SLES10/PPC, fs.h includes idr.h which requires BITS_PER_LONG to
1040              be defined. Add a hack in mkfs_lustre.c to work around this compile
1041              issue.
1042
1043 Severity   : normal
1044 Bugzilla   : 14257
1045 Description: LASSERT on MDS when client holding flock lock dies
1046 Details    : ldlm pool logic depends on number of granted locks equal to
1047              number of released locks which is not true for flock locks, so 
1048              just exclude such locks from consideration.
1049
1050 Severity   : normal
1051 Bugzilla   : 15188
1052 Description: MDS deadlock with many ll_sync_lov threads and I/O stalled
1053 Details    : Use fsfilt_sync() for both the whole filesystem sync and
1054              individual file sync to eliminate dangerous inode locking
1055              with I_LOCK that can lead to a deadlock.
1056
1057 Severity   : normal
1058 Bugzilla   : 14410
1059 Description: performance in 1.6.3
1060 Details    : Force q->max_phys_segments to MAX_PHYS_SEGMENTS on SLES10 to be
1061              sure that 1MB requests are not fragmented by the block layer.
1062
1063 Severity   : enhancement
1064 Bugzilla   : 11089
1065 Description: organize the server-side client stats on per-nid basis
1066 Details    : Change the structure of stats under obdfilter and mds to
1067              New structure:
1068                 +- exports
1069                         +- nid#1
1070                         |   + stats
1071                         |   + uuids
1072                         +- nid#2...
1073                         +- clear
1074              The "uuid"s file would list the uuids of _active_ exports.
1075              And the clear entry is to clear all stats and stale nids.
1076
1077 Severity   : enhancement
1078 Bugzilla   : 11270
1079 Description: eliminate client locks in face of contention
1080 Details    : file contention detection and lockless i/o implementation
1081              for contended files.
1082
1083 Severity   : normal
1084 Bugzilla   : 15212
1085 Description: Reinitialize optind to 0 so that interactive lfs works in all cases
1086
1087 Severity   : critical
1088 Frequency  : very rare, if additional xattrs are used on kernels >= 2.6.12
1089 Bugzilla   : 15777
1090 Description: MDS may lose file striping (and hence file data) in some cases
1091 Details    : If there are additional extended attributes stored on the MDS,
1092              in particular ACLs, SELinux, or user attributes (if user_xattr
1093              is specified for the client mount options) then there is a risk
1094              of attribute loss.  Additionally, the Lustre file striping
1095              needs to be larger than default (e.g. striped over all OSTs),
1096              and an additional attribute must be stored initially in the
1097              inode and then increase in size enough to be moved to the
1098              external attribute block (e.g. ACL growing in size) for file
1099              data to be lost.
1100
1101 Severity   : normal
1102 Bugzilla   : 15346
1103 Description: skiplist implementation simplification
1104 Details    : skiplists are used to group compatible locks on granted list
1105              that was implemented as tracking first and last lock of each lock group
1106              the patch changes that to using doubly linked lists
1107
1108 Severity   : normal
1109 Bugzilla   : 15574
1110 Description: MDS LBUG: ASSERTION(!IS_ERR(dchild))
1111 Details    : Change LASSERTs to client eviction (i.e. abort client's recovery)
1112              because LASSERT on both the data supplied by a client, and the data 
1113              on disk is dangerous and incorrect.
1114
1115 Severity   : enhancement
1116 Bugzilla   : 10718
1117 Description: Slow trucate/writes to huge files at high offsets.
1118 Details    : Directly associate cached pages to lock that protect those pages,
1119              this allows us to quickly find what pages to write and remove
1120              once lock callback is received.
1121
1122 Severity   : normal
1123 Bugzilla   : 15953
1124 Description: more ldlm soft lockups
1125 Details    : In ldlm_resource_add_lock(), call to ldlm_resource_dump()
1126              starve other threads from the resource lock for a long time in
1127              case of long waiting queue, so change the debug level from
1128              D_OTHER to the less frequently used D_INFO.
1129
1130 --------------------------------------------------------------------------------
1131
1132 2007-08-10         Cluster File Systems, Inc. <info@clusterfs.com>
1133        * version 1.6.1
1134        * Support for kernels:
1135         2.6.5-7.283 (SLES 9),
1136         2.6.9-55.EL (RHEL 4),
1137         2.6.16.46-0.14 (SLES 10),
1138         2.6.18.8 vanilla (kernel.org)
1139        * Client support for unpatched kernels:
1140         (see http://wiki.lustre.org/index.php?title=Patchless_Client)
1141         2.6.16 - 2.6.22 vanilla (kernel.org)
1142        * Due to recently discovered recovery problems, we do not recommend
1143         using patchless RHEL 4 clients with this or any earlier release.
1144        * Recommended e2fsprogs version: 1.39.cfs8
1145        * Note that reiserfs quotas are disabled on SLES 10 in this kernel.
1146        * Starting with this release, the ldiskfs backing filesystem required
1147         by Lustre is now in its own package, lustre-ldiskfs.  This package
1148         should be installed.  It is versioned separately from Lustre and
1149         may be released separately in future.
1150
1151 Severity   : minor
1152 Bugzilla   : 13147
1153 Description: block reactivating mgc import until all deactivates complete
1154 Details    : Fix race when failing back MDT/MGS to itself (testing)
1155
1156 Severity   : minor
1157 Frequency  : at statup only
1158 Bugzilla   : 12860
1159 Description: mds_lov_synchronize race leads to various problems
1160 Details    : simultaneous MDT->OST connections at startup can cause the 
1161              sync to abort, leaving the OSC in a bad state.
1162
1163 Severity   : enhancement
1164 Bugzilla   : 12194
1165 Description: add optional extra BUILD_VERSION info
1166 Details    : add a new environment variable (namely LUSTRE_VERS) which allows
1167              to override the lustre version.
1168
1169 Severity   : normal
1170 Frequency  : 2.6.18 servers only
1171 Bugzilla   : 12546
1172 Description: ll_kern_mount() doesn't release the module reference
1173 Details    : The ldiskfs module reference count never drops down to 0
1174              because ll_kern_mount() doesn't release the module reference.
1175
1176 Severity   : normal
1177 Frequency  : rare
1178 Bugzilla   : 12470
1179 Description: server LBUG when using old ost_num_threads parameter
1180 Details    : Accept the old ost_num_threads parameter but warn that it
1181              is deprecated, and fix an off-by-one error that caused an LBUG.
1182
1183 Severity   : normal
1184 Frequency  : rare
1185 Bugzilla   : 11722
1186 Description: Transient SCSI error results in persistent IO issue
1187 Details    : iobuf->dr_error is not reinitialized to 0 between two
1188              uses.
1189
1190 Severity   : normal
1191 Frequency  : sometimes when underlying device returns I/O errors
1192 Bugzilla   : 11743
1193 Description: OSTs not going read-only during write failures
1194 Details    : OSTs are not remounted read-only when the journal commit threads
1195              get I/O errors because fsfilt_ext3 calls journal_start/stop()
1196              instead of the ext3 wrappers.
1197
1198 Severity   : minor
1199 Bugzilla   : 12364
1200 Description: poor connect scaling with increasing client count
1201 Details    : Don't run filter_grant_sanity_check for more than 100 exports
1202              to improve scaling for large numbers of clients.
1203
1204 Severity   : normal
1205 Frequency  : SLES10 only
1206 Bugzilla   : 12538
1207 Description: sanity-quota.sh quotacheck failed: rc = -22
1208 Details    : Quotas cannot be enabled on SLES10.
1209
1210 Severity   : normal
1211 Frequency  : liblustre clients only
1212 Bugzilla   : 12229
1213 Description: getdirentries does not give error when run on compute nodes
1214 Details    : getdirentries does not fail when the size specified as an argument
1215              is too small to contain at least one entry
1216
1217 Severity   : enhancement
1218 Bugzilla   : 11548
1219 Description: Add LNET router traceability for debug purposes
1220 Details    : If a checksum failure occurs with a router as part of the
1221              IO path, the NID of the last router that forwarded the bulk data
1222              is printed so it can be identified.
1223
1224 Severity   : normal
1225 Frequency  : rare
1226 Bugzilla   : 11315
1227 Description: OST "spontaneously" evicts client; client has imp_pingable == 0
1228 Details    : Due to a race condition, liblustre clients were occasionally
1229              evicted incorrectly.
1230
1231 Severity   : enhancement
1232 Bugzilla   : 10997
1233 Description: lfs setstripe use optional parameters instead of postional
1234              parameters.
1235
1236 Severity   : enhancement
1237 Bugzilla   : 10651
1238 Description: Nanosecond timestamp support for ldiskfs
1239 Details    : The on-disk ldiskfs filesystem has added support for nanosecond
1240              resolution timestamps.  There is not yet support for this at
1241              the Lustre filesystem level.
1242
1243 Severity   : normal
1244 Frequency  : during server recovery
1245 Bugzilla   : 11203
1246 Description: MDS failing to send precreate requests due to OSCC_FLAG_RECOVERING
1247 Details    : request with rq_no_resend flag not awake l_wait_event if they get a
1248              timeout.
1249
1250 Severity   : minor
1251 Frequency  : nfs export on patchless client
1252 Bugzilla   : 11970
1253 Description: connectathon hang when test nfs export over patchless client
1254 Details    : Disconnected dentry cannot be found with lookup, so we do not need
1255              to unhash it or make it invalid
1256
1257 Bugzilla   : 11757
1258 Description: fix llapi_lov_get_uuids() to allow many OSTs to be returned
1259 Details:   : Change llapi_lov_get_uuids() to read the UUIDs from /proc instead
1260              of using an ioctl. This allows lfsck for > 160 OSTs to succeed.
1261
1262 Severity   : minor
1263 Frequency  : rare
1264 Bugzilla   : 11546
1265 Description: open req refcounting wrong on reconnect
1266 Details    : If reconnect happened between getting open reply from server and
1267              call to mdc_set_replay_data in ll_file_open, we will schedule
1268              replay for unreferenced request that we are about to free.
1269              Subsequent close will crash in variety of ways.
1270              Check that request is still eligible for replay in
1271              mdc_set_replay_data().
1272
1273 Severity   : minor
1274 Frequency  : rare
1275 Bugzilla   : 11512
1276 Description: disable writes to filesystem when reading health_check file
1277 Details    : the default for reading the health_check proc file has changed
1278              to NOT do a journal transaction and write to disk, because this
1279              can cause reads of the /proc file to hang and block HA state
1280              checking on a healthy but otherwise heavily loaded system.  It
1281              is possible to return to the previous behaviour during configure
1282              with --enable-health-write.
1283
1284 Severity   : enhancement
1285 Bugzilla   : 10768
1286 Description: 64-bit inode version
1287 Details:   : Add a on-disk 64-bit inode version for ext3 to track changes made
1288              to the inode. This will be required for version-based recovery.
1289
1290 Severity   : normal
1291 Frequency  : rare
1292 Bugzilla   : 11818
1293 Description: MDS fails to start if a duplicate client export is detected
1294 Details    : in some rare cases it was possible for a client to connect to
1295              an MDS multiple times.  Upon recovery the MDS would detect this
1296              and fail during startup.  Handle this more gracefully.
1297
1298 Severity   : enhancement
1299 Bugzilla   : 11563
1300 Description: Add -o localflock option to simulate  old noflock
1301 behaviour.
1302 Details    : This will achieve local-only flock/fcntl locks
1303              coherentness.
1304
1305 Severity   : minor
1306 Frequency  : rare
1307 Bugzilla   : 11658
1308 Description: log_commit_thread vs filter_destroy race leads to crash
1309 Details    : Take import reference before releasing llog record semaphore
1310
1311 Severity   : normal
1312 Frequency  : rare
1313 Bugzilla   : 12477
1314 Description: Wrong request locking in request set processing
1315 Details    : ptlrpc_check_set wrongly uses req->rq_lock for proctect add to
1316              imp_delayed_list, in this place should be used imp_lock.
1317
1318 Severity   : normal
1319 Frequency  : when reconnection
1320 Bugzilla   : 11662
1321 Description: Grant Leak when osc reconnect to OST
1322 Details    : When osc reconnect ost, OST(filter) should check whether it
1323              should grant more space to client by comparing fed_grant and
1324              cl_avail_grant, and return the granted space to client instead
1325              of "new granted" space, because client will call osc_init_grant
1326              to update the client grant space info.
1327
1328 Severity   : normal
1329 Frequency  : when client reconnect to OST 
1330 Bugzilla   : 11662
1331 Description: Grant Leak when osc do resend and replay bulk write
1332 Details    : When osc reconnect to OST, OST(filter)should clear grant info of
1333              bulk write request, because the grant info while be sync between
1334              OSC and OST when reconnect, and we should ignore the grant info
1335              these of resend/replay write req.
1336
1337 Severity   : normal
1338 Frequency  : rare 
1339 Bugzilla   : 11662
1340 Description: Grant space more than avaiable left space sometimes.
1341 Details    : When then OST is about to be full, if two bulk writing from
1342              different clients came to OST. Accord the avaliable space of the
1343              OST, the first req should be permitted, and the second one
1344              should be denied by ENOSPC. But if the seconde arrived before 
1345              the first one is commited. The OST might wrongly permit second
1346              writing, which will cause grant space > avaiable space.
1347
1348 Severity   : normal
1349 Frequency  : when client is evicted 
1350 Bugzilla   : 12371
1351 Description: Grant might be wrongly erased when osc is evicted by OST
1352 Details    : when the import is evicted by server, it will fork another 
1353              thread ptlrpc_invalidate_import_thread to invalidate the 
1354              import, where the grant will be set to 0.  While the original 
1355              thread will update the grant it got when connecting. So if 
1356              the former happened latter, the grant will be wrongly errased 
1357              because of this race.
1358
1359 Severity   : normal
1360 Frequency  : rare 
1361 Bugzilla   : 12401
1362 Description: Checking Stale with correct fid 
1363 Details    : ll_revalidate_it should uses de_inode instead of op_data.fid2 
1364              to check whether it is stale, because sometimes, we want the 
1365              enqueue happened anyway, and op_data.fid2 will not be initialized.
1366
1367 Severity   : enhancement
1368 Bugzilla   : 11647
1369 Description: update patchless client
1370 Details    : Add support for patchless client with 2.6.20, 2.6.21 and RHEL 5
1371
1372 Severity   : normal
1373 Frequency  : only with 2.4 kernel
1374 Bugzilla   : 12134
1375 Description: random memory corruption
1376 Details    : size of struct ll_inode_info is to big for union inode.u and this
1377              can be cause of random memory corruption.
1378
1379 Severity   : normal
1380 Frequency  : rare 
1381 Bugzilla   : 10818
1382 Description: Memory leak in recovery
1383 Details    : Lov_mds_md was not free in an error handler in mds_create_object.
1384              It should also check obd_fail before fsfilt_start, otherwise if 
1385              fsfilt_start return -EROFS,(failover mds during mds recovery).
1386              then the req will return with repmsg->transno = 0 and rc = EROFS. 
1387              and we met hit the assert LASSERT(req->rq_reqmsg->transno ==
1388              req->rq_repmsg->transno) in ptlrpc_replay_interpret.  Fcc should 
1389              be freed no matter whether fsfilt_commit success or not.
1390
1391 Severity   : minor
1392 Frequency  : only with huge count clients
1393 Bugzilla   : 11817
1394 Description: Prevents from taking the superblock lock in llap_from_page for 
1395              a soon died page.
1396 Details    : using LL_ORIGIN_REMOVEPAGE origin flag instead of LL_ORIGIN_UNKNOW 
1397              for llap_from_page call in ll_removepage prevents from taking the 
1398              superblock lock for a soon died page.
1399
1400 Severity   : normal
1401 Frequency  : rare
1402 Bugzilla   : 11935 
1403 Description: Not check open intent error before release open handle
1404 Details    : in some rare cases, the open intent error is not checked before
1405              release open handle, which may cause
1406              ASSERTION(open_req->rq_transno != 0), because it tries to release
1407              the failed open handle.
1408
1409 Severity   : normal
1410 Frequency  : rare
1411 Bugzilla   : 12556 
1412 Description: Set cat log bitmap only after create log success. 
1413 Details    : in some rare cases, the cat log bitmap is set too early. and it 
1414              should be set only after create log success.
1415
1416 Severity   : major
1417 Bugzilla   : 11971
1418 Description: Accessing a block bevice can re-enable I/O when Lustre is
1419              tearing down a device.
1420 Details    : dev_clear_rdonly(bdev) must be called in kill_bdev() instead of
1421              blkdev_put().
1422
1423 Severity   : minor
1424 Bugzilla   : 11706
1425 Description: service threads may hog cpus when there are a lot of requests
1426 Details    : Insert cond_resched to give other threads a chance to use some CPU
1427
1428 Severity   : normal
1429 Frequency  : rare
1430 Bugzilla   : 12086 
1431 Description: the cat log was not initialized in recovery 
1432 Details    : When mds(mgs) do recovery, the tgt_count might be zero, so the
1433              unlink log on mds will not be initialized until mds post
1434              recovery. And also in mds post recovery, the unlink log will 
1435              initialization will be done asynchronausly, so there will be race
1436              between add unlink log and unlink log initialization.
1437
1438 Severity   : normal
1439 Bugzilla   : 12597
1440 Description: brw_stats were being printed incorrectly
1441 Details    : brw_stats were being printed as log2 but all of them were not
1442              recorded as log2. Also remove some code duplication arising from
1443              filter_tally_{read,write}.
1444
1445 Severity   : normal
1446 Bugzilla   : 11674
1447 Frequency  : rare, only in recovery.
1448 Description: ASSERTION(req->rq_type != LI_POISON) failed
1449 Details    : imp_lock should be held while iterating over imp_sending_list for
1450              prevent destroy request after get timeout in ptlrpc_queue_wait.
1451
1452 Severity   : normal
1453 Bugzilla   : 12689
1454 Description: replay-single.sh test 52 fails
1455 Details    : A lock's skiplist need to be cleanup when it being unlinked 
1456              from its resource list.
1457
1458 Severity   : normal
1459 Bugzilla   : 11737
1460 Description: Short directio read returns full requested size rather than
1461              actual amount read.
1462 Details    : Direct I/O operations should return actual amount of bytes
1463              transferred rather than requested size.
1464
1465 Severity   : enhancement
1466 Bugzilla   : 10589
1467 Description: metadata RPC reduction (e.g. for rm performance)
1468 Details    : decrease the amount of synchronous RPC between clients and servers
1469              by canceling conflicing lock before the operation on the client
1470              and packing thier handles into the main operation RPC to server.
1471
1472 Severity   : enhancement
1473 Bugzilla   : 4900
1474 Description: Async OSC create to avoid the blocking unnecessarily.
1475 Details    : If a OST has no remain object, system will block on the creating
1476             when need to create a new object on this OST. Now, ways use
1477             pre-created objects when available, instead of blocking on an
1478             empty osc while others are not empty.  If we must block, we block
1479             for the shortest possible period of time.
1480
1481 Severity   : enhancement
1482 Bugzilla   : 12702
1483 Description: refine locking for avoid write wrong info into lov_objid file
1484 Details    : fix possible races with add new target and write/update data in 
1485              lov_objid file.
1486
1487 --------------------------------------------------------------------------------
1488
1489 2007-05-03  Cluster File Systems, Inc. <info@clusterfs.com>
1490        * version 1.6.0.1
1491        * bug fixes
1492
1493 Severity   : normal
1494 Frequency  : on some architectures
1495 Bugzilla   : 12404
1496 Description: 1.6 client sometimes fails to mount from a 1.4 MDT
1497 Details    : Uninitialized flags sometimes cause configuration commands to
1498              be skipped.
1499
1500 Severity   : normal
1501 Frequency  : patchless clients only
1502 Bugzilla   : 12391
1503 Description: missing __iget() symbol export
1504 Details    : The __iget() symbol export is missing.  To avoid the need for
1505              this on patchless clients the deathrow inode reaper is turned
1506              off, and we depend on the VM to clean up old inodes.  This
1507              dependency was during via the fix for bug 12181.
1508         
1509 --------------------------------------------------------------------------------
1510
1511 2007-04-19  Cluster File Systems, Inc. <info@clusterfs.com>
1512        * version 1.6.0
1513        * CONFIGURATION CHANGE.  This version of Lustre WILL NOT
1514          INTEROPERATE with older versions automatically.  In many cases a
1515          special upgrade step is needed. Please read the
1516          user documentation before upgrading any part of a live system.
1517        * WIRE PROTOCOL CHANGE from previous 1.6 beta versions.  This
1518          version will not interoperate with 1.6 betas before beta5 (1.5.95).  
1519        * WARNING: Lustre configuration and startup changes are required with
1520          this release.  See https://mail.clusterfs.com/wikis/lustre/MountConf
1521          for details.
1522        * bug fixes
1523
1524
1525
1526 Severity   : enhancement
1527 Bugzilla   : 8007
1528 Description: MountConf
1529 Details    : Lustre configuration is now managed via mkfs and mount
1530              commands instead of lmc and lconf.  New obd types (MGS, MGC)
1531              are added for dynamic configuration management.  See
1532              https://mail.clusterfs.com/wikis/lustre/MountConf for
1533              details.
1534
1535 Severity   : enhancement
1536 Bugzilla   : 4482
1537 Description: dynamic OST addition
1538 Details    : OSTs can now be added to a live filesystem
1539
1540 Severity   : enhancement
1541 Bugzilla   : 9851
1542 Description: startup order invariance
1543 Details    : MDTs and OSTs can be started in any order.  Clients only
1544              require the MDT to complete startup.
1545         
1546 Severity   : enhancement
1547 Bugzilla   : 4899
1548 Description: parallel, asynchronous orphan cleanup
1549 Details    : orphan cleanup is now performed in separate threads for each
1550              OST, allowing parallel non-blocking operation.
1551
1552 Severity   : enhancement
1553 Bugzilla   : 9862
1554 Description: optimized stripe assignment
1555 Details    : stripe assignments are now made based on ost space available,
1556              ost previous usage, and OSS previous usage, in order to try
1557              to optimize storage space and networking resources. 
1558         
1559 Severity   : enhancement
1560 Bugzilla   : 4226
1561 Description: Permanently set tunables
1562 Details    : All writable /proc/fs/lustre tunables can now be permanently
1563              set on a per-server basis, at mkfs time or on a live system.
1564         
1565 Severity   : enhancement
1566 Bugzilla   : 10547
1567 Description: Lustre message v2
1568 Details    : Add lustre message format v2.
1569
1570 Severity   : enhancement
1571 Bugzilla   : 9866
1572 Description: client OST exclusion list
1573 Details    : Clients can be started with a list of OSTs that should be
1574              declared "inactive" for known non-responsive OSTs.
1575
1576 Severity   : minor
1577 Bugzilla   : 6062
1578 Description: SPEC SFS validation failure on NFS v2 over lustre.
1579 Details    : Changes the blocksize for regular files to be 2x RPC size,
1580              and not depend on stripe size.
1581         
1582 Severity   : enhancement
1583 Bugzilla   : 9293
1584 Description: Multiple MD RPCs in flight.
1585 Details    : Further unserialise some read-only MDS RPCs - learn about intents.
1586              To avoid overly-overloading MDS, introduce a limit on number of
1587              MDS RPCs in flight for a single client and add /proc controls
1588              to adjust this limit.
1589
1590 Severity   : enhancement
1591 Bugzilla   : 22484
1592 Description: client read/write statistics
1593 Details    : Add client read/write call usage stats for performance
1594              analysis of user processes. 
1595              /proc/fs/lustre/llite/*/offset_stats shows non-sequential
1596              file access. extents_stats shows chunk size distribution.
1597              extents_stats_per_process show chunk size distribution per
1598              user process. 
1599
1600 Severity   : enhancement
1601 Bugzilla   : 22486
1602 Description: mds statistics
1603 Details    : Add detailed mds operations statistics in  
1604              /proc/fs/lustre/mds/*/stats.
1605
1606 Severity   : minor
1607 Bugzilla   : 10667
1608 Description: Failure of copying files with lustre special EAs.
1609 Details    : Client side always return success for setxattr call for lustre
1610              special xattr (currently only "trusted.lov").
1611
1612 Severity   : minor
1613 Frequency  : always
1614 Bugzilla   : 10345
1615 Description: Refcount LNET uuids
1616 Details    : The global LNET uuid list grew linearly with every startup;
1617              refcount repeated list entries instead of always adding to
1618              the list.
1619
1620 Severity   : enhancement
1621 Bugzilla   : 2258
1622 Description: Dynamic service threads
1623 Details    : Within a small range, start extra service threads
1624              automatically when the request queue builds up.
1625
1626 Severity   : major
1627 Frequency  : mixed-endian client/server environments
1628 Bugzilla   : 11214
1629 Description: mixed-endian crashes
1630 Details    : The new msg_v2 system had some failures in mixed-endian
1631              environments.
1632
1633 Severity   : enhancement
1634 Bugzilla   : 11229
1635 Description: Easy OST removal
1636 Details    : OSTs can be permanently deactivated with e.g. 'lctl
1637              conf_param lustre-OST0001.osc.active=0'
1638
1639 Severity   : enhancement
1640 Bugzilla   : 11335
1641 Description: MGS proc entries
1642 Details    : Added basic proc entries for the MGS showing what filesystems
1643              are served.
1644
1645 Severity   : enhancement
1646 Bugzilla   : 10998
1647 Description: provide MGS failover
1648 Details    : Added config lock reacquisition after MGS server failover.
1649
1650 Severity   : enhancement
1651 Bugzilla   : 11461
1652 Description: add Linux 2.4 support
1653 Details    : Added support for RHEL 2.4.21 kernel for 1.6 servers and clients
1654
1655 Severity   : normal
1656 Bugzilla   : 11330
1657 Description: a large application tries to do I/O to the same resource and dies
1658              in the middle of it.
1659 Details    : Check the req->rq_arrival time after the call to
1660              ost_brw_lock_get(), but before we do anything about
1661              processing it & sending the BULK transfer request. This
1662              should help move old stale pending locks off the queue as
1663              quickly as obd_timeout.
1664
1665 Severity   : major
1666 Frequency  : when an incorrect nid is specified during startup
1667 Bugzilla   : 10734
1668 Description: ptlrpc connect to non-existant node causes kernel crash
1669 Details    : LNET can't be re-entered from an event callback, which
1670              happened when we expire a message after the export has been
1671              cleaned up.  Instead, hand the zombie cleanup off to another
1672              thread.
1673
1674 Severity   : enhancement
1675 Bugzilla   : 10902
1676 Description: plain/inodebits lock performance improvement
1677 Details    : Grouping plain/inodebits in granted list by their request modes
1678              and bits policy, thus improving the performance of search through
1679              the granted list.
1680
1681 Severity   : major
1682 Frequency  : only if OST filesystem is corrupted
1683 Bugzilla   : 9829
1684 Description: client incorrectly hits assertion in ptlrpc_replay_req()
1685 Details    : for a short time RPCs with bulk IO are in the replay list,
1686              but replay of bulk IOs is unimplemented.  If the OST filesystem
1687              is corrupted due to disk cache incoherency and then replay is
1688              started it is possible to trip an assertion.  Avoid putting
1689              committed RPCs into the replay list at all to avoid this issue.
1690
1691 Severity   : major
1692 Frequency  : liblustre (e.g. catamount) on a large cluster with >= 8 OSTs/OSS
1693 Bugzilla   : 11684
1694 Description: System hang on startup
1695 Details    : This bug allowed the liblustre (e.g. catamount) client to
1696              return to the app before handling all startup RPCs.  This
1697              could leave the node unresponsive to lustre network traffic
1698              and manifested as a server ptllnd timeout.
1699
1700 Severity   : enhancement
1701 Bugzilla   : 11667
1702 Description: Add "/proc/sys/lustre/debug_peer_on_timeout"
1703 Details    : liblustre envirable: LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT
1704              boolean to control whether to print peer debug info when a
1705              client's RPC times out.
1706
1707 Severity   : minor
1708 Frequency  : only for kernels with patches from Lustre below 1.4.3
1709 Bugzilla   : 11248
1710 Description: Remove old rdonly API
1711 Details    : Remove old rdonly API which unused from at least lustre 1.4.3
1712
1713 Severity   : major
1714 Frequency  : only for devices with external journals
1715 Bugzilla   : 10719
1716 Description: Set external device read-only also
1717 Details    : During a commanded failover stop, we set the disk device
1718              read-only while the server shuts down. We now also set any
1719              external journal device read-only at the same time.
1720
1721 Severity   : minor
1722 Frequency  : when upgrading from 1.4 while trying to change parameters
1723 Bugzilla   : 11692
1724 Description: The wrong (new) MDC name was used when setting parameters for
1725              upgraded MDT's.  Also allows changing of OSC (and MDC)
1726              parameters if --writeconf is specified at tunefs upgrade time.
1727
1728 Severity   : major
1729 Frequency  : when setting specific ost indicies
1730 Bugzilla   : 11149
1731 Description: QOS code breaks on skipped indicies
1732 Details    : Add checks for missing OST indicies in the QOS code, so OSTs
1733              created with --index need not be sequential.
1734
1735 Severity   : enhancement
1736 Bugzilla   : 11264
1737 Description: Add uninit_groups feature to ldiskfs2 to speed up e2fsck
1738 Details    : The uninit_groups feature works in conjunction with the kernel
1739              filesystem code (ldiskfs2 only) and e2fsprogs-1.39-cfs6 to speed
1740              up the pass1 processing of e2fsck.  This is a read-only feature
1741              in ldiskfs2 only, so older kernels and current ldiskfs cannot
1742              mount filesystems that have had this feature enabled.
1743
1744 Severity   : enhancement
1745 Bugzilla   : 10816
1746 Description: Improve multi-block allocation algorithm to avoid fragmentation
1747 Details    : The mballoc3 code (ldiskfs2 only) adds new mechanisms to improve
1748              allocation locality and avoid filesystem fragmentation.
1749
1750 ------------------------------------------------------------------------------
1751
1752 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
1753        * version 1.4.10
1754        * Support for kernels:
1755         2.4.21-47.0.1.EL (RHEL 3)
1756         2.6.5-7.283 (SLES 9)
1757         2.6.9-42.0.10.EL (RHEL 4)
1758         2.6.12.6 vanilla (kernel.org)
1759         2.6.16.27-0.9 (SLES 10)
1760        * Recommended e2fsprogs version: 1.39.cfs5
1761
1762        * Note that reiserfs quotas are disabled on SLES 10 in this kernel
1763        * bug fixes
1764
1765 Severity   : critical
1766 Frequency  : occasional, depends on client load and configuration
1767 Bugzilla   : 12181, 12203
1768 Description: data loss for recently-modified files
1769 Introduced : 1.4.6
1770 Details    : In some cases it is possible that recently written or created
1771              files may not be written to disk in a timely manner (this should
1772              normally be within 30s unless client IO load is very high).
1773              The problem appears as zero-length files or files that are a
1774              multiple of 1MB in size after a client crash or client eviction
1775              that are missing data at the end of the file.
1776
1777              This problem is more likely to be hit on clients where files are
1778              repeatedly created and unlinked in the same directory, clients
1779              have a large amount of RAM, have many CPUs, the filesystem has
1780              many OSTs, the clients are rebooted frequently, and/or the files
1781              are not accessed by other nodes after being written.
1782
1783              The presence of the problem can be detected by looking at
1784              /proc/sys/fs/inode-state.  If the first number (nr_inodes) is
1785              smaller than the second (nr_unused) then dirty files will not
1786              be flushed automatically to disk.  "sync; sleep 10" should be
1787              run several times on the node before unmounting it to update
1788              Lustre (this is also safe to run on nodes without this problem).
1789
1790              There is also a related kernel bug in the RHEL4 4 2.6.9 kernel
1791              that can cause this same problem, so customers using that kernel
1792              also need to update the kernel in addition to Lustre.  In order
1793              to properly fix this bug, the RHEL3 2.4.21 kernel is also updated.
1794
1795              It is normal that files written just before a client crash (less
1796              than 30s) may not yet have been flushed to disk, even for local
1797              filesystems.
1798
1799 Severity   : normal
1800 Frequency  : frequent on thin XT3 nodes
1801 Bugzilla   : 10802
1802 Description: UUID collision on thin XT3 Linux nodes
1803 Details    : UUIDs on Compute Node Linux XT3 nodes were not generated
1804              randomly, since we relied on an insufficiently-seeded PRNG.
1805
1806 Severity   : normal
1807 Frequency  : rare
1808 Bugzilla   : 11693
1809 Description: OSS hangs after "All ost request buffers busy"
1810 Details    : A deadlock between quota and journal operations caused OSS
1811              hangs after printing "All ost request buffers busy."
1812
1813 Severity   : minor
1814 Frequency  : always on liblustre builds
1815 Bugzilla   : 11175
1816 Description: Cleanup compiler warnings on liblustre
1817
1818 Severity   : minor
1819 Frequency  : always on liblustre builds on XT3
1820 Bugzilla   : 12146
1821 Description: LC_CONFIG_CDEBUG don't run while build liblustre on XT3.
1822
1823 Frequency  : always
1824 Bugzilla   : 3244
1825 Description: Addition of EXT3_FEATURE_RO_COMPAT_DIR_NLINKS flag for
1826              > 32000 subdirectories
1827 Details    : Add EXT3_FEATURE_RO_COMPAT_DIR_NLINK flag to
1828              EXT3_FEATURE_RO_COMPAT_SUPP. This flag will be set whenever
1829              subdirectory count crosses 32000. This will aid e2fsck to
1830              correctly handle more than 32000 subdirectories.
1831
1832 Severity   : major
1833 Frequency  : liblustre (e.g. catamount) on a large cluster with >= 8 OSTs/OSS
1834 Bugzilla   : 11684
1835 Description: System hang on startup
1836 Details    : This bug allowed the liblustre (e.g. catamount) client to
1837              return to the app before handling all startup RPCs.  This
1838              could leave the node unresponsive to lustre network traffic
1839              and manifested as a server ptllnd timeout.
1840
1841 Severity   : enhancement
1842 Bugzilla   : 11667
1843 Description: Add "/proc/sys/lustre/debug_peer_on_timeout"
1844              (liblustre envirable: LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT)
1845              boolean to control whether to print peer debug info when a
1846              client's RPC times out.
1847
1848 Severity   : normal
1849 Frequency  : always
1850 Bugzilla   : 10214
1851 Description: make O_SYNC working on 2.6 kernels
1852 Details    : 2.6 kernels use different method for mark pages for write,
1853              so need add a code to lustre for O_SYNC work.
1854
1855 Severity   : minor
1856 Frequency  : always
1857 Bugzilla   : 11110
1858 Description: Failure to close file and release space on NFS
1859 Details    : Put inode details into lock acquired in ll_intent_file_open.
1860              Use mdc_intent_lock in ll_intent_open to properly
1861              detect all kind of errors unhandled by mdc_enqueue.
1862
1863 Severity   : major
1864 Frequency  : rare
1865 Bugzilla   : 10866
1866 Description: proc file read during shutdown sometimes raced obd removal,
1867              causing node crash
1868 Details    : Add lock to prevent obd access after proc file removal.
1869
1870 Severity   : normal
1871 Frequency  : Only for files larger than 4GB on 32-bit clients.
1872 Bugzilla   : 11237
1873 Description: improperly doing page alignment of locks
1874 Details    : Modify lustre core code to use CFS_PAGE_* defines instead of
1875              PAGE_*.  Make CFS_PAGE_MASK a 64-bit mask.
1876
1877 Severity   : normal
1878 Frequency  : rarely
1879 Bugzilla   : 11203
1880 Description: RPCs being resent when they shouldn't be
1881 Details    : Some RPCs that should not be resent are being resent.  This
1882              can cause inconsistencies in the RPC state machine.  Do not
1883              resend such requests.
1884
1885 Severity   : normal
1886 Frequency  : rare, only with NFS export
1887 Bugzilla   : 11669
1888 Description: Crash on NFS re-export node
1889 Details    : under very unusual load conditions an assertion is hit in
1890              ll_intent_file_open()
1891
1892 Severity   : major
1893 Frequency  : only if OST filesystem is corrupted
1894 Bugzilla   : 9829
1895 Description: client incorrectly hits assertion in ptlrpc_replay_req()
1896 Details    : for a short time RPCs with bulk IO are in the replay list,
1897              but replay of bulk IOs is unimplemented.  If the OST filesystem
1898              is corrupted due to disk cache incoherency and then replay is
1899              started it is possible to trip an assertion.  Avoid putting
1900              committed RPCs into the replay list at all to avoid this issue.
1901
1902 Severity   : normal
1903 Frequency  : always
1904 Bugzilla   : 10901
1905 Description: large O_DIRECT requests fail under memory pressure/fragmentation
1906 Details    : Large single O_DIRECT read and write calls can fail to allocate
1907              a sufficiently large buffer to process the request.  In case of
1908              allocation failure the allocation is retried with a smaller
1909              buffer and broken into smaller requests.
1910
1911 Severity   : enhancement
1912 Bugzilla   : 11563
1913 Description: Add -o localflock option to simulate  old noflock behaviour.
1914 Details    : This will achieve local-only flock/fcntl locks coherentness.
1915
1916 Severity   : normal
1917 Frequency  : always
1918 Bugzilla   : 11090
1919 Description: versioning check is incomplete
1920 Details    : Checking the version difference of client vs. server, report
1921              error if the gap is too big.
1922
1923 Severity   : major
1924 Bugzilla   : 11710
1925 Frequency  : always
1926 Description: add support PG_writeback bit
1927 Details    : add support for PG_writeback bit for Lustre, for more carefull
1928              work with page cache in 2.6 kernel. This also fix some deadlocks
1929              and remove hack for work O_SYNC with 2.6 kernel.
1930
1931 Severity   : enhancement
1932 Bugzilla   : 11264
1933 Description: Add uninit_groups feature to ldiskfs2 to speed up e2fsck
1934 Details    : The uninit_groups feature works in conjunction with the kernel
1935              filesystem code (ldiskfs2 only) and e2fsprogs-1.39-cfs6 to speed
1936              up the pass1 processing of e2fsck.  This is a read-only feature
1937              in ldiskfs2 only, so older kernels and current ldiskfs cannot
1938              mount filesystems that have had this feature enabled.
1939
1940 Severity   : enhancement
1941 Bugzilla   : 10816
1942 Description: Improve multi-block allocation algorithm to avoid fragmentation
1943 Details    : The mballoc3 code (ldiskfs2 only) adds new mechanisms to improve
1944              allocation locality and avoid filesystem fragmentation.
1945
1946 ------------------------------------------------------------------------------
1947
1948 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
1949        * version 1.4.9
1950        * Support for kernels:
1951         2.6.9-42.0.3.EL (RHEL 4)
1952         2.6.5-7.276 (SLES 9)
1953         2.4.21-47.0.1.EL (RHEL 3)
1954         2.6.12.6 vanilla (kernel.org)
1955         2.6.16.21-0.8 (SLES10)
1956        * Recommended e2fsprogs version: 1.39.cfs2-0
1957
1958        * The backwards-compatible /proc/sys/portals symlink has been removed
1959          in this release.  Before upgrading, please ensure that you change
1960          any configuration scripts or /etc/sysctl.conf files that access
1961          /proc/sys/portals/* or sysctl portals.* to use the corresponding
1962          entry in /proc/sys/lnet or sysctl lnet.*.  This change can be made
1963          in advance of the upgrade on any system running Lustre 1.4.6 or
1964          newer, since /proc/sys/lnet was added in that version.
1965        * Note that reiserfs quotas are disabled on SLES 10 in this kernel
1966        * bug fixes
1967
1968 Severity   : minor
1969 Frequency  : only when quota is used
1970 Bugzilla   : 11286
1971 Description: avoid scanning export list for quota master
1972 Details    : Change the algorithms to avoid scanning export list in order
1973              to improve the efficiency.
1974
1975 Severity   : critical
1976 Frequency  : MDS failover only, very rarely
1977 Bugzilla   : 11125
1978 Description: "went back in time" messages on mds failover
1979 Details    : The greatest transno may be lost when the current operation
1980              finishes with an error (transno==0) and the client's last_rcvd
1981              record is over-written. Save the greatest transno in the
1982              mds_last_transno for this case.
1983
1984 Severity   : minor
1985 Frequency  : always for specific kernels and striping counts
1986 Bugzilla   : 11042
1987 Description: client may get "Matching packet too big" without ACL support
1988 Details    : Clients compiled without CONFIG_FS_POSIX_ACL get an error message
1989              when trying to access files in certain configurations.  The
1990              clients should in fact be denied when mounting because they do
1991              not understand ACLs.
1992
1993 Severity   : major
1994 Frequency  : Cray XT3 with more than 4000 clients and multiple jobs
1995 Bugzilla   : 10906
1996 Description: many clients connecting with IO in progress causes connect timeouts
1997 Details    : Avoid synchronous journal commits to avoid delays caused by many
1998              clients connecting/disconnecting when bulk IO is in progress.
1999              Queue liblustre connect requests on OST_REQUEST_PORTAL instead of
2000              OST_IO_PORTAL to avoid delays behind potentially many pending
2001              slow IO requests.
2002
2003 Severity   : normal
2004 Frequency  : occasionally with multiple writers to a single file
2005 Bugzilla   : 11081
2006 Description: shared writes to file may result in wrong size reported by stat()
2007 Details    : Allow growing of kms when extent lock is cancelled
2008
2009 Severity   : minor
2010 Frequency  : always with random mmap IO to multi-striped file
2011 Bugzilla   : 10919
2012 Description: mmap write might be lost if we are writing to a 'hole' in stripe
2013 Details    : Only if the hole is at the end of OST object so that kms is too
2014              small. Fix is to increase kms accordingly in ll_nopage.
2015
2016 Severity   : normal
2017 Frequency  : rare, only if OST filesystem is inconsistent with MDS filesystem
2018 Bugzilla   : 11211
2019 Description: writes to a missing object would leak memory on the OST
2020 Details    : If there is an inconsistency between the MDS and OST filesystems,
2021              such that the MDS references an object that doesn't exist, writes
2022              to that object will leak memory due to incorrect cleanup in the
2023              error handling path, eventually running out of memory on the OST.
2024
2025 Severity   : minor
2026 Frequency  : rare
2027 Bugzilla   : 11040
2028 Description: Creating too long symlink causes lustre errors
2029 Details    : Check symlink and name lengths before sending requests to MDS.
2030
2031 Severity   : normal
2032 Frequency  : only if flock is enabled (not on by default)
2033 Bugzilla   : 11415
2034 Description: posix locks not released on fd closure on 2.6.9+
2035 Details    : We failed to add posix locks to list of inode locks on 2.6.9+
2036              kernels, this caused such locks not to be released on fd close and
2037              then assertions on fs unmount about still used locks.
2038
2039 Severity   : minor
2040 Frequency  : MDS failover only, very rarely
2041 Bugzilla   : 11277
2042 Description: clients may get ASSERTION(granted_lock != NULL)
2043 Details    : When request was taking a long time, and a client was resending
2044              a getattr by name lock request. The were multiple lock requests
2045              with the same client lock handle and
2046              mds_getattr_name->fixup_handle_for_resent_request found one of the
2047              lock handles but later failed with ASSERTION(granted_lock != NULL).
2048
2049 Severity   : major
2050 Frequency  : rare
2051 Bugzilla   : 10891
2052 Description: handle->h_buffer_credits > 0, assertion failure
2053 Details    : h_buffer_credits is zero after truncate, causing assertion
2054              failure.  This patch extends the transaction or creates a new
2055              one after truncate.
2056
2057 Severity   : normal
2058 Frequency  : NFS re-export or patchless client
2059 Bugzilla   : 11179, 10796
2060 Description: Crash on NFS re-export node (__d_move)
2061 Details    : We do not want to hash the dentry if we don't have a lock.
2062              But if this dentry is later used in d_move, we'd hit uninitialised
2063              list head d_hash, so we just do this to init d_hash field but
2064              leave dentry unhashed.
2065
2066 Severity   : normal
2067 Frequency  : NFS re-export or patchless client
2068 Bugzilla   : 11135
2069 Description: NFS exports has problem with symbolic link
2070 Details    : lustre client didn't properly install dentry when re-exported
2071              to NFS or running patchless client.
2072
2073 Severity   : normal
2074 Frequency  : NFS re-export or patchless client
2075 Bugzilla   : 10796
2076 Description: Various nfs/patchless fixes.
2077 Details    : fixes reuse disconected alias for lookup process - this fixes
2078              warning "find_exported_dentry: npd != pd",
2079              fix permission error with open files at nfs.
2080              fix apply umask when do revalidate.
2081
2082 Severity   : normal
2083 Frequency  : occasional
2084 Bugzilla   : 11191
2085 Description: Crash on NFS re-export node
2086 Details    : calling clear_page() on the wrong pointer triggered oops in
2087              generic_mapping_read().
2088
2089 Severity   : normal
2090 Frequency  : rarely, using O_DIRECT IO
2091 Bugzilla   : 10903
2092 Description: unaligned directio crashes client with LASSERT
2093 Details    : check for unaligned buffers before trying any requests.
2094
2095 Severity   : major
2096 Frequency  : rarely, using CFS RAID5 patches in non-standard kernel series
2097 Bugzilla   : 11313
2098 Description: stale data returned from RAID cache
2099 Details    : If only a small amount of IO is done to the RAID device before
2100              reading it again it is possible to get stale data from the RAID
2101              cache instead of reading it from disk.
2102
2103 Severity   : normal
2104 Frequency  : always for sles10 kernel
2105 Bugzilla   : 10947
2106 Description: sles10 support
2107 Details    : ll_follow_link: compile fixes and using of nd_set_link
2108              under newer kernels.
2109
2110 Severity   : major
2111 Frequency  : depends on arch, kernel and compiler version, always on sles10
2112              kernel and x86_64
2113 Bugzilla   : 11562
2114 Description: recursive or deep enough symlinks cause stack overflow
2115 Details    : getting rid of large stack-allocated variable in
2116              __vfs_follow_link
2117
2118 Severity   : minor
2119 Frequency  : depends on hardware
2120 Bugzilla   : 11540
2121 Description: lustre write performance loss in the SLES10 kernel
2122 Details    : the performance loss is caused by using of write barriers in the
2123              ext3 code. The SLES10 kernel turns barrier support on by
2124              default. The fix is to undo that change for ldiskfs.
2125
2126 ------------------------------------------------------------------------------
2127
2128 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
2129        * version 1.4.8
2130        * Support for kernels:
2131         2.6.9-42.0.3EL (RHEL 4)
2132         2.6.5-7.276 (SLES 9)
2133         2.4.21-47.0.1.EL (RHEL 3)
2134         2.6.12.6 vanilla (kernel.org)
2135        * bug fixes
2136
2137 Severity   : major
2138 Frequency  : quota enabled and large files being deleted
2139 Bugzilla   : 10707
2140 Description: releasing more than 4GB of quota at once hangs OST
2141 Details    : If a user deletes more than 4GB of files on a single OST it
2142              will cause the OST to spin in an infinite loop.  Release
2143              quota in < 4GB chunks, or use a 64-bit value for 1.4.7.1+.
2144
2145 Severity   : minor
2146 Frequency  : rare
2147 Bugzilla   : 10845
2148 Description: statfs data retrieved from /proc may be stale or zero
2149 Details    : When reading per-device statfs data from /proc, in the
2150              {kbytes,files}_{total,free,avail} files, it may appear
2151              as zero or be out of date.
2152
2153 Severity   : minor
2154 Frequency  : systems with MD RAID1 external journal devices
2155 Bugzilla   : 10832
2156 Description: lconf's call to blkid is confused by RAID1 journal devices
2157 Details    : Use the "blkid -l" flag to locate the MD RAID device instead
2158              of returning all block devices that match the journal UUID.
2159
2160 Severity   : normal
2161 Frequency  : always, for aggregate stripe size over 4GB
2162 Bugzilla   : 10725
2163 Description: "lfs setstripe" fails assertion when setting 4GB+ stripe width
2164 Details    : Using "lfs setstripe" to set stripe size * stripe count over 4GB
2165              will fail the kernel with "ASSERTION(lsm->lsm_xfersize != 0)"
2166
2167 Severity   : minor
2168 Frequency  : always if "lfs find" used on a local file/directory
2169 Bugzilla   : 10864
2170 Description: "lfs find" segfaults if used on a local file/directory
2171 Details    : The case where a directory component was not specified wasn't
2172              handled correctly.  Handle this properly.
2173
2174 Severity   : normal
2175 Frequency  : always on ppc64
2176 Bugzilla   : 10634
2177 Description: the write to an ext3 filesystem mounted with mballoc got stuck
2178 Details    : ext3_mb_generate_buddy() uses find_next_bit() which does not
2179              perform endianness conversion.
2180
2181 Severity   : major
2182 Frequency  : rarely (truncate to non-zero file size after write under load)
2183 Bugzilla   : 10730, 10687
2184 Description: Files padded with zeros to next 4K multiple
2185 Details    : With filesystems mounted using the "extents" option (2.6 kernels)
2186              it is possible that files that are truncated to a non-zero size
2187              immediately after being written are filled with zero bytes beyond
2188              the truncated size.  No file data is lost.
2189
2190 Severity   : enhancement
2191 Bugzilla   : 10452
2192 Description: Allow recovery/failover for liblustre clients.
2193 Details    : liblustre clients were unaware of failover configurations until
2194              now.
2195
2196 Severity   : enhancement
2197 Bugzilla   : 10743
2198 Description: user file locks should fail when not mounting with flock option
2199 Details    : Set up an error-returning stub in ll_file_operations.lock field
2200              to prevent incorrect behaviour when client is mounted without
2201              flock option. Also, set up properly f_op->flock field for
2202              RHEL4 kernels.
2203
2204 Severity   : minor
2205 Frequency  : always on ia64
2206 Bugzilla   : 10905
2207 Description: "lfs df" loops on printing out MDS statfs information
2208 Details    : The obd_ioctl_data was not initialized and in some systems
2209              this caused a failure during the ioctl that did not return
2210              an error.  Initialize the struct and return an error on failure.
2211
2212 Severity   : minor
2213 Frequency  : SLES 9 only
2214 Bugzilla   : 10667
2215 Description: Error of copying files with lustre special EAs as root
2216 Details    : Client side always return success for setxattr call for lustre
2217              special xattr (currently only "trusted.lov").
2218
2219 Severity   : normal
2220 Frequency  : rarely on clusters with both ia64+i386 clients
2221 Bugzilla   : 10672
2222 Description: ia64+i686 clients doing shared IO on the same file may LBUG
2223 Details    : In rare cases when both ia64+i686 (or other mixed-PAGE_SIZE)
2224              clients are doing concurrent writes to the same file it is
2225              possible that the ia64 clients may LASSERT because the OST
2226              extent locks are not PAGE_SIZE aligned.  Ensure that grown
2227              locks are always aligned on the request boundary.
2228
2229 Severity   : normal
2230 Frequency  : specific use, occasional
2231 Bugzilla   : 7040
2232 Description: Overwriting in use executable truncates on-disk binary image
2233 Details    : If one node attempts to overwrite an executable in use by
2234              another node, we now correctly return ETXTBSY instead of
2235              truncating the file.
2236
2237 Severity   : enhancement
2238 Bugzilla   : 4900
2239 Description: Async OSC create to avoid the blocking unnecessarily.
2240 Details    : If a OST has no remain object, system will block on the creating
2241              when need to create a new object on this OST. Now, ways use
2242              pre-created objects when available, instead of blocking on an
2243              empty osc while others are not empty.  If we must block, we block
2244              for the shortest possible period of time.
2245
2246 Severity   : normal
2247 Frequency  : rare
2248 Bugzilla   : 2707
2249 Description: chmod on Lustre root is propagated to other clients
2250 Details    : Re-validate root's dentry in ll_lookup_it to avoid having it
2251              invalid by the follow_mount time.
2252
2253 Severity   : minor
2254 Frequency  : liblustre clients only
2255 Bugzilla   : 10883
2256 Description: Race in 'instant cancel' lock handling could lead to such locks
2257              never to be granted in case of SMP MDS
2258 Details    : Do not destroy not yet granted but cbpending locks in
2259              handle_enqueue
2260
2261 Severity   : minor
2262 Frequency  : replay/resend of open
2263 Bugzilla   : 10991
2264 Description: non null lock assetion failure in mds_intent_policy
2265 Details    : Trying to replay/resend lockless open requests resulted in
2266              mds_open() returning 0 with no lock.  Now it sets a flag if
2267              a lock is going to be returned.
2268
2269 Severity   : enhancement
2270 Bugzilla   : 10889
2271 Description: Checksum enhancements
2272 Details    : New checksum enhancements allow for resending RPCs that failed
2273              checksum checks.
2274
2275 Severity   : enhancement
2276 Bugzilla   : 7376
2277 Description: Tunables on number of dirty pages in cacche
2278 Details    : Allow to set limit on number of dirty pages cached.
2279
2280 Severity   : normal
2281 Frequency  : rare
2282 Bugzilla   : 10643
2283 Description: client crash on unmount - lock still has references
2284 Details    : In some error handling cases it was possible to leak a lock
2285              reference on a client while accessing a file.  This was not
2286              harmful to the client during operation, but would cause the
2287              client to crash when the filesystem is unmounted.
2288
2289 Severity   : normal
2290 Frequency  : specific case, rare
2291 Bugzilla   : 10921
2292 Description: ETXTBSY on mds though file not in use by client
2293 Details    : ETXTBSY is no longer incorrectly returned when attempting to
2294              chmod or chown a directory that the user previously tried to
2295              execute or a currently-executing binary.
2296
2297 Severity   : major
2298 Frequency  : extremely rare except on liblustre-based clients
2299 Bugzilla   : 10480
2300 Description: Lustre space not freed when files are deleted
2301 Details    : Clean up open-unlinked files after client eviction.  Previously
2302              the unlink was skipped and the files remained as orphans.
2303
2304 Severity   : normal
2305 Frequency  : rare
2306 Bugzilla   : 10999
2307 Description: OST failure "would be an LBUG" in waiting_locks_callback()
2308 Details    : In some cases it was possible to send a blocking callback to
2309              a client doing a glimpse, even though that client didn't get
2310              a lock granted.  When the glimpse lock is cancelled on the OST
2311              the freed lock is left on the waiting list and corrupted the list.
2312
2313 Severity   : major
2314 Frequency  : all core dumps
2315 Bugzilla   : 11103
2316 Description: Broke core dumps to lustre
2317 Details    : Negative dentry may be unhashed if parent does not have UPDATE
2318              lock, but some callers, e.g. do_coredump, expect dentry to be
2319              hashed after successful create, hash it in ll_create_it.
2320
2321 ------------------------------------------------------------------------------
2322
2323 2006-09-13  Cluster File Systems, Inc. <info@clusterfs.com>
2324        * version 1.4.7.1
2325        * Support for kernels:
2326         2.6.9-42.0.2.EL (RHEL 4)
2327         2.6.5-7.276 (SLES 9)
2328         2.4.21-40.EL (RHEL 3)
2329         2.6.12.6 vanilla (kernel.org)
2330       * bug fix
2331
2332 Severity   : major
2333 Frequency  : always on RHEL 3
2334 Bugzilla   : 10867
2335 Description: Number of open files grows over time
2336 Details    : The number of open files grows over time, whether or not
2337              Lustre is started.  This was due to a filp leak introduced
2338              by one of our kernel patches.
2339
2340 ------------------------------------------------------------------------------
2341
2342 08-20-2006  Cluster File Systems, Inc. <info@clusterfs.com>
2343        * version 1.4.7
2344        * Support for kernels:
2345         2.6.9-42.EL (RHEL 4)
2346         2.6.5-7.276 (SLES 9)
2347         2.4.21-40.EL (RHEL 3)
2348         2.6.12.6 vanilla (kernel.org)
2349        * bug fixes
2350
2351 Severity   : major
2352 Frequency  : rare
2353 Bugzilla   : 5719, 9635, 9792, 9684
2354 Description: OST (or MDS) trips assertions in (re)connection under heavy load
2355 Details    : If a server is under heavy load and cannot reply to new
2356              connection requests before the client resends the (re)connect,
2357              the connection handling code can behave badly if two service
2358              threads are concurrently handing separate (re)connections from
2359              the same client.  Add better locking to the connection handling
2360              code, and ensure that only a single connection will be processed
2361              for a given client UUID, even if the lock is dropped.
2362
2363 Severity   : enhancement
2364 Bugzilla   : 3627
2365 Description: add TCP zero-copy support to kernel
2366 Details    : Add support to the kernel TCP stack to allow zero-copy bulk
2367              sends if the hardware supports scatter-gather and checksumming.
2368              This allows socklnd to do client-write and server-read more
2369              efficiently and reduce CPU utilization from skbuf copying.
2370
2371 Severity   : minor
2372 Frequency  : only if NFS exporting from client
2373 Bugzilla   : 10258
2374 Description: NULL pointer deref in ll_iocontrol() if chattr mknod file
2375 Details    : If setting attributes on a file created under NFS that had
2376              never been opened it would be possible to oops the client
2377              if the file had no objects.
2378
2379 Severity   : minor
2380 Frequency  : always for liblustre
2381 Bugzilla   : 10290
2382 Description: liblustre client does MDS+OSTs setattr RPC for each write
2383 Details    : When doing a write from a liblustre client, the client
2384              incorrectly issued an RPC to the MDS and each OST the file was
2385              striped over in order to update the timestamps.  When writing
2386              with small chunks and many clients this could overwhelm the MDS
2387              with RPCs.  In all cases it would slow down the write because
2388              these RPCs are unnecessary.
2389
2390 Severity   : enhancement
2391 Bugzilla   : 9340
2392 Description: allow number of MDS service threads to be changed at module load
2393 Details    : It is now possible to change the number of MDS service threads
2394              running.  Adding "options mds mds_num_threads={N}" to the MDS's
2395              /etc/modprobe.conf will set the number of threads for the next
2396              time Lustre is restarted (assuming the "mds" module is also
2397              reloaded at that time).  The default number of threads will
2398              stay the same, 32 for most systems.
2399
2400 Severity   : major
2401 Frequency  : rare
2402 Bugzilla   : 10300
2403 Description: OST crash if filesystem is unformatted or corrupt
2404 Details    : If an OST is started on a device that has never been formatted
2405              or if the filesystem is corrupt and cannot even mount then the
2406              error handling cleanup routines would dereference a NULL pointer.
2407
2408 Severity   : medium
2409 Frequency  : rare
2410 Bugzilla   : 10047
2411 Description: NULL pointer deref in llap_from_page.
2412 Details    : get_cache_page_nowait can return a page with NULL (or otherwise
2413              incorrect) mapping if the page was truncated/reclaimed while it was
2414              searched for. Check for this condition and skip such pages when
2415              doing readahead. Introduce extra check to llap_from_page() to
2416              verify page->mapping->host is non-NULL (so page is not anonymous).
2417
2418 Severity   : minor
2419 Frequency  : Sometimes when using sys_sendfile
2420 Bugzilla   : 7020
2421 Description: "page not covered by a lock" warnings from ll_readpage
2422 Details    : sendfile called ll_readpage without right page locks present.
2423              Now we introduced ll_file_sendfile that does necessary locking
2424              around call to generic_file_sendfile() much like we do in
2425              ll_file_read().
2426
2427 Severity   : medium
2428 Frequency  : with certain MDS communication failures at client mount time
2429 Bugzilla   : 10268
2430 Description: NULL pointer deref after failed client mount
2431 Details    : a client connection request may delayed by the network layer
2432              and not be sent until after the PTLRPC layer has timed out the
2433              request.  If the client fails the mount immediately it will try
2434              to clean up before the network times out the request.  Add a
2435              reference from the request import to the obd device and delay
2436              the cleanup until the network drops the request.
2437
2438 Severity   : medium
2439 Frequency  : occasionally during client (re)connect
2440 Bugzilla   : 9387
2441 Description: assertion failure during client (re)connect
2442 Details    : processing a client connection request may be delayed by the
2443              client or server longer than the client connect timeout.  This
2444              causes the client to resend the connection request.  If the
2445              original connection request is replied in this interval, the
2446              client may trip an assertion failure in ptlrpc_connect_interpret()
2447              which thought it would be the only running connect process.
2448
2449 Severity   : medium
2450 Frequency  : only with obd_echo servers and clients that are rebooted
2451 Bugzilla   : 10140
2452 Description: kernel BUG accessing uninitialized data structure
2453 Details    : When running an obd_echo server it did not start the ping_evictor
2454              thread, and when a client was evicted an uninitialized data
2455              structure was accessed.  Start the ping_evictor in the RPC
2456              service startup instead of the OBD startup.
2457
2458 Severity   : enhancement
2459 Bugzilla   : 10193 (patchless)
2460 Description: Remove dependency on various unexported kernel interfaces.
2461 Details    : No longer need reparent_to_init, exit_mm, exit_files,
2462              sock_getsockopt, filemap_populate, FMODE_EXEC, put_filp.
2463
2464 Severity   : minor
2465 Frequency  : rare (only users of deprecated and unsupported LDAP config)
2466 Bugzilla   : 9337
2467 Description: write_conf for zeroconf mount queried LDAP incorrectly for client
2468 Details    : LDAP apparently contains 'lustreName' attributes instead of
2469              'name'.  A simple remapping of the name is sufficient.
2470
2471 Severity   : major
2472 Frequency  : rare (only with non-default dump_on_timeout debug enabled)
2473 Bugzilla   : 10397
2474 Description: waiting_locks_callback trips kernel BUG if client is evicted
2475 Details    : Running with the dump_on_timeout debug flag turned on makes
2476              it possible that the waiting_locks_callback() can try to dump
2477              the Lustre kernel debug logs from an interrupt handler.  Defer
2478              this log dumping to the expired_lock_main() thread.
2479
2480 Severity   : enhancement
2481 Bugzilla   : 10420
2482 Description: Support NFS exporting on 2.6 kernels.
2483 Details    : Implement non-rawops metadata methods for NFS server to use without
2484              changing NFS server code.
2485
2486 Severity   : medium
2487 Frequency  : very rare (synthetic metadata workload only)
2488 Bugzilla   : 9974
2489 Description: two racing renames might cause an MDS thread to deadlock
2490 Details    : Running the "racer" program may cause one MDS thread to rename
2491              a file from being the source of a rename to being the target of
2492              a rename at exactly the same time that another thread is doing
2493              so, and the second thread has already enqueued these locks after
2494              doing a lookup of the target and is trying to relock them in
2495              order.  Ensure that we don't try to re-lock the same resource.
2496
2497 Severity   : major
2498 Frequency  : only very large systems with liblustre clients
2499 Bugzilla   : 7304
2500 Description: slow eviction of liblustre clients with the "evict_by_nid" RPC
2501 Details    : Use asynchronous set_info RPCs to send the "evict_by_nid" to
2502              all OSTs in parallel.  This allows the eviction of stale liblustre
2503              clients to proceed much faster than if they were done in series,
2504              and also offers similar improvements for other set_info RPCs.
2505
2506 Severity   : minor
2507 Frequency  : common
2508 Bugzilla   : 10265
2509 Description: excessive CPU usage during initial read phase on client
2510 Details    : During the initial read phase on a client, it would agressively
2511              retry readahead on the file, consuming too much CPU and impacting
2512              performance (since 1.4.5.8).  Improve the readahead algorithm
2513              to avoid this, and also improve some other common cases (read
2514              of small files in particular, where "small" is files smaller than
2515              /proc/fs/lustre/llite/*/max_read_ahead_whole_mb, 2MB by default).
2516
2517 Severity   : minor
2518 Frequency  : rare
2519 Bugzilla   : 10450
2520 Description: MDS crash when receiving packet with unknown intent.
2521 Details    : Do not LBUG in unknown intent case, just return -EFAULT
2522
2523 Severity   : enhancement
2524 Bugzilla   : 9293, 9385
2525 Description: MDS RPCs are serialised on client. This is unnecessary for some.
2526 Details    : Do not serialize getattr (non-intent version) and statfs.
2527
2528 Severity   : minor
2529 Frequency  : occasional, when OST network is overloaded/intermittent
2530 Bugzilla   : 10416
2531 Description: client evicted by OST after bulk IO timeout
2532 Details    : If a client sends a bulk IO request (read or write) the OST
2533              may evict the client if it is unresposive to its data GET/PUT
2534              request.  This is incorrect if the network is overloaded (takes
2535              too long to transfer the RPC data) or dropped the OST GET/PUT
2536              request.  There is no need to evict the client at all, since
2537              the pinger and/or lock callbacks will handle this, and the
2538              client can restart the bulk request.
2539
2540 Severity   : minor
2541 Frequency  : Always when mmapping file with no objects
2542 Bugzilla   : 10438
2543 Description: client crashes when mmapping file with no objects
2544 Details    : Check that we actually have objects in a file before doing any
2545              operations on objects in ll_vm_open, ll_vm_close and
2546              ll_glimpse_size.
2547
2548 Severity   : minor
2549 Frequency  : Rare
2550 Bugzilla   : 10484
2551 Description: Request leak when working with deleted CWD
2552 Details    : Introduce advanced request refcount tracking for requests
2553              referenced from lustre intent.
2554
2555 Severity   : Enhancement
2556 Bugzilla   : 10482
2557 Description: Cache open file handles on client.
2558 Details    : MDS now will return special lock along with openhandle, if
2559              requested and client is allowed to hold openhandle, even if unused,
2560              until such a lock is revoked. Helps NFS a lot, since NFS is opening
2561              closing files for every read/write openration.
2562
2563 Severity   : Enhancement
2564 Bugzilla   : 9291
2565 Description: Cache open negative dentries on client when possible.
2566 Details    : Guard negative dentries with UPDATE lock on parent dir, drop
2567              negative dentries on lock revocation.
2568
2569 Severity   : minor
2570 Frequency  : Always
2571 Bugzilla   : 10510
2572 Description: Remounting a client read-only wasn't possible with a zconf mount
2573 Details    : It wasn't possible to remount a client read-only with llmount.
2574
2575 Severity   : enhancement
2576 Description: Include MPICH 1.2.6 Lustre ADIO interface patch
2577 Details    : In lustre/contrib/ or /usr/share/lustre in RPM a patch for
2578              MPICH is included to add Lustre-specific ADIO interfaces.
2579              This is based closely on the UFS ADIO layer and only differs
2580              in file creation, in order to allow the OST striping to be set.
2581              This is user-contributed code and not supported by CFS.
2582
2583 Severity   : minor
2584 Frequency  : Always
2585 Bugzilla   : 9486
2586 Description: extended inode attributes (immutable, append-only) work improperly
2587              when 2.4 and 2.6 kernels are used on client/server or vice versa
2588 Details    : Introduce kernel-independent values for these flags.
2589
2590 Severity   : enhancement
2591 Frequency  : Always
2592 Bugzilla   : 10248
2593 Description: Allow fractional MB tunings for lustre in /proc/ filesystem.
2594 Details    : Many of the /proc/ tunables can only be tuned at a megabyte
2595              granularity. Now, Fractional MB granularity is be supported,
2596              this is very useful for low memory system.
2597
2598 Severity   : enhancement
2599 Bugzilla   : 9292
2600 Description: Getattr by fid
2601 Details    : Getting a file attributes by its fid, obtaining UPDATE|LOOKUP
2602              locks, avoids extra getattr rpc requests to MDS, allows '/' to
2603              have locks and avoids getattr rpc requests for it on every stat.
2604
2605 Severity   : major
2606 Frequency  : Always, for filesystems larger than 2TB
2607 Bugzilla   : 6191
2608 Description: ldiskfs crash at mount for filesystem larger than 2TB with mballoc
2609 Details    : Kenrel kmalloc limits allocations to 128kB and this prevents
2610              filesystems larger than 2TB to be mounted with mballoc enabled.
2611
2612 Severity   : critical
2613 Frequency  : Always, for 32-bit kernel without CONFIG_LBD and filesystem > 2TB
2614 Bugzilla   : 6191
2615 Description: ldiskfs crash at mount for filesystem larger than 2TB with mballoc
2616 Details    : If a 32-bit kernel is compiled without CONFIG_LBD enabled and a
2617              filesystems larger than 2TB is mounted then the kernel will
2618              silently corrupt the start of the filesystem.  CONFIG_LBD is
2619              enabled for all CFS-supported kernels, but the possibility of
2620              this happening with a modified kernel config exists.
2621
2622 Severity   : enhancement
2623 Bugzilla   : 10462
2624 Description: add client O_DIRECT support for 2.6 kernels
2625 Details    : It is now possible to do O_DIRECT reads and writes to files
2626              in the Lustre client mountpoint on 2.6 kernel clients.
2627
2628 Severity   : enhancement
2629 Bugzilla   : 10446
2630 Description: parallel glimpse, setattr, statfs, punch, destroy requests
2631 Details    : Sends glimpse, setattr, statfs, punch, destroy requests to OSTs in
2632              parallel, not waiting for response from every OST before sending
2633              a rpc to the next OST.
2634
2635 Severity   : minor
2636 Frequency  : rare
2637 Bugzilla   : 10150
2638 Description: setattr vs write race when updating file timestamps
2639 Details    : Client processes that update a file timestamp into the past
2640              right after writing to the file (e.g. tar) it is possible that
2641              the updated file modification time can be reset to the current
2642              time due to a race between processing the setattr and write RPC.
2643
2644 Severity   : enhancement
2645 Bugzilla   : 10318
2646 Description: Bring 'lfs find' closer in line with regular Linux find.
2647 Details    : lfs find util supports -atime, -mtime, -ctime, -maxdepth, -print,
2648              -print0 options and obtains all the needed info through the lustre
2649              ioctls.
2650
2651 Severity   : enhancement
2652 Bugzilla   : 6221
2653 Description: support up to 1024 configured devices on one node
2654 Details    : change obd_dev array from statically allocated to dynamically
2655              allocated structs as they are first used to reduce memory usage
2656
2657 Severity   : minor
2658 Frequency  : rare
2659 Bugzilla   : 10437
2660 Description: Flush dirty partially truncated pages during truncate
2661 Details    : Immediatelly flush partially truncated pages in filter_setattr,
2662              this way we completely avoid having any pages in page cache on OST
2663              and can retire ugly workarounds during writes to flush such pages.
2664
2665 Severity   : minor
2666 Frequency  : rare
2667 Bugzilla   : 10409
2668 Description: i_sem vs transaction deadlock in mds_obd_destroy during unlink.
2669 Details    : protect inode from truncation within vfs_unlink() context
2670              just take a reference before calling vfs_unlink() and release it
2671              when parent's i_sem is free.
2672
2673 Severity   : major
2674 Frequency  : rare
2675 Bugzilla   : 4778
2676 Description: last_id value checked outside lock on OST caused LASSERT failure
2677 Details    : If there were multiple MDS->OST object precreate requests in
2678              flight, it was possible that the OST's last object id was checked
2679              outside a lock and incorrectly tripped an assertion.  Move checks
2680              inside locks, and discard old precreate requests.
2681
2682 Severity   : minor
2683 Frequency  : always, if extents are used on OSTs
2684 Bugzilla   : 10703
2685 Description: index ei_leaf_hi (48-bit extension) is not zeroed in extent index
2686 Details    : OSTs using the extents format would not zero the high 16 bits of
2687              the index physical block number.  This is not a problem for any
2688              OST filesystems smaller than 16TB, and no kernels support ext3
2689              filesystems larger than 16TB yet.  This is fixed in 1.4.7 (all
2690              new/modified files) and can be fixed for existing filesystems
2691              with e2fsprogs-1.39-cfs1.
2692
2693 Severity   : minor
2694 Frequency  : rare
2695 Bugzilla   : 9387
2696 Description: import connection selection may be incorrect if timer wraps
2697 Details    : Using a 32-bit jiffies timer with HZ=1000 may cause backup
2698              import connections to be ignored if the 32-bit jiffies counter
2699              wraps.  Use a 64-bit jiffies counter.
2700
2701 Severity   : minor
2702 Frequency  : very large clusters immediately after boot
2703 Bugzilla   : 10083
2704 Description: LNET request buffers exhausted under heavy short-term load
2705 Details    : If a large number of client requests are generated on a service
2706              that has previously never seen so many requests it is possible
2707              that the request buffer growth cannot keep up with the spike in
2708              demand.  Instead of dropping incoming requests, they are held in
2709              the LND until the RPC service can accept more requests.
2710
2711 Severity   : minor
2712 Frequency  : Sometimes during replay
2713 Bugzilla   : 9314
2714 Description: Assertion failure in ll_local_open after replay.
2715 Details    : If replay happened on an open request reply before we were able
2716              to set replay handler, reply will become not swabbed tripping the
2717              assertion in ll_local_open. Now we set the handler right after
2718              recognising of open request
2719
2720 Severity   : trivial
2721 Frequency  : very rare
2722 Bugzilla   : 10584
2723 Description: kernel reports "badness in vsnprintf"
2724 Details    : Reading from the "recovery_status" /proc file in small chunks
2725              may cause a negative length in lprocfs_obd_rd_recovery_status()
2726              call to vsnprintf() (which is otherwise harmless).  Exit early
2727              if there is no more space in the output buffer.
2728
2729 Severity   : enhancement
2730 Bugzilla   : 2259
2731 Description: clear OBD RPC statistics by writing to them
2732 Details    : It is now possible to clear the OBD RPC statistics by writing
2733              to the "stats" file.
2734
2735 Severity   : minor
2736 Frequency  : rare
2737 Bugzilla   : 10641
2738 Description: Client mtime is not the same on different clients after utimes
2739 Details    : In some cases, the client was using the utimes() syscall on
2740              a file cached on another node.  The clients now validate the
2741              ctime from the MDS + OSTs to determine which one is right.
2742
2743 Severity   : minor
2744 Frequency  : always
2745 Bugzilla   : 10611
2746 Description: Inability to activate failout mode
2747 Details    : lconf script incorrectly assumed that in pythong string's numeric
2748              value is used in comparisons.
2749
2750 Severity   : minor
2751 Frequency  : always with multiple stripes per file
2752 Bugzilla   : 10671
2753 Description: Inefficient object allocation for mutli-stripe files
2754 Details    : When selecting which OSTs to stripe files over, for files with
2755              a stripe count that divides evenly into the number of OSTs,
2756              the MDS is always picking the same starting OST for each file.
2757              Return the OST selection heuristic to the original design.
2758
2759 Severity   : trivial
2760 Frequency  : rare
2761 Bugzilla   : 10673
2762 Description: mount failures may take full timeout to return an error
2763 Details    : Under some heavy load conditions it is possible that a
2764              failed mount can wait for the full obd_timeout interval,
2765              possibly several minutes, before reporting an error.
2766              Instead return an error as soon as the status is known.
2767 Severity   : major
2768 Frequency  : quota enabled and large files being deleted
2769 Bugzilla   : 10707
2770 Description: releasing more than 4GB of quota at once hangs OST
2771 Details    : If a user deletes more than 4GB of files on a single OST it
2772              will cause the OST to spin in an infinite loop.  Release
2773              quota in < 4GB chunks, or use a 64-bit value for 1.4.7.1+.
2774
2775 Severity   : trivial
2776 Frequency  : rare
2777 Bugzilla   : 10845
2778 Description: statfs data retrieved from /proc may be stale or zero
2779 Details    : When reading per-device statfs data from /proc, in the
2780              {kbytes,files}_{total,free,avail} files, it may appear
2781              as zero or be out of date.
2782
2783 Severity   : trivial
2784 Frequency  : systems with MD RAID1 external journal devices
2785 Bugzilla   : 10832
2786 Description: lconf's call to blkid is confused by RAID1 journal devices
2787 Details    : Use the "blkid -l" flag to locate the MD RAID device instead
2788              of returning all block devices that match the journal UUID.
2789
2790 Severity   : normal
2791 Frequency  : always, for aggregate stripe size over 4GB
2792 Bugzilla   : 10725
2793 Description: assertion fails when trying to use 4GB stripe size
2794 Details    : Use "setstripe" to set stripe size over 4GB will fail the kernel,
2795              complaining "ASSERTION(lsm->lsm_xfersize != 0)"
2796
2797 Severity   : normal
2798 Frequency  : always on ppc64
2799 Bugzilla   : 10634
2800 Description: the first write on an ext3 filesystem with mballoc got stuck
2801 Details    : ext3_mb_generate_buddy() uses find_next_bit() which does not
2802              perform endianness conversion.
2803
2804 ------------------------------------------------------------------------------
2805
2806 02-14-2006  Cluster File Systems, Inc. <info@clusterfs.com>
2807        * version 1.4.6
2808        * WIRE PROTOCOL CHANGE.  This version of Lustre networking WILL NOT
2809          INTEROPERATE with older versions automatically.  Please read the
2810          user documentation before upgrading any part of a live system.
2811        * WARNING: Lustre networking configuration changes are required with
2812          this release.  See https://bugzilla.clusterfs.com/show_bug.cgi?id=10052
2813          for details.
2814        * bug fixes
2815        * Support for kernels:
2816         2.6.9-22.0.2.EL (RHEL 4)
2817         2.6.5-7.244 (SLES 9)
2818         2.6.12.6 vanilla (kernel.org)
2819
2820
2821 Severity   : enhancement
2822 Bugzilla   : 7981/8208
2823 Description: Introduced Lustre Networking (LNET)
2824 Details    : LNET is new networking infrastructure for Lustre, it includes
2825              a reorganized network configuration mode (see the user
2826              documentation for full details) as well as support for routing
2827              between different network fabrics.  Lustre Networking Devices
2828              (LNDs) for the supported network fabrics have also been
2829              created for this new infrastructure.
2830
2831 Severity   : enhancement
2832 Description: Introduced Access control lists
2833 Details    : clients can set ACLs on files and directories in order to have
2834              more fine-grained permissions than the standard Unix UGO+RWX.
2835              The MDS must be started with the "-o acl" mount option.
2836
2837 Severity   : enhancement
2838 Description: Introduced filesystem quotas
2839 Details    : Administrators may now establish per-user quotas on the
2840              filesystem.
2841
2842 Severity   : enhancement
2843 Bugzilla   : 7982
2844 Description: Configuration change for the XT3
2845              The PTLLND is now used to run Lustre over Portals on the XT3
2846              The configure option(s) --with-cray-portals are no longer used.
2847              Rather --with-portals=<path-to-portals-includes> is used to
2848              enable building on the XT3.  In addition to enable XT3 specific
2849              features the option --enable-cray-xt3 must be used.
2850         
2851 Severity   : major
2852 Frequency  : rare
2853 Bugzilla   : 7407
2854 Description: Running on many-way SMP OSTs can trigger oops in llcd_send()
2855 Details    : A race between allocating a new llcd and re-getting the llcd_lock
2856              allowed another thread to grab newly-allocated llcd.
2857
2858 Severity   : enhancement
2859 Bugzilla   : 7116
2860 Description: 2.6 OST async journal commit and locking fix to improve performance
2861 Details    : The filter_direct_io()+filter_commitrw_write() journal commits for
2862              2.6 kernels are now async as they already were in 2.4 kernels so
2863              that they can commit concurrently with the network bulk transfer.
2864              For block-allocated files the filter allocation semaphore is held
2865              to avoid filesystem fragmentation during allocation.  BKL lock
2866              removed for 2.6 xattr operations where it is no longer needed.
2867
2868 Severity   : minor
2869 Frequency  : rare
2870 Bugzilla   : 8320
2871 Description: lconf incorrectly determined whether two IP networks could talk
2872 Details    : In some more complicated routing and multiple-network
2873              configurations, lconf will avoid trying to make a network
2874              connection to a disjoint part of the IP space.  It was doing the
2875              math incorrectly for one set of cases.
2876
2877 Severity   : major
2878 Frequency  : rare
2879 Bugzilla   : 7359
2880 Description: Fix for potential infinite loop processing records in an llog.
2881 Details    : If an llog record is corrupted/zeroed, it is possible to loop
2882              forever in llog_process().  Validate the llog record length
2883              and skip the remainder of the block on error.
2884
2885 Severity   : minor
2886 Frequency  : occasional (liblustre only)
2887 Bugzilla   : 6363
2888 Description: liblustre could not open files whose last component is a symlink
2889 Details    : sysio_path_walk() would incorrectly pass the open intent to
2890              intermediate path components.
2891
2892 Severity   : minor
2893 Frequency  : rare (liblustre only with non-standard tuning)
2894 Bugzilla   : 7201 (7350)
2895 Description: Tuning the MDC DLM LRU size to zero triggers client LASSERT
2896 Details    : llu_lookup_finish_locks() tries to set lock data on a lock
2897              after it has been released, only do this for referenced locks
2898
2899 Severity   : enhancement
2900 Bugzilla   : 7328
2901 Description: specifying an (invalid) directory default stripe_size of -1
2902              would reset the directory default striping
2903 Details    : stripe_size -1 was used internally to signal directory stripe
2904              removal, now use "all default" to signal dir stripe removal
2905              as a directory striping of "all default" is not useful
2906
2907 Severity   : minor
2908 Frequency  : common for large clusters running liblustre clients
2909 Bugzilla   : 7198
2910 Description: doing an ls when liblustre clients are running is slow
2911 Details    : sending a glimpse AST to a liblustre client waits for every AST
2912              to time out, as liblustre clients will not respond.  Since they
2913              cannot cache data we refresh the OST lock LVB from disk instead.
2914
2915 Severity   : enhancement
2916 Bugzilla   : 7198
2917 Description: doing an ls at the same time as file IO can be slow
2918 Details    : enqueue and other "small" requests can be blocked behind many
2919              large IO requests.  Create a new OST IO portal for non-IO
2920              requests so they can be processed faster.
2921
2922 Severity   : minor
2923 Frequency  : rare (only HPUX clients mounting unsupported re-exported NFS vol)
2924 Bugzilla   : 5781
2925 Description: an HPUX NFS client would get -EACCESS when ftruncate()ing a newly
2926              created file with mode 000
2927 Details    : the Linux NFS server relies on an MDS_OPEN_OWNEROVERRIDE hack to
2928              allow an ftruncate() as a non-root user to a file with mode 000.
2929              Lustre now respects this flag to disable mode checks when
2930              truncating a file owned by the user
2931
2932 Severity   : minor
2933 Frequency  : liblustre-only, when liblustre client dies unexpectedly or becomes
2934              busy
2935 Bugzilla   : 7313
2936 Description: Revoking locks from clients that went dead or catatonic might take
2937              a lot of time.
2938 Details    : New lock flags FL_CANCEL_ON_BLOCK used by liblustre makes
2939              cancellation of such locks instant on servers without waiting for
2940              any reply from clients. Clients drops these locks when cancel
2941              notification from server is received without replying.
2942
2943 Severity   : minor
2944 Frequency  : liblustre-only, when liblustre client dies or becomes busy
2945 Bugzilla   : 7311
2946 Description: Doing ls on Linux clients can take a long time with active
2947              liblustre clients
2948 Details    : Liblustre client cannot handle ASTs in timely manner, so avoid
2949              granting such locks to it in the first place if possible.  Locks
2950              are taken by proxy on the OST during the read or write and
2951              dropped immediately afterward.  Add connect flags handling, do
2952              not grant locks to liblustre clients for glimpse ASTs.
2953
2954 Severity   : enhancement
2955 Bugzilla   : 6252
2956 Description: Improve read-ahead algorithm to avoid excessive IO for random reads
2957 Details    : Existing read-ahead algorithm is tuned for the case of streamlined
2958              sequential reads and behaves badly with applications doing random
2959              reads.  Improve it by reading ahead at least read region, and
2960              avoiding excessive large RPC for small reads.
2961
2962 Severity   : enhancement
2963 Bugzilla   : 8330
2964 Description: Creating more than 1000 files for a single job may cause a load
2965              imbalance on the OSTs if there are also a large number of OSTs.
2966 Details    : qos_prep_create() uses an OST index reseed value that is an
2967              even multiple of the number of available OSTs so that if the
2968              reseed happens in the middle of the object allocation it will
2969              still utilize the OSTs as uniformly as possible.
2970
2971 Severity   : major
2972 Frequency  : rare
2973 Bugzilla   : 8322
2974 Description: OST or MDS may oops in ping_evictor_main()
2975 Details    : ping_evictor_main() drops obd_dev_lock if deleting a stale export
2976              but doesn't restart at beginning of obd_exports_timed list
2977              afterward.
2978
2979 Severity   : enhancement
2980 Bugzilla   : 7304
2981 Description: improve by-nid export eviction on the MDS and OST
2982 Details    : allow multiple exports with the same NID to be evicted at one
2983              time without re-searching the exports list.
2984
2985 Severity   : major
2986 Frequency  : rare, only with supplementary groups enabled on SMP 2.6 kernels
2987 Bugzilla   : 7273
2988 Description: MDS may oops in groups_free()
2989 Details    : in rare race conditions a newly allocated group_info struct is
2990              freed again, and this can be NULL.  The 2.4 compatibility code
2991              for groups_free() checked for a NULL pointer, but 2.6 did not.
2992
2993 Severity   : minor
2994 Frequency  : common for liblustre clients doing little filesystem IO
2995 Bugzilla   : 9352, 7313
2996 Description: server may evict liblustre clients accessing contended locks
2997 Details    : if a client is granted a lock or receives a completion AST
2998              with a blocking AST already set it would not reply to the AST
2999              for LDLM_FL_CANCEL_ON_BLOCK locks.  It now replies to such ASTs.
3000
3001 Severity   : minor
3002 Frequency  : lfs setstripe, only systems with more than 160 OSTs
3003 Bugzilla   : 9440
3004 Description: unable to set striping with a starting offset beyond OST 160
3005 Details    : llapi_create_file() incorrectly limited the starting stripe
3006              index to the maximum single-file stripe count.
3007
3008 Severity   : minor
3009 Frequency  : LDAP users only
3010 Bugzilla   : 6163
3011 Description: lconf did not handle in-kernel recovery with LDAP properly
3012 Details    : lconf/LustreDB get_refs() is searching the wrong namespace
3013
3014 Severity   : enhancement
3015 Bugzilla   : 7342
3016 Description: bind OST threads to NUMA nodes to improve performance
3017 Details    : all OST threads are uniformly bound to CPUs on a single NUMA
3018              node and do their allocations there to localize memory access
3019
3020 Severity   : enhancement
3021 Bugzilla   : 7979
3022 Description: llmount can determine client NID directly from Myrinet (GM)
3023 Details    : the client NID code from gmnalnid was moved directly into
3024              llmount, removing the need to use this or specifying the
3025              client NID explicitly when mounting GM clients with zeroconf
3026
3027 Severity   : minor
3028 Frequency  : if client is started with down MDS
3029 Bugzilla   : 7184
3030 Description: if client is started with down MDS mount hangs in ptlrpc_queue_wait
3031 Details    : Having an LWI_INTR() wait event (interruptible, but no timeout)
3032              will wait indefinitely in ptlrpc_queue_wait->l_wait_event() after
3033              ptlrpc_import_delayed_req() because we didn't check if the
3034              request was interrupted, and we also didn't break out of the
3035              event loop if there was no timeout
3036
3037 Severity   : major
3038 Frequency  : rare
3039 Bugzilla   : 5047
3040 Description: data loss during non-page-aligned writes to a single file from
3041              both multiple nodes and multiple threads on one node at same time
3042 Details    : updates to KMS and lsm weren't protected by common lock. Resulting
3043              inconsistency led to false short-reads, that were cached and later
3044              used by ->prepare_write() to fill in partially written page,
3045              leading to data loss.
3046
3047 Severity   : minor
3048 Frequency  : always, if lconf --abort_recovery used
3049 Bugzilla   : 7047
3050 Description: lconf --abort_recovery fails with 'Operation not supported'
3051 Details    : lconf was attempting to abort recovery on the MDT device and not
3052              the MDS device
3053
3054 Severity   : enhancement
3055 Bugzilla   : 9445
3056 Description: remove cleanup logs
3057 Details    : replace lconf-generated cleanup logs with lustre internal
3058              cleanup routines.  Eliminates the need for client-cleanup and
3059              mds-cleanup logs.
3060
3061 Severity   : enhancement
3062 Bugzilla   : 8592
3063 Description: add support for EAs (user and system) on lustre filesystems
3064 Details    : it is now possible to store extended attributes in the Lustre
3065              client filesystem, and with the user_xattr mount option it
3066              is possible to allow users to store EAs on their files also
3067
3068 Severity   : enhancement
3069 Bugzilla   : 7293
3070 Description: Add possibility (config option) to show minimal available OST free
3071              space.
3072 Details    : When compiled with --enable-mindf configure option, statfs(2)
3073              (and so, df) will return least minimal free space available from
3074              all OSTs as amount of free space on FS, instead of summary of
3075              free spaces of all OSTs.
3076
3077 Severity   : enhancement
3078 Bugzilla   : 7311
3079 Description: do not expand extent locks acquired on OST-side
3080 Details    : Modify ldlm_extent_policy() to not expand local locks, acquired
3081              by server: they are not cached anyway.
3082
3083 Severity   : major
3084 Frequency  : when mmap is used/binaries executed from Lustre
3085 Bugzilla   : 9482
3086 Description: Unmmap pages before throwing them away from read cache.
3087 Details    : llap_shrink cache now attempts to unmap pages before discarding
3088              them (if unmapping failed - do not discard).  SLES9 kernel has
3089              extra checks that trigger if this unmapping is not done first.
3090
3091 Severity   : minor
3092 Frequency  : rare
3093 Bugzilla   : 6034
3094 Description: lconf didn't resolve symlinks before checking to see whether a
3095              given mountpoint was already in use
3096
3097 Severity   : minor
3098 Frequency  : when migrating failover services
3099 Bugzilla   : 6395, 9514
3100 Description: When migrating a subset of services from a node (e.g. failback
3101              from a failover service node) the remaining services would
3102              time out and evict clients.
3103 Details    : lconf --force (implied by --failover) sets the global obd_timeout
3104              to 5 seconds in order to quickly disconnect, but this caused
3105              other RPCs to time out too quickly.  Do not change the global
3106              obd_timeout for force cleanup, only set it for DISCONNECT RPCs.
3107
3108 Severity   : enhancement
3109 Frequency  : if MDS is started with down OST
3110 Bugzilla   : 9439,5706
3111 Description: Allow startup/shutdown of an MDS without depending on the
3112              availability of the OSTs.
3113 Details    : Asynchronously call mds_lov_synchronize during MDS startup.
3114              Add appropriate locking and lov-osc refcounts for safe
3115              cleaning.  Add osc abort_inflight calls in case the
3116              synchronize never started.
3117
3118 Severity   : minor
3119 Frequency  : occasional (Cray XT3 only)
3120 Bugzilla   : 7305
3121 Description: root not authorized to access files in CRAY_PORTALS environment
3122 Details    : The client process capabilities were not honoured on the MDS in
3123              a CRAY_PORTALS/CRAY_XT3 environment.  If the file had previously
3124              been accessed by an authorized user then root was able to access
3125              the file on the local client also.  The root user capabilities
3126              are now allowed on the MDS, as this environment has secure UID.
3127
3128 Severity   : minor
3129 Frequency  : occasional
3130 Bugzilla   : 6449
3131 Description: ldiskfs "too long searching" message happens too often
3132 Details    : A debugging message (otherwise harmless) prints too often on
3133              the OST console.  This has been reduced to only happen when
3134              there are fragmentation problems on the filesystem.
3135
3136 Severity   : minor
3137 Frequency  : rare
3138 Bugzilla   : 9598
3139 Description: Division by zero in statfs when all OSCs are inactive
3140 Details    : lov_get_stripecnt() returns zero due to incorrect order of checks,
3141              lov_statfs divides by value returned by lov_get_stripecnt().
3142
3143 Severity   : minor
3144 Frequency  : common
3145 Bugzilla   : 9489, 3273
3146 Description: First write from each client to each OST was only 4kB in size,
3147              to initialize client writeback cache, which caused sub-optimal
3148              RPCs and poor layout on disk for the first writen file.
3149 Details    : Clients now request an initial cache grant at (re)connect time
3150              and so that they can start streaming writes to the cache right
3151              away and always do full-sized RPCs if there is enough data.
3152              If the OST is rebooted the client also re-establishes its grant
3153              so that client cached writes will be honoured under the grant.
3154
3155 Severity   : minor
3156 Frequency  : common
3157 Bugzilla   : 7198
3158 Description: Slow ls (and stat(2) syscall) on files residing on IO-loaded OSTs
3159 Details    : Now I/O RPCs go to different portal number and (presumably) fast
3160              lock requests (and glimses) and other RPCs get their own service
3161              threads pool that should be able to service those RPCs
3162              immediatelly.
3163
3164 Severity   : enhancement
3165 Bugzilla   : 7417
3166 Description: Ability to exchange lustre version between client and servers and
3167              issue warnings at client side if client is too old. Also for
3168              liblustre clients there is ability to refuse connection of too old
3169              clients.
3170 Details    : New 'version' field is added to connect data structure that is
3171              filled with version info. That info is later checked by server and
3172              by client.
3173
3174 Severity   : minor
3175 Frequency  : rare, liblustre only.
3176 Bugzilla   : 9296, 9581
3177 Description: Two simultaneous writes from liblustre at offset within same page
3178              might proceed at the same time overwriting eachother with stale
3179              data.
3180 Details    : I/O lock withing llu_file_prwv was released too early, before data
3181              actually was hitting the wire. Extended lock-holding time until
3182              server acknowledges receiving data.
3183
3184 Severity   : minor
3185 Frequency  : extremely rare. Never observed in practice.
3186 Bugzilla   : 9652
3187 Description: avoid generating lustre_handle cookie of 0.
3188 Details    : class_handle_hash() generates handle cookies by incrementing
3189              global counter, and can hit 0 occasionaly (this is unlikely, but
3190              not impossible, because initial value of cookie counter is
3191              selected randonly). Value of 0 is used as a sentinel meaning
3192              "unassigned handle" --- avoid it. Also coalesce two critical
3193              sections in this function into one.
3194
3195 Severity   : enhancement
3196 Bugzilla   : 9528
3197 Description: allow liblustre clients to delegate truncate locking to OST
3198 Details    : To avoid overhead of locking, liblustre client instructs OST to
3199              take extent lock in ost_punch() on client's behalf. New connection
3200              flag is added to handle backward compatibility.
3201
3202 Severity   : enhancement
3203 Bugzilla   : 4928, 7341, 9758
3204 Description: allow number of OST service threads to be specified
3205 Details    : a module parameter allows the number of OST service threads
3206              to be specified via "options ost ost_num_threads={N}" in the
3207              OSS's /etc/modules.conf or /etc/modprobe.conf.
3208
3209 Severity   : major
3210 Frequency  : rare
3211 Bugzilla   : 6146, 9635, 9895
3212 Description: servers crash with bad pointer in target_handle_connect()
3213 Details    : In rare cases when a client is reconnecting it was possible that
3214              the connection request was the last reference for that export.
3215              We would temporarily drop the export reference and get a new
3216              one, but this may have been the last reference and the export
3217              was just destroyed.  Get new reference before dropping old one.
3218
3219 Severity   : enhancement
3220 Frequency  : if client is started with failover MDS
3221 Bugzilla   : 9818
3222 Description: Allow multiple MDS hostnames in the mount command
3223 Details    : Try to read the configuration from all specified MDS
3224              hostnames during a client mount in case the "primary"
3225              MDS is down.
3226
3227 Severity   : enhancement
3228 Bugzilla   : 9297
3229 Description: Stop sending data to evicted clients as soon as possible.
3230 Details    : Check if the client we are about to send or are sending data to
3231              was evicted already. (Check is done every second of waiting,
3232              for which l_wait_event interface was extended to allow checking
3233              of exit condition at specified intervals).
3234
3235 Severity   : minor
3236 Frequency  : rare, normally only when NFS exporting is done from client
3237 Bugzilla   : 9301
3238 Description: 'bad disk LOV MAGIC: 0x00000000' error when chown'ing files
3239              without objects
3240 Details    : Make mds_get_md() recognise empty md case and set lmm size to 0.
3241
3242 Severity   : minor
3243 Frequency  : always, if srand() is called before liblustre initialization
3244 Bugzilla   : 9794
3245 Description: Liblustre uses system PRNG disturbing its usage by user application
3246 Details    : Introduce internal to lustre fast and high-quality PRNG for
3247              lustre usage and make liblustre and some other places in generic
3248              lustre code to use it.
3249
3250 Severity   : enhancement
3251 Bugzilla   : 9477, 9557, 9870
3252 Description: Verify that the MDS configuration logs are updated when xml is
3253 Details    : Check if the .xml configuration logs are newer than the config
3254              logs stored on the MDS and report an error if this is the case.
3255              Request --write-conf, or allow starting with --old_conf.
3256
3257 Severity   : enhancement
3258 Bugzilla   : 6034
3259 Description: Handle symlinks in the path when checking if Lustre is mounted.
3260 Details    : Resolve intermediate symlinks when checking if a client has
3261              mounted a filesystem to avoid duplicate client mounts.
3262
3263 Severity   : minor
3264 Frequency  : rare
3265 Bugzilla   : 9309
3266 Description: lconf can hit an error exception but still return success.
3267 Details    : The lconf command catches the Command error exception at the top
3268              level script context and will exit with the associated exit
3269              status, but doesn't ensure that this exit status is non-zero.
3270
3271 Severity   : minor
3272 Frequency  : rare
3273 Bugzilla   : 9493
3274 Description: failure of ptlrpc thread startup can cause oops
3275 Details    : Starting a ptlrpc service thread can fail if there are a large
3276              number of threads or the server memory is very fragmented.
3277              Handle this without oopsing.
3278
3279 Severity   : minor
3280 Frequency  : always, only if liblustre and non-default acceptor port was used
3281 Bugzilla   : 9933
3282 Description: liblustre cannot connect to servers with non-default acceptor port
3283 Details    : tcpnal_set_default_params() was not called and was therefore
3284              ignoring the environment varaible TCPNAL_PORT, as well as other
3285              TCPNAL_ environment variables
3286
3287 Severity   : minor
3288 Frequency  : rare
3289 Bugzilla   : 9923
3290 Description: two objects could be created on the same OST for a single file
3291 Details    : If an OST is down, in some cases it was possible to create two
3292              objects on a single OST for a single file.  No problems other
3293              than potential performance impact and spurious error messages.
3294
3295 Severity   : minor
3296 Frequency  : rare
3297 Bugzilla   : 5681, 9562
3298 Description: Client may oops in ll_unhash_aliases
3299 Details    : Client dcache may become inconsistent in race condition.
3300              In some cases "getcwd" can fail if the current directory is
3301              modified.
3302
3303 Severity   : minor
3304 Frequency  : always
3305 Bugzilla   : 9942
3306 Description: Inode refcounting problems in NFS export code
3307 Details    : link_raw functions used to call d_instantiate without obtaining
3308              extra inode reference first.
3309
3310 Severity   : minor
3311 Frequency  : rare
3312 Bugzilla   : 9942, 9903
3313 Description: Referencing freed requests leading to crash, memleaks with NFS.
3314 Details    : We used to require that call to ll_revalidate_it was always
3315              followed by ll_lookup_it. Also with revalidate_special() it is
3316              possible to call ll_revalidate_it() twice for the same dentry
3317              even if first occurence returned success. This fix changes semantic
3318              between DISP_ENQ_COMPLETE disposition flag to mean there is extra
3319              reference on a request referred from the intent.
3320              ll_intent_release() then releases such a request.
3321
3322 Severity   : minor
3323 Frequency  : rare, normally benchmark loads only
3324 Bugzilla   : 1443
3325 Description: unlinked inodes were kept in memory on the client
3326 Details    : If a client is repeatedly creating and unlinking files it
3327              can accumulate a lot of stale inodes in the inode slab cache.
3328              If there is no other client load running this can cause the
3329              client node to run out of memory.  Instead flush old inodes
3330              from client cache that have the same inode number as a new inode.
3331
3332 Severity   : minor
3333 Frequency  : SLES9 2.6.5 kernel and long filenames only
3334 Bugzilla   : 9969, 10379
3335 Description: utime reports stale NFS file handle
3336 Details    : SLES9 uses out-of-dentry names in some cases, which confused
3337              the lustre dentry revalidation.  Change it to always use the
3338              in-dentry qstr.
3339
3340 Severity   : major
3341 Frequency  : rare, unless heavy write-truncate concurrency is continuous
3342 Bugzilla   : 4180, 6984, 7171, 9963, 9331
3343 Description: OST becomes very slow and/or deadlocked during object unlink
3344 Details    : filter_destroy() was holding onto the parent directory lock
3345              while truncating+unlinking objects.  For very large objects this
3346              may block other threads for a long time and slow overall OST
3347              responsiveness.  It may also be possible to get a lock ordering
3348              deadlock in this case, or run out of journal credits because of
3349              the combined truncate+unlink.  Solution is to do object truncate
3350              first in one transaction without parent lock, and then do the
3351              final unlink in a new transaction with the parent lock.  This
3352              reduces the lock hold time dramatically.
3353
3354 Severity   : major
3355 Frequency  : rare, 2.4 kernels only
3356 Bugzilla   : 9967
3357 Description: MDS or OST cleanup may trip kernel BUG when dropping kernel lock
3358 Details    : mds_cleanup() and filter_cleanup() need to drop the kernel lock
3359              before unmounting their filesystem in order to avoid deadlock.
3360              The kernel_locked() function in 2.4 kernels only checks whether
3361              the kernel lock is held, not whether it is this process that is
3362              holding it as 2.6 kernels do.
3363
3364 Severity   : major
3365 Frequency  : rare
3366 Bugzilla   : 9635
3367 Description: MDS or OST may oops/LBUG if a client is connecting multiple times
3368 Details    : The client ptlrpc code may be trying to reconnect to a down
3369              server before a previous connection attempt has timed out.
3370              Increase the reconnect interval to be longer than the connection
3371              timeout interval to avoid sending duplicate connections to
3372              servers.
3373
3374 Severity   : minor
3375 Frequency  : echo_client brw_test command
3376 Bugzilla   : 9919
3377 Description: fix echo_client to work with OST preallocated code
3378 Details    : OST preallocation code (5137) didn't take echo_client IO path
3379              into account: echo_client calls filter methods outside of any
3380              OST thread and, hence, there is no per-thread preallocated
3381              pages and buffers to use. Solution: hijack pga pages for IO. As
3382              a byproduct, this avoids unnecessary data copying.
3383
3384 Severity   : minor
3385 Frequency  : rare
3386 Bugzilla   : 3555, 5962, 6025, 6155, 6296, 9574
3387 Description: Client can oops in mdc_commit_close() after open replay
3388 Details    : It was possible for the MDS to return an open request with no
3389              transaction number in mds_finish_transno() if the client was
3390              evicted, but without actually returning an error.  Clients
3391              would later try to replay that open and may trip an assertion
3392              Simplify the client close codepath, and always return an error
3393              from the MDS in case the open is not successful.
3394
3395 Severity   : major
3396 Frequency  : rare, 2.6 OSTs only
3397 Bugzilla   : 10076
3398 Description: OST may deadlock under high load on fragmented files
3399 Details    : If there was a heavy load and highly-fragmented OST filesystems
3400              it was possible to have all the OST threads deadlock waiting on
3401              allocation of biovecs, because the biovecs were not released
3402              until the entire RPC IO was completed.  Instead, release biovecs
3403              as soon as they are complete to ensure forward IO progress.
3404
3405 Severity   : enhancement
3406 Bugzilla   : 9578
3407 Description: Support for specifying external journal device at mount
3408 Details    : If an OST or MDS device is formatted with an external journal
3409              device, this device major/minor is stored in the ext3 superblock
3410              and may not be valid for failover.  Allow detecting and
3411              specifying the external journal at mount time.
3412
3413 Severity   : major
3414 Frequency  : rare
3415 Bugzilla   : 10235
3416 Description: Mounting an MDS with pending unlinked files may cause oops
3417 Details    : target_finish_recovery() calls mds_postrecov() which returned
3418              the number of orphans unlinked. mds_lov_connect->mds_postsetup()
3419              considers this an error and immediately begins cleaning up the
3420              lov, just after starting the mds_lov process
3421
3422 Severity   : enhancement
3423 Bugzilla   : 9461
3424 Description: Implement 'lfs df' to report actual free space on per-OST basis
3425 Details    : Add sub-command 'df' on 'lfs' to report the disk space usage of
3426              MDS/OSDs. Usage: lfs df [-i][-h]. Command Options: '-i' to report
3427              usage of objects; '-h' to report in human readable format.
3428
3429 ------------------------------------------------------------------------------
3430
3431 08-26-2005  Cluster File Systems, Inc. <info@clusterfs.com>
3432        * version 1.4.5
3433        * bug fixes
3434
3435 Severity   : major
3436 Frequency  : rare
3437 Bugzilla   : 7264
3438 Description: Mounting an ldiskfs file system with mballoc may crash OST node.
3439 Details    : ldiskfs mballoc code may reference an uninitialized buddy struct
3440              at startup during orphan unlinking.  Instead, skip buddy update
3441              before setup, as it will be regenerated after recovery is complete.
3442
3443 Severity   : minor
3444 Frequency  : rare
3445 Bugzilla   : 7039
3446 Description: If an OST is inactive, its locks might reference stale inodes.
3447 Details    : lov_change_cbdata() must iterate over all namespaces, even if
3448              they are inactive to clear inode references from the lock.
3449
3450 Severity   : enhancement
3451 Frequency  : occasional, if non-standard max_dirty_mb used
3452 Bugzilla   : 7138
3453 Description: Client will block write RPCs if not enough grant
3454 Details    : If a client has max_dirty_mb smaller than max_rpcs_in_flight,
3455              then the client will block writes while waiting for another RPC
3456              to complete instead of consuming its dirty limit.  With change
3457              we get improved performance when max_dirty_mb is small.
3458
3459 Severity   : enhancement
3460 Bugzilla   : 3389, 6253
3461 Description: Add support for supplementary groups on the MDS.
3462 Details    : The MDS has an upcall /proc/fs/lustre/mds/{mds}/group_upcall
3463              (set to /usr/sbin/l_getgroups if enabled) which will do MDS-side
3464              lookups for user supplementary groups into a cache.
3465
3466 Severity   : minor
3467 Bugzilla   : 7278
3468 Description: O_CREAT|O_EXCL open flags in liblustre always return -EEXIST
3469 Details    : Make libsysio to not enforce O_EXCL by clearing the flag,
3470              for liblustre O_EXCL is enforced by MDS.
3471
3472 Severity   : minor
3473 Bugzilla   : 6455
3474 Description: readdir never returns NULL in liblustre.
3475 Details    : Corrected llu_iop_getdirentries logic, to return offset of next
3476              dentry in struct dirent.
3477
3478 Severity   : minor
3479 Bugzilla   : 7137
3480 Frequency  : liblustre only, depends on application IO pattern
3481 Description: liblustre clients evicted if not contacting servers
3482 Details    : Don't put liblustre clients into the ping_evictor list, so
3483              they will not be evicted by the pinger ever.
3484
3485 Severity   : enhancement
3486 Bugzilla   : 6902
3487 Description: Add ability to evict clients by NID from MDS.
3488 Details    : By echoing "nid:$NID" string into
3489              /proc/fs/lustre/mds/.../evict_client client with nid that equals to
3490              $NID would be instantly evicted from this MDS and from all active
3491              OSTs connected to it.
3492
3493 Severity   : minor
3494 Bugzilla   : 7198
3495 Description: Do not query file size twice, somewhat slowing stat(2) calls.
3496 Details    : lookup_it_finish() used to query file size from OSTs that was not
3497              needed.
3498
3499 Severity   : minor
3500 Bugzilla   : 6237
3501 Description: service threads change working directory to that of init
3502 Details    : Starting lustre service threads may pin the working directory
3503              of the parent thread, making that filesystem busy.  Threads
3504              now change to the working directory of init to avoid this.
3505
3506 Severity   : minor
3507 Bugzilla   : 6827
3508 Frequency  : during shutdown only
3509 Description: shutdown with a failed MDS or OST can cause unmount to hang
3510 Details    : Don't resend DISCONNECT messages in ptlrpc_disconnect_import()
3511              if server is down.
3512
3513 Severity   : minor
3514 Bugzilla   : 7331
3515 Frequency  : 2.6 only
3516 Description: chmod/chown may include an extra supplementary group
3517 Details    : ll{,u}_mdc_pack_op_data() does not properly initialize the
3518              supplementary group and if none is specified this is used.
3519
3520 Severity   : minor
3521 Bugzilla   : 5479 (6816)
3522 Frequency  : rare
3523 Description: Racing open + rm can assert client in mdc_set_open_replay_data()
3524 Details    : If lookup is in progress on a file that is unlinked we might try
3525              to revalidate the inode and fail in revalidate after lookup is
3526              complete and ll_file_open() enqueues the open again but
3527              it_open_error() was not checking DISP_OPEN_OPEN errors correctly.
3528
3529 Severity   : minor
3530 Frequency  : always, if lconf --abort_recovery used
3531 Bugzilla   : 7047
3532 Description: lconf --abort_recovery fails with 'Operation not supported'
3533 Details    : lconf was attempting to abort recovery on the MDT device and not
3534              the MDS device
3535
3536 ------------------------------------------------------------------------------
3537
3538 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
3539        * version 1.4.4
3540        * bug fixes
3541
3542 Severity   : major
3543 Frequency  : rare (only unsupported configurations with a node running as an
3544              OST and a client)
3545 Bugzilla   : 6514, 5137
3546 Description: Mounting a Lustre file system on a node running as an OST could
3547              lead to deadlocks
3548 Details    : OSTs now preallocates memory needed to write out data at
3549              startup, instead of when needed, to avoid having to
3550              allocate memory in possibly low memory situations.
3551              Specifically, if the file system is mounted on on OST,
3552              memory pressure could force it to try to write out data,
3553              which it needed to allocate memory to do.  Due to the low
3554              memory, it would be unable to do so and the node would
3555              become unresponsive.
3556
3557 Severity   : enhancement
3558 Bugzilla   : 7015
3559 Description: Addition of lconf --service command line option
3560 Details    : lconf now accepts a '--service <arg>' option, which is
3561              shorthand for 'lconf --group <arg> --select <arg>=<hostname>'
3562
3563 Severity   : enhancement
3564 Bugzilla   : 6101
3565 Description: Failover mode is now the default for OSTs.
3566 Details    : By default, OSTs will now run in failover mode.  To return to
3567              the old behaviour, add '--failout' to the lmc line for OSTs.
3568
3569 Severity   : enhancement
3570 Bugzilla   : 1693
3571 Description: Health checks are now provided for MDS and OSTs
3572 Details    : Additional detailed health check information on MSD and OSTs
3573              is now provided through the procfs health_check value.
3574
3575 Severity   : minor
3576 Frequency  : occasional, depends on IO load
3577 Bugzilla   : 4466
3578 Description: Disk fragmentation on the OSTs could eventually cause slowdowns
3579              after numerous create/delete cycles
3580 Details    : The ext3 inode allocation policy would not allocate new inodes
3581              very well on the OSTs because there are no new directories
3582              being created.  Instead we look for groups with free space if
3583              the parent directories are nearly full.
3584
3585 Severity   : major
3586 Bugzilla   : 6302
3587 Frequency  : rare
3588 Description: Network or server problems during mount may cause partially
3589              mounted clients instead of returning an error.
3590 Details    : The config llog parsing code may overwrite the error return
3591              code during mount error handling, returning success instead
3592              of an error.
3593
3594 Severity   : minor
3595 Bugzilla   : 6422
3596 Frequency  : rare
3597 Description: MDS can fail to allocate large reply buffers
3598 Details    : After long uptimes the MDS can fail to allocate large reply
3599              buffers (e.g. zconf client mount config records) due to memory
3600              fragmentation or consumption by the buffer cache.  Preallocate
3601              some large reply buffers so that these replies can be sent even
3602              under memory pressure.
3603
3604 Severity   : minor
3605 Bugzilla   : 6266
3606 Frequency  : rare (liblustre)
3607 Description: fsx running with liblustre complained that using truncate() to
3608              extend the file doesn't work.  This patch corrects that issue.
3609 Details    : This is the liblustre equivalent of the fix for bug 6196.  Fixes
3610              ATTR_SIZE and lsm use in llu_setattr_raw.
3611
3612 Severity   : critical
3613 Bugzilla   : 6866
3614 Frequency  : rare, only 2.6 kernels
3615 Description: Unusual file access patterns on the MDS may result in inode
3616              data being lost in very rare circumstances.
3617 Details    : Bad interaction between the ea-in-inode patch and the "no-read"
3618              code in the 2.6 kernel caused the inode and/or EA data not to
3619              be read from disk, causing single-file corruption.
3620
3621 Severity   : critical
3622 Bugzilla   : 6998
3623 Frequency  : rare, only 2.6 filesystems using extents
3624 Description: Heavy concurrent write and delete load may cause data corruption.
3625 Details    : It was possible under high-load situations to have an extent
3626              metadata block in the block device cache from a just-unlinked
3627              file overwrite a newly-allocated data block.  We now unmap any
3628              metadata buffers that alias just-allocated data blocks.
3629
3630 Severity   : minor
3631 Bugzilla   : 7241
3632 Frequency  : filesystems with default stripe_count larger than 77
3633 Description: lconf+mke2fs fail when formatting filesystem with > 77 stripes
3634 Details    : lconf specifies an inode size of 4096 bytes when the default
3635              stripe_count is larger than 77.  This conflicts with the default
3636              inode density of 1 per 4096 bytes.  Allocate smaller inodes in
3637              this case to avoid pinning too much memory for large EAs.
3638
3639 ------------------------------------------------------------------------------
3640
3641 2005-07-07  Cluster File Systems, Inc. <info@clusterfs.com>
3642        * version 1.4.3
3643        * bug fixes
3644
3645 Severity   : minor
3646 Frequency  : rare (extremely heavy IO load with hundreds of clients)
3647 Bugzilla   : 6172
3648 Description: Client is evicted, gets IO error writing to file
3649 Details    : lock ordering changes for bug 5492 reintroduced bug 3267 and
3650              caused clients to be evicted for AST timeouts.  The fixes in
3651              bug 5192 mean we no longer need to have such short AST timeouts
3652              so ldlm_timeout has been increased.
3653
3654 Severity   : major
3655 Frequency  : occasional during --force or --failover shutdown under load
3656 Bugzilla   : 5949, 4834
3657 Description: Server oops/LBUG if stopped with --force or --failover under load
3658 Details    : a collection of import/export refcount and cleanup ordering
3659              issues fixed for safer force cleanup
3660
3661 Severity   : major
3662 Frequency  : only filesystems larger than 120 OSTs
3663 Bugzilla   : 5990, 6223
3664 Description: lfs getstripe would oops on a very large filesystem
3665 Details    : lov_getconfig used kfree on vmalloc'd memory
3666
3667 Severity   : minor
3668 Frequency  : only filesystems exporting via NFS to Solaris 10 clients
3669 Bugzilla   : 6242, 6243
3670 Description: reading from files that had been truncated to a non-zero size
3671              but never opened returned no data
3672 Details    : ll_file_read() reads zeros from no-object files to EOF
3673
3674 Severity   : major
3675 Frequency  : rare
3676 Bugzilla   : 6200
3677 Description: A bug in MDS/OSS recovery could cause the OSS to fail an assertion
3678 Details    : There's little harm in aborting MDS/OSS recovery and letting it
3679              try again, so I removed the LASSERT and return an error instead.
3680
3681 Severity   : enhancement
3682 Bugzilla   : 5902
3683 Description: New debugging infrastructure for tracking down data corruption
3684 Details    : The I/O checksum code was replaced to: (a) control it at runtime,
3685              (b) cover more of the client-side code path, and (c) try to narrow
3686              down where problems occurred
3687
3688 Severity   : major
3689 Frequency  : rare
3690 Bugzilla   : 3819, 4364, 4397, 6313
3691 Description: Racing close and eviction MDS could cause assertion in mds_close
3692 Details    : It was possible to get multiple mfd references during close and
3693              client eviction, leading to one thread referencing a freed mfd.
3694
3695 Severity:  : enhancement
3696 Bugzilla   : 3262, 6359
3697 Description: Attempts to reconnect to servers are now more aggressive.
3698 Details    : This builds on the enhanced upcall-less recovery that was added
3699              in 1.4.2.  When trying to reconnect to servers, clients will
3700              now try each server in the failover group every 10 seconds.  By
3701              default, clients would previously try one server every 25 seconds.
3702
3703 Severity   : major
3704 Frequency  : rare
3705 Bugzilla   : 6371
3706 Description: After recovery, certain operations trigger a failed
3707              assertion on a client.
3708 Details    : Failing over an mds, using lconf -d --failover, while a
3709              client was doing a readdir() call would cause the client to
3710              LBUG after recovery completed and the readdir() was resent.
3711
3712 Severity   : enhancement
3713 Bugzilla   : 6296
3714 Description: Default groups are now added by lconf
3715 Details    : You can now run lconf --group <servicename> without having to
3716              manually add groups with lmc.
3717
3718 Severity   : major
3719 Frequency  : occasional
3720 Bugzilla   : 6412
3721 Description: Nodes with an elan id of 0 trigger a failed assertion
3722
3723 Severity   : minor
3724 Frequency  : always when accessing e.g. tty/console device nodes
3725 Bugzilla   : 3790
3726 Description: tty and some other devices nodes cannot be used on lustre
3727 Details    : file's private_data field is used by device data and lustre
3728              values in there got lost. New field was added to struct file to
3729              store fs-specific private data.
3730
3731 Severity   : minor
3732 Frequency  : when exporting Lustre via NFS
3733 Bugzilla   : 5275
3734 Description: NFSD failed occasionally when looking up a path component
3735 Details    : NFSD is looking up ".." which was broken in ext3 directories
3736              that had grown large enough to become hashed.
3737
3738 Severity   : minor
3739 Frequency  : Clusters with multiple interfaces not on the same subnet
3740 Bugzilla   : 5541
3741 Description: Nodes will repeatedly try to reconnect to an interface which it
3742              cannot reach and report an error to the log.
3743 Details    : Extra peer list entries will be created by lconf with some peers
3744              unreachable.  lconf now validates the peer before adding it.
3745
3746 Severity   : major
3747 Frequency  : Only if a default stripe is set on the filesystem root.
3748 Bugzilla   : 6367
3749 Description: Setting a default stripe on the filesystem root prevented the
3750              filesystem from being remounted.
3751 Details    : The client was sending extra request flags in the root getattr
3752              request and did not allocate a reply buffer for the dir EA.
3753
3754 Severity   : major
3755 Frequency  : occasional, higher if lots of files are accessed by one client
3756 Bugzilla   : 6159, 6097
3757 Description: Client trips assertion regarding lsm mismatch/magic
3758 Details    : While revalidating inodes the VFS looks up inodes with ifind()
3759              and in rare cases can find an inode that is being freed.
3760              The ll_test_inode() code will free the lsm during ifind()
3761              when it finds an existing inode and then the VFS later attaches
3762              this free lsm to a new inode.
3763
3764 Severity   : major
3765 Frequency  : rare
3766 Bugzilla   : 6422, 7030
3767 Description: MDS deadlock between mkdir and client eviction
3768 Details    : Creating a new file via mkdir or mknod (starting a transaction
3769              and getting the ns lock) can deadlock with client eviction
3770              (gets ns lock and trying to finish a synchronous transaction).
3771
3772 Severity   : minor
3773 Frequency  : occasional
3774 Description: While starting a server, the fsfilt_ext3 module could not be
3775              loaded.
3776 Details    : CFS's improved ext3 filesystem is named ldiskfs for 2.6
3777              kernels.  Previously, lconf would still use the ext3 name
3778              when trying to load modules.  Now, it will correctly use
3779              ext3 on 2.4 and ldiskfs on 2.6.
3780
3781 Severity   : enhancement
3782 Description: The default stripe count has been changed to 1
3783 Details    : The interpretation of the default stripe count (0, to lfs
3784              or lmc) has been changed to mean striping across a single
3785              OST, rather than all available.  For general usage we have
3786              found a stripe count of 1 or 2 works best.
3787
3788 Severity   : enhancement
3789 Description: Add support for compiling against Cray portals.
3790 Details    : Conditional compiling for some areas that are different
3791              on Cray Portals.
3792
3793 Severity   : major
3794 Frequency  : occasional
3795 Bugzilla   : 6409, 6834
3796 Description: Creating files with an explicit stripe count may lead to
3797              a failed assertion on the MDS
3798 Details    : If some OSTs are full or unavailable, creating files may
3799              trigger a failed assertion on the MDS.  Now, Lustre will
3800              try to use other servers or return an error to the
3801              client.
3802
3803 Severity   : minor
3804 Frequency  : occasional
3805 Bugzilla   : 6469
3806 Description: Multiple concurrent overlapping read+write on multiple SMP nodes
3807              caused lock timeout during readahead (since 1.4.2).
3808 Details    : Processes doing readahead might match a lock that hasn't been
3809              granted yet if there are overlapping and conflicting lock
3810              requests.  The readahead process waits on ungranted lock
3811              (original lock is CBPENDING), while OST waits for that process
3812              to cancel CBPENDING read lock and eventually evicts client.
3813
3814 Severity   : enhancement
3815 Bugzilla   : 6931
3816 Description: Initial enabling of flock support for clients
3817 Details    : Implements fcntl advisory locking and file status functions.
3818              This feature is provided as an optional mount flag (default
3819              off), and is NOT CURRENTLY SUPPORTED.  Not all types of record
3820              locking are implemented yet, and those that are are not guaranteed
3821              to be completely correct in production environments.
3822              mount -t lustre -o [flock|noflock] ...
3823
3824 Severity   : major
3825 Frequency  : occasional
3826 Bugzilla   : 6198
3827 Description: OSTs running 2.4 kernels but with extents enabled might trip an
3828              assertion in the ext3 JBD (journaling) layer.
3829 Details    : The b_committed_data struct is protected by the big kernel lock
3830              in 2.4 kernels, serializing journal_commit_transaction() and
3831              ext3_get_block_handle->ext3_new_block->find_next_usable_block()
3832              access to this struct.  In 2.6 kernels there is finer grained
3833              locking to improve SMP performance of the JBD layer.
3834
3835 Severity   : minor
3836 Bugzilla   : 6147
3837 Description: Changes the "SCSI I/O Stats" kernel patch to default to "enabled"
3838
3839 Severity   : Minor
3840 Frequency  : Rare
3841 Bugzilla   : 11248
3842 Description: merge and cleanup kernel patches.
3843 Details    : 
3844
3845 -----------------------------------------------------------------------------
3846
3847 2005-05-05  Cluster File Systems, Inc. <info@clusterfs.com>
3848        * version 1.4.2
3849        NOTE: Lustre 1.4.2 uses an incompatible network protocol than previous
3850              versions of Lustre.  Please update all servers and clients to
3851              version 1.4.2 or later at the same time.  You must also run
3852              "lconf --write-conf {config}.xml" on the MDS while it is stopped
3853              to update the configuration logs.
3854        * bug fixes
3855         - fix for HPUX NFS client breakage when NFS exporting Lustre (5781)
3856         - mdc_enqueue does not need max_mds_easize request buffer on send (5707)
3857         - swab llog records of type '0' so we get proper header size/idx (5861)
3858         - send llog cancel req to DLM cancel portal instead of cb portal (5515)
3859         - fix rename of one directory over another leaking an inode (5953)
3860         - avoid SetPageDirty on 2.6 (5981)
3861         - don't re-add just-being-destroyed locks to the waiting list (5653)
3862         - when creating new directories, inherit the parent's custom
3863           striping settings if present parent (3048)
3864         - flush buffers from cache before direct IO in 2.6 obdfilter (4982)
3865         - don't hold i_size_sem in ll_nopage() and ll_ap_refresh_count (6077)
3866         - don't hold client locks on temporary worklist from l_lru (5666)
3867         - handle IO errors in 2.6 obdfilter bio completion routine (6046)
3868         - automatically evict dead clients (5921)
3869         - Update file size properly in create+truncate+fstat case (6196)
3870         - Do not unhash mountpoint dentries, do not allow removal of
3871           mountpoints (5907)
3872         - Avoid lock ordering deadlock issue with write/truncate (6203,5654)
3873         - reserve enough journal credits in fsfilt_start_log for setattr (4554)
3874         - ldlm_enqueue freed-export error path would always LBUG (6149,6184)
3875         - don't reference lr_lvb_data until after we hold lr_lvb_sem (6170)
3876         - don't overwrite last_rcvd if there is a *_client_add() error (6086)
3877         - Correctly handle reads of files with no objects (6243)
3878         - lctl recover will also mark a device active if deactivate used (5933)
3879         * miscellania
3880         - by default create 1 inode per 4kB space on MDS, per 16kB on OSTs
3881         - allow --write-conf on an MDS with different nettype than client (5619)
3882         - don't write config llogs to MDS for mounts not from that MDS (5617)
3883         - lconf should create multiple TCP connections from a client (5201)
3884         - init scripts are now turned off by default; run chkconfig --on
3885           lustre and chkconfig --on lustrefs to use them
3886         - upcalls are no longer needed for clients to recover to failover
3887           servers (3262)
3888         - add --abort-recovery option to lconf to abort recovery on device
3889           startup (6017)
3890         - add support for an arbitrary number of OSTs (3026)
3891         - Quota support protocol changes.
3892         - forward compatibility changes to wire structs (6007)
3893         - rmmod NALs that might be loaded because of /etc/modules.conf (6133)
3894         - support for mountfsoptions and clientoptions to the Lustre LDAP (5873)
3895         - improved "lustre status" script
3896         - initialize blocksize for non-regular files (6062)
3897         - added --disable-server and --disable-client configure options (5782)
3898         - introduce a lookup cache for lconf to avoid repeated DB scans (6204)
3899         - Vanilla 2.4.29 support
3900         - increase maximum number of obd devices to 520 (6242)
3901         - remove the tcp-zero-copy patch from the suse-2.4 series (5902)
3902         - Quadrics Elan drivers are now included for the RHEL 3 2.4.21 and
3903           SLES 9 2.6.5 kernels
3904         - limit stripes per file to 160 (the maximum EA size) (6093)
3905
3906 2005-03-22  Cluster File Systems, Inc. <info@clusterfs.com>
3907        * version 1.4.1
3908        * bug fixes
3909         - don't LASSERT in ll_release on NULL lld with NFS export (4655, 5760)
3910         - hold NS lock when calling handle_ast_error->del_waiting_lock (5746)
3911         - fix setattr mtime regression from lovcleanup merge (4829, 5669)
3912         - workaround for 2.6 crash in ll_unhash_aliases (5687, 5210)
3913         - small ext3 extents cleanups and fixes (5733)
3914         - improved mballoc code, several small races and bugs fixed (5733, 5638)
3915         - kernel version 43 - fix remove_suid bugs in both 2.4 and 2.6 (5695)
3916         - avoid needless client->OST connect, fix handle mismatch (5317)
3917         - fix DLM error path that led to out-of-sync client, long delays (5779)
3918         - support common vfs-enforced mount options (nodev,nosuid,noexec) (5637)
3919         - fix several locking issues related to i_size (5492,5624,5654,5672)
3920         - don't move pending lock onto export if it is already evicted (5683)
3921         - fix kernel oops when creating .foo in unlinked directory (5548)
3922         - fix deadlock in obdfilter statistics vs. object create (5811)
3923         - use time_{before,after} to avoid timer jiffies wrap (5882)
3924         - shutdown --force/--failover stability (3607,3651,4797,5203,4834)
3925         - Do not leak request if server was not able to process it (5154)
3926         - If mds_open unable to find parent dir, make that negative lookup(5154)
3927         - don't create new directories with extent-mapping (5909, 5936)
3928        * miscellania
3929         - fix lustre/lustrefs init scripts for SuSE (patch from Scali, 5702)
3930         - don't hold the pinger_sem in ptlrpc_pinger_sending_on_import
3931         - change obd_increase_kms to obd_adjust_kms (up or down) (5654)
3932         - lconf, lmc search both /usr/lib and /usr/lib64 for Python libs (5800)
3933         - support for RHEL4 kernel on i686 (5773)
3934         - provide error messages when incompatible logs are encountered (5898)
3935
3936 2005-02-18  Cluster File Systems, Inc. <info@clusterfs.com>
3937        * version 1.4.0.10 (1.4.1 release candidate 1)
3938        * bug fixes
3939         - don't keep a lock reference when lock is not granted (4238)
3940         - unsafe list practices (rarely) led to infinite eviction loop (4908)
3941         - add per-fs limit of Lustre pages in page cache, avoid OOM (4699)
3942         - drop import inflight refcount on signal_completed_replay error (5255)
3943         - unlock page after async write error during send (3677)
3944         - handle missing objects in filter_preprw_read properly (5265)
3945         - no transno return for symlink open, don't save no-trasno open (3440)
3946         - don't try to complete elan receive that already failed (4012)
3947         - free RPC server reply state on error (5406)
3948         - clean up thread from ptlrpc_start_thread() on error (5160)
3949         - readahead could read extra page into cache that wasn't ejected (5388)
3950         - prevent races in class_attach/setup/cleanup/detach (5260)
3951         - don't dereference de->d_inode after l_dput of de (5458)
3952         - use "int" for stripe value returned from lock_to_stripe (5544)
3953         - mballoc allocation and error-checking fixes in 2.6 (5504)
3954         - block device patches to fix I/O request sizes in 2.6 (5482)
3955         - look up hostnames for IB nals (5602)
3956         - 2.6 changed lock ordering of 2 semaphores, caused deadlock (5654)
3957         - don't start multiple acceptors for the same port (5277)
3958         - fix incorrect LASSERT in mds_getattr_name (5635)
3959         - export a proc file for general "ping" checking (5628)
3960         - fix "lfs check" to not block when the MDS is down (5628)
3961        * miscellania
3962         - service request history (4965)
3963         - put {ll,lov,osc}_async_page structs in a single slab (4699)
3964         - create an "evict_client" /proc entry on OSTs, like the MDS has
3965         - fix mount usage message, return errors per mount(8) (5168)
3966         - change grep [] to grep "[]" in tests so they work in more UMLs
3967         - fix ppc64/x86_64 spec to use %{_libdir} instead of /usr/lib (5389)
3968         - remove ancient LOV_MAGIC_V0 EA support (5047)
3969         - add "disk I/Os in flight" and "I/O req time" stats in obdfilter
3970         - align r/w RPCs to PTLRPC_MAX_BRW_SIZE boundary for performance (3451)
3971         - allow readahead allocations to fail when low on memory (5383)
3972         - mmap locking landed again, after considerable improvement (2828)
3973         - add get_hostaddr() to lustreDB.py for LDAP support (5459)
3974
3975 2004-11-23  Cluster File Systems, Inc. <info@clusterfs.com>
3976        * version 1.4.0
3977        * bug fixes
3978         - send OST transaction number in read/write reply to free req (4966)
3979         - don't ASSERT in ptl_send_rpc() if we run out of memory (5119)
3980         - lock /proc/sys/portals/routes internal state, avoiding oops (4827)
3981         - the watchdog thread now runs as interruptible (5246)
3982         - flock/lockf fixes (but it's still disabled, pending 5135)
3983         - don't use EXT3 constants in llite code (5094)
3984         - memory shortage at startup could cause assertion (5176)
3985        * miscellania
3986         - reorganization of lov code
3987         - single portals codebase
3988         - Infiniband NAL
3989         - add extents/mballoc support (5025)
3990         - direct I/O reads in the obdfilter (4048)
3991         - kernel patches from LNXI for 2.6 (bluesmoke, perfctr, mtd, kexec)
3992
3993 tbd         Cluster File Systems, Inc. <info@clusterfs.com>
3994        * version 1.2.9
3995        * bug fixes
3996         - send OST transaction number in read/write reply to free req (4966)
3997         - don't ASSERT in ptl_send_rpc() if we run out of memory (5119)
3998         - lock /proc/sys/portals/routes internal state, avoiding oops (4827)
3999         - the watchdog thread now runs as interruptible (5246)
4000         - handle missing objects in filter_preprw_read properly (5265)
4001         - unsafe list practices (rarely) led to infinite eviction loop (4908)
4002         - drop import inflight refcount on signal_completed_replay error (5255)
4003         - unlock page after async write error during send (3677)
4004         - return original error code on reconstructed replies (3761)
4005         - no transno return for symlink open, don't save no-trasno open (3440)
4006        * miscellania
4007         - add pid to ldlm debugging output (4922)
4008         - bump the watchdog timeouts -- we can't handle 30sec yet
4009         - extra debugging for orphan dentry/inode bug (5259)
4010
4011 2004-11-16  Cluster File Systems, Inc. <info@clusterfs.com>
4012        * version 1.2.8
4013        * bug fixes
4014         - fix TCP_NODELAY bug, which caused extreme perf regression (5134)
4015         - allocate qswnal tx descriptors singly to avoid fragmentation (4504)
4016         - don't LBUG on obdo_alloc() failure, use OBD_SLAB_ALLOC() (4800)
4017         - fix NULL dereference in /proc/sys/portals/routes (4827)
4018         - allow failed mdc_close() operations to be interrupted (4561)
4019         - stop precreate on OST before MDS would time out on it (4778)
4020         - don't send partial-page writes before EOF from client (4410)
4021         - discard client grant for sub-page writes on large-page clients (4520)
4022         - don't free dentries not owned by NFS code, check generation (4806)
4023         - fix lsm leak if mds_create_objects() fails (4801)
4024         - limit debug_daemon file size, always print CERROR messages (4789)
4025         - use transno after validating reply (3892)
4026         - process timed out requests if import state changes (3754)
4027         - update mtime on OST during writes, return in glimpse (4829)
4028         - add mkfsoptions to LDAP (4679)
4029         - use ->max_readahead method instead of zapping global ra (5039)
4030         - don't interrupt __l_wait_event() during strace
4031        * miscellania
4032         - add software watchdogs to catch hung threads quickly (4941)
4033         - make lustrefs init script start after nfs is mounted
4034         - fix CWARN/ERROR duplication (4930)
4035         - return async write errors to application if possible (2248)
4036         - add /proc/sys/portal/memused (bytes allocated by PORTALS_ALLOC)
4037         - print NAL number in %x format (4645)
4038         - update barely-supported suse-2.4.21-171 series (4842)
4039         - support for sles 9 %post scripts
4040         - support for building 2.6 kernel-source packages
4041         - support for sles km_* packages
4042
4043 2004-10-07  Cluster File Systems, Inc. <info@clusterfs.com>
4044        * version 1.2.7
4045        * bug fixes
4046         - ignore -ENOENT errors in osc_destroy (3639)
4047         - notify osc create thread that OSC is being cleaned up (4600)
4048         - add nettype argument for llmount in #5d in conf-sanity.sh (3936)
4049         - reconstruct ost_handle() like mds_handle() (4657)
4050         - create a new thread to do import eviction to avoid deadlock (3969)
4051         - let lconf resolve symlinked-to devices (4629)
4052         - don't unlink "objects" from directory with default EA (4554)
4053         - hold socknal file ref over connect in case target is down (4394)
4054         - allow more than 32000 subdirectories in a single directory (3244)
4055         - fix blocks count for O_DIRECT writes (3751)
4056         - OST returns ENOSPC from object create when no space left (4539)
4057         - don't send truncate RPC if file size isn't changing (4410)
4058         - limit OSC precreate to 1/2 of value OST considers bogus (4778)
4059         - bind to privileged port in socknal and tcpnal (3689)
4060        * miscellania
4061         - rate limit CERROR/CWARN console message to avoid overload (4519)
4062         - GETFILEINFO dir ioctl returns LOV EA + MDS stat in 1 call (3327)
4063         - basic mmap support (3918)
4064         - kernel patch series update from b1_4 (4711)
4065
4066 2004-09-16  Cluster File Systems, Inc. <info@clusterfs.com>
4067        * version 1.2.6
4068        * bug fixes
4069         - avoid crash during MDS cleanup with OST shut down (2775)
4070         - fix loi_list_lock/oig_lock inversion on interrupted IO (4136)
4071         - don't use bad inodes on the MDS (3744)
4072         - dynamic object preallocation to improve recovery speed (4236)
4073         - don't hold spinlock over lock dumping or change debug flags (4401)
4074         - don't zero obd_dev when it is force cleaned (3651)
4075         - print grants to console if they go negative (4431)
4076         - "lctl deactivate" will stop automatic recovery attempts (3406)
4077         - look for existing locks in ldlm_handle_enqueue() (3764)
4078         - don't resolve lock handle twice in recovery avoiding race (4401)
4079         - revalidate should check working dir is a directory (4134)
4080        * miscellania
4081         - don't always mark "slow" obdfilter messages as errors (4418)
4082
4083 2004-08-24  Cluster File Systems, Inc. <info@clusterfs.com>
4084        * version 1.2.5
4085        * bug fixes
4086         - don't close LustreDB during write_conf until it is done (3860)
4087         - fix typo in lconf for_each_profile (3821)
4088         - allow dumping logs from multiple threads at one time (3820)
4089         - don't allow multiple threads in OSC recovery (3812)
4090         - fix debug_size parameters (3864)
4091         - fix mds_postrecov to initialize import for llog ctxt (3121)
4092         - replace config semaphore with spinlock (3306)
4093         - be sure to send a reply for a CANCEL rpc with bad export (3863)
4094         - don't allow enqueue to complete on a destroyed export (3822)
4095         - down write_lock before checking llog header bitmap (3825)
4096         - recover from lock replay timeout (3764)
4097         - up llog sem before sending rpc (3652)
4098         - reduce ns lock hold times when setting kms (3267)
4099         - change a dlm LBUG to LASSERTF, to maybe learn something (4228)
4100         - fix NULL deref and obd_dev leak on setup error (3312)
4101         - replace some LBUG about llog ops with error handling (3841)
4102         - don't match INVALID dentries from d_lookup and spin (3784)
4103         - hold dcache_lock while marking dentries INVALID and hashing (4255)
4104         - fix invalid assertion in ptlrpc_set_wait (3880)
4105        * miscellania
4106         - add libwrap support for the TCP acceptor (3996)
4107         - add /proc/sys/portals/routes for non-root route listing (3994)
4108         - allow setting MDS UUID in .xml (2580)
4109         - print the stack of a process that LBUGs (4228)
4110
4111 2004-07-14  Cluster File Systems, Inc. <info@clusterfs.com>
4112        * version 1.2.4
4113        * bug fixes
4114         - don't cleanup request in ll_file_open() on failed MDS open (3430)
4115         - make sure to unset replay flag from failed open requests (3440)
4116         - if default stripe count is 0, use OST count for inode size (3636)
4117         - update parent mtime/ctime on client for create/unlink (2611)
4118         - drop dentry ref in ext3_add_link from open_connect_dentry (3266)
4119         - free recovery state on server during a forced cleanup (3571)
4120         - unregister_reply for resent reqs (3063)
4121         - loop back devices mounting and status check on 2.6 (3563)
4122         - fix resource-creation race that can provoke i_size == 0 (3513)
4123         - don't try to use bad inodes returned from MDS/OST fs lookup (3688)
4124         - more debugging for page-accounting assertion (3746)
4125         - return -ENOENT instead of asserting if ost getattr+unlink race (3558)
4126         - avoid deadlock after precreation failure (3758)
4127         - fix race and lock order deadlock in orphan handling (3450, 3750)
4128         - add validity checks when grabbing inodes from l_ast_data (3599)
4129        * miscellania
4130         - add /proc/.../recovery_status to obdfilter (3428)
4131         - lightweight CDEBUG infrastructure, debug daemon (3668)
4132         - change default OSC RPC parameters to be better on small clusters
4133         - turn off OST read cache for files smaller than 32MB
4134         - install man pages and include them in rpms (3100)
4135         - add new init script for (un)mounting lustre filesystems (2593)
4136         - run chkconfig in %post for init scripts (3701)
4137         - drop scimac NAL (unmaintained)
4138
4139 2004-06-17  Cluster File Systems, Inc. <info@clusterfs.com>
4140        * version 1.2.3
4141        * bug fixes
4142         - clean kiobufs before and after use (3485)
4143         - strip trailing '/'s before comparing paths with /proc/mounts (3486)
4144         - remove assertions to work around "in-flight rpcs" recovery bug (3063)
4145         - change init script to fail more clearly if not run as root (1528)
4146         - allow clients to reconnect during replay (1742)
4147         - fix ns_lock/i_sem lock ordering deadlock for kms update (3477)
4148         - don't do DNS lookups on NIDs too small for IP addresses (3442)
4149         - re-awaken ptlrpcd if new requests arrive during check_set  (3554)
4150         - fix cond_resched  (3554)
4151         - only evict unfinished clients after recovery (3515)
4152         - allow bulk resend, prevent data loss (3570)
4153         - dynamic ptlrpc request buffer allocation (2102)
4154         - don't allow unlinking open directory if it isn't empty (2904)
4155         - set MDS/OST threads to umask 0 to not clobber client modes (3359)
4156         - remove extraneous obd dereference causing LASSERT failure (3334)
4157         - don't use get_cycles() when creating temp. files on the mds (3156)
4158         - hold i_sem when setting i_size in ll_extent_lock() (3564)
4159         - handle EEXIST for set-stripe, set proper directory name (3336)
4160        * miscellania
4161         - servers can dump a log evicting a client - lustre.dump_on_timeout=1
4162         - fix ksocknal_fmb_callback() error messages (2918)
4163
4164 2004-05-27  Cluster File Systems, Inc. <info@clusterfs.com>
4165        * version 1.2.2
4166        * bug fixes
4167         - don't copy lvb into (possibly NULL) reply on error (2983)
4168         - don't deref dentry after dput, don't free lvb on error (2922)
4169         - use the kms to determine writeback rpc length (2947)
4170         - increment oti_logcookies when osc is inactive (2948)
4171         - update client's i_blocks count via lvb messages (2543)
4172         - handle intent open/close of special files properly (1557)
4173         - mount MDS with errors=remount-ro, like obdfilter (2009)
4174         - initialize lock handle to avoid ASSERT on error cleanup (3057)
4175         - don't use cancelling-locks' kms values (2947)
4176         - use highest lock extent for kms, not last one (2925)
4177         - don't dereference ERR_PTR() dentry in error handling path (3107)
4178         - fix thread race in portals_debug_dumplog() (3122)
4179         - create lprocfs device entries at setup instead of at attach (1519)
4180         - common AST error handler, don't evict client on completion race (3145)
4181         - zero nameidata in detach_mnt in 2.6 (3118)
4182         - verify d_inode after revalidate_special is valid in 2.6 (3116)
4183         - use lustre_put_super() to handle zconf unmounts in 2.6 (3064)
4184         - initialize RPC timeout timer earlier for 2.6 (3219)
4185         - don't dereference NULL reply buffer if mdc_close was never sent (2410)
4186         - print nal/nid for unknown nid (3258)
4187         - additional checks for oscc recovery before doing precreate (3284)
4188         - fix ll_extent_lock() error return code for 64-bit systems (3043)
4189         - don't crash in mdc_close for bad permissions on open (3285)
4190         - zero i_rdev for non-device files (3147)
4191         - clear page->private before handing to FS, better assertion (3119)
4192         - tune the read pipeline (3236)
4193         - fix incorrect decref of invalidated dentry (2350)
4194         - provide read-ahead stats and refine rpc in flight stats (3328)
4195         - don't hold journal transaction open across create RPC (3313)
4196         - update atime on MDS at close time (3265)
4197         - close LDAP connection when recovering to avoid server load (3315)
4198         - update iopen-2.6 patch with fixes from 2399,2517,2904 (3301)
4199         - don't leak open file on MDS after open resend (3325)
4200         - serialize filter_precreate and filter_destroy_precreated (3329)
4201         - loop device shouldn't call sync_dev() for nul device (3092)
4202         - clear page cache after eviction (2766)
4203         - resynchronize MDS->OST in background (2824)
4204         - refuse to mount the same filesystem twice on same mountpoint (3394)
4205         - allow llmount to create routes for mounting behind routers (3320)
4206         - push lock cancellation to blocking thread for glimpse ASTs (3409)
4207         - don't call osc_set_data_with_check() for TEST_LOCK matches (3159)
4208         - fix rare problem with rename on htree directories (3417)
4209        * miscellania
4210         - allow default OST striping configuration per directory (1414)
4211         - fix compilation for qswnal for 2.6 kernels (3125)
4212         - increase maximum number of MDS request buffers for large systems
4213         - change liblustreapi to be useful for external progs like lfsck (3098)
4214         - increase local configuration timeout for slow disks (3353)
4215         - allow configuring ldlm AST timeout - lustre.ldlm_timeout=<seconds>
4216
4217 2004-03-22  Cluster File Systems, Inc. <info@clusterfs.com>
4218        * version 1.2.1
4219        * bug fixes
4220         - fixes for glimpse AST timeouts / incorrectly 0-sized files (2818)
4221         - don't overwrite extent policy data in reply if lock was blocked (2901)
4222         - drop filter export grants atomically with removal from device (2663)
4223         - del obd_self_export from work_list in class_disconnect_exports (2908)
4224         - don't LBUG if MDS recovery times out during orphan cleanup (2530)
4225         - swab reply message in mdc_close, other PPC fixes (2464)
4226         - fix destroying of named logs (2325)
4227         - overwrite old logs when running lconf --write_conf (2264)
4228         - bump LLOG_CHUNKSIZE to 8k to allow for larger clusters (2306)
4229         - fix race in target_handle_connect (2898)
4230         - mds_reint_create() should take same inode create lock (2926)
4231         - correct journal credits calculated for CANCEL_UNLINK_LOG (2931)
4232         - don't close files for self_export to avoid uninitialized obd (2936)
4233         - allow MDS with the same name as client node (2939)
4234         - hold dentry reference for closed log files for unlink (2325)
4235         - reserve space for all logs during transactions (2059)
4236         - don't evict page beyond end of stripe extent (2925)
4237         - don't oops on a deleted current working directory (2399)
4238         - handle hard links to targets without a parent properly (2517)
4239         - don't dereference NULL lock when racing during eviction (2867)
4240         - don't grow lock extents when lots of conflicting locks (2919)
4241
4242 2004-03-04  Cluster File Systems, Inc. <info@clusterfs.com>
4243        * version 1.2.0
4244        * bug fixes
4245         - account for cache space usage on clients to avoid data loss (974)
4246         - lfsck support in lustre kernel code (2349)
4247         - reduce journal credits needed for BRW writes (2370)
4248         - orphan handling to avoid losing space on client/server crashes
4249         - ptlrpcd can be blocked, stopping ALL progress (2477)
4250         - use lock value blocks to assist in proper KMS, faster stat (1021)
4251         - takes i_sem instead of DLM locks internally on obdfilter (2720)
4252         - recovery for initial connections (2355)
4253         - fixes for mds_cleanup_orphans (1934)
4254         - abort_recovery crashes MDS in b_eq (mds_unlink_orphan) (2584)
4255         - block all file creations until orphan recovery completes (1901)
4256         - client remove rq_connection from request struct (2423)
4257         - conf-sanity test_5, proper cleanup in umount log not availale (2640)
4258         - recovery timer race (2670)
4259         - mdc_close recovey bug (2532)
4260         - ptlrpc cleanup bug (2710)
4261         - mds timeout on local locks (2588)
4262         - namespace lock held during RPCs (2431)
4263         - handle interrupted sync write properly (2503)
4264         - don't try to handle a message that hasn't been replied to (2699)
4265         - client assert failure during cleanup after abort recovery (2701)
4266         - leak mdc device after failed mount (2712)
4267         - ptlrpc_check_set allows timedout requests to complete (2714)
4268         - wait for inflight reqs when ptlrpcd finishes (2710)
4269         - make sure unregistered services are removed from the srv_list
4270         - reset bulk XID's when resending them (caught by 1138 test)
4271         - unregister_bulk after timeout
4272         - fix lconf error (2694)
4273         - handle write after unfinished setstripe, stripe-only getstripe (2388)
4274         - readahead locks pages, leaves pending causing memory pressure (2673)
4275         - increase OST request buffers to 4096 on large machines (2729)
4276         - fix up permission of existing directories in simple_mkdir (2661)
4277         - init deleted item, add assertions ptlrpc_abort_inflight() (2725)
4278         - don't assign transno to errored transactions (2742)
4279         - don't delete objects on OST if given a bogus objid from MDS (2751)
4280         - handle large client PAGE_SIZE readdir on small PAGE_SIZE MDS (2777)
4281         - if rq_no_resend, then timeout request after recovery (2432)
4282         - fix MDS llog_logid record size, 64-bit array alignment (2733)
4283         - don't call usermode_helper from ptlrpcd, DEFAULT upcall (2773)
4284         - put magic in mount.lustre data, check for bad/NULL mount data (2529)
4285         - MDS recovery shouldn't delete objects that it has given out (2730)
4286         - if enqueue arrives after completion, don't clobber LVB (2819)
4287         - don't unlock pages twice when trigger_group_io returns error (2814)
4288         - don't deref NULL rq_repmsg if ldlm_handle_enqueue failed (2822)
4289         - don't write pages to disk if there was an error (1450)
4290         - don't ping imports that have recovery disabled (2676)
4291         - take buffered bytes into account when balancing socknal conn (2817)
4292         - hold a DLM lock over readdir always, use truncate_inode_pages (2706)
4293         - reconnect unlink llog connection after MDS reconnects to OST (2816)
4294         - remove little-endian swabbing of llog records (1987)
4295         - set/limit i_blksize to LL_MAX_BLKSIZE on client (2884)
4296         - retry reposting request buffers if they fail (1191)
4297         - grow extent at grant time to avoid granting a revoked lock (2809)
4298         - lock revoke doesn't evict page if covered by a second lock (2765)
4299         - disable VM readahead to avoid reading outside lock extents (2805)
4300        * miscellania
4301         - return LL_SUPER_MAGIC from statfs for the filesystem type (1972)
4302         - updated kernel patches for hp-2.4.20 kernel (2681)
4303
4304 2004-02-07  Cluster File Systems, Inc. <info@clusterfs.com>
4305        * version 1.0.4
4306        * kernel patches
4307         - fix truncated write corruption (2366)
4308         - fix for failed assertion in iopen_connect_dentry (1792,2517)
4309        * bug fixes
4310         - don't flag the ptlrpcd thread with PF_MEMALLOC (2636)
4311         - ensure len(uuid) < 37 in lmc (1171)
4312         - fix ia64 OOPS in llog_test (2255)
4313         - zero end of page at obdfilter for partial page writes (2648)
4314         - don't leave stale dentries around after renames (bug 2428)
4315         - fix timeouts when evicting a client with a single lock held (2642)
4316         - set deadline for the initial HELLO message to drain (2634)
4317         - print out dotted-quad IP addresses in the socknal (2302)
4318        * miscellania
4319         - additional debugging for MDS client eviction problem (2443)
4320         - fix mkfsoptions support for osts (2603, 2604)
4321
4322 2004-01-27  Cluster File Systems, Inc. <info@clusterfs.com>
4323        * version 1.0.3
4324        * kernel patches
4325         - add series for the vanilla 2.6.0 kernel
4326         - add series for the vanilla 2.4.24 kernel
4327         - add series for a cray x86/64 UL kernel drop
4328         - fix xattr patches for the vanilla 2.4.19 series
4329        * bug fixes
4330         - generate true UUIDs in lmc (1171)
4331         - have portals stack dumping break in UML (2466)
4332         - avoid bad dchild deref; avoid inum lock w/o creation (2362)
4333         - allocate with _NOFS in ldlm to avoid deadlock (1933)
4334         - wake callback waiting threads on client eviction (2460)
4335         - Add --ptldebug and --subsystem to lmc (1719)
4336         - update assertion to allow safe interrupt allocation
4337         - set rq_no_resend for cancel requests (2432)
4338         - recalculate ptlrpcd timeout after resend (2494)
4339         - call vfs_rmdir when removing pending directories (2368)
4340         - fix renaming a file to itself (2429)
4341         - lmc creates a default one-stripe lov (2454)
4342         - expand procfs space to handle large clusters (2326)
4343         - increase UML stack to avoid overflow
4344         - update lconf's list of debug and subsystem masks
4345         - fix lfs find --obd (2510)
4346         - /proc tunable for disabling filter read caching (2591)
4347         - stop rpm packages from altering slapd.conf (2301)
4348         - disable nagle in the socknal under 0conf (2578)
4349         - choose mds inode size based on stripe count (2572)
4350         - fix kernel-source rpm problems (2516)
4351        * miscellania
4352         - add --disable-doc to avoid pdf generation (2421)
4353         - update documentation, tests, type-os, comments
4354         - avoid format warnings on ia64
4355         - remove the TOE NAL
4356         - tiny code cleanups by removing unused fields
4357
4358 2004-01-07  Cluster File Systems, Inc. <info@clusterfs.com>
4359        * version 1.0.2
4360        * bug fixes
4361         - fix obvious semaphore misuse in as-yet-unused setattr path (2348)
4362         - remove the most blatant lies from BUILDING file (2371)
4363         - change default debug level to reasonable production setting
4364         - reduce client side cache size to reduce cache flush time
4365         - reduce max RPCs in flight to avoid unnecessary file fragmentation
4366         - make TCP zerocopy and pinger support enabled by default (2476)
4367         - sync writes completed after process exits caused crashes (2319)
4368         - maintain correct mount count on the MDS (2356)
4369         - backout 1557, because 2316 wasn't really fixed
4370         - better file I/O statistics gathering in /proc
4371         - don't take unnecessary, deadlock-inducing bug in readpage (2383)
4372         - another kernel patch to fix zero-copy TCP function export
4373         - don't take duplicate lock when processing re-sent getattr (2420)
4374         - lctl uses obd_self_export instead of creating new conn (2353)
4375         - MDS/OST recovery case which requires object creation asserted (2425)
4376         - move lfs from /usr/sbin to /usr/bin in packages
4377         - fix race between mds_client_add and mds_client_free (2417)
4378         - use kmalloc instead of slabs in portals (2430)
4379         - don't create duplicate records when a failover MDS is present (2442)
4380         - remove unnecessary mount age check (2332)
4381         - don't remove directory inodes from locks prematurely (2451)
4382         - don't break if MDS service name is the same as hostname (2103)
4383         - fix races in client write RPC generation when cache full (2482)
4384
4385 2003-12-13  Cluster File Systems, Inc. <info@clusterfs.com>
4386        * version 1.0.1
4387        * bug fixes
4388         - remove now-unused request->rq_obd (278)
4389         - if an allocation fails, print out how much memory we've used (1933)
4390         - use PORTAL_SLAB_ALLOC for structures, to get GFP_MEMALLOC (1933)
4391         - add the "configurable stack size" patch to most series files (1256)
4392         - ability to write large log records, for 100+ OST configs (2306)
4393         - fix NULL deref when filter_prep fails (2314)
4394         - fix operator precedence error in filter_sync
4395         - dynamic allocation of socknal TX descriptors (2315)
4396         - fix a missed case in the GFP_MEMALLOC patch, can cause deadlock (2310)
4397         - fix gcc 2.96 compilation problem in xattr kernel patch (2294)
4398         - ensure that CWARN messages in Portals always get to the syslog
4399         - __init/__exit are not for prototype decls (ldlm_init/exit)
4400         - x86-64 compile warning fixes
4401         - fix gateway LMC keyword conflict (2318)
4402         - fix MDS lock inversions in getattr/reint paths (1844)
4403         - fix a rare lock re-ordering bug, which caused deadlock (2322)
4404         - fix i_sem/journal inversion in fsfilt_ext3_write_record (2306)
4405         - DLM race condition prevented some lock evictions (2328)
4406         - ENOMEM detection and retry on socknal sends (2230)
4407         - use GFP_NOFS throughout Lustre, to combat ENOMEM (2230)
4408         - move osc_rpcd into ptlrpc, for use in MDC and others (2329)
4409         - protect MDS inode fsdata with stronger locking; fixes assertion (2313)
4410         - better error messages when a client is rejected during recovery (1505)
4411         - avoid cancelling locks which were never granted, after failure (2330)
4412         - fix i_sem/journal inversion in mds_client_add (2333)
4413         - fix truncate/getattr lock cycle deadlock (2334)
4414         - use rpcd to send close; allows resend after timeout, avoid leak (1897)
4415         - fix two rare exit paths which could leak an l_lock() ref (2321)
4416         - fencepost error in MDS/OST orphan recovery (2226)
4417         - make log record alignment 8 bytes (1988)
4418         - lstripe now fails when requested offset > ost_count (2237)
4419         - ensure that all kernel series have a complete list.h (1607)
4420         - fix crashes in special-file operations (2316)
4421         - lctl create/brw OID mismatch, caused by obsolete filter loop (2339)
4422        * miscellania
4423         - allow configurable automake binary, for testing new versions
4424         - small update to the lfs documentation
4425
4426 2003-12-03  Cluster File Systems, Inc. <info@clusterfs.com>
4427        * version 1.0.0
4428        * fix negative export reference count in fsfilt_sync (2312)
4429
4430 2003-12-01  Cluster File Systems, Inc. <info@clusterfs.com>
4431        * release candidate 0.9.1
4432        * bug fixes
4433         - orphans are moved into the PENDING directory for possible recovery
4434         - replayed opens now open by fid for orphan/rename safety (1042)
4435         - last close of an orphan inode generates a transno (683)
4436         - chdir() and mount() now pin the directory entry (1020)
4437         - avoid CERROR in normal ll_setattr_raw() error case (1500)
4438         - discard very old requests without processing them (1502)
4439         - remove some common, well-understood CERRORs (1505)
4440         - require O_DIRECT I/O to be page-sized to workaround IA64 crash (1609)
4441         - clear "grant" flags in OST replies until OST grant code lands (1644)
4442         - fix read performance by not clobbering i_blksize on client (1598)
4443         - fix __ldlm_handle2lock oops by not dereferencing lock after PUT (1625)
4444         - make LRU size a /proc tunable, clears locks when reduced (707)
4445         - fix some lprocfs rot that prevented ptlbd from loading (1732)
4446         - server locks take references on exports now (1558)
4447         - build fixes for 2.4.20-rh trees (1663)
4448         - return an error from lov_create if all OSCs are inactive (1751)
4449         - fix import levels when a reconnect happens without a timeout (1597)
4450         - exit early from mds_open if we get a lookup error (1749)
4451         - partial page read at EOF wouldn't wait for disk before sending (1642)
4452         - avoid NULL deref in obdfilter when reading page past EOF (1592)
4453         - avoid LASSERT in ll_intent_lock if server failed very early (1090)
4454         - fix LBUG in ll_it_open_error with rc = -2 (1861)
4455         - write/truncate lock inversion (1639)
4456         - Don't auto-load obdclass, portals modules during cleanup (1495)
4457         - fix timestamps from jumping to "now" (1763)
4458         - extra journal assertions (1648)
4459         - add an extra multiunlink test (1771)
4460         - fix read_record/write_record API (1776)
4461         - fix leak of offset_extent, possible incorrect i_size later (1772)
4462         - fix lasserts in mis-matched transnos during open-unlink testing (1541)
4463         - Debugging for the kqswnal_get_idle_tx problems (1820)
4464         - Allow recovery to be attempted multiple times (1536)
4465         - Write out MDS last_rcvd file after it is first created (1600)
4466         - Fix tx_descriptor leak in failed transmit situations (1827)
4467         - ext3 journaling fixes for assertion failure after IO error (1871)
4468         - class_export_put() on freed export after completion AST error (1896)
4469         - Fix revalidate looping in VFS (1322)
4470         - Don't access a freed export during MDS_REINT timeout (1521)
4471         - Add open-unlink recovery support on the MDS (1673,1764)
4472         - Return an error if no MDS data was read from last_rcvd (1946)
4473         - Fix for lookup "." or ".." crash on error (1932,1931,1935)
4474         - Don't setup a disk device that doesn't match exported UUID (317)
4475         - Reduce bulk RPC timeout to avoid cascading client/OST failures (1845)
4476         - avoid committing NULL handle in force close
4477         - local.sh is now a one-stripe LOV configuration
4478         - POSIX utime.4 -EPERM on FIFO not owned by user (56)
4479         - fix ext3 htree duplicate directory entry corruption (1516)
4480         - POSIX creat.13, fstat.1, open.18, stat.3 new file atime/mtime (2020)
4481         - update to new LOV EA format (2097)
4482         - interoperability for different PAGE_SIZE/wordsize (686,1821,1343,2042)
4483
4484 2003-06-15  Phil Schwan  <phil@clusterfs.com>
4485        * version v0_7
4486        * bug fixes
4487         - imports and exports cleanup too early, need refcounts (349, 879, 1045)
4488         - per-import/export recovery handling (958, 931, 959)
4489         - multiple last-rcvd slots, for serving multiple FSes (949)
4490         - connections are again shared between multiple imp/exports (963, 964)
4491         - "umount -f" would hang if any requests needed to be sent (393, 978)
4492         - avoid pinning large req buffer by copying for queued messages (989)
4493         - add "uuid" to "lctl device" command to help upcalls (991)
4494         - "open" RPCs with transnos would confuse recovery counters (1037)
4495         - do proper endian conversion of all wire messages (288, 340, 891)
4496         - remove OST bulk get LBUGs, fix ost_brw_write cleanup (1126)
4497         - call waiting locks callback from LDLM recovery thread (1127, 1151)
4498         - fix ptlrpc_connection leak in target_handle_connect (1174)
4499         - fix import refcounting bug in OST and MDS cleanup (1134)
4500         - if an invalid-at-open-time OSC returned before close(), LBUG (1150)
4501         - fix very unlikely obd_types race condition (501)
4502         - remove osc_open hack for echo_client (1187)
4503         - we leaked exports/dlmimps for forcibly disconnected clients (1143)
4504         - a failure in read_inode2 leads to deadlock (1139)
4505         - cancel ack-locks as soon as transaction is committed (1072)
4506         - fix major leaks and crashes in the bulk I/O path (937, 1057)
4507         - make sure to commitrw after any preprw to avoid deadlock (1162)
4508         - failing to execute a file in a lustre FS would lock inode (1203)
4509         - small DEBUG_REQ fix to avoid dereferencing a NULL (1227)
4510         - don't ASSERT while cleaning up an incompletely-setup obd (1248)
4511         - obd_uuid2tgt would walk off the end of the list (1255)
4512         - on IA64 the osc would give portals incorrect bulk size (1258)
4513         - fix debug daemon ioctl interface; allows daemon on ia64 (1274)
4514         - fix lock inversion caused by new llite matching code (1282)
4515         - limit the number of dirty pages on a client to 10MB (1286)
4516         - timed out locks were not being corrected cancelled (1289)
4517         - fix O_DIRECT above 4GB on IA-32 (1292)
4518        * major user-visible changes
4519         - fail out/fail over policy now controlled by the upcall (993)
4520        * protocol changes
4521         - add OBD_PING to check server availability and failure (954)
4522         - lustre messages are now sent in sending host order (288, 340, 891)
4523         - add eadatalen to MDS getattr reply (340)
4524         - OST read replies may contain second buffer, with per-page status (593)
4525
4526 2003-03-11  Phil Schwan  <phil@clusterfs.com>
4527        * version v0_6
4528        * bug fixes
4529         - LDLM_DEBUG macro fix, for gcc 3.2 (850)
4530         - failed open()s could cause deadlock; fixed (867, 869)
4531         - stop cancelling OST locks when files are closed (481)
4532         - overlapping XID spaces caused network corruption (851, 853)
4533         - fix unsafe fsfilt counter arithmetic; change to atomic_t
4534         - setattr_raw added, to do single-RPC, server-side setattrs
4535         - lmc/lconf syntax change for OST UUIDs
4536         - fix crashy race condition between ptlrpc_free_req and osc_close
4537         - don't use request in mdc_enqueue if we hit a timeout (889)
4538         - don't set the inode i_size for regular files from the MDS (896)
4539         - handle out of order completion AST (842)
4540         - don't LBUG if a lock request times out after receiving AST (913)
4541         - avoid d_rehash race in ll_find_alias by rehashing inside dcache_lock
4542         - if a bad lock AST arrives, send an error instead of dropping entirely
4543         - return 0 from revalidate2 if ll_intent_lock returns -EINTR (912)
4544         - fix leak in bulk IO when only partially completed (899, 900, 926)
4545         - fix O_DIRECT for ia64 (55)
4546         - (almost) eliminate Lustre-kernel-thread effects on load average (722)
4547         - C-z after timeout could hang a process forever; fixed (977)
4548        * Features
4549         - client-side I/O cache (678, 924, 929, 941, 970)
4550        * protocol changes
4551         - READPAGE and SETATTRs which don't take server-side locks get
4552           their own portal
4553
4554 2003-02-11  Phil Schwan  <phil@clusterfs.com>
4555         * version v0_5_20
4556         * bug fixes
4557          - Fix ldlm_lock_match on the MDS to avoid matching remote locks (592)
4558          - Fix fsfilt_extN_readpage() to read a full page of directory
4559            entries, or fake the remainder if PAGE_SIZE != blocksize (500)
4560          - Avoid extra mdc_getattr() in ll_intent_lock when possible (534, 604)
4561          - Fix imbalanced LOV object allocation and out-of-bound access (469)
4562          - Most intent operations were removed, in favour of a new RPC mode
4563            that does a single RPC to the server and bypasses most of the VFS
4564          - All LDLM resource ID arrays were removed in favour of ldlm_res_id
4565          - Aggressively cancel local locks on DLM servers
4566          - mds_reint_unlink sends EA to the client if it's the last nlink.
4567            client uses that EA to unlink OST objects.
4568          - mds_reint_{rename,unlink,link} were rewritten to take ordered locks
4569          - recursive symlinks were fixed (439)
4570          - fixed NULL deref in DEBUG_REQ
4571          - filter_update_lastobjid no longer calls sync, which annoyed extN
4572          - fixed multi-client small-writes to a single file problem (445)
4573          - fixed mtime updates during file writes (607)
4574          - fixed vector writes on obdfilter causing problems when ENOSPC (670)
4575          - fixed bug in obd_brw_read/write() (under guise of testing 367)
4576          - fixed Linux OST size reporting problem (444, 656)
4577          - OST now updates object mtime with writes or setattr (607, 619)
4578          - client verifies file size before zeroing page past EOF (445)
4579          - OST now writes last allocated objid to disk with allocation (108)
4580          - LOV on echo now works (409)
4581         * protocol changes
4582          - mds_reint_unlink sends a new buffer, with the EA included.  this
4583            buffer is only valid if body->valid & OBD_MD_FLEASIZE, which is only
4584            set if a regular file was being unlinked, and it was the last link
4585          - use PtlGet from the target for bulk writes (315)
4586          - OST now updates object mtime with writes or setattr (607, 619)
4587          - LDLM now has a grant-time callback to revalidate locked items, if
4588            necessary (604)
4589          - Many MDS operations were reorganized to combat race conditions
4590         * other changes
4591          - Merge b_intel branch (updated lprocfs code) - now at /proc/fs/lustre
4592          - configure check to avoid gcc version 2.96 20000731-2.96-98) (606)
4593
4594 2003-01-06  Andreas Dilger  <adilger@clusterfs.com>
4595         * version v0_5_19
4596         * bug fixes
4597          - Fully reactivate OST imports after reconnection (512, others)
4598          - Make sure client sees our -ENOTCONN from mds_handle (513 - partial)
4599          - More graceful error handling for truncating on dead OST (515)
4600          - Don't error out unless we're actually accessing dead stripes (474)
4601          - Fix garbage sizes when stripes are missing (410)
4602          - LRU counters were broken, causing constant lock purge (433, 432)
4603          - garbage on read from stripes with failed OSTs (441)
4604          - mark OSCs as active before reconnecting during recovery (438)
4605          - lov_enqueue and lov_cancel need to handle inactive OSTs (403)
4606          - lfind did not preserve OST order in output (443)
4607          - symlinks cause hung clients, incorrect data (439)
4608          - stop dereferencing request after dropping refcount (457)
4609          - don't LASSERT(spin_is_locked) on non-SMP (455)
4610          - fixes for many rename() bugs
4611          - fstat didn't correctly synchronize attributes (399)
4612          - server must handle lock cancellation during blocking AST prep (487)
4613          - bulk descriptors were free()d too soon (511)
4614          - fix paths in lconf, which would load incorrect modules (451, 507)
4615          - fix confusing lconf 'host not found' error message (386)
4616          - fix lock order deadlock on OST (O/R i_sem before journal ops, 478)
4617          - fix race condition in mdc_blocking_ast() for inode access (526)
4618          - fix lov_unpackmd() unpacking wrong number of stripes (537)
4619          - fix lov_set_osc_active() marking wrong OSC inactive (440)
4620          - fix bad lstripe lov_unpackmd() assertion (fix layering too) (527)
4621          - fix multiple writes of stripe MD to MDS (358, maybe 519)
4622          - fix lstripe in several ways (kernel side) (527)
4623          - fix request leak in ldlm_cli_enqueue (262)
4624          - incorrect OSC was marked inactive after OST failure
4625          - call mds_fs_cleanup before unmounting filesystem (524)
4626          - fix races between taking ns_lock and ldlm_lock_change_resource
4627          - fix races updating LOV export open file list
4628          - fix lov_enqueue error path, avoid decref-ing bad lock handle
4629          - fix recovery NULL deref in ldlm_cli_cancel_unused
4630          - fix some DLM races by using new hash table for lock handles (419)
4631          - permit the client to specify desired inodes, at replay
4632          - duplicate requests when we queue them for replay reintegration
4633          - fix last_rcvd offset calculation
4634          - sync after each recovered transaction, so we always make progress
4635          - never, not always, ERESTART requests without transnos
4636          - store the lov_desc in the MDS, so we don't depend on getlovinfo to
4637            set it
4638          - skip replay if the MDS says that the client is already connected
4639          - don't check for a recovery-enabled export to match lctl's UUID
4640          - don't INC_USE_COUNT for phantom exports
4641          - don't crash when cleaning up phantom exports (567)
4642          - don't double-finish or set replay data for errored mdc_open requests
4643          - abort requests when they time out, so we don't get old replies
4644          - send/receive replies for AST messages again
4645          - if the client says that it doesn't have the lock, cancel it on the
4646            server
4647          - if we timeout during I/O, don't try to cancel an in-use lock; instead
4648            mark it as destroyed, it will all work out when decref is called
4649          - fix module use counts (22, 581)
4650         * protocol changes
4651          - ASTs now expect a reply (server cancels lock on error reply)
4652
4653 2002-12-02  Andreas Dilger  <adilger@clusterfs.com>
4654         * version v0_5_18
4655         * bug fixes
4656           - fix many simultaneous client startup (392)
4657           - fix dentry->d_it clobbering
4658           - credentials weren't being shipped for readdir/getattr operations
4659           - remove invalid assertions triggered during some concurrent MD
4660             updates
4661           - proper Lustre versions added (336, 389)
4662           - fix memory leak for create error case (398)
4663           - fix LOV locking bug that would get cli/srv out of sync
4664           - fix echo client over LOV (409)
4665           - fix dbench 2, extN refcount problem (170, 258, 356, 418)
4666           - fix double-O_EXCL intent crash (424)
4667           - avoid sending multiple lock CANCELs (352)
4668         * Features
4669           - MDS can do multi-client recovery (modulo bugs in new code)
4670         * Documentation
4671           - many updates, edits, cleanups
4672
4673 2002-11-18  Phil Schwan  <phil@clusterfs.com>
4674         * version v0_5_17
4675         * bug fixes
4676           - fix null d_it dereference (346)
4677           - fix full OST/dbench hang (333)
4678           - fix permission problem with file removal (286)
4679           - fix removal of OSCs from LOV when they fail
4680           - fix NULL deref during bulk timeout (214)
4681           - fix problems related to multiple filesystems on one MDS (241)
4682           - fixed serious subtle metadata locking bugs
4683           - free locks on clients when inodes are removed due to memory
4684             pressure (201)
4685           - fix inode pointer in lock data (285)
4686           - partial support for multiple MDS on a single host (241)
4687           - data locks weren't cancelled at clear_inode time (290, 311)
4688           - intent locks could lead to unbounded lock growth (205)
4689           - added a maximum lock count, an LRU list, and a flusher
4690           - fix multiple rename (365)
4691           - properly abstracted the echo client
4692           - OSC locked 1 byte too many; fixed
4693           - rewrote brw callback code:
4694           - fixed recovery bugs related to LOVs (306)
4695           - fixed too-many-pages-in-one-write crash (191)
4696           - fixed (again) crash in sync_io_timeout (214)
4697           - probably fixed callback-related race (385)
4698         * protocol change
4699           - Add capability to MDS protocol
4700           - LDLM cancellations and callbacks on different portals
4701
4702 2002-10-28  Andreas Dilger  <adilger@clusterfs.com>
4703         * version v0_5_16
4704         * bug fixes:
4705           - limit client IOV size to PTL_MD_MAX_IOV (611336, 191)
4706           - defer open object destruction to close time (601981, 138)
4707           - open/close OST file handle in obdo (OBD_MD_FLHANDLE) (601981, 138)
4708           - move LDLM_ENQUEUE/CONVERT back to MDS portal (625069)
4709           - abstract ll_lookup2, fix ll_revalidate2 to use abstraction (256)
4710           - don't call obd_setattr in ll_file_release for destroyed objects
4711         * protocol change to lustre_msg: move |version| and add |flags|
4712         * protocol change to osc_punch: "start" in "o_size", "end" in "o_blocks"
4713         * lock replay: for LDLM_FL_REPLAY trust client to do right thing
4714         * added replay of create, unlink, link and rename operations during
4715           MDS failover; recovery should be much more robust now
4716         * remove failed OSCs from LOVs (only lov_create uses this so far)
4717         * the lustre-HOWTO was brought (more) up to date (582544)
4718
4719 2002-10-23  Phil Schwan  <phil@clusterfs.com>
4720         * version v0_5_15
4721         * bug fixes:
4722           - in-use dentries weren't being reused properly (617851)
4723           - prevent multiple LDLM setup (599178)
4724           - fix LOV size calculations for truncate (617853)
4725           - fix client handling of MDS intent errors (POSIX)
4726           - fix permission bug in lovstripe.c test (624321)
4727           - fix MDS thread deadlock - move LDLM handler to DLM portal (625069)
4728           - truncate past end of file could corrupt data
4729           - proper cleanup after timeouts, crashes, etc (592524, 550815)
4730           - a race in recovery could return ETIMEDOUT to apps (623947)
4731           - building outside the source directory was fixed
4732         * the lustre-HOWTO was brought (more) up to date (582544)
4733         * major progress was made on recovery functionality
4734
4735 2002-10-10  Phil Schwan  <phil@clusterfs.com>
4736         * version v0_5_14
4737         * bug fixes:
4738           - recovery deadlock fix
4739           - rm -rf causes LBUG fix (617817)
4740           - file open by multiple tasks fix (618962)
4741           - directory permissions bugs (602707 and 620007)
4742           - journal_stop fixed with locking (611313)
4743           - O_APPEND failures resolved (618273, perhaps 614459)
4744           - lconf PATH fix (619770)
4745           - IA64 build fix (621450)
4746           - RPC buffer sizes scale with amount of memory
4747
4748 2002-10-01  Phil Schwan  <phil@clusterfs.com>
4749         * version v0_5_13
4750         * bug fixes:
4751           - locks would be cancelled without throwing away data pages,
4752             resulting in inconsistent data (605627)
4753           - inode attributes were not always being refreshed (605627, 612449)
4754           - lconf now continues to cleanup after lctl reports an error
4755           - MDS now enforces user permissions (602707)
4756           - lprocfs cleanup fixed, but not yet enabled (614157)
4757           - fixed infinite server hang, should a client not respond to an AST
4758           - avoid going into recovery if user calls readlink() with a buffer
4759             that's too small (613941)
4760           - AST RPCs no longer require replies (614867) -- this may be changed
4761           - don't crash server if client sends an IOV that's too big (611336)
4762           - fixed lock conversion deadlock (611892)
4763           - fixed the following of symlinks (614622)
4764         * recovery: the server can remove locks from a client that dies, other
4765           clients can make progress
4766         * more extN patch fixes
4767         * compile-time configurable ptlrpc buffer allocations
4768         * documentation
4769           - collaborative read cache document
4770           - Lustre Lite Performance CDR document-in-progress
4771
4772 2002-09-20  Andreas Dilger  <adilger@clusterfs.com>
4773         * version v0_5_12
4774         * bug fix
4775           - fix typo in patch-2.4.18
4776
4777 2002-09-20  Andreas Dilger  <adilger@clusterfs.com>
4778         * version v0_5_11
4779         * bug fixes
4780           - clear ptlrpc request each time in handle_incoming_request()
4781           - unlink of files now destroys the object on the OST
4782
4783 2002-09-19  Peter Braam  <braam@clusterfs.com>
4784         * version 0_5_10
4785         * add hard link support
4786         * change obdfile creation method
4787         * kernel patch changed
4788         
4789 2002-09-19  Peter Braam  <braam@clusterfs.com>
4790         * version 0_5_9
4791         * bug fix
4792           - stack overflow bug in extN fixed
4793
4794 2002-09-18  Andreas Dilger  <adilger@clusterfs.com>
4795         * version 0_5_8
4796         * documentation updates
4797           - add man pages for config tools
4798           - update tests/README to describe testing with new config tools
4799           - finish metadata API descriptions
4800         * bug fixes and cleanups
4801           - statfs workaround for 16TB limit
4802           - LOV stripe allocation improved, can stripe on subset of OSTs
4803           - LOV file size/IO offset was wrong for files > 4GB in size
4804           - object EA data was being dropped, caused files to be unreadable
4805           - memory overflow with non-LOV OST caused memory corruption
4806           - fixed regression tests to work with new config tools, obdfilter
4807           - fixed bug when directory size became larger than 1 block
4808           - fixed bug (for single client case) when PWD was deleted
4809           - invalidate local directory pages when doing intent-based ops
4810           - avoid LDLM oops when lock callback contained bad data
4811
4812 2002-09-09  Andreas Dilger  <adilger@clusterfs.com>
4813         * version 0_5_7
4814         * documentation updates
4815         * bug fixes and cleanups
4816           - configuration tools
4817           - LOV
4818           - imports/exports
4819           - 64-bit compile warnings
4820           - 64-bit internal statfs data
4821           - many more
4822         * test_brw on persistent OST devices
4823         * MDS recovery
4824         * lprocfs (disabled)
4825
4826 2002-09-04  Andreas Dilger  <adilger@clusterfs.com>
4827         * version 0_5_6
4828         * documentation updates
4829         * bug fixes and cleanups
4830         * configuration tools
4831
4832 2002-08-30  Peter J. Braam  <braam@clusterfs.com>
4833
4834         * version v0_5_5
4835         * many small fixes to 0_5_4
4836         * io/network handling
4837         * thinkos in MDS operations
4838
4839 2002-08-24  Peter J. Braam  <braam@clusterfs.com>
4840
4841         * version v0_5_4
4842         * crucial basic fixes to 0.5.3
4843         * IOR, Iozone work over Elan
4844         * EOF locks added
4845
4846 2002-08-07  Phil Schwan  <phil@clusterfs.com>
4847         * version 0_5_3, our first alpha
4848         * we use the new Portals iovs
4849         * documentation updates
4850         * bug fixes and cleanups
4851         * small changes in the DLM wire protocol
4852
4853 2002-07-25  Peter J. Braam  <braam@clusterfs.com>
4854         * version 0_5_1 with some initial stability,
4855         * locking on MD and file I/O.
4856         * documentation updates
4857         * several bug fixes since 0.5.0
4858         * small changes in wire protocol
4859
4860 2002-07-18  Phil Schwan  <phil@clusterfs.com>
4861         * version v0_4_5
4862         * delivered as Lustre Light Alpha
4863         * fixed a crash after handling invalid MDS requests
4864         * fixed directory pages for architectures with non-4k pages sizes
4865
4866 2002-07-11  Andreas Dilger  <adilger@clusterfs.com>
4867         * release version v0_4_4
4868         * Moves TCP acceptor to be on port 2432 (unused Coda port) instead
4869           of 1234.
4870         * Fixes a number of interruption problems with OST operations.
4871         * Update documentation for portals header changes
4872         * Move all wire protocol structs/defines to lustre_idl.h
4873         * Fixes symlink length bug.
4874         * Add tcpdump to repository.
4875
4876 2002-07-05  Andreas Dilger  <adilger@clusterfs.com>
4877         * release version v0_4_3
4878         * Fixes statfs for inodes on extN.
4879         * Fixes bug in runtests which would delete /etc/hosts.
4880         * Use 64-bit object IDs wherever possible (not into VFS though)
4881           Remove ost_get_info, which is unused by lustre, and out of date.
4882
4883 2002-07-03  Peter Braam  <braam@clusterfs.com>
4884         * release version v0_4_2   Fixes a lookup error (type not passed)
4885         * move forward to head of Portals
4886         * move forward to latest Lustre kernel
4887
4888 2002-06-25  Peter Braam  <braam@clusterfs.com>
4889         * release version v0_4_1.  Hopefully stable on single node use.