Whamcloud - gitweb
Branch HEAD
[fs/lustre-release.git] / lustre / ChangeLog
1 tbd  Sun Microsystems, Inc.
2        * version 1.8.0
3        * Support for kernels:
4         2.6.9-67.0.1.EL (RHEL 4),
5         2.6.16.54-0.2.3 (SLES 10),
6         2.6.18-53.1.4.el5 (RHEL 5).
7        * Client support for unpatched kernels:
8         (see http://wiki.lustre.org/index.php?title=Patchless_Client)
9         2.6.16 - 2.6.21 vanilla (kernel.org)
10        * Recommended e2fsprogs version: 1.40.4-cfs1
11        * Note that reiserfs quotas are disabled on SLES 10 in this kernel.
12        * RHEL 4 and RHEL 5/SLES 10 clients behaves differently on 'cd' to a
13         removed cwd "./" (refer to Bugzilla 14399).
14
15 Severity   : enhancement
16 Bugzilla   : 14531
17 Description: Update to RHEL4 latest kernel-2.6.9-67.0.1.EL.
18
19 Severity   : enhancement
20 Bugzilla   : 14482
21 Description: Add rhel5 support to HEAD.
22
23 Severity   : normal
24 Bugzilla   : 13375
25 Descriptoin: make lov_create() will not stuck in obd_statfs_rqset()
26 Details    : If an OST is down the MDS will hang indefinitely in
27              obd_statfs_rqset() waiting for the statfs data. While for
28              MDS QOS usage of statfs, it should not stuck in waiting.
29
30 Severity   : enhancement
31 Bugzilla   : 14288
32 Description: Update to RHEL4 U6 kernel-2.6.9-67.EL.
33
34 Severity   : enhancement
35 Bugzilla   : 14368
36 Description: Update to RHEL5 latest kernel-2.6.18-53.1.4.el5.
37
38 Severity   : normal
39 Bugzilla   : 14136
40 Description: make mgs_setparam() handle fsname containing dash
41 Details    : fsname containing a dash does not work with lctl conf_param
42
43 Severity   : enhancement
44 Bugzilla   : 14388
45 Description: Update to SLES10 SP1 latest kernel-2.6.16.54-0.2.3.
46
47 Severity   : enhancement
48 Bugzilla   : 14289
49 Description: Update to RHEL5 Update-1 kernel 2.6.18-53.el5.
50
51 Severity   : major
52 Bugzilla   : 14260
53 Frequency  : rare, at shutdown
54 Description: access already free / zero obd_namespace.
55 Details    : if client_disconnect_export was called without force flag set,
56              and exist connect request in flight, this can produce access to
57              NULL pointer (or already free pointer) when connect_interpret 
58              store ocd flags in obd_namespace.
59
60 Severity   : minor
61 Bugzilla   : 14418
62 Frequency  : only at startup
63 Description: not alloc memory with spinlock held.
64 Details    : allocation memory with GFP_KERNEL can produce sleep deadlock,
65              if any spinlock held.
66
67 Severity   : enhancement
68 Bugzilla   : 12211
69 Description: make lustre randomly fail allocating memory
70 Details    : Make lustre randomly failed allocating memory for testing purpose.
71
72 Severity   : enhancement
73 Bugzilla   : 12702
74 Description: lost problems with lov objid file
75 Details    : Fixes some scability and access to not inited memory problems 
76              in work with lov objdid file.
77
78 Severity   : major
79 Frequency  : always
80 Bugzilla   : 14270
81 Description: lfs find does not continue on file error
82 Details    : Continue other files processing when a file/dir is absent.
83
84 Severity   : normal
85 Bugzilla   : 11791
86 Description: Inconsistent usage of lustre_pack_reply()
87 Details    : Standardize the usage of lustre_pack_reply() such that it
88              always generate a CERROR on failure.
89
90 Severity   : major
91 Frequency  : occasional
92 Bugzilla   : 13917
93 Description: MDS hang or stay in waiting lock
94 Details    : If client receive lock with CBPENDING flag ldlm need send lock
95              cancel as separate rpc, to avoid situation when cancel request
96              can't processed due all i/o threads stay in wait lock.
97
98 Severity   : normal
99 Bugzilla   : 13969
100 Description: Update to RHEL5 kernel 2.6.18-8.1.15.el5.
101
102 Severity   : normal
103 Bugzilla   : 13874
104 Description: Update to SLES10 SP1 kernel 2.6.16.53-0.16
105
106 Severity   : normal
107 Bugzilla   : 13889
108 Description: Update to SLES9 kernel-2.6.5-7.287.3.
109
110 Severity   : normal
111 Bugzilla   : 14041
112 Description: Update to RHEL4 latest kernel.
113
114 Severity   : enhancement
115 Bugzilla   : 13690
116 Description: Build SLES10 patchless client fails
117 Details    : The configure was broken by run ./configure with 
118              --with-linux-obj=.... argument for patchless client. When the
119              configure use --with-linux-obj, the LINUXINCLUDE= -Iinclude
120              can't search header adequately. Use absolute path such as 
121              -I($LINUX)/include instead. 
122
123 Severity   : normal
124 Bugzilla   : 13888
125 Description: interrupt oig_wait produce painc on resend.
126 Details    : brw_redo_request can be used for resend requests from ptlrpcd and
127              private set, and this produce situation when rq_ptlrpcd_data not
128              copyed to new allocated request and triggered LBUG on assert 
129              req->rq_ptlrpcd_data != NULL. But this member used only for wakeup
130              ptlrpcd set if request is changed and can be safety changed to use
131              rq_set directly.
132
133 Severity   : normal
134 Bugzilla   : 13497
135 Description: LASSERT_{REQ,REP}SWAB macros are buggy
136 Details    : If SWAB_PARANOIA is disabled, the LASSERT_REQSWAB and
137              LASSERT_REPSWAB macros become no-ops, which is incorrect. Drop
138              these macros and replace them with their difinitions instead.
139
140 Severity   : normal
141 Bugzilla   : 13521
142 Description: Update kernel patches for SLES10 2.6.16.53-0.8.
143 Details    : Update which_patch & target file for SLES10 latest kernel.
144
145 Bugzilla   : 12411
146 Description: Remove client patches from SLES 10 kernel.
147 Details    : This causes SLES 10 clients to behave as patchless clients
148              even on a Lustre-patched (server) kernel.
149
150 Severity   : enhancement
151 Bugzilla   : 2262
152 Description: self-adjustable client's lru lists
153 Details    : use adaptive algorithm for managing client cached locks lru 
154              lists according to current server load, other client's work
155              pattern, memory activities, etc. Both, server and client 
156              side namespaces provide number of proc tunables for controlling 
157              things
158
159 Severity   : enhancement
160 Bugzilla   : 13641
161 Description: light-weight GSS support
162 Details    : Support krb5n and krb5a mode, which keep Kerberos 5 authentication
163              and reduce performance overhead.
164
165 Severity   : enhancement
166 Bugzilla   : 11832
167 Description: Linux keyring support
168 Details    : Support using service of Linux keyring for Lustre GSS internal
169              context refresh/cache mechanism.
170
171 Severity   : normal
172 Bugzilla   : 12186
173 Description: Fix errors in lfs documentation
174 Details    : Fixes man pages
175
176 Severity   : normal
177 Bugzilla   : 12606
178 Description: don't use GFP_* in generic Lustre code.
179 Details    : Use cfs_alloc_* functions and CFS_* flags for code portability.
180
181 Severity   : normal
182 Bugzilla   : 12333
183 Description: obdclass is limited by single OBD_ALLOC(idarray)
184 Details    : replace OBD_ALLOC/OBD_FREE with OBD_VMALLOC/OBD_VFREE
185
186 Severity   : normal
187 Bugzilla   : 13006
188 Description: warnings with build patchless client with vanila 2.6.19 and up
189 Details    : change old ctl_table style and replace ctl_table/ctl_table_header
190              with cfs_sysctl_table_t/cfs_sysctl_table_header_t
191
192 Severity   : normal
193 Bugzilla   : 13177
194 Frequency  : Only for SLES
195 Description: sanity_quota fail test_1
196 Details    : There are multiple occurences of $TSTUSR in SLES's /etc/group
197              file, which makes TSTID[2] inunique.
198
199 Severity   : normal
200 Bugzilla   : 13249
201 Frequency  : Only for SLES9
202 Description: Kernel patches for SLES9 2.6.5-7.286 kernel
203 Details    : Update target/ChangeLog/which_patch .
204
205 Severity   : normal
206 Bugzilla   : 13170
207 Frequency  : Only for test_10 in sanity-quota.sh
208 Description: a bug in quota test code
209 Details    : checking a test flag in a wrong place
210
211 Severity   : normal
212 Bugzilla   : 13171
213 Frequency  : Only for test_13 in sanity-quota.sh
214 Description: a bug in quota test script
215 Details    : shouldn't check overfull allocated quota
216
217 Severity   : normal
218 Bugzilla   : 12955
219 Description: jbd statistics
220 Details    : Port older jbd statistics patch for sles10
221
222 Severity   : enhancement
223 Bugzilla   : 11721
224 Description: Add printing inode info into message about error in writepage.
225
226 Severity   : normal
227 Bugzilla   : 11974
228 Frequency  : Rare
229 Description: reply_lock_interpret crash due to race with it and lock cancel.
230 Details    : Do not replay locks that are being cancelled. Do not reference
231              locks by their address during replay, just by their handle.
232
233 Severity   : normal
234 Bugzilla   : 13103
235 Frequency  : When flocks are used.
236 Description: assertion failure in ldlm_cli_enquque_fini for non NULL lock.
237 Details    : Flock locks might destroy just granted lock if it could be merged
238              with another existing flock, this is done in completion handler,
239              so teach ldlm_cli_enquque_fini that this is a valid case for
240              flock locks.
241
242 Severity   : minor
243 Bugzilla   : 13276
244 Frequency  : rare
245 Description: Oops in read and write path when failing to allocate lock.
246 Details    : Check if lock allocation failed and return error back.
247
248 Severity   : normal 
249 Bugzilla   : 11679
250 Description: lstripe command fails for valid OST index
251 Details    : The stripe offset is compared to lov->desc.ld_tgt_count
252              instead of lov->desc.ld_active_tgt_count.
253
254 Severity   : normal
255 Bugzilla   : 12584
256 Description: sanity.sh failed test 103
257 Details    : RHEL mis-interpret setfacl "-X" param, so we won't test setfacl
258              with param "-X".
259
260 Severity   : normal
261 Bugzilla   : 12743
262 Description: df doesn't work properly if diskfs blocksize != 4K
263 Details    : Choose biggest blocksize of OST's as the LOV's blocksize.
264
265 Severity   : normal
266 Bugzilla   : 12836
267 Description: lfs find on -1 stripe looping in lsm_lmm_verify_common()
268 Details    : Avoid lov_verify_lmm_common() on directory with -1 stripe count.
269
270 Severity   : major
271 Bugzilla   : 12932
272 Description: obd_health_check_timeout too short
273 Details    : set obd_health_check_timeout as 1.5x of obd_timeout
274
275 Severity   : normal
276 Bugzilla   : 12192
277 Description: llapi_file_create() does not allow some changes
278 Details    : add llapi_file_open() that allows specifying the mode and 
279              open flags, and also returns an open file handle.
280
281 Severity   : normal
282 Bugzilla   : 11248
283 Description: merge and cleanup kernel patches.
284 Details    : Remove mnt_lustre_list in vfs_intent-2.6-rhel4.patch.
285
286 Severity   : normal
287 Bugzilla   : 10657
288 Description: Add journal checksum support.(Kernel part)
289 Details    : The journal checksum feature adds two new flags i.e 
290              JBD2_FEATURE_INCOMPAT_ASYNC_COMMIT and 
291              JBD2_FEATURE_COMPAT_CHECKSUM. JBD2_FEATURE_CHECKSUM flag 
292              indicates that the commit block contains the checksum for
293              the blocks described by the descriptor blocks. Now commit
294              record can be sent to disk without waiting for descriptor
295              blocks to be written to disk. This behavior is controlled
296              using JBD2_FEATURE_ASYNC_COMMIT flag.
297
298 Severity   : minor
299 Bugzilla   : 12446
300 Description: OSS needs mutliple precreate threads
301 Details    : Add ability to start more than one create thread per OSS.
302
303 Severity   : normal
304 Bugzilla   : 13362
305 Description: Sanity.sh test_65k failed: setstripe should have succeeded
306 Details    : execute lfs setstripe on client
307
308 Severity   : major
309 Bugzilla   : 12223
310 Description: mds_obd_create error creating tmp object
311 Details    : When the user sets quota on root, llog will be affected and can't 
312              create files and write files.
313
314 Severity   : normal
315 Frequency  : Always on ia64 patchless client, and possibly others.
316 Bugzilla   : 12826
317 Description: Add EXPORT_SYMBOL check for node_to_cpumask symbol.
318 Details    : This allows the patchless client to be loaded on architectures
319              without this export. 
320
321 Severity   : normal
322 Bugzilla   : 13039
323 Description: RedHat Update kernel for RHEL5
324 Details    : Add the kernel config file for RHEL5.
325
326 Severity   : normal
327 Bugzilla   : 13039
328 Description: RedHat Update kernel for RHEL5
329 Details    : Modify the kernel config file more closer RHEL5.
330
331 Severity   : normal
332 Bugzilla   : 13360
333 Description: Build failure against Centos5 (RHEL5)
334 Details    : Define PAGE_SIZE when it isn't present.
335
336 Severity   : minor
337 Bugzilla   : 13363
338 Description: test_7 on sanity-quota.sh can't be used on separate machines
339 Details    : add facet to handle it
340
341 Severity   : normal
342 Bugzilla   : 13030
343 Description: "ll_intent_file_open()) lock enqueue: err: -13" with nfs
344 Details    : with NFS, the anon dentry's parent was set to itself in
345              d_alloc_anon(), so in MDS, we use rec->ur_fid1 to find the
346              corresponding dentry other than use rec->ur_name.
347
348 Severity   : enhancement
349 Bugzilla   : 12786
350 Description: lfs setstripe enhancement
351 Details    : Make lfs setstripe understand 'k', 'm' and 'g' for stripe size.
352
353 Severity   : normal
354 Bugzilla   : 12398
355 Description: enable data checksumming by default
356 Details    : enable checksum by default, allow --disable-checksum
357              configure option and "-o nochecksum" mount option.  Checksums
358              can also be disabled at runtime via $LPROC/osc/*/checksum_pages.
359
360 Severity   : normal
361 Bugzilla   : 11802
362 Description: lustre support for RHEL5
363 Details    : Add support for RHEL5.
364
365 Severity   : normal
366 Bugzilla   : 12459
367 Description: Client eviction due to failover config
368 Details    : after a connection loss, the lustre client should attempt to
369              reconnect to the last active server first before trying the
370              other potential connections.
371
372 Severity   : minor
373 Bugzilla   : 12588
374 Description: when mds and osts use different quota unit(32bit and 64bit),
375              quota will be released repeatly.
376 Details    : void sending multiple quota reqs to mds, which will keep the
377              status between the reqs.
378
379 Severity   : normal 
380 Bugzilla   : 13125
381 Description: osts not allocated evenly to files
382 Details    : change the condition to increase offset_idx 
383
384 Severity   : critical
385 Frequency  : Always for filesystems larger than 2TB on 32-bit systems.
386 Bugzilla   : 13547
387 Description: Data corruption for OSTs that are formatted larger than 2TB
388              on 32-bit servers.
389 Details    : When generating the bio request for lustre file writes the
390              sector number would overflow a temporary variable before being
391              used for the IO.  The data reads correctly from Lustre (which
392              will overflow in a similar manner) but other file data or
393              filesystem metadata may be corrupted in some cases.
394
395 Severity   : normal
396 Bugzilla   : 11230
397 Description: Tune the kernel for good SCSI performance. 
398 Details    : Set the value of /sys/block/{dev}/queue/max_sectors_kb
399              to the value of /sys/block/{dev}/queue/max_hw_sectors_kb
400              in mount_lustre.
401
402 Severity   : cleanup
403 Bugzilla   : 13532
404 Description: rewrite ext2-derived code in obdclass/uuid.c
405 Details    : rewrite inherited code (uuid parsing code from ext2 utils)
406              from scratch preserving functionality.
407
408 Severity   : normal
409 Bugzilla   : 13600
410 Description: "lfs find -obd UUID" prints directories
411 Details    : "lfs find -obd UUID" will return all directory names instead
412              of just file names. It is incorrect because the directories
413              do not reside on the OSTs.
414
415 Severity   : minor
416 Bugzilla   : 2369
417 Description: use i_size_read and i_size_write in 2.6 port
418 Details    : replace inode->i_size access with i_size_read/write()
419
420 Severity   : normal
421 Frequency  : when removing large files
422 Bugzilla   : 13181
423 Description: scheduling issue during removal of large Lustre files
424 Details    : Don't take the BKL in fsfilt_ext3_setattr() for 2.6 kernels.
425              It causes scheduling issues when removing large files (17TB in the
426              present case).
427
428 Severity   : normal
429 Frequency  : only with liblustre clients on XT3
430 Bugzilla   : 12418
431 Description: evictions taking too long
432 Details    : allow llrd to evict clients directly on OSTs
433
434 Severity   : normal
435 Frequency  : only on ppc
436 Bugzilla   : 12234
437 Description: /proc/fs/lustre/devices broken on ppc
438 Details    : The patch as applied to 1.6.2 doesn't look correct for all arches.
439              We should make sure the type of 'index' is loff_t and then cast 
440              explicitly as needed below.  Do not assign an explicitly cast 
441              loff_t to an int.
442
443 Severity   : normal
444 Frequency  : only for rhel5
445 Bugzilla   : 13616
446 Description: Kernel patches update for RHEL5 2.6.18-8.1.10.el5.
447 Details    : Modify the target file & which_kernel.
448
449 Severity   : enhancement
450 Bugzilla   : 10786
451 Description: omit set fsid for export NFS
452 Details    : fix set/restore device id for avoid EMFILE error and mark lustre fs
453              as FS_REQUIRES_DEV for avoid problems with generate fsid.
454
455 Severity   : normal
456 Bugzilla   : 13304
457 Frequency  : Always, for kernels after 2.6.16
458 Description: Fix warning idr_remove called for id=.. which is not allocated.
459 Details    : Last kernels save old s_dev before kill super and not allow 
460              to restore from callback - restore it before call kill_anon_super.
461
462 Severity   : minor
463 Bugzilla   : 12948
464 Description: buffer overruns could theoretically occur
465 Details    : llapi_semantic_traverse() modifies the "path" argument by
466              appending values to the end of the origin string, and a 
467              overrun may occur. Adding buffer overrun check in liblustreapi.
468
469 Severity   : normal
470 Bugzilla   : 13334
471 Description: Fix error on 'ls .' at the top of the Lustre mount.
472 Details    : Don't revalidate dentry if it is a root dentry.
473
474 Severity   : normal
475 Bugzilla   : 13518
476 Description: Kernel patches update for RHEL4 2.6.9-55.0.6.
477 Details    : Modify vm-tunables-rhel4.patch.
478
479 Severity   : normal
480 Bugzilla   : 13452
481 Description: Kernel config for 2.6.18-vanilla.
482 Details    : Modify targets/2.6-vanilla.target.in.
483              Add config file kernel-2.6.18-2.6-vanilla-i686.config.
484              Add config file kernel-2.6.18-2.6-vanilla-i686-smp.config.
485              Add config file kernel-2.6.18-2.6-vanilla-x86_64.config.
486              Add config file kernel-2.6.18-2.6-vanilla-x86_64-smp.config.
487
488 Severity   : major
489 Bugzilla   : 11710
490 Description: improve handling recoverable errors
491 Details    : if request processig with error which can be recoverable on server
492              request should be resend, otherwise page released from cache and
493              marked as error.
494
495 Severity   : critical
496 Bugzilla   : 13751
497 Description: Kernel patches update for RHEL5 2.6.18-8.1.14.el5.
498 Details    : Modify target file & which_patch.
499              A flaw was found in the IA32 system call emulation provided 
500              on AMD64 and Intel 64 platforms. An improperly validated 64-bit 
501              value could be stored in the %RAX register, which could trigger an 
502              out-of-bounds system call table access. An untrusted local user 
503              could exploit this flaw to run code in the kernel 
504              (ie a root privilege escalation). (CVE-2007-4573). 
505
506 Severity   : major
507 Bugzilla   : 13093
508 Description: O_DIRECT bypasses client statistics.
509 Details    : When running with O_DIRECT I/O, neither the client rpc_stats nor
510              read_ahead_stats were updated. copied the stats section from
511              osc_send_oap_rpc() into async_internal().
512
513 Severity   : normal
514 Bugzilla   : 13454
515 Description: Add jbd statistics patch for RHEL5 and 2.6.18-vanilla
516
517 Severity   : minor
518 Bugzilla   : 13732 
519 Description: change order of libsysio includes
520 Details    : '#include sysio.h' should always come before '#include xtio.h'
521
522 Severity   : normal
523 Bugzilla   : 11673
524 Description: handle "serious error: objid * already exists" more gracefully
525 Details    : If LAST_ID value on disk is smaller than the objects existing in
526              the O/0/d* directories, it indicates disk corruption and causes an
527              LBUG(). If the object is 0-length, then we should use the existing
528              object. This will help to avoid a full fsck in most cases.
529
530 Severity   : enhancement
531 Bugzilla   : 13207
532 Description: adapt the lustre_config script to support the upgrade case
533 Details    : Add "-u" option for lustre_config script to support upgrading 1.4
534              server targets to 1.6 in parallel.
535
536 Severity   : normal
537 Bugzilla   : 13570
538 Description: To avoid grant space > avaible space when the disk is almost
539              full. Without this patch you might see the error "grant XXXX >
540              available" or some LBUG about grant, when the disk is almost 
541              full.
542 Details    : In filter_check_grant, for non_grant cache write, we should
543              check the left space by  if (*left > ungranted + bytes), instead
544              of (*left > ungranted), because only we are sure the left space 
545              is enough for another "bytes", then the ungrant space should be
546              increase. In client, we should update cl_avail_grant only there
547              is OBD_MD_FLGRANT in the reply.
548
549 Severity   : critical
550 Bugzilla   : 13748
551 Description: Update RHEL 4 kernel to fix local root privilege escalation.
552 Details    : Update to the latest RHEL 4 kernel to fix the vulnerability
553              described in CVE-2007-4573.  This problem could allow untrusted
554              local users to gain root access.
555
556 Severity   : normal
557 Frequency  : when using O_DIRECT and quotas
558 Bugzilla   : 13930
559 Description: Incorrect file ownership on O_DIRECT output files
560 Details    : block usage reported by 'lfs quota' does not take into account
561              files that have been written with O_DIRECT.
562
563 Severity   : normal
564 Frequency  : always
565 Bugzilla   : 13976
566 Description: touch file failed when fs is not full
567 Details    : OST in recovery should not be discarded by MDS in alloc_qos(),
568              otherwise we can get ENOSP while fs is not full.
569
570 Severity   : normal
571 Bugzilla   : 11301
572 Description: parallel lock callbacks
573 Details    : Instead of sending blocking and completion callbacks as separated
574              requests, adding them to a set and sending in parallel.
575
576 Severity   : normal
577 Frequency  : only for Cray XT3
578 Bugzilla   : 12829/13455
579 Description: Changing primary group doesn't change the group lustre assigns to
580              a file
581 Details    : When CRAY_XT3 is defined, the fsgid supplied by the client is
582              overridden with the primary group provided by the group upcall,
583              whereas the supplied fsgid can be trusted if it is in the list of
584              supplementary groups returned by the group upcall.
585
586 Severity   : enhancement
587 Bugzilla   : 14398
588 Description: Allow masking D_WARNING, D_ERROR messages from console
589 Details    : Console messages can now be disabled via lnet.printk.
590
591 Severity   : normal
592 Bugzilla   : 14614
593 Description: User code with malformed file open parameter crashes client node 
594 Details    : Before packing join_file req, all the related reference should be
595              checked carefully in case some malformed flags cause fake
596              join_file req on client.
597
598 --------------------------------------------------------------------------------
599
600 2007-08-10         Cluster File Systems, Inc. <info@clusterfs.com>
601        * version 1.6.1
602        * Support for kernels:
603         2.6.5-7.283 (SLES 9),
604         2.6.9-55.EL (RHEL 4),
605         2.6.16.46-0.14 (SLES 10),
606         2.6.18.8 vanilla (kernel.org)
607        * Client support for unpatched kernels:
608         (see http://wiki.lustre.org/index.php?title=Patchless_Client)
609         2.6.16 - 2.6.22 vanilla (kernel.org)
610        * Due to recently discovered recovery problems, we do not recommend
611         using patchless RHEL 4 clients with this or any earlier release.
612        * Recommended e2fsprogs version: 1.39.cfs8
613        * Note that reiserfs quotas are disabled on SLES 10 in this kernel.
614        * Starting with this release, the ldiskfs backing filesystem required
615         by Lustre is now in its own package, lustre-ldiskfs.  This package
616         should be installed.  It is versioned separately from Lustre and
617         may be released separately in future.
618
619 Severity   : minor
620 Bugzilla   : 13147
621 Description: block reactivating mgc import until all deactivates complete
622 Details    : Fix race when failing back MDT/MGS to itself (testing)
623
624 Severity   : minor
625 Frequency  : at statup only
626 Bugzilla   : 12860
627 Description: mds_lov_synchronize race leads to various problems
628 Details    : simultaneous MDT->OST connections at startup can cause the 
629              sync to abort, leaving the OSC in a bad state.
630
631 Severity   : enhancement
632 Bugzilla   : 12194
633 Description: add optional extra BUILD_VERSION info
634 Details    : add a new environment variable (namely LUSTRE_VERS) which allows
635              to override the lustre version.
636
637 Severity   : normal
638 Frequency  : 2.6.18 servers only
639 Bugzilla   : 12546
640 Description: ll_kern_mount() doesn't release the module reference
641 Details    : The ldiskfs module reference count never drops down to 0
642              because ll_kern_mount() doesn't release the module reference.
643
644 Severity   : normal
645 Frequency  : rare
646 Bugzilla   : 12470
647 Description: server LBUG when using old ost_num_threads parameter
648 Details    : Accept the old ost_num_threads parameter but warn that it
649              is deprecated, and fix an off-by-one error that caused an LBUG.
650
651 Severity   : normal
652 Frequency  : rare
653 Bugzilla   : 11722
654 Description: Transient SCSI error results in persistent IO issue
655 Details    : iobuf->dr_error is not reinitialized to 0 between two
656              uses.
657
658 Severity   : normal
659 Frequency  : sometimes when underlying device returns I/O errors
660 Bugzilla   : 11743
661 Description: OSTs not going read-only during write failures
662 Details    : OSTs are not remounted read-only when the journal commit threads
663              get I/O errors because fsfilt_ext3 calls journal_start/stop()
664              instead of the ext3 wrappers.
665
666 Severity   : minor
667 Bugzilla   : 12364
668 Description: poor connect scaling with increasing client count
669 Details    : Don't run filter_grant_sanity_check for more than 100 exports
670              to improve scaling for large numbers of clients.
671
672 Severity   : normal
673 Frequency  : SLES10 only
674 Bugzilla   : 12538
675 Description: sanity-quota.sh quotacheck failed: rc = -22
676 Details    : Quotas cannot be enabled on SLES10.
677
678 Severity   : normal
679 Frequency  : liblustre clients only
680 Bugzilla   : 12229
681 Description: getdirentries does not give error when run on compute nodes
682 Details    : getdirentries does not fail when the size specified as an argument
683              is too small to contain at least one entry
684
685 Severity   : enhancement
686 Bugzilla   : 11548
687 Description: Add LNET router traceability for debug purposes
688 Details    : If a checksum failure occurs with a router as part of the
689              IO path, the NID of the last router that forwarded the bulk data
690              is printed so it can be identified.
691
692 Severity   : normal
693 Frequency  : rare
694 Bugzilla   : 11315
695 Description: OST "spontaneously" evicts client; client has imp_pingable == 0
696 Details    : Due to a race condition, liblustre clients were occasionally
697              evicted incorrectly.
698
699 Severity   : enhancement
700 Bugzilla   : 10997
701 Description: lfs setstripe use optional parameters instead of postional
702              parameters.
703
704 Severity   : enhancement
705 Bugzilla   : 10651
706 Description: Nanosecond timestamp support for ldiskfs
707 Details    : The on-disk ldiskfs filesystem has added support for nanosecond
708              resolution timestamps.  There is not yet support for this at
709              the Lustre filesystem level.
710
711 Severity   : normal
712 Frequency  : during server recovery
713 Bugzilla   : 11203
714 Description: MDS failing to send precreate requests due to OSCC_FLAG_RECOVERING
715 Details    : request with rq_no_resend flag not awake l_wait_event if they get a
716              timeout.
717
718 Severity   : minor
719 Frequency  : nfs export on patchless client
720 Bugzilla   : 11970
721 Description: connectathon hang when test nfs export over patchless client
722 Details    : Disconnected dentry cannot be found with lookup, so we do not need
723              to unhash it or make it invalid
724
725 Bugzilla   : 11757
726 Description: fix llapi_lov_get_uuids() to allow many OSTs to be returned
727 Details:   : Change llapi_lov_get_uuids() to read the UUIDs from /proc instead
728              of using an ioctl. This allows lfsck for > 160 OSTs to succeed.
729
730 Severity   : minor
731 Frequency  : rare
732 Bugzilla   : 11546
733 Description: open req refcounting wrong on reconnect
734 Details    : If reconnect happened between getting open reply from server and
735              call to mdc_set_replay_data in ll_file_open, we will schedule
736              replay for unreferenced request that we are about to free.
737              Subsequent close will crash in variety of ways.
738              Check that request is still eligible for replay in
739              mdc_set_replay_data().
740
741 Severity   : minor
742 Frequency  : rare
743 Bugzilla   : 11512
744 Description: disable writes to filesystem when reading health_check file
745 Details    : the default for reading the health_check proc file has changed
746              to NOT do a journal transaction and write to disk, because this
747              can cause reads of the /proc file to hang and block HA state
748              checking on a healthy but otherwise heavily loaded system.  It
749              is possible to return to the previous behaviour during configure
750              with --enable-health-write.
751
752 Severity   : enhancement
753 Bugzilla   : 10768
754 Description: 64-bit inode version
755 Details:   : Add a on-disk 64-bit inode version for ext3 to track changes made
756              to the inode. This will be required for version-based recovery.
757
758 Severity   : normal
759 Frequency  : rare
760 Bugzilla   : 11818
761 Description: MDS fails to start if a duplicate client export is detected
762 Details    : in some rare cases it was possible for a client to connect to
763              an MDS multiple times.  Upon recovery the MDS would detect this
764              and fail during startup.  Handle this more gracefully.
765
766 Severity   : enhancement
767 Bugzilla   : 11563
768 Description: Add -o localflock option to simulate  old noflock
769 behaviour.
770 Details    : This will achieve local-only flock/fcntl locks
771              coherentness.
772
773 Severity   : minor
774 Frequency  : rare
775 Bugzilla   : 11658
776 Description: log_commit_thread vs filter_destroy race leads to crash
777 Details    : Take import reference before releasing llog record semaphore
778
779 Severity   : normal
780 Frequency  : rare
781 Bugzilla   : 12477
782 Description: Wrong request locking in request set processing
783 Details    : ptlrpc_check_set wrongly uses req->rq_lock for proctect add to
784              imp_delayed_list, in this place should be used imp_lock.
785
786 Severity   : normal
787 Frequency  : when reconnection
788 Bugzilla   : 11662
789 Description: Grant Leak when osc reconnect to OST
790 Details    : When osc reconnect ost, OST(filter) should check whether it
791              should grant more space to client by comparing fed_grant and
792              cl_avail_grant, and return the granted space to client instead
793              of "new granted" space, because client will call osc_init_grant
794              to update the client grant space info.
795
796 Severity   : normal
797 Frequency  : when client reconnect to OST 
798 Bugzilla   : 11662
799 Description: Grant Leak when osc do resend and replay bulk write
800 Details    : When osc reconnect to OST, OST(filter)should clear grant info of
801              bulk write request, because the grant info while be sync between
802              OSC and OST when reconnect, and we should ignore the grant info
803              these of resend/replay write req.
804
805 Severity   : normal
806 Frequency  : rare 
807 Bugzilla   : 11662
808 Description: Grant space more than avaiable left space sometimes.
809 Details    : When then OST is about to be full, if two bulk writing from
810              different clients came to OST. Accord the avaliable space of the
811              OST, the first req should be permitted, and the second one
812              should be denied by ENOSPC. But if the seconde arrived before 
813              the first one is commited. The OST might wrongly permit second
814              writing, which will cause grant space > avaiable space.
815
816 Severity   : normal
817 Frequency  : when client is evicted 
818 Bugzilla   : 12371
819 Description: Grant might be wrongly erased when osc is evicted by OST
820 Details    : when the import is evicted by server, it will fork another 
821              thread ptlrpc_invalidate_import_thread to invalidate the 
822              import, where the grant will be set to 0.  While the original 
823              thread will update the grant it got when connecting. So if 
824              the former happened latter, the grant will be wrongly errased 
825              because of this race.
826
827 Severity   : normal
828 Frequency  : rare 
829 Bugzilla   : 12401
830 Description: Checking Stale with correct fid 
831 Details    : ll_revalidate_it should uses de_inode instead of op_data.fid2 
832              to check whether it is stale, because sometimes, we want the 
833              enqueue happened anyway, and op_data.fid2 will not be initialized.
834
835 Severity   : enhancement
836 Bugzilla   : 11647
837 Description: update patchless client
838 Details    : Add support for patchless client with 2.6.20, 2.6.21 and RHEL 5
839
840 Severity   : normal
841 Frequency  : only with 2.4 kernel
842 Bugzilla   : 12134
843 Description: random memory corruption
844 Details    : size of struct ll_inode_info is to big for union inode.u and this
845              can be cause of random memory corruption.
846
847 Severity   : normal
848 Frequency  : rare 
849 Bugzilla   : 10818
850 Description: Memory leak in recovery
851 Details    : Lov_mds_md was not free in an error handler in mds_create_object.
852              It should also check obd_fail before fsfilt_start, otherwise if 
853              fsfilt_start return -EROFS,(failover mds during mds recovery).
854              then the req will return with repmsg->transno = 0 and rc = EROFS. 
855              and we met hit the assert LASSERT(req->rq_reqmsg->transno ==
856              req->rq_repmsg->transno) in ptlrpc_replay_interpret.  Fcc should 
857              be freed no matter whether fsfilt_commit success or not.
858
859 Severity   : minor
860 Frequency  : only with huge count clients
861 Bugzilla   : 11817
862 Description: Prevents from taking the superblock lock in llap_from_page for 
863              a soon died page.
864 Details    : using LL_ORIGIN_REMOVEPAGE origin flag instead of LL_ORIGIN_UNKNOW 
865              for llap_from_page call in ll_removepage prevents from taking the 
866              superblock lock for a soon died page.
867
868 Severity   : normal
869 Frequency  : rare
870 Bugzilla   : 11935 
871 Description: Not check open intent error before release open handle
872 Details    : in some rare cases, the open intent error is not checked before
873              release open handle, which may cause
874              ASSERTION(open_req->rq_transno != 0), because it tries to release
875              the failed open handle.
876
877 Severity   : normal
878 Frequency  : rare
879 Bugzilla   : 12556 
880 Description: Set cat log bitmap only after create log success. 
881 Details    : in some rare cases, the cat log bitmap is set too early. and it 
882              should be set only after create log success.
883
884 Severity   : major
885 Bugzilla   : 11971
886 Description: Accessing a block bevice can re-enable I/O when Lustre is
887              tearing down a device.
888 Details    : dev_clear_rdonly(bdev) must be called in kill_bdev() instead of
889              blkdev_put().
890
891 Severity   : minor
892 Bugzilla   : 11706
893 Description: service threads may hog cpus when there are a lot of requests
894 Details    : Insert cond_resched to give other threads a chance to use some CPU
895
896 Severity   : normal
897 Frequency  : rare
898 Bugzilla   : 12086 
899 Description: the cat log was not initialized in recovery 
900 Details    : When mds(mgs) do recovery, the tgt_count might be zero, so the
901              unlink log on mds will not be initialized until mds post
902              recovery. And also in mds post recovery, the unlink log will 
903              initialization will be done asynchronausly, so there will be race
904              between add unlink log and unlink log initialization.
905
906 Severity   : normal
907 Bugzilla   : 12597
908 Description: brw_stats were being printed incorrectly
909 Details    : brw_stats were being printed as log2 but all of them were not
910              recorded as log2. Also remove some code duplication arising from
911              filter_tally_{read,write}.
912
913 Severity   : normal
914 Bugzilla   : 11674
915 Frequency  : rare, only in recovery.
916 Description: ASSERTION(req->rq_type != LI_POISON) failed
917 Details    : imp_lock should be held while iterating over imp_sending_list for
918              prevent destroy request after get timeout in ptlrpc_queue_wait.
919
920 Severity   : normal
921 Bugzilla   : 12689
922 Description: replay-single.sh test 52 fails
923 Details    : A lock's skiplist need to be cleanup when it being unlinked 
924              from its resource list.
925
926 Severity   : normal
927 Bugzilla   : 11737
928 Description: Short directio read returns full requested size rather than
929              actual amount read.
930 Details    : Direct I/O operations should return actual amount of bytes
931              transferred rather than requested size.
932
933 Severity   : enhancement
934 Bugzilla   : 10589
935 Description: metadata RPC reduction (e.g. for rm performance)
936 Details    : decrease the amount of synchronous RPC between clients and servers
937              by canceling conflicing lock before the operation on the client
938              and packing thier handles into the main operation RPC to server.
939
940 Severity   : enhancement
941 Bugzilla   : 4900
942 Description: Async OSC create to avoid the blocking unnecessarily.
943 Details    : If a OST has no remain object, system will block on the creating
944             when need to create a new object on this OST. Now, ways use
945             pre-created objects when available, instead of blocking on an
946             empty osc while others are not empty.  If we must block, we block
947             for the shortest possible period of time.
948
949 Severity   : enhancement
950 Bugzilla   : 12702
951 Description: refine locking for avoid write wrong info into lov_objid file
952 Details    : fix possible races with add new target and write/update data in 
953              lov_objid file.
954
955 --------------------------------------------------------------------------------
956
957 2007-05-03  Cluster File Systems, Inc. <info@clusterfs.com>
958        * version 1.6.0.1
959        * bug fixes
960
961 Severity   : normal
962 Frequency  : on some architectures
963 Bugzilla   : 12404
964 Description: 1.6 client sometimes fails to mount from a 1.4 MDT
965 Details    : Uninitialized flags sometimes cause configuration commands to
966              be skipped.
967
968 Severity   : normal
969 Frequency  : patchless clients only
970 Bugzilla   : 12391
971 Description: missing __iget() symbol export
972 Details    : The __iget() symbol export is missing.  To avoid the need for
973              this on patchless clients the deathrow inode reaper is turned
974              off, and we depend on the VM to clean up old inodes.  This
975              dependency was during via the fix for bug 12181.
976         
977 --------------------------------------------------------------------------------
978
979 2007-04-19  Cluster File Systems, Inc. <info@clusterfs.com>
980        * version 1.6.0
981        * CONFIGURATION CHANGE.  This version of Lustre WILL NOT
982          INTEROPERATE with older versions automatically.  In many cases a
983          special upgrade step is needed. Please read the
984          user documentation before upgrading any part of a live system.
985        * WIRE PROTOCOL CHANGE from previous 1.6 beta versions.  This
986          version will not interoperate with 1.6 betas before beta5 (1.5.95).  
987        * WARNING: Lustre configuration and startup changes are required with
988          this release.  See https://mail.clusterfs.com/wikis/lustre/MountConf
989          for details.
990        * bug fixes
991
992
993
994 Severity   : enhancement
995 Bugzilla   : 8007
996 Description: MountConf
997 Details    : Lustre configuration is now managed via mkfs and mount
998              commands instead of lmc and lconf.  New obd types (MGS, MGC)
999              are added for dynamic configuration management.  See
1000              https://mail.clusterfs.com/wikis/lustre/MountConf for
1001              details.
1002
1003 Severity   : enhancement
1004 Bugzilla   : 4482
1005 Description: dynamic OST addition
1006 Details    : OSTs can now be added to a live filesystem
1007
1008 Severity   : enhancement
1009 Bugzilla   : 9851
1010 Description: startup order invariance
1011 Details    : MDTs and OSTs can be started in any order.  Clients only
1012              require the MDT to complete startup.
1013         
1014 Severity   : enhancement
1015 Bugzilla   : 4899
1016 Description: parallel, asynchronous orphan cleanup
1017 Details    : orphan cleanup is now performed in separate threads for each
1018              OST, allowing parallel non-blocking operation.
1019
1020 Severity   : enhancement
1021 Bugzilla   : 9862
1022 Description: optimized stripe assignment
1023 Details    : stripe assignments are now made based on ost space available,
1024              ost previous usage, and OSS previous usage, in order to try
1025              to optimize storage space and networking resources. 
1026         
1027 Severity   : enhancement
1028 Bugzilla   : 4226
1029 Description: Permanently set tunables
1030 Details    : All writable /proc/fs/lustre tunables can now be permanently
1031              set on a per-server basis, at mkfs time or on a live system.
1032         
1033 Severity   : enhancement
1034 Bugzilla   : 10547
1035 Description: Lustre message v2
1036 Details    : Add lustre message format v2.
1037
1038 Severity   : enhancement
1039 Bugzilla   : 9866
1040 Description: client OST exclusion list
1041 Details    : Clients can be started with a list of OSTs that should be
1042              declared "inactive" for known non-responsive OSTs.
1043
1044 Severity   : minor
1045 Bugzilla   : 6062
1046 Description: SPEC SFS validation failure on NFS v2 over lustre.
1047 Details    : Changes the blocksize for regular files to be 2x RPC size,
1048              and not depend on stripe size.
1049         
1050 Severity   : enhancement
1051 Bugzilla   : 9293
1052 Description: Multiple MD RPCs in flight.
1053 Details    : Further unserialise some read-only MDS RPCs - learn about intents.
1054              To avoid overly-overloading MDS, introduce a limit on number of
1055              MDS RPCs in flight for a single client and add /proc controls
1056              to adjust this limit.
1057
1058 Severity   : enhancement
1059 Bugzilla   : 22484
1060 Description: client read/write statistics
1061 Details    : Add client read/write call usage stats for performance
1062              analysis of user processes. 
1063              /proc/fs/lustre/llite/*/offset_stats shows non-sequential
1064              file access. extents_stats shows chunk size distribution.
1065              extents_stats_per_process show chunk size distribution per
1066              user process. 
1067
1068 Severity   : enhancement
1069 Bugzilla   : 22486
1070 Description: mds statistics
1071 Details    : Add detailed mds operations statistics in  
1072              /proc/fs/lustre/mds/*/stats.
1073
1074 Severity   : minor
1075 Bugzilla   : 10667
1076 Description: Failure of copying files with lustre special EAs.
1077 Details    : Client side always return success for setxattr call for lustre
1078              special xattr (currently only "trusted.lov").
1079
1080 Severity   : minor
1081 Frequency  : always
1082 Bugzilla   : 10345
1083 Description: Refcount LNET uuids
1084 Details    : The global LNET uuid list grew linearly with every startup;
1085              refcount repeated list entries instead of always adding to
1086              the list.
1087
1088 Severity   : enhancement
1089 Bugzilla   : 2258
1090 Description: Dynamic service threads
1091 Details    : Within a small range, start extra service threads
1092              automatically when the request queue builds up.
1093
1094 Severity   : major
1095 Frequency  : mixed-endian client/server environments
1096 Bugzilla   : 11214
1097 Description: mixed-endian crashes
1098 Details    : The new msg_v2 system had some failures in mixed-endian
1099              environments.
1100
1101 Severity   : enhancement
1102 Bugzilla   : 11229
1103 Description: Easy OST removal
1104 Details    : OSTs can be permanently deactivated with e.g. 'lctl
1105              conf_param lustre-OST0001.osc.active=0'
1106
1107 Severity   : enhancement
1108 Bugzilla   : 11335
1109 Description: MGS proc entries
1110 Details    : Added basic proc entries for the MGS showing what filesystems
1111              are served.
1112
1113 Severity   : enhancement
1114 Bugzilla   : 10998
1115 Description: provide MGS failover
1116 Details    : Added config lock reacquisition after MGS server failover.
1117
1118 Severity   : enhancement
1119 Bugzilla   : 11461
1120 Description: add Linux 2.4 support
1121 Details    : Added support for RHEL 2.4.21 kernel for 1.6 servers and clients
1122
1123 Severity   : normal
1124 Bugzilla   : 11330
1125 Description: a large application tries to do I/O to the same resource and dies
1126              in the middle of it.
1127 Details    : Check the req->rq_arrival time after the call to
1128              ost_brw_lock_get(), but before we do anything about
1129              processing it & sending the BULK transfer request. This
1130              should help move old stale pending locks off the queue as
1131              quickly as obd_timeout.
1132
1133 Severity   : major
1134 Frequency  : when an incorrect nid is specified during startup
1135 Bugzilla   : 10734
1136 Description: ptlrpc connect to non-existant node causes kernel crash
1137 Details    : LNET can't be re-entered from an event callback, which
1138              happened when we expire a message after the export has been
1139              cleaned up.  Instead, hand the zombie cleanup off to another
1140              thread.
1141
1142 Severity   : enhancement
1143 Bugzilla   : 10902
1144 Description: plain/inodebits lock performance improvement
1145 Details    : Grouping plain/inodebits in granted list by their request modes
1146              and bits policy, thus improving the performance of search through
1147              the granted list.
1148
1149 Severity   : major
1150 Frequency  : only if OST filesystem is corrupted
1151 Bugzilla   : 9829
1152 Description: client incorrectly hits assertion in ptlrpc_replay_req()
1153 Details    : for a short time RPCs with bulk IO are in the replay list,
1154              but replay of bulk IOs is unimplemented.  If the OST filesystem
1155              is corrupted due to disk cache incoherency and then replay is
1156              started it is possible to trip an assertion.  Avoid putting
1157              committed RPCs into the replay list at all to avoid this issue.
1158
1159 Severity   : major
1160 Frequency  : liblustre (e.g. catamount) on a large cluster with >= 8 OSTs/OSS
1161 Bugzilla   : 11684
1162 Description: System hang on startup
1163 Details    : This bug allowed the liblustre (e.g. catamount) client to
1164              return to the app before handling all startup RPCs.  This
1165              could leave the node unresponsive to lustre network traffic
1166              and manifested as a server ptllnd timeout.
1167
1168 Severity   : enhancement
1169 Bugzilla   : 11667
1170 Description: Add "/proc/sys/lustre/debug_peer_on_timeout"
1171 Details    : liblustre envirable: LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT
1172              boolean to control whether to print peer debug info when a
1173              client's RPC times out.
1174
1175 Severity   : minor
1176 Frequency  : only for kernels with patches from Lustre below 1.4.3
1177 Bugzilla   : 11248
1178 Description: Remove old rdonly API
1179 Details    : Remove old rdonly API which unused from at least lustre 1.4.3
1180
1181 Severity   : major
1182 Frequency  : only for devices with external journals
1183 Bugzilla   : 10719
1184 Description: Set external device read-only also
1185 Details    : During a commanded failover stop, we set the disk device
1186              read-only while the server shuts down. We now also set any
1187              external journal device read-only at the same time.
1188
1189 Severity   : minor
1190 Frequency  : when upgrading from 1.4 while trying to change parameters
1191 Bugzilla   : 11692
1192 Description: The wrong (new) MDC name was used when setting parameters for
1193              upgraded MDT's.  Also allows changing of OSC (and MDC)
1194              parameters if --writeconf is specified at tunefs upgrade time.
1195
1196 Severity   : major
1197 Frequency  : when setting specific ost indicies
1198 Bugzilla   : 11149
1199 Description: QOS code breaks on skipped indicies
1200 Details    : Add checks for missing OST indicies in the QOS code, so OSTs
1201              created with --index need not be sequential.
1202
1203 Severity   : enhancement
1204 Bugzilla   : 11264
1205 Description: Add uninit_groups feature to ldiskfs2 to speed up e2fsck
1206 Details    : The uninit_groups feature works in conjunction with the kernel
1207              filesystem code (ldiskfs2 only) and e2fsprogs-1.39-cfs6 to speed
1208              up the pass1 processing of e2fsck.  This is a read-only feature
1209              in ldiskfs2 only, so older kernels and current ldiskfs cannot
1210              mount filesystems that have had this feature enabled.
1211
1212 Severity   : enhancement
1213 Bugzilla   : 10816
1214 Description: Improve multi-block allocation algorithm to avoid fragmentation
1215 Details    : The mballoc3 code (ldiskfs2 only) adds new mechanisms to improve
1216              allocation locality and avoid filesystem fragmentation.
1217
1218 ------------------------------------------------------------------------------
1219
1220 2007-04-01  Cluster File Systems, Inc. <info@clusterfs.com>
1221        * version 1.4.10
1222        * Support for kernels:
1223         2.4.21-47.0.1.EL (RHEL 3)
1224         2.6.5-7.283 (SLES 9)
1225         2.6.9-42.0.10.EL (RHEL 4)
1226         2.6.12.6 vanilla (kernel.org)
1227         2.6.16.27-0.9 (SLES 10)
1228        * Recommended e2fsprogs version: 1.39.cfs5
1229
1230        * Note that reiserfs quotas are disabled on SLES 10 in this kernel
1231        * bug fixes
1232
1233 Severity   : critical
1234 Frequency  : occasional, depends on client load and configuration
1235 Bugzilla   : 12181, 12203
1236 Description: data loss for recently-modified files
1237 Introduced : 1.4.6
1238 Details    : In some cases it is possible that recently written or created
1239              files may not be written to disk in a timely manner (this should
1240              normally be within 30s unless client IO load is very high).
1241              The problem appears as zero-length files or files that are a
1242              multiple of 1MB in size after a client crash or client eviction
1243              that are missing data at the end of the file.
1244
1245              This problem is more likely to be hit on clients where files are
1246              repeatedly created and unlinked in the same directory, clients
1247              have a large amount of RAM, have many CPUs, the filesystem has
1248              many OSTs, the clients are rebooted frequently, and/or the files
1249              are not accessed by other nodes after being written.
1250
1251              The presence of the problem can be detected by looking at
1252              /proc/sys/fs/inode-state.  If the first number (nr_inodes) is
1253              smaller than the second (nr_unused) then dirty files will not
1254              be flushed automatically to disk.  "sync; sleep 10" should be
1255              run several times on the node before unmounting it to update
1256              Lustre (this is also safe to run on nodes without this problem).
1257
1258              There is also a related kernel bug in the RHEL4 4 2.6.9 kernel
1259              that can cause this same problem, so customers using that kernel
1260              also need to update the kernel in addition to Lustre.  In order
1261              to properly fix this bug, the RHEL3 2.4.21 kernel is also updated.
1262
1263              It is normal that files written just before a client crash (less
1264              than 30s) may not yet have been flushed to disk, even for local
1265              filesystems.
1266
1267 Severity   : normal
1268 Frequency  : frequent on thin XT3 nodes
1269 Bugzilla   : 10802
1270 Description: UUID collision on thin XT3 Linux nodes
1271 Details    : UUIDs on Compute Node Linux XT3 nodes were not generated
1272              randomly, since we relied on an insufficiently-seeded PRNG.
1273
1274 Severity   : normal
1275 Frequency  : rare
1276 Bugzilla   : 11693
1277 Description: OSS hangs after "All ost request buffers busy"
1278 Details    : A deadlock between quota and journal operations caused OSS
1279              hangs after printing "All ost request buffers busy."
1280
1281 Severity   : minor
1282 Frequency  : always on liblustre builds
1283 Bugzilla   : 11175
1284 Description: Cleanup compiler warnings on liblustre
1285
1286 Severity   : minor
1287 Frequency  : always on liblustre builds on XT3
1288 Bugzilla   : 12146
1289 Description: LC_CONFIG_CDEBUG don't run while build liblustre on XT3.
1290
1291 Frequency  : always
1292 Bugzilla   : 3244
1293 Description: Addition of EXT3_FEATURE_RO_COMPAT_DIR_NLINKS flag for
1294              > 32000 subdirectories
1295 Details    : Add EXT3_FEATURE_RO_COMPAT_DIR_NLINK flag to
1296              EXT3_FEATURE_RO_COMPAT_SUPP. This flag will be set whenever
1297              subdirectory count crosses 32000. This will aid e2fsck to
1298              correctly handle more than 32000 subdirectories.
1299
1300 Severity   : major
1301 Frequency  : liblustre (e.g. catamount) on a large cluster with >= 8 OSTs/OSS
1302 Bugzilla   : 11684
1303 Description: System hang on startup
1304 Details    : This bug allowed the liblustre (e.g. catamount) client to
1305              return to the app before handling all startup RPCs.  This
1306              could leave the node unresponsive to lustre network traffic
1307              and manifested as a server ptllnd timeout.
1308
1309 Severity   : enhancement
1310 Bugzilla   : 11667
1311 Description: Add "/proc/sys/lustre/debug_peer_on_timeout"
1312              (liblustre envirable: LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT)
1313              boolean to control whether to print peer debug info when a
1314              client's RPC times out.
1315
1316 Severity   : normal
1317 Frequency  : always
1318 Bugzilla   : 10214
1319 Description: make O_SYNC working on 2.6 kernels
1320 Details    : 2.6 kernels use different method for mark pages for write,
1321              so need add a code to lustre for O_SYNC work.
1322
1323 Severity   : minor
1324 Frequency  : always
1325 Bugzilla   : 11110
1326 Description: Failure to close file and release space on NFS
1327 Details    : Put inode details into lock acquired in ll_intent_file_open.
1328              Use mdc_intent_lock in ll_intent_open to properly
1329              detect all kind of errors unhandled by mdc_enqueue.
1330
1331 Severity   : major
1332 Frequency  : rare
1333 Bugzilla   : 10866
1334 Description: proc file read during shutdown sometimes raced obd removal,
1335              causing node crash
1336 Details    : Add lock to prevent obd access after proc file removal.
1337
1338 Severity   : normal
1339 Frequency  : Only for files larger than 4GB on 32-bit clients.
1340 Bugzilla   : 11237
1341 Description: improperly doing page alignment of locks
1342 Details    : Modify lustre core code to use CFS_PAGE_* defines instead of
1343              PAGE_*.  Make CFS_PAGE_MASK a 64-bit mask.
1344
1345 Severity   : normal
1346 Frequency  : rarely
1347 Bugzilla   : 11203
1348 Description: RPCs being resent when they shouldn't be
1349 Details    : Some RPCs that should not be resent are being resent.  This
1350              can cause inconsistencies in the RPC state machine.  Do not
1351              resend such requests.
1352
1353 Severity   : normal
1354 Frequency  : rare, only with NFS export
1355 Bugzilla   : 11669
1356 Description: Crash on NFS re-export node
1357 Details    : under very unusual load conditions an assertion is hit in
1358              ll_intent_file_open()
1359
1360 Severity   : major
1361 Frequency  : only if OST filesystem is corrupted
1362 Bugzilla   : 9829
1363 Description: client incorrectly hits assertion in ptlrpc_replay_req()
1364 Details    : for a short time RPCs with bulk IO are in the replay list,
1365              but replay of bulk IOs is unimplemented.  If the OST filesystem
1366              is corrupted due to disk cache incoherency and then replay is
1367              started it is possible to trip an assertion.  Avoid putting
1368              committed RPCs into the replay list at all to avoid this issue.
1369
1370 Severity   : normal
1371 Frequency  : always
1372 Bugzilla   : 10901
1373 Description: large O_DIRECT requests fail under memory pressure/fragmentation
1374 Details    : Large single O_DIRECT read and write calls can fail to allocate
1375              a sufficiently large buffer to process the request.  In case of
1376              allocation failure the allocation is retried with a smaller
1377              buffer and broken into smaller requests.
1378
1379 Severity   : enhancement
1380 Bugzilla   : 11563
1381 Description: Add -o localflock option to simulate  old noflock behaviour.
1382 Details    : This will achieve local-only flock/fcntl locks coherentness.
1383
1384 Severity   : normal
1385 Frequency  : always
1386 Bugzilla   : 11090
1387 Description: versioning check is incomplete
1388 Details    : Checking the version difference of client vs. server, report
1389              error if the gap is too big.
1390
1391 Severity   : major
1392 Bugzilla   : 11710
1393 Frequency  : always
1394 Description: add support PG_writeback bit
1395 Details    : add support for PG_writeback bit for Lustre, for more carefull
1396              work with page cache in 2.6 kernel. This also fix some deadlocks
1397              and remove hack for work O_SYNC with 2.6 kernel.
1398
1399 Severity   : enhancement
1400 Bugzilla   : 11264
1401 Description: Add uninit_groups feature to ldiskfs2 to speed up e2fsck
1402 Details    : The uninit_groups feature works in conjunction with the kernel
1403              filesystem code (ldiskfs2 only) and e2fsprogs-1.39-cfs6 to speed
1404              up the pass1 processing of e2fsck.  This is a read-only feature
1405              in ldiskfs2 only, so older kernels and current ldiskfs cannot
1406              mount filesystems that have had this feature enabled.
1407
1408 Severity   : enhancement
1409 Bugzilla   : 10816
1410 Description: Improve multi-block allocation algorithm to avoid fragmentation
1411 Details    : The mballoc3 code (ldiskfs2 only) adds new mechanisms to improve
1412              allocation locality and avoid filesystem fragmentation.
1413
1414 ------------------------------------------------------------------------------
1415
1416 2007-02-09  Cluster File Systems, Inc. <info@clusterfs.com>
1417        * version 1.4.9
1418        * Support for kernels:
1419         2.6.9-42.0.3.EL (RHEL 4)
1420         2.6.5-7.276 (SLES 9)
1421         2.4.21-47.0.1.EL (RHEL 3)
1422         2.6.12.6 vanilla (kernel.org)
1423         2.6.16.21-0.8 (SLES10)
1424        * Recommended e2fsprogs version: 1.39.cfs2-0
1425
1426        * The backwards-compatible /proc/sys/portals symlink has been removed
1427          in this release.  Before upgrading, please ensure that you change
1428          any configuration scripts or /etc/sysctl.conf files that access
1429          /proc/sys/portals/* or sysctl portals.* to use the corresponding
1430          entry in /proc/sys/lnet or sysctl lnet.*.  This change can be made
1431          in advance of the upgrade on any system running Lustre 1.4.6 or
1432          newer, since /proc/sys/lnet was added in that version.
1433        * Note that reiserfs quotas are disabled on SLES 10 in this kernel
1434        * bug fixes
1435
1436 Severity   : minor
1437 Frequency  : only when quota is used
1438 Bugzilla   : 11286
1439 Description: avoid scanning export list for quota master
1440 Details    : Change the algorithms to avoid scanning export list in order
1441              to improve the efficiency.
1442
1443 Severity   : critical
1444 Frequency  : MDS failover only, very rarely
1445 Bugzilla   : 11125
1446 Description: "went back in time" messages on mds failover
1447 Details    : The greatest transno may be lost when the current operation
1448              finishes with an error (transno==0) and the client's last_rcvd
1449              record is over-written. Save the greatest transno in the
1450              mds_last_transno for this case.
1451
1452 Severity   : minor
1453 Frequency  : always for specific kernels and striping counts
1454 Bugzilla   : 11042
1455 Description: client may get "Matching packet too big" without ACL support
1456 Details    : Clients compiled without CONFIG_FS_POSIX_ACL get an error message
1457              when trying to access files in certain configurations.  The
1458              clients should in fact be denied when mounting because they do
1459              not understand ACLs.
1460
1461 Severity   : major
1462 Frequency  : Cray XT3 with more than 4000 clients and multiple jobs
1463 Bugzilla   : 10906
1464 Description: many clients connecting with IO in progress causes connect timeouts
1465 Details    : Avoid synchronous journal commits to avoid delays caused by many
1466              clients connecting/disconnecting when bulk IO is in progress.
1467              Queue liblustre connect requests on OST_REQUEST_PORTAL instead of
1468              OST_IO_PORTAL to avoid delays behind potentially many pending
1469              slow IO requests.
1470
1471 Severity   : normal
1472 Frequency  : occasionally with multiple writers to a single file
1473 Bugzilla   : 11081
1474 Description: shared writes to file may result in wrong size reported by stat()
1475 Details    : Allow growing of kms when extent lock is cancelled
1476
1477 Severity   : minor
1478 Frequency  : always with random mmap IO to multi-striped file
1479 Bugzilla   : 10919
1480 Description: mmap write might be lost if we are writing to a 'hole' in stripe
1481 Details    : Only if the hole is at the end of OST object so that kms is too
1482              small. Fix is to increase kms accordingly in ll_nopage.
1483
1484 Severity   : normal
1485 Frequency  : rare, only if OST filesystem is inconsistent with MDS filesystem
1486 Bugzilla   : 11211
1487 Description: writes to a missing object would leak memory on the OST
1488 Details    : If there is an inconsistency between the MDS and OST filesystems,
1489              such that the MDS references an object that doesn't exist, writes
1490              to that object will leak memory due to incorrect cleanup in the
1491              error handling path, eventually running out of memory on the OST.
1492
1493 Severity   : minor
1494 Frequency  : rare
1495 Bugzilla   : 11040
1496 Description: Creating too long symlink causes lustre errors
1497 Details    : Check symlink and name lengths before sending requests to MDS.
1498
1499 Severity   : normal
1500 Frequency  : only if flock is enabled (not on by default)
1501 Bugzilla   : 11415
1502 Description: posix locks not released on fd closure on 2.6.9+
1503 Details    : We failed to add posix locks to list of inode locks on 2.6.9+
1504              kernels, this caused such locks not to be released on fd close and
1505              then assertions on fs unmount about still used locks.
1506
1507 Severity   : minor
1508 Frequency  : MDS failover only, very rarely
1509 Bugzilla   : 11277
1510 Description: clients may get ASSERTION(granted_lock != NULL)
1511 Details    : When request was taking a long time, and a client was resending
1512              a getattr by name lock request. The were multiple lock requests
1513              with the same client lock handle and
1514              mds_getattr_name->fixup_handle_for_resent_request found one of the
1515              lock handles but later failed with ASSERTION(granted_lock != NULL).
1516
1517 Severity   : major
1518 Frequency  : rare
1519 Bugzilla   : 10891
1520 Description: handle->h_buffer_credits > 0, assertion failure
1521 Details    : h_buffer_credits is zero after truncate, causing assertion
1522              failure.  This patch extends the transaction or creates a new
1523              one after truncate.
1524
1525 Severity   : normal
1526 Frequency  : NFS re-export or patchless client
1527 Bugzilla   : 11179, 10796
1528 Description: Crash on NFS re-export node (__d_move)
1529 Details    : We do not want to hash the dentry if we don't have a lock.
1530              But if this dentry is later used in d_move, we'd hit uninitialised
1531              list head d_hash, so we just do this to init d_hash field but
1532              leave dentry unhashed.
1533
1534 Severity   : normal
1535 Frequency  : NFS re-export or patchless client
1536 Bugzilla   : 11135
1537 Description: NFS exports has problem with symbolic link
1538 Details    : lustre client didn't properly install dentry when re-exported
1539              to NFS or running patchless client.
1540
1541 Severity   : normal
1542 Frequency  : NFS re-export or patchless client
1543 Bugzilla   : 10796
1544 Description: Various nfs/patchless fixes.
1545 Details    : fixes reuse disconected alias for lookup process - this fixes
1546              warning "find_exported_dentry: npd != pd",
1547              fix permission error with open files at nfs.
1548              fix apply umask when do revalidate.
1549
1550 Severity   : normal
1551 Frequency  : occasional
1552 Bugzilla   : 11191
1553 Description: Crash on NFS re-export node
1554 Details    : calling clear_page() on the wrong pointer triggered oops in
1555              generic_mapping_read().
1556
1557 Severity   : normal
1558 Frequency  : rarely, using O_DIRECT IO
1559 Bugzilla   : 10903
1560 Description: unaligned directio crashes client with LASSERT
1561 Details    : check for unaligned buffers before trying any requests.
1562
1563 Severity   : major
1564 Frequency  : rarely, using CFS RAID5 patches in non-standard kernel series
1565 Bugzilla   : 11313
1566 Description: stale data returned from RAID cache
1567 Details    : If only a small amount of IO is done to the RAID device before
1568              reading it again it is possible to get stale data from the RAID
1569              cache instead of reading it from disk.
1570
1571 Severity   : normal
1572 Frequency  : always for sles10 kernel
1573 Bugzilla   : 10947
1574 Description: sles10 support
1575 Details    : ll_follow_link: compile fixes and using of nd_set_link
1576              under newer kernels.
1577
1578 Severity   : major
1579 Frequency  : depends on arch, kernel and compiler version, always on sles10
1580              kernel and x86_64
1581 Bugzilla   : 11562
1582 Description: recursive or deep enough symlinks cause stack overflow
1583 Details    : getting rid of large stack-allocated variable in
1584              __vfs_follow_link
1585
1586 Severity   : minor
1587 Frequency  : depends on hardware
1588 Bugzilla   : 11540
1589 Description: lustre write performance loss in the SLES10 kernel
1590 Details    : the performance loss is caused by using of write barriers in the
1591              ext3 code. The SLES10 kernel turns barrier support on by
1592              default. The fix is to undo that change for ldiskfs.
1593
1594 ------------------------------------------------------------------------------
1595
1596 2006-12-09  Cluster File Systems, Inc. <info@clusterfs.com>
1597        * version 1.4.8
1598        * Support for kernels:
1599         2.6.9-42.0.3EL (RHEL 4)
1600         2.6.5-7.276 (SLES 9)
1601         2.4.21-47.0.1.EL (RHEL 3)
1602         2.6.12.6 vanilla (kernel.org)
1603        * bug fixes
1604
1605 Severity   : major
1606 Frequency  : quota enabled and large files being deleted
1607 Bugzilla   : 10707
1608 Description: releasing more than 4GB of quota at once hangs OST
1609 Details    : If a user deletes more than 4GB of files on a single OST it
1610              will cause the OST to spin in an infinite loop.  Release
1611              quota in < 4GB chunks, or use a 64-bit value for 1.4.7.1+.
1612
1613 Severity   : minor
1614 Frequency  : rare
1615 Bugzilla   : 10845
1616 Description: statfs data retrieved from /proc may be stale or zero
1617 Details    : When reading per-device statfs data from /proc, in the
1618              {kbytes,files}_{total,free,avail} files, it may appear
1619              as zero or be out of date.
1620
1621 Severity   : minor
1622 Frequency  : systems with MD RAID1 external journal devices
1623 Bugzilla   : 10832
1624 Description: lconf's call to blkid is confused by RAID1 journal devices
1625 Details    : Use the "blkid -l" flag to locate the MD RAID device instead
1626              of returning all block devices that match the journal UUID.
1627
1628 Severity   : normal
1629 Frequency  : always, for aggregate stripe size over 4GB
1630 Bugzilla   : 10725
1631 Description: "lfs setstripe" fails assertion when setting 4GB+ stripe width
1632 Details    : Using "lfs setstripe" to set stripe size * stripe count over 4GB
1633              will fail the kernel with "ASSERTION(lsm->lsm_xfersize != 0)"
1634
1635 Severity   : minor
1636 Frequency  : always if "lfs find" used on a local file/directory
1637 Bugzilla   : 10864
1638 Description: "lfs find" segfaults if used on a local file/directory
1639 Details    : The case where a directory component was not specified wasn't
1640              handled correctly.  Handle this properly.
1641
1642 Severity   : normal
1643 Frequency  : always on ppc64
1644 Bugzilla   : 10634
1645 Description: the write to an ext3 filesystem mounted with mballoc got stuck
1646 Details    : ext3_mb_generate_buddy() uses find_next_bit() which does not
1647              perform endianness conversion.
1648
1649 Severity   : major
1650 Frequency  : rarely (truncate to non-zero file size after write under load)
1651 Bugzilla   : 10730, 10687
1652 Description: Files padded with zeros to next 4K multiple
1653 Details    : With filesystems mounted using the "extents" option (2.6 kernels)
1654              it is possible that files that are truncated to a non-zero size
1655              immediately after being written are filled with zero bytes beyond
1656              the truncated size.  No file data is lost.
1657
1658 Severity   : enhancement
1659 Bugzilla   : 10452
1660 Description: Allow recovery/failover for liblustre clients.
1661 Details    : liblustre clients were unaware of failover configurations until
1662              now.
1663
1664 Severity   : enhancement
1665 Bugzilla   : 10743
1666 Description: user file locks should fail when not mounting with flock option
1667 Details    : Set up an error-returning stub in ll_file_operations.lock field
1668              to prevent incorrect behaviour when client is mounted without
1669              flock option. Also, set up properly f_op->flock field for
1670              RHEL4 kernels.
1671
1672 Severity   : minor
1673 Frequency  : always on ia64
1674 Bugzilla   : 10905
1675 Description: "lfs df" loops on printing out MDS statfs information
1676 Details    : The obd_ioctl_data was not initialized and in some systems
1677              this caused a failure during the ioctl that did not return
1678              an error.  Initialize the struct and return an error on failure.
1679
1680 Severity   : minor
1681 Frequency  : SLES 9 only
1682 Bugzilla   : 10667
1683 Description: Error of copying files with lustre special EAs as root
1684 Details    : Client side always return success for setxattr call for lustre
1685              special xattr (currently only "trusted.lov").
1686
1687 Severity   : normal
1688 Frequency  : rarely on clusters with both ia64+i386 clients
1689 Bugzilla   : 10672
1690 Description: ia64+i686 clients doing shared IO on the same file may LBUG
1691 Details    : In rare cases when both ia64+i686 (or other mixed-PAGE_SIZE)
1692              clients are doing concurrent writes to the same file it is
1693              possible that the ia64 clients may LASSERT because the OST
1694              extent locks are not PAGE_SIZE aligned.  Ensure that grown
1695              locks are always aligned on the request boundary.
1696
1697 Severity   : normal
1698 Frequency  : specific use, occasional
1699 Bugzilla   : 7040
1700 Description: Overwriting in use executable truncates on-disk binary image
1701 Details    : If one node attempts to overwrite an executable in use by
1702              another node, we now correctly return ETXTBSY instead of
1703              truncating the file.
1704
1705 Severity   : enhancement
1706 Bugzilla   : 4900
1707 Description: Async OSC create to avoid the blocking unnecessarily.
1708 Details    : If a OST has no remain object, system will block on the creating
1709              when need to create a new object on this OST. Now, ways use
1710              pre-created objects when available, instead of blocking on an
1711              empty osc while others are not empty.  If we must block, we block
1712              for the shortest possible period of time.
1713
1714 Severity   : normal
1715 Frequency  : rare
1716 Bugzilla   : 2707
1717 Description: chmod on Lustre root is propagated to other clients
1718 Details    : Re-validate root's dentry in ll_lookup_it to avoid having it
1719              invalid by the follow_mount time.
1720
1721 Severity   : minor
1722 Frequency  : liblustre clients only
1723 Bugzilla   : 10883
1724 Description: Race in 'instant cancel' lock handling could lead to such locks
1725              never to be granted in case of SMP MDS
1726 Details    : Do not destroy not yet granted but cbpending locks in
1727              handle_enqueue
1728
1729 Severity   : minor
1730 Frequency  : replay/resend of open
1731 Bugzilla   : 10991
1732 Description: non null lock assetion failure in mds_intent_policy
1733 Details    : Trying to replay/resend lockless open requests resulted in
1734              mds_open() returning 0 with no lock.  Now it sets a flag if
1735              a lock is going to be returned.
1736
1737 Severity   : enhancement
1738 Bugzilla   : 10889
1739 Description: Checksum enhancements
1740 Details    : New checksum enhancements allow for resending RPCs that failed
1741              checksum checks.
1742
1743 Severity   : enhancement
1744 Bugzilla   : 7376
1745 Description: Tunables on number of dirty pages in cacche
1746 Details    : Allow to set limit on number of dirty pages cached.
1747
1748 Severity   : normal
1749 Frequency  : rare
1750 Bugzilla   : 10643
1751 Description: client crash on unmount - lock still has references
1752 Details    : In some error handling cases it was possible to leak a lock
1753              reference on a client while accessing a file.  This was not
1754              harmful to the client during operation, but would cause the
1755              client to crash when the filesystem is unmounted.
1756
1757 Severity   : normal
1758 Frequency  : specific case, rare
1759 Bugzilla   : 10921
1760 Description: ETXTBSY on mds though file not in use by client
1761 Details    : ETXTBSY is no longer incorrectly returned when attempting to
1762              chmod or chown a directory that the user previously tried to
1763              execute or a currently-executing binary.
1764
1765 Severity   : major
1766 Frequency  : extremely rare except on liblustre-based clients
1767 Bugzilla   : 10480
1768 Description: Lustre space not freed when files are deleted
1769 Details    : Clean up open-unlinked files after client eviction.  Previously
1770              the unlink was skipped and the files remained as orphans.
1771
1772 Severity   : normal
1773 Frequency  : rare
1774 Bugzilla   : 10999
1775 Description: OST failure "would be an LBUG" in waiting_locks_callback()
1776 Details    : In some cases it was possible to send a blocking callback to
1777              a client doing a glimpse, even though that client didn't get
1778              a lock granted.  When the glimpse lock is cancelled on the OST
1779              the freed lock is left on the waiting list and corrupted the list.
1780
1781 Severity   : major
1782 Frequency  : all core dumps
1783 Bugzilla   : 11103
1784 Description: Broke core dumps to lustre
1785 Details    : Negative dentry may be unhashed if parent does not have UPDATE
1786              lock, but some callers, e.g. do_coredump, expect dentry to be
1787              hashed after successful create, hash it in ll_create_it.
1788
1789 ------------------------------------------------------------------------------
1790
1791 2006-09-13  Cluster File Systems, Inc. <info@clusterfs.com>
1792        * version 1.4.7.1
1793        * Support for kernels:
1794         2.6.9-42.0.2.EL (RHEL 4)
1795         2.6.5-7.276 (SLES 9)
1796         2.4.21-40.EL (RHEL 3)
1797         2.6.12.6 vanilla (kernel.org)
1798       * bug fix
1799
1800 Severity   : major
1801 Frequency  : always on RHEL 3
1802 Bugzilla   : 10867
1803 Description: Number of open files grows over time
1804 Details    : The number of open files grows over time, whether or not
1805              Lustre is started.  This was due to a filp leak introduced
1806              by one of our kernel patches.
1807
1808 ------------------------------------------------------------------------------
1809
1810 08-20-2006  Cluster File Systems, Inc. <info@clusterfs.com>
1811        * version 1.4.7
1812        * Support for kernels:
1813         2.6.9-42.EL (RHEL 4)
1814         2.6.5-7.276 (SLES 9)
1815         2.4.21-40.EL (RHEL 3)
1816         2.6.12.6 vanilla (kernel.org)
1817        * bug fixes
1818
1819 Severity   : major
1820 Frequency  : rare
1821 Bugzilla   : 5719, 9635, 9792, 9684
1822 Description: OST (or MDS) trips assertions in (re)connection under heavy load
1823 Details    : If a server is under heavy load and cannot reply to new
1824              connection requests before the client resends the (re)connect,
1825              the connection handling code can behave badly if two service
1826              threads are concurrently handing separate (re)connections from
1827              the same client.  Add better locking to the connection handling
1828              code, and ensure that only a single connection will be processed
1829              for a given client UUID, even if the lock is dropped.
1830
1831 Severity   : enhancement
1832 Bugzilla   : 3627
1833 Description: add TCP zero-copy support to kernel
1834 Details    : Add support to the kernel TCP stack to allow zero-copy bulk
1835              sends if the hardware supports scatter-gather and checksumming.
1836              This allows socklnd to do client-write and server-read more
1837              efficiently and reduce CPU utilization from skbuf copying.
1838
1839 Severity   : minor
1840 Frequency  : only if NFS exporting from client
1841 Bugzilla   : 10258
1842 Description: NULL pointer deref in ll_iocontrol() if chattr mknod file
1843 Details    : If setting attributes on a file created under NFS that had
1844              never been opened it would be possible to oops the client
1845              if the file had no objects.
1846
1847 Severity   : minor
1848 Frequency  : always for liblustre
1849 Bugzilla   : 10290
1850 Description: liblustre client does MDS+OSTs setattr RPC for each write
1851 Details    : When doing a write from a liblustre client, the client
1852              incorrectly issued an RPC to the MDS and each OST the file was
1853              striped over in order to update the timestamps.  When writing
1854              with small chunks and many clients this could overwhelm the MDS
1855              with RPCs.  In all cases it would slow down the write because
1856              these RPCs are unnecessary.
1857
1858 Severity   : enhancement
1859 Bugzilla   : 9340
1860 Description: allow number of MDS service threads to be changed at module load
1861 Details    : It is now possible to change the number of MDS service threads
1862              running.  Adding "options mds mds_num_threads={N}" to the MDS's
1863              /etc/modprobe.conf will set the number of threads for the next
1864              time Lustre is restarted (assuming the "mds" module is also
1865              reloaded at that time).  The default number of threads will
1866              stay the same, 32 for most systems.
1867
1868 Severity   : major
1869 Frequency  : rare
1870 Bugzilla   : 10300
1871 Description: OST crash if filesystem is unformatted or corrupt
1872 Details    : If an OST is started on a device that has never been formatted
1873              or if the filesystem is corrupt and cannot even mount then the
1874              error handling cleanup routines would dereference a NULL pointer.
1875
1876 Severity   : medium
1877 Frequency  : rare
1878 Bugzilla   : 10047
1879 Description: NULL pointer deref in llap_from_page.
1880 Details    : get_cache_page_nowait can return a page with NULL (or otherwise
1881              incorrect) mapping if the page was truncated/reclaimed while it was
1882              searched for. Check for this condition and skip such pages when
1883              doing readahead. Introduce extra check to llap_from_page() to
1884              verify page->mapping->host is non-NULL (so page is not anonymous).
1885
1886 Severity   : minor
1887 Frequency  : Sometimes when using sys_sendfile
1888 Bugzilla   : 7020
1889 Description: "page not covered by a lock" warnings from ll_readpage
1890 Details    : sendfile called ll_readpage without right page locks present.
1891              Now we introduced ll_file_sendfile that does necessary locking
1892              around call to generic_file_sendfile() much like we do in
1893              ll_file_read().
1894
1895 Severity   : medium
1896 Frequency  : with certain MDS communication failures at client mount time
1897 Bugzilla   : 10268
1898 Description: NULL pointer deref after failed client mount
1899 Details    : a client connection request may delayed by the network layer
1900              and not be sent until after the PTLRPC layer has timed out the
1901              request.  If the client fails the mount immediately it will try
1902              to clean up before the network times out the request.  Add a
1903              reference from the request import to the obd device and delay
1904              the cleanup until the network drops the request.
1905
1906 Severity   : medium
1907 Frequency  : occasionally during client (re)connect
1908 Bugzilla   : 9387
1909 Description: assertion failure during client (re)connect
1910 Details    : processing a client connection request may be delayed by the
1911              client or server longer than the client connect timeout.  This
1912              causes the client to resend the connection request.  If the
1913              original connection request is replied in this interval, the
1914              client may trip an assertion failure in ptlrpc_connect_interpret()
1915              which thought it would be the only running connect process.
1916
1917 Severity   : medium
1918 Frequency  : only with obd_echo servers and clients that are rebooted
1919 Bugzilla   : 10140
1920 Description: kernel BUG accessing uninitialized data structure
1921 Details    : When running an obd_echo server it did not start the ping_evictor
1922              thread, and when a client was evicted an uninitialized data
1923              structure was accessed.  Start the ping_evictor in the RPC
1924              service startup instead of the OBD startup.
1925
1926 Severity   : enhancement
1927 Bugzilla   : 10193 (patchless)
1928 Description: Remove dependency on various unexported kernel interfaces.
1929 Details    : No longer need reparent_to_init, exit_mm, exit_files,
1930              sock_getsockopt, filemap_populate, FMODE_EXEC, put_filp.
1931
1932 Severity   : minor
1933 Frequency  : rare (only users of deprecated and unsupported LDAP config)
1934 Bugzilla   : 9337
1935 Description: write_conf for zeroconf mount queried LDAP incorrectly for client
1936 Details    : LDAP apparently contains 'lustreName' attributes instead of
1937              'name'.  A simple remapping of the name is sufficient.
1938
1939 Severity   : major
1940 Frequency  : rare (only with non-default dump_on_timeout debug enabled)
1941 Bugzilla   : 10397
1942 Description: waiting_locks_callback trips kernel BUG if client is evicted
1943 Details    : Running with the dump_on_timeout debug flag turned on makes
1944              it possible that the waiting_locks_callback() can try to dump
1945              the Lustre kernel debug logs from an interrupt handler.  Defer
1946              this log dumping to the expired_lock_main() thread.
1947
1948 Severity   : enhancement
1949 Bugzilla   : 10420
1950 Description: Support NFS exporting on 2.6 kernels.
1951 Details    : Implement non-rawops metadata methods for NFS server to use without
1952              changing NFS server code.
1953
1954 Severity   : medium
1955 Frequency  : very rare (synthetic metadata workload only)
1956 Bugzilla   : 9974
1957 Description: two racing renames might cause an MDS thread to deadlock
1958 Details    : Running the "racer" program may cause one MDS thread to rename
1959              a file from being the source of a rename to being the target of
1960              a rename at exactly the same time that another thread is doing
1961              so, and the second thread has already enqueued these locks after
1962              doing a lookup of the target and is trying to relock them in
1963              order.  Ensure that we don't try to re-lock the same resource.
1964
1965 Severity   : major
1966 Frequency  : only very large systems with liblustre clients
1967 Bugzilla   : 7304
1968 Description: slow eviction of liblustre clients with the "evict_by_nid" RPC
1969 Details    : Use asynchronous set_info RPCs to send the "evict_by_nid" to
1970              all OSTs in parallel.  This allows the eviction of stale liblustre
1971              clients to proceed much faster than if they were done in series,
1972              and also offers similar improvements for other set_info RPCs.
1973
1974 Severity   : minor
1975 Frequency  : common
1976 Bugzilla   : 10265
1977 Description: excessive CPU usage during initial read phase on client
1978 Details    : During the initial read phase on a client, it would agressively
1979              retry readahead on the file, consuming too much CPU and impacting
1980              performance (since 1.4.5.8).  Improve the readahead algorithm
1981              to avoid this, and also improve some other common cases (read
1982              of small files in particular, where "small" is files smaller than
1983              /proc/fs/lustre/llite/*/max_read_ahead_whole_mb, 2MB by default).
1984
1985 Severity   : minor
1986 Frequency  : rare
1987 Bugzilla   : 10450
1988 Description: MDS crash when receiving packet with unknown intent.
1989 Details    : Do not LBUG in unknown intent case, just return -EFAULT
1990
1991 Severity   : enhancement
1992 Bugzilla   : 9293, 9385
1993 Description: MDS RPCs are serialised on client. This is unnecessary for some.
1994 Details    : Do not serialize getattr (non-intent version) and statfs.
1995
1996 Severity   : minor
1997 Frequency  : occasional, when OST network is overloaded/intermittent
1998 Bugzilla   : 10416
1999 Description: client evicted by OST after bulk IO timeout
2000 Details    : If a client sends a bulk IO request (read or write) the OST
2001              may evict the client if it is unresposive to its data GET/PUT
2002              request.  This is incorrect if the network is overloaded (takes
2003              too long to transfer the RPC data) or dropped the OST GET/PUT
2004              request.  There is no need to evict the client at all, since
2005              the pinger and/or lock callbacks will handle this, and the
2006              client can restart the bulk request.
2007
2008 Severity   : minor
2009 Frequency  : Always when mmapping file with no objects
2010 Bugzilla   : 10438
2011 Description: client crashes when mmapping file with no objects
2012 Details    : Check that we actually have objects in a file before doing any
2013              operations on objects in ll_vm_open, ll_vm_close and
2014              ll_glimpse_size.
2015
2016 Severity   : minor
2017 Frequency  : Rare
2018 Bugzilla   : 10484
2019 Description: Request leak when working with deleted CWD
2020 Details    : Introduce advanced request refcount tracking for requests
2021              referenced from lustre intent.
2022
2023 Severity   : Enhancement
2024 Bugzilla   : 10482
2025 Description: Cache open file handles on client.
2026 Details    : MDS now will return special lock along with openhandle, if
2027              requested and client is allowed to hold openhandle, even if unused,
2028              until such a lock is revoked. Helps NFS a lot, since NFS is opening
2029              closing files for every read/write openration.
2030
2031 Severity   : Enhancement
2032 Bugzilla   : 9291
2033 Description: Cache open negative dentries on client when possible.
2034 Details    : Guard negative dentries with UPDATE lock on parent dir, drop
2035              negative dentries on lock revocation.
2036
2037 Severity   : minor
2038 Frequency  : Always
2039 Bugzilla   : 10510
2040 Description: Remounting a client read-only wasn't possible with a zconf mount
2041 Details    : It wasn't possible to remount a client read-only with llmount.
2042
2043 Severity   : enhancement
2044 Description: Include MPICH 1.2.6 Lustre ADIO interface patch
2045 Details    : In lustre/contrib/ or /usr/share/lustre in RPM a patch for
2046              MPICH is included to add Lustre-specific ADIO interfaces.
2047              This is based closely on the UFS ADIO layer and only differs
2048              in file creation, in order to allow the OST striping to be set.
2049              This is user-contributed code and not supported by CFS.
2050
2051 Severity   : minor
2052 Frequency  : Always
2053 Bugzilla   : 9486
2054 Description: extended inode attributes (immutable, append-only) work improperly
2055              when 2.4 and 2.6 kernels are used on client/server or vice versa
2056 Details    : Introduce kernel-independent values for these flags.
2057
2058 Severity   : enhancement
2059 Frequency  : Always
2060 Bugzilla   : 10248
2061 Description: Allow fractional MB tunings for lustre in /proc/ filesystem.
2062 Details    : Many of the /proc/ tunables can only be tuned at a megabyte
2063              granularity. Now, Fractional MB granularity is be supported,
2064              this is very useful for low memory system.
2065
2066 Severity   : enhancement
2067 Bugzilla   : 9292
2068 Description: Getattr by fid
2069 Details    : Getting a file attributes by its fid, obtaining UPDATE|LOOKUP
2070              locks, avoids extra getattr rpc requests to MDS, allows '/' to
2071              have locks and avoids getattr rpc requests for it on every stat.
2072
2073 Severity   : major
2074 Frequency  : Always, for filesystems larger than 2TB
2075 Bugzilla   : 6191
2076 Description: ldiskfs crash at mount for filesystem larger than 2TB with mballoc
2077 Details    : Kenrel kmalloc limits allocations to 128kB and this prevents
2078              filesystems larger than 2TB to be mounted with mballoc enabled.
2079
2080 Severity   : critical
2081 Frequency  : Always, for 32-bit kernel without CONFIG_LBD and filesystem > 2TB
2082 Bugzilla   : 6191
2083 Description: ldiskfs crash at mount for filesystem larger than 2TB with mballoc
2084 Details    : If a 32-bit kernel is compiled without CONFIG_LBD enabled and a
2085              filesystems larger than 2TB is mounted then the kernel will
2086              silently corrupt the start of the filesystem.  CONFIG_LBD is
2087              enabled for all CFS-supported kernels, but the possibility of
2088              this happening with a modified kernel config exists.
2089
2090 Severity   : enhancement
2091 Bugzilla   : 10462
2092 Description: add client O_DIRECT support for 2.6 kernels
2093 Details    : It is now possible to do O_DIRECT reads and writes to files
2094              in the Lustre client mountpoint on 2.6 kernel clients.
2095
2096 Severity   : enhancement
2097 Bugzilla   : 10446
2098 Description: parallel glimpse, setattr, statfs, punch, destroy requests
2099 Details    : Sends glimpse, setattr, statfs, punch, destroy requests to OSTs in
2100              parallel, not waiting for response from every OST before sending
2101              a rpc to the next OST.
2102
2103 Severity   : minor
2104 Frequency  : rare
2105 Bugzilla   : 10150
2106 Description: setattr vs write race when updating file timestamps
2107 Details    : Client processes that update a file timestamp into the past
2108              right after writing to the file (e.g. tar) it is possible that
2109              the updated file modification time can be reset to the current
2110              time due to a race between processing the setattr and write RPC.
2111
2112 Severity   : enhancement
2113 Bugzilla   : 10318
2114 Description: Bring 'lfs find' closer in line with regular Linux find.
2115 Details    : lfs find util supports -atime, -mtime, -ctime, -maxdepth, -print,
2116              -print0 options and obtains all the needed info through the lustre
2117              ioctls.
2118
2119 Severity   : enhancement
2120 Bugzilla   : 6221
2121 Description: support up to 1024 configured devices on one node
2122 Details    : change obd_dev array from statically allocated to dynamically
2123              allocated structs as they are first used to reduce memory usage
2124
2125 Severity   : minor
2126 Frequency  : rare
2127 Bugzilla   : 10437
2128 Description: Flush dirty partially truncated pages during truncate
2129 Details    : Immediatelly flush partially truncated pages in filter_setattr,
2130              this way we completely avoid having any pages in page cache on OST
2131              and can retire ugly workarounds during writes to flush such pages.
2132
2133 Severity   : minor
2134 Frequency  : rare
2135 Bugzilla   : 10409
2136 Description: i_sem vs transaction deadlock in mds_obd_destroy during unlink.
2137 Details    : protect inode from truncation within vfs_unlink() context
2138              just take a reference before calling vfs_unlink() and release it
2139              when parent's i_sem is free.
2140
2141 Severity   : major
2142 Frequency  : rare
2143 Bugzilla   : 4778
2144 Description: last_id value checked outside lock on OST caused LASSERT failure
2145 Details    : If there were multiple MDS->OST object precreate requests in
2146              flight, it was possible that the OST's last object id was checked
2147              outside a lock and incorrectly tripped an assertion.  Move checks
2148              inside locks, and discard old precreate requests.
2149
2150 Severity   : minor
2151 Frequency  : always, if extents are used on OSTs
2152 Bugzilla   : 10703
2153 Description: index ei_leaf_hi (48-bit extension) is not zeroed in extent index
2154 Details    : OSTs using the extents format would not zero the high 16 bits of
2155              the index physical block number.  This is not a problem for any
2156              OST filesystems smaller than 16TB, and no kernels support ext3
2157              filesystems larger than 16TB yet.  This is fixed in 1.4.7 (all
2158              new/modified files) and can be fixed for existing filesystems
2159              with e2fsprogs-1.39-cfs1.
2160
2161 Severity   : minor
2162 Frequency  : rare
2163 Bugzilla   : 9387
2164 Description: import connection selection may be incorrect if timer wraps
2165 Details    : Using a 32-bit jiffies timer with HZ=1000 may cause backup
2166              import connections to be ignored if the 32-bit jiffies counter
2167              wraps.  Use a 64-bit jiffies counter.
2168
2169 Severity   : minor
2170 Frequency  : very large clusters immediately after boot
2171 Bugzilla   : 10083
2172 Description: LNET request buffers exhausted under heavy short-term load
2173 Details    : If a large number of client requests are generated on a service
2174              that has previously never seen so many requests it is possible
2175              that the request buffer growth cannot keep up with the spike in
2176              demand.  Instead of dropping incoming requests, they are held in
2177              the LND until the RPC service can accept more requests.
2178
2179 Severity   : minor
2180 Frequency  : Sometimes during replay
2181 Bugzilla   : 9314
2182 Description: Assertion failure in ll_local_open after replay.
2183 Details    : If replay happened on an open request reply before we were able
2184              to set replay handler, reply will become not swabbed tripping the
2185              assertion in ll_local_open. Now we set the handler right after
2186              recognising of open request
2187
2188 Severity   : trivial
2189 Frequency  : very rare
2190 Bugzilla   : 10584
2191 Description: kernel reports "badness in vsnprintf"
2192 Details    : Reading from the "recovery_status" /proc file in small chunks
2193              may cause a negative length in lprocfs_obd_rd_recovery_status()
2194              call to vsnprintf() (which is otherwise harmless).  Exit early
2195              if there is no more space in the output buffer.
2196
2197 Severity   : enhancement
2198 Bugzilla   : 2259
2199 Description: clear OBD RPC statistics by writing to them
2200 Details    : It is now possible to clear the OBD RPC statistics by writing
2201              to the "stats" file.
2202
2203 Severity   : minor
2204 Frequency  : rare
2205 Bugzilla   : 10641
2206 Description: Client mtime is not the same on different clients after utimes
2207 Details    : In some cases, the client was using the utimes() syscall on
2208              a file cached on another node.  The clients now validate the
2209              ctime from the MDS + OSTs to determine which one is right.
2210
2211 Severity   : minor
2212 Frequency  : always
2213 Bugzilla   : 10611
2214 Description: Inability to activate failout mode
2215 Details    : lconf script incorrectly assumed that in pythong string's numeric
2216              value is used in comparisons.
2217
2218 Severity   : minor
2219 Frequency  : always with multiple stripes per file
2220 Bugzilla   : 10671
2221 Description: Inefficient object allocation for mutli-stripe files
2222 Details    : When selecting which OSTs to stripe files over, for files with
2223              a stripe count that divides evenly into the number of OSTs,
2224              the MDS is always picking the same starting OST for each file.
2225              Return the OST selection heuristic to the original design.
2226
2227 Severity   : trivial
2228 Frequency  : rare
2229 Bugzilla   : 10673
2230 Description: mount failures may take full timeout to return an error
2231 Details    : Under some heavy load conditions it is possible that a
2232              failed mount can wait for the full obd_timeout interval,
2233              possibly several minutes, before reporting an error.
2234              Instead return an error as soon as the status is known.
2235 Severity   : major
2236 Frequency  : quota enabled and large files being deleted
2237 Bugzilla   : 10707
2238 Description: releasing more than 4GB of quota at once hangs OST
2239 Details    : If a user deletes more than 4GB of files on a single OST it
2240              will cause the OST to spin in an infinite loop.  Release
2241              quota in < 4GB chunks, or use a 64-bit value for 1.4.7.1+.
2242
2243 Severity   : trivial
2244 Frequency  : rare
2245 Bugzilla   : 10845
2246 Description: statfs data retrieved from /proc may be stale or zero
2247 Details    : When reading per-device statfs data from /proc, in the
2248              {kbytes,files}_{total,free,avail} files, it may appear
2249              as zero or be out of date.
2250
2251 Severity   : trivial
2252 Frequency  : systems with MD RAID1 external journal devices
2253 Bugzilla   : 10832
2254 Description: lconf's call to blkid is confused by RAID1 journal devices
2255 Details    : Use the "blkid -l" flag to locate the MD RAID device instead
2256              of returning all block devices that match the journal UUID.
2257
2258 Severity   : normal
2259 Frequency  : always, for aggregate stripe size over 4GB
2260 Bugzilla   : 10725
2261 Description: assertion fails when trying to use 4GB stripe size
2262 Details    : Use "setstripe" to set stripe size over 4GB will fail the kernel,
2263              complaining "ASSERTION(lsm->lsm_xfersize != 0)"
2264
2265 Severity   : normal
2266 Frequency  : always on ppc64
2267 Bugzilla   : 10634
2268 Description: the first write on an ext3 filesystem with mballoc got stuck
2269 Details    : ext3_mb_generate_buddy() uses find_next_bit() which does not
2270              perform endianness conversion.
2271
2272 ------------------------------------------------------------------------------
2273
2274 02-14-2006  Cluster File Systems, Inc. <info@clusterfs.com>
2275        * version 1.4.6
2276        * WIRE PROTOCOL CHANGE.  This version of Lustre networking WILL NOT
2277          INTEROPERATE with older versions automatically.  Please read the
2278          user documentation before upgrading any part of a live system.
2279        * WARNING: Lustre networking configuration changes are required with
2280          this release.  See https://bugzilla.clusterfs.com/show_bug.cgi?id=10052
2281          for details.
2282        * bug fixes
2283        * Support for kernels:
2284         2.6.9-22.0.2.EL (RHEL 4)
2285         2.6.5-7.244 (SLES 9)
2286         2.6.12.6 vanilla (kernel.org)
2287
2288
2289 Severity   : enhancement
2290 Bugzilla   : 7981/8208
2291 Description: Introduced Lustre Networking (LNET)
2292 Details    : LNET is new networking infrastructure for Lustre, it includes
2293              a reorganized network configuration mode (see the user
2294              documentation for full details) as well as support for routing
2295              between different network fabrics.  Lustre Networking Devices
2296              (LNDs) for the supported network fabrics have also been
2297              created for this new infrastructure.
2298
2299 Severity   : enhancement
2300 Description: Introduced Access control lists
2301 Details    : clients can set ACLs on files and directories in order to have
2302              more fine-grained permissions than the standard Unix UGO+RWX.
2303              The MDS must be started with the "-o acl" mount option.
2304
2305 Severity   : enhancement
2306 Description: Introduced filesystem quotas
2307 Details    : Administrators may now establish per-user quotas on the
2308              filesystem.
2309
2310 Severity   : enhancement
2311 Bugzilla   : 7982
2312 Description: Configuration change for the XT3
2313              The PTLLND is now used to run Lustre over Portals on the XT3
2314              The configure option(s) --with-cray-portals are no longer used.
2315              Rather --with-portals=<path-to-portals-includes> is used to
2316              enable building on the XT3.  In addition to enable XT3 specific
2317              features the option --enable-cray-xt3 must be used.
2318         
2319 Severity   : major
2320 Frequency  : rare
2321 Bugzilla   : 7407
2322 Description: Running on many-way SMP OSTs can trigger oops in llcd_send()
2323 Details    : A race between allocating a new llcd and re-getting the llcd_lock
2324              allowed another thread to grab newly-allocated llcd.
2325
2326 Severity   : enhancement
2327 Bugzilla   : 7116
2328 Description: 2.6 OST async journal commit and locking fix to improve performance
2329 Details    : The filter_direct_io()+filter_commitrw_write() journal commits for
2330              2.6 kernels are now async as they already were in 2.4 kernels so
2331              that they can commit concurrently with the network bulk transfer.
2332              For block-allocated files the filter allocation semaphore is held
2333              to avoid filesystem fragmentation during allocation.  BKL lock
2334              removed for 2.6 xattr operations where it is no longer needed.
2335
2336 Severity   : minor
2337 Frequency  : rare
2338 Bugzilla   : 8320
2339 Description: lconf incorrectly determined whether two IP networks could talk
2340 Details    : In some more complicated routing and multiple-network
2341              configurations, lconf will avoid trying to make a network
2342              connection to a disjoint part of the IP space.  It was doing the
2343              math incorrectly for one set of cases.
2344
2345 Severity   : major
2346 Frequency  : rare
2347 Bugzilla   : 7359
2348 Description: Fix for potential infinite loop processing records in an llog.
2349 Details    : If an llog record is corrupted/zeroed, it is possible to loop
2350              forever in llog_process().  Validate the llog record length
2351              and skip the remainder of the block on error.
2352
2353 Severity   : minor
2354 Frequency  : occasional (liblustre only)
2355 Bugzilla   : 6363
2356 Description: liblustre could not open files whose last component is a symlink
2357 Details    : sysio_path_walk() would incorrectly pass the open intent to
2358              intermediate path components.
2359
2360 Severity   : minor
2361 Frequency  : rare (liblustre only with non-standard tuning)
2362 Bugzilla   : 7201 (7350)
2363 Description: Tuning the MDC DLM LRU size to zero triggers client LASSERT
2364 Details    : llu_lookup_finish_locks() tries to set lock data on a lock
2365              after it has been released, only do this for referenced locks
2366
2367 Severity   : enhancement
2368 Bugzilla   : 7328
2369 Description: specifying an (invalid) directory default stripe_size of -1
2370              would reset the directory default striping
2371 Details    : stripe_size -1 was used internally to signal directory stripe
2372              removal, now use "all default" to signal dir stripe removal
2373              as a directory striping of "all default" is not useful
2374
2375 Severity   : minor
2376 Frequency  : common for large clusters running liblustre clients
2377 Bugzilla   : 7198
2378 Description: doing an ls when liblustre clients are running is slow
2379 Details    : sending a glimpse AST to a liblustre client waits for every AST
2380              to time out, as liblustre clients will not respond.  Since they
2381              cannot cache data we refresh the OST lock LVB from disk instead.
2382
2383 Severity   : enhancement
2384 Bugzilla   : 7198
2385 Description: doing an ls at the same time as file IO can be slow
2386 Details    : enqueue and other "small" requests can be blocked behind many
2387              large IO requests.  Create a new OST IO portal for non-IO
2388              requests so they can be processed faster.
2389
2390 Severity   : minor
2391 Frequency  : rare (only HPUX clients mounting unsupported re-exported NFS vol)
2392 Bugzilla   : 5781
2393 Description: an HPUX NFS client would get -EACCESS when ftruncate()ing a newly
2394              created file with mode 000
2395 Details    : the Linux NFS server relies on an MDS_OPEN_OWNEROVERRIDE hack to
2396              allow an ftruncate() as a non-root user to a file with mode 000.
2397              Lustre now respects this flag to disable mode checks when
2398              truncating a file owned by the user
2399
2400 Severity   : minor
2401 Frequency  : liblustre-only, when liblustre client dies unexpectedly or becomes
2402              busy
2403 Bugzilla   : 7313
2404 Description: Revoking locks from clients that went dead or catatonic might take
2405              a lot of time.
2406 Details    : New lock flags FL_CANCEL_ON_BLOCK used by liblustre makes
2407              cancellation of such locks instant on servers without waiting for
2408              any reply from clients. Clients drops these locks when cancel
2409              notification from server is received without replying.
2410
2411 Severity   : minor
2412 Frequency  : liblustre-only, when liblustre client dies or becomes busy
2413 Bugzilla   : 7311
2414 Description: Doing ls on Linux clients can take a long time with active
2415              liblustre clients
2416 Details    : Liblustre client cannot handle ASTs in timely manner, so avoid
2417              granting such locks to it in the first place if possible.  Locks
2418              are taken by proxy on the OST during the read or write and
2419              dropped immediately afterward.  Add connect flags handling, do
2420              not grant locks to liblustre clients for glimpse ASTs.
2421
2422 Severity   : enhancement
2423 Bugzilla   : 6252
2424 Description: Improve read-ahead algorithm to avoid excessive IO for random reads
2425 Details    : Existing read-ahead algorithm is tuned for the case of streamlined
2426              sequential reads and behaves badly with applications doing random
2427              reads.  Improve it by reading ahead at least read region, and
2428              avoiding excessive large RPC for small reads.
2429
2430 Severity   : enhancement
2431 Bugzilla   : 8330
2432 Description: Creating more than 1000 files for a single job may cause a load
2433              imbalance on the OSTs if there are also a large number of OSTs.
2434 Details    : qos_prep_create() uses an OST index reseed value that is an
2435              even multiple of the number of available OSTs so that if the
2436              reseed happens in the middle of the object allocation it will
2437              still utilize the OSTs as uniformly as possible.
2438
2439 Severity   : major
2440 Frequency  : rare
2441 Bugzilla   : 8322
2442 Description: OST or MDS may oops in ping_evictor_main()
2443 Details    : ping_evictor_main() drops obd_dev_lock if deleting a stale export
2444              but doesn't restart at beginning of obd_exports_timed list
2445              afterward.
2446
2447 Severity   : enhancement
2448 Bugzilla   : 7304
2449 Description: improve by-nid export eviction on the MDS and OST
2450 Details    : allow multiple exports with the same NID to be evicted at one
2451              time without re-searching the exports list.
2452
2453 Severity   : major
2454 Frequency  : rare, only with supplementary groups enabled on SMP 2.6 kernels
2455 Bugzilla   : 7273
2456 Description: MDS may oops in groups_free()
2457 Details    : in rare race conditions a newly allocated group_info struct is
2458              freed again, and this can be NULL.  The 2.4 compatibility code
2459              for groups_free() checked for a NULL pointer, but 2.6 did not.
2460
2461 Severity   : minor
2462 Frequency  : common for liblustre clients doing little filesystem IO
2463 Bugzilla   : 9352, 7313
2464 Description: server may evict liblustre clients accessing contended locks
2465 Details    : if a client is granted a lock or receives a completion AST
2466              with a blocking AST already set it would not reply to the AST
2467              for LDLM_FL_CANCEL_ON_BLOCK locks.  It now replies to such ASTs.
2468
2469 Severity   : minor
2470 Frequency  : lfs setstripe, only systems with more than 160 OSTs
2471 Bugzilla   : 9440
2472 Description: unable to set striping with a starting offset beyond OST 160
2473 Details    : llapi_create_file() incorrectly limited the starting stripe
2474              index to the maximum single-file stripe count.
2475
2476 Severity   : minor
2477 Frequency  : LDAP users only
2478 Bugzilla   : 6163
2479 Description: lconf did not handle in-kernel recovery with LDAP properly
2480 Details    : lconf/LustreDB get_refs() is searching the wrong namespace
2481
2482 Severity   : enhancement
2483 Bugzilla   : 7342
2484 Description: bind OST threads to NUMA nodes to improve performance
2485 Details    : all OST threads are uniformly bound to CPUs on a single NUMA
2486              node and do their allocations there to localize memory access
2487
2488 Severity   : enhancement
2489 Bugzilla   : 7979
2490 Description: llmount can determine client NID directly from Myrinet (GM)
2491 Details    : the client NID code from gmnalnid was moved directly into
2492              llmount, removing the need to use this or specifying the
2493              client NID explicitly when mounting GM clients with zeroconf
2494
2495 Severity   : minor
2496 Frequency  : if client is started with down MDS
2497 Bugzilla   : 7184
2498 Description: if client is started with down MDS mount hangs in ptlrpc_queue_wait
2499 Details    : Having an LWI_INTR() wait event (interruptible, but no timeout)
2500              will wait indefinitely in ptlrpc_queue_wait->l_wait_event() after
2501              ptlrpc_import_delayed_req() because we didn't check if the
2502              request was interrupted, and we also didn't break out of the
2503              event loop if there was no timeout
2504
2505 Severity   : major
2506 Frequency  : rare
2507 Bugzilla   : 5047
2508 Description: data loss during non-page-aligned writes to a single file from
2509              both multiple nodes and multiple threads on one node at same time
2510 Details    : updates to KMS and lsm weren't protected by common lock. Resulting
2511              inconsistency led to false short-reads, that were cached and later
2512              used by ->prepare_write() to fill in partially written page,
2513              leading to data loss.
2514
2515 Severity   : minor
2516 Frequency  : always, if lconf --abort_recovery used
2517 Bugzilla   : 7047
2518 Description: lconf --abort_recovery fails with 'Operation not supported'
2519 Details    : lconf was attempting to abort recovery on the MDT device and not
2520              the MDS device
2521
2522 Severity   : enhancement
2523 Bugzilla   : 9445
2524 Description: remove cleanup logs
2525 Details    : replace lconf-generated cleanup logs with lustre internal
2526              cleanup routines.  Eliminates the need for client-cleanup and
2527              mds-cleanup logs.
2528
2529 Severity   : enhancement
2530 Bugzilla   : 8592
2531 Description: add support for EAs (user and system) on lustre filesystems
2532 Details    : it is now possible to store extended attributes in the Lustre
2533              client filesystem, and with the user_xattr mount option it
2534              is possible to allow users to store EAs on their files also
2535
2536 Severity   : enhancement
2537 Bugzilla   : 7293
2538 Description: Add possibility (config option) to show minimal available OST free
2539              space.
2540 Details    : When compiled with --enable-mindf configure option, statfs(2)
2541              (and so, df) will return least minimal free space available from
2542              all OSTs as amount of free space on FS, instead of summary of
2543              free spaces of all OSTs.
2544
2545 Severity   : enhancement
2546 Bugzilla   : 7311
2547 Description: do not expand extent locks acquired on OST-side
2548 Details    : Modify ldlm_extent_policy() to not expand local locks, acquired
2549              by server: they are not cached anyway.
2550
2551 Severity   : major
2552 Frequency  : when mmap is used/binaries executed from Lustre
2553 Bugzilla   : 9482
2554 Description: Unmmap pages before throwing them away from read cache.
2555 Details    : llap_shrink cache now attempts to unmap pages before discarding
2556              them (if unmapping failed - do not discard).  SLES9 kernel has
2557              extra checks that trigger if this unmapping is not done first.
2558
2559 Severity   : minor
2560 Frequency  : rare
2561 Bugzilla   : 6034
2562 Description: lconf didn't resolve symlinks before checking to see whether a
2563              given mountpoint was already in use
2564
2565 Severity   : minor
2566 Frequency  : when migrating failover services
2567 Bugzilla   : 6395, 9514
2568 Description: When migrating a subset of services from a node (e.g. failback
2569              from a failover service node) the remaining services would
2570              time out and evict clients.
2571 Details    : lconf --force (implied by --failover) sets the global obd_timeout
2572              to 5 seconds in order to quickly disconnect, but this caused
2573              other RPCs to time out too quickly.  Do not change the global
2574              obd_timeout for force cleanup, only set it for DISCONNECT RPCs.
2575
2576 Severity   : enhancement
2577 Frequency  : if MDS is started with down OST
2578 Bugzilla   : 9439,5706
2579 Description: Allow startup/shutdown of an MDS without depending on the
2580              availability of the OSTs.
2581 Details    : Asynchronously call mds_lov_synchronize during MDS startup.
2582              Add appropriate locking and lov-osc refcounts for safe
2583              cleaning.  Add osc abort_inflight calls in case the
2584              synchronize never started.
2585
2586 Severity   : minor
2587 Frequency  : occasional (Cray XT3 only)
2588 Bugzilla   : 7305
2589 Description: root not authorized to access files in CRAY_PORTALS environment
2590 Details    : The client process capabilities were not honoured on the MDS in
2591              a CRAY_PORTALS/CRAY_XT3 environment.  If the file had previously
2592              been accessed by an authorized user then root was able to access
2593              the file on the local client also.  The root user capabilities
2594              are now allowed on the MDS, as this environment has secure UID.
2595
2596 Severity   : minor
2597 Frequency  : occasional
2598 Bugzilla   : 6449
2599 Description: ldiskfs "too long searching" message happens too often
2600 Details    : A debugging message (otherwise harmless) prints too often on
2601              the OST console.  This has been reduced to only happen when
2602              there are fragmentation problems on the filesystem.
2603
2604 Severity   : minor
2605 Frequency  : rare
2606 Bugzilla   : 9598
2607 Description: Division by zero in statfs when all OSCs are inactive
2608 Details    : lov_get_stripecnt() returns zero due to incorrect order of checks,
2609              lov_statfs divides by value returned by lov_get_stripecnt().
2610
2611 Severity   : minor
2612 Frequency  : common
2613 Bugzilla   : 9489, 3273
2614 Description: First write from each client to each OST was only 4kB in size,
2615              to initialize client writeback cache, which caused sub-optimal
2616              RPCs and poor layout on disk for the first writen file.
2617 Details    : Clients now request an initial cache grant at (re)connect time
2618              and so that they can start streaming writes to the cache right
2619              away and always do full-sized RPCs if there is enough data.
2620              If the OST is rebooted the client also re-establishes its grant
2621              so that client cached writes will be honoured under the grant.
2622
2623 Severity   : minor
2624 Frequency  : common
2625 Bugzilla   : 7198
2626 Description: Slow ls (and stat(2) syscall) on files residing on IO-loaded OSTs
2627 Details    : Now I/O RPCs go to different portal number and (presumably) fast
2628              lock requests (and glimses) and other RPCs get their own service
2629              threads pool that should be able to service those RPCs
2630              immediatelly.
2631
2632 Severity   : enhancement
2633 Bugzilla   : 7417
2634 Description: Ability to exchange lustre version between client and servers and
2635              issue warnings at client side if client is too old. Also for
2636              liblustre clients there is ability to refuse connection of too old
2637              clients.
2638 Details    : New 'version' field is added to connect data structure that is
2639              filled with version info. That info is later checked by server and
2640              by client.
2641
2642 Severity   : minor
2643 Frequency  : rare, liblustre only.
2644 Bugzilla   : 9296, 9581
2645 Description: Two simultaneous writes from liblustre at offset within same page
2646              might proceed at the same time overwriting eachother with stale
2647              data.
2648 Details    : I/O lock withing llu_file_prwv was released too early, before data
2649              actually was hitting the wire. Extended lock-holding time until
2650              server acknowledges receiving data.
2651
2652 Severity   : minor
2653 Frequency  : extremely rare. Never observed in practice.
2654 Bugzilla   : 9652
2655 Description: avoid generating lustre_handle cookie of 0.
2656 Details    : class_handle_hash() generates handle cookies by incrementing
2657              global counter, and can hit 0 occasionaly (this is unlikely, but
2658              not impossible, because initial value of cookie counter is
2659              selected randonly). Value of 0 is used as a sentinel meaning
2660              "unassigned handle" --- avoid it. Also coalesce two critical
2661              sections in this function into one.
2662
2663 Severity   : enhancement
2664 Bugzilla   : 9528
2665 Description: allow liblustre clients to delegate truncate locking to OST
2666 Details    : To avoid overhead of locking, liblustre client instructs OST to
2667              take extent lock in ost_punch() on client's behalf. New connection
2668              flag is added to handle backward compatibility.
2669
2670 Severity   : enhancement
2671 Bugzilla   : 4928, 7341, 9758
2672 Description: allow number of OST service threads to be specified
2673 Details    : a module parameter allows the number of OST service threads
2674              to be specified via "options ost ost_num_threads={N}" in the
2675              OSS's /etc/modules.conf or /etc/modprobe.conf.
2676
2677 Severity   : major
2678 Frequency  : rare
2679 Bugzilla   : 6146, 9635, 9895
2680 Description: servers crash with bad pointer in target_handle_connect()
2681 Details    : In rare cases when a client is reconnecting it was possible that
2682              the connection request was the last reference for that export.
2683              We would temporarily drop the export reference and get a new
2684              one, but this may have been the last reference and the export
2685              was just destroyed.  Get new reference before dropping old one.
2686
2687 Severity   : enhancement
2688 Frequency  : if client is started with failover MDS
2689 Bugzilla   : 9818
2690 Description: Allow multiple MDS hostnames in the mount command
2691 Details    : Try to read the configuration from all specified MDS
2692              hostnames during a client mount in case the "primary"
2693              MDS is down.
2694
2695 Severity   : enhancement
2696 Bugzilla   : 9297
2697 Description: Stop sending data to evicted clients as soon as possible.
2698 Details    : Check if the client we are about to send or are sending data to
2699              was evicted already. (Check is done every second of waiting,
2700              for which l_wait_event interface was extended to allow checking
2701              of exit condition at specified intervals).
2702
2703 Severity   : minor
2704 Frequency  : rare, normally only when NFS exporting is done from client
2705 Bugzilla   : 9301
2706 Description: 'bad disk LOV MAGIC: 0x00000000' error when chown'ing files
2707              without objects
2708 Details    : Make mds_get_md() recognise empty md case and set lmm size to 0.
2709
2710 Severity   : minor
2711 Frequency  : always, if srand() is called before liblustre initialization
2712 Bugzilla   : 9794
2713 Description: Liblustre uses system PRNG disturbing its usage by user application
2714 Details    : Introduce internal to lustre fast and high-quality PRNG for
2715              lustre usage and make liblustre and some other places in generic
2716              lustre code to use it.
2717
2718 Severity   : enhancement
2719 Bugzilla   : 9477, 9557, 9870
2720 Description: Verify that the MDS configuration logs are updated when xml is
2721 Details    : Check if the .xml configuration logs are newer than the config
2722              logs stored on the MDS and report an error if this is the case.
2723              Request --write-conf, or allow starting with --old_conf.
2724
2725 Severity   : enhancement
2726 Bugzilla   : 6034
2727 Description: Handle symlinks in the path when checking if Lustre is mounted.
2728 Details    : Resolve intermediate symlinks when checking if a client has
2729              mounted a filesystem to avoid duplicate client mounts.
2730
2731 Severity   : minor
2732 Frequency  : rare
2733 Bugzilla   : 9309
2734 Description: lconf can hit an error exception but still return success.
2735 Details    : The lconf command catches the Command error exception at the top
2736              level script context and will exit with the associated exit
2737              status, but doesn't ensure that this exit status is non-zero.
2738
2739 Severity   : minor
2740 Frequency  : rare
2741 Bugzilla   : 9493
2742 Description: failure of ptlrpc thread startup can cause oops
2743 Details    : Starting a ptlrpc service thread can fail if there are a large
2744              number of threads or the server memory is very fragmented.
2745              Handle this without oopsing.
2746
2747 Severity   : minor
2748 Frequency  : always, only if liblustre and non-default acceptor port was used
2749 Bugzilla   : 9933
2750 Description: liblustre cannot connect to servers with non-default acceptor port
2751 Details    : tcpnal_set_default_params() was not called and was therefore
2752              ignoring the environment varaible TCPNAL_PORT, as well as other
2753              TCPNAL_ environment variables
2754
2755 Severity   : minor
2756 Frequency  : rare
2757 Bugzilla   : 9923
2758 Description: two objects could be created on the same OST for a single file
2759 Details    : If an OST is down, in some cases it was possible to create two
2760              objects on a single OST for a single file.  No problems other
2761              than potential performance impact and spurious error messages.
2762
2763 Severity   : minor
2764 Frequency  : rare
2765 Bugzilla   : 5681, 9562
2766 Description: Client may oops in ll_unhash_aliases
2767 Details    : Client dcache may become inconsistent in race condition.
2768              In some cases "getcwd" can fail if the current directory is
2769              modified.
2770
2771 Severity   : minor
2772 Frequency  : always
2773 Bugzilla   : 9942
2774 Description: Inode refcounting problems in NFS export code
2775 Details    : link_raw functions used to call d_instantiate without obtaining
2776              extra inode reference first.
2777
2778 Severity   : minor
2779 Frequency  : rare
2780 Bugzilla   : 9942, 9903
2781 Description: Referencing freed requests leading to crash, memleaks with NFS.
2782 Details    : We used to require that call to ll_revalidate_it was always
2783              followed by ll_lookup_it. Also with revalidate_special() it is
2784              possible to call ll_revalidate_it() twice for the same dentry
2785              even if first occurence returned success. This fix changes semantic
2786              between DISP_ENQ_COMPLETE disposition flag to mean there is extra
2787              reference on a request referred from the intent.
2788              ll_intent_release() then releases such a request.
2789
2790 Severity   : minor
2791 Frequency  : rare, normally benchmark loads only
2792 Bugzilla   : 1443
2793 Description: unlinked inodes were kept in memory on the client
2794 Details    : If a client is repeatedly creating and unlinking files it
2795              can accumulate a lot of stale inodes in the inode slab cache.
2796              If there is no other client load running this can cause the
2797              client node to run out of memory.  Instead flush old inodes
2798              from client cache that have the same inode number as a new inode.
2799
2800 Severity   : minor
2801 Frequency  : SLES9 2.6.5 kernel and long filenames only
2802 Bugzilla   : 9969, 10379
2803 Description: utime reports stale NFS file handle
2804 Details    : SLES9 uses out-of-dentry names in some cases, which confused
2805              the lustre dentry revalidation.  Change it to always use the
2806              in-dentry qstr.
2807
2808 Severity   : major
2809 Frequency  : rare, unless heavy write-truncate concurrency is continuous
2810 Bugzilla   : 4180, 6984, 7171, 9963, 9331
2811 Description: OST becomes very slow and/or deadlocked during object unlink
2812 Details    : filter_destroy() was holding onto the parent directory lock
2813              while truncating+unlinking objects.  For very large objects this
2814              may block other threads for a long time and slow overall OST
2815              responsiveness.  It may also be possible to get a lock ordering
2816              deadlock in this case, or run out of journal credits because of
2817              the combined truncate+unlink.  Solution is to do object truncate
2818              first in one transaction without parent lock, and then do the
2819              final unlink in a new transaction with the parent lock.  This
2820              reduces the lock hold time dramatically.
2821
2822 Severity   : major
2823 Frequency  : rare, 2.4 kernels only
2824 Bugzilla   : 9967
2825 Description: MDS or OST cleanup may trip kernel BUG when dropping kernel lock
2826 Details    : mds_cleanup() and filter_cleanup() need to drop the kernel lock
2827              before unmounting their filesystem in order to avoid deadlock.
2828              The kernel_locked() function in 2.4 kernels only checks whether
2829              the kernel lock is held, not whether it is this process that is
2830              holding it as 2.6 kernels do.
2831
2832 Severity   : major
2833 Frequency  : rare
2834 Bugzilla   : 9635
2835 Description: MDS or OST may oops/LBUG if a client is connecting multiple times
2836 Details    : The client ptlrpc code may be trying to reconnect to a down
2837              server before a previous connection attempt has timed out.
2838              Increase the reconnect interval to be longer than the connection
2839              timeout interval to avoid sending duplicate connections to
2840              servers.
2841
2842 Severity   : minor
2843 Frequency  : echo_client brw_test command
2844 Bugzilla   : 9919
2845 Description: fix echo_client to work with OST preallocated code
2846 Details    : OST preallocation code (5137) didn't take echo_client IO path
2847              into account: echo_client calls filter methods outside of any
2848              OST thread and, hence, there is no per-thread preallocated
2849              pages and buffers to use. Solution: hijack pga pages for IO. As
2850              a byproduct, this avoids unnecessary data copying.
2851
2852 Severity   : minor
2853 Frequency  : rare
2854 Bugzilla   : 3555, 5962, 6025, 6155, 6296, 9574
2855 Description: Client can oops in mdc_commit_close() after open replay
2856 Details    : It was possible for the MDS to return an open request with no
2857              transaction number in mds_finish_transno() if the client was
2858              evicted, but without actually returning an error.  Clients
2859              would later try to replay that open and may trip an assertion
2860              Simplify the client close codepath, and always return an error
2861              from the MDS in case the open is not successful.
2862
2863 Severity   : major
2864 Frequency  : rare, 2.6 OSTs only
2865 Bugzilla   : 10076
2866 Description: OST may deadlock under high load on fragmented files
2867 Details    : If there was a heavy load and highly-fragmented OST filesystems
2868              it was possible to have all the OST threads deadlock waiting on
2869              allocation of biovecs, because the biovecs were not released
2870              until the entire RPC IO was completed.  Instead, release biovecs
2871              as soon as they are complete to ensure forward IO progress.
2872
2873 Severity   : enhancement
2874 Bugzilla   : 9578
2875 Description: Support for specifying external journal device at mount
2876 Details    : If an OST or MDS device is formatted with an external journal
2877              device, this device major/minor is stored in the ext3 superblock
2878              and may not be valid for failover.  Allow detecting and
2879              specifying the external journal at mount time.
2880
2881 Severity   : major
2882 Frequency  : rare
2883 Bugzilla   : 10235
2884 Description: Mounting an MDS with pending unlinked files may cause oops
2885 Details    : target_finish_recovery() calls mds_postrecov() which returned
2886              the number of orphans unlinked. mds_lov_connect->mds_postsetup()
2887              considers this an error and immediately begins cleaning up the
2888              lov, just after starting the mds_lov process
2889
2890 Severity   : enhancement
2891 Bugzilla   : 9461
2892 Description: Implement 'lfs df' to report actual free space on per-OST basis
2893 Details    : Add sub-command 'df' on 'lfs' to report the disk space usage of
2894              MDS/OSDs. Usage: lfs df [-i][-h]. Command Options: '-i' to report
2895              usage of objects; '-h' to report in human readable format.
2896
2897 ------------------------------------------------------------------------------
2898
2899 08-26-2005  Cluster File Systems, Inc. <info@clusterfs.com>
2900        * version 1.4.5
2901        * bug fixes
2902
2903 Severity   : major
2904 Frequency  : rare
2905 Bugzilla   : 7264
2906 Description: Mounting an ldiskfs file system with mballoc may crash OST node.
2907 Details    : ldiskfs mballoc code may reference an uninitialized buddy struct
2908              at startup during orphan unlinking.  Instead, skip buddy update
2909              before setup, as it will be regenerated after recovery is complete.
2910
2911 Severity   : minor
2912 Frequency  : rare
2913 Bugzilla   : 7039
2914 Description: If an OST is inactive, its locks might reference stale inodes.
2915 Details    : lov_change_cbdata() must iterate over all namespaces, even if
2916              they are inactive to clear inode references from the lock.
2917
2918 Severity   : enhancement
2919 Frequency  : occasional, if non-standard max_dirty_mb used
2920 Bugzilla   : 7138
2921 Description: Client will block write RPCs if not enough grant
2922 Details    : If a client has max_dirty_mb smaller than max_rpcs_in_flight,
2923              then the client will block writes while waiting for another RPC
2924              to complete instead of consuming its dirty limit.  With change
2925              we get improved performance when max_dirty_mb is small.
2926
2927 Severity   : enhancement
2928 Bugzilla   : 3389, 6253
2929 Description: Add support for supplementary groups on the MDS.
2930 Details    : The MDS has an upcall /proc/fs/lustre/mds/{mds}/group_upcall
2931              (set to /usr/sbin/l_getgroups if enabled) which will do MDS-side
2932              lookups for user supplementary groups into a cache.
2933
2934 Severity   : minor
2935 Bugzilla   : 7278
2936 Description: O_CREAT|O_EXCL open flags in liblustre always return -EEXIST
2937 Details    : Make libsysio to not enforce O_EXCL by clearing the flag,
2938              for liblustre O_EXCL is enforced by MDS.
2939
2940 Severity   : minor
2941 Bugzilla   : 6455
2942 Description: readdir never returns NULL in liblustre.
2943 Details    : Corrected llu_iop_getdirentries logic, to return offset of next
2944              dentry in struct dirent.
2945
2946 Severity   : minor
2947 Bugzilla   : 7137
2948 Frequency  : liblustre only, depends on application IO pattern
2949 Description: liblustre clients evicted if not contacting servers
2950 Details    : Don't put liblustre clients into the ping_evictor list, so
2951              they will not be evicted by the pinger ever.
2952
2953 Severity   : enhancement
2954 Bugzilla   : 6902
2955 Description: Add ability to evict clients by NID from MDS.
2956 Details    : By echoing "nid:$NID" string into
2957              /proc/fs/lustre/mds/.../evict_client client with nid that equals to
2958              $NID would be instantly evicted from this MDS and from all active
2959              OSTs connected to it.
2960
2961 Severity   : minor
2962 Bugzilla   : 7198
2963 Description: Do not query file size twice, somewhat slowing stat(2) calls.
2964 Details    : lookup_it_finish() used to query file size from OSTs that was not
2965              needed.
2966
2967 Severity   : minor
2968 Bugzilla   : 6237
2969 Description: service threads change working directory to that of init
2970 Details    : Starting lustre service threads may pin the working directory
2971              of the parent thread, making that filesystem busy.  Threads
2972              now change to the working directory of init to avoid this.
2973
2974 Severity   : minor
2975 Bugzilla   : 6827
2976 Frequency  : during shutdown only
2977 Description: shutdown with a failed MDS or OST can cause unmount to hang
2978 Details    : Don't resend DISCONNECT messages in ptlrpc_disconnect_import()
2979              if server is down.
2980
2981 Severity   : minor
2982 Bugzilla   : 7331
2983 Frequency  : 2.6 only
2984 Description: chmod/chown may include an extra supplementary group
2985 Details    : ll{,u}_mdc_pack_op_data() does not properly initialize the
2986              supplementary group and if none is specified this is used.
2987
2988 Severity   : minor
2989 Bugzilla   : 5479 (6816)
2990 Frequency  : rare
2991 Description: Racing open + rm can assert client in mdc_set_open_replay_data()
2992 Details    : If lookup is in progress on a file that is unlinked we might try
2993              to revalidate the inode and fail in revalidate after lookup is
2994              complete and ll_file_open() enqueues the open again but
2995              it_open_error() was not checking DISP_OPEN_OPEN errors correctly.
2996
2997 Severity   : minor
2998 Frequency  : always, if lconf --abort_recovery used
2999 Bugzilla   : 7047
3000 Description: lconf --abort_recovery fails with 'Operation not supported'
3001 Details    : lconf was attempting to abort recovery on the MDT device and not
3002              the MDS device
3003
3004 ------------------------------------------------------------------------------
3005
3006 2005-08-08  Cluster File Systems, Inc. <info@clusterfs.com>
3007        * version 1.4.4
3008        * bug fixes
3009
3010 Severity   : major
3011 Frequency  : rare (only unsupported configurations with a node running as an
3012              OST and a client)
3013 Bugzilla   : 6514, 5137
3014 Description: Mounting a Lustre file system on a node running as an OST could
3015              lead to deadlocks
3016 Details    : OSTs now preallocates memory needed to write out data at
3017              startup, instead of when needed, to avoid having to
3018              allocate memory in possibly low memory situations.
3019              Specifically, if the file system is mounted on on OST,
3020              memory pressure could force it to try to write out data,
3021              which it needed to allocate memory to do.  Due to the low
3022              memory, it would be unable to do so and the node would
3023              become unresponsive.
3024
3025 Severity   : enhancement
3026 Bugzilla   : 7015
3027 Description: Addition of lconf --service command line option
3028 Details    : lconf now accepts a '--service <arg>' option, which is
3029              shorthand for 'lconf --group <arg> --select <arg>=<hostname>'
3030
3031 Severity   : enhancement
3032 Bugzilla   : 6101
3033 Description: Failover mode is now the default for OSTs.
3034 Details    : By default, OSTs will now run in failover mode.  To return to
3035              the old behaviour, add '--failout' to the lmc line for OSTs.
3036
3037 Severity   : enhancement
3038 Bugzilla   : 1693
3039 Description: Health checks are now provided for MDS and OSTs
3040 Details    : Additional detailed health check information on MSD and OSTs
3041              is now provided through the procfs health_check value.
3042
3043 Severity   : minor
3044 Frequency  : occasional, depends on IO load
3045 Bugzilla   : 4466
3046 Description: Disk fragmentation on the OSTs could eventually cause slowdowns
3047              after numerous create/delete cycles
3048 Details    : The ext3 inode allocation policy would not allocate new inodes
3049              very well on the OSTs because there are no new directories
3050              being created.  Instead we look for groups with free space if
3051              the parent directories are nearly full.
3052
3053 Severity   : major
3054 Bugzilla   : 6302
3055 Frequency  : rare
3056 Description: Network or server problems during mount may cause partially
3057              mounted clients instead of returning an error.
3058 Details    : The config llog parsing code may overwrite the error return
3059              code during mount error handling, returning success instead
3060              of an error.
3061
3062 Severity   : minor
3063 Bugzilla   : 6422
3064 Frequency  : rare
3065 Description: MDS can fail to allocate large reply buffers
3066 Details    : After long uptimes the MDS can fail to allocate large reply
3067              buffers (e.g. zconf client mount config records) due to memory
3068              fragmentation or consumption by the buffer cache.  Preallocate
3069              some large reply buffers so that these replies can be sent even
3070              under memory pressure.
3071
3072 Severity   : minor
3073 Bugzilla   : 6266
3074 Frequency  : rare (liblustre)
3075 Description: fsx running with liblustre complained that using truncate() to
3076              extend the file doesn't work.  This patch corrects that issue.
3077 Details    : This is the liblustre equivalent of the fix for bug 6196.  Fixes
3078              ATTR_SIZE and lsm use in llu_setattr_raw.
3079
3080 Severity   : critical
3081 Bugzilla   : 6866
3082 Frequency  : rare, only 2.6 kernels
3083 Description: Unusual file access patterns on the MDS may result in inode
3084              data being lost in very rare circumstances.
3085 Details    : Bad interaction between the ea-in-inode patch and the "no-read"
3086              code in the 2.6 kernel caused the inode and/or EA data not to
3087              be read from disk, causing single-file corruption.
3088
3089 Severity   : critical
3090 Bugzilla   : 6998
3091 Frequency  : rare, only 2.6 filesystems using extents
3092 Description: Heavy concurrent write and delete load may cause data corruption.
3093 Details    : It was possible under high-load situations to have an extent
3094              metadata block in the block device cache from a just-unlinked
3095              file overwrite a newly-allocated data block.  We now unmap any
3096              metadata buffers that alias just-allocated data blocks.
3097
3098 Severity   : minor
3099 Bugzilla   : 7241
3100 Frequency  : filesystems with default stripe_count larger than 77
3101 Description: lconf+mke2fs fail when formatting filesystem with > 77 stripes
3102 Details    : lconf specifies an inode size of 4096 bytes when the default
3103              stripe_count is larger than 77.  This conflicts with the default
3104              inode density of 1 per 4096 bytes.  Allocate smaller inodes in
3105              this case to avoid pinning too much memory for large EAs.
3106
3107 ------------------------------------------------------------------------------
3108
3109 2005-07-07  Cluster File Systems, Inc. <info@clusterfs.com>
3110        * version 1.4.3
3111        * bug fixes
3112
3113 Severity   : minor
3114 Frequency  : rare (extremely heavy IO load with hundreds of clients)
3115 Bugzilla   : 6172
3116 Description: Client is evicted, gets IO error writing to file
3117 Details    : lock ordering changes for bug 5492 reintroduced bug 3267 and
3118              caused clients to be evicted for AST timeouts.  The fixes in
3119              bug 5192 mean we no longer need to have such short AST timeouts
3120              so ldlm_timeout has been increased.
3121
3122 Severity   : major
3123 Frequency  : occasional during --force or --failover shutdown under load
3124 Bugzilla   : 5949, 4834
3125 Description: Server oops/LBUG if stopped with --force or --failover under load
3126 Details    : a collection of import/export refcount and cleanup ordering
3127              issues fixed for safer force cleanup
3128
3129 Severity   : major
3130 Frequency  : only filesystems larger than 120 OSTs
3131 Bugzilla   : 5990, 6223
3132 Description: lfs getstripe would oops on a very large filesystem
3133 Details    : lov_getconfig used kfree on vmalloc'd memory
3134
3135 Severity   : minor
3136 Frequency  : only filesystems exporting via NFS to Solaris 10 clients
3137 Bugzilla   : 6242, 6243
3138 Description: reading from files that had been truncated to a non-zero size
3139              but never opened returned no data
3140 Details    : ll_file_read() reads zeros from no-object files to EOF
3141
3142 Severity   : major
3143 Frequency  : rare
3144 Bugzilla   : 6200
3145 Description: A bug in MDS/OSS recovery could cause the OSS to fail an assertion
3146 Details    : There's little harm in aborting MDS/OSS recovery and letting it
3147              try again, so I removed the LASSERT and return an error instead.
3148
3149 Severity   : enhancement
3150 Bugzilla   : 5902
3151 Description: New debugging infrastructure for tracking down data corruption
3152 Details    : The I/O checksum code was replaced to: (a) control it at runtime,
3153              (b) cover more of the client-side code path, and (c) try to narrow
3154              down where problems occurred
3155
3156 Severity   : major
3157 Frequency  : rare
3158 Bugzilla   : 3819, 4364, 4397, 6313
3159 Description: Racing close and eviction MDS could cause assertion in mds_close
3160 Details    : It was possible to get multiple mfd references during close and
3161              client eviction, leading to one thread referencing a freed mfd.
3162
3163 Severity:  : enhancement
3164 Bugzilla   : 3262, 6359
3165 Description: Attempts to reconnect to servers are now more aggressive.
3166 Details    : This builds on the enhanced upcall-less recovery that was added
3167              in 1.4.2.  When trying to reconnect to servers, clients will
3168              now try each server in the failover group every 10 seconds.  By
3169              default, clients would previously try one server every 25 seconds.
3170
3171 Severity   : major
3172 Frequency  : rare
3173 Bugzilla   : 6371
3174 Description: After recovery, certain operations trigger a failed
3175              assertion on a client.
3176 Details    : Failing over an mds, using lconf -d --failover, while a
3177              client was doing a readdir() call would cause the client to
3178              LBUG after recovery completed and the readdir() was resent.
3179
3180 Severity   : enhancement
3181 Bugzilla   : 6296
3182 Description: Default groups are now added by lconf
3183 Details    : You can now run lconf --group <servicename> without having to
3184              manually add groups with lmc.
3185
3186 Severity   : major
3187 Frequency  : occasional
3188 Bugzilla   : 6412
3189 Description: Nodes with an elan id of 0 trigger a failed assertion
3190
3191 Severity   : minor
3192 Frequency  : always when accessing e.g. tty/console device nodes
3193 Bugzilla   : 3790
3194 Description: tty and some other devices nodes cannot be used on lustre
3195 Details    : file's private_data field is used by device data and lustre
3196              values in there got lost. New field was added to struct file to
3197              store fs-specific private data.
3198
3199 Severity   : minor
3200 Frequency  : when exporting Lustre via NFS
3201 Bugzilla   : 5275
3202 Description: NFSD failed occasionally when looking up a path component
3203 Details    : NFSD is looking up ".." which was broken in ext3 directories
3204              that had grown large enough to become hashed.
3205
3206 Severity   : minor
3207 Frequency  : Clusters with multiple interfaces not on the same subnet
3208 Bugzilla   : 5541
3209 Description: Nodes will repeatedly try to reconnect to an interface which it
3210              cannot reach and report an error to the log.
3211 Details    : Extra peer list entries will be created by lconf with some peers
3212              unreachable.  lconf now validates the peer before adding it.
3213
3214 Severity   : major
3215 Frequency  : Only if a default stripe is set on the filesystem root.
3216 Bugzilla   : 6367
3217 Description: Setting a default stripe on the filesystem root prevented the
3218              filesystem from being remounted.
3219 Details    : The client was sending extra request flags in the root getattr
3220              request and did not allocate a reply buffer for the dir EA.
3221
3222 Severity   : major
3223 Frequency  : occasional, higher if lots of files are accessed by one client
3224 Bugzilla   : 6159, 6097
3225 Description: Client trips assertion regarding lsm mismatch/magic
3226 Details    : While revalidating inodes the VFS looks up inodes with ifind()
3227              and in rare cases can find an inode that is being freed.
3228              The ll_test_inode() code will free the lsm during ifind()
3229              when it finds an existing inode and then the VFS later attaches
3230              this free lsm to a new inode.
3231
3232 Severity   : major
3233 Frequency  : rare
3234 Bugzilla   : 6422, 7030
3235 Description: MDS deadlock between mkdir and client eviction
3236 Details    : Creating a new file via mkdir or mknod (starting a transaction
3237              and getting the ns lock) can deadlock with client eviction
3238              (gets ns lock and trying to finish a synchronous transaction).
3239
3240 Severity   : minor
3241 Frequency  : occasional
3242 Description: While starting a server, the fsfilt_ext3 module could not be
3243              loaded.
3244 Details    : CFS's improved ext3 filesystem is named ldiskfs for 2.6
3245              kernels.  Previously, lconf would still use the ext3 name
3246              when trying to load modules.  Now, it will correctly use
3247              ext3 on 2.4 and ldiskfs on 2.6.
3248
3249 Severity   : enhancement
3250 Description: The default stripe count has been changed to 1
3251 Details    : The interpretation of the default stripe count (0, to lfs
3252              or lmc) has been changed to mean striping across a single
3253              OST, rather than all available.  For general usage we have
3254              found a stripe count of 1 or 2 works best.
3255
3256 Severity   : enhancement
3257 Description: Add support for compiling against Cray portals.
3258 Details    : Conditional compiling for some areas that are different
3259              on Cray Portals.
3260
3261 Severity   : major
3262 Frequency  : occasional
3263 Bugzilla   : 6409, 6834
3264 Description: Creating files with an explicit stripe count may lead to
3265              a failed assertion on the MDS
3266 Details    : If some OSTs are full or unavailable, creating files may
3267              trigger a failed assertion on the MDS.  Now, Lustre will
3268              try to use other servers or return an error to the
3269              client.
3270
3271 Severity   : minor
3272 Frequency  : occasional
3273 Bugzilla   : 6469
3274 Description: Multiple concurrent overlapping read+write on multiple SMP nodes
3275              caused lock timeout during readahead (since 1.4.2).
3276 Details    : Processes doing readahead might match a lock that hasn't been
3277              granted yet if there are overlapping and conflicting lock
3278              requests.  The readahead process waits on ungranted lock
3279              (original lock is CBPENDING), while OST waits for that process
3280              to cancel CBPENDING read lock and eventually evicts client.
3281
3282 Severity   : enhancement
3283 Bugzilla   : 6931
3284 Description: Initial enabling of flock support for clients
3285 Details    : Implements fcntl advisory locking and file status functions.
3286              This feature is provided as an optional mount flag (default
3287              off), and is NOT CURRENTLY SUPPORTED.  Not all types of record
3288              locking are implemented yet, and those that are are not guaranteed
3289              to be completely correct in production environments.
3290              mount -t lustre -o [flock|noflock] ...
3291
3292 Severity   : major
3293 Frequency  : occasional
3294 Bugzilla   : 6198
3295 Description: OSTs running 2.4 kernels but with extents enabled might trip an
3296              assertion in the ext3 JBD (journaling) layer.
3297 Details    : The b_committed_data struct is protected by the big kernel lock
3298              in 2.4 kernels, serializing journal_commit_transaction() and
3299              ext3_get_block_handle->ext3_new_block->find_next_usable_block()
3300              access to this struct.  In 2.6 kernels there is finer grained
3301              locking to improve SMP performance of the JBD layer.
3302
3303 Severity   : minor
3304 Bugzilla   : 6147
3305 Description: Changes the "SCSI I/O Stats" kernel patch to default to "enabled"
3306
3307 Severity   : Minor
3308 Frequency  : Rare
3309 Bugzilla   : 11248
3310 Description: merge and cleanup kernel patches.
3311 Details    : 
3312
3313 -----------------------------------------------------------------------------
3314
3315 2005-05-05  Cluster File Systems, Inc. <info@clusterfs.com>
3316        * version 1.4.2
3317        NOTE: Lustre 1.4.2 uses an incompatible network protocol than previous
3318              versions of Lustre.  Please update all servers and clients to
3319              version 1.4.2 or later at the same time.  You must also run
3320              "lconf --write-conf {config}.xml" on the MDS while it is stopped
3321              to update the configuration logs.
3322        * bug fixes
3323         - fix for HPUX NFS client breakage when NFS exporting Lustre (5781)
3324         - mdc_enqueue does not need max_mds_easize request buffer on send (5707)
3325         - swab llog records of type '0' so we get proper header size/idx (5861)
3326         - send llog cancel req to DLM cancel portal instead of cb portal (5515)
3327         - fix rename of one directory over another leaking an inode (5953)
3328         - avoid SetPageDirty on 2.6 (5981)
3329         - don't re-add just-being-destroyed locks to the waiting list (5653)
3330         - when creating new directories, inherit the parent's custom
3331           striping settings if present parent (3048)
3332         - flush buffers from cache before direct IO in 2.6 obdfilter (4982)
3333         - don't hold i_size_sem in ll_nopage() and ll_ap_refresh_count (6077)
3334         - don't hold client locks on temporary worklist from l_lru (5666)
3335         - handle IO errors in 2.6 obdfilter bio completion routine (6046)
3336         - automatically evict dead clients (5921)
3337         - Update file size properly in create+truncate+fstat case (6196)
3338         - Do not unhash mountpoint dentries, do not allow removal of
3339           mountpoints (5907)
3340         - Avoid lock ordering deadlock issue with write/truncate (6203,5654)
3341         - reserve enough journal credits in fsfilt_start_log for setattr (4554)
3342         - ldlm_enqueue freed-export error path would always LBUG (6149,6184)
3343         - don't reference lr_lvb_data until after we hold lr_lvb_sem (6170)
3344         - don't overwrite last_rcvd if there is a *_client_add() error (6086)
3345         - Correctly handle reads of files with no objects (6243)
3346         - lctl recover will also mark a device active if deactivate used (5933)
3347         * miscellania
3348         - by default create 1 inode per 4kB space on MDS, per 16kB on OSTs
3349         - allow --write-conf on an MDS with different nettype than client (5619)
3350         - don't write config llogs to MDS for mounts not from that MDS (5617)
3351         - lconf should create multiple TCP connections from a client (5201)
3352         - init scripts are now turned off by default; run chkconfig --on
3353           lustre and chkconfig --on lustrefs to use them
3354         - upcalls are no longer needed for clients to recover to failover
3355           servers (3262)
3356         - add --abort-recovery option to lconf to abort recovery on device
3357           startup (6017)
3358         - add support for an arbitrary number of OSTs (3026)
3359         - Quota support protocol changes.
3360         - forward compatibility changes to wire structs (6007)
3361         - rmmod NALs that might be loaded because of /etc/modules.conf (6133)
3362         - support for mountfsoptions and clientoptions to the Lustre LDAP (5873)
3363         - improved "lustre status" script
3364         - initialize blocksize for non-regular files (6062)
3365         - added --disable-server and --disable-client configure options (5782)
3366         - introduce a lookup cache for lconf to avoid repeated DB scans (6204)
3367         - Vanilla 2.4.29 support
3368         - increase maximum number of obd devices to 520 (6242)
3369         - remove the tcp-zero-copy patch from the suse-2.4 series (5902)
3370         - Quadrics Elan drivers are now included for the RHEL 3 2.4.21 and
3371           SLES 9 2.6.5 kernels
3372         - limit stripes per file to 160 (the maximum EA size) (6093)
3373
3374 2005-03-22  Cluster File Systems, Inc. <info@clusterfs.com>
3375        * version 1.4.1
3376        * bug fixes
3377         - don't LASSERT in ll_release on NULL lld with NFS export (4655, 5760)
3378         - hold NS lock when calling handle_ast_error->del_waiting_lock (5746)
3379         - fix setattr mtime regression from lovcleanup merge (4829, 5669)
3380         - workaround for 2.6 crash in ll_unhash_aliases (5687, 5210)
3381         - small ext3 extents cleanups and fixes (5733)
3382         - improved mballoc code, several small races and bugs fixed (5733, 5638)
3383         - kernel version 43 - fix remove_suid bugs in both 2.4 and 2.6 (5695)
3384         - avoid needless client->OST connect, fix handle mismatch (5317)
3385         - fix DLM error path that led to out-of-sync client, long delays (5779)
3386         - support common vfs-enforced mount options (nodev,nosuid,noexec) (5637)
3387         - fix several locking issues related to i_size (5492,5624,5654,5672)
3388         - don't move pending lock onto export if it is already evicted (5683)
3389         - fix kernel oops when creating .foo in unlinked directory (5548)
3390         - fix deadlock in obdfilter statistics vs. object create (5811)
3391         - use time_{before,after} to avoid timer jiffies wrap (5882)
3392         - shutdown --force/--failover stability (3607,3651,4797,5203,4834)
3393         - Do not leak request if server was not able to process it (5154)
3394         - If mds_open unable to find parent dir, make that negative lookup(5154)
3395         - don't create new directories with extent-mapping (5909, 5936)
3396        * miscellania
3397         - fix lustre/lustrefs init scripts for SuSE (patch from Scali, 5702)
3398         - don't hold the pinger_sem in ptlrpc_pinger_sending_on_import
3399         - change obd_increase_kms to obd_adjust_kms (up or down) (5654)
3400         - lconf, lmc search both /usr/lib and /usr/lib64 for Python libs (5800)
3401         - support for RHEL4 kernel on i686 (5773)
3402         - provide error messages when incompatible logs are encountered (5898)
3403
3404 2005-02-18  Cluster File Systems, Inc. <info@clusterfs.com>
3405        * version 1.4.0.10 (1.4.1 release candidate 1)
3406        * bug fixes
3407         - don't keep a lock reference when lock is not granted (4238)
3408         - unsafe list practices (rarely) led to infinite eviction loop (4908)
3409         - add per-fs limit of Lustre pages in page cache, avoid OOM (4699)
3410         - drop import inflight refcount on signal_completed_replay error (5255)
3411         - unlock page after async write error during send (3677)
3412         - handle missing objects in filter_preprw_read properly (5265)
3413         - no transno return for symlink open, don't save no-trasno open (3440)
3414         - don't try to complete elan receive that already failed (4012)
3415         - free RPC server reply state&nb