Land changes to the read-ahead algorithm improving its behavior for random
reads:

 - always try to read-ahead at least file region that will be read by read(2)
   call.

 - try to detect random reads, and avoid excessive read-ahead in that case.

b=6252
r=adilger

A script to run kernel builds as a benchmark.

Branch b1_4
Fix liblustre sanity unaligned write test.  Was previously not really testing
the 1TB write offset because of 32-bit lseek offset truncation.
b=7279

use local variable

Branch b1_4
Add support for F_{GET,SET}LK{,W}64 to fcntl because the t23() use of
_FILE_OFFSET_BITS=64 caused these macros to be changed in the header.
b=7279

Branch b1_4
Use 64-bit variable for libsysio lseek64() internal return value.
Update liblustre sanity.c to use 64-bit IO functions where needed.
b=7279

Branch b1_4
Move ChangeLog comment to end of 1.4.6 release notes.
Fix CFS_PAGE_MASK for extent start in ost_get_extent_lock().
Add LDLM_FL_CBPENDING for all granted liblustre extent locks.
Add OBD_CONNECT_SRVLOCK for OST only.
Add misc comments from final patch.
b=7311
r=nikita (original patch)

version of 7311 fix, tested by Cray, with few minor modifications from newer
not-yet tested version:

 - comments;

 - uninitialized .l_extent in lustre_build_lock_params();

 - extent lock boundaries are better to be page aligned in ost_brw_lock_get().

b=7311
r=adilger

Branch b1_4
Update liblustre 2GB lseek test to also do SEEK_SET 0 afterward (per bug).
I'm unable to reproduce a problem with this test on 2.6.9.
b=7279

Branch: b1_4
b=7313
r=adilger

Allow locks flagged in a certain way (used by liblustre) to be cancelled without
waiting for reply from client.
This is a prototype version of code. We land it so that it will get into next
code drop to Cray.

Branch b1_4
Remove lower limit on ldlm_timeout value for liblustre.  Tested at Sandia.
b=7201

b=5781
r=adilger (original patch)

Severity   : minor
Frequency  : rare (only HPUX clients mounting unsupported re-exported NFS vol)
Bugzilla   : 5781
Description: an HPUX NFS client would get -EACCESS when ftruncate()ing a newly
             created file with mode 000
Details    : the Linux NFS server relies on an MDS_OPEN_OWNEROVERRIDE hack to
     allow an ftruncate() as a non-root user to a file with mode 000.
     Lustre now respects this flag to disable mode checks when
     truncating a file owned by the user

Branch b1_4
Compatibility for 2.6.12 kernel.
b=6864

Branch b1_4
Don't enable full debug for liblustre testing.

Branch b1_4
Always hold obd_dev_lock when manipulating obd_exports_timed or
exp_obd_chain_timed lists.  Found in code inspection, but not a cause of
bug 8322 (crash in ping evictor) as liblustre is not involved.
b=8322

add explicit atoll() declaration to keep gcc happy.

 - add command line option to random-reads to make multiple consecutive calls
   to read(2);

 - add random-reads to the Makefile;

 - add random-reads-based test to sanity.sh (test_101) to test how read-ahead
 algorithm handles seekful work-loads.

Branch: b1_4
Don't allocate zero'd memory so we write non-zero'd data to disk in test 23.
b=7279

Branch: b1_4
Add lseek() tests (t23) to liblustre sanity.c for bug 7279.
Test can be run without arguments if LIBLUSTRE_MOUNT_TARGET is set.
Allow running only a single test from sanity via "-o {number}" like sanity.sh.
b=7279

Branch b1_4
Added debugging for bad LOV EA detection.
Quiet spurious error for generation mismatch.
r=phil (original patch)

Branch b1_4
Description: doing an ls when liblustre clients are running is slow
Details    : sending a glimpse AST to a liblustre client waits for every AST
     to time out, as liblustre clients will not respond while they
     are processing.  Since they cannot cache data anyways we refresh
     the OST lock LVB from disk instead.
b=7198
r=phil, green (original patch)

Branch b1_4
Remove obsolete test script (this is covered by replay-single.sh anyways).

Branch b1_4
Description: specifying an (invalid) directory default stripe_size of -1
     would reset the directory default striping
Details    : stripe_size -1 was used internally to signal directory stripe
     removal, now use "all default" to signal dir stripe removal
     as a directory striping of "all default" is not useful
b=7328
r=green

Branch b1_4
Description: Tuning the MDC DLM LRU size to zero triggers client LASSERT
Details    : llu_lookup_finish_locks() tries to set lock data on a lock
     after it has been released, only do this for referenced locks.
     Tested by bogl.
b=7201 (b=7350)
r=green

Branch b1_4
Description: liblustre could not open files whose last component is a symlink
Details    : sysio_path_walk() would incorrectly pass the open intent to
     intermediate path components.
b=6363
r=oleg, lee, devesh

Branch b1_4
Description: Fix for potential infinite loop processing records in an llog.
Details    : If an llog record is corrupted/zeroed, it is possible to loop
             forever in llog_process().  Validate the llog record length
             and skip the remainder of the block on an invalid value.
b=7359

Branch b1_4
Quiet some overly noisy debug messages.

b=8320
r=phil (HP's patch)
Severity   : minor
Frequency  : rare
Bugzilla   : 8320
Description: lconf incorrectly determined whether two IP networks could talk
Details    : In some more complicated routing and multiple-network
     configurations, lconf will avoid trying to make a network
     connection to a disjoint part of the IP space.  It was doing the
     math incorrectly for one set of cases.

Branch b1_4
Add more debugging to LASSERT.
b=5359
r=phil (original patch)

Branch b1_4
Remove final vestiges of "groups_upcall".  Verified that lmc with:

MDSOPT="--group_upcall=$PWD/../utils/l_getgroups" sh llmount.sh

will create a .xml file with group_upcall stanza and lconf configures
this properly.  Previously only tested with "lconf --group_upcall=...".
b=9259

Branch b1_4
Add documentation for the supplementary group upcall in lmc docs.
Fix minor inconsistency between lmc and lconf usage.
b=9259

b=7278
reference the bug number in the comment that was added

Branch b1_4
Remove ialloc patch from fc3 kernel series, it should be (and is) in ldiskfs.
r=nathan

Branch b1_4
Description: 2.6 OST async journal commit and locking fix to improve performance
Details    : The filter_direct_io()+filter_commitrw_write() journal commits for
             2.6 kernels are now async as they already were in 2.4 kernels so
             that they can commit concurrently with the network bulk transfer.
             For block-allocated files the filter allocation semaphore is held
             to avoid filesystem fragmentation during allocation.  BKL lock
     removed for 2.6 xattr operations where it is no longer needed.
b=7116
r=alex, tested at HP

Branch b1_4
b=none
r=adilger
Add/fix error messages for failing to mount

commited patch submitted to bug 5649 which checks return code from 'losetup'.

Land b_release_1_4_5 onto b1_4 (20050830_1747)

handle running from numbered RC scripts, and exit if no configuration is present

Branch b1_4
Disable test 27 (fail LOV while using OSCs) as it is constantly failing
since we enabled failover OSTs by default.
b=7288

Branch b1_4
Description: Running on many-way SMP OSTs can trigger oops in llcd_send()
Details    : A race between allocating a new llcd and re-getting the llcd_lock
             in llcd_grab() allowed another thread to get the newly-allocated
     llcd.  Re-check that the list has an llcd in it before proceeding.
     Make the llcd size small enough that it fits into a single page
     when we are sending/receiving it.
b=7407

add new testing proglet random-reads.c to benchmark bug 6252 fix.

random-reads.c randomly reads chunks of given size from the given file. See
"random-reads -h" for (ridiculously incomplete) help.

Branch b1_4
Add dump_on_timeout support for client eviction.

Branch b1_4
Fix "service lustre status" on OST_only hosts.
b=7396

Branch b1_4
Remove request for log files, we have some now.
b=5195

Branch b1_4
Fix patch names.

Branch b1_4
Add some extra checks to recursive symlink test.
b=7022

Branch b1_4
Update the kernel patch version for SLES9 kernels.
To be consistent, we revert the old version and apply whatever
the current version is.

Branch b1_4
Description: Racing open + rm can assert client in mdc_set_open_replay_data()
Details    : If lookup is in progress on a file that is unlinked we might try
             to revalidate the inode and fail in revalidate after lookup is
             complete and ll_file_open() enqueues the open again but
             it_open_error() was not checking DISP_OPEN_OPEN errors correctly.
b=5479 b=6816

Branch b1_4
Don't override existing ALWAYS_EXCEPT on 2.6.
b=7311

Branch b1_4
Description: chmod/chown may include an extra supplementary group
Details    : ll{,u}_mdc_pack_op_data() does not properly initialize the
             supplementary group and if none is specified this is used.
     Add check to mds_fix_attr() for only ATTR_GID being set.
b=7331

Branch b1_4
Quiet compiler warning for liblustre.

Branch b1_4
Fix valid compiler warning of unset variables.
b=7138

Branch b1_4
Frequency  : during shutdown only
Description: shutdown with a failed MDS or OST can cause unmount to hang
Details    : Don't resend DISCONNECT messages in ptlrpc_disconnect_import()
             if server is down.
b=6827

Guard against incorrect $RUNAS_ID shenanigans.

Branch b1_4
Don't add primary group to groups list twice.
b=7331

*   running on 2 GM nodes @ HP

Add warning to identify which UID is being used, if UID is not root.

Branch b1_4
Minor message cleanups.

Branch b1_4
NUMA CPU affinity patch for ext3 journal threads.  Not in any series yet.
r=eeb

This commit was manufactured by cvs2svn to create branch 'b1_4'.

fix for bug 4843

Add command-line switch to specify number of iterations.  Default is still
1000 loops.

Branch b1_4
Print units of jiffies in brw_stats output
b=7116

Branch b1_4
Fix swabbing of the total inodes count for big-endian clients.
r=behlendorf

Branch b1_4
Remove unused function, merge from HEAD.

Branch b1_4
Make iozone O_DIRECT and multi-thread tests separate.

Branch b1_4
Fix valid compile warning.
b=6902

Branch b1_4
Bump the minimal acceptable kernel patch version a bit.
This is low enough that a 1.2.4-patched kernel could still run 1.4 with
the caveats that any of the newer bugs wouldn't be fixed.
b=7255

Branch b1_4
Don't deref NULL dirent if allocation failure, merge from HEAD.

Branch b1_4
Description: service threads change working directory to that of init
Details    : Starting lustre service threads may pin the working directory
             of the parent thread, making that filesystem busy.  Threads
             now change to the working directory of init to avoid this.
b=6273

Branch: b1_4
b=7198
r=adilger

Do not double-query file size from OSTs during stat(2). This might slow
down things considerably if somebody actively writes to stat()ed files too.

fix incorrect python

Branch: b1_4
b=6902
r=adilger
Evict clients by NID from both MDS and active OSTs

Branch b1_4
Description: liblustre clients evicted if not contacting servers
Details    : Don't put liblustre clients into the ping_evictor list, so
             they will not be evicted by the pinger ever.  Tested by Sandia.
b=7137

b=6455
r=adilger

Correctly fill struct dirent, d_off there should hold offset to NEXT dir entry,
not current one.

b=7278
r=adilger
Trick libsysio not to enforce O_EXCL open flag. MDS will enforce it for us.

Branch b1_4
Fix now-incorrect check in test 42 since OSTs are failover and not failout.
b=7287

Branch b1_4
Disable test 67 for non-local MDS - it needs to know if there is a group
upcall, and we can't tell otherwise.

Branch b1_4
Allow setting ldlm_timeout smaller than 10s.
b=7201

Branch b1_4
Add check for NULL imp_conn_current.  It isn't clear whether this should
always be non-NULL (in which case locking is bad, though we can't really
expect to hold imp_lock over the whole operation) or whether it is OK
to handle the NULL case gracefully.
b=7269
r=jacob

fix dist

Land b1_4_bug3389 onto b1_4 (20050810_1124)
Description: Add support for supplementary groups on the MDS.
Details    : The MDS has an upcall /proc/fs/lustre/mds/{mds}/group_upcall
             (set to /usr/sbin/l_getgroups if enabled) which will do MDS-side
             lookups for user supplementary groups into a cache.
b=3389, b=6253
Description: Add support for compiling against Cray portals.
Details    : Conditional compiling for some areas that are different
             on Cray Portals.

Land b_release_1_4_4 onto b1_4 (20050810_0211)
Description: Heavy concurrent write and delete load may cause data corruption.
Details    : It was possible under high-load situations to have an extent
             metadata block in the block device cache from a just-unlinked
             file overwrite a newly-allocated data block.  We now unmap any
             metadata buffers that alias just-allocated data blocks.
b=6998

Description: lconf+mke2fs fail when formatting filesystem with > 77 stripes
Details    : lconf specifies an inode size of 4096 bytes when the default
             stripe_count is larger than 77.  This conflicts with the default
             inode density of 1 per 4096 bytes.  Allocate smaller inodes in
             this case to avoid pinning too much memory for large EAs.
b=7241

Branch b1_4
Make the "return grant" constant dependent upon RPC size, not hard coded.
Currently the values are the same.
b=7138

Branch b1_4
Description: Client will block write RPCs if not enough grant
Details    : If a client has max_dirty_mb smaller than max_rpcs_in_flight,
             then the client will block writes while waiting for another RPC
             to complete instead of consuming its dirty limit.  With change
             we get improved performance when max_dirty_mb is small.

Branch b1_4
Description: If an OST is inactive, its locks might reference stale inodes.
Details    : lov_change_cbdata() must iterate over all namespaces, even if
             they are inactive to clear inode references from the lock.
     Otherwise we get stale locks referencing random memory (possibly
     not even an inode) when the locks drop off the LRU.
b=7039
r=alex

Added an info() sub for non-warning, non-error messages, and modified
warning() as well.  Both now use stderr for output.

Branch b1_4
Description: Mounting an ldiskfs file system with mballoc may crash OST node.
Details    : ldiskfs mballoc code may reference an uninitialized buddy struct
             at startup during orphan unlinking.  Instead, skip buddy update
             before setup, as it will be regenerated after recovery is complete.
b=7264
r=alex

liblustre doesn't have PageLocked

Added warning message for change in stripe_cnt 0 policy

make it compilable when CONFIG_PTRACK is not defined (like on UML)

Branch b1_4
Update lmc documntation to match recent changes.
b=7140

Added 26f for testing removal of directory which contains recursive symlink.

assert that page is locked when IO is started by the osc layer

add description of struct ll_readahead_state fields

Branch b1_4
Add ext3-ialloc patch to Cray patch series, avoids poor inode placement and
filesystem fragmentation on the OSTs.
b=4466
r=alex

Branch b1_4
Allow the "created" parameter to be NULL.  We don't actually use this data
for anything, and the current obdfilter code just passes in a dummy array
to make the API happy.  This leads to confusion when modifying the code.
b=7049, b=6998

Branch b1_4
Description: Unusual file access patterns on the MDS may result in inode
             data being lost in very rare circumstances.
Details    : Bad interaction between the ea-in-inode patch and the "no-read"
             code in the 2.6 kernel caused the inode and/or EA data not to
             be read from disk, causing single-file corruption.
b=6866, b=6869
r=alex

remove unneeded argument

name the cluster using a sort list of node names