b=1614
r=phil

This bug fix was complicated by the fact that many code paths that
never had run now execute.  We changed intent error returns (already
committed), and error returns inside mds_open.

This includes a kernel fix but no version change, as I made it
backward compatible.

Fixes for open:
 - kernel passes FMODE_EXEC to lustre, which sends it to MDS
 - move all open/close code to mds_open.c, make almost everything static
 - arrange for allow/deny/get/put write access in mds
 - fix several problems with error handling in mds_dentry_open:
   - don't do a wrong mntput
   - do a dget for readability
 - add test to sanityN and sanity
 - simplify confusing permission checking in mds_open with helper

* each test is independent and cleans up after itself
* test_4: test an error replay

b=1505
r=shaver
- Remove confusing and uninteresting "lustre_commitd quitting" message
- downgrade the -ENOTCONN "processing error" message to D_HA from D_ERROR

add a simple liblustre sanity test script

Fix minor typo in error message.

- export some simple histograms that let us watch rpc concurrency and the
  number of pages in each rpc.  writing to the file clears them.

- trivially export some rpc/page stats from the osc so we can get some
  insight into how llite is driving it

- Landed b_multinet on b_llnl_devel

- Several minor changes so llnl can build rpms of the form:

       lustre-*-VERSION-RELEASE.i386.rpm; where VERSION is the CVS tag
       and RELEASE is the kernel is was built against.

  e.g. lustre-modules-llnl_1devel-2.4.18_p4smp_68chaos.i386.rpm

- I also started a LLNL_ChangeLog for the branch to track what patches we apply.

rebase b_qos on b_devel instead of b_ad

b=1598
Merge final read performance fix into b_devel

merge HEAD into b_devel:
 - fix for bug 1598
 - temporary flag-clearing until bug 974 is fixed
 - new GM nal

Improved replay-single.sh and replay-dual.sh

As best I could test, none of our tests were using stat.c, it was just
a convenient helper.  Because most of our installations have a broken
version of the 'stat' utility installed (it reports an incorrect block
size), I replaced stat.c with v3.3 of the stat utility.

various fixes liblustre: following the new llite
at this moment, many metadata can't work, and file i/o is tatally broken

add implementation of rbtree from linux.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

 - Fix build with rh 2.4.20 kernel series
r=phil
b=1663

Portals NAL for Myrinet GM2 for Lustre (lgmnal)

Fix for bug 1609 on CVS HEAD.

Fix ia64 O_DIRECT crash (bug 1609).
- don't send less than PAGE_SIZE O_DIRECT writes...  It appears that lustre
  or the VFS does not handle this properly.  This is the only time we send
  non-page-aligned writes.
- prepare_write() takes parameters "from" and "to", and not "offset" and "len"
  (this is real source of crash - we were not mapping a buffer in this case).

update changes of lookup_intent for hp kernel

* doh!  (thanks, mike)

* simple cleanups to get replay-single.sh to run again, also added
  a trap ERR.

make sanity and iozone run from llite over the lov in the new ocp
io model.
- add ocp_off to the ocp so the lov can remap it as it passes through
- fix up the page accounting a bit 'cause truncate doesn't really know
  right know to subtract pages from the dirty or io counts
- pass our completion struct, _not_ a pointer to the complete function
- make sure to always free the ocp in commit_write_sync
- disable the watermark io until it actually does something
- make sure to alter the filehandle/o_id as we pass through the lov
- initialize our loi bits in lov_unpackmd

- introduce tunables for the aggregate amount of cached data that llite will
  allow on a machine.  When we have more than 'dirty_high_water_MB' meg of
  data dirty we start async ocp io on the amount of data between the high
  water mark and 'dirty_low_water_MB'.  If we ever have more than
  'max_dirty_MB' we write synchronously in commit_write, batching with other
  dirty data in the inode.  these watermarks are checked every time we pass
  through commit_write and we account seperately for dirty pages and pages
  that are under io.

- add ocp_count to the ocp so that we can write partial pages at the end
  of the file.  make the callback func a proper type.

- remove iod.c, the few code paths we cared about in there are moved to
  rw{,24,26}.c

- turn off generic file read-ahead by setting filp->f_ramax to 0.

- have writepage and commit_write when writing sync use the plugging to batch
  their io with io started from other dirty pages in the inode's dirty list

- woops, missed a hardcoded '16'.  move to max_pags_per_rpc

There's still much to do.  The 2.6 side needs work on its many-page variants,
kiovec->bio, etc.  We need to actually start watermark io from the dirty inode
list.

Ensure OST objids are unique even after a crash by using the mount count as
a generation number.  Remove old "superhack" code.

Add a "force_sync" parameter to filter_update_server_data() and
fsfilt_write_record() so that we ensure the mount_count is safe on disk
when the OST has started.

b=294
r=phil

*  Optimized qswnal GETs use EKC rpcs to "teleport" payload (as far as
   portals is concerned).

*  allowed qswnal to have knowledge of lib_msg_t.

*  lib_fake_reply_msg() written to allow qswnal to create replies and
   deliver them in the normal fashion (with lib_finalize()).

- put in initial lov obd plug/async/unplug APIs.  for now its giving
  the stripe to the osc via an explicit loi argument.  this will be
  refactored when the refactoring described in 314 arrives.

- simple optimization for EXT3:
  ext3_write_super() doesn't need to start commit as kupdated wants. this
  improves things significantly in some cases

file ext3-no-write-super.pc was initially added on branch b_devel.

file ext3-no-write-super.patch was initially added on branch b_devel.

- minor changes in Andreas'es ext3 direct-io patch to be applicable for
  2.4.18-chaos
- ext3-o_direct-1-2.4.18-chaos.patch have been added to chaos-2.4.18 series

file ext3-o_direct-1-2.4.18-chaos.pc was initially added on branch b_devel.

file ext3-o_direct-1-2.4.18-chaos.patch was initially added on branch b_devel.

Config for 2-mounts-on-local-host-with LOV (currently not-usable until
bug 938 is fixed).

file mount2lov.sh was initially added on branch b_devel.

*  Merged b_devel updates

*  Portals MTU now 512K (honest)

*  lconf configures an EKC tunable on elan nodes to help bulk comms

- do not send unused uid and gid fields in mdc/mds update packets
- correctly handle subdirectories of sgid directories (owner set to
  parent id - test 6g added for this)
- fix for 1607 (test 19c)
- remove unused kernel configuration files

file kgdb_2.6.0_test1_vmware.config was initially added on branch b_devel.

b=1590, (partial 948):
   Stop flushing on close, and instead flush all outstanding client data
   atomically with the destruction of the final stripe.

   And when flushing for destroy, or other cases of truncate-to-zero, send a
   hint with the AST to indicate that dirty data should be discarded, instead of
   being written back.

   r=zab/phil

*  Guarded #define EXPORT_SYMTAB

*  Bit the bullet and #defined PTL_MTU
   NB currently defined in <portals/lib-types.h>; maybe should move...

Revert __attribute__((packed)) change, to preserve on-disk compatibility on
IA64 systems from before the change.  Will need to revisit for heterogeneous
IA64/IA32 clusters.

Import new ONLY/EXCEPT mechanism from sanity, and check in my trivial upcall.

file replay-single-upcall.sh was initially added on branch b_devel.

Jacob schooled me.

Signals are hard.

Add multi-operation microshell to aid in the testing of different replay
patterns.

file multiop.c was initially added on branch b_devel.

clobber b_filterio patches with those from b_devel.

Until future notice, kernel patches must be changed only on b_devel,
and only with permission.  Kernel patch conflicts can never be
resolved cleanly.

- add the /proc tunables to control the number of pages per rpc and the
  number of concurrent rpcs
- make sure to check to fire new rpcs as an rpc completes
- push the rpc concurrency checks into the right place
- rearrange the rpc firing logic so it doesn't get stuck :/

define the it_flags correctly

don't leak mcd when shutting down --failover

b=1600: my version of Andreas' patch to use write_record to ensure that the
        MDS server data is written at creation time
b=1597: cope with entering recovery/replay without a preceding timeout

We pass this initial single-node/single-mount replay test, yay.

Recovery test script for dual-mount testing.

file replay-dual.sh was initially added on branch b_devel.

- move the osc rpc managing thread into the osc and rename it appropriately
- osc_rpcd's set is internal to the osc instead of passed in
- evolve the temporary 'barrier' api into the proper 'plug/unplug'
- move the 'ocp' management helpers from llite into genops.c
- start and stop osc rpc thread based on the presence of osc imports
- give test_rbw/echo_client the ability to use plug/unplug
- mirror some of the b_filterio test_brw/echo_client changes
- add an osc_internal.h for the osc rpcd

file osc_rpcd.c was initially added on branch b_llpio.

file osc_internal.h was initially added on branch b_llpio.

Fix llobdstat usage message.

Use $(CC) instead of gcc (fixes cross compile build).

- backport a few name changes in the patches to 2.4.18
- include some new I/O functions.

file ext3-o_direct-1.patch was initially added on branch b_devel.

land b_unify on b_devel
 - patches for 2.6
 - linus-approved APIs
 - lots of little reorg and fixes for 2.4/2.6 compatibility
 - better code to manage MDC lock cancellation and dentry memory pressure

merge b_devel into HEAD, which will become 0.7.3
 - dozens and dozens of fixes for working with 2.6 kernels
 - new 2.4 kernel APIs
 - uncountable bug fixes

- remove quilt again.]+|[-+]\d{4}) \s (\d\d\d\d) \s - \s (.+) \

merge b_devel into HEAD, which will become 0.7.3
 - dozens and dozens of fixes for working with 2.6 kernels
 - new 2.4 kernel APIs
 - uncountable bug fixes

b=2225 fix obd_self_export issues

add quilt

file spec2series.in was initially added on branch b_unify.

file rpatch.in was initially added on branch b_unify.

file patchfns.in was initially added on branch b_unify.

file parse-patch.in was initially added on branch b_unify.

file apatch.in was initially added on branch b_unify.

file unapplied.in was initially added on branch b_unify.

file top.in was initially added on branch b_unify.

file setup.in was initially added on branch b_unify.

file series.in was initially added on branch b_unify.

file remove.in was initially added on branch b_unify.

file refresh.in was initially added on branch b_unify.

file push.in was initially added on branch b_unify.

file previous.in was initially added on branch b_unify.

file pop.in was initially added on branch b_unify.

file patches.in was initially added on branch b_unify.

file next.in was initially added on branch b_unify.

file new.in was initially added on branch b_unify.

file import.in was initially added on branch b_unify.

file fork.in was initially added on branch b_unify.

file files.in was initially added on branch b_unify.

file diff.in was initially added on branch b_unify.

file delete.in was initially added on branch b_unify.

file applied.in was initially added on branch b_unify.

file add.in was initially added on branch b_unify.

file quilt.pot was initially added on branch b_unify.

file fr.po was initially added on branch b_unify.

file de.po was initially added on branch b_unify.

file Makefile was initially added on branch b_unify.

file backup-files.c was initially added on branch b_unify.

file docco.txt was initially added on branch b_unify.