* simple cleanups to get replay-single.sh to run again, also added
  a trap ERR.

make sanity and iozone run from llite over the lov in the new ocp
io model.
- add ocp_off to the ocp so the lov can remap it as it passes through
- fix up the page accounting a bit 'cause truncate doesn't really know
  right know to subtract pages from the dirty or io counts
- pass our completion struct, _not_ a pointer to the complete function
- make sure to always free the ocp in commit_write_sync
- disable the watermark io until it actually does something
- make sure to alter the filehandle/o_id as we pass through the lov
- initialize our loi bits in lov_unpackmd

- introduce tunables for the aggregate amount of cached data that llite will
  allow on a machine.  When we have more than 'dirty_high_water_MB' meg of
  data dirty we start async ocp io on the amount of data between the high
  water mark and 'dirty_low_water_MB'.  If we ever have more than
  'max_dirty_MB' we write synchronously in commit_write, batching with other
  dirty data in the inode.  these watermarks are checked every time we pass
  through commit_write and we account seperately for dirty pages and pages
  that are under io.

- add ocp_count to the ocp so that we can write partial pages at the end
  of the file.  make the callback func a proper type.

- remove iod.c, the few code paths we cared about in there are moved to
  rw{,24,26}.c

- turn off generic file read-ahead by setting filp->f_ramax to 0.

- have writepage and commit_write when writing sync use the plugging to batch
  their io with io started from other dirty pages in the inode's dirty list

- woops, missed a hardcoded '16'.  move to max_pags_per_rpc

There's still much to do.  The 2.6 side needs work on its many-page variants,
kiovec->bio, etc.  We need to actually start watermark io from the dirty inode
list.

Ensure OST objids are unique even after a crash by using the mount count as
a generation number.  Remove old "superhack" code.

Add a "force_sync" parameter to filter_update_server_data() and
fsfilt_write_record() so that we ensure the mount_count is safe on disk
when the OST has started.

b=294
r=phil

*  Optimized qswnal GETs use EKC rpcs to "teleport" payload (as far as
   portals is concerned).

*  allowed qswnal to have knowledge of lib_msg_t.

*  lib_fake_reply_msg() written to allow qswnal to create replies and
   deliver them in the normal fashion (with lib_finalize()).

- put in initial lov obd plug/async/unplug APIs.  for now its giving
  the stripe to the osc via an explicit loi argument.  this will be
  refactored when the refactoring described in 314 arrives.

- simple optimization for EXT3:
  ext3_write_super() doesn't need to start commit as kupdated wants. this
  improves things significantly in some cases

- minor changes in Andreas'es ext3 direct-io patch to be applicable for
  2.4.18-chaos
- ext3-o_direct-1-2.4.18-chaos.patch have been added to chaos-2.4.18 series

Config for 2-mounts-on-local-host-with LOV (currently not-usable until
bug 938 is fixed).

*  Merged b_devel updates

*  Portals MTU now 512K (honest)

*  lconf configures an EKC tunable on elan nodes to help bulk comms

- do not send unused uid and gid fields in mdc/mds update packets
- correctly handle subdirectories of sgid directories (owner set to
  parent id - test 6g added for this)
- fix for 1607 (test 19c)
- remove unused kernel configuration files

b=1590, (partial 948):
   Stop flushing on close, and instead flush all outstanding client data
   atomically with the destruction of the final stripe.

   And when flushing for destroy, or other cases of truncate-to-zero, send a
   hint with the AST to indicate that dirty data should be discarded, instead of
   being written back.

   r=zab/phil

*  Guarded #define EXPORT_SYMTAB

*  Bit the bullet and #defined PTL_MTU
   NB currently defined in <portals/lib-types.h>; maybe should move...

Import new ONLY/EXCEPT mechanism from sanity, and check in my trivial upcall.

Jacob schooled me.

Signals are hard.

Add multi-operation microshell to aid in the testing of different replay
patterns.

clobber b_filterio patches with those from b_devel.

Until future notice, kernel patches must be changed only on b_devel,
and only with permission.  Kernel patch conflicts can never be
resolved cleanly.

- add the /proc tunables to control the number of pages per rpc and the
  number of concurrent rpcs
- make sure to check to fire new rpcs as an rpc completes
- push the rpc concurrency checks into the right place
- rearrange the rpc firing logic so it doesn't get stuck :/

define the it_flags correctly

don't leak mcd when shutting down --failover

b=1600: my version of Andreas' patch to use write_record to ensure that the
        MDS server data is written at creation time
b=1597: cope with entering recovery/replay without a preceding timeout

We pass this initial single-node/single-mount replay test, yay.

Recovery test script for dual-mount testing.

- move the osc rpc managing thread into the osc and rename it appropriately
- osc_rpcd's set is internal to the osc instead of passed in
- evolve the temporary 'barrier' api into the proper 'plug/unplug'
- move the 'ocp' management helpers from llite into genops.c
- start and stop osc rpc thread based on the presence of osc imports
- give test_rbw/echo_client the ability to use plug/unplug
- mirror some of the b_filterio test_brw/echo_client changes
- add an osc_internal.h for the osc rpcd

Fix llobdstat usage message.

Use $(CC) instead of gcc (fixes cross compile build).

- backport a few name changes in the patches to 2.4.18
- include some new I/O functions.

land b_unify on b_devel
 - patches for 2.6
 - linus-approved APIs
 - lots of little reorg and fixes for 2.4/2.6 compatibility
 - better code to manage MDC lock cancellation and dentry memory pressure

- remove quilt again.]+|[-+]\d{4}) \s (\d\d\d\d) \s - \s (.+) \

add quilt

Initial single-node replay test framework, based on readonly and notransno
lctls and multi-facet configuration.

Next: an upcall and actual replay tests.

- change configuration to use modern AC_DEFINE, otherwise /usr/bin/autoheader
  fails when trying to compile RPMS.  Single arg AC_DEFINE() is no
  longer supported fully.

- put the oa in the loi and feed it to the rpcs, for now
- disable more old-guard code for the time being
- walk the right req list to find completed reqs
- init some things, deref some things, you know.
- appease lprocfs
- fix up the cleanup path of rpc building

add kernel.spec.in

add sysrq and crash support in lkcd-cvs-2.6.0-test1

add netdump in 2.6

fix flaw in 2.6

fix some flaws

- THIS BREAKS b_unify
  2.6.0 patches now fixed to Linus specs.  2.6.0 compiles, untested.
  beginning of similar changes for 2.4 changes

- this patch needs to be re-added with -ko because it contains rcs strings.

- in ll_umount_begin, protect against NULL obd
- fix debug subsystem in obdclass/obdo.c
- remove zero-length buffer check from lustre_msg_buf; we already have
  the minimum-size check, and zero length is common in the "no EA yet"
  getattr case

fix netdump error in 2.6

fix some flaws

add vfs_nointent_2.6.0-test1.patch

add vfs_nointent_2.6.0-test1.pc

add lkcd-cvs-2.6.0-test1.pc

add lkcd-cvs-2.6.0-test1.patch

partial merge of b_unify into b_devel (20030722_0202)

partial merge of b_unify into b_devel (20030722_0202)

- these should apply, but they don't quite compile (something with netdump)

and the series file

- 2.6.0-test1 patches

- 2.6.0 patches

Work-in-progress commit of the IO path refactoring.

- intitiate brw on pages by pushing down through the obd api
- add some data structures for passing and collecting the pages
- batch the pages into rpcs in the osc
- refactor ptlrpc a little to export some ptlrpc_set_wait internals
- temporarily build a
- add a kernel patch that adds page->private to 2.4
- split up some page cache stuff into 2.4 and 2.6 files
- make some progress in tearing out the 2.5 thread brw stuff

- remove old patches....E(inode->i_sb);

- chaos-2.4.18 patch files

- include a chaos-2.4.18 patch again.

Move gigantic inline obdo_* functions to obdclass.

b=1505
- Demote some overly-common CERRORs to CDEBUGs
- Remove unused MDS-connection bits from filter_connect()

add some features for crash

Get patches out of my working tree; change to the ENABLE_ORPHANS constant
and fix a couple of warnings

More debug cleanup related to the subsystem; the old array is gone,
it's a mask just like the debug level, everything is simpler (and
works now, too).

b=1322
Commit the Lustre-side fix for the common "looping in revalidate after
recovery" case--unhash aliases before returning 0 in revalidate_it.
Also move d_unhash_aliases into llite/ and call it ll_unhash_aliases.

This fixes the bug that new S_* debug subsystems were not being
printed in debug logs.  The problem was a desynchronization between
the kernel and userspace tools.

The old code would silently drop unknown subsystem messages.  Now a
warning is printed and they are included.

The subsystems are no longer a crazy twist of left-shifted integers, but
a normal bitmask.  There may have been a good reason for the craziness,
to try to fit a subsystem and type into one integer, but it's long gone.

Increment objids on OST after a restart.

Fix POSIX write/getattr failure.

Commit small_write.c test.
Move munlink into installed files so we can use it to delete bad files.

- update rh-2.4.20 configuration to compile correctly

Set mtime and ctime on old inode if truncating by thread.
Also, mark the inodes dirty _after_ we modify them (done in orphan_add/del),
in case of crash before the real truncate is called.

I thought this might be the cause of bug 1530 (deleted files come back to
life), but that would not be the case even if there is a problem in the
delete thread as the name unlink is done before the delete thread gets
involved.

Landing statfs cache code.
- preliminary for prealloc (bug 974)
- preliminary for QOS (bug 855)
- speeds up parallel df
- speeds up lprocfs

Lprocfs underwent a bunch of cleanup (mostly from Intel, partly from me)
to remove lots of macros and strangeness w.r.t. per-target statfs values.

Still open for discussion is how old the cached statfs values can be.
I arbitrarily picked 1 second for client statfs, lprocfs, and target
statfs caches.  We may want to change that, or allow it to be tunable.

Note that this code is different than that in bug 855, in that the
max_age parameter is an absolute age in jiffies, whereas the patch
in bug 855 used a relative time in seconds.  The thing I'm trying
to avoid is if we say "I want a result up to 1 second old", but we
get delayed during an RPC and we don't know what "1 second old" is
related to.

Quiet some compiler warnings.

Also include the gpl_header patch in rh-2.4.20 series.

- updated series to apply cleanly.  uses chaos series patchs instead of
  vanilla ones.

Misc changes from PNNL lester tree.

1486, 1456, 1546
- Fixes for these bugs included
- Includes substantial cleanup of lock teardown in llite.
- Ignore mountpoints for ll_revalidate_it
- Upgrade to uml-6

Fixes for

With fixing of EA leak, sanity.sh and sanityN.sh both pass all the way through.
We also pass acceptance-small.sh all the way through (even on a single 72MB
UML) for THREADS=2 SIZE=10240, and will likely pass for the default if run on
a system with more memory.

Sadly (very sadly), nobody noticed that I broke sanityN.sh last week, until
I did this morning.  Nobody ever noticed that "opendevunlink" was actually
compiled from opendirunlink.c until today (not me either).

Updated sanityN.sh to allow single tests to be run, like sanity.sh.
Added checks to both to ensure we have correct config for current mount.
It could be smarter about not needing a config if running with START=:
CLEAN=:, but I leave that for another day.

fix GPL_HEADER in chaos-2.4.20

patch: fix for totally unhelpful GPL_HEADER syntax error (chaos-2.4.20)

Fix build bustage from SIGNAL_MASK_ASSERT.  Works in chaos-2.4.20 (which
doesn't report as redhat-2.4.20, oddly), looks correct for 2.5/rh-2.4.20
as well.

b=1534: Avoid g_f_w and friends for updating last_rcvd records, and instead
        perform simple buffer-cache operations.  Fixes an OST (and possible,
though rare and possibly never seen, MDS) deadlock case.

b=1511
Add a SIGNAL_MASK_ASSERT() function to try to nail down whether the
lock magic is already trashed before we enter Lustre

- teach the filter to flip write pages into the read cache after it has
  written them with o_direct.  passes sanity and doesn't even leak pages
  or nothin'.
- exports some symbols for the page fliping to work with
- some minor fixes of the commitrw_write cleanup path, we should get more eyes
  looking over this

Land b_unify on b_devel.

Highlights include:
 - intent rework from Peter and Phil
 - unification of VFS intent strategy for 2.4 and 2.5/2.6
 - select 2.5 kernel patches from b_ad
 - all the whitespace fixes you can imagine.

Complete diff for sanity-checking at http://off.net/~shaver/unify-landing.diff.

- missing patches for b_unify from the 2.5 series

- add the unhash method to the kernel

- 2.5 kernel patches from ad for unify

- add ext3-map_inode_page.patch to all series
- add ext3-error-export.patch to all series and add new export symbols that
  will be needed in last_rcvd_records_via_metadata patch.

- remaining b_unify ---> b_ad merge

Instead of setting all of the valid flags, and then clearing them for
regular files if an EA is found, we instead leave them unset for regular
files and only set them if we find we do not find an EA.  This avoids
sending back bad data to the client if we abort early because of error
and do not clear the valid flags (POSIX.os/files/open/T.open 31).

revert mmex's accidental checkin

- cleanup come of the configuration files to be more compatible and
  define some new things to help building rpms.

- add a chaos 2.4.20 patch series to b_intent

- fix my typo
- include string.h so we don't get a warning everytime dcache.h is included,
  which is often.

- resolve conflict between 2.4.20 vanilla kernel and hp kernel.  The XFS
  patches cause us problems.

- ll_fill_super() calls lprocfs_register_mountpoint() _before_
  *iget
- lprocfs_counter_add() shows backtrace in counter var isn't initialized yet

- inode-protection-from-pdflush.patch: an inode may have I_SKIP_PDFLUSH
  flag which protects it from to be processed by pdflush's writeback
  mechanism. this allows us to work locking problem with lustre_fwrite()
  around
- MDS sets I_SKIP_PDFLUSH flag on 'last record' file
- filter_prep() sets I_SKIP_PDFLUSH flag
- inode-protection-from-pdflush.patch has been included in kgdb-2.5.73
  series

- ext3-noread-inode.patch added

- cleanup in super and llite_lib to make this closer to b_unify.

Stop routerstat from resetting the router's statistics after every read, which
will allow multiple users to run routerstat at the same time.  Since the
stats aren't reset, it also needs to handle rollover.