update from b_llp_hp

merge b_llp_hp into b_flock, in preparation for integration.
- also renames new l_data field to l_policy_data, to reduce the risk
  of catastrophic bugs -- l_data means something _totally different_
  in every other branch (namely, l_ast_data in this branch)

merge b_llp_hp into b_qos in preparation for integration

rebase b_qos on b_devel instead of b_ad

This commit was manufactured by cvs2svn to create branch
'unlabeled-1.1.2.2.14'.

Landing statfs cache code.
- preliminary for prealloc (bug 974)
- preliminary for QOS (bug 855)
- speeds up parallel df
- speeds up lprocfs

Lprocfs underwent a bunch of cleanup (mostly from Intel, partly from me)
to remove lots of macros and strangeness w.r.t. per-target statfs values.

Still open for discussion is how old the cached statfs values can be.
I arbitrarily picked 1 second for client statfs, lprocfs, and target
statfs caches.  We may want to change that, or allow it to be tunable.

Note that this code is different than that in bug 855, in that the
max_age parameter is an absolute age in jiffies, whereas the patch
in bug 855 used a relative time in seconds.  The thing I'm trying
to avoid is if we say "I want a result up to 1 second old", but we
get delayed during an RPC and we don't know what "1 second old" is
related to.

Quiet some compiler warnings.

Also include the gpl_header patch in rh-2.4.20 series.

- updated series to apply cleanly.  uses chaos series patchs instead of
  vanilla ones.

Misc changes from PNNL lester tree.

1486, 1456, 1546
- Fixes for these bugs included
- Includes substantial cleanup of lock teardown in llite.
- Ignore mountpoints for ll_revalidate_it
- Upgrade to uml-6

Fixes for

With fixing of EA leak, sanity.sh and sanityN.sh both pass all the way through.
We also pass acceptance-small.sh all the way through (even on a single 72MB
UML) for THREADS=2 SIZE=10240, and will likely pass for the default if run on
a system with more memory.

Sadly (very sadly), nobody noticed that I broke sanityN.sh last week, until
I did this morning.  Nobody ever noticed that "opendevunlink" was actually
compiled from opendirunlink.c until today (not me either).

Updated sanityN.sh to allow single tests to be run, like sanity.sh.
Added checks to both to ensure we have correct config for current mount.
It could be smarter about not needing a config if running with START=:
CLEAN=:, but I leave that for another day.

fix GPL_HEADER in chaos-2.4.20

patch: fix for totally unhelpful GPL_HEADER syntax error (chaos-2.4.20)

Fix build bustage from SIGNAL_MASK_ASSERT.  Works in chaos-2.4.20 (which
doesn't report as redhat-2.4.20, oddly), looks correct for 2.5/rh-2.4.20
as well.

b=1534: Avoid g_f_w and friends for updating last_rcvd records, and instead
        perform simple buffer-cache operations.  Fixes an OST (and possible,
though rare and possibly never seen, MDS) deadlock case.

b=1511
Add a SIGNAL_MASK_ASSERT() function to try to nail down whether the
lock magic is already trashed before we enter Lustre

- teach the filter to flip write pages into the read cache after it has
  written them with o_direct.  passes sanity and doesn't even leak pages
  or nothin'.
- exports some symbols for the page fliping to work with
- some minor fixes of the commitrw_write cleanup path, we should get more eyes
  looking over this

Land b_unify on b_devel.

Highlights include:
 - intent rework from Peter and Phil
 - unification of VFS intent strategy for 2.4 and 2.5/2.6
 - select 2.5 kernel patches from b_ad
 - all the whitespace fixes you can imagine.

Complete diff for sanity-checking at http://off.net/~shaver/unify-landing.diff.

- missing patches for b_unify from the 2.5 series

- add the unhash method to the kernel

- 2.5 kernel patches from ad for unify

- add ext3-map_inode_page.patch to all series
- add ext3-error-export.patch to all series and add new export symbols that
  will be needed in last_rcvd_records_via_metadata patch.

- remaining b_unify ---> b_ad merge

Instead of setting all of the valid flags, and then clearing them for
regular files if an EA is found, we instead leave them unset for regular
files and only set them if we find we do not find an EA.  This avoids
sending back bad data to the client if we abort early because of error
and do not clear the valid flags (POSIX.os/files/open/T.open 31).

revert mmex's accidental checkin

- cleanup come of the configuration files to be more compatible and
  define some new things to help building rpms.

- add a chaos 2.4.20 patch series to b_intent

- fix my typo
- include string.h so we don't get a warning everytime dcache.h is included,
  which is often.

- resolve conflict between 2.4.20 vanilla kernel and hp kernel.  The XFS
  patches cause us problems.

- ll_fill_super() calls lprocfs_register_mountpoint() _before_
  *iget
- lprocfs_counter_add() shows backtrace in counter var isn't initialized yet

- inode-protection-from-pdflush.patch: an inode may have I_SKIP_PDFLUSH
  flag which protects it from to be processed by pdflush's writeback
  mechanism. this allows us to work locking problem with lustre_fwrite()
  around
- MDS sets I_SKIP_PDFLUSH flag on 'last record' file
- filter_prep() sets I_SKIP_PDFLUSH flag
- inode-protection-from-pdflush.patch has been included in kgdb-2.5.73
  series

- ext3-noread-inode.patch added

- cleanup in super and llite_lib to make this closer to b_unify.

Stop routerstat from resetting the router's statistics after every read, which
will allow multiple users to run routerstat at the same time.  Since the
stats aren't reset, it also needs to handle rollover.

Substantive:
- don't resend pinger pings; there's really no point, and it does so terribly
  confuse the mighty set_wait state machine.
- teach the mighty set_wait state machine about rq_no_resend.

Less substantive:
- defense of the sacred 80th column

Truncate thread for 2.4.18-18 kernel.

b=1436

- test and cleanup alex work on super/super25 and llite_lib
- fix the follow link issue introduced during the merge

- fix buffer overrun in openfile
- add test 39 which tests for mtime change on file creat

- almost all routines from super.c and super25.c extracted into llite_lib.c

- llite_lib.c is collection of routines beind used by super.c and super25.c

Fix logging and silly list-math bug.  (Some day, some happy day, I will remember
the order of the arguments to list_add.)

Half-hearted attempt at disconnecting the mgmt_cli at cleanup time instead of
last-deregister, to work around the lconf-socket-closure Russian Roulette
situation.  Will get better (reverted, in fact) when eeb lands b_multinet.

Landing utime et. al. fixes:
- bug 1014, 36 - utime fixes
- bug 1365 - crash on ops with no objects (truncate, utime)
- bug 318 - readahead prep work - OST gets client file handle on reads

- fix up the filter Makefile to pick up Phil's new files

- kernel patches for 2.4.18

Add fix-tabs header + copyright.

- another merge of b_devel into b_ad

- osc_mark_page_dirty was always returning -EDQUOT because no grant
  had been received
- add the ext3 map_inode_page patch
- call write_inode_now(), instead of filemap_fdata{sync,wait}, which
  correctly takes inodes off of the superblock dirty list
- add an O_DIRECT-style filter_commitrw_write

Updated with review comments.
 - replace multiple print functions with one display method.

Have a return value to quiet compiler warning.

Move some common definitions into filter_internal.h

teach jt_dbg_modules about mgmt_svc and mgmt_cli

lconf support for client-side loading of management client as required.
Bump config version to account for new elements, just to be safe.

Whitespace only.

- minor fork of chaos vfs intent patch

- we could call this "merely a merge from b_devel". Notes:
 - lprocfs is not managable
 - this oopses on mount, will be fixed soon.

Minor cleanups.

Grab i_sem on the parent for simple_mknod() and simple_mkdir() functions.
With b_orphan these are used during real operations and not just setup.

Move one more inline prototype to a header.

Add lov_internal.h for LOV function definitions/structs.

Clean up opcode/portal selection a bit, and add support for the management
client as a client type.  Add optional (default off) connection from client
OBDs to the management client for event registration/deregistration.

add S_MGMT for management-service logging

Initial implementation of management-ping client.

Move some function declarations into llite_internal.h.

b=1141
Back out my obdfilter transaction changes; there are at least two
serious lock inversion bugs, and these changes will need to be rethought.

b=1141
This patch breaks the previous single brw disk transaction into two:
one opened and closed in each of preprw and commitrw.  It also avoids
holding the i_sem across the brw.  No stunning results yet, but I expect
that our behaviour in the face of client bulk timeout is substantially
improved.  Some more analysis will be required before we turn this
into a performance win, I think.

Remove two printks from startup; every line that we don't print is
1100 fewer lines in the MCR /var/log/messages

Some kernels apparently need an explicit include for timeval here

b=1141
Another mostly-reorganization commit, to reduce the size of my working
patch set.

 - remove gratuitous lustre_put_page() inline
 - split filter_preprw() into filter_preprw_read() and filter_preprw_write()
 - reverse the 2.5 waitfor_one_page macro into a 2.4 wait_on_page_locked macro
 - unimportant changes galore

b=1141
A reorganization of obdfilter/ before I launch into the real work.
There should be no functional changes.
 - removes unused 'niobuf_remote' argument from fsfilt_brw_start
 - splits filter.c into filter.c, filter_io.c, filter_log.c, and filter_san.c
   More of the same is on the way, but this is a good start.

b=1502
- Discard incredibly old requests (older than "obd_timeout" seconds) in
  ptlrpc_main without even trying to process them, because the client
  has already given up on us.  See the bug text for more details on why
  this is the right thing to do.
- Clean up deeply-nested ptlrpc_main()
- On Zach's good advice, I also fixed Portals to record when a packet
  arrives in useful microseconds instead of relatively useless cycles

land b_merge on b_devel.  Includes b_mount and b_orphan, which includes:

 - orphans are moved into the PENDING directory for possible recovery
 - replayed opens now open by fid for orphan/rename safety (1042)
 - last close of an orphan inode generates a transno (683)
 - avoid CERROR in normal ll_setattr_raw() error case (1500)

Added code which is currently disabled:

 - dentry pinning from b_mount for cwd and mountpoints (1020)
 - logging code for orphans (and many other things)

small mgmt_svc tweaks

Allow some "slop" in the timestamps, because UML isn't very good at keeping
accurate times if it is busy running.

new ioctl statfs has been added as part of the globalhealth. Now the lctl have
command statfs, which is used for stat  on MDS or OST.
This is a utility get the MDS/OST status and generate the snmp trap.

b=1469

Create a simple wrapper around gethostbyname, so we can print a sane
error message when the host is not found, instead of "No such file or
directory."

ok, no, really, commit the qla2xxx driver.

initial mgmt/monitoring service skeleton

This file is to check the health of the OST as part of the global-health.
This does not modify any other files lustre/portals.
May need to optimize this a bit.

*  Added missing kportal_put_ni() when forcing portals failures

- the filter doesn't have a cli_obd, so pass an import instead of a
  conn in the llcd
- avoid double obd_transno_commit_cb()
- initialize the fo_sem for great justice

b=1501
- return -ENOTDIR from mds_open() if we're trying to open a
  non-directory with O_DIRECTORY
- add tests/o_directory.c and make it in sanity test 38

- add the b1 qla2xxx 2.5 driver that we're using.  b3 panics.

- add set_info calls, to inform the filter when the MDS connects
- make OST_LOG_CANCEL into a more generic OBD_LOG_CANCEL packet
- the filter can't use the normal obd methods unless we also give it an MDC
- lov_connect now initializes the export lists unconditionally
- the filter needs to register for the commit callback if there are
  cookies to be cancelled, regardless of whether this is a failover OST
- hacked around in the lprocfs sewer until it built again

Client-side portions of bug 974: push cache and dirty-page management down into
    OSC, in preparation for pre-allocation grants.  Also fixes 975 by providing
    /proc/fs/lustre/llite/fs0/max_dirty_pages to limit client-side cache.

add tg3_netconsole.pc

add netconsole_sysrq

add tg3_netconsole.patch

b=1424
r=shaver,others

- cleanup import level and generation
- fixes several bugs:

b=1420 ost and client both timeout, client never reconnects
b=1440 very small change to call the lov set_active in recovery
b=1448 another small change to send DISCONNECT at a normal level

- move e1000_Poll() into a less broken place
- s/static// in front of stop_this_cpu so lkcd compiles under smp
+ mask these changes with tons of line numbering and diff -p noise

- add netdump patches to 2.5.73 kgdb series.

- add the kexec patch to 2.5.73

- move things forward to 2.5.73, include lkcd patches

b=957: add pinger for recoverable clients, in order to promptly detect server
       failure and join recovery.  Currently DISABLED (#ifdef ENABLE_PINGER)
       pending some discussion about deployment.

Also: use the --config (or file.xml) instead of 'none' in the mount line, so
that mounted filesystems have a little more context.

- major cleanup of the 2.5 kernel patch
  - we indicate now with two flags when the last path name component
    is being looked up, ending almost all confusion about the code
    path.
  - many small fixes.
  - sanity finishes without failures, until at cleanup something hangs.

Fix utime.c so it calls utime() on the right file and print valid errors.
Fix mkdirdeep.c so it is generally useful
 - don't dump/trace by default
 - exit on errors
 - allow deeper than 100 tree (up to PATH_MAX).
 - don't clobber stack generating stat pathnames.

- fix up super.c
- minor change to llite_lib.c to avoid a warning.

Fix lock-match fallout from 1228: use the inode against which the intent lock
was granted, often not the one against which the lock was requested, when
matching l_data.

Also, match locks in ll_dir_readpage.

Remove some deadwood fops-functions.

[liblustre]: fix an segfault when running iozone. don't more checking
before remove an inode.

adding otree files (not yet used)