Simplify adding manual test results to Tinderbox.

* Remove noisy lock-queue debugging spew.

- more fixes..things work again.

- minor fixes trying to get the md right.

- stripe md fixes

fixes for LOV -- CAREFUL this may break the tree...

- always create the gdb script

Move obd_getattr from ll_lookup2 to ll_read_inode2

test_brw/echo: verify == (objid != 0), highmem == (objid & 1), test default objid == 3

* Chain granted locks off the export.

minor but important lov bug fixes Robert and I found out about.

- fix sending wrong attributes... Are there more of these?

- abstracted some parts of ll_size into ll_size_lock and ll_size_unlock
- added file size locking around the mds_setattr in ll_file_release

in getattr requests, get the authoritative file size from the OST

Change lov.xml file a little so that it works with localhost.
Remove the namespace locks from ll_file_release. Basic parallel I/O
now works, it seems.

Add target data for symlinks to intent.

Fix symlink creation a bit more.
Fix ll_create() error handling (at least it won't oops).

optional highmem buffers in obdecho/test_brw

Symlink support.

new option: --nosetup disables device setup/cleanup. Useful for testing
module load/unload without any device config.

* Add timeouts for blocking-AST callbacks.
* Add fail_loc support for dropping a blocking AST reply or callback on the
  OSC.

Add module loading support to lconf. By default, lconf will load and
unload the modules needed based on what devices are configured for a node.

The path to load modules from is determined based on the directory lconf is
run from. If a Makefile is found, the it is assumed lconf is in lustre/utils
and modules will be searched for in ../../lustre and ../../portals.

Module support can be turned off with --nomod, if desired.

Use option --gdb  to create a gdb module script. Lconf will print the path
of the script and pause for few seconds.

- change default tcp port to 988

No dput's, the VFS does this.  Some sanity with rename appears to
begin surfacing now.

- redo rename to instantiate d_new on the client, instead of
  trying to bypass that step (and run into troubles).

- give inodes more metadata for objects.  Per stripe we now maintain:
  - id
  - size
  - soon: also flags indicating if we have a "size" lock on the object
- fix two lov bugs (open/close) - both used the wrong oa.

Change uml1 to localhost. Now it works.

- put Robert's file back...

- In ordinary writes (not O_DIRECT) do not round the data object file
  size to a page boundary.   Objects are now as long as they should
  be.

- add a name to ptlrpc_svc_init in preparation for eliminating
request->rq_obd
- fix typo in osc_enqueue

- Do an additional getattr in ll_lookup2 after we get the lock, to refresh the
inode attributes
- mds_blocking_ast didn't wait for all lock holders to finish with the lock
before cancelling it; fixed.
- adjusted more of the wildly inconsistent error code reporting, this time in
mds_getattr
- removed the bad array-walking code that I introduced yesterday to osc_enqueue

Fix input of objid.

Test program to generate the "test_brw" pattern from user-space for a file.

de-serialised getattr, brw test ioctls

Pass the private descriptor pointer between preprw and commitrw for the
ost_brw_read() case also.  Thanks again to Eric for finding.

- allow lconf to continue to run in debug mode even if acceptor and lctl
  are not available.

Fix missing increment for multi-page I/O cleanup/verification, found by Eric.

Add simple test of mount and unmount.

- Add create and destroy operations to lctl.
- Make the help options a bit more descriptive.

Remove bogus assertion.  The dentry isn't instantiated until later, and
we are guaranteed to have a valid inode if we return from ll_lookup2()
without an error code.

Comment out the rename part of runtests to try and get something working.

Remove call to set_page_clean() from lustre_commit_write().

Tweak distribution files.

Return an error code if the test_brw read check failed.

Minor cleanups to test_brw path + debugging to see what is wrong with vectors.

- looks like osc_enqueue is now looking at the strip_count, so it needs to be
initialized.  Not sure why osc needs this info.

- fix return code in mds_getattr_internal
- add support for --format flag to lmc

- generate some simple configs

Add some basic data integrity checking to obdecho.

This puts the offset and objid into the first 16 bytes and last 16 bytes
of the bulk transfer.  These are in HTON__u64() format.

The lctl command for test_brw now takes an objid instead of an obdo count,
so that you can (potentially) use lctl with test_brw on a real OBD instead
of just obdecho.  That has not been tested yet.

Replace ldlm_lock's connection handle with an export handle.  (Always
NULL on the client side.)

Fix case where rc was not set.

- Maintain a list in the ll_inode_data of data (OST) locks held by this client
- in ll_file_release, cancel any remaining locks in that list
- refactored mds_getattr_name and mds_getattr into two functions with a common
  sub-function; this fixed bugs in mds_getattr, and helps prevent them from
  drifting apart again

- writing data to lov stripes is beginning to work. still much to check

* l_wait_event can now do interrupts without a timeout, if we're feeling brave.
* Big doc comment for l_wait_event.
* Only fire the timeout once from l_wait_event.
* Made timeout and the recovery-upcall path configurable via sysctl.
* Added OBD_FAIL_OSC codes for simulating simple client failure.
* Tentative rewiring of recovd into client connections, needs more thought
  and then more typing. We do fire the upcall, at least.
* Use the provided cluuid instead of NULL wherever it's handy already.
* Protect (feebly) against waiting for recovery that will never happen,
  in sync_io_timeout.
* Add timeouts to bulk operations in MDS and OST -- a recovery stub is now
  triggered, but nothing else.
* Document the unpleasant business in osc_brw_{read,write} as pertains to
  errors in the callbacks and cleanup of descriptors.
* Remove now-unused ptlrpc_check_bulk_{sent,received}.

Some architectures (like ppc) need linux/init.h to define things like
__init__

- cleanup callback data to get striping to work

Add --with-linuxdir= to match howto (and be more correct).

Fix yet one more hidden-by-missing-kmap compile error.

Fix harmless compile warning.  Not sure the code is correct, though, since
it would appear to preclude unlinking a non-regular, non-directory file.

Finally appear to have a bug free "locked page" handler.  Still need to
worry about multiple writer problems (I have seen this happen in dbench,
for instance).  Maybe we should only use the locked-page-copy fallback
if there is the possibility of a deadlock (i.e. we already have another
page locked?).

Remove old journal callback compatibility support.

Use a more "magical" number than 4711 for the LOV EA data, since this is
the magic we use in many other places as well.

Remove open-coded list walking.

Remove some grossness I previously put in the error handling path.  It
turns out inode can only ever be NULL and not IS_ERR().

Set the o_valid flag for valid fields in the obdo.  We also need to start
checking for these at the target side to ensure we are using good data
and not an unset or corrupt field.

- fix mount by adding UUIDs requested by Mike
- add HTREE to lconf
- fix various brainos in lov

* Fix interrupt-pending-when-timeout-occurs handling in l_wait_event.
* If timeout specified, but no handler, wake up with -ETIMEOUT instead of
  going back to sleep.
* Export a class_signal_client_failure hook-symbol from obdclass, to be filled
  in by recovd.o and used by various obdclass bits (avoiding sour dependencies
  on recovd.o).
* Add OBD_FAIL_OST_BRW_{READ,WRITE}_BULK fail_loc values, for testing of
  bulk-xfer timeouts and interrupts.
* Fix the timeout in ll_sync_io_cb to scale by HZ.
* Rip out some leftovers from ptlrpc_check_reply.

Fix minor divergence between the -chaos and non-chaos patches.

Don't change local inode size if we had a write error (that causes vmtruncate
to try and truncate the file, which calls osc_punch() to remove blocks we
didn't write in the first place).

Hopefully final fix for kunmap problem - will check with a chaos build...

Fix strange non-complaining error for missing page_array and pagearray
declarations.

- comment out the noisy get/put LDLM_DEBUGs; I'll remove them when I'm sure
  that we're free of refcount bugs
- make mds_connect not crash when cluuid is NULL
- in ldlm_intent_policy, return a write lock if the client is opening a file
  with no EA
- in mds_extN_get_md, allow MD to be NULL
- fix resource ID corruption leading to infinite locks (b=595247)
- in lctl, make ptl_initialize failure non-fatal, so that I can run debugctl
  functions on non-Lustre systems

- updated to match tools

Fix obvious breakage in ll_direct_IO.

Add some renames to the runtest, since nobody seems to have noticed that
it didn't work.

Fix annoying bugs in filter_write_locked_page() - we were not unlocking
the page, and this appears to have left stray locked pages around?
In filter_commitrw() we were never writing out the "locked" pages because
we didn't reset the loop variables.  Couldn't have found this bug without
the other one ;-).

Fix most obvious breakage due to rename.  Still not 100% clean.

Fix minor patch breakage.

Minor changes to bring patch-2.4.18 and patch-2.4.18-chaos12 into sync:
- named initializers for the intent structs
- whitespace cleanups
- diff chunk ordering (so it is easy to compare the two)
- add path_lookup_it() to patch-2.4.18, even though we don't use it there yet
- add intent_release() for rename dentries to -chaos12

Still does not contain sync of link_path_walk_it() differences.

Run latex twice.

Updated changebar generation to preserve nesting.

Minor fixups for error handling case.

Clean up bulk descriptor refcounting now that we do not have both
callback and non-callback cases.  Fix comments to reflect current reality.

Added a chaos12 patch, with all updates

Miscellaneous minor changes as a result of code audit.
- write lastino to disk in little-endian format (still needs to be written
  to disk for each update, so we don't try to re-allocate existing objects,
  see bug #594147).
- don't call class_conn2export() just to check "conn" validity, and then call
  class_conn2obd() to get the obd - just use obd to determine conn validity.

Add an echo_cleanup, for the namespace

- James Newsome's dlm stress test
- Small warning fix in filter.c

b=585183
We weren't telling the MDS what kind of unlink we were doing (unlink vs.
rmdir), so, for example, if you called rmdir() on a file, the MDS would
remove it and then the client VFS would return -ENODIR.  Not so good.

We send a 'mode' flag along with the unlink request now, that must be one of
S_IFDIR or S_IFREG.

I also fixed some unaligned structures in the MDS protocol, so if you update
one node you must UPDATE THEM ALL.

Minutiae:
- in the intent policy function, if mds_reint returns EISDIR or ENOTDIR, still
  go ahead and send back the file attributes
- in mds_reint_unlink, use the mode sent over the wire instead of the actual
  inode mode to determine which vfs unlink function to call

I know, let's actually set the desc field, since we're going to use it later.

First steps at getting recovery back off the ground:
* make the callback data parameter to brw functions be strongly typed as
  cb_io_data.  LOV and other non-OSC users of these facilities should
  "inherit" from this struct, see lov_callback_data for an example.
* replace l_wait_event_killable and some wait_event calls with
  l_wait_event, an all-singing, all-dancing timeout- and interrupt-handling
  event waiting macro.  More such replacement to come.
* interrupt and timeout handling of bulk data will probably crash at present,
  but it didn't really work before either -- I'll fix it up ASAP.

New patches for 2.4.18 and 2.4.18-um (2.4.18-chaos to follow):
- Fixes, or at least makes no worse, a race condition in open()
- Fixes a handful of lookup_intent initialization bugs that eventually lead
  to LBUGs trying to free nonexistent locks (b=593739)

More documentation:
 - object API
 - first three flow charts
 - lock api

- change I/O to use a pagearray
- implement remaining striping function in LOV:
  - read/write
  - locking
  - truncate
- minor protocol cleanup for MDS
- change documentation to include design / architecture / manual /
  appendix parts
- add design documents:
   - managmennt api
   - network format
-

Silence remaining 4 warnings.

Back out for a different solution.

Clean up extN patch and dist rules.

Commit prototype changes in headers.

Another list_add() abuse.

Do proper setup/cleanup of MDS exports and client data.

This also changes the behaviour of MDS connections so that the export
and client data is set up immediately at connect time, rather than at
"getinfo" time.  I am ASSUMING that at recovery time the client does
another connect to the MDS, or that some other mechanism is in place
so that it will get the correct export back (it looks like this is
correct, but I didn't follow the whole code path through for recovery).

I was torn on whether to zap the on-disk MDS client record in the case
where it does a proper disconnect.  In the end I decided against it,
because it was too difficult to pass a parameter to the mds_disconnect()
call telling whether we should zap or not.  We don't want to change the
disk if there is some error in restarting after a failure or if we are
forcibly shutting down the MDS, but only on a clean disconnect by the
client.

So far, the only potential harm that comes from not doing the zapping
of the client record is that we get an (empty) export for each client
that shut down cleanly (and was not overwritten) on the last MDS incarnation.
On the following MDS incarnation this client export will be dropped
because the incarnation number is too low (assuming it remains unused).

Another thing of note is that we pass "struct file *" back to the client
upon open, and dereference this at close time.  We need to move this
into the export struct and pass a cookie to the client (and validate
the cookie) instead of (or in addition to) passing the pointer directly.
This is needed for recovery of the client open state anyways...

Fix LDLM namespace leak in client_obd_connect() if there is an error
connecting (i.e. bad UUID given for the target).

Fix semaphore imbalance in client_obd_disconnect() if we try to disconnect
an already disconnected device.

Use list_heads properly.  In a few places we were using them incorrectly:

BAD:  list_add(&list_item, list_head.prev);  Overwrites the adjacent field.
GOOD: list_add_tail(&list_item, list_head);

While the following usage is technically correct, it does encourage people
to use the above (incorrect) usage pattern, so it should be avoided:

BAD:  list_add(&list_item, list_head.next);
GOOD: list_add_tail(&list_item, &list_head);

Just FYI - list_add() is like a queue, while list_add_tail() is like a stack,
when iterating over items via list_for_each().