WARNING: we currently crash on unmount after the last phase of runtests.
Phil and I are going to debug this more tomorrow, but this changeset needed
to land.  I feel bad about this, but not as bad as I'd feel sitting with a
thousand lines of changes in my tree another day! =)

- introduced new-style obd_import structure and spread it thickly across the
  ptlrpc infrastructure.
- merged ptlrpc_prep_req and prep_req2 into one import-taking prep_req function.
- added import for ldlm to use when calling out to client
- send local-export handle info in client_obd_connect, so that said import can
  talk to a proper export during ASTs.
- new unified recovd architecture for client- and server-side recovery.
- much header frottage to hand the export -> ldlm_export_data -> import
  structure nesting.
- commented out cli_sem usage, because clients aren't the right place for that
  any more, and we probably don't need them anyway.
- connection-sharing now requires a matching (nid, uuid) pair, to avoid bogus
  sharing on the one-host, server+client case.
- chain exports on the connection for doing per-connection recovery (soon, I
  swear).
- introduced dozens, if not thousands, of bugs, no doubt.

Remove export of non-existent function.

Remove ancient Perl cruft from obd.c.
Do stricter checking on all strtoul() input to avoid strange problems when
we have, say, 'w' for the object ID or whatever.

Pass UUID along when we have it.

We don't expect to convert from ASCII to binary UUIDs - comment out code.

Minor cleanups - use uuids in uuid2dev and uuid2obd, instead of names.

Minor cleanups.

Minor cleanups.

Protect the obd export list with a spinlock (we do not sleep anywhere while
holding this spinlock, so I don't believe we need a semaphore).

Check for a few error conditions.
Return more useful info from the object open call.
Return the error code from the commitrw call.

Allow chbar generation on the HOWTO.

Avoid bogus typecasting.

Pass 64-bit RPC XIDs around, since this is really how big they are.

Don't check bulk contents if there was an error reported on the bulk itself.

Minor change.

- fix route config and clean up errors

I'm a moron and spin_unlock was a no-op.

Allow automatic specification of the RPM locations by check-build.

Add PyXML in place of the previously-removed libxml2 Requires.  It's good to
have Andreas looking over my shoulder.

Fix eric's extremely well-spotted locking bug.  It's not clear that we even
need this lock, but I'll fix it by adding an unlock_kernel until I can ask zach.

remove libxml2 from the Requires list

James Newsome's last dlm regression patch.  I haven't reviewed any of the
changes to ldlm_test.c yet, but I want to get this into the tree before we
drift too much.

Oops, missed a file in the mdc_enqueue change

- remove the unused 'id' from mdc_enqueue
- fix yet another LBUG related to calling ptlrpc_error after allocating a reply
  buffer

s/jt_ptl_setup/jt_ptl_network/

Forgot to update changelog...

- saw a problem with the order of how filter was initialized vs. the error
handling code.

* allow any host to have static routes

Add assertions to {push,pop}_ctxt because we are oopsing on dev in obdfilter
in pop_ctxt(), maybe becase saved->pwd is NULL.

Resolve my silly conflict.

Mike's fix for the missing exp_connection oops caused us to not remove
old exports from the export list.

It also seems wrong, somehow, to be using a lock on the ptlrpc connection
to manage items that are linked to the obd_device struct.  It would
probably make more sense to protect the export list with a lock on the
obd_device.  This is doubly true, because class_new_export() is adding
the export to the obd_device without holding any lock, because there is
no ptlrpc_connection there yet.

* sample mcr-type setups, both using a router

* fix some brainos so routing config will work

 add --tcpbuf option to lconf

* send and recv tcp buffer size is set
* router opens connections to gateway

* clean up mcr config script

Allow lmc path to be overridden.

Handle the case where the XML file has not yet been created.

* first cut at routing config support, pretty tacky but might just work
* print more diagnostics for cleanup errors
* various cleanups

- add initial mcr.sh for echo test on mcr cluster
- turn autoformat off in lov, use lconf --reformat
- clean up llmount.sh

Fix up the spinlock situation around rq->rq_list and the lists it lives on.
We avoid a deadlock in ptlrpc_free_committed() when it calls ptlrpc_free_req().
Likewise when ptlrpc_cleanup_client() calls ptlrpc_free_req().

A note for Mike in ll_recover() for when it is re-enabled:

   We should not hold a spinlock over such a lengthy operation.
   If necessary, drop spinlock, do operation, re-get spinlock, restart loop.
   If we need to avoid re-processing items, then delete them from the list
   as they are replayed and re-add at the tail of this list, so the next
   item to process will always be at the head of the list.

- obsolete

* alloc memory and copy data into type->typ_name and type->typ_ops.
This is prevent referencing pointers into others modules memory spaces after
those modules have been unloaded.

Add more details to device_list output.
Added type->typ_refcnt as the last column.
Status field (2nd column) is now:
  - unconfigured device
  AT device is attached
  UP device is setup

Add lconf, lmc to the RPM.

Don't just delete the generated PDF.

Only overwrite the magics, not the entire page to avoid excess CPU usage.

Install and distribute lconf and lmc.

Use a less evil port number.

Exit from XML configs if there is an error.

Use port 988 instead of 888.

Try and work with different versions of dbench.

Add dcount assertions in obdfilter to catch any funny business (still
open-unlink problems).

Only try to get a cache page if we already have a locked page.  This
is not Peter's "ignore page locks" code yet, but it's what I have in
my tree already and want to flush so I can test at LLNL.

Zap test_brw/obdecho pages we are going to read into, to ensure that we
actually are getting new data therein, instead of old data.

Fix a kunmap imbalance for the non-verify case.

Add statfs method to LOV.
Try to get valid data for getattr, if first objid fails.
Extract block count and mtime/ctime information from all objects.

Use o_brw instead of o_getattr to distinguish between MDC and OSC operations.
If we ever make MDC use the OBD methods it would break.

We already set last_committed and last_xid for all packets, no need to do
this for getstatus explicitly.

Store an xid in last_xid and not last_rcvd for reply packets.  Mike please
verify this.  I think it will help resolve strangeness I have observed in
the cleanup of expired requests on the clients, but that still needs some
investigation.

Add a spinlock to protect 64-bit increment of mds_last_rcvd, and also
make sure we only use each transaction value a single time.  This
would probably be a very rare issue for recovery, but may as well get
it now.

Remove obsolete code from mds_ext3.c.

We get 64-bit xids over the wire, so we should store 64 bits on disk.

* Don't oops when destroying an export that doesn't have a connection.
  (I'm not sure this should happen, but it is, and this'll keep us from
  OOPSing on SMP boxes until I dig deeper.)

* llrmount.sh now uses lconf
* enabled lconf --reformat
* disabled the <autoformat> feature until I figure out how to
  determine if a block device actually has an fs or not

* llecho.sh reimplemnted to use lmc/lconf
* llechocleanup.sh added for completeness
* small changes to tools to support llecho.sh

- allow the --ost command to have no arguments when used for obdecho

- add support for obdecho. When creating the ost with lmc, add
  --obdtype=obdecho

- replace llmount and llmountcleanup with versions that use lconf.
- remove old xml files

Add chaos13 patch from Andreas.

Revert error handling case - jumpling to out_unlink_cancel, which would seem
to be the obvious thing to do given that we are supposed to have a lock on
this file at this point, causes an oops in ldlm_lock_decref() because the
lock is NULL.

* Added test_brw to .cvsignore.

Add missing header for lov_packmd() definition.

Remove some old code now that we have the EOF lock.
Extract the mtime and ctime from the obdo returned by punch.

Whenever we get the file size from the OST, also get the blocks count at
the same time, since this is free.

Don't copy the objid to/from the inode.  There is nowhere that we use these
functions that we want that to happen.

- more careful error checking

Make symlinks actually work:
all - leave room for trailing NUL, for simplicity
mds_getattr_internal - check reqbody->valid instead of repbody->valid
ll_symlink - use lli_open_sem to protect lli_symlink_name allocation/data

fatal error if unable to determine local address

- use python 1.5.x version of exception

- use python 1.5.x version of getopt exception

A network address of '*' will cause lconf to determine the local network
address automatically.  This may need some tweaking to support multiple
interfaces.

Remove ugliness.

Remove dead functions.
Fix major thinko in filter_setattr - we were checking ia_mode instead of
ia_valid to see whether we were truncating, so were not doing proper inode
locking or returning valid data.

Allow unlinking non-regular files.
Drop a lock handle when trying to unlink a file which does not exist.

More of the symlink story - extract the link target _after_ inode2body,
or we overwrite the OBD_MD_LINKNAME flag.

Fix minor typo in debug output.

Add l_dput assertion.

* Move recovery state into connection from client, and fallout therefrom.

b=596505
Finish the last oustanding EOF-lock related items.  Specifically:
- ll_file_write now handles O_APPEND correctly
- ll_truncate takes a PW lock across truncation
- ll_file_seek added (based on generic_file_llseek), does an i_size refresh

More security architecture.  Perhaps we are done for the ARCH1, but I
suspect a bit of feedback will emerge.

Fix read-of-empty-page problem.  Also avoid extraneous memset for cases
where we are over{writing,reading} the entire page.

Make all of the obdo<->inode and obdo<->iattr copy routines take a valid
flag as a parameter, to avoid copying fields into or out of the obdo/inode
that you don't want to copy, just because oa->o_valid is set.

When we do the ll_file_size call to the OST, return the blocks count at
the same time.

Remove some of the verbosity from the locked-page writeout case.  Real
fix is pending.

Fix another nasty bug in ll_common_unlink - we were always setting the
inode link count to zero, instead of just decrementing it.

Use a common name for ll_inode_info variables for clarity.

Reduce number of over-the-wire getattrs by half, and avoid duplicate
inodes for every file operation.  This doesn't fix the dentry refcount
problem, but it is a big step in the right direction.

Fix minor typo - confusing when looking at the debug log, but not a bug.

- Doh!

- add lov_pack.c to llite
- clean up ll_create_node for non-intent usage

- cleanup output and enhance error reporting
- change some options to be more consistent
- cleanup --help

Minor cleanup.

- fix false leak message

- fix child wait

- fix insmod error message

- don't touch /proc/sys/portals/debug_path in noexec mode