Missed commits from b_devel merge.

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

This file keeps getting lost it seems.

Obvious issue with parser in the absence of the start and
the end line switch. Fixed the same.

b=1178
- Preparations for removing unused "addr" from lustre_handle
- remove ioc_addr from kernel/userspace communications

Adding the capability for sectional views into visualize.
This adds the switches --s <start-line> and --e <end-line> to enable
looking at events of interests in really large logs. Applies for both
analysis and visualization

Updated llparser for bug #1167. In addition, it also skips all processes
that do not perform RPCs summarizing them to stderr

Don't do nbytes calculation when not using VFSTRACE debugging.

Fixed a logical error which was causing the first RPC to be skipped
when creating HTML links. A more user-friendly output format

- fix a lost fix for exec.c

- make a few debugging cases less chatty
- get a PR lock to ->eof in ll_file_read to purge extending writes and
  make them visible to our post-enqueue getattr

* Incorporates Zach's feedback on bug #783 to change the CDEBUG
  to represent actual bytes written (for partial pages)
* Updated llparser.pm to display html links only when all RPC lines
  for a transaction are present

* Updated visualize that can deal with wrapped logs, and very large logs
  (~50M).
* Broke out the visual part of visualize into a separate module
* Updated the concurrency view

Fix inode->i_blksize (for fstat st_blksize and hopefully improved cp
performance) so that it is the maximum vector write size (num_stripes *
max_iov_size) as told by obd_get_info("brw_size").

Also change the obd_get_info() API to fix some minor abuses (passing part
of the key in via val, returning data via the return code).  Also remove
any pretense of obd_get_info() allocating memory for the caller, following
normal portals caller-allocates behaviour.  Make inputs and returns be
fixed size, so they can be network-encoded across different arches.

Updated version of llvisualize. Some issues remain with time-wrapped
logs. Tested for the --vfssummary and --htm <htmfilename> option
To invoke
   ./llvisualize --vfssummary --htm htm1 <cdebug-log-files>
Will result in an ASCII text output that provides Marker/VFS/RPC timing
summary. It will also produce an easily navigatable main HTML file "htm1.html"
and graph files (one for each log file) that provide a visual representation
of concurrency in the cluster.

Bug fix for Bug #783. Reviewed by Phil.
Needed for llvisualize functionality.

This gives a good first shot at fixing the patch management issues:

 - we followed the instructions that are being posted on the wiki
   and wich were discussed this morning

 - patches are now fairly easy to create and update

oops, this has been sitting here for a few days now.
- add some page cache stats to ll_sb_info and export them with seq_file so that
  a shell spinning during an io run can give us a nice picture of what the
  client is doing.

It's just _my_ UML, I guess.  sigh.  I'll update or something, and try
again.

- squelch apparently-harmless "STRANGE intent release" message

- Zach's recent commit started using GPLONLY symbols, which my UML
can't resolve without a dorky preprocessor hack.  Oh well.

- Print the remote NID in timeout and "cancel out of sync" messages,
so they're useful

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

fix up file size and cache mechanisms to account for the disconnect between
acquiring a file region extent and getting 0..N callbacks for obd locks that
the acquiry generated.

- truncate_inode_pages(,0) could race with dirtying and lose data.  when a lock
  is canceled we now purge/invalidate the (striped) pages that were covered by
  the (lov->obd) lock
- remove the getattr flag business and instead do getattrs around every lock
  acquiry.  this brings us closer to how things will behave when we return
  file size with locks, but it will slow things down until then.
- maintain an rbtree of extents which record the page offsets that are dirty
  in the page cache.  for now it helps us decide if we should trust getattr.
  in the future it will help purging and the write space reservation.
- always round extents to page size in osc_enqueue
- while I'm in here, get rid of the ISBLK stuff in _file_write and let
  generic_file_write set ppos to i_size under the i_sem

this has passed tests under a large lov with /tmp backing, but do keep an eye
out for data/size inconsistency problems.

Add Zach's patch to export truncate_complete_page(); still needs an
hp-pnnl and vanilla equivalent

adding error handling  in runas.c in case the malloc() fails

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.2.2'.

Seems I missed the cutoff for the old b_devel branch, and this was lost.

Quiet a couple of ia64 compile warnings.

file vanilla-2.5.63 was initially added on branch b_devel.

file lustre-2.5.63.pc was initially added on branch b_devel.

file lustre-2.5.63.patch was initially added on branch b_devel.

file extN.patch-2.5.63 was initially added on branch b_devel.

file mkdirdeep.c was initially added on branch b_devel.

Bugzilla 895

file extN-delete_thread.diff was initially added on branch b_devel.

file ext3-orphan_lock.diff was initially added on branch b_devel.

file ext3-truncate_blocks.diff was initially added on branch b_devel.

- remove the lli_open_count that was accidentally re-introduced with b_io
- silence an unused variable warning in runas

runas.c is modified to use execvp() instead of system(), suggested by Zach

file checkstack.pl was initially added on branch b_devel.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.2.2'.

merge b_devel into HEAD.  Includes:

- client-side I/O cache
- O_DIRECT fixes for IA64
- liblustre improvements
- various small bug fixes

Remove obsolete rh-8.0 series file.

file runas.c was initially added on branch branch_bug828.

Bug 828 is fixed by Peng Zhao, arrpoved by Andreas.
runas.c allows the root to "runas" another user to do things.

file ext3-2.5-noread.diff was initially added on branch b_devel.

file ptlrpc_module.c was initially added on branch b_recovery.

file ptlrpc_internal.h was initially added on branch b_recovery.

Commenting out liblustre from make targets until Makefile.am in liblustre is fixed

Remove extraneous whitespace.

b=941: zab's fix for ia64 compiles. untested, but it does compile

file iod-stock-24-exports_hp.patch was initially added on branch b_devel.

land b_io on b_devel (b_io will be deleted as soon as it's confirmed
that the merge happend without incident)

land 0.5.20.3 b_devel onto HEAD (b_devel will remain)

- Flush every line so it works better with pdsh

file ext3-largefile.diff was initially added on branch b_devel.

Update HP VFS patch for v13.

b=912
- Lustre patch version 13:
  - merge the iod-rmap-exports patch from b_io
  - add and export __d_rehash, which optionally avoids taking dcache_lock
- fix bug 912 race by calling d_rehash without dropping the dcache_lock
- Fix earlier botched patch for 913

file recovery-cleanup.sh was initially added on branch b_devel.

Changed to use absolte paths instead of relative paths for symbols in case
that made a difference (it didn't).

file mlink.c was initially added on branch b_devel.

Dropped-request and -reply tests for link and unlink.

Dropped-request and dropped-reply tests for rename.

- Quell (spurious, but I don't blame gcc for getting it wrong) "uninitialized
  use of dchild" warning.

- Reconstruct rename replies (easy, until I go back and make them all work in
  the failed-over case).

- macroize and share check-for-resent-req code.
- defensive assertion in mds_close_mfd to help catch dentry mismanagement
- transnos for getattr_name and open, always.
- don't free the repmsg too early when we're dropping replies for testing
- ldlm_intent_policy knows how to fix up lock handles for reconstructed requests,
  and not give the lock away to the client twice
- tchmod exits with errno on failure.

Update lcrash map-making script.

file .cvsignore was initially added on branch b_devel.

file compile.sh was initially added on branch b_devel.

file Makefile.am was initially added on branch b_devel.

file libtest.c was initially added on branch b_devel.

fix uninitialized variable warning

b=892
osc_close used to walk through the request list, trying to find the
corresponding osc_open.  This is slow, racy and doomed to failure, so we
need to instead save a point to the request in osc_open.

Instead of passing a handle up to whoever called us, pass 32 bytes of
opaque data.  These get passed back to us at various points, through
the obdo's inline field.

Fixed to make version_tag.pl work outside srcdir.

You might not believe it, but the open-reply tests pass now.

Reconstruct replies for open.  Lightly tested (successful open case).

- Store open-request XID in the MFD, so that we can find it during reply
  reconstruction.
- Untested reply reconstruction for GETATTR_NAME (easy) and OPEN (not easy,
  ahem).
- Don't leak dentry refs when reconstructing replies for reint_setattr or
  reint_create.
- Don't double-dput dchild if dentry_open fails.  (Not yet in test suite, bug
  894 filed to trick someone into adding it.)

don't LBUG if we can't lookup the parent in mds_open and mds_reint_create; it's
entirely possible that we're racing with rmdir()

file lustre_peer.c was initially added on branch b_malt.

file statone.c was initially added on branch b_devel.

Add tests for reply reconstruction and request retransmission for
reint_setattr.

file test.txt was initially added on branch b_intel.

file lustre_peer.c was initially added on branch b_devel.

file lustre_handles.c was initially added on branch b_devel.

file lustre_handles.h was initially added on branch b_devel.

Minor fixup.

Update HP PNNL kernel patch for new VFS changes.
Remove patch hunks which are calling user_path_walk_it(..., NULL)

merge b_setattr into b_devel.  The highlights:

- proper LDLM_DEBUG macro fix, for gcc 3.2 (850)
- failed open()s could cause deadlock; fixed (867, 869)
- stop cancelling OST locks when files are closed (481)
- overlapping XID spaces caused network corruption (851, 853)
- fix unsafe fsfilt counter arithmetic; change to atomic_t
- setattr_raw added, to do single-RPC, server-side setattrs
- fix crashy race condition between ptlrpc_free_req and osc_close

file acceptance-metadata-double.sh was initially added on branch b_setattr.

merge b_devel into b_setattr.  highlights:
- kernel 2.5 and liblustre build changes
- fixes to Makefile.am for 7.3-era versions of automake, which is quite possibly
  the worst piece of software with which I come in contact on a daily basis
- small unlink fix

temporarily modification for compilation on uml2.5.59
(some struct has changed in 2.5, such as timespec, kdev_t)

- the bulk of the build fixes for liblustre. Note
  that all user level programs now need to include
  <liblustre.h> (as is done in the utils and test
  directories.

file liblustre.h was initially added on branch b_devel.

Don't be outsmarted by the dcache, mkay?

Added support to specify the lustre obj dir.

New transno regimen:
  - no more transno semaphore: the LDLM is the one true source of concurrency
    control
  - allocate transnos and log requests for failed requests too
  - record request status and open-disposition in last_rcvd as well
  - mds_finish_transno commits the handle, if there is one (and creates its own
    for the last_rcvd update, if needed).

Much nicer (IMO) error-handling in mds_reint.c and such.  At the least, 85%
fewer gotos.

Rename "last_rcvd" to "(last_)transno" in various places, because it's clearer
that way (again, IMO).

Warning (type mismatch) fixes in osc_request that were bugging me.

Fixups to HP patch.

backport Andreas's IT_READLINK fix

Oversight in mds_open, forgot to save locks for reply-ack; fixed.

Remove use of old config stuff from acceptance-metadata-single.sh.
Don't use hard-coded paths.

Added mkdirmany to lustre-lite rpm.

Made changes so that tinderbox runtest doesnt fail