More 'rpc_register_service' removal

- simplified ptlrpc_service by using ME auto-unlinking
- merged ptlrpc_init_srv and rpc_register_service

Simple journal abstractions for the no-journal (ext2) and ext3 cases.

Empty filesystems for creating tests.  Using these is _much_ faster than
using "dd" to create an empty file and then mkfs to create the filesystem.
They are also highly compressed (1000:1) so they don't use much space.

The new_fs() helper in common.sh will use these files instead of dd+mkfs
if they match the parameters given to new_fs().

Set an initial value for return code.

Don't dereference "lock" before it is set.

 remove gid/rid's; minor cleanups.

- default to 5G
- run with -i 0 -i 1

- build truncate with LARGEFILE64_SOURCE
- truncate's second argument is now in KB

*** empty log message ***

- more of the locking infrastructure.
- BUG -> LBUG to work with the crashdump tools

- ll_file_open was not passing the correct file->f_flags to mdc_open.  Fixed.

- don't read the page if we're just about to completely overwrite it
- fixed one of the page invariant BUGs

Commit changes to use new setup_portals helper function.

mds/handler.c, mds/mds_reint.c: fixup the ext3 MDS code a bit to build on
the older 2.4.9 kernel (i_blkbits does not exist there), and add
in the missing fixup for i_diskblocks
ALL: add in test framework for simulating errors, dropped packets, etc.
does not yet integrate with the ext3 on-disk error interface

Remove yet another extraneous BUG()

Remove annoying output from the shell when acceptor is stopped.

Fixup logic a bit.

Move portals setup into a helper function "setup_portals" that uses the
enviroment variables "NETWORK={elan,tcp}", LOCALHOST, SERVER, and PORT.

Simple script to run vmstat and prepend the time, so we can see when vmstat
is not being scheduled instead of thinking that something is strange.

Remove silly BUG() that catches "erroneous" writes above 4G.

The ext3 MDS code.  Basically, we have to hack around the fact that ext3
does not have the directories in page cache, so we need to export the
ext3_bread() function in order to ensure we read the same data as what the
filesystem itself is using.  This will likely go away at some time in the
future as ext3 is ported to the pure page-cache-based directory handling
that is in ext2 (which is slightly more efficient).

use relative paths to insert the modules relative to the test script

- added non-fatal qswnal insertion to common.sh
- fixed up various scripts to use the common.sh variables

Script to use an existing ext3 MDS setup.  Useful for testing recoverability
of an MDS setup with llext3.sh.

Script to run iozone in a loop.  It probably doesn't have the right iozone
parameters that people want, but it is a start.

Update rundbench script for new debug control file.

Update ostreq.sh script to use new helper functions.

Minor cleanup.

The loopback device helper will use the next unused loopback device instead
of just starting at minor 0.

- Take advantage of new disconnect semantics to make llmountcleanup.sh a more
general script

Add ext3_bread to exported symbols.  Needed because ext3 does not have
directories in the page cache yet.

- Removed an overzealous BUG() that keeps us from cleaning up after C-c

Indenting only.

- Added UUID description to network document
- fixed leaked refcount in failed osc_request startup
- small debugging message fix
- removed extraneous PtlMDUnlink
- try to remove kqswnal in llmountcleanup

add path

dd kernel version deps
Cdd \7f\7f\7f\7fVS: ----------------------------------------------------------------------

- remove unhelpful CERRORs

- do the right thing when we catch SIGTERM
- removed extraneous MDUnlink
- added CERRORs to catch MD leak

- updated documentation (introduction)
- race fix in md_active
- new lock stuff

Yet another test script, this one for the DLM.

- mds_open/mds_close had an unbalanced mnt put/get.  I'm still not clear on why
  _every_ caller to mds_fid2dentry doesn't have this problem, but an extra
  mntput fixed this one.
- oops.  I committed my really large llmount.sh.  Fixed.

Update older ll*.sh scripts to use helper functions.

Add "llrmount.sh" script, which does the same setup as llmount.sh, but does
not create new filesystems.  It uses the existing filesystems from a previous
invocation of llmount.sh.  This is useful for persistency testing or testing
recoverability.

Add "old_fs" helper function (takes same args as new_fs helper) to just
set up an existing filesystem instead of creating a new one.

- don't free the request when you drop the packet--it's on the stack
- brought mdcreq.sh into the year 2002 (even though the mdc ioctl interface is
  still broken)

- Removed the (nearly) unused obd_print_entry and fixed the code that
  depended on it.
- Added code to drop packets based on /proc/sys/obd/drop_packet
- De-tabbified and switched a bunch of code to use RETURN and GOTO

- may not need this client lock

- add a figure
- fix the problem that the refcount is reduced on the wrong md in the
  ring buffer

- temporarily change client.c which bums out on killing a client (PHIL?)
- lock the service structure whenever it mucks with state
- add full debugging to llecho.sh

Check for 1 or 2 obdos being passed from test_brw ioctl.

Change default obdctl test_brw behaviour to have only 1 obdo and 1 page.
Make BRW class ioctl check for one or two obdos.

- Small changes for packaging

- be more strict about what we accept from PtlEQGet in ptlrpc_check_event()

- fixed some NTOH/HTON mixups
- added some BUG()s in niobuf pack/unpack to catch bogus offsets
- added a couple of BUGs() in dropped-packet cases

- add correct file

- many small makefile changes to build package conveniently.
  - to be done: retain CVS with anonymous root
  - fix up the PORTALS path
  - build a portals RPM
- include a better tags target that includes vim tags and portals.

Use req->page instead of req->addr inside echo_commitrw, as the latter is
unset by the callback function on a write (it worked fine for reads ;-).

Script to set up MDS using ext3 (basically llmount.sh with ext3 instead of
ext2 for MDS).  Will not work unless ext3 has been patched with a_ops=&ext3_ops
in fs/ext3/inode.c and fs/ext3/namei.c.  Not sure if that is the correct
solution yet or not.

- Makefile.am fixes to allow building in objdirs

Add comment about direct access to fs-internal data struct - it works for
ext2 and ext3 (they happen to have the same layout) but it is dangerous.
Since it falls under the "hack - to be fixed with EA support" I didn't fix.

A couple of cleanups while looking for ext3 bug - don't leak buf or bulk
allocations on error.

- brought lustre-debugging.lyx up to date
- removed unused obd_print_entry code
- fixed the llmount.sh debug level default
- minor debugging cleanups
- moved mdc_reint to where it's actually used

Make llmountcleanup.sh use new helper methods.

Clean up llmount.sh to use new helper methods

Clean up llecho.sh script to use new helper methods

Add helper routines to tests/common.sh:
- centralize location for debugctl, obdctl, ptlctl
- automate test filesystem creation
- check if devices exist before trying to create them (avoid error msg)

Add openunlink binary to .cvsignore.

Add echo_connect/echo_disconnect to do proper module refcounting (avoid
oops if we unload module while we have an open connection to it).

The echo_preprw and echo_commitrw methods now clean up properly on error.

Fix BRW ioctl test interface.  I had set up offset/count/flag per obdo
when it is really per-page.

Unlock page in lustre_prepare_page() if there is an error.

- a few more header cleanups
- removed some unused code
- inserted many extra BUG()s to catch problems early
- fixed a use of the incorrect inode, and fixed the directory bug
- enabled mds_open/mds_close
- fixed a small leak in an error case
- removed an extra set_page_dirty() in the write path
- added an open/write/close/open/unlink/read/truncate/write/read/close test

We touched everything, but it's not as scary as it looks.

- dramatically reorganized and simplified the headers.  Most of the nasty
  recursive definitions are gone, and obd_class.h no longer drags in the
  entirety of Lustre.
- .cvsignores updated and cleaned
- added another chunk of DLM code and a test, which passes (note that it doesn't
  free the locks yet, so don't expect to cleanup afterwards)
- fixed OBD_ALLOC/OBD_FREE in the same ways as the Portals macros
- removed a lot of dead obd_class code

- add open and close calls: initial purpose is to support I/O to open,
  unlinked files
- fix faulty connection handling in osc/ost methods: unlink, punch (this
  should explain and fix the iozone behavior).

Update preprw and commitrw methods on echo OST.

Add BRW_READ and BRW_WRITE ioctls.
They are for BRW bulk transport testing, using a vector of 2 obdos with a
variable number of pages each.  No data is currently passed to/from userspace.
In fact, I _think_ that no data is going over the transport either for some
reason, because the operation is too fast, even though I'm not getting any
errors.

Add test_brw command.  While it doesn't cause any errors, I don't think it
actually does the right thing yet - it runs much too quickly (faster than
getattr, in fact).  Committing it to reduce the size of outstanding changes.

Add some performance stats to test_getattr.

Adding ctags and other built files to .cvsignore to reduce clutter and make
changes more visible.

Tiny cleanup in preprw to match commitrw.

Add BRW_READ and BRW_WRITE ioctls.

Don't try to close file pointer if there was an error opening it.

Added cvsignore files to directories which didn't have them.

- first parts of lock management: module & resource hash +
  header file with data structures.

- typing 'quit' was not cleaning up obdctl connections.  fixed.
- switching devices also closes connections now.

- module insert code moved to tests/common.sh
- refactored request freeing code to handle the use of the reply buffer after
  the mdc_getattr, etc. returns.

- made many CERRORs (the informative, rather than bad ones) into CDEBUGs.  It
  should run silently now.

- Report any leaked memory at module remove time
- Free the reply buffer when we destroy the request, thus avoiding the
double-free.  If we ever move to an event model where we don't put the
ptlrpc_main() request on the stack, be careful that we don't free an outgoing
reply buffer before it's sent!

Add echo_preprw() and echo_commitrw() methods to the echo OST.  They have
not been tested yet, need to add test_brw to obdctl first.

Don't dereference conn if we don't have a connection.

rpc/service.c: set max_offset when creating service MDs
added lustre debugging draft

- track offset for debugging

use debugctl for 'modules'
unload 'obdecho'

max offset patch for request headers,
missing obd_echo

Removed 'modules' functionality, which is now in debugctl

- add obdecho directory
- numerous small fixes to obdclass -- yippeah Andreas is back
- test_getattr (jt_multi_getattr) tells obdctl to fire many getattr requests.
- build this code, run obd/tests/llecho.sh and play with it

Fixed stupid bug, calling kunmap() on an address

build fix, remove 3rd buffer

- small fixes; things work.

- fix for reads

- fixed obd_brw_read bug