- add a target that automatically builds the pdf document.
- updates to the Lustre HOWTO, still incomplete
- include lock manager in master.

- runfailure-net fixes:
  - create /dev/request
  - the open() test needs to actually do an open()
  - don't use "run 0 foo" to avoid 'No such pid' error

- fixed up lustre_mds.h to allow inclusion in userspace testreq.c
- added ptlrpc_abort_bulk() to help cleanup aborted requests
- changed giant obd_support.h enum into #defines, which will save me hours of
  counting.
- fixed the ioctl interface to the MDC, so testreq works again
- gave testreq a real interface, to just run one test at a time
- ptlrpc_abort() was freeing a variable which would almost always still be NULL.
  Fixed.

Make the failure testing readonly stuff conditionally compiled based on
whether the kernel has been patched with support for it or not.

- fixes to filter obd
- move inode size update to file close time.

A bunch of minor cleanups when using sizeof().  This even appears to have
caught 3 minor bugs in the code.  Prompted by a couple of similar bugs that
were just found in the kernel.

Basically, with a variable like "struct foo *bar" it is preferrable to
use "sizeof(*bar)" everywhere instead of "sizeof(struct foo)".  The
former isolates us from errors in case the type of "bad" ever changes.

Apparent bugs were in filter/filter_obd.c and ldlm/ldlm_resource.c (we
were using __u32 when the variable was declared as __u64).  There also
appears to be a memory leak in ldlm_resource.c.

Add new simple test script "runtests" which automates a bunch of the basic
tests which I do before committing stuff to CVS (copy some files, check
they are OK, shutdown+restart, check files again, etc).

Add support in "new_fs" for using pre-built filesystems for testing (this
is considerably faster than building a new fs each time on loopback).

- add obdfilter to our setup, cleanup and debug environment
- fix tiny bug in filter.c

Clear the readonly state flags when we initially set up MDS and when we exit.

Remove READPAGE_BULK_NET (unused).  Without this minor change, the error
codes at the end of runfailure-net script are wrong.

It might be nice in the future to have a name->number conversion tool
which could always get this correct, but it isn't a big deal yet.

- add more infrastructure to handle extents and debug.
- some of this is going to change dramatically as we feel we
  are handling too many resources now.

Simple script to test all of the network packet loss scenarios.

Patch to allow disabling devices for testing failure/recovery scenarios.
By itself this patch does not enable failure testing, but when it is
applied to the kernel, the OBD_FAIL_WRITE() call will activate it.

Patch currently supports loopback, IDE, and UML ubd failures (ignore patch
reject for ubc.c if not using UML).

Enable MDS write failure testing via "echo <num> > /proc/sys/lustre/fail_loc"
where <num> is the number of a write failure breakpoint (OBD_FAIL_MDS_*_WRITE
as defined in the enum in obd_support.h).

Reinstate the delete_inode methods.  We now make a copy of the superblock
operations table for the MDS superblock so we don't affect other users of
that client filesystem type.

I also removed a duplicate call to rpc_unregister_service() in mds_cleanup.
This is what was causing the "rpc unable to unregister 12" type messages at
cleanup.

Set a flag in the inode if we have stored the objid there, so we know when
we should clear it.   Also make clear_inode() the default cl_delete_inode
method so we don't have to do an extra check for it.

In the end, I think that the objid issue is not a source of any problems,
because ext3_delete() will only call ext3_truncate() if i_blocks is non-zero,
and it isn't (this is why we weren't seeing any errors from ext3 trying to
truncate "blocks" that are not allocated).

Disable the delete_inode overloading for now.  It overloads the methods
for _all_ users of that filesystem type, which is obviously bad.

All of the "hack" and FIXME stuff in MDS is now handled by fs-specific methods
which are selected at mount time.  This includes journaling support.

Changes OBD_FAIL_WRITE() to include the block device which should be
disabled.  We conditionally compile the "make device readonly" support.

Add definitions of the MDS client filesystem methods to headers and Makefile.

Add in a delete_inode method for use when the inode is finally unlinked,
so that we can clear out the objid if necessary.  Since delete_inode
is handled by a callback from the VFS when n_link == 0 (and we don't
want to introduce race conditions by checking this at unlink time), we
replace the client delete_inode method with a filesystem-specific MDS
delete_inode call, and then call the client delete_inode method from
within our MDS delete_inode operation.

- Replace the complicated waitq story with a much less complicated
semaphore
- Move semaphore after allocation

Try using add_wait_queue_exclusive to avoid waking all (x - 32)
suspended request threads at once.

- Added a queue length and waitqueue to the client structure in an
attempt to limit the number of concurrent requests outstanding at a
given time.

Move mds_null.c back to mds_ext2.c - we have more than just the journaling
methods now (setattr, set_objid, get_objid, readpage), which extracts all
of the filesystem-specific hacks out of MDS.  We now have files with a very
high-density hacks for ext2 and ext3, but at least we can clean it up easily.

There was a race between ll_unlink and ll_create_node: notably,
ll_unlink would make the inode available on the MDS before the local
dentry/inode on the client was put away.  This could lead to re-using
inode numbers with a concurrent create going on.

We fixed this using the generation number.  We also added the
inode/generation to unlink as a sanity check.

- added a find_inode function that iget4() will use to compare inodes.
  find_inode simply compares generation number with what we get from MDS
- set rep->generation in mds_reint.c:mds_reint_create()

Actually mount the filesystem in llmount.sh.

The previously checked-in empty filesystem was dirty for some reason.

Increase MDS and OST request buffers to 128k each

Various llmount-client/server fixes

More 'rpc_register_service' removal

- simplified ptlrpc_service by using ME auto-unlinking
- merged ptlrpc_init_srv and rpc_register_service

Simple journal abstractions for the no-journal (ext2) and ext3 cases.

Empty filesystems for creating tests.  Using these is _much_ faster than
using "dd" to create an empty file and then mkfs to create the filesystem.
They are also highly compressed (1000:1) so they don't use much space.

The new_fs() helper in common.sh will use these files instead of dd+mkfs
if they match the parameters given to new_fs().

Set an initial value for return code.

Don't dereference "lock" before it is set.

 remove gid/rid's; minor cleanups.

- default to 5G
- run with -i 0 -i 1

- build truncate with LARGEFILE64_SOURCE
- truncate's second argument is now in KB

*** empty log message ***

- more of the locking infrastructure.
- BUG -> LBUG to work with the crashdump tools

- ll_file_open was not passing the correct file->f_flags to mdc_open.  Fixed.

- don't read the page if we're just about to completely overwrite it
- fixed one of the page invariant BUGs

Commit changes to use new setup_portals helper function.

mds/handler.c, mds/mds_reint.c: fixup the ext3 MDS code a bit to build on
the older 2.4.9 kernel (i_blkbits does not exist there), and add
in the missing fixup for i_diskblocks
ALL: add in test framework for simulating errors, dropped packets, etc.
does not yet integrate with the ext3 on-disk error interface

Remove yet another extraneous BUG()

Remove annoying output from the shell when acceptor is stopped.

Fixup logic a bit.

Move portals setup into a helper function "setup_portals" that uses the
enviroment variables "NETWORK={elan,tcp}", LOCALHOST, SERVER, and PORT.

Simple script to run vmstat and prepend the time, so we can see when vmstat
is not being scheduled instead of thinking that something is strange.

Remove silly BUG() that catches "erroneous" writes above 4G.

The ext3 MDS code.  Basically, we have to hack around the fact that ext3
does not have the directories in page cache, so we need to export the
ext3_bread() function in order to ensure we read the same data as what the
filesystem itself is using.  This will likely go away at some time in the
future as ext3 is ported to the pure page-cache-based directory handling
that is in ext2 (which is slightly more efficient).

use relative paths to insert the modules relative to the test script

- added non-fatal qswnal insertion to common.sh
- fixed up various scripts to use the common.sh variables

Script to use an existing ext3 MDS setup.  Useful for testing recoverability
of an MDS setup with llext3.sh.

Script to run iozone in a loop.  It probably doesn't have the right iozone
parameters that people want, but it is a start.

Update rundbench script for new debug control file.

Update ostreq.sh script to use new helper functions.

Minor cleanup.

The loopback device helper will use the next unused loopback device instead
of just starting at minor 0.

- Take advantage of new disconnect semantics to make llmountcleanup.sh a more
general script

Add ext3_bread to exported symbols.  Needed because ext3 does not have
directories in the page cache yet.

- Removed an overzealous BUG() that keeps us from cleaning up after C-c

Indenting only.

- Added UUID description to network document
- fixed leaked refcount in failed osc_request startup
- small debugging message fix
- removed extraneous PtlMDUnlink
- try to remove kqswnal in llmountcleanup

add path

dd kernel version deps
Cdd \7f\7f\7f\7fVS: ----------------------------------------------------------------------

- remove unhelpful CERRORs

- do the right thing when we catch SIGTERM
- removed extraneous MDUnlink
- added CERRORs to catch MD leak

- updated documentation (introduction)
- race fix in md_active
- new lock stuff

Yet another test script, this one for the DLM.

- mds_open/mds_close had an unbalanced mnt put/get.  I'm still not clear on why
  _every_ caller to mds_fid2dentry doesn't have this problem, but an extra
  mntput fixed this one.
- oops.  I committed my really large llmount.sh.  Fixed.

Update older ll*.sh scripts to use helper functions.

Add "llrmount.sh" script, which does the same setup as llmount.sh, but does
not create new filesystems.  It uses the existing filesystems from a previous
invocation of llmount.sh.  This is useful for persistency testing or testing
recoverability.

Add "old_fs" helper function (takes same args as new_fs helper) to just
set up an existing filesystem instead of creating a new one.

- don't free the request when you drop the packet--it's on the stack
- brought mdcreq.sh into the year 2002 (even though the mdc ioctl interface is
  still broken)

- Removed the (nearly) unused obd_print_entry and fixed the code that
  depended on it.
- Added code to drop packets based on /proc/sys/obd/drop_packet
- De-tabbified and switched a bunch of code to use RETURN and GOTO

- may not need this client lock

- add a figure
- fix the problem that the refcount is reduced on the wrong md in the
  ring buffer

- temporarily change client.c which bums out on killing a client (PHIL?)
- lock the service structure whenever it mucks with state
- add full debugging to llecho.sh

Check for 1 or 2 obdos being passed from test_brw ioctl.

Change default obdctl test_brw behaviour to have only 1 obdo and 1 page.
Make BRW class ioctl check for one or two obdos.

- Small changes for packaging

- be more strict about what we accept from PtlEQGet in ptlrpc_check_event()

- fixed some NTOH/HTON mixups
- added some BUG()s in niobuf pack/unpack to catch bogus offsets
- added a couple of BUGs() in dropped-packet cases

- add correct file

- many small makefile changes to build package conveniently.
  - to be done: retain CVS with anonymous root
  - fix up the PORTALS path
  - build a portals RPM
- include a better tags target that includes vim tags and portals.

Use req->page instead of req->addr inside echo_commitrw, as the latter is
unset by the callback function on a write (it worked fine for reads ;-).

Script to set up MDS using ext3 (basically llmount.sh with ext3 instead of
ext2 for MDS).  Will not work unless ext3 has been patched with a_ops=&ext3_ops
in fs/ext3/inode.c and fs/ext3/namei.c.  Not sure if that is the correct
solution yet or not.

- Makefile.am fixes to allow building in objdirs

Add comment about direct access to fs-internal data struct - it works for
ext2 and ext3 (they happen to have the same layout) but it is dangerous.
Since it falls under the "hack - to be fixed with EA support" I didn't fix.

A couple of cleanups while looking for ext3 bug - don't leak buf or bulk
allocations on error.

- brought lustre-debugging.lyx up to date
- removed unused obd_print_entry code
- fixed the llmount.sh debug level default
- minor debugging cleanups
- moved mdc_reint to where it's actually used

Make llmountcleanup.sh use new helper methods.

Clean up llmount.sh to use new helper methods

Clean up llecho.sh script to use new helper methods

Add helper routines to tests/common.sh:
- centralize location for debugctl, obdctl, ptlctl
- automate test filesystem creation
- check if devices exist before trying to create them (avoid error msg)

Add openunlink binary to .cvsignore.

Add echo_connect/echo_disconnect to do proper module refcounting (avoid
oops if we unload module while we have an open connection to it).

The echo_preprw and echo_commitrw methods now clean up properly on error.

Fix BRW ioctl test interface.  I had set up offset/count/flag per obdo
when it is really per-page.

Unlock page in lustre_prepare_page() if there is an error.