Updates for 0.5.8 release.

increased request buffering for the OST service

Probably memory corruption bug: the file lock bits weren't aware that
stripe_count==0 is legal, so they were allocating a 0-byte lock array that
would hold one 16-byte lock handle.  Fixed.

Fixup readme a bit to reflect reality.
Add object type to test_getattr obdo, so it works with obdfilter.
Fix up threading again, for "asked-for-threads-but-not-running-threads" case.

Allow caller to specify autoconf program to use, in order to support systems
with both 2.13 and 2.53.

- add manual pages with configuration help.
- of particular importance is lustre-conf.
- this is included as a new chapter in the book.

- add templates for manpages.

Fix "thread" parameters for test_brw and test_getattr for non-threaded tests.

Fix problem with shell escaping of variables.

Fix badness in test scripts.

Clean up runtests for inclusion in ltest.

Todo comment.

Look for compat flag in GS_OPTIONS.

* now current with lmc and lconf

b=596503
b=608680
Reenable bits of dentry caching by doing lock matching for LOOKUP intents in
ll_revalidate2.

Remove the locking warning added yesterday.

I now see that this was fixed by the "re-get file attributes after we
get the file lock" change, which seemed sort of overkill at the time...

Use make distdir to generate a pristine source tree because we need to keep around some files that are clobbered by distclean.

Appease tex2pdf.

Should only happen with lctl, but just to be safe...

Replace all of the "char[37]" uses with obd_uuid_t.

Prevent false "leak" because of OBD memory accounting.

Remove the extra magic from mds_extN.c for now (we will get it back soon).

Put checks for LOV magic into LOV code, what a good idea.

Don't look at the EA magic in the filesystem, but use the FLEASIZE flag.

TODO message.

Remove setup code from runregression-net.sh and runregression-brw.sh.
You need to set up lustre before running these scripts now.

- a fix for Gary's directory read-back bug.  You can now create lots
  of files and ls shows them. Fixes include updating the directory
  size during readdir by passing back the size in the readdir call.
  Every directory has at least one page, so this works.

- a fix for single node rm `pwd` problems.  The distributed case is
  more involved and we'll have to see about that.

* print a message when a duplicate mds or lov name is used

Fix help message for --threads.

Allow OBD UUID to be specified explicitly for BA OSTs.

b=609205
Reenable the throwing away of data locks on file close.  This may or may not
be enough to fix 609205, depending on whether that bug is purely related to
running out of memory.

- add resource and lock counters to the namespace
- add them to the namespace proc directories (which are, tragically, in the
  top level of the /proc tree until lprocfs gets sorted out)
- fix a dangling resource refcount bug in ldlm_cli_cancel_unused

* add --obduuid <uuid> option so the OBD UUID can be specified
when create an ost.  For example:

lmc  --node localhost --lov lov1 --obduuid 'REAL_UUID' --ost bluearc

minor edits to the patch to work with the Red Hat 2.4.18-12.5 kernel.

Take a LOV default stripe count of "0" to mean striping across all OSTs.

- don't forget to pass data and data_len on to the local enqueue
  functions.
- do directory truncations when the clients don't modify directory
  data and change the dcache.

Made correction to mdc_statfs prototype and a change to mdc_open API.

* ensure mds name used for mtpt is really an mds
* standardize lookup error messages

Minor fix for getting the EA size.

b=597333
Remove unused ELDLM_RESOURCE_FREED

Allos statfs to return values larger than 16TB.

This should fix the LOV problem.  All is well.

Fix lov stripe offset calculations.

Set lsm_magic to LOV_MAGIC.
Fix stripe OST allocation policy slightly.

Allow the default stripe_count to be specified in the XML config, and also
read this value instead of the "stripe_offset" for which we have no use.

Set an objid for lctl create, so we get one step closer to support of
test_brw for LOV devices.

Make sure we remove extN_fs.h when building new.

Fix minor printf breakage introduced today.

Update the README to describe the usage of the XML configuration files.
Also update runtests to do setup and cleanup with an XML file as a parameter.
Allow the llecho.sh script to build a config that will run on two separate
hosts if desired.

Make runtests take an XML config file as a parameter.

Put the HOWTO back in the book.

Add a bit of debugging for LOV sub-object allocation, so we can track it
more easily.

Fix minor braino.

Add definition for O_DIRECT since it is not in the headers yet.

Add O_LARGEFILE and O_DIRECT to openclose test so we can eventually stress
test the kernel for O_DIRECT again.

Large commit which implements more "intelligent" offsets for stripe
creation in the LOV.  Most of it is just variable renaming.

Needs some testing.

print message if a server is not found, instead of failing with stack trace.

TODOs for proper LOV test_brw operations (not implemented yet).

Allow the start offset for test_brw be based on the thread number.  This
allows the threads to be writing to different parts of the file (instead
of all overwriting the same part of the file), to better simulate a real
client load.

Make thread "offsets" start at zero for objids and file offsets (we need
to keep the actual thread numbers > 0, because thread 0 is the master).

Make be_verbose 64-bit clean, and also handle very large counts.

Validate LOV default stripe count <= OST count.

Use OBD_PUNCH_EOF constant instead of lots of f's.

Move definition of LP[DUX]64 to lustre_lib.h so we can use it in obd.c

Rework the code that Phil spent so much time fixing to be much simpler,
much easier to see correctness, and nano-faster also.

b=600245
Fixes this bug by remember that sizeof() returns the size in bytes, not bits.

Use sizeof(var) instead of sizeof(type).

Add a define for the "punch to EOF = truncate" constant.

b=600245
This probably won't fix 600245, but it is related, and would have bitten us
once we grew to more than 32 clients with an ia32 MDS.

Add 0x prefix to hex numbers.

* support 'ethX:*' style wildcard for tcp clients
* grab output of acceptor so errors can be displayed

disconnect first, then del_uuid

* also del_uuid when deleting routes

new  --batch <file>  option
File contains a series of lmc command lines.  All commands are run and
then xml file is saved.

Update changelog for release 0_5_7

- osc_create was setting lmd_stripe_count to 1 instead of 0
- ll_read_inode2 was requiring lmd_stripe_count to be non-zero; instead, we now
  check the magic number in ll_lookup2 before calling iget

- change field names for clarity.

Clarify that ll_brw() gets lustre flags and not the kernel rw flags.

If the 'nolocks' mount option is set, avoid taking or releasing OST locks.
This is hopefully a suitable workaround for 606116

- defiition of the flag and value

- add nolocks mount option osc=foo,mdc=bar,nolocks

b=606116
Add a check for req->rq_export in ldlm_callback_handler, to immediately return
an error instead of later triggering the 'conn' assertion in ptl_send_buf

Drop the spinlock before returning if the export already has a connection.

I'm still not sure I agree that this is an error, but be that as it may,
I leave it for Mike & Peter to work out.

- We don't use pga[i].pg->index, so don't overwrite it, since that seems pretty
  dangerous
- obd_dev's definition is already in a common header file, it doesn't need to be
  in each module
- add an assertion that will perhaps catch the callback bug
- fix PTL_RPC_MSG_ERR reporting, which I don't think has ever worked properly

don't crash an MDS if a client send a reconnect.

Don't oops if there is no recovd for a connection.  Mike needs to confirm if
that is wrong (to not have a recovd), or if this fix is correct.

Allow an objid to be specified on the CLI (via OID=<foo>) to allow multiple
hosts to run on the same object and/or only do rewrite or read tests on an
existing object.

Add O_DIRECT by default again.

Avoid OOPS on timeout from unconnected client. (Temporary.)

Sample recovery reconnection script for MDS failover.

Show page vector size (useful for very long running tests).

Initialize spinlock for obdecho creates.

Disable the lprocfs deregistration, now that I've disabled the registration.

Disable the procfs setup stuff, because it is having grief with obdecho.

Add obdecho so I don't get a complaint from the proc stuff.

Update scripts to not do vector reads on BA OSTs.
Do some quickie tests in -brw so we know things are at least close to good.

Like runregression-net.sh, but only bulk I/O, and lots of it.  It does
reads immediately following the write tests, to catch errors early.
Uses 64GB of space on a real OST.

Fix case where only the OSTNODE is set (test_brw).

Add echo_open() and echo_close() to keep test_brw happy.

Fix 32-bit truncation of test_brw offset calculation.

Updated test_brw user program.  Checks args better, uses a long long for
the iteration count, handles default args properly.

Allow test_brw to run in either read-only, write-only, or read-write mode,
with or without O_DIRECT.  The read-only mode allows us to offline verify
a file that was created from lctl test_brw write independent of Lustre.

- Add hooks for post-replay fixup on ptlrpc_request.
- Use those hooks to update fh data in client filehandles when replaying
  open.

Recovery can now failover to a standby/rebooted MDS and complete a
file write, attr-update and close successfully.  HAND.