Roberts patch for chaos25

Add ignored file.

Changed test for src_eq_h into an assertion (always valid)

Clean up some wildcards.

b=599178
- Update ChangeLog for 0.5.14 (oops)
- ldlm/ldlm_lock.c: I reordered ldlm_lock2handle before, and in the process
  inserted a stupid bug; fixed.
- bug 599178 (don't permit multiple ldlm setup) fixed

minor nicety.

Revert some of the CERROR->CDEBUG changes in recovery.

Make lovstripe.c a bit more verbose when running the test.

Fix up changebar generation--the order of the Makefile rules matters.

Quiet uninitialized variable warning.

Damn all that spelling stuff anyways.

Poisoning of all cookies at free time (to work around slab cache bug, and
also potential problems when we don't have CONFIG_DEBUG_SLAB enabled.
Rename OBD_PUNCH_EOF as OBD_OBJECT_EOF, since we use it in places other
than punch.

Poisoning of all cookies at free time (to work around slab cache bug, and
also potential problems when we don't have CONFIG_DEBUG_SLAB enabled.
Rename OBD_PUNCH_EOF as OBD_OBJECT_EOF, since we use it in places other
than punch.

Fix a boolean error when checking for no file locking.

Poisoning of all cookies at free time (to work around slab cache bug, and
also potential problems when we don't have CONFIG_DEBUG_SLAB enabled.
Rename OBD_PUNCH_EOF as OBD_OBJECT_EOF, since we use it in places other
than punch.

Rename obd_punch() parameters to what they should be.

Send the correct (I think) client-LDLM export address when reconnecting.
I will now write 100 times on my whiteboard: reuse client_obd_connect.

And "--force".  Don't touch me.  I'm fine!

Add -f to the short_opts.  What was I smoking before, exactly?

Header changes for the delayed-alloc changes I previously made.

Support delayed creation of objects, including a test program.

- Add D_HA for recovery diagnostics, and use it in a handful of places.
- More information about replayed/sleeping/etc. requests.
- Instrument FH rewriting during open replay.

* don't open for writing

Change the number of OST buffers depending on how much ram we have.  Yes,
we could run out of space this way, but at least people will be able to
use Lustre on machines with < 2 GB of ram (that aren't UML).

b=621450
Fix IA64 include problem; tested build on IA32 without incident.

b=602707
b=620007
Fixes the ignored directory permissions bug, which was a direct cause of
the "la -la" bug.

- {push,pop}_ctxt now un-sets and re-sets CAP_DAC_OVERRIDE
- ll_lookup2 needs to be much more careful about which errors lead to a
negative dentry; I think I've gotten creations and unlinks right, but
we _so_ need a regression test that attempts a slew of error-causing
operations and verifies that we get the correct errors back.
- fix yet another ptlrpc_request-related crasher in mds/handler.c
- error during mds_reint_create is now par for the course; remove LBUG

Still call mdc_close() if there was an error during obd_close(), or we
will get a leak on the MDS for open file handles until that connection
is closed.

Don't revalidate the inode size if we have no objects allocated yet.

A note for Mike.

* new test case (commented out) for bug  #620096

Workaround in lctl create for BA OST bug.

Add UID/GID to lctl create, to work around BA OST bug.

So.  When we replay a request, we go through request_out_callback again,
which is called when portals informs us that our message has been sent.
That will decref the request again, and unless it's been bumped for
each resend/replay, we will prematurely free it.  In addition to the
obvious evil of freeing it (which will take it off the sending_head
before we're really done with it), it also causes a deadlock when
free_req attempts to acquire req->rq_connection->c_lock -- which is
already held by the recovery replay loop!

This should make things better, and might even fix the MDS failover
test.

Remove verbose debugging added recently.

b=619803
Unset cookie when freeing lock, check cookie before deref in handle2lock

Don't LBUG on OOM in setup.
Cosmetic fixes.

Add BA OST UUID extraction to MCR config script.

Add an error message if we are trying to use a zero-length rpc buffer.

Fix leak_finder.pl script to work with new CDEBUG() format.

Workaround in ll_create for BA OST hang bug - we were not setting the
o_uid and o_gid fields to obd_create (nor the corresponding o_valid flags)
and the BA OSTs did like that one bit, and reset themselves (hence timeout).

For now, we set the uid = gid = 0 always, to avoid issues if the file
permissions are changed on the MDS (we would not see a corresponding
permission change on the OST).  Need to revisit this when we do kerberos
security properly.

* update with the portals version, so builds work on alpha

Comment out unused lock.

* Protect d_it with a semaphore, Part I
* this patch uses the new semaphore in the all places it will be needed, but
does not change where d_it is being set.

* set l_resource to NULL when it is freed

b=619803
Comment out spinlocks until tomorrow; they didn't fix the bug (I didn't
really think they would, but you have to hope), and they introduced a lock
inversion.

b=619803
Add a spinlock around lock creation, deletion, and handle2lock.

More debugging.

A better fix from Eric.

Revert last change, it is broken.

Temporary fix to avoid lprocfs crashing.
This needs to be cleaned up to have something like:

#define LPROCFS_GROUP_LAST {"0", NULL, NULL },
#define LPROCFS_DIR_LAST LPROCFS_GROUP_LAST

Add some debugging to try and catch OST locking.

Use given client.txt file.

* fix compile on older gcc

* ensure the PATH in the environment includes the elements in DEFAULT_PATH

b=614459
b=618273
Peter opened my eyes to a serious problem with the OSC, which was the cause of
the O_APPEND extent bug.

b=618962
- Temporary fix for 618962 by handling OPEN intents in revalidate

Move debugging message outside spinlock.

Dump debug log at cleanup time, in case of errors.

Document the --dump option properly.

Dump debug log at end of test in case of error.

Two fixed:
- refcounts on MDS module fixed, and problems with bogus exports
- unsafe list walking on the open file list of the MDS could cause
  random memory problems
- added real handles for open files on the MDS to ensure we don't
  dereference bogus pointers - mike you still need to clean up open
  files on the MDS for disconnect

Comment out unused variables to quiet compiler warnings.
Remove dead code (it can always be had from CVS again).
Minor formatting.

Fix breakage in lconf.

I guess when you are doing recovery, you never shut down cleanly...

Unlock a lock that exists, fixing the build.  (Thanks to Hari for pointing this
out; I don't know how I built before.)

Add verbosity flag.

- Add support for umount -f: it invalidates all in-flight and delayed requests
  and marks the connection(s) as invalid, so that future operations fail.
- Make the NEWCONN ioctl clear the CONN_INVALID flag.
- Remove a handful of unused members from ptlrpc_request.
- More informative and uniform req-failure (timeout, recovery, umount -f)
  reporting.
- Update runfailure-net a little; more work needed here.
- Add --force / -f to lconf for "umount -f" umounting.

Add openclose into the mix, to test EA creation and removal on the MDS.
Seems to have payed off rather quickly.
Increment thread counts by 5 each time, and exit at < 196 threads (which
caused a problem for shmem somehow.

- Make lustre_lite.h userspace-include-safe
- Make openclose.c do an ioctl a-la IOR for more testing

. request buffering parameters as checked out on MCR
. #warning + reduced strength assertion on unlined_me
. fixed dynamically allocated IOVs getting freed too early

Add BKL for obdfilter also.

Make ldlm_cli_cancel_unused not return an error for invalid resource.  This is
a very common case, where a file is opened and then closed without locks having
been taken.

Minor cleanups.

Update journal_{start,stop} to have the BKL around them.  This fixes a
number of serious bugs that were seen in the MDS.

A script along the lines of runregression-net.sh and runregression-brw.sh,
which is rather simple-minded in its operations, but does lots of them.

If we are passed a bad connection handle don't oops.

Don't try to disconnect connections we don't have.

Program to create/destroy many files.

Add a "threads" parameter too openclose, so you can easily launch lots of
threads.

Removed strtok, replaced with strsep(threadsafe) for 2.5 kernel

Remove all of the single-threaded-single-page read verifications.

Pack inode data into reply for mds_open().

Added more debug to LProc cleanup

Helper functions for OST file handles.

Updated version of the header file for SNMP first code drop

Added SNMP namespace minus the hierarchical info

First set of changes for SNMP, allows reading of UUID

- rewrap lustre_lib, so it's readable in an 80-column emacs
- add a touch more debugging to extent locking

- Fix dumb iloop bug in dump_connection_list by properly using the list_head
  API. Sorry.

Don't hold i_sem for invalidate_inode_pages() in ll_lock_callback() (I
could have sworn I committed this yesterday).

Don't put obdos on the stack if we can avoid it.

Handle error case when mdc_readpage() fails.

Add client.c and target.c in place of l_net.c

b=617434
shaver's fix for the recovery NULL deref

More makefile fixes.

Don't use relative paths for files as it breaks automake.

- Add extent information to LDLM_DEBUG
- When we receive a completion AST for an extent lock, copy the new extent
  out of the lock_desc
- fix unbalanced ENTRY

- Add some more verbose logging of the cases that get clients into recovery.
- l_wait_event returns -EINTR, not -ERESTARTSYS.

- Add mount-epoch checking in most (all?) inode-using operations, in preparation
  for inode poisoning during failed recovery.
- Chain superblocks off the associated connections, because they were the only
  things we weren't yet keeping in a list or three.  (Also, so we can find the
  right superblocks to poison during recovery.)
- Split l_net.c into client.c and target.c to avoid OST/MDS dependencies on
  llite, and soothe my soul.
- Build client.c and target.c as sources from other directories as needed,
  instead of symlinking them.  (Someone could do this with the rest of the
  symlinked stuff, or I'll get to it later.)

Fix problems if ext3 and extN have different sb_info structs.

b=617434
Add some bulletproofing to sync_io_timeout, to try to fix this.

BuildArch: noarch is still broken.

Always fill in the full body on reply to keep ll_lookup2 happy.

Fix breakage caused earlier this week by over-optimization.

Set the ino earlier - it appears that the second RPC reply does not set it.