Lproc-snmp code drop

* 1st attempt to prevent duplicate devices being started.
* also don't cleanup a device if it doesn't exist.

Similar to local.sh, but with 2 mount points of the same filesystem.

Use the right fstype for the kernel being used.

Removed the lprocfs_snmp.h file. Need to get rid of "snmp" usage
inside lustre. New file is lprocfs_status.h

Changing the name from lprocfs_snmp.h to lprocfs_status.h

* cleanup multiple MDC's correctly

* teach lconf about ktoenal.o

Modified the makefile.am to allow creation of only lustre-HOWTO.txt by default.
'make docs' will build the lustre.pdf document.

many places in the reint path did not use generation numbers with their
locks; fixed.

Hack to force an MDS flush and also get the last_xid/last_committed from
the MDS, so the client can flush its pending RPC requests before umount.

Also, make mdc_statfs() into a OBD method, just because we can.

Quiet down the lprocfs warnings a bit until Hari gets new code into the tree.

Robert's mutli-MDS fix.

Minor update to mds_create_pack(): use "dir" instead of "inode" so that it
is clear what we are packing into the cr_fid.

More ignores.

Ignore more generated files.

Demote the 'sending list' CERRORs to CDEBUGs, so that it's easier to spot bugs
in console output.

b=300
MDT wasn't calling 'unregister_type'; fixed

Whitespace and a small comment.

* change device_list to use the command line interface instead of stdin

- Fix OBD_IOC_OPEN to return the obdo, so user-space has a file handle,
  and runregression-brw.sh can run against obdfilter again.
- Destroy the IPC shmem segment so we can run more than 160 runtests in a row.
- Allow COUNT to be specified, so you can run smaller runregression-brw.sh
  against obdfilter or BA OSTs and not run out of disk space.

- Bug 296: remove LDLM_MDSINTENT to fix mismatches with LDLM_PLAIN locks.
  We now use LDLM_FL_HAS_INTENT in flags, instead.
- Remove some over-verbose debugging in lookup2_finish.
- Automatically reactivate OSC when recovery reconnects successfully.

- minor fixes to get mount to roll in 2.5

"mds" was in SUBDIRS twice--this is bad.

* add --fstype arg to both --mds and --ost
eg:
   lmc ... --node node --fstype ext3 --mds mds1 $MDSDEV $MDSSIZE
   lmc ... --node node --fstype ext3 --ost $OSTDEV $OSTSIZE

Update changelog

b=201
b=285
- Added generation numbers to MDS locks (still need to for OSC locks, bug 294)
- fixup the inode pointer in the ldlm_lock after intent gives us a lock on a
  different resource (bug 285)
- cancel locks when the inodes are flushed from the cache (bug 201)
- fix serious cache coherancy bugs by really tying locks to dentries:
  - always return 0 from revalidate2 for a negative dentry, forcing lookup2
  - when MDS locks are cancelled, unhash the associated dentries (but do NOT
    remove them from the aliases list)
    - avoid calling the cancellation callback at shutdown and clear_inode time,
      by adding yet another flag, this time to cancel_unused
  - lookup2 searches for old dentries that may satisfy a new request, and may
    reuse a dentry that we previously unhashed

We broke hard links even more than they were before--you've been warned!

Good citzenship.

- Bugzilla 214: Have LOV do its own timeout management, so that all OSCs get
  removed correctly, _and_ we don't crash as soon as we try to kick off
  recovery.  What a deal!

- Fix removal of OSC from LOV on OST failure (silly & and type-smashing
  list_head macros).

- Lots of comments in lov_brw, so I don't have to figure it out from first
  principles next time.  (I think they're correct, but Andreas will review to
  make sure.)

- Skip inactive OSCs in lov_statfs, because otherwise we return -EIO and
  the caller will ignore all of the data we get from the active/working OSCs.

- A bit more bulletproofing of the sync_io_timeout case -- if you see that
  message, please reopen the bug.

- Be a little smarter about double-failed connections.  Might make
  failure-in-recovery work better, and will definitely make multiply-detected
  connection failure work better.

* create a minimal MDT
  - only setup once on a node
  - one thead pool for all MDS's
  - theads call mds_handle directly

* changes to lconf to setup/cleanup MDT

Allow unlink to be done on another node, to test multi-client openunlink
handling on OST.

unimportant change to understand a feature of CVS

Make the openunlink messages consistent.

Just a minor change to make it clear what the LOV config parameters are.

Return an LDLM error code from osc_enqueue, just to be clear at the caller
that we are getting back the right thing (ELDLM_OK == 0).

Allow uml.sh to generate a 1-server, 3-client config nicely if desired.

* complete the getlovinfo compromise

* support for toenal
* support for more than one mds client

* use correct mds device in getlovinfo

Simple script to monitor lustre/portals stuff in /proc/slabinfo

Add filter_dops at the same point where we add dentry->d_fsdata, so that
the dentry data is always freed.

Remove redundant definition of PageUptodate().

Allow a count for lctl "destroy" to allow easy destroying of a sequence of
objects created by "create".

Remove some cruft I added for lock allocation, I've resolved it differently.

Line length.

Call common cleanup function.

A minor bit of debugging for tracking the extN refcount bug.

Update Changelog with recent bug fixes and incompatible changes.

Move version back to its original location, and put flags at the end.
It is better to have version close to the beginning of the message, so
that it is possible to change fields after it without breaking things.

Quiet compiler warning.

While we are breaking BA OST compatibility, swap the osc_punch packing of
"start" and "end" so that "start" is in o_size, which is more consistent
with setting i_size on truncate.

Also add some more FIXMEs for bug 288.

Re-do change that Phil killed in his ll_lookup2()/ll_invalidate_inode() merge.

Disable the code which sets the file size on the MDS:
1) we never (or should never) currently use the file size from the MDS
2) only the client which holds the size lock would need to update the MDS
3) that client already knows the correct file size locally, so no obd_getattr

Removing this hunk of code also has the benefit of removing an extraneous
obd_getattr() x stripe_count + mdc_setattr() per file, so it should improve
performance for tar/bonnie/etc noticably.

Passes multi-client runtests.

b=256
abstract ll_lookup2; make ll_lookup2 and ll_revalidate2 both use this
function.  For the first time, we might almost be properly cache coherant.

sacrifice 80 the column margin on one line for the broader goal of compiling on
older versions of gcc.

Put back lustre_msg.version (in a different spot, though, so out-of-date clients
will still barf -- I think this is a feature).

Some ChangeLog updates.

Add some null-proofing in DEBUG_REQ, and supply arguments for all the format
fields (!) while we're at it.

Bullet-proof expired_request to see if we can figure out why we sometimes see
NULL derefs during timeout on dev.

Make the cleanup-from-sending-list stuff use D_ERROR, so that we can see it even
if the client crashes afterwards.  (Just playing a hunch.)

Only initialize fdd in terms of object_dentry once object_dentry has itself been
initialized.

Also remove shadowing redecl of fdd.

Backout sravi's changes; please contact Robert with your patches.

Fix space leak after recent change of openunlink code logic (fdd was
previously released at d_delete time and is now done at d_release time,
so the mere presence of d_fsdata isn't enough to signal an open file).

Lconf modified accordingy lmc, to handle mdc info in the xml file.

- Fixed uninitialized flags, which tricked ldlm_cli_enqueue into thinking
that it was in recovery

Modified the this to generate mdc configuration.

Per Mike's observation, we already set lic.lic_body before this point.

Avoid CVS permission problems.

Short version: replaying create and rename works now, including all the fixups
               you could ever, ever want.  (OK, except lock replay, but that's
               easy now.)  Single-client recovery should now be much, much
               more robust.

- Added LDLM_FL_INTENT_ONLY to avoid acquiring locks during intent-lock replay.
- Fix leak of open requests that was due to a misunderstanding (mine) of the
  way that the ptlrpc_request refcounting code (mine) really worked.
- Store FID data after create, so that we can fix up the world afterwards.
- Poor man's lustre_spare_buf support through simple over-allocation of request
  buffers.
- Cancel unused locks when we lose contact with an MDS.
- When replaying create, fix up to-be-replayed and delayed-for-recovery requests
  to contain the new FID generation, in addition to the actual in-memory inode.
- Don't sweat a "failed" return code for replayed requests, but do squeak a bit
  if the old and new status doesn't match up (virtually guaranteed, in fact,
  but I'll tune that down later).
- Skip no-transno requests during replay, since they don't affect MDS state.

- Pass flags into lock policy function

most of the work for lock replay:
  - add a dlm replay flag that:
    - prevents the calling of policy functions
    - tells the server to trust the client's judgement
  - a function to call ldlm_cli_enqueue for replay

next up:
  - something to help replay _all_ locks in a given namespace, probably in
    the form of some generic ldlm_namespace_foreach thing

One lock too many.

Oops, one more.

- Fixes build break and &&-instead-of-& logic error
- Andreas, will you please verify that I guessed your intentions with respect
  to spinlocks correctly?  In particular, the fed_lock and the extra
  spin_lock_init

Support for delayed-destroy of objects on the OST.  It isn't perfect,
in the sense that there is still some work to be done for handling
multi-client unlink properly, but it passes all of the normal tests,
so it is no worse than what we have now.

- Convert version to flags -- a few days earlier than I said, but I'll back it
  out if people complain.
- Add some helpers for accessing the lower (general) and upper (op-specific)
  portions of the flags.
- Use an op flag (MDS_OPEN_HAS_EA) rather than bufcount checking to determine
  whether or not an open has an EA for delayed-create.
- Remove basically-unused rq_reply_md_h.
- Pack open-replay state in extra message buffer, instead of dangling it off the
  request.
- Add DEBUG_REQ for consistent and clean request-dumping, and use it somewhat
  liberally.
- Teach reint_link to be tolerant of -EEXIST if replaying.
- Likewise for reint_unlink and -ENOENT.
- Remove connection locking from ptlrpc_check_reply.  We don't lock in
  queue_wait, so if it's needed I need a better story anyway, and in the interim
  this will fix a guaranteed deadlock in replay.
- Factor sending-queue request disposition checks for legibility and reuse.
- Dump retained-request state before starting replay, to aid debugging.

Proc header for SNMP. Counter functionality/macros will go into a different header file

- Update ChangeLog
- only send cancels to the LDLM portal, since Peter pointed out that my last
  "fix" didn't really fix anything

b=611336
Land Alok's patch with a couple small modifications (which were my fault,
for lying to him about the return values of osc_brw_{read,write})

Quiet compiler warning.

Don't oops if data->ioc_inlbuf1 is not set.

Return a valid error code on normal exit.

New lmc manpage that describes the new lmc command line interface.

Patch for tinderbox

Improved patch.. for the portalslib

Patched configure.in to get the correct portalslib. Usually $enable_portalsdir/utils/linux. To override use --with-portalslib=<dir>

ChangeLog for 0.5.15

- Fix recovery crash bug in prepare_ost()

b=625069
- Workaround for 625069: send all LDLM requests, not just callbacks, to the
  LDLM portal
- change CERROR in lov_getattr into CDEBUG

"force" should _cause_ forcing, not disable forcing.  Thanks to robert for the
catch.

A patch only a mother could love to notify LOVs when OSCs are disabled due to
OST failure or partition.

Remember to re-enable it in your upcall, after reconnecting!

Fix LOV stripe allocation.
Don't re-assign lsm_stripe_offset because it is 0 (which is a valid offset).

Make the cleanup and remount scripts consistent in accepting "NAME" as
the basename of the config script, so you can do:

NAME=lov sh llmount.sh
NAME=lov sh llmountcleanup.sh

and it will work.

Also fix a bug in llmount.sh, which I think would have prevented the
XML config file from being regenerated properly.

- Beginning of new REINT replay infrastructure.
- Poison imports for failed OSCs, so future requests get -EIO.
- Remove the epoch checking for mounts and inodes, because we don't want to
  kill a while filesystem because a single OSC died.
- Close open files on MDS-disconnect.
- If asked with a "force" parameter, disconnect all remaining exports during
  OBD disconnection.
- Teach lconf to send that parameter when given -f.

* startlevel and endlevel patch supplied by Evan.Felix@pnl.gov

Some random double pointer error..

File containing read/write fptr implementations for PTLRPC device. To be added to make path after review

File containing read/write fptr implementations for OST device. To be added to make path after review

File containing read/write fptr implementations for OSC device. To be added to make path after review

File containing read/write fptr implementations for OBDFILTER device. To be added to make path after review

File containing read/write fptr implementations for echo device. To be added to make path after review

File containing read/write fptr implementations for MDS. To be added to make path after review

File containing read/write fptr implementations for MDC. To be added to make path after review

File containing read/write fptr implementations for LOV. To be added to make path after review