File containing read/write fptr implementations for MDS. To be added to make path after review

File containing read/write fptr implementations for MDC. To be added to make path after review

File containing read/write fptr implementations for LOV. To be added to make path after review

File containing read/write fptr implementations for mount_point. To be added to make path after review

Adding to the source repository. Will be linked in to the makefile after
review.

Pass ioctls on LOV device through to all underlying OSCs if unknown.

Fix LOV striping code:
- don't set default stripe count at lov_connect() time if it is zero, defer
  it to lov_create() time in case the number of OSTs has changed
- validate the "stripe width < 4GB" requirement at lov_create() time, in
  case bad user-specified striping patterns are given or #OSTs has increased
- don't override lsm_stripe_count if it is already set
- choose from all OSTs as the starting OST, instead of only [0-active]
- return -ENOTTY for unimplemented ioctls

Minor tweak to match RH 2.4.18-14 function name in kernel.

Remove old -12.5 kernel patch, the -14 patch is exactly the same, and uptodate.

- teeny fix to ll_revalidate2; this will be trumped by my fix for 626244
  in ways that can scarcely be described by mere words
- multiple CONNECTs to the LOV would do more CONNECTs to the OSCs, each
  clobbering the last connection and preventing cleanup; fixed.
- LOV targets now have an 'active' bit; inactive targets will be skipped at
  CREATE and DISCONNECT time
- added locking for the above, along with a function to toggle the bit given an
  LOV and a UUID
- added a LOV_SET_OSC_ACTIVE ioctl to the lov driver and lctl

- fixes to osc_brw path to address fsx failures. We in fact uncovered
  serious problems with writes of less than one page.
- minor fixes for 2.5

Commit new intent patch for 2.4.18.

Remove sig from end of patch.

The curse of copy-n-paste.  Fix compile warnings and maybe code too.

Getting ready to land OBD open file handles, and OSC/LOV local lock handle
allocations.

A little debugging I've been running in my tree for a long time.
It caught a couple of minor bugs, and should prevent more in the future.

Add lov_getconfig to lctl docs.

Change lctl lovconfig command into lov_getconfig, and add lov_setconfig.
Update all scripts/docs which refer to the lovconfig command.

lov_getconfig compiles OK, and does not affect normal operation, but it
is not working yet (user-space segfault) and I need to run it on a real
system (can't run GDB under UML).

Add permission bits to open(O_CREAT) (b=624321).
Add a verifiable data pattern so that we can confirm if data is going to the
correct stripe.

removed demos/Makefile from configure.in

Oops, missed a hunk.

Move AM_CONDITIONAL into configure.in

Include version.h so we can check version.

- fix to deal with other versions of automake.... :(

- compile fixes for 2.5 -- somewhat tentative here and there.

2.4 fixes

- 2.5 fixes for MDS

- compile fixes for 2.5.44
- echo works again

- put obdfilter before extN + mds to facilitate collab between peter +
  andreas on 2.5

2.4 build fixes

- Lustre Lite at least superficially ready for 2.5

- Back out the ldlm_everything_lock patch, which causes a deadlock on cleanup
- Move backslashes in lustre_lite.h macros to fit in 80 columns
- Added a couple of structure fields that support my LOV work

- buffer checks are different for non-intent
- remove a it = ->d_it assignment
- set the intent at the end of lookup2

- fix rdev stuff
- assign d_fsdata in lookup2

- keep extN before MDS

Restore Phil's header fix that I whacked.

ONLY UPDATE IF YOU NEED THIS (i.e. Andreas probably will)

- more fixes for 2.5 builds, much overlap with Andreas' check in from
  yesterday.

- add vfs_inode to Lustre inode info: for 2.5 this makes this the
  whole inode.

- two versions of intent_release: Robert's and the new one for 2.5

- Robert's patch - so this may break some stuff, we'll sort that out.

- convert device numbers

- small fixes to make thread handling compatible with 2.5

- always compile super25.c and super.c; the contents is conditional on
  the version

- Replace per-namespace recursive lock with an ldlm-global lock, to close the
  race between ldlm_handle2lock and the lock destroy portion of ldlm_lock_put
- Add a special interface for ldlm_handle2lock to resolve the following
  conflict between our invariants:

  1. ldlm_handle2lock should never give a reference to a "dying" lock
  2. ldlm_lock_decref needs to use ldlm_handle2lock to get a reference to a lock
     so that it can decrease the readers/writers refcount
  3. The lock can't finish dying until readers/writers hits zero.

  That should be fixed now.

- Split import reconnection and replay (OSC only needs to reconnect).
- Restore recovd-management of server-side connections (why did I take that out
  in the first place?).
- Abort inflight, uncommitted and waiting requests for imports that are
  invalidated by reconnection to OST.  (Generates -EIO, or should!)
- Mete out harsh, harsh justice to locks held by recovery-invalidated imports.
- Remove LBUG()s now that some error returns from ldlm_cli_cancel are "normal".
- Cancel locks on disconnection from OST (really filter).
- Ignore replies that come in after we've started recovery on a given connection.
  The socknal's implicit retransmission can otherwise cause us worlds and worlds
  of hurt.
- Wake up when we get aborted, and return -EIO.
- Remove connections from the recovd's care when they go unused.  (Which might
  actually happen, once Phil lands his refcounting fixes!)

- Rename ldlm_namespace_cleanup's "local" parameter to "local_only" for clarity.
- Remove spurious LBUG() or two.
- Export the cleanup and dump symbols we use in recovery.

Fix the connection refcount leaks.  There were actually 3 separate bugs.

UnlockPage->unlock_page.  The two are identical, except that the former
does not exist in 2.5.

Hiding will not save you.

Don't refer to junk which doesn't exist.

Yet more junk.

More cruftectomy.

Remove demos directory entirely.

Remove ancient and unworking snapshot demo scripts.

One more straggler in obdfs.

Remove ancient and entirely non-working obdfs code from the HEAD.

More 2.5-SMP build fixes

Fix build on 2.4SMP

I don't have a working 2.5 llite directory yet, so can you test these
changes, Andreas?

I really broke the tree last night.  I guess nobody has been using it much
today.

- Remove a bogus assertion in ldlm_completion_ast
- Add a class 9 hack in ldlm_destroy_lock to get things working
- LINUX_VERSION_CODE requires version.h

Fix breakage from missing wait_on_buffer() inline.

automake 1.6.x doesn't like the redefinition, and I bet that's not what we meant
anyway.

Header changes needed to compile under 2.5 (compiled also with 2.4 to verify).

* allow lmc and lconf paths to be overridden in installed scripts

* fix braino

More merging from the 2.5 tree.

Replace the man page for lmc to describe the current options for lmc. Added a new file which describes the proposed new implementation for lmc.

Another minor "make the current code closer to intent code" change.

Merge some of the no-op intent changes to the core tree before branching.

* change --with-portalslib to require the full path and also use the
  --with-portals arg as the base dir for the default
* remove old config scripts and put examples in /usr/lib/lustre/examples

Add missing symlink hunk.

Minor cleanup.

bdevname changed in 2.5

Updated the lctl manpage and Lustre How-To.

Show the size tha we were truncating too.

Add some variables to the config scripts so they are easier to customize.

Add a minor check to the punch call.

Give a valid return code for the non-intent ll_unlink and ll_rmdir.
-ENOENT is what ext2_unlink uses, so it must be correct...

Amruts patch for building extN outside the source

Amrut's patch for building extN outside the source.

I believe this makefile change fixes the problems in the build outside
the source tree.  Interestingly I did NOT need Amrut patches, but only
tested this for UML.

First check in of the new intent patch that protects d_it better.
Not much tested.
This one works against Red Hat 8.0 2.4.18-14 kernel sources.

- Modify ldlm_completion_ast to wake up when locks are cancelled as well as
  granted
- Wake sleepers in ldlm_lock_destroy

- Add a slab for allocating OSC lock handles - 16-byte handles are a waste
  of 32-byte slab kmallocs.
- Rename a couple of the slabs to have an ll_ prefix for easy /proc/slabinfo
  grepping.

Don't store LOV EA data on mds_reint_create() for non-intent case - we
always do deferred object allocation now.

Duh, repeat after me - compile before you commit.

Fix merge error.

More debugging related to the portals/rpc weirdness.

Split ldlm_namespace_free into ldlm_namespace_free and _cleanup.  Cleanup
will just discard all locks and resources.

This is not quite finished, because it needs to also wake up people who
were sleeping on these locks (and cause EIO or similar) before it can free
them.

Miscellaneous fixes:
- READLINK wasn't well represented in ll_lookup2, so failed readlinks would have
  gone very poorly indeed.
- Remove #if 0s from ll_common_unlink; these were a temporary fix to
  the "rmdir `pwd`" problem, which should no longer be necessary.

- improved handling of errors returned from MDS intent operations.
- remove bogus setting of MDS reply body fields at client in ll_create_node
- always do deferred object creation with ll_create() for non-intent ops

Minor optimization.

Ensure that we get a valid rootino back to avoid polluting the inode hash.

More pre-emtpive Changelog entries.

Add permission bits when we open with O_CREAT (b=624321).

Minor edits to remove apparently unfinished sentences.

- helper lov_stripe_size() calculates apparent file size from each stripe
- helper lov_merge_attrs() uses lov_stripe_size() and also merges other attrs
- lov_getattr() and lov_open() use lov_merge_attrs() to return size+blocks
- fix lov_stripe_offset() to work properly for truncate up operations
- don't allocate obdos on the stack if we can avoid it
- lov_setattr() is not being used - add LBUG() to ensure we notice when/if
  it does start being used and do a code audit for correctness

- Extract the file size and blocks from osc_open() in ll_file_open().  Avoids
  a bug where the file size is incorrectly stored on the MDS (not sure why,
  but then we don't trust the file size on the MDS anyways.
- Fix the unlock half of the boolean locking check I fixed last week.
- Use the common ll_create_objects() helper to create objects, so the BA OST
  workaround is in use for all creates.

Reduce the number of NBUFS slightly for small machines, so that you can
load 2 OSTs into a 64MB UML.  The upper limit is exactly the same as
before.

- Fix the mdc_replay_open fixup so that it updates the handle in the Lustre
  fh, not just in the request.
- Diagnostic for close-releasing-open req balancing.
- Don't allocate new transnos for replayed requests, or all hell _does_ break
  loose with the committing of "old" requests as things get renumbered.
- Set request level to LUSTRE_CONN_RECOVD during replay.
- Only call the replay callback if the replay succeeded (which it had darned
  well better do, but still...)
- Unlink old MEs when we free old reply buffers -- very important, sigh.
- Bullet-proof some resend diagnostics.

Remove bogus hunks from the -12.5 RH kernel patch.

Bump the sanity-max to 1000, since we have way, way more than 50
connections on MCR.

- Move recovery setup into the (network-using) connect methods, to fix
  LOVs.
- Updated lov.xml file.

- make_bad_inode as part of epoch-check mismatch handling
- cleanup and comment-for-phil in ll_lock
- partial fix for the crash in recovery that I introduced with my patch yesterday
- better diagnostics in lustre_msg_buf
- finished, not free_req, in reconnection

Remove guaranteed-or-your-money-back deadlock from double taking of recovd_lock.
(Sorry, phil.)

Downgrade to ps2pdf until changebars work with pdftex.

- Rename the ptlrpc-general reconnection and replay functions, and export them
  for use in other places (such as llite).
- Replace many dangerous ptlrpc_free_req calls with its refcount-friendly
  ptlrpc_req_finished counterpart.
- Remove excess and harmful p_req_finished in ll_file_open.
- Move recovd_conn_manage calls from client_obd_connect to ll_read_super,
  since the recovery function is now llite-specific.
- Resurrect llite/recover.c for said function (coming soon).
- Rationalized the portals-owned refcount (added in ptl_send_rpc, removed in
  request_out_callback).
- Free repmsg from free_req, not req_finished, in case one of the remaining
  ref-holders has plans for it.
- Diagnostics for freed reqs with outstanding refcounts, to help track down
  any remaining cases.
- Initialize c_recovd_data.rd_managed_chain at allocation time, for better karma.
- Marginally nicer dump_connection_list output, and LBUG check for ilooping.
- Add diagnostics for double-managing of connections, which turned out not to be
  the bug I was chasing earlier, but might well be in the future.
- Set rd_phase and rd_next_phase before calling the recovery state-machine hooks,
  so that adjustments within those hooks (such as calls to recovd_conn_fixed)
  don't result in an inconsistent state.
- Failure to run the upcall no longer aborts recovery, so that an administrator
  can manually salvage things.
- More complete diagnostics for request replay and sleeping.