merge b_devel to b_eq: 20030728
(4) mgmt obdclass obdfilter obdecho

merge b_devel to b_eq: 20030728
(3) ldlm liblustre llite lov mdc mds

*  Merged b_devel updates

b=1590, (partial 948):
   Stop flushing on close, and instead flush all outstanding client data
   atomically with the destruction of the final stripe.

   And when flushing for destroy, or other cases of truncate-to-zero, send a
   hint with the AST to indicate that dirty data should be discarded, instead of
   being written back.

   r=zab/phil

Remove variable that is only set but not used.

merge b_devel into b_llpio

merge b_devel into b_filterio

land b_unify on b_devel
 - patches for 2.6
 - linus-approved APIs
 - lots of little reorg and fixes for 2.4/2.6 compatibility
 - better code to manage MDC lock cancellation and dentry memory pressure

- THIS BREAKS b_unify
  2.6.0 patches now fixed to Linus specs.  2.6.0 compiles, untested.
  beginning of similar changes for 2.4 changes

- in ll_umount_begin, protect against NULL obd
- fix debug subsystem in obdclass/obdo.c
- remove zero-length buffer check from lustre_msg_buf; we already have
  the minimum-size check, and zero length is common in the "no EA yet"
  getattr case

partial merge of b_unify into b_devel (20030722_0202)

- these should apply, but they don't quite compile (something with netdump)

Fix mtime corruption bug 1570.  Was checking wrong valid flags, after
setting them for truncates.

Fixes for remaining POSIX failures, except utime 4.
- set the ATTR_MTIME and ATTR_CTIME flags if truncating, so that we update
  the mtime on either the MDS or OST (depending where we are storing the size)
- check the original ia_valid flag, and not the modified attr->ia_valid flag
  for utime changes
- add a CERROR for ll_truncate() called without a LOV EA (should never happen
  any more)
- do an OST setattr RPC for either MTIME or MTIME_SET flags
- quiet CERRORs for permission problems
- fix another bogus "don't fail if not EPERM" check (we would only have hit
  that if we had data corruption on the wire or on disk)
- allow obdo_refresh_inode() to update IO blocksize.
- fix up some error messages in sanity.sh and sanityN.sh

- bring recent b_unify changes into b_filterio
  (UNIFY_FILTERIO_UPDATE_CHILD_20030717)

*    merged current b_devel

Landing statfs cache code.
- preliminary for prealloc (bug 974)
- preliminary for QOS (bug 855)
- speeds up parallel df
- speeds up lprocfs

Lprocfs underwent a bunch of cleanup (mostly from Intel, partly from me)
to remove lots of macros and strangeness w.r.t. per-target statfs values.

Still open for discussion is how old the cached statfs values can be.
I arbitrarily picked 1 second for client statfs, lprocfs, and target
statfs caches.  We may want to change that, or allow it to be tunable.

Note that this code is different than that in bug 855, in that the
max_age parameter is an absolute age in jiffies, whereas the patch
in bug 855 used a relative time in seconds.  The thing I'm trying
to avoid is if we say "I want a result up to 1 second old", but we
get delayed during an RPC and we don't know what "1 second old" is
related to.

1486, 1456, 1546
- Fixes for these bugs included
- Includes substantial cleanup of lock teardown in llite.
- Ignore mountpoints for ll_revalidate_it
- Upgrade to uml-6

Fixes for

Fix flush-on-destroy so that it locks the same resource (i.e. the objid and
not the inode number) as what the clients are locking.

Re-enable flush-on-close, because flush-on-destroy has a deadlock:
- client is writing to object (so has a write extent lock), so
  filter_brw_write() (via filter_fid2dentry()) needs a read lock on
  parent dir to do the object lookup
- client unlinks object (so gets write lock on parent) and then grabs the
  write extent lock on same object in order to flush pages

Solutions are:
- grab extent lock before parent directory lock (a bit messy, but doable)
- send file handle with writes to avoid lookup (needs some way to pass
  handle to inode, and doesn't really help us since file is now allowed
  to be closed before writing is complete)

include linux/string.h to quell memset warnings and get inline versions

- bring recent b_unify fixes into b_filterio
  (UNIFY_FILTERIO_UPDATE_CHILD_20030715)

Land b_unify on b_devel.

Highlights include:
 - intent rework from Peter and Phil
 - unification of VFS intent strategy for 2.4 and 2.5/2.6
 - select 2.5 kernel patches from b_ad
 - all the whitespace fixes you can imagine.

Complete diff for sanity-checking at http://off.net/~shaver/unify-landing.diff.

- missing patches for b_unify from the 2.5 series

- add the unhash method to the kernel

-make fixes for 2.5, almost there I think

- 2.5 kernel patches from ad for unify

- merge b_unify into b_ad.  This makes b_ad almost ready to be landed
  on b_unify and we may just do that next.

- another merge of b_devel into b_ad

- we could call this "merely a merge from b_devel". Notes:
 - lprocfs is not managable
 - this oopses on mount, will be fixed soon.

Merge b_devel into b_orphan (20030703 update tag)

- fixes the maximum OST packet size, a lot of list management, and a
  couple other bugs
- starts threads at OST and MDS startup
- able to complete a round of create/setattr/cancel if SENDNOW is set
- some corruption happens when I ask it to build up and cancel whole
  pages; I need to run on multiple systems to start narrowing down where.

*   cp /etc/termcap /mnt/lustre runs OK

*  Merged latest b_devel

*  **** NOT TESTED ****

b_devel -> b_orphan merge for 20030610

Merge from b_devel -> b_orphan
  DEVEL_ORPHAN_UPDATE_PARENT_20030528 -> DEVEL_ORPHAN_UPDATE_PARENT_20030604

This is a non-functional commit, with osc/osc_request.c not compiling because
it is missing the "llog_commit_master" data struct, and does not have any
commit threads started yet.  I'm beginning to think the right thing to do
here is to create a single global llog_commit_master struct for the OSC, and
start a single thread at module setup time, and clean it all up at module
unload time, but I could be convinced otherwise.

Add THREAD_NAME compat macro, to remove duplication of UML thread-name stuff.
Make list_move() available if not defined (based on presence of
list_for_each_entry(), which is also defined in 2.5).

Merge b_devel->b_orphan:
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

- bring recent b_devel changes into b_ad, only minor corrections needed.  the
  only significant of which was making sure changes in super.c made it to
  b_ad's llite_lib.c

Merge b_devel -> b_orphan.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522 -> DEVEL_ORPHAN_UPDATE_PARENT_20030522

*** empty log message ***

merged b_ad into b_qos

merge b_devel into b_eq:
  DEVEL_EQ_UPDATE_PARENT_20030519 -> DEVEL_EQ_UPDATE_CHILD_20030519

only resolve confliction.

merged b_devel into b_proto, 20030518

Merge b_devel (ORPHAN_BASE6 -> ORPHAN_BASE7) to
b_orphan (DEVEL_ORPHAN_UPDATE_CHILD_20030514).

b_devel -> b_proto

from  DEVEL_PROTO_UPDATE_PARENT_20030512
  to  DEVEL_PROTO_UPDATE_CHILD_20030512

merge b_devel to b_eq

*   Updated ptlrpc_abort_reply() to not simply LBUG().  The current
    implementation has to poll for the SENT event at 1 second intervals, since
    the SENT callback cannot touch any state in the request.

*   Blindly wrapped all request flag updates in an IRQ spinlock (or just a
    spinlock if already at IRQ priority).  My head hurt too much trying to
    determine whether it was safe to update unlocked, and we know this is
    safe.  Maybe we should split out "owner" and "notifier" flag usage to
    separate words.

Merge from b_devel to b_orphan (ORPHAN_BASE5 -> ORPHAN_BASE6).

merge b_devel into b_proto
from DEVEL_PROTO_UPDATE_PARENT_20030502 tag on b_devel
  to DEVEL_PROTO_UPDATE_CHILD_20030502 tag on b_proto

merge b_devel -> b_eq

Merge ... b_devel into b_kernel.  This is now branched off of BASE_KERNAL2 (yes there is a typo in the tag name), which is b_devel as of Apr 27.

*   removed struct obd_brw_set from non-async obd_brw()

*   struct ptlrpc_request::rq_lock is a new IRQ spinlock to serialise request
    flag updates by the I/O thread and network callbacks.

*   Added some #warnings: I/O thread v. recovery thread concurrency may need
    to be reviewed.

*   The rq_replied flag is now set by the network when the reply is
    received.  ptlrpc_check_reply() is now a pure predicate (i.e. no side
    effects).

*   struct ptlrpc_request has a new 'phase' member to show what state the
    request is in {new, doing the rpc, interpreting the reply, complete}.

*   Client-side RPC aborts should use ptlrpc_unregister_reply().  This
    should only be called in thread context.  When it return, it's safe to
    retry.

*   Server-side RPC aborts should use ptlrpc_abort_reply().

*   All of the bulk per-desc and per-page callbacks have been removed.

*   Client-side bulk descriptors are owned by the struct pltrpc_request.
    When the descriptor has been initialised (including setting either its
    bd_get_source or its bd_put_sink flags), point the request at it.
    ptlrpc_queue_wait() / ptlrpc_set_wait() take care of registering and
    unregistering the memory described by the descriptor, and it is freed
    when the request is freed.

*   Server side bulk descriptors are owned by the handler that creates them.
    Completion is flagged by ptlrpc_bulk_complete(), but if you get bored,
    ptlrpc_abort_bulk() synchronously prizes it away from the network so
    the caller can ptlrpc_free_bulk().

*   Removed struct pltrpc_request_set refcounts.  A spinlock
    guarantees network callback completion before the waiting thread can
    nuke the struct.

*   Ensured asynch replies are swabbed, just like synch ones.

*   tagged eeb_eeb_backoff_tag just prior to checkin

Merge from b_devel -> b_orphan (up to ORPHAN_BASE5 tag on b_devel)

add patch dev_2.4.20

merge b_devel into b_proto

- merge b_devel into b_proto (incl b_swab changes)
- fix leak-all-bulk-pages bug
- Mike fixed a bug where a failed ptlrpc_queue_wait send buf would
  fail, but the user would still have to wait for the timeout to pass
  before being able to interrupt

Merge from b_devel.

These update the patch files so that they apply cleanly in the
PNNL world.

Added a hp-pnnl-2.4.20 series to the kernel patchs and fixed up the patch
files to work correctly.

the last merge b_devel to b_cray

*  Up to date b_devel (SWAB_LAND)

merge b_devel into b_cray

merge b_devel into b_cray

merge 0.5.20.3 b_devel into b_io (ready to land)

- bring b_io up to b_devel

- bring b_devel changes into b_io in preparation for file size fixes

- rebase b_io against HEAD in preparation for the latest write cache code

Remove CONFIG_DEV_RDONLY so Mike doesn't lose his sanity.

Fix typo for patch series.

Update kernel patches for hp kernel.

Add invalidate-show patch to kernel.
Move docs to a more noticable place.

- kernel patches for vanilla 2.4.19, 2.4.19-hp2-2 (not tested much)
- tiny fix to dcache.c

Merge from HEAD to b_intel in preparation for merge of b_intel to b_md.

Move the llecho.sh config into seperate script so it now works just like
llmount.sh

* update HEAD to b_config

merge HEAD to b_io branch. (seems quite a large changes from
b_md and b_recover)

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.8'.

move patch-2.4.18-chaos22 (aka EXTN_FIXES) to extN/

land b_md onto HEAD.  almost entirely small cleanups and miscellaneous fixes,
plus:

- fix lock order deadlock on OST (O/R i_sem before journal ops, 478)
- fix follow_symlink bugs (437)
- preparation for some ldlm race fixes (419)

- series file for Chaos kernel.

remove obsolete 'patches' directory from HEAD

- Phil's intent fix for middle of symlink lookups.
- Update version

Land b_recovery (other than WIP lock-replay work).

- b=512,others: fully reactivate OST imports after reconnection.
- b=513(partial): make sure client sees out -ENOTCONN from mds_handle
- b=515: more graceful error handling for truncating on dead OST
- b=474: don't error out just because a file is striped across a dead OST; only
         if we actually try to access it
- b=410: fix garbage sizes when stat(2)ing a file that includes a stripe on a
         dead OST
- print console diagnostic for completion-timeout client recovery
- MSG_RESENT for requests that were retransmitted

- add more patch series files.  We have now obsoleted most of the
  patches directory with the new regime.

file lin-2.5.44.txt was initially added on branch b_lin25.

file lin-2.5.44 was initially added on branch b_lin25.

file lin-2.5.44.pc was initially added on branch b_lin25.

file lin-2.5.44.patch was initially added on branch b_lin25.

land b_md onto HEAD.  the highlights:

 - fstat didn't correctly synchronize attributes (399)
 - server must handle lock cancellation during blocking AST prep (487)
 - bulk descriptors were free()d too soon (511)
 - fix paths in lconf, which would load incorrect modules (451, 507)
 - fix confusing lconf 'host not found' error message (386)

- this time added with -ko

- redo the addition of the patch, forgot -ko

add patch fixups for Red Hat 2.4.18-18.8.0 kernel

file llparser.pm was initially added on branch b_intel.

file lustre-2.5-from811-812.patch was initially added on branch b_lin25.

file lustre-2.5-from809-812.patch was initially added on branch b_lin25.

file iod.c was initially added on branch b_io.

Merged from HEAD on 12/11/2002.

backout #2

Merging to head, BUG#405

yanhao: check in again for bug 461 wrong path in lconf