Landing statfs cache code.
- preliminary for prealloc (bug 974)
- preliminary for QOS (bug 855)
- speeds up parallel df
- speeds up lprocfs

Lprocfs underwent a bunch of cleanup (mostly from Intel, partly from me)
to remove lots of macros and strangeness w.r.t. per-target statfs values.

Still open for discussion is how old the cached statfs values can be.
I arbitrarily picked 1 second for client statfs, lprocfs, and target
statfs caches.  We may want to change that, or allow it to be tunable.

Note that this code is different than that in bug 855, in that the
max_age parameter is an absolute age in jiffies, whereas the patch
in bug 855 used a relative time in seconds.  The thing I'm trying
to avoid is if we say "I want a result up to 1 second old", but we
get delayed during an RPC and we don't know what "1 second old" is
related to.

Detect if we read back bogus server data from the last_rcvd file.  We just
make a new one - not much else that could really be done.

Fix problems with new write_record() interface:
- we were not incrementing the size properly
  - block > i_size >> blkbits was never true when it needed to be
  - new size was always 1 block too small
- when size was set, it didn't make it to disk, because
  ext3_get_block_handle() updated size after marking the inode dirty

Proper fix is to move i_disksize update into ext3_splice_branch(), so that
it is done before inode is marked dirty.  For now, we mark inode dirty
again in fsfilt, so we don't need a new kernel for Wed LLNL debug shot.

Make fsfilt_ext3 and fsfilt_extN identical again (cosmetic changes only).

Fix use of EXT3_SB in fsfilt_extN.
Fix /-vs-% error in the block-spanning checks for write/read_record.

b=1534: Avoid g_f_w and friends for updating last_rcvd records, and instead
        perform simple buffer-cache operations.  Fixes an OST (and possible,
though rare and possibly never seen, MDS) deadlock case.

indicate that 2.4.18 is no longer supported

Land b_unify on b_devel.

Highlights include:
 - intent rework from Peter and Phil
 - unification of VFS intent strategy for 2.4 and 2.5/2.6
 - select 2.5 kernel patches from b_ad
 - all the whitespace fixes you can imagine.

Complete diff for sanity-checking at http://off.net/~shaver/unify-landing.diff.

revert mmex's accidental checkin

- cleanup come of the configuration files to be more compatible and
  define some new things to help building rpms.

Landing utime et. al. fixes:
- bug 1014, 36 - utime fixes
- bug 1365 - crash on ops with no objects (truncate, utime)
- bug 318 - readahead prep work - OST gets client file handle on reads

Don't allow setattr to change the file type.
Allow fsfilt_setattr() to properly store file size on MDS (not used yet).

The first of many trivial changes before landing the meat of bug 1014 fixes.
- call obdos "oa" where applicable

b=1141
A reorganization of obdfilter/ before I launch into the real work.
There should be no functional changes.
 - removes unused 'niobuf_remote' argument from fsfilt_brw_start
 - splits filter.c into filter.c, filter_io.c, filter_log.c, and filter_san.c
   More of the same is on the way, but this is a good start.

land b_merge on b_devel.  Includes b_mount and b_orphan, which includes:

 - orphans are moved into the PENDING directory for possible recovery
 - replayed opens now open by fid for orphan/rename safety (1042)
 - last close of an orphan inode generates a transno (683)
 - avoid CERROR in normal ll_setattr_raw() error case (1500)

Added code which is currently disabled:

 - dentry pinning from b_mount for cwd and mountpoints (1020)
 - logging code for orphans (and many other things)

Client-side portions of bug 974: push cache and dirty-page management down into
    OSC, in preparation for pre-allocation grants.  Also fixes 975 by providing
    /proc/fs/lustre/llite/fs0/max_dirty_pages to limit client-side cache.

The proper fix for bug 1321.  We were pruning multiple dentries inside our
transaction, and that was consuming all of our transaction blocks on us.

Instead, do the dentry pruning ourselves before starting the transaction
handle and calling vfs_rmdir()->d_unhash()->shrink_dcache_parent().

Add an extra reservation, because we compound the directory unlink with
the inode truncate in mds_reint_unlink(), which ext3 doesn't do.  We
need enough blocks after the truncate to do the rest of the unlink.

Add some more debugging to try and isolate the OST timeout bug further.
We also check the parent lock acquisition time (needs a rep ACK), the
read time, write time, and overall prepare-to-commit time.

Includes the change to the ptlrpc set timeout debugging, that dumps the
request instead of just LASSERT.

Add some debugging to the journal ops in case they are taking a long time
to start/finish and leading to the mysterious OST timeouts.

b_devel -> b_orphan merge for 20030610

Add matching "starting handle" message in the fsfilt_brw_start() path.

Fix "used inodes" count in df by reducing the total number of inodes instead
of increasing the number of used inodes when there is a constraint somewhere.
As the constraint is eased, the total number of inodes will increase but we
always show the correct number of used inodes.

Make which_patch a bit clearer.

b=1358
- update kernel patch version to 19
- remain compatible with version 18 until everyone upgrades
- new v19 code in mdc_{get,put}_rpc_lock uses the new it_int_flags member

fix a flaw in which_patch

Merge b_devel -> b_orphan.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522 -> DEVEL_ORPHAN_UPDATE_PARENT_20030522

*   New protocol version 0x00040001

*   Merged pagesize independent niobufs

*   Single READ result (# bytes read or error)

*   Per niobuf WRITE results

*   Single XID for all RPCs types, including bulk (bulk uses a different
    portal)

*   XID properly 64 bit.

*   8 byte handles (lustre_handle::addr no longer used)

*   Removed field order dependence of niobuf_{local,remote}

*   Simplified bulk_desc usage

b=1276
r=adilger
 - add the force_sync flag to fsfilt_commit
 - sync to filter_disconnect, which should cause the remaining requests
   on the client resend list to be purged after disconnect completes

- add portals to Lustre
- fix up makefiles
- add initial part of 2.5 in kernel make infrastructure
- cleanup tcpnal prototypes etc.

land b_proto on b_devel:
 - major rework of the rpc and bulk APIs, lots of new assertions and cleanups
 - many rpc and bulk bugfixes, including bugs 937, 1057, 1072, 1162
 - perform brw and getattr operations to multiple OSTs in parallel
 - all bulks are tied to exactly one request; multiple requests can be
   tied to a single request_set

landing b_open onto b_devel:
 - kernel patches for bug 1203
 - fixes directory open()s
 - re-enables metadata caching on the MDS
 - fixes bug in ext3_noread kernel patch
 - fixes some symbol export problems in other kernels
 - fixes compilation problems when running on Red Hat 2.4.20 kernels

If you update past this merge, you will require kernel version 18

Fix for compile warning in cobd since preprw/commitrw now take exports.

b=1046

- add a new argument to upcalls. The first argument identifies the reason
  of upcall.  The upcall script path is now /proc/sys/lustre/upcall, and the
  config option has changed from --recovery_upcall to --lustre_upcall.

  Current lustre upcall types and arguments:

    FAILED_IMPORT tgt_uuid dev_uuid net_uuid
    RECOVERY_OVER dev_uuid

- The config tools also support the new --portals_upcall, and both of the
  upcalls can be set to the same script with the --upcall option.

  There is only one portals upcall type:

    LBUG filename function line

b=1026
r=adilger@clusterfs.com

- add initial support for creating client connections on the MDS,
  configs will need to be recreated. (The version has been updated
  to force this.)

- create a new config object, "filesystem" which represents a
  specific filesystem.  In the zero-config future, the MDS will be
  need to be aware of what filesystems it "owns," so this is perhaps one
  tiny step in that direction.

r=phil@clusterfs.com

- protect the obd_exports list with obd_lock
- get a reference on the export from the list
- and release the reference when done.

- rename class_destroy_export to class_unlink_export

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

Merge from b_devel to b_orphan (ORPHAN_BASE5 -> ORPHAN_BASE6).

- fix obdecho, which now needs to also return the read length per page
- page_debug_check: print the IDs in hex, they're more useful that way

b=1143
- forcibly_detach_exports needs to do the same import cleanup as
  target_handle_disconnect
- move some class_export_put()s to _after_ the export is finished
  being used
- fixup dump_lniobuf() and dump_rniobuf(), because my last checkin
  added a warning instead of removing a warning

b=1154
oops, back out the changes to the debug until the patch lands

b=1178
Preparations for removing unused "addr" from lustre_handle

Some incredible madness comes over me when I see code not wrapped at
80 columns, and I am powerless to resist.

b=1178
Preparations for removing unused "addr" from lustre_handle

- convert all kmem_cache_alloc/PORTAL_SLAB_ALLOC to OBD_SLAB_ALLOC
- POISON is sometimes a no-op, so use memset() for unused handle.addr
- in target_handle_reconnect, only compare "cookie", not the whole handle
- a cleanup here, a cleanup there, while I hunted for the corruption

b=1075
* added --failover option to lconf and lctl cleanup
* failover flag added to obd_disconnect and obd_cleanup
* if failover ==1, then MDS and OST will not update the client
  state in last_rcvd.
* Also changes to lconf to add the --group support to MDS.

- add verison to config, so lconf can make sure the xml/ldap was created
  by a compatible lmc.

- recreate clients if remounting

print the handle when we start/commit, for some fun bug 1130 debugging

b=1111
- Pass 'force' down to all of the cleanup methods, instead of just
  having special meaning for exports
- in ldlm_cleanup, if forcing, remove the ldlm hooks from ptlrpc so we
  can unload the ldlm module

b=1084
* update dtd, ldap schema, etc to include the new group field.

Fix inode->i_blksize (for fstat st_blksize and hopefully improved cp
performance) so that it is the maximum vector write size (num_stripes *
max_iov_size) as told by obd_get_info("brw_size").

Also change the obd_get_info() API to fix some minor abuses (passing part
of the key in via val, returning data via the return code).  Also remove
any pretense of obd_get_info() allocating memory for the caller, following
normal portals caller-allocates behaviour.  Make inputs and returns be
fixed size, so they can be network-encoded across different arches.

Update fsfilt_ext3.c from fsfilt_extN.c.

land b_cray on b_devel

*   Landing b_swab

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

b=1065
- back out directory open patch, causes -ESTALE; introduces kernel v15
- source tree now compatible with v13 or v15

These are the kernel patches for Peter's open directory fixes.  Old
code can probably work with this (we'll allow it in through a small
change in obd_class.c)

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.4.6'.

land 0.5.20.3 b_devel onto HEAD (b_devel will remain)

file ext3-largefile.diff was initially added on branch b_devel.

- bring b_io up to b_devel

file recovery-cleanup.sh was initially added on branch b_devel.

file mlink.c was initially added on branch b_devel.

file .cvsignore was initially added on branch b_devel.

file compile.sh was initially added on branch b_devel.

file Makefile.am was initially added on branch b_devel.

file libtest.c was initially added on branch b_devel.

Fixed to make version_tag.pl work outside srcdir.

file lustre_peer.c was initially added on branch b_malt.

file statone.c was initially added on branch b_devel.

file test.txt was initially added on branch b_intel.

file lustre_peer.c was initially added on branch b_devel.

file lustre_handles.c was initially added on branch b_devel.

file lustre_handles.h was initially added on branch b_devel.

file acceptance-metadata-double.sh was initially added on branch b_setattr.

merge b_devel into b_setattr.  highlights:
- kernel 2.5 and liblustre build changes
- fixes to Makefile.am for 7.3-era versions of automake, which is quite possibly
  the worst piece of software with which I come in contact on a daily basis
- small unlink fix

file liblustre.h was initially added on branch b_devel.

merge b_devel into b_setattr
- sanity passes, but open(O_TRUNC) seems to leak a dentry/inode ref

- rebase b_io against HEAD in preparation for the latest write cache code

Added support to specify the lustre obj dir.

backport Andreas's IT_READLINK fix

Added mkdirmany to lustre-lite rpm.

Made changes so that tinderbox runtest doesnt fail

changelog update

b=850
Call LDLM_DEBUG0 instead of LDLM_DEBUG when there are no arguments.
This is a temporary workaround for gcc 3.2 that I really hate.

file ext3-2.4-ino_t.diff was initially added on branch b_devel.

Merge BA OST fixes from b_devel.

I don't want to release an already-outdated v10 kernel just for 0.5.20, so
make 0.5.20 compatible with v11

file vanilla-2.5 was initially added on branch b_devel.

file lustre-2.5.pc was initially added on branch b_devel.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.4.6'.

Merge b_md into HEAD
* bug fixes
 - Fix ldlm_lock_match on the MDS to avoid matching remote locks (592)
 - Fix fsfilt_extN_readpage() to read a full page of directory
   entries, or fake the remainder if PAGE_SIZE != blocksize (500)
 - Avoid extra mdc_getattr() in ll_intent_lock when possible (534, 604)
 - Fix imbalanced LOV object allocation and out-of-bound access (469)
 - Most intent operations were removed, in favour of a new RPC mode
   that does a single RPC to the server and bypasses most of the VFS
 - All LDLM resource ID arrays were removed in favour of ldlm_res_id
 - Aggressively cancel local locks on DLM servers
 - mds_reint_unlink sends EA to the client if it's the last nlink.
   client uses that EA to unlink OST objects.
 - mds_reint_{rename,unlink,link} were rewritten to take ordered locks
 - recursive symlinks were fixed (440)
 - fixed NULL deref in DEBUG_REQ
 - filter_update_lastobjid no longer calls sync, which annoyed extN
 - fixed multi-client small-writes to a single file problem (445)
 - fixed mtime updates during file writes (607)
 - fixed vector writes on obdfilter causing problems when ENOSPC (670)
 - fixed bug in obd_brw_read/write() (under guise of testing 367)
 - fixed Linux OST size reporting problem (444, 656)
 - OST now updates object mtime with writes or setattr (607, 619)
 - client verifies file size before zeroing page past EOF (445)
 - OST now writes last allocated objid to disk with allocation (108)
 - LOV on echo now works (409)
 * protocol changes
 - mds_reint_unlink sends a new buffer, with the EA included.  this
   buffer is only valid if body->valid & OBD_MD_FLEASIZE, which is only
   set if a regular file was being unlinked, and it was the last link
 - use PtlGet from the target for bulk writes (315)
 - OST now updates object mtime with writes or setattr (607, 619)
 - LDLM now has a grant-time callback to revalidate locked items, if
   necessary (604)
 - Many MDS operations were reorganized to combat race conditions
* other changes
 - Merge b_intel branch (updated lprocfs code) - now at /proc/fs/lustre
 - configure check to avoid gcc version 2.96 20000731-2.96-98 (606)

file obdiolib.h was initially added on branch b_md.

file obdiolib.c was initially added on branch b_md.

file obdbarrier.c was initially added on branch b_md.

file createtest.c was initially added on branch b_md.

file exports_hp.txt was initially added on branch b_md.

file exports_hp.pc was initially added on branch b_md.

file exports_hp.patch was initially added on branch b_md.

file busy.sh was initially added on branch b_md.