merge b_devel into b_cray

- set_osc_active becomes ptlrpc_set_import_active (though it still only works on
OSCs) and is automatically called for non-recoverable OSCs before we invoke the
upcall. (part of b=1038)
- When aborting recovery, shut down the recovery timer, abort the recovery
queue's requests, and don't do it twice.
- Make sure we call obd_disconnect correctly for all non-lctl imports when
aborting recovery or forcing shutdown, so that we don't leave the last_rcvd bits
around for the next time.
- Fix leak of last_rcvd-spawn exports (every one!).
- Get and put exports for recovery-queued requests and replies, so that
  we don't race badly with teardown.

b=1089
 Python does not automatically convert strings to integers when it might
 seem appropriate.

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

adding cmdline.py to pymod_SCRIPTS

adding scripts to EXTRA_DIST.

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

last merge of b_devel into b_recovery

Merge from b_devel.

Merge b_devel into b_recovery.

Bug828 fix. Approved by Andreas.

- purge the write cache before truncate stomps on the local i_size so that we
  don't zero-extend the file when truncate's lock acquisition purges the
  writeback after having updated the i_size.  I'm not sure how 2.5 will do this,
  but it probably needs to.

Merge from b_devel, mainly to get the fixes for 977/978/722.

merge b_devel into b_recovery

While it is true that ALL_PAGES is a good indicator of rmap, we don't get
this define without already including an rmap-specific header.  Instead
use PG_inactive_dirty.

It seems PG_lru also exists on the PNNL kernel, so use ALL_ZONES instead?

This makes very large IORs pass on a 400 node cluster..

- ifdef PG_lru to check for rmap instead of pte_chain, which didn't work (!)
- put the vm specific memory pressure decision in should_writeback()
- stop prepare_write throttling/writeback when vm pressure lets up
- if we're still under pressure after writing back lots of dirty data then
  we also wait on any inodes to complete their writeback until the VM thinks
  we're happy or there's nothing to wait on..

Zach and I found a nasty race condition with the sets: we were
overloading the refcount to mean both "number of outstanding I/Os" and
also "number of threads using this structure".  It was possible in
extreme circumstances to free the set in the reading thread before the
event handling thread called wake_up, which would thus crash.

To address this, there is a new count (brw_desc_count), which counts
the number of remaining I/Os.  The other count, brw_refcount, now
properly tracks users of the structure to prevent early freeing.

use obd_brw_sets like the OSC, instead of putting it on the stack and
playing silly buggers with the refcount

03:26 < zab> oh, jesus.
03:27 < zab> the do { } while (llwp->num_pages) is totally hosed
03:27 < zab> its spinning on the same llwp for ever.
03:28 < zab> memset(llwp just before the ll_get_dirty_pages

also, I removed some tabs

I took zab's patch, broke it, and the committed it to cvs.

Then he read my checkin message and corrected me.

zab's patch to correctly track the number of fragments and full pages,
so that we put as many pages (up to 16) as possible on the wire at once

land b_io on b_devel (b_io will be deleted as soon as it's confirmed
that the merge happend without incident)

merge 0.5.20.3 b_devel into b_io (ready to land)

catch up with b_devel

- bring b_io up to b_devel

Fix uninitialized variable warning.

Make uuid_nid_data.nid a ptl_nid_t (u64) instead of a u32.

- bring b_devel changes into b_io in preparation for file size fixes

Landing b_malt onto b_devel
- move uuid and handles to lustre, with config changes
- b=204,667: fix router config so network interfaces can be
  created in any order.
- Make sure all the ioctl calls  in obd.c are packed.

Update b_multinet
  minor conflicts found in mds/handler.c and niobuf.c

merge b_setattr into b_devel.  The highlights:

- proper LDLM_DEBUG macro fix, for gcc 3.2 (850)
- failed open()s could cause deadlock; fixed (867, 869)
- stop cancelling OST locks when files are closed (481)
- overlapping XID spaces caused network corruption (851, 853)
- fix unsafe fsfilt counter arithmetic; change to atomic_t
- setattr_raw added, to do single-RPC, server-side setattrs
- fix crashy race condition between ptlrpc_free_req and osc_close

merge b_devel into b_setattr.  highlights:
- kernel 2.5 and liblustre build changes
- fixes to Makefile.am for 7.3-era versions of automake, which is quite possibly
  the worst piece of software with which I come in contact on a daily basis
- small unlink fix

- rebase b_io against HEAD in preparation for the latest write cache code

initial check-in for SAN support. There's still not clean
stuff like mount option(data=writeback) of ost.

Remove a few little-used stack variables - this is a stack intensive area.

Add smbfs caller of invalidate_inodes() to invalidate_show.patch for PNNL.

Don't show busy inodes for invalidate_device().  We don't really care about
that ourselves (it's mostly for floppies & other removable media).

This avoids the need to fix invalidate_device() parameters all over the place.

Remove unused label

- Do the LOCK_CHANGED work in ldlm_lock_enqueue inside an ns_lock; it was making
  me nervous without.
- The lock may have already received a blocking AST, while it was still owned
  by the server.  In this case, the client will receive the lock, oblivious to
  the fact that it needs to be given up.  Unset the "AST already sent" flag
  before handing the lock to the client.
- Add mdc_sem calls around ldlm_cli_enqueue in mdc_request

mds_fid2dentry error handling

- merge b_intent changes back to b_md.  Two profound metadata changes
  have eliminated over 600 lines of code:
  - the lock server on the MDS passes its locks back to the client
    instead of giving the client new locks.  This eliminates numerous
    races (for which were implementing complicated fixes earlier).

  - the lock ordering model was changed slightly to introduce a parent
    child older and only then fid order.  This eliminates numerous
    double lock acquisitions from the MDS.

- OST semaphores restored

Be more verbose for debugging.

Merge b_intent into b_md:

- New kernel patch (version 9)
- DLM hooks to revalidate locked data, once the lock is granted (604)
- Further MDS reorganization, particularly of the open and o_creat paths

- merge b_md into b_intent
- rename invalidate-show.diff, at andreas's request

Merge extN patch fixes from b_intent to b_md.

cleanup after rename.pl

use the second create.pl mode in acceptance-metadata

Merge b_intent into b_md:

** You will need to update your kernel, Lustre patch version 8 **

Highlights:

- the MDS now returns a block count for non-regular files (for which it has
  the authoritative size information)
- we set a DCACHE_LUSTRE_INVALID flag on dentries when we alienate them; this
  flag is now used in the VFS to help us avoid a race condition with
  revalidate2 and dentry alienation
- remove the ldlm_lock_match CBPENDING flag, which severely violates a DLM
  invariant
- fix enqueue_ordered_lock matching
- we reintroduced bug 72 by accident; fixed again, with a better comment.
- small fixes to create.pl/rename.pl

Adding jbd-transno patch to b_intent.

Add jbd-transno change to b_intent

Updated llvisualize considerably. See Bug #691
(a) Added capability to trace entire call sequence across a cluster by
stitching the server activity into the client's view.
(b) Ability to parse UML logs.
(c) Added llanalyze like switches to discard/examine only certain
    specific subsystems/masks
(d) Updated help

To invoke ./llvisualize client_log [server_logs]
Note: The client_log *must* be the first file in the sequence.
Any switches may precede it though.
Type llvisualize --help for the man pages.

- add ldlm_lock_match CBPENDING flag--I should never have removed it
- change ll_revalidate2 LBUG to a RETURN(0).  We now think that our
  understanding of this invariant is complete.
- fix rename.pl defaults
- add mkdirmany test to runtests

merge b_intent into b_md

** You will need to upgrade to kernel version 7 **

Notes:
- Most intent operations were removed, in favour of a so-called "RPC mode"
  that does a single RPC to the server and returns the rc immediately,
  bypassing most of the VFS.  IT_OPEN and IT_LOOKUP remain pretty much
  unchanged.
- all LDLM resource ID arrays were removed in favour of struct ldlm_res_id
- aggressively cancel local locks on a lock server, such as those that the MDS
  requests from its own DLM
- because unlink is now done with an RPC-mode call, there is no local inode
  to call delete_inode on, so the OST objects would never get unlinked.
  Instead, the MDS notifies the client that it was the last unlink, along
  with the lsm, which it uses to free the OST objects
- mds_reint_rename, mds_reint_unlink, and mds_reint_link were rewritten to use
  enqueue_ordered_locks and avoid lock-ordering deadlocks
- recursive symlinks were fixed
- fixed NULL deref in DEBUG_REQ
- filter_update_lastobjid no longer calls sync, which is unnecessary when
  called inside a transaction (harmful, in fact) and was making extN very,
  very sad

This branch b_lum25 replace b_lin25 using the latest Lustre tree
ptlbd can't be compiled with kernel 2.5 now, so changed Makefile temporary
Now this branch can mount/umount and do some basic fs syscall

Merge llvisualize from b_intel.

* update HEAD to b_config

merge HEAD to b_io branch. (seems quite a large changes from
b_md and b_recover)

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.4'.

move patch-2.4.18-chaos22 (aka EXTN_FIXES) to extN/

land b_md onto HEAD.  almost entirely small cleanups and miscellaneous fixes,
plus:

- fix lock order deadlock on OST (O/R i_sem before journal ops, 478)
- fix follow_symlink bugs (437)
- preparation for some ldlm race fixes (419)

- series file for Chaos kernel.

remove obsolete 'patches' directory from HEAD

- Phil's intent fix for middle of symlink lookups.
- Update version

Land b_recovery (other than WIP lock-replay work).

- b=512,others: fully reactivate OST imports after reconnection.
- b=513(partial): make sure client sees out -ENOTCONN from mds_handle
- b=515: more graceful error handling for truncating on dead OST
- b=474: don't error out just because a file is striped across a dead OST; only
         if we actually try to access it
- b=410: fix garbage sizes when stat(2)ing a file that includes a stripe on a
         dead OST
- print console diagnostic for completion-timeout client recovery
- MSG_RESENT for requests that were retransmitted

- add more patch series files.  We have now obsoleted most of the
  patches directory with the new regime.

file lin-2.5.44.txt was initially added on branch b_lin25.

file lin-2.5.44 was initially added on branch b_lin25.

file lin-2.5.44.pc was initially added on branch b_lin25.

file lin-2.5.44.patch was initially added on branch b_lin25.

Updating from HEAD, in preparation for landing.

land b_md onto HEAD.  the highlights:

 - fstat didn't correctly synchronize attributes (399)
 - server must handle lock cancellation during blocking AST prep (487)
 - bulk descriptors were free()d too soon (511)
 - fix paths in lconf, which would load incorrect modules (451, 507)
 - fix confusing lconf 'host not found' error message (386)

- this time added with -ko

- redo the addition of the patch, forgot -ko

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.4'.

add patch fixups for Red Hat 2.4.18-18.8.0 kernel

file llparser.pm was initially added on branch b_intel.

file lustre-2.5-from811-812.patch was initially added on branch b_lin25.

file lustre-2.5-from809-812.patch was initially added on branch b_lin25.

file iod.c was initially added on branch b_io.

backout #2

Merging to head, BUG#405

yanhao: check in again for bug 461 wrong path in lconf

Back out yanhao's configure.in change -- this broke the build, and belongs
on a branch, please be more careful.

yanhao: fix the bug 461 wrong paths in lconf
        fix the bug 386 lconf error message confusing

file lconf.in was initially added on branch b_md.

Needed more fixes to path

Fixed the file name

file lustre_fsfilt.h was initially added on branch b_md.

file fsfilt_extN.c was initially added on branch b_md.

file fsfilt_ext3.c was initially added on branch b_md.

file fsfilt.c was initially added on branch b_md.

fix the pathnames in the patch

file checkstat.c was initially added on branch b_md.

- remove the README file Zach wrote.  I placed it on the project wiki
- add two initial patches for 2.5 as in use with 2.5.44
 - these require breaking up in components etc as Zach suggests

*** empty log message ***

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.4'.

- bring in akpm's patch management scripts and a first cut at
  patch-2.4.18-14 and patch-2.4.18-um against 2.4.18-17.8.0.  the README
  should hopefully make it clear how these are intended to be used.  email
  to follow.

Update the IA-64 patch

merge b_md into HEAD:
 - lfind did not preserve OST order in output (443)
 - symlinks cause hung clients, incorrect data (439)
 - stop dereferencing request after dropping refcount (457)
 - don't LASSERT(spin_is_locked) on non-SMP (455)
 - fixes for many rename() bugs