Reverted #974 for now as it causes problems for people.
Approved by Andreas Dilger.

Make the namespace/resource/lock dumping somewhat more compact, so
that less log space is wasted, and it's easier to visually scan.

b=2425
Jacob reported that when MDS/OST recovery requires new objects to be
created, the OST throws an assertion.

Bug 2425 remains open to track the creation of many more tests for
missing MDS/OST recovery cases.

Remove pesky $Id tag which only causes conflicts

b=2353
r=shaver

Delete IOC_CONNECT,DISCONNECT and use obd_self_export instead
of creating connections for lctl. Also delete the IOC_DEVICE comamnd
and make the ioctl interface stateless.  The lctl probe command is now
a noop, and lctl device is still used to set the device, although the
current device state is only saved in lctl now, and not the kernel.

b=2420: don't acquire a duplicate lock when processing a resent GETATTR, just
        grab the dchild directly and sample the data. Fixes recovery-small.sh.
r=phik,buffalo

- tcp_sendpage_zccd() must be exported always

b=2383
Stop taking a PR lock in mds_readpage; a PR is already held by the
client, so if there is a PW in the queue, deadlock will result.  Just
assume that the client has a lock.

Print the service name in the mds RECOVERY: message

b=2252
r=adilger
(didn't see regressions in buffalo, confirmed read throughput increases
with sf and fpp multi-node IOR)

This cleans up llite's readpage path and implements our own read-ahead window
that hangs off of ll_file_data.  The broad goal is to keep a fair amount of
read-ahead pages issued and queued which can be fired off into read rpcs as
read-ahead rpcs are completed.

- put llite page cache pages in a list_head for the duration
  of their stay in the page cache.  This lets us display the contents
  of the page cache via llite/*/dump_pgcache file.  This was done as part
  of b=2252 and is being committed seperately from the read-ahead work.

Silence bogus compiler warning.

We can never hit the end of mds_finish_open() with a non-zero error code
because we exit early on error, so the mds_destroy_mfd() is bogus.  I left
RETURN(rc) in case things change in the future though.

We don't use request_body() anywhere inside mds_put_write_access(), but
since all of that code is just commented out I didn't do a real cleanup.
Just a bogus compiler warning fixed.

file dir.c was initially added on branch b_eq.

- move the osc histogram helpers into lprocfs and rename accordingly
- export brw histograms from the filter that record discontiguous offsets
  in the brw request and discontigous blocks that satisfy the request
  (seen as /proc/fs/lustre/obdfilter/$name/brw_stats)

- get rid of some ancient unused left-overs

r=zab,phil
Fix for bug 974, Also adds a test to check for OOM (modified script from
bug 1135), fixes to sanity.sh's test 45 to obtain a grant (closes 2387).

b=1557/2316
Back out patch from bug 1557, because it causes the crash described in
bug 2316.

- large kernel address space support against vanilla-2.4.22

file sanity.c was initially added on branch b_eq.

file echo_test.c was initially added on branch b_eq.

file Makefile.am was initially added on branch b_eq.

file test_lock_cancel.c was initially added on branch b_eq.

file test_common.h was initially added on branch b_eq.

file test_common.c was initially added on branch b_eq.

file replay_single.c was initially added on branch b_eq.

file recovery_small.c was initially added on branch b_eq.

Implement saving of previous value of max_dirty_mb, as suggested by Andreas

 b: 2356
     r: Andreas and Phil
     To increase the mount count of mds.

change debug_client_off from 0 to the minimal but still useful 0x3f0400

- fix iopentest*.c to produce error messages with filenames
- remove sanity test 55

Whoops, just added test for #2319 was a bit flawed and failed for no good reason

r=shaver
fix for #2319, make osic to be allocated separately and implement proper
refcounting for it.
Also adds a test to sanity.sh that checks for (fixed) crash.

r=phik
fix for #2348

- xattr-related fixes against chaos-2.4.21

fix "empty case at end of compound statement" warning in newer GCCs

change default debug level to a more reasonable production setting

b=2371
Updated the BUILDING file, to at least remove the lies, and point
people at more helpful documentation

ignore generated files

b=2368
fix a useless error message

- chaos-2.4.21 series against 2.4.21-p4smp-12chaos

b=1792
r=Chris

add sanity test for "iopen_connect_dentry() on already-connected dentry"

Fix path to include lctl (was already in PATH at LLNL).

Allow sanityN.sh to run with a zconf-mounted setup.
Be more verbose about what the specific error is.

Make ONLY=setup not do cleanup at the end, while we use replay-dual.sh as
a proxy for mount2.sh.

- silence trivial unused variable warning

Add lock-order regression test.
b=1844

- fix up rc = type-o spotted by adilger

b=2339
filter_precreate() was setting the oid returned based on the last_id for the
requested object group, but was always creating objects in group 0 by virtue of
passing NULL in as the obdo to the _next_id functions.  In the process of
fixing this we stop NULLing out the obdo in the loop and get rid of the
_setattr() and obdo_from_inode() which are artifacts from when the client
performed obd_create().

Also some cleanup_phase beautification.

b:2316 Save the owner of f_op before replace it with llite special file operation

a trivial fix to add description for lfs commands

b=1135
r=Andreas

Add a regression test script to test OST out-of-space.

- ignore write_disjoint

- kernel_text_address patch against chaos-2.4.18 series

- list_for_each_entry_safe(), list_move() and list_move_tail() have been added

- list_for_each_entry() added

b: 1991
r: Peter

lfs catinfo <keyword>
Fetching logs information from client node. Now keywords include:
config and deletions. Others will be added in future.

b=2237
a small fix. We should use 0 instead of 1 as the stripe_start patameter, because the first number of OSTs is 0. If we have only one OST, 1 will fail.

b=2237
r=phil

lstripe should fail when offset > numobd

Doing endian conversion on constant instead of variable according to andreas advices bug 1989

b=2230
Allocation failures during heavy bulk IO load were causing timeouts.  Using
GFP_NOFS throughout lustre, and in particular instead of 0 as sk->allocation,
is our most recent attempt to appease the VM.  Make lots of noise if you see
allocation failures or deadlocks involving threads waiting for memory.

b: 1988
r: Andreas

Make log record alignment 8 bytes.

b: 2226
r: Phil

Remove all orhpans on OST while MDS startup, and set last_id correctly.

The newly added "jt_llog_check" function was not declared here.

- bring the filter_survey script up to date with recent lctl interface changes

b=2330
Add sanity test #62 for obd_match error checking, to avoid regression

add llog_check and add remove the logs of catalog in llog_remove r:peter

b=2284
r=Robert
scsi support for dev_read_only

b=2284
r=Robert
scsi support for dev_read_only

b=2321
Fix two rare exit paths which will leak an l_lock() reference:
 - an allocation failure in ldlm_server_blocking_ast
 - an unlikely race condition in ldlm_resource_add_lock

I blame the latter for the problem reported in bug 2321.

Fix confusing MDC error message

- bring the generic_hweight32 x86_64 insmod fix over from b_eq

b=2330
minor state cleanup from matching error return paths

b=2334
A slight reorganization of ll_intent_release, so we can drop the MDS
lock early.

b=2334
Break cyclic locking deadlock by dropping the MDC read lock before we
take the OSC read lock during getattr intents

b=1897: use the rpcd to send closes, so that we can resend in the case of a
        reconnect after user interruption, and avoid leaking an open-count.

        Also, allocate repmsg _before_ reconstructing a close into it.
r=phik

b=2313
My fix to bug 2313 accidentally created a lot of noise by returning
non-zero return codes when multiple clients had a file open for write.

I am very stupid.  I put the extra debugging code in the wrong path.

b=2306
r=alex
Replace i_sem with BKL in ext3_fsfilt_write_record

b=2333
Fix i_sem/journal inversion in mds_client_add, which was never updated
when we decided to re-order these a few months ago.  This became much
easier to hit after we fixed bug 2306.

b=2330
Be more careful about the return codes from obd_match, lest we try to
cancel a lock which was never granted.

b=1505
r=shaver
Print a much more meaningful error when a client is rejected because a
service node is waiting for recoverable clients.

b=2313
r=shaver
This bug happens when a file is opened twice for write, then both close it
at the same time.  If they both drop the writecount, then race to
compare it against 0, one will free the fsdata and the other will assert.

This looks like a big patch, but it's mostly plumbing.  I had to do some
different argument passing, in order to keep everything protected under the
same lock.

I removed the writecount spinlock, and use the epoch semaphore for all three
things: management of the epoch, protection of the writecount, and atomicity of
writecount modifications which result in allocation or freeing of the fsdata.

b=2313
r=shaver
This bug happens when a file is opened twice for write, then both close it
at the same time.  If they both drop the writecount, then race to
compare it against 0, one will free the fsdata and the other will assert.

This looks like a big patch, but it's mostly plumbing. I had to do some
different argument passing, in order to keep everything protected under the
same lock.

I removed the writecount spinlock, and use the epoch semaphore for all three
things: management of the epoch, protection of the writecount, and atomicity of
writecount modifications which result in allocation or freeing of the fsdata.

- suse-2.4.21 builds on x86_64 now

- more error checking and less verbosity for insanity
- fixed shell brainos preventing client failures from working

b=2329: move osc_rpcd into ptlrpc as ptlrpcd, for non-OSC applications.  Largely
        mechanical, plus a tiny Makefile.am cleanup in ptlrpc.
r=zab

- tcp_sendpage_zccd() must be exported always

- tcp_sendpage_zccd() must be exported always

*   Added ENOMEM detection and retry on socknal sends

r: TianYing

close all opened logs before user change logs via lctl, reopen them
after lctl operation finished.

- insanity cleanups.
 - Call the right function to shutdown the osts
 - just sleep when powering off the machine.
 - use checkstat, instead of ls -ld

force D_OTHER on for the duration of the ldlm_namespace_dump, then restore

b=2328
r=shaver
- Make sure that all locks which have been marked as receiving a blocking AST
  are eventually added to the waiting list, to evict badly-behaving clients.
- If a service node times out waiting for a lock, dump the namespace
  to the log, no more than once every 5 minutes

when kernel_thread fails, print the return code instead of 0 (or nothing)

b: 2226
r: Phil

Set correct last object id when cleaning up orphans during mds setting up.

- fix against wrong lock order in fsfilt_ext3_write_record()
  bug 2306

Instrumentation for reproducing and verifying 1897 (open-count leaked if close
is interrupted on the client). r=robert.

file llmount-upcall.sh was initially added on branch b_devel.

b=2322
In ldlm_process_{plain,extent}_lock, we used to remove and re-add the
lock to the waiting list after every -ERESTART loop.  But because of
the logic in the ldlm_*_compat_queue functions, in a very rare case,
this could lead to lock re-ordering and subsequent deadlock.