update config

*   Fixed type of lib_finalize()'s 'status' parameter

merge HEAD to b_eq: tag 20031230

TCPNAL:
  array out-of-bounds in tcpnal_send().

*  PtlMDUnlink() can no longer return PTL_MD_INUSE, since it commits the MD
   for destruction.  If no network I/O is current at the time, a
   PTL_EVENT_UNLINK event is created.

*  The 'unlinked_me' field of an event has been replaced by a simple flag
   'unlinked' that is set if the event signals the destruction of the MD.

*  Events have a new 'status' field.  This is PTL_OK on successful
   completion, and any other portals errno on completion with failure.
   CWARN() messages in these callbacks log abnormal completion.

*  All event callbacks changed to handle the UNLINK event, completion
   status and unlinked flag.

*  All abnormal completions changed to work with PltMDUnlink and the new
   callbacks.

*  Removed bd_complete from ptlrpc_bulk_desc and added bd_success.
   Communications have completed when bd_network_rw gets cleared.   If
   bd_success is set, then bd_nob_transferred tells you how much data
   was sent/received.

*  Changed MDS and OST bulk completion to deal with failed bulk transfers.
   The PtlBD server just LASSERTS things went OK, so we can be reminded to
   implement better error handling there too.

*  ptlrpc_wake_client_req() inline helper.

*  Changed the lib/NAL interface as follows....

   .  cb_callback() is optional and defaults to calling the event queue's
      callback if it is left NULL.

   .  cb_read(), cb_write(), cb_map(), cb_map_pages(), return PTL_OK on
      success and another portals errno on failure.

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() return PTL_OK
      if and only if they can commit to calling lib_finalize() when the
      relevent message completes (possibly with error).

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() may not modify
      the iovec/ptl_kiov_t they are passed, and must do I/O on the
      subsection of this scatter/gather buffer starting at 'offset' for
      'mlen' bytes.  This greatly simplifies portals lib level descriptor
      management at minimal expense to the NAL.

   .  portals lib now exports lib_extract_iov(), lib_extract_kiov() and the
      other iov helpers take an additional 'offset' parameter, to simplify
      offset buffer coding in the NAL.

   .  lib_parse() is void (i.e. returns no value).

   .  lib_finalize() takes an addition ptl_errno_t completion status.

   ...note that NALs other than qswnal and socknal need to have these
   changes implemented properly and tested.

*  Swapped some loose fprintf()s for CERROR()

*  Dropped PORTAL_SLAB_ALLOC(); portals just uses PORTAL_ALLOC() now.
   Since there are no slabs now, I also changed #ifdef PTL_USE_SLAB_CACHE
   to #ifndef PTL_USE_LIB_FREELIST

*  Changed lib_msg_alloc() so it is _never_ called with the statelock held,
   just like all the other allocators.

*  Changed dynamic MD allocation to size the MD by the number of fragments.

*  Dropped a bunch of dross, plus the iovs from lib_msg_t so they become
   tiny again.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.4'.

r=zab,phil
Fix for bug 974, Also adds a test to check for OOM (modified script from
bug 1135), fixes to sanity.sh's test 45 to obtain a grant (closes 2387).

b=1557/2316
Back out patch from bug 1557, because it causes the crash described in
bug 2316.

- large kernel address space support against vanilla-2.4.22

liblustre:
  use noinst_LIBRARIES instead of lib_LIBRARIES for the immediate libraries

file sanity.c was initially added on branch b_eq.

file echo_test.c was initially added on branch b_eq.

file Makefile.am was initially added on branch b_eq.

file test_lock_cancel.c was initially added on branch b_eq.

file test_common.h was initially added on branch b_eq.

file test_common.c was initially added on branch b_eq.

file replay_single.c was initially added on branch b_eq.

file recovery_small.c was initially added on branch b_eq.

Implement saving of previous value of max_dirty_mb, as suggested by Andreas

 b: 2356
     r: Andreas and Phil
     To increase the mount count of mds.

change debug_client_off from 0 to the minimal but still useful 0x3f0400

- fix iopentest*.c to produce error messages with filenames
- remove sanity test 55

Whoops, just added test for #2319 was a bit flawed and failed for no good reason

r=shaver
fix for #2319, make osic to be allocated separately and implement proper
refcounting for it.
Also adds a test to sanity.sh that checks for (fixed) crash.

r=phik
fix for #2348

- xattr-related fixes against chaos-2.4.21

fix "empty case at end of compound statement" warning in newer GCCs

change default debug level to a more reasonable production setting

b=2371
Updated the BUILDING file, to at least remove the lies, and point
people at more helpful documentation

ignore generated files

b=2368
fix a useless error message

- chaos-2.4.21 series against 2.4.21-p4smp-12chaos

liblustre:
  fix -fPIC flag in portals/utils/Makefile.am confused automake. Still not
  really understand the reason, looks like automake have a bug when handle
  this case. Now the workaround is assign different name of the ptlctl
  library for build for kernel/liblustre.

b=1792
r=Chris

add sanity test for "iopen_connect_dentry() on already-connected dentry"

Fix path to include lctl (was already in PATH at LLNL).

Allow sanityN.sh to run with a zconf-mounted setup.
Be more verbose about what the specific error is.

Make ONLY=setup not do cleanup at the end, while we use replay-dual.sh as
a proxy for mount2.sh.

- silence trivial unused variable warning

Add lock-order regression test.
b=1844

- fix up rc = type-o spotted by adilger

b=2339
filter_precreate() was setting the oid returned based on the last_id for the
requested object group, but was always creating objects in group 0 by virtue of
passing NULL in as the obdo to the _next_id functions.  In the process of
fixing this we stop NULLing out the obdo in the loop and get rid of the
_setattr() and obdo_from_inode() which are artifacts from when the client
performed obd_create().

Also some cleanup_phase beautification.

b:2316 Save the owner of f_op before replace it with llite special file operation

a trivial fix to add description for lfs commands

b=1135
r=Andreas

Add a regression test script to test OST out-of-space.

- ignore write_disjoint

- kernel_text_address patch against chaos-2.4.18 series

- list_for_each_entry_safe(), list_move() and list_move_tail() have been added

- list_for_each_entry() added

b: 1991
r: Peter

lfs catinfo <keyword>
Fetching logs information from client node. Now keywords include:
config and deletions. Others will be added in future.

b=2237
a small fix. We should use 0 instead of 1 as the stripe_start patameter, because the first number of OSTs is 0. If we have only one OST, 1 will fail.

b=2237
r=phil

lstripe should fail when offset > numobd

Doing endian conversion on constant instead of variable according to andreas advices bug 1989

b=2230
Allocation failures during heavy bulk IO load were causing timeouts.  Using
GFP_NOFS throughout lustre, and in particular instead of 0 as sk->allocation,
is our most recent attempt to appease the VM.  Make lots of noise if you see
allocation failures or deadlocks involving threads waiting for memory.

b: 1988
r: Andreas

Make log record alignment 8 bytes.

b: 2226
r: Phil

Remove all orhpans on OST while MDS startup, and set last_id correctly.

The newly added "jt_llog_check" function was not declared here.

- bring the filter_survey script up to date with recent lctl interface changes

b=2330
Add sanity test #62 for obd_match error checking, to avoid regression

add llog_check and add remove the logs of catalog in llog_remove r:peter

b=2284
r=Robert
scsi support for dev_read_only

b=2284
r=Robert
scsi support for dev_read_only

b=2321
Fix two rare exit paths which will leak an l_lock() reference:
 - an allocation failure in ldlm_server_blocking_ast
 - an unlikely race condition in ldlm_resource_add_lock

I blame the latter for the problem reported in bug 2321.

Fix confusing MDC error message

- bring the generic_hweight32 x86_64 insmod fix over from b_eq

b=2330
minor state cleanup from matching error return paths

b=2334
A slight reorganization of ll_intent_release, so we can drop the MDS
lock early.

b=2334
Break cyclic locking deadlock by dropping the MDC read lock before we
take the OSC read lock during getattr intents

b=1897: use the rpcd to send closes, so that we can resend in the case of a
        reconnect after user interruption, and avoid leaking an open-count.

        Also, allocate repmsg _before_ reconstructing a close into it.
r=phik

b=2313
My fix to bug 2313 accidentally created a lot of noise by returning
non-zero return codes when multiple clients had a file open for write.

I am very stupid.  I put the extra debugging code in the wrong path.

b=2306
r=alex
Replace i_sem with BKL in ext3_fsfilt_write_record

b=2333
Fix i_sem/journal inversion in mds_client_add, which was never updated
when we decided to re-order these a few months ago.  This became much
easier to hit after we fixed bug 2306.

b=2330
Be more careful about the return codes from obd_match, lest we try to
cancel a lock which was never granted.

b=1505
r=shaver
Print a much more meaningful error when a client is rejected because a
service node is waiting for recoverable clients.

b=2313
r=shaver
This bug happens when a file is opened twice for write, then both close it
at the same time.  If they both drop the writecount, then race to
compare it against 0, one will free the fsdata and the other will assert.

This looks like a big patch, but it's mostly plumbing.  I had to do some
different argument passing, in order to keep everything protected under the
same lock.

I removed the writecount spinlock, and use the epoch semaphore for all three
things: management of the epoch, protection of the writecount, and atomicity of
writecount modifications which result in allocation or freeing of the fsdata.

b=2313
r=shaver
This bug happens when a file is opened twice for write, then both close it
at the same time.  If they both drop the writecount, then race to
compare it against 0, one will free the fsdata and the other will assert.

This looks like a big patch, but it's mostly plumbing. I had to do some
different argument passing, in order to keep everything protected under the
same lock.

I removed the writecount spinlock, and use the epoch semaphore for all three
things: management of the epoch, protection of the writecount, and atomicity of
writecount modifications which result in allocation or freeing of the fsdata.

- suse-2.4.21 builds on x86_64 now

- more error checking and less verbosity for insanity
- fixed shell brainos preventing client failures from working

b=2329: move osc_rpcd into ptlrpc as ptlrpcd, for non-OSC applications.  Largely
        mechanical, plus a tiny Makefile.am cleanup in ptlrpc.
r=zab

- tcp_sendpage_zccd() must be exported always

- tcp_sendpage_zccd() must be exported always

*   merged HEAD

*   Added ENOMEM detection and retry on socknal sends

*   Merged HEAD

*   "clobbered" (as Phil would say) kernel_patches/patches

r: TianYing

close all opened logs before user change logs via lctl, reopen them
after lctl operation finished.

tcpnal:
  since we switched to the new timeout mechanism, the old hack code coulde
  be removed now.

tcpnal:
  nal thread will call select() to block itself waiting incoming packets,
  but in 2 cases (1. new connection created 2. shutdown tcpnal) upper
  thread need wake up nal thread from sleep immediately.
  here we use a local socket which will be under select's monitoring to
  notify nal thread wakeup. again brings in unclean code into tcpnal.

tcpnal:
  originally tcpnal came with PtEQWait_timeout(), which implemented with
  longjmp. It shows some problems with pthreads, and even totally can't
  work on Opteron machines.
  Now use the pthread's internal timer to do timeout, but also brings some
  unclean things between portals - tcpnal. but it's ok at this moment.

- insanity cleanups.
 - Call the right function to shutdown the osts
 - just sleep when powering off the machine.
 - use checkstat, instead of ls -ld

force D_OTHER on for the duration of the ldlm_namespace_dump, then restore

b=2328
r=shaver
- Make sure that all locks which have been marked as receiving a blocking AST
  are eventually added to the waiting list, to evict badly-behaving clients.
- If a service node times out waiting for a lock, dump the namespace
  to the log, no more than once every 5 minutes

when kernel_thread fails, print the return code instead of 0 (or nothing)

b: 2226
r: Phil

Set correct last object id when cleaning up orphans during mds setting up.

- fix against wrong lock order in fsfilt_ext3_write_record()
  bug 2306

Instrumentation for reproducing and verifying 1897 (open-count leaked if close
is interrupted on the client). r=robert.

file llmount-upcall.sh was initially added on branch b_devel.

b=2322
In ldlm_process_{plain,extent}_lock, we used to remove and re-add the
lock to the waiting list after every -ERESTART loop.  But because of
the logic in the ldlm_*_compat_queue functions, in a very rare case,
this could lead to lock re-ordering and subsequent deadlock.

Indentation

b=1844
Andreas's patch to fix MDS lock inversions in getattr/reint paths.
I'm giving it one more day to bake on ALC before I commit to the 1.0.x
branch.

land 1.0.1 fixes on main development branch (head)