merge from HEAD: 20030115

Update from HEAD

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.8'.

- series against second suse 2.4.21 kernel
  b2505

- vanilla-2.4.24 series and needed patches

NOTE: do not use it for a while, please. ext3-delete-thread must
      be reworked first.

file kgdb_2.6.0 was initially added on branch b_v26.

file vfs_intent_2.6.0.patch was initially added on branch b_v26.

file kernel_text_address-2.6.0.patch was initially added on branch b_v26.

file invalidate_show-2.6.0.patch was initially added on branch b_v26.

file ext3-start_this_handle-must-return-error.patch was initially added on branch b_v26.

file ext3-init-generation-2.6.0.patch was initially added on branch b_v26.

file export_symbols-2.6.0.patch was initially added on branch b_v26.

file 2.6.0-mm2.patch was initially added on branch b_v26.

b=2429
r=phil,shaver

fix renaming a file to itself, and add a couple of tests for this
case.

also, make rename.pl not spin waiting for children.

b=2502

fix a bug in --disable-doc handling, and add snapfs to DISTDIRS

fix some bugs in snapfs

add loop_device_get_info.patch in snapfs series

fix some bug in snap-core.patch 1) add some item in ext3_sb 2)some error handler

file localrpc_test.sh was initially added on branch b_localprc.

file ptlrpc_local.c was initially added on branch b_localprc.

b 2198
r braam

perl llanalyze dk.str -dlm MDC_uml_mds1_MNT_localhost

perl llanalyze dk.str \
 -extract_start="004000:000400:0:1073288749.491802:1780:898:6772" \
 -extract_end="000040:080000:0:1073288750.493802:1652:974:7014"

b=2368
r=phil

 - call vfs_rmdir() on directory orphans when removing them from
   PENDING
 - add a test for this case to replay-single
 - add open(O_DIRECTORY) to multiop

Break, instead of panic, in the UML version of portals_debug_dumpstack.

b=2432,2494

test cases for these bugs.
Also some test enhancments
  - add more lctl marks
  - add SETUP CLEANUP options to replay-single

b=2494

Make sure we reset the timer after resending a request.  Renamed
sending_error to force_timer_recalc, because that's what it does.

b=2432

Merging fix from b_llp2. Set the rq_no_resend for cancel requests so
ldlm_cli_cancel() can reconstruct the cancel with the correct
cookie.

Fix typo in patch.

Add missing ChangeLog entry.

Fix races in client write RPC generation when cache full
b=2482
(tested in buffalo against b1_0)

- fix up eeb's assertion fix.  __GFP_WAIT isn't sufficient, it's GFP_ATOMIC that
  callers use.

.  Added an important comment in parse_get()

At least make some effort to detect errors in llog testing.

Quiet error if run without args.

Use munlink and not unlink (unlink doesn't exist in non-RH9 setups).

Reverting 64K-stack change; r=phil.

update snapfs, include super.c filter.c snapfs_internal.h

add options.c

.  fixed ia64 format warnings

.  fixed assertion when called from interrupt handler (allocating lib_msg_t)

set stacksize to 64K

fix a typo.

add conf-sanity.sh to acceptance-small.sh

update config file

b=2103
r=shaver

add tag to name2uuid() to deal with the broken of lmc when mds name and hostname are the same.

b=1719
r=shaver

Add --ptldebug and --subsystem to lmc.

Make TCP zerocopy and pinger support enabled by default (affinity already was)
b=2476
r=phil

update snapfs

b=2460

Add a test to recovery-small to trigger this bug. Also fix some
typos/brainos in recovery-small and test-framework, and set the debug
level to the default for local configs,

b=2421
r=phil

(i'm just committing jerrifer's work + a couple of typo fixes)

add a --disable-doc option to lustre's configure which skips .pdf doc
building (to ease rpm creation).

b=2460
r=phil

Make sure threads waiting for a completion callback are awoken when
the client is evicted. Also set LDLM_FL_CANCEL explicitely in
cleanup_resouces, so callers of ldmm_namespace_cleanup no
longer need to specify it.

Don't use SLAB_KERNEL (GFP_KERNEL) allocations for locks and resources.
This is the bug that started it all, and was fixed only in b_llnl_prod...
b=1933
r=zab

We haven't opened objects on OSTs in a long time.  Remove unused field.

Don't dereference a bad dchild if we had a lookup error (Alex found this).
Don't get inum lock if we didn't create an inode.
b=2362

fix some bugs of snapfs

change tag from b_devel to HEAD

reomve i_filterdata in this patch, for vfs_intent patch have this item already. fix this temporary

add snapfs building support in lustre

add snapfs-2.4.20 kernel series

oops make a mistake, change snapfs_core-2.4.20.path to snapfs_core-2.4.20.patch

add snapfs_core-2.4.20.path

add snapconf utils

add snapfs_internal.h snapfs_support.h Makefile.am

port snapfs to 2.4

add snapfs to cvs

Make "error" always report the test that failed, for SANITYLOG runs.
Make a bit more effort to clean up test cruft.

Don't remove directory inodes from locks prematurely.  Causes pages not to
be evicted if lock is revoked.
b=2451
r=phik

Update ChangeLog with already-fixed bugs.

file replay_ost_single.c was initially added on branch b_eq.

b_2466
r = braam

make portals_debug_dumpstack(void) calling panic("LBUG") in uml

*  Removed toenal

b=1171
r=shaver

create true uuid in lmc

- new test: run create and rename in same directory on multiple nodes in parallel

file filter_lvb.c was initially added on branch b_size.

Reduce per-OSC client side cache to avoid pathalogical cache-flush times
with lots of clients.  Tested at LLNL for a long time already.
Reduce max per-OSC RPCs in flight to reduce OST file fragmentation with
out-of-order writes to the filesystem.
r=Zach

merge HEAD to b_eq: tag 20031230

- patch from Oleg to export get_kmem_end in UML kernel

remove mount age check
b: 2332
r: Shaver

b=2442

Only create config logs for the MDS on the local node.

- remove more forgotten relics

b=2430
Use kmalloc() instead of slab to allocate the MD and MSG portal descriptors.
On x86_64 the MD and MSG structs got quite large, into the 2k range, though
pages are still 4k there.  This tricked slab into trying to back their slabs
with multi-page allocations.  These allocations failed under high load which
lead to LBUG()s and timeouts.

While we're in here, properly initialize the in_use counts and stop using
sleeping allocations while holding the state lock.

- use munlink instead of unlink

- ability to skip O_DIRECT tests on O_DIRECT-deficient systems (LLNL)

- test-frameworkize recovery-small.sh, and recovery-small.sh will
  now run in a local, single node mode by default.

- Add some tests for old bugs to recovery-small.sh. These tests were
  in the ltest/recovery scripts, but that is now unused.

- Move the OBD_FAIL funcs to test-framework.

- add the -v command line option for test scripts; it will print out
  the commands its executing on the nodes.

b=2417
r=shaver

Prevent a race between mds_client_add and mds_client_free by clearing the client
index bit after the data has been zeroed. Also make config messages consistent
(with each other and with the obdfilter messages).

change lfs from /usr/sbin to /usr/bin

Fix valid uninitialized variable gcc warning.

b=2074
r=Adilger

Log:
    remove the '\n's not at the end of log lines

Reverted #974 for now as it causes problems for people.
Approved by Andreas Dilger.

Make the namespace/resource/lock dumping somewhat more compact, so
that less log space is wasted, and it's easier to visually scan.

b=2425
Jacob reported that when MDS/OST recovery requires new objects to be
created, the OST throws an assertion.

Bug 2425 remains open to track the creation of many more tests for
missing MDS/OST recovery cases.

Remove pesky $Id tag which only causes conflicts

b=2353
r=shaver

Delete IOC_CONNECT,DISCONNECT and use obd_self_export instead
of creating connections for lctl. Also delete the IOC_DEVICE comamnd
and make the ioctl interface stateless.  The lctl probe command is now
a noop, and lctl device is still used to set the device, although the
current device state is only saved in lctl now, and not the kernel.

b=2420: don't acquire a duplicate lock when processing a resent GETATTR, just
        grab the dchild directly and sample the data. Fixes recovery-small.sh.
r=phik,buffalo

*  PtlMDUnlink() can no longer return PTL_MD_INUSE, since it commits the MD
   for destruction.  If no network I/O is current at the time, a
   PTL_EVENT_UNLINK event is created.

*  The 'unlinked_me' field of an event has been replaced by a simple flag
   'unlinked' that is set if the event signals the destruction of the MD.

*  Events have a new 'status' field.  This is PTL_OK on successful
   completion, and any other portals errno on completion with failure.
   CWARN() messages in these callbacks log abnormal completion.

*  All event callbacks changed to handle the UNLINK event, completion
   status and unlinked flag.

*  All abnormal completions changed to work with PltMDUnlink and the new
   callbacks.

*  Removed bd_complete from ptlrpc_bulk_desc and added bd_success.
   Communications have completed when bd_network_rw gets cleared.   If
   bd_success is set, then bd_nob_transferred tells you how much data
   was sent/received.

*  Changed MDS and OST bulk completion to deal with failed bulk transfers.
   The PtlBD server just LASSERTS things went OK, so we can be reminded to
   implement better error handling there too.

*  ptlrpc_wake_client_req() inline helper.

*  Changed the lib/NAL interface as follows....

   .  cb_callback() is optional and defaults to calling the event queue's
      callback if it is left NULL.

   .  cb_read(), cb_write(), cb_map(), cb_map_pages(), return PTL_OK on
      success and another portals errno on failure.

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() return PTL_OK
      if and only if they can commit to calling lib_finalize() when the
      relevent message completes (possibly with error).

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() may not modify
      the iovec/ptl_kiov_t they are passed, and must do I/O on the
      subsection of this scatter/gather buffer starting at 'offset' for
      'mlen' bytes.  This greatly simplifies portals lib level descriptor
      management at minimal expense to the NAL.

   .  portals lib now exports lib_extract_iov(), lib_extract_kiov() and the
      other iov helpers take an additional 'offset' parameter, to simplify
      offset buffer coding in the NAL.

   .  lib_parse() is void (i.e. returns no value).

   .  lib_finalize() takes an addition ptl_errno_t completion status.

   ...note that NALs other than qswnal and socknal need to have these
   changes implemented properly and tested.

*  Swapped some loose fprintf()s for CERROR()

*  Dropped PORTAL_SLAB_ALLOC(); portals just uses PORTAL_ALLOC() now.
   Since there are no slabs now, I also changed #ifdef PTL_USE_SLAB_CACHE
   to #ifndef PTL_USE_LIB_FREELIST

*  Changed lib_msg_alloc() so it is _never_ called with the statelock held,
   just like all the other allocators.

*  Changed dynamic MD allocation to size the MD by the number of fragments.

*  Dropped a bunch of dross, plus the iovs from lib_msg_t so they become
   tiny again.

- tcp_sendpage_zccd() must be exported always

b=2383
Stop taking a PR lock in mds_readpage; a PR is already held by the
client, so if there is a PW in the queue, deadlock will result.  Just
assume that the client has a lock.

Print the service name in the mds RECOVERY: message

b=2252
r=adilger
(didn't see regressions in buffalo, confirmed read throughput increases
with sf and fpp multi-node IOR)

This cleans up llite's readpage path and implements our own read-ahead window
that hangs off of ll_file_data.  The broad goal is to keep a fair amount of
read-ahead pages issued and queued which can be fired off into read rpcs as
read-ahead rpcs are completed.

- put llite page cache pages in a list_head for the duration
  of their stay in the page cache.  This lets us display the contents
  of the page cache via llite/*/dump_pgcache file.  This was done as part
  of b=2252 and is being committed seperately from the read-ahead work.

Silence bogus compiler warning.