*   Merged HEAD

*   "clobbered" (as Phil would say) kernel_patches/patches

Instrumentation for reproducing and verifying 1897 (open-count leaked if close
is interrupted on the client). r=robert.

*   Ensured CWARN messages always get to the system log.

    NB this only affects socknal EOF messages currently, since the NALs'
    subsystem debug is disabled by default.  Hopefully the appearance
    of these messages (which should be relatively infrequent and provide
    good post-mortem evidence) will not spread too much FUD...

*    fixed a missing initialiser that makes autoconnect crash in a CDEBUG
     if it fails to create a connection

*    moved tx_resid initialisation to launch_packet

- error var was declared after statements. gcc-2.96 dislikes this
  b2294

- fixes against gfp_memalloc patches
- gfp_memalloc is added into vanilla-2.4.20 series

- use -fPIC to build liblustre to stop the .os from containing relocations
  that x86_64 can't put in .sos
- don't include ldlm *and* ptlrpc libs in liblustre.{a,so}

b=2310
r=phil

fix a missed case in the GFP_MEMALLOC patch which can cause ksocknald
to block on kswapd (which is bad)

*   Dynamic allocation of socknal tx descs.

*   Statically allocated socknal forwarded message buffers now allocated
    individually rather than 1 large chunk to avoid store fragmentation.

*   Some function renaming in socknal_cb.c to avoid name conflicts.

*   added memhog gfp flags

*   lmc --gw_cluster_id => lmc --gateway_cluster_id to avoid conflict with
    lmc --gw

Updated the document for some additional options.

remove the show_mem() debugging; it's not exported from all kernels,
and I've already learned what I needed to learn

*   Minor socknal cleanup

*   Added lctl::memhog to allocate kernel memory (freed on request or close)

- configurable stacksize against all the series except chaos-2.4.18
  only i386 is affected

b=1933
If an allocation fails, print information about how much memory we
have allocated, and call show_mem()

use PORTAL_SLAB_FREE now that we also use _ALLOC

*    Added lwt stop now prints the wallclock time of the first trace record

*    Turned off lwt support by default

b=278
More merging from b_eq, including the removal of ptlrpc_request->rq_obd

b=1933
The lib_*_alloc functions in portals were calling kmem_cache_alloc(GFP_NOFS)
instead of PORTAL_SLAB_ALLOC, which uses GFP_MEMALLOC. These calls are _more_
likely to return NULL, because they won't use the emergency pool and can't
descend into the file system to free memory.

Unsurprisingly, these lib functions eventually failed to allocate at NCSA, so
this is not just a theoretical risk.

merge part of b_eq to b_devel:

removes ptlrpc_pack_msg(), adds ptlrpc_pack_request() and ptlrpc_pack_reply()

more innocent b_eq to b_devel merging:
 - updates to liblustre-specific files
 - updates to #ifdef-ed code
 - Makefiles et al

b=1993

- wrapper for sanity that will submit test output to buffalo. Based on an original script by sice for UML that I updated to work with real hardware as well.

Requires: recent checkout of ltest module, b_tdevel branch. If you plan to use this wrapper with UML, you must be able to DSH into UML from your host machine.

Here is an example command line I use to run the wrapper on mdev:

LTESTDIR=/home/ccooper/b_tdevel NETWORKTYPE=elan  sh sanity-buffalo.sh --sender=ccooper@clusterfs.com --extra-params="START=' ' CLEAN=' ' SANITYLOG=/tmp/sanity.log" --target=mdev10 --config=lov

...and that yielded the following buffalo-sandbox report:

https://buffalo-sandbox.clusterfs.com/display_report.pl?report_id=121

Reports are sent to the buffalo-sandbox by default to avoid cluttering buffalo proper with bogus results, which inevitably happens when you're first trying to get reporting setup on a new cluster. You can toggle the RECIPIENTS variable in the source once the wrapper is reporting properly.

rename lop_precleanup to lop_sync and do related changes

   1. add lop_precleanup - llog_obd_repl_precleanup for filter
   2. delay llog_precleanup after fsfilt_sync in filter_disconnect

*    Fixed ksocknal_process_transmit() rc in error case

b=2254
At truncate time, ext3 is zeroing indirect blocks and writing a
transaction to the journal.  At some point, perhaps when that
transaction commits, it gives the dirty buffer for that indirect block
to the buffer cache to write to disk.  Meanwhile, having marked that
block as unused, it reallocates it to us as a normal data block into
which IOR puts some data.

The obdfilter writes that block with brw_kiovec, which writes
immediately to the disk with no regard for what data might be in the
buffer cache.  Shortly thereafter, the buffer cache writes the block
of zeroes over top our valuable data.

The correct fix is to modify our special ext3 block allocation code to
look in the buffer cache for us, and discard any pending writes to the
newly-allocated blocks, much like the direct I/O code does.  As a
workaround, for kernels which do not yet have this change, I added
some code to the obdfilter to do this after the call to
ext3_map_inode_page returns.

This introduces kernel version 32, but doesn't force an upgrade.  I
updated the kernel patches for 2.4.18 and 2.4.20, but not 2.6.  I also:
 - tested the ext3_map_inode_page change on vanilla-2.4.20
 - tested the workaround change on chaos-2.4.18
 - compile-tested a version 32 chaos-2.4.18 kernel

Slightly less obvious, but still very innocent, parts of b_eq:

 - code or includes in the main build, but contained in #if __KERNEL__
 - userspace-only portals code
 - very few and minor other changes, such as renaming a function

b=2303: Unregister replies when skipping ping-requests from disconnected
        imports, to avoid tripping assertions when we free the requests.
r=robert

*   Fixed socknal forwarding race in the new version of
    ksocknal_process_receive().

backing out eeb's socknal checkin from yesterday:

11/25/2003 12:22 eeb lustre/portals/knals/socknal/socknal.c 1.1.2.13
11/25/2003 12:22 eeb lustre/portals/knals/socknal/socknal_cb.c 1.1.2.16

LLNL found a race condition in overnight testing, causes LBUG.

b=2296
r=shaver

- Build ldlm into ptlrpc.
- Remove all the ptlrpc_ldlm_* hooks

This  almost certainly breaks building when $(SRDIR) != $(OBJDIR).

- unregister the elan nal

*    Always hold kss_lock while setting/inspecting ksnc_{rx,tx}_ready.

*    Removed kss_lock ops from ksocknal_process_{transmit,receive}().
     ksocknal_scheduler() does this locking now.

*    Included the --single_socket lconf flag.

liblustre: as andreas pointed out, open() need to convert O_XXX flags
to FMODE_XXX which is internally used by lustre. remove the original
hacking code.

1. move llog_origin_handle_cancel to llog_server.c
2. destroy useless plain logs during both llog_cleanup and llog_setup
3. change some CERRORs to CWARNs while just print out status information

b=1941

Improvements from jerrifer's patch, with some changes.

 - use lmc --batch for performance goodness
 - remove 'read_conf' as it is confusing and redundant
 - misc cleanups, improvements

cleanup clients correctly in insanity.sh
set the mds upcall, so the mds can recovery from ost failures

- port onto virgin 2.4.22

Move device type specific llog ioctl codes from generic obdclass to mds/obdfilter/mdc.

b=1883
- Adds llite_close.c; Zach's originally, somewhat heavily hacked
- Adds an MDS_DONE_WRITING rpc and handler
- Adds client-side code for storing the MDS FID and epoch in the
  obdo's inline field in BRW_WRITE requests

b=2192
ll_inode_getattr (-> ll_lsm_getattr) now takes an obdo, which it fills with the
attributes.  The caller is responsible, if it wishes, for updating the fields
in the inode, and the one previous caller now contains that extra code.  We'll
see whether additional abstraction is required during the KMS work.

This is a prerequisite for the first 30% of the KMS that we decided to do as a
fix for this bug.

liblustre: forgot to commit last night: workaround O_WRONLY (b2282)

add special device inode lustre handler

- patch to fix 64-bit pointer arithmetic bug in the ext3 extended
  attributes code.

- rename the patch

- patches against 2.4.19-pre1 and series

move client_df to test-framework.

- integrate support for FAILURE_MODE into test-framework
- add configs for mdev

- cleanup old active files
- cleanup insanity test_0
- add checks to make sure the nodes are up during setup

add usage() to test_framework, and use getopts cause getopt is broken
insanity fixes for hardware

Small test and upcall fixes; we fail over during a write now.

Fix bulk RPC checksum code and page poisoning for debugging bug 2254.
b=1703,b=2254

- Integrate insanity.sh with test-framework
- Centralize the config data to files in tests/cfg/
- Different config file can be used by setting CONFIG=file or
  using command line option:   --config <file>
- FAILURE_MODE option for insanity.sh:
  FAILURE_MODE=SOFT - shutdown services with lconf --force
  FAILURE_MODE=HARD - power down the service nodes using $POWER_DOWN
     and $POWER_UP to reboot.
  This feature should be integrated with the other tests.

- replay-single.sh, replay-dual.sh, and conf-sanity.sh all pass on hardware
- replay-ost-dual.sh and insanity.sh don't pass yet

bug: 1944
reviewer: Andreas
Add "lfs osts" and "lfs check <mds|osts|servers>" to lfs.

add lbuild scripts, please read lbuild --help

- during disconnect, downgrade import level early for non-replayable
obds. This prevents ptlrpc from automatically reconnecting on a
network failure.

Fix local-large-inode.sh script so it is actually using large inodes (my bad),
although in my defence acc-sm.sh would have broken until people updated their
kernel, which has mostly happened now.

Make the other configs create an MDS large enough to hold inodes for bonnie++
with all-external EA data.

Return GFP_NOFS fix to socknal that was lost in autoconn code shuffle.
b=1933

MDS-side OSCs always ping their OSTs for prompt failure detection.

liblustre: release it lock a bit later, abvoid reference to null lock,
should be the reason of LASSERT in simul test.

add conf-sanity.sh

liblustre: minor fix for replay_single test, even 60 to too much for vmware.

- Remove last references to OBD_CLASS_UUID.  Now the obd->obd_uuid is
used as the client uuid for self and lctl exports.

- fix the osc histogram spinlock inits that my uml build missed.

take a shot.

b=2247: detect misbehaving clients that reuse UUIDs _and_ import handles (such
        as libtest before the srand fix) and error, rather than LBUGing.

insanity.sh - this is test17 turned into a regular test, if you could
call this test regular. Still a work in progress, but does at least
setup/cleanup.

liblustre: fix test_lock_cancel for zeroconf.

- now devices can use memory allocated via uaf

Allow current b_devel to work with older (read LLNL) kernels until they are
updated.  Bumped LUSTRE_KERNEL_VERSION to 31 so we know which kernels have
the required patches, but don't make it a hard requirement.
b=1933

- lustre patch of b1933

NOTE: don't forget to apply gfp_memalloc patche first

- kernel part of b1933

b: 2194
r: Peter

Add lctl interface for llog.

Sigh, patch I had submitted (which I grabbed) was not what was added to tree
(minor changes from SCT on the way).

Slight context diff for journal callback patch from vanilla, add to suse series.

Add journal callback patch for SuSE 2.4.19 ia64 kernel (in vanilla 2.4.20).

New patch files for SuSE 2.4.19 ia64 kernel as used by SDSC.  Mostly cosmetic
except vfs_intent still used the old-style path_init()/path_walk(), and it
already had EA patches applied.

New series for SuSE-2.4.19 ia64 kernel for SDSC machines.

Remove gratuitous newline hunk, which causes a conflict on SuSE-2.4.19.

*   Plugged a spurious timeout hole

- lightly-tested, undocumented debuggin tool to catch use-after-free bugs

NOTE: documentation will be available soon

b=2250

create lctl commands set_lustre_upcall and set_timeout, so they
can be saved as part of the 0conf log.

on hardware, the script runs too fast for these multiops to die, cause
the /mnt/lustre to be busy.  So, have test 32 cause recovery on the client and wait
a bit before finishing.

- Don't wake up the pinger, if it's not enabled

Make sure lwt_event_t packs into a page evenly on ia64.

Some more wire constant checks.
b=1321

More test cleanups.

Wake up the pinger after adding an import, to reset the timer.

Re-add lgd_len in case it is needed at some point (conflict resolution error).
b=1821

- remove reference to lgd_len, which has disappeared

Interoperability for different PAGE_SIZE/wordsize machines.  Tested on ia64
and i386 separately, and with ia64 client + i386 MDS/OST.

Mostly aligning structs to have 64-bit fields aligned on 64-bit boundaries.
Remove some VFS constants and replace them with Lustre constants on the wire.
Since the MDS doesn't really open files itself, we don't need to convert from
the wire constants back to local flags at all.

Frobbing of niobufs on the targets to split them into PAGE_SIZE chunks (this
may be a problem on large PAGE_SIZE servers with small PAGE_SIZE clients,
not sure yet).

I have tested and this appears to be compatible with old filesystems.
At worst we should only need another --write_conf on the MDS.

b=686, b=1821, b=1343, b=2042

Use PTL_MD_MAX_PAGES instead of PTL_MD_MAX_IOV where needed, so we send the
right number of pages over the wire for ia64/i386 interoperability.
b=1821

liblustre: update lrun script.

liblustre:
  add more test items into replay_single.

liblustre: add more test in replay_single, and some other adjustment.

I touched one thing in lustre_mds.h, and I was dismayed to see the
entire source tree rebuild!

It took just a few minutes to remove a number of #includes which
violated all manner of abstraction boundary.  ericm assures me that I
have not broken anything major in liblustre.

Also, I moved a good chunk of inline functions into llite_internal.h
(which is where I secretly believe that most of lustre_lite.h will end up),
and renamed ll_ino2fid (which no longer takes an inode) to mdc_pack_fid.

- fix del_route

- update this patch to apply against vanilla-2.4.22

Silence most of the warnings in the x86_64 build, and kill some Real Bugs in
the process.  (sanity checked in an x86 uml build, as well)

- include linux/init.h from some modules that use __init and company
- x86_64 has 64 bit longs but uses 'long long' for u64 in the kernel.  we
  add its own specific section to LP*64 definitions.  Sadly, there are still
  a huge number of warnings from this gcc when we try to LP*64 print uint64_t
  obdo arguments.
- use min_t in some defines to avoid the duplicate const prefacing that comes
  with nesting min()
- LPX64 printing -1UL doesn't work so well
- i_nlink can be any of unsigned short, int, or long.  when printing cast
  to unsigned long.
- kern_addr_valid takes a 'unsigned long' argument and shifts it.. sigh.
- don't #define EXPORT_SYMTAB in the source, that's the job of the kernel
  makefiles
- x86_64/suse has THREAD_SIZE defined in userspace
- s/long flags/unsigned long flags/.  Again.
- va_list ap = NULL; is not legal, as far as I know.  it doesn't seem
  to actually do anything in this code path either.
- x86_64 passes CONFIG_X86 but had thread->rsp as the stack pointer.  this
  code is going away eventually anyway.
- print a pointer with %p, not %x
- some portals callback pointer definitions used size_t while some nal's
  functions used ptl_size_t in the function defintions.  I switched the
  functions over to avoid pushing changes on all the nals.

- ide_end_request() was used wrong way: fixed

NOTE: tested on the all related series

- kmem_cache_validate patch has been removed from all the series

NOTE: all the supported series still build

liblustre: zconf adjustment for recovery_small and replay_single.