merge b_devel into b_eq

b=2254
At truncate time, ext3 is zeroing indirect blocks and writing a
transaction to the journal.  At some point, perhaps when that
transaction commits, it gives the dirty buffer for that indirect block
to the buffer cache to write to disk.  Meanwhile, having marked that
block as unused, it reallocates it to us as a normal data block into
which IOR puts some data.

The obdfilter writes that block with brw_kiovec, which writes
immediately to the disk with no regard for what data might be in the
buffer cache.  Shortly thereafter, the buffer cache writes the block
of zeroes over top our valuable data.

The correct fix is to modify our special ext3 block allocation code to
look in the buffer cache for us, and discard any pending writes to the
newly-allocated blocks, much like the direct I/O code does.  As a
workaround, for kernels which do not yet have this change, I added
some code to the obdfilter to do this after the call to
ext3_map_inode_page returns.

This introduces kernel version 32, but doesn't force an upgrade.  I
updated the kernel patches for 2.4.18 and 2.4.20, but not 2.6.  I also:
 - tested the ext3_map_inode_page change on vanilla-2.4.20
 - tested the workaround change on chaos-2.4.18
 - compile-tested a version 32 chaos-2.4.18 kernel

Slightly less obvious, but still very innocent, parts of b_eq:

 - code or includes in the main build, but contained in #if __KERNEL__
 - userspace-only portals code
 - very few and minor other changes, such as renaming a function

Innocent beginnings of the b_eq merge: the liblustre directory, which
accounts for almost half of the patch and doesn't build in kernelspace.

*   Added a generic facility for callback to be called any time
    l_wait_event() happens, to take the place of daemons in the kernel
    implementation

*   Changed liblustre_services() to use the new callback.

*   Backed out the liblustre OSC rpcd changes, and converted that to use
    the new callback too.

*   Disabled mmap in alloc_pages() FTTB (it seems to screw up under linux;
    dunno exactly why right now).

*   Left some hacking utensils behind in tcpnal_send() FTTB, just to make
    it easy to see what's getting sent.

*   Added some error checking in tcpnal_send(); it will abort if something
    screws up.

b=2296
r=shaver

- Build ldlm into ptlrpc.
- Remove all the ptlrpc_ldlm_* hooks

This  almost certainly breaks building when $(SRDIR) != $(OBJDIR).

1. move llog_origin_handle_cancel to llog_server.c
2. destroy useless plain logs during both llog_cleanup and llog_setup
3. change some CERRORs to CWARNs while just print out status information

liblustre: follow up last merge from b_devel.

merge b_devel to b_eq: 20031125. kernel part only.

cleanup clients correctly in insanity.sh
set the mds upcall, so the mds can recovery from ost failures

tcpnal: use mutex to protect tcpnal_write, since in case of bulk put,
nal_thread will compete with upper thread to write into same socket.

Add fsfilt_map_inode_page() instead of calling ext3_map_inode_page()
directly from filter_direct_io().  Update fsfilt_extN.c.

Include add_page_private.patch in chaos kernel series.

- patch to fix 64-bit pointer arithmetic bug in the ext3 extended
  attributes code.

move client_df to test-framework.

- integrate support for FAILURE_MODE into test-framework
- add configs for mdev

- cleanup old active files
- cleanup insanity test_0
- add checks to make sure the nodes are up during setup

add usage() to test_framework, and use getopts cause getopt is broken
insanity fixes for hardware

Verify data from a read that spans a failover.

Verify data written by operations that span a failure.

Override the local_nid in the logs during zeroconf mount.  If the
local_nid option is not specified, then mount.lustre will use
the hostname for socknal, or /proc/elan/device0/position for qswnal.

For nettype=elan, if remote_nid isn't set the mount.lustre will
attempt to parse the hostname and use the first series of numbers as
the nid.  So, mdev20-eth1 will become elan id 20.

Small test and upcall fixes; we fail over during a write now.

Create a per-fs lock for obdfilter block allocation.  This is held only
during actual block allocation and not during RPCs or writes.  This allows
us to allocate contiguous chunks of disk (if available) up to the size of
each RPC, instead of interleaving block allocations.

It slows down writes in the contention case, because we might be holding
the lock while waiting for a bitmap or something to be loaded from disk,
and in the current 2.4 IO code reads-behind-lots-of-writes can be punishing.
We might benefit here and elsewhere from AKPM's read priority patch.

The big benefit is that at read time, or after some amount of create-delete
we don't have a maximally fragmented block allocation to deal with, which
causes pathological seeking on the disks.

b=2260
r=peter,phil

- Integrate insanity.sh with test-framework
- Centralize the config data to files in tests/cfg/
- Different config file can be used by setting CONFIG=file or
  using command line option:   --config <file>
- FAILURE_MODE option for insanity.sh:
  FAILURE_MODE=SOFT - shutdown services with lconf --force
  FAILURE_MODE=HARD - power down the service nodes using $POWER_DOWN
     and $POWER_UP to reboot.
  This feature should be integrated with the other tests.

- replay-single.sh, replay-dual.sh, and conf-sanity.sh all pass on hardware
- replay-ost-dual.sh and insanity.sh don't pass yet

- print the correct strings

- Remove last references to OBD_CLASS_UUID.  Now the obd->obd_uuid is
used as the client uuid for self and lctl exports.

insanity.sh - this is test17 turned into a regular test, if you could
call this test regular. Still a work in progress, but does at least
setup/cleanup.

- give the user an error message when the dump file can't be opened

- kernel part of b1933

return true value from zconf_mount

b=2250

create lctl commands set_lustre_upcall and set_timeout, so they
can be saved as part of the 0conf log.

Code is dead, dead, dead, and keeps showing up in my greps.

More test cleanups.

In osc_interpret_create, don't overwrite rc if it's already set.

Interoperability for different PAGE_SIZE/wordsize machines.  Tested on ia64
and i386 separately, and with ia64 client + i386 MDS/OST.

Mostly aligning structs to have 64-bit fields aligned on 64-bit boundaries.
Remove some VFS constants and replace them with Lustre constants on the wire.
Since the MDS doesn't really open files itself, we don't need to convert from
the wire constants back to local flags at all.

Frobbing of niobufs on the targets to split them into PAGE_SIZE chunks (this
may be a problem on large PAGE_SIZE servers with small PAGE_SIZE clients,
not sure yet).

I have tested and this appears to be compatible with old filesystems.
At worst we should only need another --write_conf on the MDS.

b=686, b=1821, b=1343, b=2042

I touched one thing in lustre_mds.h, and I was dismayed to see the
entire source tree rebuild!

It took just a few minutes to remove a number of #includes which
violated all manner of abstraction boundary.  ericm assures me that I
have not broken anything major in liblustre.

Also, I moved a good chunk of inline functions into llite_internal.h
(which is where I secretly believe that most of lustre_lite.h will end up),
and renamed ll_ino2fid (which no longer takes an inode) to mdc_pack_fid.

- don't crash if there are no options

*    Changed liblustre/libtest to call into lctl for interactive echo tests

*    Changed some global names in the utilities to avoid conflicts

*    Added set_ioc_handler() to allow portals/obd ioctl redirects to
     the liblustre handler (as well as dumping to a file)

- kmem_cache_validate patch has been removed from all the series

NOTE: all the supported series still build

opts could be NULL, cause segfault.

liblustre: minor fix for last merge.

again merge b_devel to b_eq 20031113
yesterday's merge brought in some nasty bugs.

  b:2215 - OSTs fetch unlink llog records from MDS post replay

     1. add lop_connect and lop_precleanup to llog_operations
     2. rename llog_obd_ctxt to llog_ctxt; llog_commit_data to llog_canceld_ctxt
     3. split out llog functions in llog_client.c and llog_server.c and remove llogd.c
     4. add one test-59 to sanity.sh to verify cancellation of llog records async
     5. fix calling of mds_cleanup_orphans, add test-34 to replay-single.sh
     6. fix some codes about llog

braino

- return replay-ost-single to runable state
  now just need to pass

- commonize the zconf mount/umount

- include pcfg's in dump_log

Remove straggler .pc file.

- remove extra dec in the error cleanup case.

b=2239
- rq_timeout halving for imp_server_timeout imps

- set sending_error in the resent-RPC case in check_set

- wake and error out if a create fails due to invalidated OSC
r=phik

merge b_devel to b_eq: 20031112
for robert's final zeroconf code.

Fix compile warning.

- add /sbin/mount.lustre to rpm

fix cut-n-paste error

Add new "lustre" fs type which supports only zeroconf mounts.
 - old zeroconf client code removed from lustre-lite, and the lconf
   --zeroconf option deleted
 - common code factored out for ll/lustre fill_super and put_super
 - lconf still uses lustre_lite (but not for long)

llmount will be used by mount for lustre filesystems if copied to
/sbin/mount.lustre:

  mount -t lustre mds_host:/mds_servicee/profile  /mnt/lustre

Multiple mounts of the same filesystem are supported.

Remove unused mds and filter nspath code.

*   removed some more build warnings

*  reduced the number of warnings for liblustre compilation

merge b_devel to b_eq: 20031111, for recent kernel patches updates.

Despite Zach's assurances, it seems that conditional_schedule() is a
low-latency RHism, so define a compat macro for non-RH systems.
b=2227

liblustre: temprorily add accepter installation, for Jerrifer build rpm.

tcpnal: need exchange NID when tcp connection created, ksocknal now default
require this.

transparently convert '-' to '_' in command line options.

so, for example, you can use --write-conf  if you want

- fix typo so replay-single test_32 runs again.

i really should make this a compile time option, at least.

- remove use of "lctl device_list" from lconf, now using
    /proc/fs/lustre/devices

b=2225 fix obd_self_export issues

merge b_devel to b_eq: 20031107
kernel passed sanity, but liblustre broken since lconf changes. need fix
by robert.

Add define of LCONF LMC LCTL in replay-dual.sh replay-single.sh replay-ost-single.sh test-framework.sh

Remind the user to use 'cfg_device' to set target device for config commands.

- change NETWORKTYPE to NETTYPE, and make sure it can be overridden.

r=2152

replay-single.sh now supports multiple nodes. The script must be run
on the client, but the mds, mdsfailover, and ost can all be different
nodes. If mdsfailover_HOST is set, then the MDS service  will be
failed between the two mds nodes.

uml1# PDSH="pdsh -w" mds_HOST=uml2 ost_HOST=uml3 mdsfailover_HOST=uml4
  ./replay-single.sh

It still runs on a single node as before.

b=1028
Andreas pointed out that we already have a function obdo_from_inode,
and that we might as well pack all valid fields, and let the client
take what it can.

b=1028
r=zab
Return the object's block count from write requests, and store it in
the client inode.

Don't do setattr after transaction handle has been committed.
Combine size and timestamp setattrs, and update size under i_sem.
Use client timestamps instead of server timestamps for files.

return the osc create grow counts to 2000, which sadly doesn't work
very well on my machine.

- filter_finish_transno() moved in filter_direct_io()
- fsfilt_commit_async() is called unconditionally in filter_direct_io()

land zcfg on devel

- includes changes from b_llogging

- the MDS -> LOV connection is created using the MDS config log, so the
  log must exist. Lconf will create the log automatically when
  --reformat is used. To create the config logs on an existing
  filesystem, run lconf on the MDS with --write_conf. This only needs to
  be done on the MDS.

- LOV does not connect to the MDS during setup.  Instead, the MDS and
  MDC use obd_get_info("lovdesc") to get the stripe info. The LOVDESC
  and LOVTGTS files on the MDS are no longer used (and not created
  on new filesystems.)

- Zeroconf clients are new support by lconf --zeroconf, and
  replay-single.sh uses this to mount the client.  The exact arguments
  needed for zeroconf will be changing quickly, so don't use
  lconf --zeroconf in other scripts yet.  Instead, once the dust
  clears, lconf will be changed to always do zeroconf mounts, and
  eventually when don't need lconf anymore is when we start changing
  the test scripts.

merge devel zcfg

merge devel zcfg

- async commit/wait API have been changed a bit. it used oti_handler, but
  it must not

merge devel zcfg

b=2200: perform delorphan recovery when an OST is reintegrated.
        - use generic per-obd notification system
- relay LOV's notifications to MDS
- support running delorphan on only one OST, if an OST
  UUID is specified
- suppress CERRORs and refailing for -EIO in interpret_create,
  because we handle it more gracefully now

r=phik.

Add extN compat.

Made a mistake in commit dsp.patch, just revert it, sorry

fix patch confilcts on dsp.patch for 2.4.20-rh kernel

merge b_devel -> b_eq: 20031029

kerenl pass sanity.sh, liblustre is broken

b_2036
formats nids for readability, from "nid" to "nid (format)"
nid    : using LPX64 everywhere
format : "%u:%d.%d.%d.%d" for IP NIDS (leading part iscluster ID)
         "%u:%u" for non-IP NIDs (leading part is cluster ID)

b: 1990
r: Andreas

Padding record header to 64 bits size.

merge devel zcfg

This merge broke config llog, so this branch doesn't mount right now:

llog_write_rec()) ASSERTION((buflen %% LLOG_MIN_REC_SIZE) == 0)

- brown paper bug fixed: it seems I pressed dd randomly :(

- b2188: filter fixes: sync transaction, commit earlier

b: 1990
r: Andreas

Eliminate u8/u16 from log header, move padding from record header/tail to
record body.

b: 1990
r: Peter

 * rewrite llog_cat_cancel_rec, zap the empty canceled plain log.
 * add test: open & destroy plain log.
 * add test: verify catalog log entries after cancel many many records.

- all obd operations should return int
- in the process capture a double free in a prep_async_page error case
  in rw.c
- remove unused logging code
- add a mini fix from Tian to not fail in llog_obd_setup when
  re-entering it.

merge1.sh devel zcfg

Resolved conflicts with Tian Ying's recent checkins.  Also forced to
fix local export cleanup problem by adding an obd_init_export()
method. This is called from class_new_export(), and is for devices to
initialize their export data. Allos local (as opposed to network)
connections to be used and cleaned up correctly. Only
mds_init_export() implemented.

- trusted EAs support in ext3
- MAX_VERSION increase

This is a bugfix for #1838. Most of the patch by A. Dilger, I only
propagated parental time change to all operations, not only mkdir.

b=2150: handle ENOSPC encountered during precreation
r=zab

Back out a small LLP change: instead of deleting a bunch of files just
to re-create them, I was doing an initial OST create which includes
the initial set of precreated files.  Stop doing that.

Those files might have a little data in them, or some might have been
created and removed already, and both of those are bad.

b=2110
r=Peter

1.Unlink log record will be created when mds_reint_unlink, mds_mfd_close or mds_cleanup_orphans is called. And that record will be cancelled by MDS when it receives the commit callback for filter_destroy.

2.It resolves the resetup problem for lustre built with enable-orphans on.

3.It resolves the cleanup problem of mds when recovery procedure is abort.

Add back hlist compatibility to lustre_compat25.h until we update the kernel
so Coop can continue testing at LLNL.