land zcfg on devel

- includes changes from b_llogging

- the MDS -> LOV connection is created using the MDS config log, so the
  log must exist. Lconf will create the log automatically when
  --reformat is used. To create the config logs on an existing
  filesystem, run lconf on the MDS with --write_conf. This only needs to
  be done on the MDS.

- LOV does not connect to the MDS during setup.  Instead, the MDS and
  MDC use obd_get_info("lovdesc") to get the stripe info. The LOVDESC
  and LOVTGTS files on the MDS are no longer used (and not created
  on new filesystems.)

- Zeroconf clients are new support by lconf --zeroconf, and
  replay-single.sh uses this to mount the client.  The exact arguments
  needed for zeroconf will be changing quickly, so don't use
  lconf --zeroconf in other scripts yet.  Instead, once the dust
  clears, lconf will be changed to always do zeroconf mounts, and
  eventually when don't need lconf anymore is when we start changing
  the test scripts.

add crash support and fix some bugs in netconsole

add lov-sanity.sh for extra EA test

Print out all failures in wiretest instead of just the first one.
Don't automatically build wiretest.c (it should only be rebuilt rarely).
b=1343,1821

Added a new manpage for lwizard.

This file contains few generic functions and used by lhealth and lconf.
find_prog moved to this file, so lhealth and lconf are using the same.

Add find_irq_function, so we do not need add any ethernet driver patch

add netconsole patch for rh-2.4.20

add netconsole 2.4.20-rh patch

- put it more consistent debug message that track pages through llite.
  Hopefully it will shed some light on bug 2192.

- ext3-inode-reuse patch agaist all the supported series (bug 2185)

NOTE: still under testing. therefore they aren't included in series

- Suse series introduced

NOTE: it builds, but isn't tested yet

Added a manpage for lfs and some formatting changes to the lctl manpage.

Commit wiretest.c as built on i386 for use on other platforms, instead of
(duh) building it on each platform.
b=1343

*   Cleaned up ptl_hdr_t definition; removed unused fields and moved the
    common length field into the common part of the header.

*   Socknal connection handshake no longer optional (it was --nid_exchange
    in lconf, the 'x' option to lclt::[auto_]connect, the -x option in
    acceptor etc).

*   Added 'uname -a' output and gcc version info in a comment to the output
    of portals wirecheck.

*   Bumped up the portals protocol version number.

*   Added "typed" socknal connections to establish either a single
    connection...

 'A'    bidirectional control + bulk

    ...or 3 connections...

         'C'    bidirection control
         'I'    bulk in
         'O'    bulk out

    Individual connections can be created using the relevent flag in
    lctl::connect.

    Autoconnect defaults to creating three CIO connections, but can create
    a single A connection if /proc/sys/socknal/typed is zero when the
    connection is established (CAVEAT EMPTOR this also causes ALL existing
    connections to be driven bi-directionally).

    Note that connections types are determined by the initiator.  The
    connection handshake tells the acceptor what type of connection she has
    just accepted, and she tells her socknal.

*   /proc/sys/socknal/eager_ack is now a bitmap of socket types to do eager
    ack on....

          1    enable on 'A' connections
          2    enable on 'C' connections
          4    enable on 'I' connections
          8    enable on 'O' connections (if any messages are ever received)

    Default: 0

    I doubt this facility will be of much use...

*   /proc/sys/socknal/min_bulk controls the size at which messages are
    considered 'bulk' and preferrential sent on 'C' rather than 'O'
    connections.

*   Changed error handling on connections so that when an error is detected
    on a connection...

       (a) ALL connections to the same NID at the same IP are removed.

       (b) The autoconnect route that generated the connection becomes the
           least favourite so that the next autoconnect attempt will use a
           different IP if redundant autoconnect routes have been
           specified.

Manpage for lctl.

Man pages for lmc and lconf.

b=2200: perform delorphan recovery when an OST is reintegrated.
        - use generic per-obd notification system
- relay LOV's notifications to MDS
- support running delorphan on only one OST, if an OST
  UUID is specified
- suppress CERRORs and refailing for -EIO in interpret_create,
  because we handle it more gracefully now

r=phik.

liblustre fixes during the last merge

b_2036
formats nids for readability, from "nid" to "nid (format)"
nid    : using LPX64 everywhere
format : "%u:%d.%d.%d.%d" for IP NIDS (leading part iscluster ID)
         "%u:%u" for non-IP NIDs (leading part is cluster ID)

Add wiretest program to do struct size/alignment testing in userspace.
b=1343

Update wirecheck.c with new structs, fields.  Put some of the constants with
the structs that use those constants.
b=1343

some changes related to llogging, and now it can compile with enable-orphans on

Include lustre_user.h for user-space interface, and put that in the install
package instead of the (deprecated for apps) lustre_lite.h and lustre_idl.h.

Have local-large-inode.sh just call local.sh with options instead of
duplicating code.  The former didn't work for acc-sm previously anyways,
as it didn't build local-large-inode.xml but rather only local.xml.

Add new LOV EA format which gives us fields for features needed in the post
1.0 stage (e.g. RAID, OST migration/replacement) as well as more efficient
storage than the current layout when there are few stripes on lots of OSTs.
As well, we will now be able to back up/restore/manipulate EA data via the
"getfattr" and "setfattr" tools (attr RPM) that are part of EA tools from
the "trusted.lov" attribute (only accessible to root/priviledged users).

Also contains code to transparently migrate from old EA format to new one
the first time the EA is accessed.  Note that there is no going back to old
code on the same filesystem once the EAs have been updated.  EA conversion
is (hopefully) "fail safe" in that an error during conversion just means
that the on-disk EA is kept in old format (clients understand both because of
common code).

Some of the "compat" code can be removed once we hit 1.0 and users have
migrated, but the infrastructure itself should probably remain for the
next time we need to change the EA format.

This also adds "lustre_user.h" which was in b_llp_hp and has existed in
b_llnl for some time, but alas the user EA format had to change in order
to allow specification of striping format.  A recompile should fix it.

Some minor warts remain:
- mds_objids_from_lmm() knows too much about lmm format.  It had an existing
  bug (looping to ld_tgt_count vs lmm_ost_count) and caused another bug for
  me because it does its own unpacking of the lmm) and it would be nice to
  just get rid of it and use obd_unpackmd(lmm) to get an lsm instead and use
  that instead of "ids"
- need to fix up endianness from ll_lov_setstripe() because this is now not
  done on the same host any more (object creation is done on MDS now)
- liblustreapi() should not be doing the printing of structs, but should
  instead just return structs to user-space and/or using a callback function
  supplied by the caller (e.g. for lfind iterating over filesystem).  The
  lov_dump_user_lmm* functions should probably be exported from the library
  and be used as default print functions as a starting point.
b=2097
r=braam

Add mdc_llog_setup and mdc_llog_cleanup methods.

- all obd operations should return int
- in the process capture a double free in a prep_async_page error case
  in rw.c
- remove unused logging code
- add a mini fix from Tian to not fail in llog_obd_setup when
  re-entering it.

- local-large-inode conf added in acceptance-small.sh
- lmc & lconf changed a bit to support mkfsoptions attribute/option

Fix memory not being freed correctly and incorrect checks aroun memory
allocations.

Added a manpage for lfs, some other minor updates to a few chapters.

b=1933
The socknal transmit thread calls into TCP, which will block
allocating memory, and deadlock us if kswapd is waiting on Lustre to
write to OSTs.  Set PF_MEMALLOC on that task.

Update old-format OSTs when they are first mounted by b_devel code.
- convert O/R/* to O/0/* and put fsd_last_objid into O/0/LAST_ID
- don't use the "VERSION" file but instead set an incompat flag on the OST
  so we can't mount it on old systems again and create new/empty O/R dirs
  and start creating objects in there (lustre checked compat flags for ages)
- don't write out filter server data anymore - we write to LAST_ID instead
- set an rocompat flag on the MDS for b_devel because lov_objids isn't checked
  by old lustre code and we would delete valid objects if we regressed to the
  old code and created objects
b=2097
r=phil

- additional fix against 2.4.20 uml from Oleg

Add newline to help output.

b=2029
r=adilger
- abstracts multiple copies of code into mds_open_by_fid
- abstract some conditions and transaction mechanisms into mds_create_objects
- as a temporary measure, take the inode-reuse lock in mds_open
- fixes a bug introduced by pre-creation, where two MDS threads could
  race to create objects on the same inode; fixed by moving the i_sem
  out of fsfilt_get_md and around the entire operation

creating imbalance without QOS being active, added percentage free unit test

b: 1990
r: Peter
implement obd_destroy operation in mds.

- add ENTRY/EXIT to filter_destroy_precreated
- clear up a MDS post-recovery CERROR; it confused me to no end.

- trusted EAs support in ext3
- MAX_VERSION increase

This is a bugfix for #1838. Most of the patch by A. Dilger, I only
propagated parental time change to all operations, not only mkdir.

b=2010
This time, actually initialize the OSC's maximum number of pages allowed
in each RPC to the nice value that we calculate, rather than just setting the
tunable max.  We export the math from portals so that client_obd_setup() can
use it to initialize the OSC from its summer home in ptlrpc/.

a better way to fix the build error for work_struct in 2.6

b=2110
r=Peter

1.Unlink log record will be created when mds_reint_unlink, mds_mfd_close or mds_cleanup_orphans is called. And that record will be cancelled by MDS when it receives the commit callback for filter_destroy.

2.It resolves the resetup problem for lustre built with enable-orphans on.

3.It resolves the cleanup problem of mds when recovery procedure is abort.

b=2150
r=shaver
- filter_next_id increased the last_id counter, even before we know whether the
  create succeeded
- failed create would dereference NULL inode

Parser should print out command help when a single command returns CMD_HELP.

- trivial bugs in the write_*.c race tests.  use vprintf() to print va_list
  arguments and proprely check open()s result for errors.

completed propagation tests

- remove .pc files

NOTE: please, use quilt

*  Applied HEAD fixes for lclt set_route

- listman patches against all supported series
- hlist defines removed from lustre_compat25.h

- dev_read_only patch against 2.6.0-test6

NOTE: it differs from 2.4's patch:
      1) struct block_device * must be passed instead of kdev_t
      2) dev_set_rdonly() sets flag in request queue. after that
         queue becomes rdonly

Fixing dead code from "comparing unisgned with zero" class

- add the rprintf() that w_a_t.c has.
- lots of general style cleanup
- teach it to call 'od' to display the corrupt data on exit

cleaned test 3

Remove tabs from lfs.c.

Add a PATH to lfind, lstripe scripts in case lfs isn't in current PATH.
b=1944

Fix lfs_getstripe not to declare variables after code.  This does not work
with GCC < 3.0, and most Lustre users use GCC 2.9x.
b=1944

b: 2136
add missed patchs from hp-pnnl-2.4.20.

1. add "lfs getstripe"
2. other modification for replacing lfind.c and lstripe.c with lfind and lstripe

These two shell scripts call "lfs find" and "lfs setstripe", they will be removed later when people aware of lfs. lfind will be replaced by "lfs find" and lstripe will be replaced by "lfs setstripe".

- add an explanatory comment and turn tabs into spaces

- commit the write_disjoint test from bug 968 so we can always have it on hand
  and change it to actually provide information in the case of failure

Two bugs that were stopping write_disjoint from passing.  First, an awesome
typo in lov_lock_contains() prevented llite from recognizing a lock cancelation
associated with the furthest cached region of a file.  Second, a comparision in
obdo_refresh_inode() without a complimentary drop of i_size to 0 prevented a
node from getting size updates after a remote truncate.

- ll_sparseness_verify had problems with certain combinations of file
  length and the number of offsets to test for.  It took me a while to find
  the problem in the old code -- this cleanup fixes it and gives people
  less code to debug in the future.

This patch fixes various issues with too long constants not fitting 32 bits,
and causing some code to be disabled unexpectedly (#2147)

- don't accidentally copy a whole page of debug log to the user when there
  is less than a page of data in the log

Revert ldlm-auto-create/destroy changes until some combination of robert, phik
and myself is smart enough to make it do what we want.

Fix implicit declaration warnings.

- Oleg's fixes against 2.4.20-uml packed into single patch:

   uml_missing_include.patch - this one fixes a problem where uml cannot be
                               built on new glibc system (e,g, RedHat severn)
   uml_signal_fix.patch - backport from 2.4.22-2um of signal fixes. Makes uml
         to work on 2.6.0-testX where X < 6
   uml_newthreads_fix.patch - fixes immediate uml segfault when linked with new
                              threads stuff (also from 2.4.22-2um)

*  Applied fix for 2119

change test lock cancel to: stat + unlink

b=2109
Flesh out the async OBD IO API to be more user friendly.  llite behaviour
should be the same, but easier to follow.  Each OBD layer gets its own
struct of state to associate with a page in flight.  A struct of callback
members is introduced to manage the communication between the obd async
api providers (lov/osc) and the callers (llite/lov).

This is landing now, instead of after 1.0, to give liblustre a more reasonable
interface into the RPC concurrency engine in the OSC.  This mechanism is most
evident in the part of ll_commit_write() that falls back to sync IO.  O_DIRECT
will also want to use this.

These changes pass acceptance-small on real hardware.

b=2127
A dbench run that ran into ENOSPC got stuck in the osc waiting for
rpcs to complete and free up room in the cache.  These changes make
the mechanics of waiting for the cache space less fragile.  After the
changes dbench could run into the ENOSPC condition and not get stuck.

Quiet some LustreError messages that are not really errors.
Make CWARN() output to the console as a replacement (just prefix Lustre:).

- minor changes to run luster on 2.6

- use USERMODEHELPER macro

Remove unrequired EXPORT_SYMBOL macros

- minor changes to let lustre build on 2.6.0-test7

minor lock_test script init fix.

- we need not this patch (large inodes support is part of fast ea patch)

remove 2.6.0-test5-mm4.patch

b=2111
r=peter

- most of this is Peter patch from 2111, including making sure
  obd_log_exp is set once.
- my integration with 0conf
- add an obd method "obd_pre_cleanup" so the log export can be
  disconnected, and allow the device to be fully cleaned up.

Add failover mds/ost support, and general cleanup.

I meant to commit this a while ago.

b=1941

- fast ea patches go in all the supported series

b=1067: permit mounting of clients when OSTs are missing.
        Use --inactive <OST_UUID> on the lconf line to specify which OST(s) are
to be skipped.  Don't do this on the MDS right now, though!
r=phik,robert

- netconsole.h missed #include <asm/dump.h>
- polling support for PCNet32 NIC (vmware4 emulates it)

- added iopen.o to fs/ext3/Makefile

- netconsole should place at include/asm-i386/ not include/asm because
  last one is symlink

- .pc files for new 2.6 patches

b_1666 new log format "020000:001000:0:1066038144.520164:2980:916:2813:(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" for uml, if not on uml "020000:001000:0:1066038144.520164:2980:916::(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" (the last number is leaving blank).

msg

The pinger was deadlocking on itself, in some rare and improbably but
very real cases, so I reworked it to be simpler.

It's started once from ptlrpc_init now, and stopped once from ptlrpc_exit

Adding and deleting imports no longer causes the thread to be created
and go away.  Most importantly, we no longer hold the sem in
stop_pinger across the wake_up and subsequent l_wait_event; if the
pinger thread was already doing something, blocked on the pinger_sem,
it would never wake up and deadlock would ensue.

* also copy pcfg back to user

- add some assertions to the lock reprocessing code
- print a CERROR if ldlm_run_ast_work is called with ns_lock held

"buffer overlapped" message was missing \n

Maintain separate list of transmit descriptors for large messages.

Make two functions for mds_cleanup_orphans, and put mds_log_op_unlink into
a transaction, remove unused mds_unlink_orphan func.

remove redundant fsfilt_ext3.o in Makefile.mk

- xattr_sem protects block-stored EAs only.
  fast EAs are protected by inode->i_sem only