[liblustre]: include libsysio_sockets driver

- Removes duplicate fsfilt files, which must have snuck back in during
  our branch shuffle
- Adds the llog_test stub, which I'll start filling in

- wrong branch ... backing out on b_llpmd

- reworking the logging api for better layering
- beginning of Lustre vfs library lvfs

Fix thinko when quieting compiler warning.

Quiet ia64 compiler warnings.

Remove bogus include from mds_lib.c

- iopen patch against 2.6.0

reduce the size of my locally-maintained mds-size patch:
- little cleanups that I made along the way
- remove most instances of "#ifdef ENABLE_ORPHANS"; everyone needs to
  start using this code, if we're going to find the subtle bugs
- add mds_query_write_access(), which will be used to determine when
  the MDS has the authoritative file size

- Support multiple lov OBDs per node, by tying the LOV into the same UUID group
  as the OSCs and MDCs.

- The MDS now _always_ creates its own LOV and OSCs/MDC, and there is no longer
  a --mds_ost_conn switch.

- replay-dual should work now, but I haven't tested it.

- the mdc_lock is now per-MDC, and not global

- when a namespace is destroyed, remove the associated lprocfs directory,
  so that it's not there like a landmine with dangling namespace pointers.

- the MDS now knows its LOV by device name (which is lov_$MDSNAME)

- LOV now has an explicit 'descriptor' or 'LOV service' UUID, instead of
  reusing the the device UUID

- print the (possibly useful) mdc name instead of the largely useless and not
  really unique U"U"ID in lprocfs/lov/target_mdc

Committing eeb's merge of the qswnal changes into b_devel; plus one
aesthetic change from HEAD.

b=1760
Refactor the async ocp IO API to use less cpu on the client.  With these
changes streaming writes are no longer cpu-bound in llite.  The major
changes are to queue dirty pages for IO at commit_write() and reduce the
per-page book-keeping (bye otree!).

Pages are now associated with llite book-keeping for the duration of their
stay in the page cache.  A patch is needed in most kernels before 2.4.21 to
add the removepage callback to tear down this association as pages leave
the page cache.  Because of this the lustre kernel version is upped to 25.

now, in detail:

- get rid of osc page queue plugging.  instead we track pages for much longer
  in the queue and only fire rpcs when we have either enough to produce optimal
  rpcs or there are 'urgent' pages in the osc that must leave.

- add some fields to the ocp to remember its position in the lov to remove
  lov_stripe_offset() from the profiles.

- remove the nasty code for walking sb/inode dirty lists to find other pages to
  jam down the obd at writepage time.  (yay!)

- b=1755, b=1757, b=1810: make the dirty page limits and rpcs tunables really
  per-osc, getting rid of the fragile and redunant tracking that was going on
  in llite.  this fixes the way commit_write sleeps for space in the cache
  without creating an enormous bubble in the rpc pipeline.  Also cover them
  with osc spinlocks insted of using costly atomic ops.

- b=1750: add a 'read_ahead' tunable per superblock for disabling llite
  read-ahead.

- b=1837, b=1761: add some callbacks so that the osc can call back into llite
  when an rpc really fires.  it wants to know if it has raced with a truncate
  and also wants the most recent times in an obdo.

- b=1601: make commit_write's fallback to sync writes much clearer.  it also is
  more careful about extending i_size only for successful writes.

- add ll_removepage() which removes the ocp from the page and calls into the
  osc to remove it form the queues at truncate time.

- teach read-ahead to really never block looking up pages in the page cache
  by calling grab_cache_page_nowait() (duh)

- get rid of the otree that we used to track dirty offsets in objects.  an
  llite level hack for prefering its i_size that includes cache extensions
  works until we implement the proper EOC communications to track i_size.
  this adds the obd_lock_contains() call until that time.

- get rid of the old dead code for passing extents from ll_file_read to
  readpage.  also old 2.6 lli experiments.

merge b_devel into b_llpmd

The precreate process was leaking ea's that it never used anyway.

Add jbd-* fixes to some of the series files where I know they apply:
- vanilla-2.4.20 and hp-pnnl-2.4.20 need all three
- chaos-2.4.18 doesn't need the flushtime patch (it is in their tree already)

I'm not sure whether chaos-2.4.20 and rh-2.4.20 need them or not (patches
were originally from RH kernels, so they may already be in rh-2.4.20).

Fix up the jbd patches slightly.
Add .pc files for the jbd patches.

Ext3 journaling patches from 2.4.21:
- jbd-flushtime: fixes dirty buffer starvation during IO (may help perf!)
- jbd-ctx_switch: avoids thousands of spurious context switches on busy buffers
- jbd-get_write_access: avoids assertion failure after IO error (bug 1871)

- added page_private patch to all non-2.6 series files that were missing it

Move inode_update_time() to filter_io_24.c, as this is a VFS function in 2.6.

- those files contain 2.4- and 2.6-specific routines of filter I/O part

add some patches for 2.4.20-rh

[liblustre]: supress an error message.

[liblustre]: reorganize & fixes of test.

[liblustre]: add test_common

re-formatting as per CFS code guidelines

refactor the replay testing framework into test-framework.sh. I'll
bet sanity*.sh can use this too, but I haven't checked.  Also adding an
embryonic replay-ost-single.sh.

b=1825
Addresses review comments from peter

merge HEAD into b_devel.  Fixes for:

- bug 1698: lconf errors during Elan cleanup
- bug 1843: NULL deref in dcache_notify
- bug 1861: LBUG in ll_it_open_error with rc = -2

This commit does NOT merge the qswnal changes from HEAD!  eeb will
help me with that.

b=1825
new file added to lustre related to nfs export

[liblustre]: add replay_single.c

Remove the now-unused 'data' field from lock_match

remove LDLM_FL_MATCH_DATA workaround, which was obsoleted by the
proper fixes to the code which takes locks and clears inodes

missing file being added now

add kgdb_eth patch

- notification message is shown if fs is mounted with pdirops option

- ext3 mount option 'pdirops' added
- uninitialized i_rename_sem bug fixed

- parallel directory operations patches have been ported onto 2.4.18-chaos
- new chaos-2.4.18-pdirops series have been created

NOTE: not for production! I'm still testing this

[liblustre]: add 'lrun' into utils.

[liblustre]:
 - add test for service side cancel client lock
 - reorganize lltest

Changed mds_lov_set_nextid mds_lov_set_growth to use obd_set_info
instead of obd_setattr, and added this code to lov_ and osc_set_info.
It is now ok if stripe_cnt  != target_cnt.

Removed the mds_lov_lsm, lsmsize fields, as they are no longer
needed now that we use obd_set_info.

Renamed lov_create_orphans to lov_clear_orphans, as that is what it does.

Fixed filter_next_id() and filter_last_id() to really be next and
last. (I take "last" to mean last value that filter_next_id()
returned.)

Added some tests to replay_single.sh.

[liblustre]: add C version of recovery-small for liblustre.

2.6 do not have smp_num_cpus

* Make sure we don't delete the orphans until after recovery has
  finished. This is done in mds_postrecovery, which should now be
  called instead of mds_lov_set_nextid.

* When we delete orphans, make sure the MDS's and OST's last_id get
  dropped back, so subsequent creates will actually create objects.

A slightly hacked up version of Zach's patch to change the OBD API to
use exports intead of handles.

It runs and cleans up normally -- as normally as llpmd ever did -- but
probably still contains some bugs.  These bugs will likely happen in
unused (cobd, ptlbd) or rarely taken (startup/cleanup error cases),
and will be of the type that leak an export or do an extra export_put.

I also reduced the obd_refcount sleep at cleanup to 1 second from 30.
I have never seen the count ever abort before the full 30 seconds were
up, and because of the unique configuration situation on b_llpmd, this
path is always taken during the cleanup of the LOV (because the MDS is
still holding an export reference)

cpu affinity are not depended on arch, fix bug 1307

Fixes from Martin to allow write_append_truncate to run on multiple nodes
(albeit only two at a time, in rotation).

- open replay should NOT go to the OSC which is unreachable during
  recovery
- minor fix to the test
- remove the wrong code that did osc create replay

- extents support for ext3 added
- O_EXTENTS flag support (one must pass the flag to vfs_create() in order
  to force ext3 to use extents)

NOTE: extents support is disabled by default. to enable use mount option
      'extents'

- basic replay code for open; passes sanity as well as without it I think

Script to set MDS, OST, client to wildly different dates for mtime testing.
Then, dates in the filesystem that are 1973 are MDS, 1976 are OST, and those
in Aug (1979) are the client.  These also conveniently appear as ~101010101,
~202020202, and ~303030303 in unix time format (seconds since epoch).

fix many bugs that prevented previously-mounted filesystems from
mounting a second time:
 - set the oscc_next_id (via obd_setattr) before we use that value to
   recover orphans
 - when recovering orphans, send the actual last-used ID (oscc_next_id - 1),
   instead of oscc_next_id
 - in filter_destroy_precreated, call filter_destroy with a NULL oti
   to avoid saving locks for the reply-ack
 - remove the boot count component of the filter objid; it is no
   longer required and makes orphan recovery harder
 - start the filter objid count at 1
 - orphan recovery is a dangerous process which if done incorrectly
   will delete the wrong objects; with that in mind, we now call a
   dramatically simpler lov_create_orphans() instead of the normal
   out-of-control lov_create

- using this .config I could build 2.6.0-test3 for UML

- chaos-2.4.18 series have right ext3-no-write-super patch now

merge HEAD into b_devel, including socknal autoconnect and new v24 kernel

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

fix socknal build on vanilla kernels by adding socket exports
bumped the kernel patch version to 23, but really only vanilla-2.4.20 changed

- pass ecp into io funcs who need it when we already have it, avoiding some
  atomic_incs which are currently a bottleneck

stop on pinger-error

Add /proc/fs/lustre/pinger (contents "on" or "off") so that tests which require
the pinger be present can check and error.

add lustre_lite.h and lustre_idl.h to rpm

file Makefile.am was initially added on branch b_devel.

b=1803
r=shaver

New import state machine, as documented on the lustre wiki in
ImportStates.

A new function, ptlrpc_connect_import, performs all import connects
and moves the import from the DISCON state to either FULL, EVICTED,
REPLAY, or RECOVER, depending on the situation. Unlike the levels, the
states are now exact, and the request->rq_send_state much match the
import state to be sent.

Passes recovery/01, replay-small, and replay-dual.

file import.c was initially added on branch b_devel.

Make sure that transnos and status make it into the repmsg, not just the
server-side ptlrpc_request.  While I'm in there, unify a bunch of common code
and remove some overly pessimistic LBUGs.

b=1817 add a replay-single test that uses touch, which triggers 1817.

teach the upcall about different upcall types.

[liblustre]: merge LiuKai's cygwin patch

if the connection fails for whatever reason and we pass an invalid
export handle into oscc_init, don't dereference a NULL

fix double-unlock in osccd_main

another spinlock typo

- initialize spinlocks
- fix spinlock name typo
- uninitialized variable warning

oscc_init should not be calling oscc_precreate, because this happens
before recovery.

one big fix:
- in osc_create, set oa->o_id AFTER copying oscc_oa overtop of it, so
  that we don't give every new file object 6

lots of little fixes:
- call mds_lov_set_nextid() from the end of mds_postsetup()
- ...make that safe by calling mds_lov_connect() at the beginning of
  mds_lov_set_nextid()
- in filter_create, stop holding the directory lock for reply acks.
  it's not needed anymore, and causes obvious deadlock during precreation
- clean up the error handling in filter_precreate
- start precreating when there are fewer than "kick_barrier" objects
  remaining, and then create "grow_count" additional objects

moving on to larger tests:
- initial_create_count is now 100
- kick_barrier is now 50
- grow_count is now 100

- a bunch of "fixes" on b_llpmd
  - hook initialization and orphan removal functions
    [this needs review and redo, after some config issues are settled.]
    [nasty hackery continues in this area until lconf sees a change.]

    - things that would help:
     1. pass the lov_uuid to the MDS at setup time
     2. call the mds ioctl to do lovinfo setup during setup
        [add yet another parameter to mds_setup?]
        [currently this is a race]
     3. get lov/osc devices set up before the mds is set up.

     All 3 look doable to me.

  - moved code from the class ioctl handler to genops, to begin a
  framework for in-kernel configuration.  For now we have:
    - class_newdev,
    - class_attach
    - class_setup functions.

  - added Alex pre-creation code

NOTE: oscc_precreate doesn't wake up unless has_objects returns
true. That prevents pre-create to be called multiple times. Should be
fixed, but it's unlikely we will see this bug again

NFS export of Lustre FS
-Some of the review comments addressed

file nfs_export_kernel-2.4.20.pc was initially added on branch b_nfsdevel.

Remove "ERR" trap, which doesn't work in my UML, nor at PNNL. r=robert

Use "MOUNT" and "DIR" to be more in line with sanity.sh.  This also
allows us to run these tests in a subdir instead of the root, in case
it makes a difference (it doesn't currently).

Use checkstat instead of "ls" so that we can do some verification of results.

Don't pause for GDB debugging symbols to be loaded.

Close and unlink test file if we didn't encounter any errors.
Set default iteration count to 50k instead of 100k.

Add truncate-to-zero to multiop commands.

Remove unused variable.

- #1642
  - backport some small cleanups to the dentry refcounts and cleanup
  - Zach's fix from llpio which fixes a race condition in the
    partial read
- #1592 fixes trying to read a single page that was entirely past
  EOF, we would later oops in commitrw on the OST trying to dput
  a NULL dentry.  This fixes the 'make' issue Richard discovered.
- #1505 patch to quiet four messages
  - "lustre_commitd quitting"
  - "processing error -107" after server is restarted
  - no need to print statfs() errors to the console
  - print one reconnect message instead of two
- Adjusted version_tag.pl to use portals version string if no
  /CVS/Tag exists.  This resolves rpms using only the HEAD tag.

file LLNL_Changelog was initially added on branch b_llnl_stable.

b=1777

* Add test to replay open after chmod

merge b_multinet into HEAD

b=1505
Disable some console messages from failed statfs(), reconnect

[liblustre]: merge LiuKai's cygwin patch
 - add portals/include/cygwin-ioctl.h
 - don't compile accepter.c in liblustre
 - add missing le-cpu convert macro
 - use windows API directly at some places

file cygwin-ioctl.h was initially added on branch b_eq.

- remainder of the pre-create code (more or less)
 - routines to set next_id
 - routines to clear orphans
 - routines to set growth count
- minor cleanups

- more small fixes for pre-creation, to help bzzz make progress.
 - set o_id as a hint upon creation.

- new series uml_2.6.0_test3
- latest uml patch against 2.6.0-test3

file uml_2.6.0_test3 was initially added on branch b_llpmd.

file uml-patch-2.6.0-test3-1.pc was initially added on branch b_llpmd.

file uml-patch-2.6.0-test3-1.patch was initially added on branch b_llpmd.

- oscc_has_objects needs to do a signed comparison, or osc_create will
  spin forever
- print some lines to the log about which objects are being returned,
  and which were preallocated
- default to starting at 2 instead of 0, because that's the first
  object that the OST will actually create.  This will be replaced
  shortly with an actual understanding of which objects are available
  at startup
- exclude tests 34c-34e until I fix "create with existing size"; the
  rest of sanity passes if you start with a newly formatted OST (see
  last point)

Fix some tab damage and missing modeline

several fixes to the pre-create daemon.  I think it survives a few creates
now.

[liblustre]: liblustre sanity script fix.

[liblustre]: set intent pointer to NULL after intent released.

b=1541: fix LASSERT on mismatched transnos during open-unlink testing
r=phik

- the open request now keeps a pair of pointers in its replay data:
  - the och that has always been there for fixing up open filehandles
  - the close request that has been created to balance it, which may or may
    not have made it over the wire yet, for fixing up the filehandle cookie it
    sends to the MDS

- the explicit updating of the close req replaces the previous walking of the
  sending list, which was both insufficient _and_ excessive

- suppress the "asked for EA, got none" message in the case of a 0-nlink file

- when processing an INTENT_ONLY enqueue request, return a successful 0 rather
  than ELDLM_LOCK_ABORTED, which only confused the clients

- when opening by FID, be sure to set the intent disposition flags
  appropriately

- triple the timeout, instead of doubling it, for the replay-completed PING, to
  better suit the numerology of the pinger and timeout values

Use compat. macros to fix building w/ rh-2.4.20 series.

r=phil

- pre-creation is beginning to work with these small changes to the
state machine.