[liblustre]: merge LiuKai's cygwin patch

if the connection fails for whatever reason and we pass an invalid
export handle into oscc_init, don't dereference a NULL

fix double-unlock in osccd_main

another spinlock typo

- initialize spinlocks
- fix spinlock name typo
- uninitialized variable warning

oscc_init should not be calling oscc_precreate, because this happens
before recovery.

one big fix:
- in osc_create, set oa->o_id AFTER copying oscc_oa overtop of it, so
  that we don't give every new file object 6

lots of little fixes:
- call mds_lov_set_nextid() from the end of mds_postsetup()
- ...make that safe by calling mds_lov_connect() at the beginning of
  mds_lov_set_nextid()
- in filter_create, stop holding the directory lock for reply acks.
  it's not needed anymore, and causes obvious deadlock during precreation
- clean up the error handling in filter_precreate
- start precreating when there are fewer than "kick_barrier" objects
  remaining, and then create "grow_count" additional objects

moving on to larger tests:
- initial_create_count is now 100
- kick_barrier is now 50
- grow_count is now 100

- a bunch of "fixes" on b_llpmd
  - hook initialization and orphan removal functions
    [this needs review and redo, after some config issues are settled.]
    [nasty hackery continues in this area until lconf sees a change.]

    - things that would help:
     1. pass the lov_uuid to the MDS at setup time
     2. call the mds ioctl to do lovinfo setup during setup
        [add yet another parameter to mds_setup?]
        [currently this is a race]
     3. get lov/osc devices set up before the mds is set up.

     All 3 look doable to me.

  - moved code from the class ioctl handler to genops, to begin a
  framework for in-kernel configuration.  For now we have:
    - class_newdev,
    - class_attach
    - class_setup functions.

  - added Alex pre-creation code

NOTE: oscc_precreate doesn't wake up unless has_objects returns
true. That prevents pre-create to be called multiple times. Should be
fixed, but it's unlikely we will see this bug again

NFS export of Lustre FS
-Some of the review comments addressed

Remove "ERR" trap, which doesn't work in my UML, nor at PNNL. r=robert

Use "MOUNT" and "DIR" to be more in line with sanity.sh.  This also
allows us to run these tests in a subdir instead of the root, in case
it makes a difference (it doesn't currently).

Use checkstat instead of "ls" so that we can do some verification of results.

Don't pause for GDB debugging symbols to be loaded.

Close and unlink test file if we didn't encounter any errors.
Set default iteration count to 50k instead of 100k.

Add truncate-to-zero to multiop commands.

Remove unused variable.

- #1642
  - backport some small cleanups to the dentry refcounts and cleanup
  - Zach's fix from llpio which fixes a race condition in the
    partial read
- #1592 fixes trying to read a single page that was entirely past
  EOF, we would later oops in commitrw on the OST trying to dput
  a NULL dentry.  This fixes the 'make' issue Richard discovered.
- #1505 patch to quiet four messages
  - "lustre_commitd quitting"
  - "processing error -107" after server is restarted
  - no need to print statfs() errors to the console
  - print one reconnect message instead of two
- Adjusted version_tag.pl to use portals version string if no
  /CVS/Tag exists.  This resolves rpms using only the HEAD tag.

b=1777

* Add test to replay open after chmod

[liblustre]: merge LiuKai's cygwin patch
 - add portals/include/cygwin-ioctl.h
 - don't compile accepter.c in liblustre
 - add missing le-cpu convert macro
 - use windows API directly at some places

- remainder of the pre-create code (more or less)
 - routines to set next_id
 - routines to clear orphans
 - routines to set growth count
- minor cleanups

- more small fixes for pre-creation, to help bzzz make progress.
 - set o_id as a hint upon creation.

- new series uml_2.6.0_test3
- latest uml patch against 2.6.0-test3

- oscc_has_objects needs to do a signed comparison, or osc_create will
  spin forever
- print some lines to the log about which objects are being returned,
  and which were preallocated
- default to starting at 2 instead of 0, because that's the first
  object that the OST will actually create.  This will be replaced
  shortly with an actual understanding of which objects are available
  at startup
- exclude tests 34c-34e until I fix "create with existing size"; the
  rest of sanity passes if you start with a newly formatted OST (see
  last point)

Fix some tab damage and missing modeline

several fixes to the pre-create daemon.  I think it survives a few creates
now.

[liblustre]: liblustre sanity script fix.

[liblustre]: set intent pointer to NULL after intent released.

b=1541: fix LASSERT on mismatched transnos during open-unlink testing
r=phik

- the open request now keeps a pair of pointers in its replay data:
  - the och that has always been there for fixing up open filehandles
  - the close request that has been created to balance it, which may or may
    not have made it over the wire yet, for fixing up the filehandle cookie it
    sends to the MDS

- the explicit updating of the close req replaces the previous walking of the
  sending list, which was both insufficient _and_ excessive

- suppress the "asked for EA, got none" message in the case of a 0-nlink file

- when processing an INTENT_ONLY enqueue request, return a successful 0 rather
  than ELDLM_LOCK_ABORTED, which only confused the clients

- when opening by FID, be sure to set the intent disposition flags
  appropriately

- triple the timeout, instead of doubling it, for the replay-completed PING, to
  better suit the numerology of the pinger and timeout values

Use compat. macros to fix building w/ rh-2.4.20 series.

r=phil

- pre-creation is beginning to work with these small changes to the
state machine.

- initial check in of pre-creation code including:
  - alex server side code (still needs to update last allocated id on disk)
  - peter's client code (still needs debugging and some finishing touches)
  - the whole thing needs some thought viz a viz:
    - recovery
    - error notificaiton from the daemon to the caller.
- removed unused commit_cbd, maybe one day we will use it and re-surrect,
  but I think we need this at the osc/mdc level, not at llite level.

- #1763 fixes timestamps on files getting advanced incorrectly.
- #1639 client VFS truncate/write lock inversion.  This caused
  the bug in Joe Koning music code.

- give llite moderately more reasonable default watermarks so that it can
  fill a fair sized lov in a burst.
- be more careful about unlocking writepage's page as it returns an error
- allocate writeback page state with NOFS so we don't descend into filesystems
  when memory is short

Update header to give compilation and running instructions.

NFS Export of Lustre File System
-Contains kernel patch nfs_export_kernel-2.4.20.patch
-Lustre Modifications
    fh_to_dentry/dentry_to_fh implementation
    IT_CREAT Implementation (As zero sized file creation on NFS client never calles nfsd_open)

Check for MAP_FAILED return from mmap instead of NULL.
#define _GNU_SOURCE to get O_DIRECT/O_DIRECTORY
In test_brw define a default pg_vec if unset.

utility to get GM global nid from node name

Paged IO support for scimacnal.
Closes bug#1347.

Zach and I both agreed that we should keep short IO sanity tests in sanity.sh
or sanityN.sh so that they are always run during tests.

Remove tests from ALWAYS_EXCEPT now that their bugs have been fixed and the
tests pass.  Please keep ALWAYS_EXCEPT and the comment above it in sync.

merge b_filterio into b_llpio; b_filterio soon to be deleted, given
that b_llpio is a superset

b=1513
r=shaver
* add conn_cnt to import, export, and lustre_msg.  The conn_cnt is
increased by the client whenever it connects or reconnects.  The
server ignores failed BRWs with an old conn_cnt.

Also, when a bulk is resent, the xid is changed, so the previous one
will definitely fail.

merge HEAD changes into b_devel

Update write_append_truncate program:
- check all return codes
- add understandable error messages
- can select the test file without recompiling.
- can select iteration count (default 100000 loops)
- have some progress output during run (ala fsx)

- #1592 fixes trying to read a single page that was entirely past
  EOF, we would later oops in commitrw on the OST trying to dput
  a NULL dentry.  This fixes the 'make' issue Richard discovered.
- #1765 fixes MDS cleanup bug where we have an outstanding reply
  at disconnect time.  Remove all exp_outstanding_reply
  manipulation in mds_disconnect.
- #1732 fixes the lprocfs unresolved symbol error.

- trivial sanity asserts in llite page accounting
- don't leak ocp's in some failure paths
- make sure read-ahead doesn't orphan a locked page
- add some mmap goo to multiop (this is going to conflict, I bet)

First test for io sanity - force a zero-length read from a sparse stripe.

MPI distributed write/append/truncate coherency stress test - original version.

- backport some small cleanups to the dentry refcounts and cleanup
- Zach's fix from llpio which fixes a race condition in the partial read path

- Bug #1749 patch

b=1720
r=adilger

* free reply buffer whether we have ack locks or not.

- Patch for bug #1600, MDS server data isn't written at setup.  This is
  only an issue when mounting the MDS for the first time.

Revert changes committed to b_devel for MDS-creates-objects.
Changes will be committed into b_llpmd instead.

We could, however, remove the OST open/close RPCs from b_devel as a
starting point.

- version_tag.pl now uses the portals version string if no CVS/Tag exists.
  This resolves building rpms which all claim to have the HEAD tag.
- LLNL_ChangeLog updates
- Tagged version llnl_4devel

Add sleeping write/verification test to CVS.
usage: sleeptest [basename [sleeptime]]

Fixes a couple of bugs in the current test:
- assumes that there is 100 bytes after offset & ~4095 (fails at iter 233)
- assumes that "Line" appears in the output (fails if < 60 bytes read)

- #1751 fix LBUG/bad LOV EA if lov_create fails because of inactive OSCs.
  We hit this bug on ALC Monday Afternoon (8/11/03), the fix has been
  tested in b_devel since 07/28.

- this contains much of the pre-create code
  - extensive changes to mds_open to call obd_create
  - important changes to the client to avoid obd_create
  - changes to intent locking to avoid giving a client a lock
- deficiencies:
  - there is an open unlink problem (sanity 31).  I think this was lurking and is now exposed
  - lstripe needs some thought; doesn't work right now
  - further refactoring of the object creation in mds_open desirable and forthcoming.

- make sure the sync commit write gets the rpc's error code
- be sure to set the page up to date if commit_write succeeds
- get a page ref when we start async ocp io and drop the ref as the io
  completes
- drop some asserts left over from early refactoring passes
- add a simple io data consistency check to sanity.sh

r=adilger

* Add a flag to mds_mfd_close to prevent unlinking files when we are
  cleaning up with the --failover flag.

* test_6 fails if any files are found at the end.
* test_8 does fchmod after unlink

* yank back stat help

* new: t fchmod (set mode to 0)
* add help for new options

update 2.4.18 patches for bug 1705

* 2 tests for open-unlink, replay close testing.

r=shaver
 - sort switch statement for sanity
 - add read/write (r,w)
 - add seek-to-zero (z)

- #1158 fix for MDS ldlm_intent_policy
- LLNL ChangeLog updates

* use multiop and kill keepopen

liblustre: fix timeout during mknod tests.

* add keepopen.py, which holds a file open until it recieves a
  SIGUSR1, then it reads the file and closes it, returning an error
  if anything fails.

* replay_single.sh/test_8 uses keepopen to test close replay after
  unlink. So far, the test actually passes, but from reading the log I
  can see the MDS_CLOSE is not replayed, because it doesn't get a
  transno. Not sure how to actually test for this.

b=1614
r=phil

This bug fix was complicated by the fact that many code paths that
never had run now execute.  We changed intent error returns (already
committed), and error returns inside mds_open.

This includes a kernel fix but no version change, as I made it
backward compatible.

Fixes for open:
 - kernel passes FMODE_EXEC to lustre, which sends it to MDS
 - move all open/close code to mds_open.c, make almost everything static
 - arrange for allow/deny/get/put write access in mds
 - fix several problems with error handling in mds_dentry_open:
   - don't do a wrong mntput
   - do a dget for readability
 - add test to sanityN and sanity
 - simplify confusing permission checking in mds_open with helper

* each test is independent and cleans up after itself
* test_4: test an error replay

b=1505
r=shaver
- Remove confusing and uninteresting "lustre_commitd quitting" message
- downgrade the -ENOTCONN "processing error" message to D_HA from D_ERROR

add a simple liblustre sanity test script

Fix minor typo in error message.

- export some simple histograms that let us watch rpc concurrency and the
  number of pages in each rpc.  writing to the file clears them.

- trivially export some rpc/page stats from the osc so we can get some
  insight into how llite is driving it

- Landed b_multinet on b_llnl_devel

- Several minor changes so llnl can build rpms of the form:

       lustre-*-VERSION-RELEASE.i386.rpm; where VERSION is the CVS tag
       and RELEASE is the kernel is was built against.

  e.g. lustre-modules-llnl_1devel-2.4.18_p4smp_68chaos.i386.rpm

- I also started a LLNL_ChangeLog for the branch to track what patches we apply.

rebase b_qos on b_devel instead of b_ad

b=1598
Merge final read performance fix into b_devel

merge HEAD into b_devel:
 - fix for bug 1598
 - temporary flag-clearing until bug 974 is fixed
 - new GM nal

Improved replay-single.sh and replay-dual.sh

As best I could test, none of our tests were using stat.c, it was just
a convenient helper.  Because most of our installations have a broken
version of the 'stat' utility installed (it reports an incorrect block
size), I replaced stat.c with v3.3 of the stat utility.

various fixes liblustre: following the new llite
at this moment, many metadata can't work, and file i/o is tatally broken

add implementation of rbtree from linux.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

 - Fix build with rh 2.4.20 kernel series
r=phil
b=1663

Portals NAL for Myrinet GM2 for Lustre (lgmnal)

Fix for bug 1609 on CVS HEAD.

Fix ia64 O_DIRECT crash (bug 1609).
- don't send less than PAGE_SIZE O_DIRECT writes...  It appears that lustre
  or the VFS does not handle this properly.  This is the only time we send
  non-page-aligned writes.
- prepare_write() takes parameters "from" and "to", and not "offset" and "len"
  (this is real source of crash - we were not mapping a buffer in this case).

update changes of lookup_intent for hp kernel

* doh!  (thanks, mike)

* simple cleanups to get replay-single.sh to run again, also added
  a trap ERR.

make sanity and iozone run from llite over the lov in the new ocp
io model.
- add ocp_off to the ocp so the lov can remap it as it passes through
- fix up the page accounting a bit 'cause truncate doesn't really know
  right know to subtract pages from the dirty or io counts
- pass our completion struct, _not_ a pointer to the complete function
- make sure to always free the ocp in commit_write_sync
- disable the watermark io until it actually does something
- make sure to alter the filehandle/o_id as we pass through the lov
- initialize our loi bits in lov_unpackmd

- introduce tunables for the aggregate amount of cached data that llite will
  allow on a machine.  When we have more than 'dirty_high_water_MB' meg of
  data dirty we start async ocp io on the amount of data between the high
  water mark and 'dirty_low_water_MB'.  If we ever have more than
  'max_dirty_MB' we write synchronously in commit_write, batching with other
  dirty data in the inode.  these watermarks are checked every time we pass
  through commit_write and we account seperately for dirty pages and pages
  that are under io.

- add ocp_count to the ocp so that we can write partial pages at the end
  of the file.  make the callback func a proper type.

- remove iod.c, the few code paths we cared about in there are moved to
  rw{,24,26}.c

- turn off generic file read-ahead by setting filp->f_ramax to 0.

- have writepage and commit_write when writing sync use the plugging to batch
  their io with io started from other dirty pages in the inode's dirty list

- woops, missed a hardcoded '16'.  move to max_pags_per_rpc

There's still much to do.  The 2.6 side needs work on its many-page variants,
kiovec->bio, etc.  We need to actually start watermark io from the dirty inode
list.

Ensure OST objids are unique even after a crash by using the mount count as
a generation number.  Remove old "superhack" code.

Add a "force_sync" parameter to filter_update_server_data() and
fsfilt_write_record() so that we ensure the mount_count is safe on disk
when the OST has started.

b=294
r=phil

*  Optimized qswnal GETs use EKC rpcs to "teleport" payload (as far as
   portals is concerned).

*  allowed qswnal to have knowledge of lib_msg_t.

*  lib_fake_reply_msg() written to allow qswnal to create replies and
   deliver them in the normal fashion (with lib_finalize()).

- put in initial lov obd plug/async/unplug APIs.  for now its giving
  the stripe to the osc via an explicit loi argument.  this will be
  refactored when the refactoring described in 314 arrives.

- simple optimization for EXT3:
  ext3_write_super() doesn't need to start commit as kupdated wants. this
  improves things significantly in some cases

file ext3-no-write-super.pc was initially added on branch b_devel.

file ext3-no-write-super.patch was initially added on branch b_devel.

- minor changes in Andreas'es ext3 direct-io patch to be applicable for
  2.4.18-chaos
- ext3-o_direct-1-2.4.18-chaos.patch have been added to chaos-2.4.18 series

file ext3-o_direct-1-2.4.18-chaos.pc was initially added on branch b_devel.

file ext3-o_direct-1-2.4.18-chaos.patch was initially added on branch b_devel.