Update b_bug974 from HEAD (20040210_1406) (b_smallfix landing)

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

Add cvsdiffclient and cvs-modified-files.pl to CVS (needs a usage note).

Add land[12].sh and add some extra checks to merge[12].sh.

- last commit failed to add and remove some files listed below.

file Makefile.in was initially added on branch b_bug1414.

file Makefile was initially added on branch b_bug1414.

file lustre_user.h was initially added on branch b_bug1414.

file liblustreapi.h was initially added on branch b_bug1414.

file Makefile.am was initially added on branch b_bug1414.

- ll_dirstripe_verify is used to verify if files are created using parent
    directories' stripe info
- add set/get dir stripe info tests into sanity.sh
- create new header file include/lustre/liblustreapi.h and move
    include/linux/lustre_user.h into include/lustre. pass "make rpms"

file ll_dirstripe_verify.c was initially added on branch b_bug1414.

file ll_dirstripe_verify was initially added on branch b_bug1414.

Fix a merge error in conf-sanity.sh.  Using CMDVERBOSE this way was
passing "> /dev/null" as an extra argument to the functions, and this
is not really what we want.  Since I don't think it's all that bad to
see the output of lconf, anyway, I just deleted the >/dev/null
entirely.

While looking into this, I also noticed that mount -f was still
attempting to fetch the log from the MDS. That is fixed, too.

update smfs, some minor fix about symlink, link and rename

Correct description for bug 1934.

Update b_bug974 from HEAD (20040209_1727) (b_recovery and 1.0.4 landing).

- tagging RC_CURRENT

Fix mkfsoptions support for osts.
b=2603, b=2604

Additional debugging for MDS client eviction problem (from 1.0.4).
b=2443

Print out dotted-quad IP addresses in the socknal (from 1.0.4)
b=2302

Fix timeouts when evicting a client with a single lock held (from 1.0.4).
b=2642

Don't leave stale dentries around after renames (from 1.0.4).
b=2428

Zero end of page at obdfilter for partial page writes (from 1.0.4).
b=2648
r=phil

RPM build fix from 1.0.4
r=jacob

Don't flag the ptlrpcd thread with PF_MEMALLOC (from 1.0.4).
b=2636

Fix truncate-vs-write corruption - truncate wasn't marking the last partial
page dirty in any lists (from 1.0.4).
b=2366

Fix for failed assertion in iopen_connect_dentry (2.4 kernels only, from b1_0).
b=1792, b=2517

Update b_smallfix from HEAD (20040209_1433)
(merge of b_recovery)

Fix "implicit declaration" warning

Update ChangeLog with fixes from b_recovery landing.

update smfs 1)delete inode->i_list in smfs_delete_inode for the cache inode will have no chance to release it in iput 2)fix bugs in file read and write 3) some fixs for unlink and rmdir

Fixes and improvements in tmpfs-sanity.sh

Fixes in tmp-sanity.sh

added tmpfs-xattr to vanilla-2.4.20

Added CONFIG_TMPFS_XATTR=y in vanilla 2.4.20 config

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

Added tmpfs-xattr patch for vanilla 2.4.20

Added tmpfs-sanity.sh which checks if xattr support for tmpfs works fine.

merge HEAD to b_eq tag 20040209_1518 (kernel only)
major changes are from landing of b_recovery, which might have great impact
on liblustre.

minor fix about smfs in Makefile.am

- missed some calls to zconf_mount/umount in the test scripts when I
  updated insanity

update smfs.c 1)fix bugs of inode and dentry in dir.c

Landing b_recovery

The principal change here is ptlrpc_connect_import and recovery are
merged and are now asynchronous and are run on ptlrpcd.

This branch also includes fixes for

  2477 (this was the initial bug)

  2355 recover for initial connections

  1934 (b_1934 was merged directly to b_recovery)

  1901 block all file creations until orphan recovery completes

  2423 client remove rq_connection from request struct

  2640 conf-sanity test_5, and proper cleanup in umount when
       cleanup log is not availale.

  2670 recovery timer race

  2532 mdc_close recovey bug

And few others that werent' filed.

oops! just forget commit a fix in the last commit

update smfs 1)fix read file bugs 2)add some superblock operations 3)some minor fix

*  Fixed 2634 ("instant" socknal timeout?)

*  Fixed 2684 ("static declaration of ep_nmd_merge...)

- tagging RC_CURRENT

Quiet warning on ia64 compiles.

Fix type mismatch errors found on ia64.

don't f_put(dentry) until we're finished using it, kthx.

b=2683
In the echo_client's prep/commit test ioo_bufcnt could be out of
sync with the npages given to obd_{prep,commit}rw.

- use-after-free debugging tool against 2.4.24
- additional functionality: free routine checks for possible corruptions
  after given size

- we have to get undo access for block bitmaps
- check for invalid goald in ext3_new_blocks() and correct if needed

Update ChangeLog
b=2370

Make it clear which error was hit in test 62 (failed in buffalo testing of 974).

update smfs, 1)add dir and files methods of smfs 2) some fixes of it

- has been tested against lov.sh configuration.
- add test script tests/dirstripe.sh

file dirstripe.sh was initially added on branch b_bug1414.

- few additional asserts added

- tagging RC_CURRENT

b=2623
r=ccooper

Fix problem where none of the tests were checking for a successfull cleanup.
Error in cleanup when modules are still loaded.

- add an overwrite pass
- clean up output directory creation

Update b_eq from HEAD (20040205_1502)
Most of the changes are from the landing of b_orphan onto HEAD.

add some methods in file.c

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

- ext3 batching allocation against suse2 series
- ext3-mballoc* patches export ext3_new_blocks()

- export few extents-related functions

update smfs 1)some fix in cache mount 2)some fix in lookup and touch, create

*  Removed support for old (pre open source) QSW installations

Update b_bug974 from HEAD (20040205_0202) (to get lmc isspace fix).
b=974

- tagging RC_CURRENT

- collect basic oprofile results when it is available
- make the output directory if it doesn't exist
- add a forgotten item to the key

Re-enable the statfs cache on the OSTs, unless there isn't much space left,
in order to hopefully remove the perf hit from the 974 changes.

We compensate for potentially fast devices consuming a lot of free space by
slightly over-consuming available space from the cached statfs data as each
BRW is handled.  Not enough to throw out the statfs results by any meaningful
amount (esp. given that we include the slightly-old results from the client
cache when replying to clients).  This overconsumption is thrown out each time
we refresh the statfs data (every second or every RPC if almost full).

DEBUG_REQ() now shows the req->rq_repmsg->status in addition to req->rq_status
since the latter is usually zero and the former has the real reply status.
b=2644

- require iozone with the -+o patch
- simplify iozone file cleanup a little
- scale each thread's io contribution based on the number of threads
- fix sloppy shell arg passing that accidentally worked

update smfs 1.fix bugs of read_super. 2.some minor fix

- tagging RC_CURRENT

- clean up last_block cleanup a little
- teach the iozone test to use multiple threads
- add a -e argument to specify the obdecho module by hand
- the echo_filter test performs reads and on the right number of pages
- use more representative io sizes
- use 'getconf PAGE_SIZE' to find the page size on the machine

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

- series for uml on 2.6.0

NOTE: subsytem initialize order problem is to be solved yet

update smfs. 1)fix bugs in sm_read_super 2) add some methods in symlink ops

python 1.5 doesn't have isspace() (I know, how barbaric), but this should
do just as well.

b=2603
r=shaver

work with --mkfsoptions of ost in lmc and lconf

- tagging RC_CURRENT

- add a helper to call bc with a specified precision
- run an iostat -x on each block device during each test
- reformat a bit to make room for the iostat reports

*   Modified socknal to...

    . NOT bump the module refcount when a new peer is found

    . Clean up all open connections and autoconnect route table entries on
      module unload.

- try to verify that a bdev is alive by reading from it
- more carefully cleanup to avoid error messages in early cleanup

- add an argument to select which tests to run

update smfs

 Update b_bug1934 from HEAD (20040202_2102).

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

update smfs, add some files dir.c cache.c inode.c still many problems, will fix them soon

- ldlm builds as part of ptlrpc

add mount cache in sm_read_super

add smfs

- tagging RC_CURRENT

Update b_orphan from HEAD (20040130_1601)

- tagging RC_CURRENT

Land b_orphan on HEAD (20040130_1601)

*  Cray compatibility fixes.

   - Added #if CRAY_PORTALS for compiling against cray portals.

   - PTLRPC_MTU, PTLRPC_MAX_IOV derived from PTL_MTU, PTL_MAX_IOV if
     defined.

   - PTLRPC_MAX_BRW_PAGES, PTLRPC_MAX_IOV defined consistently from
     PTLRPC_MTU, PTLRPC_MAX_IOV, and are the constants used by the OSC.

   - Changed bulk descriptors to merge contiguous fragments.  Bulk I/O only
     uses iovs/kiovs if # frags > 1.

     If compiling with cray kernel portals, PTL_MD_PHYS is expected to be
     defined and bulk descriptors contain struct iovec with physical
     addresses.  NB. Cray requested this method, rather than the ptl_kiov_t
     our portals uses.  If they can't use physical addresses (we can always
     turn PTLRPC_MAX_BRW_PAGES down to 1 until they can handle multiple
     frags), we have a problem, since we'll have to re-write the old
     kmap/kunmap code.

   - Added PtlSnprintHandle(char *str, int str_len, ptl_handle_any_t handle)
     to keep handles opaque but provide useful debug messages.

   - Implemented PtlEQPoll(), and PtlEQGet()/PtlEQWait() in terms of it.
     Fixed tcpnal non-busy wait hack by changing nal::yield() to take a
     timeout and do the right locking, and cb_callback() to schedule
     waiting processes.

     Implemented non-busy wait for socknal and qswnal as programming
     examples (we don't actually drain event queues in the kernel) and
     cleaned up tcpnal to only schedule when required.

   - Conformed to the portals spec on...

     . PTL_TIME_FOREVER
     . PTL_EQ_HANDLER_NONE
     . PTL_NI_OK
     . event field names
     . PTL_MD_MAX_SIZE usage

   - Defined PTL_EVENT_XXX_{START,END}.  We don't actually implement START
     events, but rather LASSERT() our callers have disabled them.

   - Added liblustre/cray callback handling.

   - #define PTLRPC_MD_OPTIONS as lustre's MD options.  Includes the "Hello
      Cray portals; lustre calling" flag and disables start events.

   - Removed PTL_MD_AUTO_UNLINK; it's specified in the 'unlink' parameter
     of PtlMDBind/Attach() etc.

*  Other fixes/cleanups

   - Removed 'struct lustre_peer'

   - Added liblustre/tests/.cvsignore

   - Removed PtlNIBarrier() and some cruddy portals globals.

   - Fixed lib_msg_alloc() to allocate ATOMIC if necessary (NB socknal
     never needs ATOMIC here, neither does qswnal if EKC is tuned
     properly).

   - Fixed lib_finalize() to only unlink if the MD was created with
     PTL_UNLINK (lustre always does, so we never noticed this before).

   - Cleaned up our asynchronous PtlMDUnlink()....>PTL_EVENT_UNLINK to
     invalidate the MD handle immediately on the unlink (manual and
     automatic).

   - factored some common code in lib-move.c