- miniature buildfixes for liblustre.

Fixes to recovery-cleanup.sh.  We clean up pretty well, but the interrupted-open
case trips an assertion (bug 912).

Quick test for client cleanup while in recovery.

- bring b_devel changes into b_io in preparation for file size fixes

- store the FID for an open file in the request, so that replay can open by
  FID, in case the file has been deleted, etc.

- reconstruct replies for close (untested), link (tested), unlink (tested, but
  will leak OST objects until open-unlink works).

- quickie test program for link(2)

some fixes for compilation with linux2.5.59

Add return value to init_timer() to quiet compiler warning.

- to keep things tidy on the screen

fill in some sample code in libtest.c to demonstrate how to use
the ioctl dumps created by lctl.

Add a new test which compiles portals and lustre in a lustre mount.

- another day of good progress with liblustre.  We now have all the
  modules initialized, ready to start playing with lctl dumpfiles.

Landing b_malt onto b_devel
- move uuid and handles to lustre, with config changes
- b=204,667: fix router config so network interfaces can be
  created in any order.
- Make sure all the ioctl calls  in obd.c are packed.

- fix the uuid ioctls to work on the lustre side
- add IOC_PACK() to all the ioctls in lctl
- fix a format string in super.c
- rename IOCINIT to IOC_INIT, to match other macros
- looks ready to land on b_devel

update b_malt
- includes multinet diffs, which will are needed on malt

- completing the move of UUID registration from portals to lustre.
  Need to merge with multinet to finish this.

Untested implementation of reconstruct_getattr_name.
Test program for single invocation of GETATTR_NAME.

Deleting the dummy file.

This is a test file. We have been moved to behind a firewall, and we want
to ensure that we can perform regular CVS operations. Please excuse.

new files with api's we'd initially put in portals

- add new files move over from portals

a-m-double for 2 mounts

- the bulk of the build fixes for liblustre. Note
  that all user level programs now need to include
  <liblustre.h> (as is done in the utils and test
  directories.

bring b_io up to the lastest write caching code.  fsx and rundbench 1 pass in a
96M all-in-one UML.

- prepare_write is throttled by finding dirty pages on the super block's
  dirty inodes and writing them to the network
- commit_write marks the page dirty and updates i_size
- writepage blocks writing the page and other dirty pages to the network
- sort the pages within a obd_brw batch so that block allocation isn't hosed
  on the OST
- don't change s_dirty's position on the list during writeback, that seems to
  be the job of writepage's callers
- don't try and mess with page's list membership after obd_brw completes,
  filemap_fdata{sync,wait} take care of that
- put a hack in obdo_to_inode that tricks ll_file_size into preferring the
  local i_size when there are cached pages on the inode
- add license blurb and editor instructions
- get rid of the management of vm lru pages and liod thread, prepare_write
  throttling and kupdate serve the same task (hopefully)
- remove unused ll_flush_inode_pages
- throw in a OSC-side "count > 0" assert to match a similar OST assert that
  I couldn't reproduce
- writeback will try to batch PTL_MD_MAX_IOV pages on the wire

- rebase b_io against HEAD in preparation for the latest write cache code

Add patch (already in 2.4.21-pre and 2.5.current) to quiet extN ino_t warnings.

- add a fix to execute binaries to the kernel code (sorry folks, new kernel!)
  ONLY did rh-2.4.18-18
- add test 30 to sanity.sh to test the same
- check in pc and series file for 2.5

Fix sys_link in vfs_intent_hp.patch to match vfs_intent-2.4.18.patch

*  Added a barrier test program in utils 'obdbarrier'

*  Changed lock cleanup code in echo_client to use obd_cancel_unused(),
   since the LOV's lock callbacks happen for each stripe, passing the
   stripe locks rather than the single lock who's handle was returned by
   obd_enqueue()

*  moved obdio/obdbarrier common procedures into obdiolib.c

Remove CONFIG_DEV_RDONLY so Mike doesn't lose his sanity.

Update for l10 kernel version.

Fixups to sanity.sh and createtest.c so it passes when run as a non-root
user (to keep Terry happy ;-).

We're not doing extensive permission testing here - leave that to POSIX.

Fix for bug 695, and a regression test to go with it (get rid of hard-coded
pathnames in sanity.sh while I'm at it ;-).

These are only client-side checks (the MDS does it's own checking for
both mds_open() and mds_reint_create() so that we don't create a bogus
file type).

Regression test for bug 695.

*  Added lock enqueue/cancel ioctl interface to echo_client, with proper
   teardown on (possibly unexpected) client exit.

*  added '-l' flag to utils/obdio, so that it locks the extent it writes,
   then reads back.

*  took 'filter' prefix off /proc stats interface in filter and copied it
   into the echo OBD; obdstats takes obd type name parameter as well as
   optional repeat interval.

Fix typo for patch series.

Update kernel patches for hp kernel.

Fix recovery underpinnings:
 - Store the client's UUID (from last_rcvd) in exp_client_uuid, so
   target_handle_connect can match it up.
 - Don't obd_connect if target_handle_reconnect matched us up with an existing
   export.
 - Don't invalidate everything so eagerly: only if we can't recover and it
   wasn't a partition-reconnect.
 - Clear the in-recovery flag before we send clients their delayed replies.
 - Add "force" argument to lctl cleanup, and remove it from detach.
 - Use new lmc API for recovery-small.sh (more test cleanup coming).

- temporary debugging stuff - this will slow you down.

Add invalidate-show patch to kernel.
Move docs to a more noticable place.

Merge b_intent into b_md:

- New kernel patch (version 9)
- DLM hooks to revalidate locked data, once the lock is granted (604)
- Further MDS reorganization, particularly of the open and o_creat paths

- merge b_md into b_intent
- rename invalidate-show.diff, at andreas's request

- Clean up, but don't error out if some parts fail.
- ONLY for easier controlled-reproduction.
- Error codes count.

- error handling fixes from Andreas

an open(O_LOV_CREATE_DELAY) test

- return 0, not ENOENT, from a failed lookup in mds_open

- fill inodes if files exist

New recovery regression -- hard-coded node names, probably other badness,
but it's finding bugs now, so I'm checking it in.

- more error handling

- add iod rmap patches to b_intent

- fix typo

Add patch to be more verbose about which inodes are busy at unmount time
(for "VFS: Busy inodes" message).  Not added to any patchsets yet (I leave
it up to Peter to decide if he wants it applied to our kernels by default).

*  added /proc stats to obdfilter; should be general purpose and in lprocfs
*  added utils/obdstat for monitoring stats
*  added utils/obdio.c for exercising servers via echo_client.
*  echo_client does auto close when user proc exits

- fix for O_EXCL case in mds_open
- updates to cray plan
- remove unnecessary error handling from
  mdc_completion_callback

- don't call mds_pack_md for non-regular files in mds_validate_dentry (doh)
- add an mcreate/open test to sanity

b_intent gets back to sanity #27 again

- fill in ea in mds open when file exists.

Add the sync-on-unmount fix, and another fix which avoids accessing freed
inodes upon ENOSPC or other errors (from AKPM).

The Makefile should be smart enough to detect if they need to be applied.

Updates to vfs_intent_hp.patch for PNNL (bug 727).
This may or may not work, as I haven't had a chance to test, but it is 95%.

- don't clobber flags

- lib lustre planning document
- mds server document
- return detailed status in body->flags

don't dereference NULL or freed mfd in mds_open

- do an mntget() before dentry_open()

- remove unused mfd_clienthandle
- fix double semaphore up() in mds_open

- added ldlm_lock_decref_and_cancel, to eliminate _that_ particular race
- don't send an extra buffer to the MDS if the EA length is zero
- andreas's fix to initialize rc to 0 in mds_open
- removed some tabvs
- in mds_reint_setattr, don't set the MD if the client didn't send one
- in mds_reint_create, ericm's fix for the POSIX nametoolong bug
- fix mds_open prototype in mds_reint.c

- probable fix for mds refcount problem.  touch /mnt/lustre/f cleans up now.

another bug fix.

- some bug fixes

- new file

Fix one cause of bug 430 (hardlinks) that showed up with simul, but this was
a recently introduced bug and not the real source of problems.  Back to the
drawing board in terms of finding a repeatable testcase.  The only thing
learned from this and the previous extN orphan assertion (bug 670) is that
they were both caused by dentry refcount problems, and the files related
to that dentry refcount were unlinked.

Fixes for several bugs:
- bug 670 (extN orphan inode assertion when fs is full - didn't dput enough)
- bug 445 (get file size before file write to avoid ll_prepare_write zero)
  - we need to optimize ll_file_size() so we don't do getattr RPCs when we
    don't really need to (i.e. if we are already holding the size lock)
  - added testcases to sanityN.sh for this bug
- bug 607 (set/get mtime on OST instead of MDS)
  - need to use osc_setattr and lov_setattr for the first time to allow mtime
    setattrs into the past (for tar or touch-with-a-time), but not used under
    normal usage because the OST updates the time locally for each write

- make acceptance-metadata-single a little cleaner
- remove spurious errors, deprecated filehandle names from rename/create.pl

Move jbd callback changes to a separate .pc file from vanilla-2.4.19.pc

Split out the jbd callback patches from vanilla-2.4.19 so that we can use
them with the hp-pnnl series also.  I would have done the same for the
vanilla-2.4.18 patch, but it was already out of date w.r.t. the recent
Lustre l7 changes.

- add my little single-node metadata test
- small output changes to rename/create.pl

- kernel patches for vanilla 2.4.19, 2.4.19-hp2-2 (not tested much)
- tiny fix to dcache.c

- ldlm_lock_match now accepts two flags: LDLM_FL_CBPENDING to allow matching of
  dying locks, and LDLM_FL_LOCAL_ONLY to only match locks with _FL_LOCAL set
- use enqueue_ordered_locks in mds_reint_unlink, too, to avoid deadlock.
  untested.
- small fix to rename.pl

- a torture test for renames

Merge of HEAD into b_intel.
Some fixes along the way - whitespace cleanup, etc.

Also made obd_statfs_self() _way_ more efficient, which is pretty crucial
given that it is called once for almost every entry in lprocfs.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.2'.

System Profiling Script.
Creates a tar-ball of :
1) OProfile (Global profiles, Per module profile, Profiled Source)
2) vmstat
3) iostat
4) /proc dumps (interrupts, meminfo, net/dev)
       Other profiling tools can be easily incorporated.

Simple script to generate lkcd module symbols and commands for pasting
into lkcd (no "source" command it appears).

file lkcdmap was initially added on branch b_md.

Adding logs for various system calls on a single-node lustre stack.
These can be used as inputs to llvisualize to visualize call graphs.

file unlink.log was initially added on branch b_intel.

file umount.log was initially added on branch b_intel.

file truncate.log was initially added on branch b_intel.

file stat.log was initially added on branch b_intel.

file openunlink.log was initially added on branch b_intel.

file opennew.log was initially added on branch b_intel.

file openexists.log was initially added on branch b_intel.

file openclose-100-25t.log was initially added on branch b_intel.

file openclose-100-10t.log was initially added on branch b_intel.

file openclose-1.log was initially added on branch b_intel.

file open-close-100.log was initially added on branch b_intel.

file mount.log was initially added on branch b_intel.

file mkdir.1.log was initially added on branch b_intel.

file fstat.log was initially added on branch b_intel.

file directio-2.log was initially added on branch b_intel.

file directio-1024.log was initially added on branch b_intel.

file chmod.log was initially added on branch b_intel.

Merge b_md to HEAD for 0.5.19 release.
Fixes a _huge_ number of bugs:
  - Fully reactivate OST imports after reconnection (512, others)
  - Make sure client sees our -ENOTCONN from mds_handle (513 - partial)
  - More graceful error handling for truncating on dead OST (515)
  - Don't error out unless we're actually accessing dead stripes (474)
  - Fix garbage sizes when stripes are missing (410)
  - LRU counters were broken, causing constant lock purge (433, 432)
  - garbage on read from stripes with failed OSTs (441)
  - mark OSCs as active before reconnecting during recovery (438)
  - lov_enqueue and lov_cancel need to handle inactive OSTs (403)
  - lfind did not preserve OST order in output (443)
  - symlinks cause hung clients, incorrect data (439)
  - stop dereferencing request after dropping refcount (457)
  - don't LASSERT(spin_is_locked) on non-SMP (455)
  - fixes for many rename() bugs
  - fstat didn't correctly synchronize attributes (399)
  - server must handle lock cancellation during blocking AST prep (487)
  - bulk descriptors were free()d too soon (511)
  - fix paths in lconf, which would load incorrect modules (451, 507)
  - fix confusing lconf 'host not found' error message (386)
  - fix lock order deadlock on OST (O/R i_sem before journal ops, 478)
  - fix race condition in mdc_blocking_ast() for inode access (526)
  - fix lov_unpackmd() unpacking wrong number of stripes (537)
  - fix lov_set_osc_active() marking wrong OSC inactive (440)
  - fix bad lstripe lov_unpackmd() assertion (fix layering too) (527)
  - fix multiple writes of stripe MD to MDS (358, maybe 519)
  - fix lstripe in several ways (kernel side) (527)
  - fix request leak in ldlm_cli_enqueue (262)
  - incorrect OSC was marked inactive after OST failure
  - call mds_fs_cleanup before unmounting filesystem (524)
  - fix races between taking ns_lock and ldlm_lock_change_resource
  - fix races updating LOV export open file list
  - fix lov_enqueue error path, avoid decref-ing bad lock handle
  - fix recovery NULL deref in ldlm_cli_cancel_unused
  - fix some DLM races by using new hash table for lock handles (419)
  - permit the client to specify desired inodes, at replay
  - duplicate requests when we queue them for replay reintegration
  - fix last_rcvd offset calculation
  - sync after each recovered transaction, so we always make progress
  - never, not always, ERESTART requests without transnos
  - store the lov_desc in the MDS, so we don't depend on getlovinfo to set it
  - skip replay if the MDS says that the client is already connected
  - don't check for a recovery-enabled export to match lctl's UUID
  - don't INC_USE_COUNT for phantom exports
  - don't crash when cleaning up phantom exports (567)
  - don't double-finish or set replay data for errored mdc_open requests
  - abort requests when they time out, so we don't get old replies
  - send/receive replies for AST messages again
  - if the client says that it doesn't have the lock, cancel it on the server
  - if we timeout during I/O, don't try to cancel an in-use lock; instead
    mark it as destroyed, it will all work out when decref is called
  - fix module use counts (22, 581)
 * protocol changes
  - ASTs now expect a reply (server cancels lock on error reply)