0.5.16+ updates

Comment clarification.

Whitespace.

b=141,205,323
- When the MDS returns an intent lock to us, check to see if we already have a
  matching one.  If so, cancel the new one.
- Add a new mode to ldlm_lock_match, which allows you to pass in an existing
  lock handle.  It will look for any matches among other locks.

small fixups to revalidate2 lock matching

- add another sanity test
- test if we have a lock already in revalidate2

b=290,311
- call obd_cancel_unused with the correct parameters
- only call it for regular files (those with non-NULL lli->lli_smd)

another shot at managing dentries

b=311
- Drop unused data locks in clear_inode
- Fix for directory and inode counts and link counts

somehow I keep screwing this up, all over a 3-line change.

merging all noncontroversial pieces of b_symlink into HEAD

merging all noncontroversial pieces of b_symlink into HEAD

b=255
- Don't call cancel_unused until the last CLOSE for a given inode.

- wholesale renaming of the brw associated callback variables,
  structures and functions.  Primarily distinguish between:
   - portals event handlers (no longer called callbacks)
   - brw callbacks

* init script designed for MCR by Gord Eagle, and a useful example

Add kernel patch version checking

file stat.c was initially added on branch b_symlink.

- the root dentry should not be uhashed, it is always a valid dentry
- this is a fix for bug 341

- sanity check for intent setting

Prudent check for NULL intent before dereferencing.

Minor type fixup to match o_brw.

- Replaces the LDLM lock counters (in /proc/ldlm/)
- Removes the second LDLM import that Peter added, in favour of doing a
  last-minute fixup of the portal numbers in ldlm_cli_cancel

- Fix up c_recovd_data list_head management, to avoid NULL dereferences in
  recovd_conn_manage (bug 338).

Minor fix so that the printed output is actually what we want to run.

Issue# 330: Approver: Andreas - New utility to find files affected by loss of an OBD.

Peter tells me that the removal of "-O2" from the i386 archdep is the actual
source of the QUOTA problems.

Include quotaops.h in the headers that we munge for extN to avoid issues
with "extern __inline__" declarations therein.

Bug# 329: Approver: Andreas - obd_ioctl_unpack() causes segmentation violation.

minor comment fixup

b=320
disable lprocfs, since it crashes on router nodes

Don't include lprocfs_ll_rd() at all.  lprocfs defines a no-op function
stub for this.  When lprocfs isn't available, we will get nothing from
these functions, but I don't think that is a big deal.

The "random" addition to the UUID were in fact not very random: dev is time-
synchronized, and this caused big trouble.

I fixed this by seeding the PRNG from /dev/urandom at startup; my first
multi-line python hackery, so I hope I didn't pooch it.

- minor fixes to the tests

- Replace client-side generation fixup with bug 304's righteous assertion of
  generations numbers at recreate-time.  Single-client recovery should now be
  _that_much_ more robust. (Bug 299.)

new test with lots of very basic operations

1. Fixed cleanup issue where I was *indeed* accesing a zapped pointer.
2. Removed typedef
3. lproc-snmp back in.

- fixes for dentry problems from Phil and myself
- separate cancel/callback threads to avoid starvation
- fix for broken symlinks

* add a bit of randomness to the MDC uuid

Build properly with lprocfs disabled.

* change init_portals to use inter_module_get() instead of
inter_module_get_request(), becuase we don't want to the kernel to load
any old nal, we want to use just the one that was loaded for us by
lconf.

* add hook for toenal

* more bits for toenal

* rename startlevel and endlevel to minlevel and maxlevel

Revert Mike's recovery changes from LOV, for the greater good of being
able to use LOV again.

Yes, we should in fact MOD_DEC_USE_COUNT there.

file sanity.sh was initially added on branch b_find_alias.

Disable lprocfs until it can clean up.

* initial checkin

Lproc-snmp code drop

* 1st attempt to prevent duplicate devices being started.
* also don't cleanup a device if it doesn't exist.

Similar to local.sh, but with 2 mount points of the same filesystem.

Use the right fstype for the kernel being used.

Removed the lprocfs_snmp.h file. Need to get rid of "snmp" usage
inside lustre. New file is lprocfs_status.h

Changing the name from lprocfs_snmp.h to lprocfs_status.h

* cleanup multiple MDC's correctly

* teach lconf about ktoenal.o

Modified the makefile.am to allow creation of only lustre-HOWTO.txt by default.
'make docs' will build the lustre.pdf document.

many places in the reint path did not use generation numbers with their
locks; fixed.

Hack to force an MDS flush and also get the last_xid/last_committed from
the MDS, so the client can flush its pending RPC requests before umount.

Also, make mdc_statfs() into a OBD method, just because we can.

Quiet down the lprocfs warnings a bit until Hari gets new code into the tree.

Robert's mutli-MDS fix.

Minor update to mds_create_pack(): use "dir" instead of "inode" so that it
is clear what we are packing into the cr_fid.

More ignores.

Ignore more generated files.

Demote the 'sending list' CERRORs to CDEBUGs, so that it's easier to spot bugs
in console output.

b=300
MDT wasn't calling 'unregister_type'; fixed

Whitespace and a small comment.

* change device_list to use the command line interface instead of stdin

- Fix OBD_IOC_OPEN to return the obdo, so user-space has a file handle,
  and runregression-brw.sh can run against obdfilter again.
- Destroy the IPC shmem segment so we can run more than 160 runtests in a row.
- Allow COUNT to be specified, so you can run smaller runregression-brw.sh
  against obdfilter or BA OSTs and not run out of disk space.

- Bug 296: remove LDLM_MDSINTENT to fix mismatches with LDLM_PLAIN locks.
  We now use LDLM_FL_HAS_INTENT in flags, instead.
- Remove some over-verbose debugging in lookup2_finish.
- Automatically reactivate OSC when recovery reconnects successfully.

- minor fixes to get mount to roll in 2.5

"mds" was in SUBDIRS twice--this is bad.

* add --fstype arg to both --mds and --ost
eg:
   lmc ... --node node --fstype ext3 --mds mds1 $MDSDEV $MDSSIZE
   lmc ... --node node --fstype ext3 --ost $OSTDEV $OSTSIZE

Update changelog

b=201
b=285
- Added generation numbers to MDS locks (still need to for OSC locks, bug 294)
- fixup the inode pointer in the ldlm_lock after intent gives us a lock on a
  different resource (bug 285)
- cancel locks when the inodes are flushed from the cache (bug 201)
- fix serious cache coherancy bugs by really tying locks to dentries:
  - always return 0 from revalidate2 for a negative dentry, forcing lookup2
  - when MDS locks are cancelled, unhash the associated dentries (but do NOT
    remove them from the aliases list)
    - avoid calling the cancellation callback at shutdown and clear_inode time,
      by adding yet another flag, this time to cancel_unused
  - lookup2 searches for old dentries that may satisfy a new request, and may
    reuse a dentry that we previously unhashed

We broke hard links even more than they were before--you've been warned!

Good citzenship.

- Bugzilla 214: Have LOV do its own timeout management, so that all OSCs get
  removed correctly, _and_ we don't crash as soon as we try to kick off
  recovery.  What a deal!

- Fix removal of OSC from LOV on OST failure (silly & and type-smashing
  list_head macros).

- Lots of comments in lov_brw, so I don't have to figure it out from first
  principles next time.  (I think they're correct, but Andreas will review to
  make sure.)

- Skip inactive OSCs in lov_statfs, because otherwise we return -EIO and
  the caller will ignore all of the data we get from the active/working OSCs.

- A bit more bulletproofing of the sync_io_timeout case -- if you see that
  message, please reopen the bug.

- Be a little smarter about double-failed connections.  Might make
  failure-in-recovery work better, and will definitely make multiply-detected
  connection failure work better.

* create a minimal MDT
  - only setup once on a node
  - one thead pool for all MDS's
  - theads call mds_handle directly

* changes to lconf to setup/cleanup MDT

Allow unlink to be done on another node, to test multi-client openunlink
handling on OST.

unimportant change to understand a feature of CVS

Make the openunlink messages consistent.

Just a minor change to make it clear what the LOV config parameters are.

Return an LDLM error code from osc_enqueue, just to be clear at the caller
that we are getting back the right thing (ELDLM_OK == 0).

Allow uml.sh to generate a 1-server, 3-client config nicely if desired.

* complete the getlovinfo compromise

* support for toenal
* support for more than one mds client

* use correct mds device in getlovinfo

Simple script to monitor lustre/portals stuff in /proc/slabinfo

Add filter_dops at the same point where we add dentry->d_fsdata, so that
the dentry data is always freed.

Remove redundant definition of PageUptodate().

Allow a count for lctl "destroy" to allow easy destroying of a sequence of
objects created by "create".

Remove some cruft I added for lock allocation, I've resolved it differently.

Line length.

Call common cleanup function.

A minor bit of debugging for tracking the extN refcount bug.

Update Changelog with recent bug fixes and incompatible changes.

Move version back to its original location, and put flags at the end.
It is better to have version close to the beginning of the message, so
that it is possible to change fields after it without breaking things.

Quiet compiler warning.

While we are breaking BA OST compatibility, swap the osc_punch packing of
"start" and "end" so that "start" is in o_size, which is more consistent
with setting i_size on truncate.

Also add some more FIXMEs for bug 288.

Re-do change that Phil killed in his ll_lookup2()/ll_invalidate_inode() merge.

Disable the code which sets the file size on the MDS:
1) we never (or should never) currently use the file size from the MDS
2) only the client which holds the size lock would need to update the MDS
3) that client already knows the correct file size locally, so no obd_getattr

Removing this hunk of code also has the benefit of removing an extraneous
obd_getattr() x stripe_count + mdc_setattr() per file, so it should improve
performance for tar/bonnie/etc noticably.

Passes multi-client runtests.

b=256
abstract ll_lookup2; make ll_lookup2 and ll_revalidate2 both use this
function.  For the first time, we might almost be properly cache coherant.