b=1026
r=adilger@clusterfs.com

- add initial support for creating client connections on the MDS,
  configs will need to be recreated. (The version has been updated
  to force this.)

- create a new config object, "filesystem" which represents a
  specific filesystem.  In the zero-config future, the MDS will be
  need to be aware of what filesystems it "owns," so this is perhaps one
  tiny step in that direction.

add config-linux-2.4.20-uml

add uml.spec

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

fixed -ESTALE bug in vfs_intent-2.4.18-18.patch (already fixed in other
vfs_intent patches)

remove exports_2.4.20-rh.pc, which can be replaced by exports_hp_2.4.20.pc

remove exports_2.4.20-rh.patch, which can be replaced by exports_hp_2.4.20.patch

add ext3-noread-2.4.20.patch

- fixes to b_open
- new UML patch 2.4.20-4 which works with Red Hat 9
- minor fixes to handling handles in open/close to avoid oopsing
- fix erroneous mds_mfd_put in mds_open
- fix the CVS tests added to sanity

- the tests exposed more problem in this branch, probably related to
  the lack of a file handle cache. Only good parts of the branch will
  be merged.

Merge from b_devel to b_orphan (ORPHAN_BASE5 -> ORPHAN_BASE6).

- this is a reconstruction of b_kernel and a merge from current
  b_devel (as of OPEN_BASE).  Due to tag confusion we had to do this
  by hand.

- DO NOT USE B_KERNEL, MAIL DIFF's TO PETER & PHIL

merge b_devel into b_proto
from DEVEL_PROTO_UPDATE_PARENT_20030502 tag on b_devel
  to DEVEL_PROTO_UPDATE_CHILD_20030502 tag on b_proto

Adding it to b_devel too.

b=1178
Preparations for removing unused "addr" from lustre_handle

- merge b_devel into b_proto
- simplify the check_set/set_wait logic a bit

Merge from b_devel -> b_orphan (up to ORPHAN_BASE5 tag on b_devel)

b=1075
* added --failover option to lconf and lctl cleanup
* failover flag added to obd_disconnect and obd_cleanup
* if failover ==1, then MDS and OST will not update the client
  state in last_rcvd.
* Also changes to lconf to add the --group support to MDS.

b=1075
  If a reply comes back with -ENOTCONN, then this means that we've
  either been evicted, or the device has been removed from the
  server. First attempt to reconnect, then call the upcall and attempt
  recovery.

Fix build: ldlm_hooks_referenced wasn't defined or set.

b=1111
- add ptlrpc_ldlm_hooks_referenced(), so we can determine in
  ldlm_cleanup if "force" is needed
- add a little bit more debug information to hunt connection leaks

Merge b_devel changes into b_proto

b=1075
  The config part of failback.  Lconf now supports --group for setup and
  cleanup.  If --group is used,  lconf will only setup/cleanup the
  devices that are in the group AND are currently active on this node. Lconf
  will still setup the modules needed by the devices (networking, routing),
  but cleanup will leave these untouched if there are still other devices
  left after cleaning up the group.

* small fix enable config version support in ldap

- add verison to config, so lconf can make sure the xml/ldap was created
  by a compatible lmc.

- recreate clients if remounting

[liblustre]:
 - initial support symlink

[liblustre]:
 - add support to mkdir

[liblustre]:
 - support setattr. but currently we don't involved any locking, thus
   contains ugly workaround, maybe totally wrong.

- merge b_devel into b_proto (incl b_swab changes)
- fix leak-all-bulk-pages bug
- Mike fixed a bug where a failed ptlrpc_queue_wait send buf would
  fail, but the user would still have to wait for the timeout to pass
  before being able to interrupt

b=1111
- Pass 'force' down to all of the cleanup methods, instead of just
  having special meaning for exports
- in ldlm_cleanup, if forcing, remove the ldlm hooks from ptlrpc so we
  can unload the ldlm module

b=1084
* add a --group=tag option to mds and ost devices, so related devices
  can be failed over together.
* rewrite lactve to failover a specific device group, instead of all
  devices on a node.

[liblustre]:
 - do proper cleanup with an inode is about to be destroyed

[liblustre]:
 - add inode operation close()

[liblustre]:
 - actually retrive stripe ea data from server
 - fix logic in name resolution, save fid for each file

[liblustre]:
 - add a fake ioctl which could dump mount options to file
 - sysio_mount use UUIDs from the mount options
 - minor fix for pnode count

[liblustre]: now we don't need the syscall workaround in libsysio anymore

[liblustre]: following the recent libsysio changes.

fix cut and paste braino

[liblustre]: must feed NULL-terminated string to mdc_getattr_name()

land b_cray on b_devel

*   Landing b_swab

merge b_devel into b_cray

merge b_devel into b_cray

- set_osc_active becomes ptlrpc_set_import_active (though it still only works on
OSCs) and is automatically called for non-recoverable OSCs before we invoke the
upcall. (part of b=1038)
- When aborting recovery, shut down the recovery timer, abort the recovery
queue's requests, and don't do it twice.
- Make sure we call obd_disconnect correctly for all non-lctl imports when
aborting recovery or forcing shutdown, so that we don't leave the last_rcvd bits
around for the next time.
- Fix leak of last_rcvd-spawn exports (every one!).
- Get and put exports for recovery-queued requests and replies, so that
  we don't race badly with teardown.

b=1089
 Python does not automatically convert strings to integers when it might
 seem appropriate.

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

adding cmdline.py to pymod_SCRIPTS

adding scripts to EXTRA_DIST.

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

last merge of b_devel into b_recovery

Merge from b_devel.

Merge b_devel into b_recovery.

Bug828 fix. Approved by Andreas.

- purge the write cache before truncate stomps on the local i_size so that we
  don't zero-extend the file when truncate's lock acquisition purges the
  writeback after having updated the i_size.  I'm not sure how 2.5 will do this,
  but it probably needs to.

Merge from b_devel, mainly to get the fixes for 977/978/722.

merge b_devel into b_recovery

While it is true that ALL_PAGES is a good indicator of rmap, we don't get
this define without already including an rmap-specific header.  Instead
use PG_inactive_dirty.

It seems PG_lru also exists on the PNNL kernel, so use ALL_ZONES instead?

This makes very large IORs pass on a 400 node cluster..

- ifdef PG_lru to check for rmap instead of pte_chain, which didn't work (!)
- put the vm specific memory pressure decision in should_writeback()
- stop prepare_write throttling/writeback when vm pressure lets up
- if we're still under pressure after writing back lots of dirty data then
  we also wait on any inodes to complete their writeback until the VM thinks
  we're happy or there's nothing to wait on..

Zach and I found a nasty race condition with the sets: we were
overloading the refcount to mean both "number of outstanding I/Os" and
also "number of threads using this structure".  It was possible in
extreme circumstances to free the set in the reading thread before the
event handling thread called wake_up, which would thus crash.

To address this, there is a new count (brw_desc_count), which counts
the number of remaining I/Os.  The other count, brw_refcount, now
properly tracks users of the structure to prevent early freeing.

use obd_brw_sets like the OSC, instead of putting it on the stack and
playing silly buggers with the refcount

03:26 < zab> oh, jesus.
03:27 < zab> the do { } while (llwp->num_pages) is totally hosed
03:27 < zab> its spinning on the same llwp for ever.
03:28 < zab> memset(llwp just before the ll_get_dirty_pages

also, I removed some tabs

I took zab's patch, broke it, and the committed it to cvs.

Then he read my checkin message and corrected me.

zab's patch to correctly track the number of fragments and full pages,
so that we put as many pages (up to 16) as possible on the wire at once

land b_io on b_devel (b_io will be deleted as soon as it's confirmed
that the merge happend without incident)

merge 0.5.20.3 b_devel into b_io (ready to land)

catch up with b_devel

- bring b_io up to b_devel

Fix uninitialized variable warning.

Make uuid_nid_data.nid a ptl_nid_t (u64) instead of a u32.

- bring b_devel changes into b_io in preparation for file size fixes

Landing b_malt onto b_devel
- move uuid and handles to lustre, with config changes
- b=204,667: fix router config so network interfaces can be
  created in any order.
- Make sure all the ioctl calls  in obd.c are packed.

Update b_multinet
  minor conflicts found in mds/handler.c and niobuf.c

merge b_setattr into b_devel.  The highlights:

- proper LDLM_DEBUG macro fix, for gcc 3.2 (850)
- failed open()s could cause deadlock; fixed (867, 869)
- stop cancelling OST locks when files are closed (481)
- overlapping XID spaces caused network corruption (851, 853)
- fix unsafe fsfilt counter arithmetic; change to atomic_t
- setattr_raw added, to do single-RPC, server-side setattrs
- fix crashy race condition between ptlrpc_free_req and osc_close

merge b_devel into b_setattr.  highlights:
- kernel 2.5 and liblustre build changes
- fixes to Makefile.am for 7.3-era versions of automake, which is quite possibly
  the worst piece of software with which I come in contact on a daily basis
- small unlink fix

- rebase b_io against HEAD in preparation for the latest write cache code

initial check-in for SAN support. There's still not clean
stuff like mount option(data=writeback) of ost.

Remove a few little-used stack variables - this is a stack intensive area.

Add smbfs caller of invalidate_inodes() to invalidate_show.patch for PNNL.

Don't show busy inodes for invalidate_device().  We don't really care about
that ourselves (it's mostly for floppies & other removable media).

This avoids the need to fix invalidate_device() parameters all over the place.

Remove unused label

- Do the LOCK_CHANGED work in ldlm_lock_enqueue inside an ns_lock; it was making
  me nervous without.
- The lock may have already received a blocking AST, while it was still owned
  by the server.  In this case, the client will receive the lock, oblivious to
  the fact that it needs to be given up.  Unset the "AST already sent" flag
  before handing the lock to the client.
- Add mdc_sem calls around ldlm_cli_enqueue in mdc_request

mds_fid2dentry error handling

- merge b_intent changes back to b_md.  Two profound metadata changes
  have eliminated over 600 lines of code:
  - the lock server on the MDS passes its locks back to the client
    instead of giving the client new locks.  This eliminates numerous
    races (for which were implementing complicated fixes earlier).

  - the lock ordering model was changed slightly to introduce a parent
    child older and only then fid order.  This eliminates numerous
    double lock acquisitions from the MDS.

- OST semaphores restored

Be more verbose for debugging.

Merge b_intent into b_md:

- New kernel patch (version 9)
- DLM hooks to revalidate locked data, once the lock is granted (604)
- Further MDS reorganization, particularly of the open and o_creat paths

- merge b_md into b_intent
- rename invalidate-show.diff, at andreas's request

Merge extN patch fixes from b_intent to b_md.

cleanup after rename.pl

use the second create.pl mode in acceptance-metadata

Merge b_intent into b_md:

** You will need to update your kernel, Lustre patch version 8 **

Highlights:

- the MDS now returns a block count for non-regular files (for which it has
  the authoritative size information)
- we set a DCACHE_LUSTRE_INVALID flag on dentries when we alienate them; this
  flag is now used in the VFS to help us avoid a race condition with
  revalidate2 and dentry alienation
- remove the ldlm_lock_match CBPENDING flag, which severely violates a DLM
  invariant
- fix enqueue_ordered_lock matching
- we reintroduced bug 72 by accident; fixed again, with a better comment.
- small fixes to create.pl/rename.pl

Adding jbd-transno patch to b_intent.

Add jbd-transno change to b_intent

Updated llvisualize considerably. See Bug #691
(a) Added capability to trace entire call sequence across a cluster by
stitching the server activity into the client's view.
(b) Ability to parse UML logs.
(c) Added llanalyze like switches to discard/examine only certain
    specific subsystems/masks
(d) Updated help

To invoke ./llvisualize client_log [server_logs]
Note: The client_log *must* be the first file in the sequence.
Any switches may precede it though.
Type llvisualize --help for the man pages.

- add ldlm_lock_match CBPENDING flag--I should never have removed it
- change ll_revalidate2 LBUG to a RETURN(0).  We now think that our
  understanding of this invariant is complete.
- fix rename.pl defaults
- add mkdirmany test to runtests

merge b_intent into b_md

** You will need to upgrade to kernel version 7 **

Notes:
- Most intent operations were removed, in favour of a so-called "RPC mode"
  that does a single RPC to the server and returns the rc immediately,
  bypassing most of the VFS.  IT_OPEN and IT_LOOKUP remain pretty much
  unchanged.
- all LDLM resource ID arrays were removed in favour of struct ldlm_res_id
- aggressively cancel local locks on a lock server, such as those that the MDS
  requests from its own DLM
- because unlink is now done with an RPC-mode call, there is no local inode
  to call delete_inode on, so the OST objects would never get unlinked.
  Instead, the MDS notifies the client that it was the last unlink, along
  with the lsm, which it uses to free the OST objects
- mds_reint_rename, mds_reint_unlink, and mds_reint_link were rewritten to use
  enqueue_ordered_locks and avoid lock-ordering deadlocks
- recursive symlinks were fixed
- fixed NULL deref in DEBUG_REQ
- filter_update_lastobjid no longer calls sync, which is unnecessary when
  called inside a transaction (harmful, in fact) and was making extN very,
  very sad

This branch b_lum25 replace b_lin25 using the latest Lustre tree
ptlbd can't be compiled with kernel 2.5 now, so changed Makefile temporary
Now this branch can mount/umount and do some basic fs syscall

Merge llvisualize from b_intel.

* update HEAD to b_config

merge HEAD to b_io branch. (seems quite a large changes from
b_md and b_recover)

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.4'.

move patch-2.4.18-chaos22 (aka EXTN_FIXES) to extN/