fix portals/archdep.m4

b=1173
Remove all files from lib/, put the functions into various other
modules as appropriate, and remove the bits to create the symlinks.
Tested in UML and lightly on dev.  Builds, inserts, mounts.

Mostly working full cookie create-send-cancel cycle for MDS unlinks.
MDS now establishes a connection (LOV only, getting UUID from LOVDESC pending
  bug 1280 resolution).
We cannot clean up as a result of this (MDS->LOV connection).  Might be
  possible to fix by changing cleanup order so we do llite/mdc/mds cleanup
  before lov/osc/ost cleanup.

fix for build portals in user space

*   Added portals + lustre wire constant and struct size/offset assertions

*   Added portals + lustre wirecheck programs to generate these assertions
    on the reference platform.

merge b_devel to b_eq since there are problems with old b_devel
  DEVEL_EQ_UPDATE_PARENT_20030523 -> DEVEL_EQ_UPDATE_CHILD_20030523

Merge b_devel -> b_orphan.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522 -> DEVEL_ORPHAN_UPDATE_PARENT_20030522

merge b_devel to b_eq:
  DEVEL_EQ_UPDATE_PARENT_20030521 -> DEVEL_EQ_UPDATE_CHILD_20030521

Remove bogus local function prototypes that were causing me grief.
Fix header mess as necessary to be able to compile.
Most of MDS unlink cookie generation complete.
Remove some local variable declarations that are only used in debug messages
  that appeared when compiling with CDEBUG() as a no-op (reduce stack usage).

- Update kernel patchs to work on hp4_pnnl6.  Note that a new branch of
dev_read_only was made.  dev_read_only_hp can not longer be used
because multiple other series (not the hp ones) now use it and regularly
update it in conflicting ways.

merge b_devel into b_eq:
  DEVEL_EQ_UPDATE_PARENT_20030519 -> DEVEL_EQ_UPDATE_CHILD_20030519

only resolve confliction.

merge b_ad (cleaned up a bit) into b_devel; entirely 2.5 compat fixes

the chaos kernel can use the iopen-2.4.18.patch

land b_proto on b_devel:
 - major rework of the rpc and bulk APIs, lots of new assertions and cleanups
 - many rpc and bulk bugfixes, including bugs 937, 1057, 1072, 1162
 - perform brw and getattr operations to multiple OSTs in parallel
 - all bulks are tied to exactly one request; multiple requests can be
   tied to a single request_set

landing b_open onto b_devel:
 - kernel patches for bug 1203
 - fixes directory open()s
 - re-enables metadata caching on the MDS
 - fixes bug in ext3_noread kernel patch
 - fixes some symbol export problems in other kernels
 - fixes compilation problems when running on Red Hat 2.4.20 kernels

If you update past this merge, you will require kernel version 18

- remainder of the b_devel into b_open merge.

Added lprocfs counters for obd_ops stats, obdfilter and ptlrpc services. Bugzilla#1107.

Merge b_devel (ORPHAN_BASE6 -> ORPHAN_BASE7) to
b_orphan (DEVEL_ORPHAN_UPDATE_CHILD_20030514).

Update the .pc to match the renamed patch

b=1046

update the config version.

b=1046

- add a new argument to upcalls. The first argument identifies the reason
  of upcall.  The upcall script path is now /proc/sys/lustre/upcall, and the
  config option has changed from --recovery_upcall to --lustre_upcall.

  Current lustre upcall types and arguments:

    FAILED_IMPORT tgt_uuid dev_uuid net_uuid
    RECOVERY_OVER dev_uuid

- The config tools also support the new --portals_upcall, and both of the
  upcalls can be set to the same script with the --upcall option.

  There is only one portals upcall type:

    LBUG filename function line

- applying uml-2.4.20-4 to vanilla 2.4.20 makes kernel non-compilable for i386

- core UML patch

- add ptlrpc_dump_connections() for debugging ldlm cleanup problems
- cleanup the import's export ptlrpc_import_connect if the connect fails.
  this prevents an obd_refcount clean on the client during a failed mount.

b=1215
r=shaver@clusterfs.com

- add obd_refcount, and use it to ensure the device not being used
  during cleanup. If --force is used, then cleanup will set a stopping
  flag on the device, disconnect the exports, and then wait until
  the device is unused.

- removed class_disconnect_all and moved/renamed forcibly_detatch_exports
  to class_disconnect_exports.

- ptlrpc_import_disconnect now disconnects imp_export

- if --failover, then filter cleanup will not delete files marked
  for delete on close.

- manage imp_active flag in ptlrpc_set_import_active

b=1026
r=adilger@clusterfs.com

- add initial support for creating client connections on the MDS,
  configs will need to be recreated. (The version has been updated
  to force this.)

- create a new config object, "filesystem" which represents a
  specific filesystem.  In the zero-config future, the MDS will be
  need to be aware of what filesystems it "owns," so this is perhaps one
  tiny step in that direction.

add config-linux-2.4.20-uml

add uml.spec

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

fixed -ESTALE bug in vfs_intent-2.4.18-18.patch (already fixed in other
vfs_intent patches)

remove exports_2.4.20-rh.pc, which can be replaced by exports_hp_2.4.20.pc

remove exports_2.4.20-rh.patch, which can be replaced by exports_hp_2.4.20.patch

add ext3-noread-2.4.20.patch

- fixes to b_open
- new UML patch 2.4.20-4 which works with Red Hat 9
- minor fixes to handling handles in open/close to avoid oopsing
- fix erroneous mds_mfd_put in mds_open
- fix the CVS tests added to sanity

- the tests exposed more problem in this branch, probably related to
  the lack of a file handle cache. Only good parts of the branch will
  be merged.

Merge from b_devel to b_orphan (ORPHAN_BASE5 -> ORPHAN_BASE6).

- this is a reconstruction of b_kernel and a merge from current
  b_devel (as of OPEN_BASE).  Due to tag confusion we had to do this
  by hand.

- DO NOT USE B_KERNEL, MAIL DIFF's TO PETER & PHIL

merge b_devel into b_proto
from DEVEL_PROTO_UPDATE_PARENT_20030502 tag on b_devel
  to DEVEL_PROTO_UPDATE_CHILD_20030502 tag on b_proto

Adding it to b_devel too.

b=1178
Preparations for removing unused "addr" from lustre_handle

- merge b_devel into b_proto
- simplify the check_set/set_wait logic a bit

Merge from b_devel -> b_orphan (up to ORPHAN_BASE5 tag on b_devel)

b=1075
* added --failover option to lconf and lctl cleanup
* failover flag added to obd_disconnect and obd_cleanup
* if failover ==1, then MDS and OST will not update the client
  state in last_rcvd.
* Also changes to lconf to add the --group support to MDS.

b=1075
  If a reply comes back with -ENOTCONN, then this means that we've
  either been evicted, or the device has been removed from the
  server. First attempt to reconnect, then call the upcall and attempt
  recovery.

Fix build: ldlm_hooks_referenced wasn't defined or set.

b=1111
- add ptlrpc_ldlm_hooks_referenced(), so we can determine in
  ldlm_cleanup if "force" is needed
- add a little bit more debug information to hunt connection leaks

Merge b_devel changes into b_proto

b=1075
  The config part of failback.  Lconf now supports --group for setup and
  cleanup.  If --group is used,  lconf will only setup/cleanup the
  devices that are in the group AND are currently active on this node. Lconf
  will still setup the modules needed by the devices (networking, routing),
  but cleanup will leave these untouched if there are still other devices
  left after cleaning up the group.

* small fix enable config version support in ldap

- add verison to config, so lconf can make sure the xml/ldap was created
  by a compatible lmc.

- recreate clients if remounting

[liblustre]:
 - initial support symlink

[liblustre]:
 - add support to mkdir

[liblustre]:
 - support setattr. but currently we don't involved any locking, thus
   contains ugly workaround, maybe totally wrong.

- merge b_devel into b_proto (incl b_swab changes)
- fix leak-all-bulk-pages bug
- Mike fixed a bug where a failed ptlrpc_queue_wait send buf would
  fail, but the user would still have to wait for the timeout to pass
  before being able to interrupt

b=1111
- Pass 'force' down to all of the cleanup methods, instead of just
  having special meaning for exports
- in ldlm_cleanup, if forcing, remove the ldlm hooks from ptlrpc so we
  can unload the ldlm module

b=1084
* add a --group=tag option to mds and ost devices, so related devices
  can be failed over together.
* rewrite lactve to failover a specific device group, instead of all
  devices on a node.

[liblustre]:
 - do proper cleanup with an inode is about to be destroyed

[liblustre]:
 - add inode operation close()

[liblustre]:
 - actually retrive stripe ea data from server
 - fix logic in name resolution, save fid for each file

[liblustre]:
 - add a fake ioctl which could dump mount options to file
 - sysio_mount use UUIDs from the mount options
 - minor fix for pnode count

[liblustre]: now we don't need the syscall workaround in libsysio anymore

[liblustre]: following the recent libsysio changes.

fix cut and paste braino

[liblustre]: must feed NULL-terminated string to mdc_getattr_name()

land b_cray on b_devel

*   Landing b_swab

merge b_devel into b_cray

merge b_devel into b_cray

- set_osc_active becomes ptlrpc_set_import_active (though it still only works on
OSCs) and is automatically called for non-recoverable OSCs before we invoke the
upcall. (part of b=1038)
- When aborting recovery, shut down the recovery timer, abort the recovery
queue's requests, and don't do it twice.
- Make sure we call obd_disconnect correctly for all non-lctl imports when
aborting recovery or forcing shutdown, so that we don't leave the last_rcvd bits
around for the next time.
- Fix leak of last_rcvd-spawn exports (every one!).
- Get and put exports for recovery-queued requests and replies, so that
  we don't race badly with teardown.

b=1089
 Python does not automatically convert strings to integers when it might
 seem appropriate.

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

adding cmdline.py to pymod_SCRIPTS

adding scripts to EXTRA_DIST.

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

last merge of b_devel into b_recovery

Merge from b_devel.

Merge b_devel into b_recovery.

Bug828 fix. Approved by Andreas.

- purge the write cache before truncate stomps on the local i_size so that we
  don't zero-extend the file when truncate's lock acquisition purges the
  writeback after having updated the i_size.  I'm not sure how 2.5 will do this,
  but it probably needs to.

Merge from b_devel, mainly to get the fixes for 977/978/722.

merge b_devel into b_recovery

While it is true that ALL_PAGES is a good indicator of rmap, we don't get
this define without already including an rmap-specific header.  Instead
use PG_inactive_dirty.

It seems PG_lru also exists on the PNNL kernel, so use ALL_ZONES instead?

This makes very large IORs pass on a 400 node cluster..

- ifdef PG_lru to check for rmap instead of pte_chain, which didn't work (!)
- put the vm specific memory pressure decision in should_writeback()
- stop prepare_write throttling/writeback when vm pressure lets up
- if we're still under pressure after writing back lots of dirty data then
  we also wait on any inodes to complete their writeback until the VM thinks
  we're happy or there's nothing to wait on..

Zach and I found a nasty race condition with the sets: we were
overloading the refcount to mean both "number of outstanding I/Os" and
also "number of threads using this structure".  It was possible in
extreme circumstances to free the set in the reading thread before the
event handling thread called wake_up, which would thus crash.

To address this, there is a new count (brw_desc_count), which counts
the number of remaining I/Os.  The other count, brw_refcount, now
properly tracks users of the structure to prevent early freeing.

use obd_brw_sets like the OSC, instead of putting it on the stack and
playing silly buggers with the refcount

03:26 < zab> oh, jesus.
03:27 < zab> the do { } while (llwp->num_pages) is totally hosed
03:27 < zab> its spinning on the same llwp for ever.
03:28 < zab> memset(llwp just before the ll_get_dirty_pages

also, I removed some tabs

I took zab's patch, broke it, and the committed it to cvs.

Then he read my checkin message and corrected me.

zab's patch to correctly track the number of fragments and full pages,
so that we put as many pages (up to 16) as possible on the wire at once

land b_io on b_devel (b_io will be deleted as soon as it's confirmed
that the merge happend without incident)

merge 0.5.20.3 b_devel into b_io (ready to land)

catch up with b_devel

- bring b_io up to b_devel

Fix uninitialized variable warning.

Make uuid_nid_data.nid a ptl_nid_t (u64) instead of a u32.

- bring b_devel changes into b_io in preparation for file size fixes

Landing b_malt onto b_devel
- move uuid and handles to lustre, with config changes
- b=204,667: fix router config so network interfaces can be
  created in any order.
- Make sure all the ioctl calls  in obd.c are packed.

Update b_multinet
  minor conflicts found in mds/handler.c and niobuf.c

merge b_setattr into b_devel.  The highlights:

- proper LDLM_DEBUG macro fix, for gcc 3.2 (850)
- failed open()s could cause deadlock; fixed (867, 869)
- stop cancelling OST locks when files are closed (481)
- overlapping XID spaces caused network corruption (851, 853)
- fix unsafe fsfilt counter arithmetic; change to atomic_t
- setattr_raw added, to do single-RPC, server-side setattrs
- fix crashy race condition between ptlrpc_free_req and osc_close

merge b_devel into b_setattr.  highlights:
- kernel 2.5 and liblustre build changes
- fixes to Makefile.am for 7.3-era versions of automake, which is quite possibly
  the worst piece of software with which I come in contact on a daily basis
- small unlink fix

- rebase b_io against HEAD in preparation for the latest write cache code

initial check-in for SAN support. There's still not clean
stuff like mount option(data=writeback) of ost.