Fix for bug 1466, delete thread locking up machine during orphan recovery.

b=1397
- lconf creates a readonly connection to LDAP

Fix patches that were eaten by patch scripts.

Fix delete thread so that it doesn't sleep uninterruptibly and raise load avg.
Do not start delete thread if asyncdel mount option is not given.

- fix --select

Remove excessive use of macros in the new lprocfs stats counters.  This was
the source of one bug, and wasn't necessary.  Also a general cleanup.

Removed duplicate "read/write" counter, as this data will already be contained
in the "read/write_bytes" counter as the number of events.

Found out that lprocfs RPC counters do not work under UML, because
"get_cycles()" always returns 0.

Convert spaces into tabs for patch to apply cleanly.

*  Merged b_devel changes into b_eq (again).  b_eq and b_devel have same
   acceptance-small symptoms viz....

   1/ Need to sleep before lconf -d on llite client to ensure all
      connection refcounts are 0 (llmountcleanup.sh on b_eq has a 10 second
      sleep).

   2/ When running dbench 50, the OST complains about long-running
      obdfilter ops.  Eventually the MDS or OST will crash/hang.

Config support for the namespace mount option, Peter will fill in the
kernel details.

lmc --add mds ... --nspath /mnt/point
lmc --add ost ... --nspath /mnt/point

I added these options to local.sh, not sure if they need to be in
there permanently.

*  Merged in b_devel again

*  Merged latest b_devel

*  **** NOT TESTED ****

*   Single event queue per network interface.

*   Pre-allocated server requests, individually posted for receives
    Servers now configured by XXX_NREQ (# requests) and XXX_MAXREQSIZE
    (size of each replies buffer).

*   Asynchronous server-side reply completion/notification.  struct
    ptlrpc_reply_state objects splits off state reply so request can be
    reposted immediately.

*   exp_outstanding_reply now a list of replies

*   bulk descriptors sized so bd_iov can contain all the fragments.
    ptlrpc_prep_bulk_page() is now returns void (i.e. no errors; may fail
    an LASSERT if the bulk desc was sized incorrectly).

*   NOT tested saved locks yet; bringing up to date with b_devel first...

Add some comments to the iopen patches to make intended behaviour clear.

b_devel -> b_orphan merge for 20030610

beginning of multinet in lconf
 - start the acceptor on gateways
 - use mynid for all network types
 - many routing code cleanups
 - experimental support for cluster id

merge from b_devel -> b_ad
  DEVEL_AD_PARENT_20030526 -> DEVEL_AD_PARENT_20030605

Large, squirrelly merge. It mounts, and acceptance_small.sh finishes
the test and then fails in cleanup, just like b_devel.

Merge from b_devel -> b_orphan
  DEVEL_ORPHAN_UPDATE_PARENT_20030528 -> DEVEL_ORPHAN_UPDATE_PARENT_20030604

This is a non-functional commit, with osc/osc_request.c not compiling because
it is missing the "llog_commit_master" data struct, and does not have any
commit threads started yet.  I'm beginning to think the right thing to do
here is to create a single global llog_commit_master struct for the OSC, and
start a single thread at module setup time, and clean it all up at module
unload time, but I could be convinced otherwise.

fix the a flaw in iopen-2.4.18.patch

Remove bogus extra arg from delete thread warning message.

Include the EXT3_MOUNT_ASYNCDEL addition from ext3-delete-thread into the
context of the iopen patch (as it is in the 2.4.20 version), otherwise the
iopen patch fails to apply.

Add THREAD_NAME compat macro, to remove duplication of UML thread-name stuff.
Make list_move() available if not defined (based on presence of
list_for_each_entry(), which is also defined in 2.5).

add jdike-2.5.69-uml.config

add check_get_page in i386 arch

More from b_devel->b_orphan merge (I guess I didn't commit anything last night).
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

More from b_devel->b_orphan merge.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

More from b_devel->b_orphan merge.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

Merge b_devel->b_orphan:
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

[TCPNAL]: make tcpnal_recv() could handle multi-iovectors.

[TCPNAL]: make tcpnal_send() would send large buffers array.

Minor change to noread patch (was missing fix from not-yet-working 2.5 version).

get b_ad compiling after the b_devel merge.
- move the possibly broken waitfor_one_page to one place
- o_mtime is seconds, that's what ll_ts2u64 returns.  s/%Lu/LPU64/
- get rid of client_tgt2uuid2obd copies, export it from obdclass
- move client_obd_{setup,cleanup} into obdclass, export, kill dupes
- remove empty ptlrpc_lib
- get rid of random sanobd dupe in lov
- hoist ll_alloc_brw out of a kernel version ifdef
- no, seriously, unsigned long flags.

- Commit wangdi's configure macro for detecting 2.4.20-rh (with backported 2.5
  structure changes)
- move the signal compat macros to a new portals_compat25.h
- use them everywhere for 2.5.x and 2.4.20-rh

- bring recent b_devel changes into b_ad, only minor corrections needed.  the
  only significant of which was making sure changes in super.c made it to
  b_ad's llite_lib.c

fix portals/archdep.m4

b=1173
Remove all files from lib/, put the functions into various other
modules as appropriate, and remove the bits to create the symlinks.
Tested in UML and lightly on dev.  Builds, inserts, mounts.

Mostly working full cookie create-send-cancel cycle for MDS unlinks.
MDS now establishes a connection (LOV only, getting UUID from LOVDESC pending
  bug 1280 resolution).
We cannot clean up as a result of this (MDS->LOV connection).  Might be
  possible to fix by changing cleanup order so we do llite/mdc/mds cleanup
  before lov/osc/ost cleanup.

fix for build portals in user space

*   Added portals + lustre wire constant and struct size/offset assertions

*   Added portals + lustre wirecheck programs to generate these assertions
    on the reference platform.

merge b_devel to b_eq since there are problems with old b_devel
  DEVEL_EQ_UPDATE_PARENT_20030523 -> DEVEL_EQ_UPDATE_CHILD_20030523

Merge b_devel -> b_orphan.
  DEVEL_ORPHAN_UPDATE_PARENT_20030522 -> DEVEL_ORPHAN_UPDATE_PARENT_20030522

merge b_devel to b_eq:
  DEVEL_EQ_UPDATE_PARENT_20030521 -> DEVEL_EQ_UPDATE_CHILD_20030521

Remove bogus local function prototypes that were causing me grief.
Fix header mess as necessary to be able to compile.
Most of MDS unlink cookie generation complete.
Remove some local variable declarations that are only used in debug messages
  that appeared when compiling with CDEBUG() as a no-op (reduce stack usage).

- Update kernel patchs to work on hp4_pnnl6.  Note that a new branch of
dev_read_only was made.  dev_read_only_hp can not longer be used
because multiple other series (not the hp ones) now use it and regularly
update it in conflicting ways.

merge b_devel into b_eq:
  DEVEL_EQ_UPDATE_PARENT_20030519 -> DEVEL_EQ_UPDATE_CHILD_20030519

only resolve confliction.

merge b_ad (cleaned up a bit) into b_devel; entirely 2.5 compat fixes

the chaos kernel can use the iopen-2.4.18.patch

land b_proto on b_devel:
 - major rework of the rpc and bulk APIs, lots of new assertions and cleanups
 - many rpc and bulk bugfixes, including bugs 937, 1057, 1072, 1162
 - perform brw and getattr operations to multiple OSTs in parallel
 - all bulks are tied to exactly one request; multiple requests can be
   tied to a single request_set

landing b_open onto b_devel:
 - kernel patches for bug 1203
 - fixes directory open()s
 - re-enables metadata caching on the MDS
 - fixes bug in ext3_noread kernel patch
 - fixes some symbol export problems in other kernels
 - fixes compilation problems when running on Red Hat 2.4.20 kernels

If you update past this merge, you will require kernel version 18

- remainder of the b_devel into b_open merge.

Added lprocfs counters for obd_ops stats, obdfilter and ptlrpc services. Bugzilla#1107.

Merge b_devel (ORPHAN_BASE6 -> ORPHAN_BASE7) to
b_orphan (DEVEL_ORPHAN_UPDATE_CHILD_20030514).

Update the .pc to match the renamed patch

b=1046

update the config version.

b=1046

- add a new argument to upcalls. The first argument identifies the reason
  of upcall.  The upcall script path is now /proc/sys/lustre/upcall, and the
  config option has changed from --recovery_upcall to --lustre_upcall.

  Current lustre upcall types and arguments:

    FAILED_IMPORT tgt_uuid dev_uuid net_uuid
    RECOVERY_OVER dev_uuid

- The config tools also support the new --portals_upcall, and both of the
  upcalls can be set to the same script with the --upcall option.

  There is only one portals upcall type:

    LBUG filename function line

- applying uml-2.4.20-4 to vanilla 2.4.20 makes kernel non-compilable for i386

- core UML patch

- add ptlrpc_dump_connections() for debugging ldlm cleanup problems
- cleanup the import's export ptlrpc_import_connect if the connect fails.
  this prevents an obd_refcount clean on the client during a failed mount.

b=1215
r=shaver@clusterfs.com

- add obd_refcount, and use it to ensure the device not being used
  during cleanup. If --force is used, then cleanup will set a stopping
  flag on the device, disconnect the exports, and then wait until
  the device is unused.

- removed class_disconnect_all and moved/renamed forcibly_detatch_exports
  to class_disconnect_exports.

- ptlrpc_import_disconnect now disconnects imp_export

- if --failover, then filter cleanup will not delete files marked
  for delete on close.

- manage imp_active flag in ptlrpc_set_import_active

b=1026
r=adilger@clusterfs.com

- add initial support for creating client connections on the MDS,
  configs will need to be recreated. (The version has been updated
  to force this.)

- create a new config object, "filesystem" which represents a
  specific filesystem.  In the zero-config future, the MDS will be
  need to be aware of what filesystems it "owns," so this is perhaps one
  tiny step in that direction.

add config-linux-2.4.20-uml

add uml.spec

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

fixed -ESTALE bug in vfs_intent-2.4.18-18.patch (already fixed in other
vfs_intent patches)

remove exports_2.4.20-rh.pc, which can be replaced by exports_hp_2.4.20.pc

remove exports_2.4.20-rh.patch, which can be replaced by exports_hp_2.4.20.patch

add ext3-noread-2.4.20.patch

- fixes to b_open
- new UML patch 2.4.20-4 which works with Red Hat 9
- minor fixes to handling handles in open/close to avoid oopsing
- fix erroneous mds_mfd_put in mds_open
- fix the CVS tests added to sanity

- the tests exposed more problem in this branch, probably related to
  the lack of a file handle cache. Only good parts of the branch will
  be merged.

Merge from b_devel to b_orphan (ORPHAN_BASE5 -> ORPHAN_BASE6).

- this is a reconstruction of b_kernel and a merge from current
  b_devel (as of OPEN_BASE).  Due to tag confusion we had to do this
  by hand.

- DO NOT USE B_KERNEL, MAIL DIFF's TO PETER & PHIL

merge b_devel into b_proto
from DEVEL_PROTO_UPDATE_PARENT_20030502 tag on b_devel
  to DEVEL_PROTO_UPDATE_CHILD_20030502 tag on b_proto

Adding it to b_devel too.

b=1178
Preparations for removing unused "addr" from lustre_handle

- merge b_devel into b_proto
- simplify the check_set/set_wait logic a bit

Merge from b_devel -> b_orphan (up to ORPHAN_BASE5 tag on b_devel)

b=1075
* added --failover option to lconf and lctl cleanup
* failover flag added to obd_disconnect and obd_cleanup
* if failover ==1, then MDS and OST will not update the client
  state in last_rcvd.
* Also changes to lconf to add the --group support to MDS.

b=1075
  If a reply comes back with -ENOTCONN, then this means that we've
  either been evicted, or the device has been removed from the
  server. First attempt to reconnect, then call the upcall and attempt
  recovery.

Fix build: ldlm_hooks_referenced wasn't defined or set.

b=1111
- add ptlrpc_ldlm_hooks_referenced(), so we can determine in
  ldlm_cleanup if "force" is needed
- add a little bit more debug information to hunt connection leaks

Merge b_devel changes into b_proto

b=1075
  The config part of failback.  Lconf now supports --group for setup and
  cleanup.  If --group is used,  lconf will only setup/cleanup the
  devices that are in the group AND are currently active on this node. Lconf
  will still setup the modules needed by the devices (networking, routing),
  but cleanup will leave these untouched if there are still other devices
  left after cleaning up the group.

* small fix enable config version support in ldap

- add verison to config, so lconf can make sure the xml/ldap was created
  by a compatible lmc.

- recreate clients if remounting

[liblustre]:
 - initial support symlink

[liblustre]:
 - add support to mkdir

[liblustre]:
 - support setattr. but currently we don't involved any locking, thus
   contains ugly workaround, maybe totally wrong.

- merge b_devel into b_proto (incl b_swab changes)
- fix leak-all-bulk-pages bug
- Mike fixed a bug where a failed ptlrpc_queue_wait send buf would
  fail, but the user would still have to wait for the timeout to pass
  before being able to interrupt

b=1111
- Pass 'force' down to all of the cleanup methods, instead of just
  having special meaning for exports
- in ldlm_cleanup, if forcing, remove the ldlm hooks from ptlrpc so we
  can unload the ldlm module

b=1084
* add a --group=tag option to mds and ost devices, so related devices
  can be failed over together.
* rewrite lactve to failover a specific device group, instead of all
  devices on a node.

[liblustre]:
 - do proper cleanup with an inode is about to be destroyed

[liblustre]:
 - add inode operation close()

[liblustre]:
 - actually retrive stripe ea data from server
 - fix logic in name resolution, save fid for each file

[liblustre]:
 - add a fake ioctl which could dump mount options to file
 - sysio_mount use UUIDs from the mount options
 - minor fix for pnode count

[liblustre]: now we don't need the syscall workaround in libsysio anymore

[liblustre]: following the recent libsysio changes.

fix cut and paste braino

[liblustre]: must feed NULL-terminated string to mdc_getattr_name()

land b_cray on b_devel

*   Landing b_swab

merge b_devel into b_cray

merge b_devel into b_cray

- set_osc_active becomes ptlrpc_set_import_active (though it still only works on
OSCs) and is automatically called for non-recoverable OSCs before we invoke the
upcall. (part of b=1038)
- When aborting recovery, shut down the recovery timer, abort the recovery
queue's requests, and don't do it twice.
- Make sure we call obd_disconnect correctly for all non-lctl imports when
aborting recovery or forcing shutdown, so that we don't leave the last_rcvd bits
around for the next time.
- Fix leak of last_rcvd-spawn exports (every one!).
- Get and put exports for recovery-queued requests and replies, so that
  we don't race badly with teardown.