*   iiblnd: drain disconnecting sockets

*   lnet: explicit configure/teardown for routers ("lctl network up" as well as
    "lctl network down").  config_on_load=0 is the new default (setting it
    effectively does "lctl network up" at module load time).

    Added "net" as an alias for "network" to lctl so you don't have to type
    "work" when you run "lctl net up" from the shell.

    Also fixed a couple of bugs which required lnet to be unloaded before it
    could be brought up again.

*   lnet routing: restored automatic route disabling when comms to a router
    fails (currently kernel elan and tcp only).

* Fix for redundant routing on Catamount
* Cleanup of some logging build warnings
* Some additional logging

fixes for nikita's inspection.

*    socklnd:  fixed my stupid blunder that could cause the assertion
     failure...

     LustreError: 20480:0:(socklnd_cb.c:788:ksocknal_launch_packet())
     ASSERTION(peer->ksnp_accepting > 0 ||
               ksocknal_find_connecting_route_locked(peer) != NULL) failed

*    iiblnd: fixed connection race and tested on boston, but didn't manage
     to exercise the race resolution code.

*   openiblnd: dropped unused 'rc' from kibnal_peer_connect_failed() to bring
    it into line with iib,vib.

*   iiblnd: coded connection race resolution

*    9561: completed connection race fix for socklnd

*   socklnd:
        fixed connection race that can occur with multiple routers

changed 'typed_conns' module parameter to RO

*   nidstrings:
        allow 0xnnnn parsing of numerical NIDs

libcfs_num_addr2str -> libcfs_decnum_addr2str (LO, QSW, PTL)
                               libcfs_hexnum_addr2str (GM)

*   gmlnd:
change from decimal to hex representation of GM addresses (they're the
lowest 4 bytes of the NIC's MAC address).

*   router:
        compare routers first on # uncompleted bytes, then credits
        for better load balance.

*   llmount:
        fixed error message (it's a NID, not a host)

        fixed bug in checking mdx & profile string lengths

*    Changed iiblnd to use Infinicon iba_xxx() API.

*    Changed iiblnd to post multiple work items in 1 go.

*     iiblnd fixes (mid-way through changing Infinicon API)

*     viblnd fix (tx_waiting not cleared on RDMA ops initiated on a new
      connection that fails triggers an assertion failure).

*     some prep for userspace ip2nets

*     router selection round robins if other selection criterea are equal

*     local_nid_dist_zero LNET module param for single-node LND testing.

*     reformat LNET /proc buffer displays

*     rename userspace tcplnd env params TCPNAL_xxx -> TCPLND_xxx

define PORTAL_SYMBOL_GET/PUT for userspace

b=8080
better errors for 2.4 module autoloading

Branch b_hd_newconfig
b=8080
add symlink from /proc/sys/portals to /proc/sys/lnet for old failover
scripts

* Fixed a few problems in ptllnd_set_txiov relating to iovec mapping
* Remove a "parania" LASSERT that was not valid for Cray Portals

* Fix case of PTLLND not being included because of incorrect #if value

* Fix XT3 build issues

*  Changed linking of userspace ptllnd to depend on HAVE_CRAY_XT3 rather than
   !HAVE_LIBPTHREAD.

*   First cut iiblnd (compiles but untested)

*   Removed #if LNET_SINGLE_THREADED and replaced with #if !HAVE_LIBPTHREAD

*   Fixed LND module descriptions to say LND (not NAL)

*   viblnd cleanups (removed unused struct members, fixed some formatting etc)

*   minor cleanup in text buffer allocations (lnet/lnet/config.c)

*   format string fix in klnd/ptllnd.c

*   fixed lustre/utils/obd.c to work without libpthread/fork (disables --threads)

* Rename max_immd_size -> max_msg_size to reduce further confusion, and align with Catamoun PTLLND

Catamount PTLLND now runs sanity

* Resolved a number of unitilized variables
* Remove unused plb_refcount
* ptllnd_close_peer() released ref (could have been last) and then touched peer pointer.
* .lnd_wait was not defined in ptllnd.c causing LNET to reject it as a valid LND in single thread environment.
* Incorrect check on buf->plb_posted caused assert to be triggered in destroy_buffer
* buf->plb_posted was never set to 0 on unlink causing infinite loop.
* plni_nposted_buffers was never decremented would hit ASSERT
* Portals NID was not retrivied, and LNET NID was not created, caused init failure.
* type == INVALID value cause active_rdma to always issue PtlPut()
* (CLEANUP) variable ni, masks parameter ni
* Credits not given to peer correctly in HELLO message.
* Credits never decremented
* Matchbits did not handle reserved properly
* Bulk MD/ME should be inserted BEFORE (PTL_INS_BEFORE) all the small message MD for performance reasons.
* Missing PTL_ACK_DISABLE
* HELLO Message payload was being swab'ed even when it wasn't supposed to be.
* Some complex syntax of x?yz comibend with to few parthensis was causing md.options to be set incorrectly and messages to be dropped
* MD options not set properly in ptllnd_active_rdma
* MD threshold calculation compares against invalid type
* ptllnd_recv() used rlen rather than mlen
* Fixes for max_immd_size being max message size, not max immidate payload size.

Branch b1_4_newconfig
Bah, shouldn't have committed this.

Merge b1_4_newconfig from b1_4 (20051014_0359)
Description: data loss during non-page-aligned writes to a single file from
     both multiple nodes and multiple threads on one node at same time
Details    : updates to KMS and lsm weren't protected by common lock. Resulting
     inconsistency led to false short-reads, that were cached and later
     used by ->prepare_write() to fill in partially written page,
     leading to data loss.
b=5047

Description: lconf --abort_recovery fails with 'Operation not supported'
Details    : lconf was attempting to abort recovery on the MDT device and not
     the MDS device
b=7047

Description: add support for EAs (user and system) on lustre filesystems
Details    : it is now possible to store extended attributes in the Lustre
     client filesystem, and with the user_xattr mount option it
     is possible to allow users to store EAs on their files also
b=8592

Fix sanity.sh test 56, 65a.

Branch b1_4_newconfig
Update the CDEBUG macros to match the current portals HEAD.  This
re-instantiates the CDEBUG_LIMIT() macro, and fixes liblustre CDEBUG()
from being a no-op.  Improving the CDEBUG_LIMIT() code is the subject
of bug 6411 and can be discussed separately.

Fix conflicting subsystem macros between HEAD and b_hd_newconfig.
b=6411

*    the userspace version of LIBCFS_ALLOC() stopped zeroing memory
     This was reported as bug 9506

* Now handle portals pid correctly (To support catamount clients)

Branch b_hd_newconfig
r=eeb
only drop self-reference on error, not already-initted return value

b=8076
update from b1_4

* weak alias doesn't seem to be working especially on the XT3 Catamount buid system.  Go to a more explict registration based on #ifdefs.

* Added include/libcfs/types.h to fixed XT3 (Catamount) build error (i.e. no "types.h" in that environmnet)

Fix problem for build usocklnd and uptllnd while with --disable-modules.

* Fix build problems on Catamount
r=eeb

* Fixed bug in liblustre that always caused LNET to fail to init
r=eeb

*    Candidate fix for 9470: changed LNET config-on-load (which is now the
     default) to actually spawn a separate thread to configure LNET since it
     looks like prepare/schedule_work() doesn't avoid the modprobe dealock
     always.

*   fixed 9468: problem with patch I submitted for 9414 (graceful
    handling of gid lookup failures).

* Fixed bug with unitilized data in plni

* Fix build error that got committed by accident
* Remove unused variable

* Add seperate thread for non-critical work
* Moved peer locks so they are not held with Ptl API calls are made
* Fixed location of returning credits and checking sends (to before lnet_parse()) is called
* Added TBD list

Update b1_4_newconfig from b1_4
Add add_conn back to lconf so failover works

* PTL_EQ_HANDLER_NONE not defined in standart portals (i.e. on Catamount XT3)

*    Added lctl commands...
         which_nid NID [NID...]        prints the closest NID
         list_nids [all]               lists local NIDs (all to include lo)

*    Stopped 'lctl network' from printing local NIDs when passed 0 args; this
     arg overloading was a bit hackish anyway.

* Fix XT3 build errors on Catamount (that were already resolved on Linux XT3 build) by making a common file that contains the necessary definitions.

*   Updated gm-reg-phys patch with the fix from Myricom that allows
    userpace programs to link again.

* Fix leaking MD on Put on sender side. Introduced when I added threashold +1 for get operations.  Which should only have been on the recv side.

* A few more stats to track MDs

* Cleanup a few ASSERTS

* Cleanup stats
    they are unsigned
    shorten names
    fix typo
    add new stat for credit noop msg

* Fix bug with bucket check rounding error

* Adjusted comment on PTL_MD_MAX_IOV now that I've got confirmation from Cray on this fact

* Remove unused code

*   correction to ip2nets matching code

*   Added the 'ip2nets' lnet module parameter.  It may be specified
    instead of 'networks', and it consists of a list of networks and IP match
    expressions.   If any IP addresses on the node match the IP match
    expression, the given network is added to the list of local networks.

    This (along with recent route table fixes etc) allows a single site-wide
    modprobe.conf

*   Included a recursion check in lnet_finalize().  Recursion through
    lnet_return_credits_locked() was possible if a set of blocked buffers
    suddenly all complete in-line (e.g. when a peer dies).  The recursion check
    limits the number of threads actually processing finalized messages to the
    number of CPUs.

*   Cosmetic changes to /proc/lnet/{buffers,nis,peers} to make the
    buffer/credit stats more readable.

*   Fixed configure-on-load (it used to deadlock in modprobe when lnet loaded
    LNDs) and made it the default.

*   Added a shell script 'lnetunload' to unload lnet and any loaded LNDs.

- Add new option --disable-libpthread while building of Lustre library
  usocklnd will not be built while the option is used.
- Fix build problem while no libpthread in system.
- Change configuration message to make it clear.

* Fix build breakage on XT3 introduced earlier today

* make scheduler threads balance rx and tx more evenly
* move peer allocation outside spin lock
* fix bug with irqs not being disabled on spinlocks that need syncronzation with callbacks

*    PTL_MTU,PTL_MD_MAX_IOV -> LNET_MTU,LNET_MAX_IOV

*    moved portals mtu and max iov out of lib-types.h into types.h so ptllnd
     can see PTL_MTU/PTL_MD_MAX_IOV

     CAVEAT EMPTOR: this might break ptllnd builds with non-lustre portals
     since these defines are not in the official spec.  Also, ptllnd really
     needs the underlying portals to cope with LNET's MTU and MAX_IOV; it
     simply asserts it currently.

*   cleaned up socklnd descriptor handling

*   More PORTALS -> LND renaming

*    Changed LNetGet() LNetPut() to include a source nid parameter
     Set this to LNET_NID_ANY to have the source nid set automatically,
     otherwise it checks that the destination is reachable from the given
     source NID and sends using that.   This ensures the source NID is
     deterministic in the presence of equivalent routes.

*    Changed LNetDist() to return the count of networks traversed rather than
     routers (i.e. 0 == local, 1 == local net, 2 == via 1 router etc).  It also
     returns a source NID (== NID of local LNET interface that will send).

*    Changed LNet() completion events to include the target process ID so the app
     can tell which NID the sender sent to.

*    Removed the 'implicit_loopback' lnet module parameter.  You have to use
     0@lo explicitly if you want loopback.

*    Changed lustre to remember the source NID returned by LNetDist() to ensure
     client requests always arrive with a consistent initiator NID.

*    Changed lustre to remember the target NID of incoming requests to ensure
     server replies are always sent with the same source NID that the client
     sent her requests to.

*    Changed lustre to use a NID of 0@lo if the distance to the target NID is 0
     (i.e use the loopback LNET interface when talking to local servers).

* Update license text for all PTLLND from phil's boilerplate

* Add eager_recv

*    minor build fixes for ulnds/ptllnd

* Add ptllnd.h to libptllnd_a_SOURCES

* Commit small patch for lnet to allow Lustre to build against a 2.6.12 kernel.
(From adliger)

*    first cut ulnds/ptllnd

Patch by Liang
1. lnet/ulnds/socklnd/debug.c will not be built anymore, lnet/libcfs/libcfs.a will be created while building of liblustre, functions in lnet/ulnds/socklnd/debug.c are moved to lnet/libcfs/debug.c.
2. LNET_SINGLE_THREADED will be assigned to 1 if no libpthread found.
3. usocklnd will not be built if no libpthread (I'm not sure if it's reasonable)

* Cleanup NULL ptr usage

* Complete the partial checkin of the MSG_TYPE_PUT typo.  The build works again.

*    fixed typo PTLLND_MSG_TYPE_PUT

*    Added check for non-deterministic routes

* Resolved "unload problem" due to PTL_MD_LUSTRE_COMPLETION_SEMANTICS not being specified explicitly when runing on Cray Portals.

* Removed TESTING_WITH_LOOPBACK (early unit testing code will never have any value in the future)

* Added more comments on the diffrences between Portals implemenations in the headers

*   Changed parsing of 'routes=' to allow routes via different networks with
    and with different hopcounts; it just uses the shortest hopcount.

    NB this still needs a change to LNet{Put,Get} to allow the caller to
    specify the source NI and for ptlrpc to use it.

*   forwarding="enabled" explicitly enables the node as a router
    forwarding="disabled" explicitly disables the node as a router
    otherwise if any of the node's NIDs are mentioned as routers in 'routes='
    the node is implicitly enabled as a router.

*   Added LNET_SINGLE_THREADED to tell LNET if the userspace runtime supports
    posix threads.

*   Added lnd_wait() to tell LNET that to call into the LND if the APP wants to
    block for an event.

1. Add now option --disable-usocklnd, to disable build & link of libsocklnd.
2. Smallfix for link of liblustre.a

* Fixed problem where struct iovec != ptl_md_iovec_t, causing >1 page PtlMDAttach() to fail with error 26.

* ptllnd stats via /proc entry
* a few more stats.

* Fix KIOV mapping when used with CRAY PORTALS
* Replaced KIOV mapping for LUSTRE PORTALS that was previously there.

* Invalid flags to cfs_mem_cache_alloc (Causd oops on XT3)

* Remove non compatible irqs_diabled(). Basically backing out the changes from last night introducing this.

* Fixed bugs in new lnet_[k]iov2[k]iov() that skipped fragments incorrectly.
  These bugs would manifest as data corruption or crashes.

* Reduced verbosity of router buffer allocation CDEBUGs

*    removed #include <asm/arch/system.h> from kp30.h

*    Fixed bug in lnet_send() that broke portals compatibility.

*    Fixed places where lnd_eager_recv() fails but lnet doesn't decref
     the relevant peer before freeing the msg.

* Use a real PID
* Fixed defect in a case were lock,action,lock, rather than lock,action,unlock
* Fixed locking in error path (x2)
* Use Cray SS IFACE type

* Fixed asserts

* Additional checks for correct locking

* Add support in for irqs_disabled() on all patforms

* Add additional asserts to check caller context

* Cleanedup send path
* Fixed lock being heald while calling lnet_finalize (only in error path)
* Fixed calls to kptllnd_peer_queue_tx_locked(), to actually hold the lock.

*   Moved some #defines out of klnds/ptllnd.h into a shared place

* Adjusted TX Pool to meet new LNET requiremenst (no blocking)
* Fixed bug with routed REPLY

* Fix a typo

*   Fixed LND registration / setting the_lnet.ln_init ordering

*    Added lnet/ulnds/ptllnd

*    Changed userspace LNET to register all LNDs it has been linked with
     and construct the default set of networks from them.

*    Added support for userspace LNET config via environment variables
     LNET_NETWORKS and LNET_ROUTES.  They work just like the kernel module
     parameters.

* Fixed dist problem with ptllnd_wire.h file that moved

* Fixed dist problem with missing file in libcfs/linux

*    fixed a ./config warning

*    moved klnds/ptllnd/ptllnd_wire.h into lnet/include/lnet/ so
     ulnds/ptllnd can get at it.

*    fixed/added some .cvsignore files

*    fixed ulnds/tcplnd to give itself some send credits

* Fixed some XT3 Compilation issues
* Clarified a few LNET vs PTL ambiguities
* Added code for mapping kiov -> iovec

b=7982

* Portals LND

* Undoing changes from the b_newconfig_rdmarouting landing that have negativily affected the ptllrpc build.

* Fix buffalo build error with removed file.

* Removed problematic building of ut (unit test tool) so we can move ahead with buffalo testing.

*    removed lnet_parse() rc ambiguity: 0 on success

b=7981

* Landing of b_newconfig_rdmarouting
* Passed sanity.sh
* 9348 is still open, but this landing hasn't introduced it.

* Fix incorrect path in godb file

* Fixed problem with distributed build.

* Add simple LNET unit test modules

* Fixed build warning (and possible 64-bit error)

b=8021

* Landing EEB's b_newconfig_rdmarouting branch