b_orphan builds again; now for a some testing

*   1439 fix

Fix patches that were eaten by patch scripts.

NFS export patch for lustre
1) Patch is updated with review comments
2) All Connectathon tests passes except bigfile(30 MB)test

Fix delete thread so that it doesn't sleep uninterruptibly and raise load avg.
Do not start delete thread if asyncdel mount option is not given.

haven't even tried to build, but getting closer:
- move the recovd_thread to ptlrpc, because it uses ptlrpc functions
- have one global llog_commit_master, in ptlrpc

[liblustre]: add script to generate libraries

These patches bring mcore style dumping to 2.5 via lkcd.  Suparana did this
work a while back and committed it to lkcd.  She describes the
functionality in http://lwn.net/Articles/22085/ before it was committed.

The patches aren't added to a series/pc quite yet as they're against the
stand-alone 2.5.69 tree.  But they give an idea of what is required and
needed to be recorded somewhere.

b=1383
r=robert

- a less invasive way of propagating OBD_MAX_IOCTL_BUFFER. Still set by passing the --with-obd-buffer-size=[size] arg to configure

*  Merged b_devel changes into b_eq (again).  b_eq and b_devel have same
   acceptance-small symptoms viz....

   1/ Need to sleep before lconf -d on llite client to ensure all
      connection refcounts are 0 (llmountcleanup.sh on b_eq has a 10 second
      sleep).

   2/ When running dbench 50, the OST complains about long-running
      obdfilter ops.  Eventually the MDS or OST will crash/hang.

Script from Evan (with tweaks) for loading modules into crash, if the
"mod -S" command does not work (e.g. if the modules have been moved).

[liblustre]: add back missing files, update test code

[liblustre]: again add back liblustre.c

Stabalize the clump paths by clamping the number of pending sets and
cleaning up the sleeping logic.  Also tie in ll_readpage.   Now to start
profiling and tuning this..
- record the rw mode in llwp so completion knows what to do with the pages
- introduce a simple little 'page list' data structure that uses page->private
  to chain pages off llis in fifo order
- have both read and write plists in the lli
- get rid of the old unused work_pending member
- always put the lli back on the list in _give_plist so that we don't
  lose llis
- introduce a 'new_arrival' member so lliod can only come out of l_wait_event
  when new material arrives
- pass rc into llwp completion so we can make use of it someday
- move the concurrent set checks into the set building loop, duh
- add some debugging here and there

checking statfs cache expiration in obd_statfs

Change ia64 to compile with -g instead of -gstabs now that we are using crash.

*  Merged in b_devel again

updated lstat utility
Changes:
1. Summary info for client lproc tree
2. added "--all" option to print the contents of lproc

- fix compilation of liblustre, not test yet.

more extN cleanup

Remove use of local stack variables (size, ptr) for {PORTAL,OBD}_{ALLOC,FREE}().
I think these were intended to avoid doing multiple evals of math/function
calls for the size, but all of our usage so far is passing in a constant
or a variable that has already computed the size.

By reordering the *_FREE() macros slightly, we do not need to store the size
of the free in a local stack variable either.  We have to be careful though,
because "size" may be part of the struct we are poisoning/freeing.

Bug#1380-added to read /proc/fs/lustre*/stat in obdecho, obdfilter, llite

*  Merged latest b_devel

*  **** NOT TESTED ****

Disable zerocopy by default while kernel symbols get straightened out.

Use GFP_NOFS in portals, so that we don't call into the filesystem to try
and free memory when we are trying to send an RPC for a write (which is
trying to free memory).  With this change, we can now run dbench and iozone
on a single UML again.  Of importance is the addition of sk->allocation to
socknal.

Fix the socknal TCP zero-copy detection. "zercopy" does not a SOCKNAL_ZC make.

remove 2.4.19 hp patch

remove 2.4.19 hp patch

Add fixed from MDS for bug 1403 to obdfilter also.

Make mds_client_add() and filter_client_add() more closely resemble each
other (one day we may want to move the last_rcvd handling from mds/obdfilter
into some common code in obdclass or something).

Fix compile warnings on ia64 (especially the many, many in wirecheck.c).

Fix lock ordering deadlock on the MDS when clients are connecting at the
same time that regular MDS operations are ongoing.

Fix braces around math, so GCC doesn't complain on ia64.

b=1228
More debugging: pass the real inode down from ll_clear_inode, so we
can determine in cancel_unused whether the lock's data pointer is wrong

Go back to STACK_SIZE - frame_address() now that we use __builtin_dwarf_cfa().

*  fixes for multinet

- This brings 2.5 forward to pass most, but not all of sanity.
  A few problems remain with dangling symlinks.
- Mostly this is a fairly dramatic simplification of many issues,
  maybe not possible like this in 2.4.

Quiet compiler warnings in portals.  Basically, just pass void parameters to
match the function pointer declarations and cast back to the original type
inside the function.

Allow runvmstat to log to a file for perf monitoring.
Add a similar logging obdstat script also.

*  Added (cluster-wide) NID offset capability to qswnal

*  Made lctl::mynid accept NIDs specified as a hostname string, a.b.c.d IP
   address, %i and %x (just like the routing commands).  This command now
   works with the qswnal, to tell it its cluster-wide NID offset.  Temp
   hack in lconf to actually do this function when network is 'elan' as
   well as 'tcp' or 'toe'.

*  Added lctl::shownid (no args) to print the NID

merge from b_devel -> b_ad
  DEVEL_AD_PARENT_20030526 -> DEVEL_AD_PARENT_20030605

Large, squirrelly merge. It mounts, and acceptance_small.sh finishes
the test and then fails in cleanup, just like b_devel.

plug into ->writepages so the vm can send us batches of pages for writeback.
In the process we make ->writepage non-blocking and hand writeback off to a
single worker thread.

we build a singly linked list of pages off of lli as writepage receives them.
when our writepage or writepages decides it wants to start io it puts the lli
into a list for the writeback thread (lliod) and wakes it.

- make llwp allocing and freeing a little more regular
-
- introduce lliod, putting its control state in the super block.
- ad ll_info2i() so that lliod can find the inode from the lli
- abstract out what 2.4 and 2.5 have to do to end writeback on a page
- consolidate initialization of lli into one place
- move set_page_clean to above the only place it was used

__arch_ia64__ is apparently not set, so we were hitting the gcc bug
and eating enormous amounts of stack on ia64.  Changed to __ia64__

make the portals' definition of USERMODEHELPER blocking, too.

b=1400 timeout causes crash.
 vfs_fstat should call intent_release before fput, and only if f != NULL

add ext3-2.4-ino_t-2.4.19.pc

add ext3-2.4-ino_t-2.4.19.patch

fix a flaw in iopen-2.4.19

add ext3-orhan_lock-2.4.19.pc

add ext3-orphan_lock-2.4.19.patch

add ext3-delete_thread-2.4.19.pc

add ext3-delete_thread-2.4.19.patch

Put an obd_ucred struct in the mds_update_record struct so we can pass it
directly to push_ctxt().  This saves allocating an additional obd_run_ctxt
struct on the stack in mds_reint_rec() (in one of the major stack using paths).

Make LBUG() just a special case of LBUG_WITH_LOC().

Remove bogus extra arg from delete thread warning message.

Include the EXT3_MOUNT_ASYNCDEL addition from ext3-delete-thread into the
context of the iopen patch (as it is in the 2.4.20 version), otherwise the
iopen patch fails to apply.

- intent fixes for exec.c
- it->disposition status fix (should be backported, sent email to
  it->phil)
- pick up Alex sunrpc fixes.
- redo ll_follow_link for 2.5

- net/sunrpc/rpc_pipe.c didn't pass 3rd argument to lookup_hash()

Implement cancel thread:
- we only start two threads to begin with
- new threads are started if it is possible that all threads will be blocked,
  up to a predefined maximum number of threads (should be ~num_osts)
- cookie pages are kept in a pool (refilled by the threads normally), but if
  the pool is empty and we need a page we try a GFP_ATOMIC allocation
- donot block the cookie commit callback when sending log cancels

Todo
- start up first commit callback thread on the MDS
- figure out where to stash llog_commit_parent pointer (ideally in MDS, since
  it is the one who will be allocating it and starting the thread, but we
  need it when sending the cancel cookies).  Parameter to obd_log_cancel?
- clean up all commit callback threads at shutdown
- emulate "no recovery" behaviour of osc_brw_prep_request()/osc_brw_internal()
  so the cancel thread can detect OST failures and start MDS<->OST recovery

add ext3-delete_thread-2.4.18.pc

add ext3-delete_thread-2.4.18.patch

add --force to cleanup in the clumanager service script.
 i think that is also necessary now.

- many further changes to clean up intent handling
  - indicate clearly to the FS when the last component is hit in
    lookup with an nd flag LOOKUP_TAIL
  - change prototype of lookup_it and revalidate_it to have struct
    nameidata *  for this reason.
- upshot: createmany works, finally!

remove config-2.4.18-linux-2.4.18-p4smp-52chaos

remove config-2.4.18-linux-2.4.18-i386-52chaos

add config-files

update invalidate_show again for 2.4.20-9; 2.4.20-8 is no longer supported.

- more 2.5 cleanups:
  - initialization function for intents
  - remove d_it
- clean up llite accordingly
  - multiple mcreates now work

- print the error code if portals_do_debug_dumplog fails
- demote "mmap readpage - check locks" message to a CDEBUG
- don't try to set mtime on OSTs if there's no LSM (file not yet opened)
- print which client (nid) returned an error from a blocking AST

b=1384
r=braam
Clear supplementary groups in push_ctxt (restore in pop_ctxt), to
avoid inheriting all supp. groups for all operations.

- remove unused references to d_it etc.
- make fixes for getattr and setattr methods

- Makefile for tests

- NULL d_it in the 2.5 LL_SAVE_INTENT macro
- get rid of the early ll_intent_release EXIT, it should be fine now that
  d_it is always null..
- bring the 'called from open' argument to 2.5's do_truncate so mdc_reint
  and mds_reint don't deadlock on O_TRUNC

Bug1275 - enhance debug_daemon to dump out previouse log, as debug_daemon, on starts up

- retore -O2, it really doesn't work without it.

- fixes to yesterday morning's check in: fix broken vfs_create_it

b=1378: (bizarro-twin of 1272, also DBA 1366) --force again means "don't talk to
        the servers" when shutting down, regardless of recovery state.  (This
        will go back to a try-once mode after the pinger appears.)

- fixes for open, it _may_ just work now, but I suspect that we also need to
  give the open method itself a nameidata as a parameter to pass the intent
  (we no longer save intents in 2.5)

- some fixes to the patches: the scripts have a problem, poppatch works too
  easily.

- Zach over to you for the night / day shift!

[liblustre]:
 - various fixes, mostly related to intent. Now iozone and IOR2 could
   run again.

- add new patch for the VFS race conditions we are fixing.

- continue to reorganize the patches

add tcp-zero-copy patch

add tcp-zero-copy patch

rename tcp-zero-copy-2.4.18.patch tcp-zero-copy.patch

fix a flaw in invalidate_show-2.4.20-rh.patch

add include to extra_dist

More fixing for recovery-small/b=1300:

 - fix type of o_destroy_export

 - getattr reconstruction can't rely on the mcd or exp_outstanding_reply,
   because getattrs no longer have transnos.  Happily, they don't need to.

 - reconstruct_open doesn't need to worry about the lock enqueued on the
   client's behalf, because we already fix all that up in
   fixup_handle_for_resent_req -- and it really doesn't need to LBUG.

Fix for MCR's MDS-side recovery LBUG today: pack a reply to send when aborting
queued recovery requests at timer-expiry.

When we fail an LASSERT, call the LBUG upcall with the location of the
assertion, not the constant-and-useless location of kportal_assertion_failed.

b=1300: Factor disconnect into disconnect and destroy_export, so that we can
        delay freeing of export-specific data until all in-play requests have
        finished with it.

Removed an assertion in ptlrpc_abort_reply: if we just skip sending the reply,
it's OK for rq_want_ack to still be 1 when we fail to unlink the MD.

A little bit of debugging for the waiting-lock list.

$FSTYPE for recovery-small.sh.

The latest RH 2.4.20 errata kernel (-9) breaks the invalidate_show
patch; here is a new one.

More from b_devel->b_orphan merge (I guess I didn't commit anything last night).
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

Reduce CHECK_STACK, CDEBUG and RETURN stack usage (caused by GCC 2.x bug) -
  this uses __builtin_dwarf_cfa() to get stack depth on ia64 which is
  _supposed_ to be much better than __builtin_stack_frame(), but if problems
  appear on ia64 again we can just live without stack info for now.
Add optional no-op CDEBUG/ENTRY/RETURN macros (improves perf noticably).
Remove some CVS $Id tags (might be some initial merge conflicts from that,
  but saves us more in the future).

fix a flaw in hp-pnnl-2.4.20

[liblustre]: add and open reference count, to handle the multiple open case
which is not handled by libsysio.

- most of the non-intent operations implemented.
- open is next.
- started splitting the patch in small parts for Linus

Merge b_devel->b_orphan:
  DEVEL_ORPHAN_UPDATE_PARENT_20030522->DEVEL_ORPHAN_UPDATE_PARENT_20030528

b=1352

- removed extra class_disconnect
- renamed conn parameter to class_import_{connect,disconnect} to
  dlm_handle.

Remove lib/simple.c functions from ldlm/ldlm_lib.c into obdclass/simple.c
Remove duplicate declarations of client_obd_{setup,cleanup}() in ldlm/ldlm_lib.c
Remove duplicate declarations of client_sanobd_setup()/path2dev.

b=1348
r=shaver

- send correct handle during reconnect.
- the client now cleans up the dlm export with class_disconnect()
- removed remaining references to imp_export, as it was unused
- fixed ptlbd to use new connection protocol
- rename ptlrpc_import_{connect,disconnect} to client_import_*
- cleaup debugging messages

Replace explicit strcmps with obd_uuid_equals.

Replace (most) literal "OBD_CLASS_UUID" string use with a shared lctl_fake_uuid
structure.

Fix leak of reqmsg for delayed replies that are aborted (such as when recovery
times out after some clients have completed their replay).

b=1300: When we drop a reply due to obd_fail_loc, wait for ack-or-commit.
        Also, find locks for resent lock enqueues without use of
        exp_outstanding reply, which may well be long gone.

Send the right handle for reconnect (not the portals_handle, which has h_link
where we want to find a cookie, etc.).

Don't allocate transnos for requests that already have them (read: requests that
are being replayed).

- a few fixes to get mount close, but not quite working.

rename some patch