These update the patch files so that they apply cleanly in the
PNNL world.

Updated complete patch for hp-pnnl kernels.

Added a hp-pnnl-2.4.20 series to the kernel patchs and fixed up the patch
files to work correctly.

Fixed patch scripts so they can once again locate the patching tools.

This gives a good first shot at fixing the patch management issues:

 - we followed the instructions that are being posted on the wiki
   and wich were discussed this morning

 - patches are now fairly easy to create and update

the last merge b_devel to b_cray

Add in some missing bits to the vfs_intent patch (lib, exec).

One final fix for wantedi.

Fix context when not applying ext3-2.4.18-ino_sb_macro.patch

- fixup xattr patch slightly
- put old scripts back, the new ones have some problems

Fix typo in series file.

We already have patches/extN-wantedi.patch.

Add module.h include for proper EXPORT_SYMBOL() definition.

Add exports for xattr functions for fsfilt_ext3 to use.

Add several ext3 bug-fix patches from extN.
Add wantedi patch for recovery code.

Minor compilation fixes:
- add new do_truncate() parameter (called_from_open) to do_coredump()
- add definition of path_lookup_it()

Don't add xattr.o to export-objs twice.

Minor change to match patch submitted to l-k.

Remove need for whitespace formerly added by exports_hp.patch.

Add bad blocks allocation fix from extN (only used when on-disk data is bad).

Remove CVS tags from patch, so we don't get patch conflicts.

merge b_devel into b_cray

- add ext3 patches to the kernel patch instead of extN directory, and
  associated changes.  This branch will require a small amount of
  debugging, cleanup and some testing before landing.

another segfault fix

add iop_gone() to avoid segfault

re-organize the layout under liblustre

add rudiment I/O support

initially add open support. Now it didn't involed ldlm, just simply
create object on mds/ost.

fix according to changes in b_devel merged last time:
 - inter_module_get
 - generate_random_bytes

- patches for 2.4.20: vanilla with UML, chaos, redhat 9, and hp-pnnl
  ia64

update patches for 2.4.20.  The HP kernel might well work if we are lucky.
the redhat 2.4.20 kernel is next in line

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

merge b_devel into b_cray

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

Added mkdir and sys_symlink code. Removed problem of intent_release being
called twice each time.

- correct the llu_iop_lookup() with peter's help
- rename the prefix ll -> llu, avoid duplicated function name with llite

first peice of code glue liblustre with libsysio, and initial small testing
program

modification for liblustre compilation in windows

use older 4xslt syntax, for compatibility

b=1039
- ost failover is now an lmc option, and no longer a configure option.
  To enable failover  on an ost,  use the --failover flag when
  when the ost is created with with lmc.

    lmc --add ost ... --failover ...

b=1056
- --journal_size=SIZE lmc option is now available for both ost and mds.
  Note, the size is passed directly to the mkfs program, so you need to make
  sure it is the proper units for the file system being used. (mke2fs expects
  megabyets, mkreiserfs expects blocks)

b=965
- lconf gets a new option, --recover and will do recovery for a connection on the client

- fix bug reported by Morrone where a client would use the elan nid even
  when it wanted to use tcp. (untested)

- And the bulk of this patch is a consolidation of the command line processing
  for the python tools.  Now all options are displayed in the usage string,
  and includes the defaults if any.  It's also trivial to add new options now.

b=1035
if ll_inode_getattr fails in ll_extent_lock, don't clobber the 'rc',
because it makes its way all the way back to userspace

Checked-in by Peng Zhao.

openfile is used to enable scripts opening files with arbitrary combination of
flags and modes.

openfile.c and modified sanity.sh together handle bug894.1

bug894.2 is not handled yet. Need further feedback from Peter.

- remove unused ptlrpc_uuid2conn
- lose extra dlm-hook-put CERROR
- don't need to cleanup DLM ns or schedule when forcing disconnect: it's already
  cleaned up, or we don't get unmounted
- export and import extra-put assertion checking
- fix connection switching to work when we don't already have a connection created

pc file for Zach's truncate_complete_page() export patch

Add Zach's patch to export truncate_complete_page(); still needs an
hp-pnnl and vanilla equivalent

Fixed the patch for intent_release. After this fix lock refs are in order now.
Most of the metadata ops are working.

unlinkmany a-la createmany and statmany

- don't need to unregister the recovd, since it's gone
- class_destroy_import() is doing an import_put, so
  I removed an extra put from class_obd_cleanup().

Refreshed patche with intent_release calls

Fixing IT_GETATTR intents and many small changes.

- MDS/client open code changes, to open directories on the MDS.
- no more slab validation on the MDS

These are the kernel patches for Peter's open directory fixes.  Old
code can probably work with this (we'll allow it in through a small
change in obd_class.c)

I believe that this will fix the remaining threaded unlink issues, although
I wasn't able to get a chance to test it...

Basically, uncomment extN-delete_thread.diff in extN/Makefile.am and give
it a whirl under dbench and/or runtests or whatever, and if it passes we
are golden.

- move the xml/ldap handling class from lconf into an external module
- load_ldap.sh - loads a lustre xml config into ldap
- lactive - updates failover targets with new active devices

Patches for 2.5.63. This wont work until lustre is patched for 2.5.

Bugzilla 895

Delete thread patch.  First, tried to "fake out" the VFS by twiddling bits in
the inode to keep it around after it should have been destroyed, but no dice.

Then, I tried to allocate a "mock inode" and copy over the existing inode to
that and use it only for the unlink code.  Sadly, copying list_head,
semaphore, etc does not work, so you have to end up re-initializing the whole
thing anyways, and it would just break on 2.5 anyways.

Finally, I did the "right" thing - read the same inode into a new struct
inode with iget(), and then flag that inode for "real" destruction and
have the delete thread just do an iput.  Very simple, very easy.[*]

I also split the orphan list handling out of the superblock lock into
its own lock, so that we don't get stuck behind the delete thread (which
holds it for long periods doing truncates) when we are trying to add new
inodes to the truncate list.

This code passes basic acceptance testing under UML, but I'm not checking
in the Makefile.am changes that activate it until I give it a shot with
dbench 20 or "rm -r directory_full_of_large_files" so on DEV.  Other
people testing it is of course welcome (just add extN-delete_thread.diff
and ext3-orphan_lock.diff to the end of EXTNP).

[*] It reminds me about a story I heard once, where an engineer who had
    retired, but was on retainer for his old company in case they needed
    him for consulting.  Sure enough, the company's complex oil refinery
    was not working properly, and after the company engineers couldn't
    figure out what was wrong they called the retiree for assistance.

    The retiree walked around the refinery, asking questions, looking at
    valves and guages, etc., until finally he asked for a hammer, gave a
    pipe a swift blow, and told them to fire up the plant again.  Sure
    enough, all was working properly again, and the company was happy.

    Until they got the invoice - $25,000.  In an outrage, they called the
    retiree up and asked how he could charge $25,000 for just hitting a
    pipe with a hammer.  In reply, the engineer said "Hitting the pipe
    with the hammer was only $10, the other $24,990 was for knowing where
    to hit it."

Backport of bugfix from 2.5/2.4.21-pre5 which calculates the correct value
for the number of blocks to reserve for a truncate.  We were asking for 8x
as many blocks as we needed, although for large files this was capped at
EXT3_MAX_TRANS_BLOCKS anyways, so not much harm done.

Conditionally applied so when it appears in our upstream kernels we will
not die (when I commit corresponding changes to Makefile.am).

- b=959: add connection-switching to import recovery. (Not yet tested: one of
  my MDS nodes isn't coming up right now.)

Script to grab asm output and look for heavy stack (ab)users.
Could be improved a bit by having it take a list of files as args and
running objdump and then preceding each line with the filename, so we can
run it on modules more easily than having a shell script call a perl script...

add a extra param to mmap unless it always return error.

Bug 828 is fixed by Peng Zhao, arrpoved by Andreas.
runas.c allows the root to "runas" another user to do things.

Remove liblustre-build-breaking l_wait_event define, and get rid of wait_event
while I'm at it.

- b=977: C-z (and other non-fatal signals) send us into an infinite loop if
         we wait for recovery.  We now use signal blocking to prevent signal
         delivery until we're interested in some or all signals.

- b=988: umount -f hangs when MDS is dead

- b=722: Lustre kernel threads cause load average to skyrocket. (Still get
         a little boost from the socknal threads, but it's much better.)

oops, fix my last checkin.

fix IS_ERR macro: return 0/NULL is sign of success.

Completely untested (but compiled) port of noread-creates patch to
2.5.current.  I suspect it is OK, since the ext3 code hasn't changed much,
but needs testing.

- Remove the now-unnecessary connection chaining bits from imports and exports.

- In related news, always drop the exports' and imports' connection refs when
  they're destroyed.

- class_connect was leaking its "caller" (compare: "handle lifetime") ref to
  the new export.  We're going to try without the leak for a while, see how
  it goes.

- Bulk descs now have import and export pointers, so that they can play nicely
  with recovery.

- Clean, informative console diagnostics for recovery cases.  (Hi, Terry!)

- Do the ldlm-hook i_m_g/i_m_p based on emptiness of the conn_list, since it's
  far too late by the time the __exit routines run.

- Put an ugly-but-serviceable UUID in the server's connection's remote_uuid.

- Remember that we can already have an export in req->rq_export upon entry to
  target_handle_connect, if the client and server are the same node, and
  therefore share a handle table.

- Get rid of class_signal_connection_failure, which was vestigial at best.

- Welcome back to the world of connection-sharing.

- Call the upcall like:
  /path/to/upcall $FAILED_IMPORT_UUID $FAILED_OBD_UUID $CONN_UUID

- b=958: recovery per export/import, not per connection
  - no more recovd thread:
    - import failure and upcall-execution is done by the failing thread
    - export failure and client eviction is done by the thread that's going
      to be waiting for it to complete anyway
    - import reconnection runs synchronously in the context of the lctl
      invocation, which means that we can now return errors to the upcall
  - no more fancy recovery state machine
  - no more RPCDEV service

- b=954: zero-impact OBD_PING opcode for MDS and OST

- Grand Unified Theory of Client Recovery
  - mdc_recover/osc_recovery unified in ptlrpc_recover_import

moved procbridge.h to include/portals

fix make rpms, at least for me.
- new configure option:
--enable-efence: turns on -lefence support for liblustre
  This option is OFF by default, so rpms will build on a machine
  that doesn't have efence-devel.

- add liblustre to DIST_SUBDIRS

b=941: zab's fix for ia64 compiles. untested, but it does compile

one small modification for linking libtest

- fixes for builds of liblustre (leave out kernel include path)
- get ptlrpc working in the library

- push common ldlm_handle_foo_ setup paths into their caller so it can send
  the reply before descending into the callbacks
- avoid doing 0 len ll_brws in writepage by unlocking pages outside i_size

- minor build fixes for liblustre

Add patch for handling largefile growth bug.
Remove bogus warning case from Makefile for patch application, we already
do a bunch of conditional patch application stuff so use that.

- miniature buildfixes for liblustre.

Fixes to recovery-cleanup.sh.  We clean up pretty well, but the interrupted-open
case trips an assertion (bug 912).

Quick test for client cleanup while in recovery.

- bring b_devel changes into b_io in preparation for file size fixes

- store the FID for an open file in the request, so that replay can open by
  FID, in case the file has been deleted, etc.

- reconstruct replies for close (untested), link (tested), unlink (tested, but
  will leak OST objects until open-unlink works).

- quickie test program for link(2)

some fixes for compilation with linux2.5.59

Add return value to init_timer() to quiet compiler warning.

- to keep things tidy on the screen

fill in some sample code in libtest.c to demonstrate how to use
the ioctl dumps created by lctl.

Add a new test which compiles portals and lustre in a lustre mount.

- another day of good progress with liblustre.  We now have all the
  modules initialized, ready to start playing with lctl dumpfiles.

Landing b_malt onto b_devel
- move uuid and handles to lustre, with config changes
- b=204,667: fix router config so network interfaces can be
  created in any order.
- Make sure all the ioctl calls  in obd.c are packed.

- fix the uuid ioctls to work on the lustre side
- add IOC_PACK() to all the ioctls in lctl
- fix a format string in super.c
- rename IOCINIT to IOC_INIT, to match other macros
- looks ready to land on b_devel

update b_malt
- includes multinet diffs, which will are needed on malt

- completing the move of UUID registration from portals to lustre.
  Need to merge with multinet to finish this.

Untested implementation of reconstruct_getattr_name.
Test program for single invocation of GETATTR_NAME.

Deleting the dummy file.

This is a test file. We have been moved to behind a firewall, and we want
to ensure that we can perform regular CVS operations. Please excuse.

new files with api's we'd initially put in portals

- add new files move over from portals

a-m-double for 2 mounts

- the bulk of the build fixes for liblustre. Note
  that all user level programs now need to include
  <liblustre.h> (as is done in the utils and test
  directories.