add vfs_intent_hp_2.4.19.patch

Work-in-progress checkin of recovery logging.  Not even compiling yet.

Work-in-progress checkin for logging code.  Not even compiling yet.

comment out the warning line in top_current_warn

add check pc file before add one patch to fix the flaw of poppatch

add the check-pc-match

- add the fixes with correct pc files

- forgot a parameter in truncate

- small error in intent patch fixed
- add a cvs test to sanity
- update the UML config file, it's still wrong

- fix a lost fix for exec.c

add xattr in fs/ext3/Makefile

Change obdfilter/fsfilt code so that preprw/commitrw can be called from
within a nested journal transaction.  This will allow us to log from the
MDS to a local obdfilter transactionally.

Initial versions of Peter's commit logs/daemon code.

add vfs_intent-2.4.20-rh

add patch vfs_intent_2.4.20-rh

add the directory of config and spec file

add tmp uml-patch-2.4.20

for signal panic of 2.4.20 uml

add a tmp patch of uml-2.4.20 for panic

Add an old version of the TCP zero copy patch for zero-copy socknal.  Having
it in lustre instead of portals probably isn't idea, but this is where we do
our kernel patch management from.

I'm not sure which exact kernel this was generated against, nor do I have any
idea on how much this part of the code changes between kernel releases.

fix a flaw of function do_coredump in fs/exec

- initial version of cluster manger service script

Not sure how this got into CVS.

Fixes to make compile on HP PNNL kernels.

Merge from b_devel.

- another minor fix to forkpatch
- add missing sum-series to poppatch

- fix forkpatch, it had two bugs:
  - copying over the symlinked series file removed the file
  - basename should have been stripit.

- revert some changes Matthew made

Add 2.4.20 UML support to ptlrpc/pinger.c.

These update the patch files so that they apply cleanly in the
PNNL world.

Updated complete patch for hp-pnnl kernels.

Added a hp-pnnl-2.4.20 series to the kernel patchs and fixed up the patch
files to work correctly.

Fixed patch scripts so they can once again locate the patching tools.

This gives a good first shot at fixing the patch management issues:

 - we followed the instructions that are being posted on the wiki
   and wich were discussed this morning

 - patches are now fairly easy to create and update

the last merge b_devel to b_cray

Add in some missing bits to the vfs_intent patch (lib, exec).

One final fix for wantedi.

Fix context when not applying ext3-2.4.18-ino_sb_macro.patch

- fixup xattr patch slightly
- put old scripts back, the new ones have some problems

Fix typo in series file.

We already have patches/extN-wantedi.patch.

Add module.h include for proper EXPORT_SYMBOL() definition.

Add exports for xattr functions for fsfilt_ext3 to use.

Add several ext3 bug-fix patches from extN.
Add wantedi patch for recovery code.

Minor compilation fixes:
- add new do_truncate() parameter (called_from_open) to do_coredump()
- add definition of path_lookup_it()

Don't add xattr.o to export-objs twice.

Minor change to match patch submitted to l-k.

Remove need for whitespace formerly added by exports_hp.patch.

Add bad blocks allocation fix from extN (only used when on-disk data is bad).

Remove CVS tags from patch, so we don't get patch conflicts.

merge b_devel into b_cray

- add ext3 patches to the kernel patch instead of extN directory, and
  associated changes.  This branch will require a small amount of
  debugging, cleanup and some testing before landing.

another segfault fix

add iop_gone() to avoid segfault

re-organize the layout under liblustre

add rudiment I/O support

initially add open support. Now it didn't involed ldlm, just simply
create object on mds/ost.

fix according to changes in b_devel merged last time:
 - inter_module_get
 - generate_random_bytes

- patches for 2.4.20: vanilla with UML, chaos, redhat 9, and hp-pnnl
  ia64

update patches for 2.4.20.  The HP kernel might well work if we are lucky.
the redhat 2.4.20 kernel is next in line

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

merge b_devel into b_cray

landing b_recovery on b_devel

* bug fixes
 - imports and exports cleanup too early, need refcounts (349, 879, 1045)
 - per-import/export recovery handling (958, 931, 959)
 - multiple last-rcvd slots, for serving multiple FSes (949)
 - connections are again shared between multiple imp/exports (963, 964)
 - "umount -f" would hang if any requests needed to be sent (393, 978)
 - avoid pinning large req buffer by copying for queued messages (989)
 - add "uuid" to "lctl device" command to help upcalls (991)
 - "open" RPCs with transnos would confuse recovery counters (1037)
* major user-visible changes
 - fail out/fail over policy now controlled by the upcall (993)
* protocol changes
 - add OBD_PING to check server availability and failure (954)

Added mkdir and sys_symlink code. Removed problem of intent_release being
called twice each time.

- correct the llu_iop_lookup() with peter's help
- rename the prefix ll -> llu, avoid duplicated function name with llite

first peice of code glue liblustre with libsysio, and initial small testing
program

modification for liblustre compilation in windows

use older 4xslt syntax, for compatibility

b=1039
- ost failover is now an lmc option, and no longer a configure option.
  To enable failover  on an ost,  use the --failover flag when
  when the ost is created with with lmc.

    lmc --add ost ... --failover ...

b=1056
- --journal_size=SIZE lmc option is now available for both ost and mds.
  Note, the size is passed directly to the mkfs program, so you need to make
  sure it is the proper units for the file system being used. (mke2fs expects
  megabyets, mkreiserfs expects blocks)

b=965
- lconf gets a new option, --recover and will do recovery for a connection on the client

- fix bug reported by Morrone where a client would use the elan nid even
  when it wanted to use tcp. (untested)

- And the bulk of this patch is a consolidation of the command line processing
  for the python tools.  Now all options are displayed in the usage string,
  and includes the defaults if any.  It's also trivial to add new options now.

b=1035
if ll_inode_getattr fails in ll_extent_lock, don't clobber the 'rc',
because it makes its way all the way back to userspace

Checked-in by Peng Zhao.

openfile is used to enable scripts opening files with arbitrary combination of
flags and modes.

openfile.c and modified sanity.sh together handle bug894.1

bug894.2 is not handled yet. Need further feedback from Peter.

- remove unused ptlrpc_uuid2conn
- lose extra dlm-hook-put CERROR
- don't need to cleanup DLM ns or schedule when forcing disconnect: it's already
  cleaned up, or we don't get unmounted
- export and import extra-put assertion checking
- fix connection switching to work when we don't already have a connection created

pc file for Zach's truncate_complete_page() export patch

Add Zach's patch to export truncate_complete_page(); still needs an
hp-pnnl and vanilla equivalent

Fixed the patch for intent_release. After this fix lock refs are in order now.
Most of the metadata ops are working.

unlinkmany a-la createmany and statmany

- don't need to unregister the recovd, since it's gone
- class_destroy_import() is doing an import_put, so
  I removed an extra put from class_obd_cleanup().

Refreshed patche with intent_release calls

Fixing IT_GETATTR intents and many small changes.

- MDS/client open code changes, to open directories on the MDS.
- no more slab validation on the MDS

These are the kernel patches for Peter's open directory fixes.  Old
code can probably work with this (we'll allow it in through a small
change in obd_class.c)

I believe that this will fix the remaining threaded unlink issues, although
I wasn't able to get a chance to test it...

Basically, uncomment extN-delete_thread.diff in extN/Makefile.am and give
it a whirl under dbench and/or runtests or whatever, and if it passes we
are golden.

- move the xml/ldap handling class from lconf into an external module
- load_ldap.sh - loads a lustre xml config into ldap
- lactive - updates failover targets with new active devices

Patches for 2.5.63. This wont work until lustre is patched for 2.5.

Bugzilla 895

Delete thread patch.  First, tried to "fake out" the VFS by twiddling bits in
the inode to keep it around after it should have been destroyed, but no dice.

Then, I tried to allocate a "mock inode" and copy over the existing inode to
that and use it only for the unlink code.  Sadly, copying list_head,
semaphore, etc does not work, so you have to end up re-initializing the whole
thing anyways, and it would just break on 2.5 anyways.

Finally, I did the "right" thing - read the same inode into a new struct
inode with iget(), and then flag that inode for "real" destruction and
have the delete thread just do an iput.  Very simple, very easy.[*]

I also split the orphan list handling out of the superblock lock into
its own lock, so that we don't get stuck behind the delete thread (which
holds it for long periods doing truncates) when we are trying to add new
inodes to the truncate list.

This code passes basic acceptance testing under UML, but I'm not checking
in the Makefile.am changes that activate it until I give it a shot with
dbench 20 or "rm -r directory_full_of_large_files" so on DEV.  Other
people testing it is of course welcome (just add extN-delete_thread.diff
and ext3-orphan_lock.diff to the end of EXTNP).

[*] It reminds me about a story I heard once, where an engineer who had
    retired, but was on retainer for his old company in case they needed
    him for consulting.  Sure enough, the company's complex oil refinery
    was not working properly, and after the company engineers couldn't
    figure out what was wrong they called the retiree for assistance.

    The retiree walked around the refinery, asking questions, looking at
    valves and guages, etc., until finally he asked for a hammer, gave a
    pipe a swift blow, and told them to fire up the plant again.  Sure
    enough, all was working properly again, and the company was happy.

    Until they got the invoice - $25,000.  In an outrage, they called the
    retiree up and asked how he could charge $25,000 for just hitting a
    pipe with a hammer.  In reply, the engineer said "Hitting the pipe
    with the hammer was only $10, the other $24,990 was for knowing where
    to hit it."

Backport of bugfix from 2.5/2.4.21-pre5 which calculates the correct value
for the number of blocks to reserve for a truncate.  We were asking for 8x
as many blocks as we needed, although for large files this was capped at
EXT3_MAX_TRANS_BLOCKS anyways, so not much harm done.

Conditionally applied so when it appears in our upstream kernels we will
not die (when I commit corresponding changes to Makefile.am).

- b=959: add connection-switching to import recovery. (Not yet tested: one of
  my MDS nodes isn't coming up right now.)

Script to grab asm output and look for heavy stack (ab)users.
Could be improved a bit by having it take a list of files as args and
running objdump and then preceding each line with the filename, so we can
run it on modules more easily than having a shell script call a perl script...

add a extra param to mmap unless it always return error.

Bug 828 is fixed by Peng Zhao, arrpoved by Andreas.
runas.c allows the root to "runas" another user to do things.

Remove liblustre-build-breaking l_wait_event define, and get rid of wait_event
while I'm at it.

- b=977: C-z (and other non-fatal signals) send us into an infinite loop if
         we wait for recovery.  We now use signal blocking to prevent signal
         delivery until we're interested in some or all signals.

- b=988: umount -f hangs when MDS is dead

- b=722: Lustre kernel threads cause load average to skyrocket. (Still get
         a little boost from the socknal threads, but it's much better.)

oops, fix my last checkin.

fix IS_ERR macro: return 0/NULL is sign of success.

Completely untested (but compiled) port of noread-creates patch to
2.5.current.  I suspect it is OK, since the ext3 code hasn't changed much,
but needs testing.

- Remove the now-unnecessary connection chaining bits from imports and exports.

- In related news, always drop the exports' and imports' connection refs when
  they're destroyed.

- class_connect was leaking its "caller" (compare: "handle lifetime") ref to
  the new export.  We're going to try without the leak for a while, see how
  it goes.

- Bulk descs now have import and export pointers, so that they can play nicely
  with recovery.

- Clean, informative console diagnostics for recovery cases.  (Hi, Terry!)

- Do the ldlm-hook i_m_g/i_m_p based on emptiness of the conn_list, since it's
  far too late by the time the __exit routines run.

- Put an ugly-but-serviceable UUID in the server's connection's remote_uuid.

- Remember that we can already have an export in req->rq_export upon entry to
  target_handle_connect, if the client and server are the same node, and
  therefore share a handle table.

- Get rid of class_signal_connection_failure, which was vestigial at best.

- Welcome back to the world of connection-sharing.

- Call the upcall like:
  /path/to/upcall $FAILED_IMPORT_UUID $FAILED_OBD_UUID $CONN_UUID

- b=958: recovery per export/import, not per connection
  - no more recovd thread:
    - import failure and upcall-execution is done by the failing thread
    - export failure and client eviction is done by the thread that's going
      to be waiting for it to complete anyway
    - import reconnection runs synchronously in the context of the lctl
      invocation, which means that we can now return errors to the upcall
  - no more fancy recovery state machine
  - no more RPCDEV service

- b=954: zero-impact OBD_PING opcode for MDS and OST

- Grand Unified Theory of Client Recovery
  - mdc_recover/osc_recovery unified in ptlrpc_recover_import

moved procbridge.h to include/portals