Add mdc_llog_setup and mdc_llog_cleanup methods.

- all obd operations should return int
- in the process capture a double free in a prep_async_page error case
  in rw.c
- remove unused logging code
- add a mini fix from Tian to not fail in llog_obd_setup when
  re-entering it.

- local-large-inode conf added in acceptance-small.sh
- lmc & lconf changed a bit to support mkfsoptions attribute/option

Fix memory not being freed correctly and incorrect checks aroun memory
allocations.

Added a manpage for lfs, some other minor updates to a few chapters.

b=1933
The socknal transmit thread calls into TCP, which will block
allocating memory, and deadlock us if kswapd is waiting on Lustre to
write to OSTs.  Set PF_MEMALLOC on that task.

Update old-format OSTs when they are first mounted by b_devel code.
- convert O/R/* to O/0/* and put fsd_last_objid into O/0/LAST_ID
- don't use the "VERSION" file but instead set an incompat flag on the OST
  so we can't mount it on old systems again and create new/empty O/R dirs
  and start creating objects in there (lustre checked compat flags for ages)
- don't write out filter server data anymore - we write to LAST_ID instead
- set an rocompat flag on the MDS for b_devel because lov_objids isn't checked
  by old lustre code and we would delete valid objects if we regressed to the
  old code and created objects
b=2097
r=phil

- additional fix against 2.4.20 uml from Oleg

Add newline to help output.

b=2029
r=adilger
- abstracts multiple copies of code into mds_open_by_fid
- abstract some conditions and transaction mechanisms into mds_create_objects
- as a temporary measure, take the inode-reuse lock in mds_open
- fixes a bug introduced by pre-creation, where two MDS threads could
  race to create objects on the same inode; fixed by moving the i_sem
  out of fsfilt_get_md and around the entire operation

creating imbalance without QOS being active, added percentage free unit test

b: 1990
r: Peter
implement obd_destroy operation in mds.

- add ENTRY/EXIT to filter_destroy_precreated
- clear up a MDS post-recovery CERROR; it confused me to no end.

- trusted EAs support in ext3
- MAX_VERSION increase

This is a bugfix for #1838. Most of the patch by A. Dilger, I only
propagated parental time change to all operations, not only mkdir.

b=2010
This time, actually initialize the OSC's maximum number of pages allowed
in each RPC to the nice value that we calculate, rather than just setting the
tunable max.  We export the math from portals so that client_obd_setup() can
use it to initialize the OSC from its summer home in ptlrpc/.

a better way to fix the build error for work_struct in 2.6

b=2110
r=Peter

1.Unlink log record will be created when mds_reint_unlink, mds_mfd_close or mds_cleanup_orphans is called. And that record will be cancelled by MDS when it receives the commit callback for filter_destroy.

2.It resolves the resetup problem for lustre built with enable-orphans on.

3.It resolves the cleanup problem of mds when recovery procedure is abort.

b=2150
r=shaver
- filter_next_id increased the last_id counter, even before we know whether the
  create succeeded
- failed create would dereference NULL inode

Parser should print out command help when a single command returns CMD_HELP.

- trivial bugs in the write_*.c race tests.  use vprintf() to print va_list
  arguments and proprely check open()s result for errors.

completed propagation tests

- remove .pc files

NOTE: please, use quilt

*  Applied HEAD fixes for lclt set_route

- listman patches against all supported series
- hlist defines removed from lustre_compat25.h

- dev_read_only patch against 2.6.0-test6

NOTE: it differs from 2.4's patch:
      1) struct block_device * must be passed instead of kdev_t
      2) dev_set_rdonly() sets flag in request queue. after that
         queue becomes rdonly

Fixing dead code from "comparing unisgned with zero" class

- add the rprintf() that w_a_t.c has.
- lots of general style cleanup
- teach it to call 'od' to display the corrupt data on exit

cleaned test 3

Remove tabs from lfs.c.

Add a PATH to lfind, lstripe scripts in case lfs isn't in current PATH.
b=1944

Fix lfs_getstripe not to declare variables after code.  This does not work
with GCC < 3.0, and most Lustre users use GCC 2.9x.
b=1944

b: 2136
add missed patchs from hp-pnnl-2.4.20.

1. add "lfs getstripe"
2. other modification for replacing lfind.c and lstripe.c with lfind and lstripe

These two shell scripts call "lfs find" and "lfs setstripe", they will be removed later when people aware of lfs. lfind will be replaced by "lfs find" and lstripe will be replaced by "lfs setstripe".

- add an explanatory comment and turn tabs into spaces

- commit the write_disjoint test from bug 968 so we can always have it on hand
  and change it to actually provide information in the case of failure

Two bugs that were stopping write_disjoint from passing.  First, an awesome
typo in lov_lock_contains() prevented llite from recognizing a lock cancelation
associated with the furthest cached region of a file.  Second, a comparision in
obdo_refresh_inode() without a complimentary drop of i_size to 0 prevented a
node from getting size updates after a remote truncate.

- ll_sparseness_verify had problems with certain combinations of file
  length and the number of offsets to test for.  It took me a while to find
  the problem in the old code -- this cleanup fixes it and gives people
  less code to debug in the future.

This patch fixes various issues with too long constants not fitting 32 bits,
and causing some code to be disabled unexpectedly (#2147)

- don't accidentally copy a whole page of debug log to the user when there
  is less than a page of data in the log

Revert ldlm-auto-create/destroy changes until some combination of robert, phik
and myself is smart enough to make it do what we want.

Fix implicit declaration warnings.

- Oleg's fixes against 2.4.20-uml packed into single patch:

   uml_missing_include.patch - this one fixes a problem where uml cannot be
                               built on new glibc system (e,g, RedHat severn)
   uml_signal_fix.patch - backport from 2.4.22-2um of signal fixes. Makes uml
         to work on 2.6.0-testX where X < 6
   uml_newthreads_fix.patch - fixes immediate uml segfault when linked with new
                              threads stuff (also from 2.4.22-2um)

*  Applied fix for 2119

change test lock cancel to: stat + unlink

b=2109
Flesh out the async OBD IO API to be more user friendly.  llite behaviour
should be the same, but easier to follow.  Each OBD layer gets its own
struct of state to associate with a page in flight.  A struct of callback
members is introduced to manage the communication between the obd async
api providers (lov/osc) and the callers (llite/lov).

This is landing now, instead of after 1.0, to give liblustre a more reasonable
interface into the RPC concurrency engine in the OSC.  This mechanism is most
evident in the part of ll_commit_write() that falls back to sync IO.  O_DIRECT
will also want to use this.

These changes pass acceptance-small on real hardware.

b=2127
A dbench run that ran into ENOSPC got stuck in the osc waiting for
rpcs to complete and free up room in the cache.  These changes make
the mechanics of waiting for the cache space less fragile.  After the
changes dbench could run into the ENOSPC condition and not get stuck.

Quiet some LustreError messages that are not really errors.
Make CWARN() output to the console as a replacement (just prefix Lustre:).

- minor changes to run luster on 2.6

- use USERMODEHELPER macro

Remove unrequired EXPORT_SYMBOL macros

- minor changes to let lustre build on 2.6.0-test7

minor lock_test script init fix.

- we need not this patch (large inodes support is part of fast ea patch)

remove 2.6.0-test5-mm4.patch

b=2111
r=peter

- most of this is Peter patch from 2111, including making sure
  obd_log_exp is set once.
- my integration with 0conf
- add an obd method "obd_pre_cleanup" so the log export can be
  disconnected, and allow the device to be fully cleaned up.

Add failover mds/ost support, and general cleanup.

I meant to commit this a while ago.

b=1941

- fast ea patches go in all the supported series

b=1067: permit mounting of clients when OSTs are missing.
        Use --inactive <OST_UUID> on the lconf line to specify which OST(s) are
to be skipped.  Don't do this on the MDS right now, though!
r=phik,robert

- netconsole.h missed #include <asm/dump.h>
- polling support for PCNet32 NIC (vmware4 emulates it)

- added iopen.o to fs/ext3/Makefile

- netconsole should place at include/asm-i386/ not include/asm because
  last one is symlink

- .pc files for new 2.6 patches

b_1666 new log format "020000:001000:0:1066038144.520164:2980:916:2813:(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" for uml, if not on uml "020000:001000:0:1066038144.520164:2980:916::(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" (the last number is leaving blank).

msg

The pinger was deadlocking on itself, in some rare and improbably but
very real cases, so I reworked it to be simpler.

It's started once from ptlrpc_init now, and stopped once from ptlrpc_exit

Adding and deleting imports no longer causes the thread to be created
and go away.  Most importantly, we no longer hold the sem in
stop_pinger across the wake_up and subsequent l_wait_event; if the
pinger thread was already doing something, blocked on the pinger_sem,
it would never wake up and deadlock would ensue.

* also copy pcfg back to user

- add some assertions to the lock reprocessing code
- print a CERROR if ldlm_run_ast_work is called with ns_lock held

"buffer overlapped" message was missing \n

Maintain separate list of transmit descriptors for large messages.

Make two functions for mds_cleanup_orphans, and put mds_log_op_unlink into
a transaction, remove unused mds_unlink_orphan func.

remove redundant fsfilt_ext3.o in Makefile.mk

- xattr_sem protects block-stored EAs only.
  fast EAs are protected by inode->i_sem only

fix netconsole (show_task bug)

fix kgdb retransmission bugs \n

b=99
Andreas's sync patch, with an (almost) related journal cleanup to remove
fsfilt_journal_data; we no longer use this barely-maintained eature,
and our special files don't see normal write()s anyways

b=2104
- make sure to clear all pointers when various structures are freed

- if mdc_close can't find the mdc_open_data, then it should expect the close
RPC to fail; if it doesn't, print a stern warning

- Adds replay-single test 32, testing both the case where the close() is the
RPC that detects the eviction (-EIO) and the case where the close() runs
afterwards (-ESTALE)

liblustre compiling fixes:
 - define llog related to null in user space
 - various fixes in user space

b=2117
Fix some 'make rpms' bitrot:
 - add missing headers to include/linux/Makefile.am; remove
  lustre_build_version.h, which may not be present at DIST time
 - add llog_internal.h to obdclass/Makefile.am
 - fix lustre.spec.in paths
 - remove unnecessary EXTRA_DIST mcreate in tests/Makefile.am

b=2099: protect ldlm_cancel_locks_for_export from races with lock granting
        and cancellation.  Do one cancel_for_export at disconnect time, and
another at export destroy time to catch stragglers.

- teach the filter survey script to collect vmstat and oprofile results

make the lustre-lite-utils doc files owned by root

 * scripts/lmake:
 * scripts/lustre-kernel.spec.in:
   - build like red hat's kernel

 * scripts/linux-merge-config.awk:
 * scripts/linux-merge-modules.awk:
   - include from red hat kernel srpm

 * kernel_patches/targets/rh-2.4.target:
   - update to new .target format

 * kernel_patches/kernel-configs/kernel-2.4.20-rh-2.4-i386.config:
   - generic i386 kernel config for rh-2.4 target

b=2104
Clean up a spaghetti of pointers between the open request, close
request, obd_client_handle, and mdc_open_data.  Notable changes:

- the obd_client_handle points to the mdc_open_data, and the mdc_open_data
points back to the och.  Previously, och pointed to open_req, and open_req
pointed to mod.

- mod also points to open_req and close_req, which both point back to mod in
the req_cb_data.  Previously, open_req pointed to mod, close_req pointed to
open_req, and mod only pointed to close_req.

- we no longer avoid the normal decref at the end of open (ll_file_open and
ll_lov_setstripe), only to "balance" that with a decref in mdc_commit_close.
Instead, we decref at the end of open and rely on open_req->rq_replay to pin
the request until mdc_commit_close sets rq_replay to 0.

- mdc_commit_open does a better job of cleaning up, by clearing
mod->close_req->rq_cb_data

- mdc_commit_close now recognizes the possibility that open_req was freed
before close_req (when the import is invalidated, for example), and handles the
missing mdc_open_data with grace

- the new pointer arrangement requires mdc_pin/unpin to alloc/free an
mdc_open_data

- mdc_close, in an error case which returned an open request without a transno,
would "manually" commit that request by calling the commit_cb, which I found
distasteful.  Instead, the more general after_reply(), if it does not save a
request for replay, calls commit_cb.

When the debug daemon buffer overflows, this needs to be printed to
the console, not buried in a gigabyte of log data

lustre kernel spec is now in scripts/ with the non-kernel lustre spec file

Move lwzard to utils/

save state of QOS unit test - far away from doing what it should

Fix minor kernel compile time warning added during bug 1516 fix.

b=1852
If we leave revalidate_it by returning 0, thus causing a lookup_it call which
re-uses the same request, then we shouldn't drop our reference on the request.

In the past, we accounted for this by doing an addref in mdc_intent_lock in the
-ESTALE case, but this was wrong.  That was just one of many ways that we can
leave revalidate and enter lookup, and this patch fixes that whole class of
erroneous decrefs.

New test, to check that device nodes are created and then visible correctly.

Properly propagate minor/major information of device nodes to local inodes.
(#2091)

b=2101
Fix mds/mds_log.c compilation with gcc 2.96

update 2.6.0-test6 patches

add kexec-2.6.0-test6

remove kexec-2.6.0-test5

add lkcd-kernel-changes-2.6.0-test6

remove lkcd-kernel-changes

update netconsole over netpoll