* add missing file - the llog net api

Merge most b_llp_hp features and fixes into b_devel:
 - some functional LDLM reorganization to support posix flocks
 - new posix flock code added, but not yet enabled in llite/
 - kernel patches for NFS export and ext3 raw lookup
 - NFS export enabled, ext3 raw lookup not enabled
 - includes all LDLM patches from bug 1766
 - locking to fix unlink/create inode re-use recovery race
 - added /proc tunables for pre-creation variables

- rename config.c to obd_config.c
- cover my tracks in replay_dual.sh

- The log replay used by ll_fill_super uses a tag to create unique
names, and uses the sb_uuid as their common obd_uuid.  This allows
mount to be used several times to mount the same profile, and so we
can now (finally) mount an lov more than once on a client. (At least a
single node config, real clients coming very soon.) See replay-dual.sh
for a partial glimpse of the future.

- use copy_from_user correctly for lustre_cfg.

b=2030
Queue IO in writepage when dirty pages first arrive there.  Previously
it was assumed that commit_write() was involved, which isn't the case
for writes via mmap().  mmap() still isn't correct across the cluster,
but at least pages won't get lost in writeback.

In the process of adding a sanity test for this some mmap() operations
are added to multiop and sanity gets a helper to find the page size.

fix liblustre compilation

- add clean up unlinked open files after recovery or after recovey
  aborts
- add regressions for this in replay-single.sh
- stub in most of the orphan logging code (still under ENABLE_ORPHAN ifdefs)

- adapt Andreas lov logging api to new framework

- remove warnings: filed bugs for them when appropriate.

adding llmount.c, which will be used as /sbin/mount.lustre_lite

* Change the portal nal cmd interface to use a new struct
  portal_cfg. Add support to save these commands to the lustre config
  log.

* ll_fill_super now fetches the log through an MDC client it
  creates.  The main remaining peice is to setup networking, which
  will require a mount helper to parse nids and whatever.

Fix POSIX creat.13, fstat.1, open.18, stat.3 mtime/atime on new files.
b=2020

Print hex objids with leading 0x in lfind/lfs find.

*   Added echo_destroy_export()

*   Made lctl::disconnect ignore inappropriate NALs silently

merge devel to lcfg

*    new lgmnal replaces gmnal

* Add a MOUNTOPT config record in the config log. This is saved as a
profile, which ll_fill_super uses to determine which MDC and LOV
devices to connect to.

* Lconf creates a cleanup log, too.,

* replay-single.sh updated to use current 0-conf scheme. It isn't
pretty yet, but getting there.

* adding functions to send llog requests of ptlrpc (untested)
* fixed IOC_OBD_PARSE to parse a recorded config log

- UML patch against 2.6.0-test5

add netconole netdump and kgdb support in 2.6

*  Merged HEAD diffs

b 1585 Support immutable attributes to prevent accidental file deletion from the archives

* recording config records _appears_ to work

Config interface now uses the new struct lustre_cfg for all config
commands.  Config commands are sent by lctl using the
OBD_IOC_PROCESS_CFG ioctl, and they can be recorded with
OBD_IOC_RECORD (untested). The configuration process is now stateless,
and each command refers to the device it operates on by name, if
needed.  The lctl interface has changed slightly:

* newdev is not needed. (It continues to exist for compatibility, but
  is a NOOP.)  The attach command now selects the new device.

* cfg_device <name> is used to select the device that is being
  configured. This takes the place of the "device; probe" for config
  commands only.

The current config ops are:
        LCFG_ATTACH
        LCFG_DETACH
        LCFG_SETUP
        LCFG_CLEANUP
        LCFG_LOV_SET_CONFIG
        LCFG_ADD_UUID
        LCFG_DEL_UUID

The other ioctls are unchanged. The portals config commands have not
been incorporated yet.

Fix ext3 htree directory corruption in this combined htree patch.
b=1516

- minor changes in order to get 2.6-compatibility

NOTE: kdev_t and dev_t issue need to be investigated in depth

- ext3-wantedi patch against 2.6.0-test5

- wake up the processing thread when a client completes, because it may make
queued + completed = max, at which point we should proceed.

- fix operand inversion in procfs stats calculation.

1742: fix calculation of remaining clients vs. queue length

update lustre_kernel.spec.in

b=1615

a greppable magic string to aid LLNL in extracting the lustre messages from
syslog. "Lustre:" for less important messages, and "LustreError" for more
important messages.

- rh-2.4.22 series for latest RH kernel
- some patches were ported

NOTE: it builds, it runs lustre and simple tests (cp, ls, stat) work

- I've given this script to enough people now that it seems reasonable
  to keep it in cvs

Add mrename program to avoid GNU "mv" changing args and doing lstat.

Add mkdir support to multiop.

re-committing on b_devel:
b=1997
r=alex
My previous fix for truncate/write lock inversion was close, but badly
flawed. I failed to remember that truncate will internally restart
the transaction -- start a new one, for all intents and purposes -- so
the ordering was backwards. "i_sem before transaction" is the
cardinal rule.

I tried to avoid that because I didn't want to hold the i_sem across
the entire disk I/O in filter_commitrw_write. After some discussion
with Alex, however, we decided that the i_sem need only be held for
the block allocation, and that the BKL suffices for updating i_size.
So the ordering in the write path is now: take i_sem, start transaction,
call filter_direct_io, f_d_io does block alloc, drops i_sem, does I/O.

Part of b=1742:

Allow replay to skip missing transnos if all connected clients are either
complete or have a request in the queue. (The original reply for transno N
might not make it to the wire before the server crashes, but N+1 might have had
a shorter path out. The reply-acks ensure that we can't miss a dependency this
way.)

Make the OST and MDS devices smaller, to minutely speed up the test runs.

Add support for debug-daemon logging and ONLY=cleanup (helpful, I've found,
in debugging).

Start OST before, and stop after, the MDS.

- back out the mdc close deferral changes (bug 1883) until mds size
  management is ready and really needs it and both the txtbsy (bug 2003) and
  mdc semaphore regressions (bug 2008) are taken care of.

- assert condition have been changed a bit

- this patch is aggregate one for ext-2.4-patch-[1234].patch

NOTE: the patch is being used by pdirops series only, but I'd like to use
      it as replacement in all 2.4 kernels

- recent bugfixes have been propagated to pdirops series

- lustre-kernel.spec.in: .spec for building a lustre-enabled kernel
- linux-2.4.20-rh-i686-smp.conf: config file for 2.4.20-20.9
- lmake: small wrapper script to build and install linux+lustre
- rh-2.4.target: configuration for lmake for rh-2.4.20 series
- lwizard: script which generates a lustre config file

b=1995: simple recovery-progress/state reporting, in lieu of the CERROR spew.
r=phil, more to come post-LLP.

 b 1944
 fix the bug about parse argument when lfs run in interactive mode.

- add code to set_dev_rdonly to flush all transactions up to the calling point
- add a replay test which replays a re-open of a file, where the re-opening is responsible for creating objects.
- add replay code to handle that.

- land b_log on b_devel

b=1896:

Two fixes, both required for this bug:
 - destroy the import when the export is freed, not when it's disconnected
   (which might be due to recovery, and might be racing with ASTs to access
   the same import data).  (Robert's patch plus a comment fix and an
   EXPORT_SYMBOL.)

 - take a reference in ptlrpc_fail_export, because obd_disconnect always nets
   us -2 (all other callers have another reference, either from a request or
   a local-connect artifact), and we only "own" one -- the one in the hash
   table, which represents the network connection.

Also: macroize class_export_put and class_export_get for a major simplification
of export-refcount debugging.

b=1958: call lib_recv when simulating failure in lib_parse, just as we do
        for all other error-returning cases.  Prevents crash when using
"lctl> fail _all_" with the socknal.  (Patch from Phil.)

* use records that have a tail for the simple record tests.
* change verify_handle to scan the bitmap to deterime the correct
last_idx and active rec count.
* test 4 now uses verify_handle, and fails the last_idx check after
writing one rec.

* run-llog.sh now tells lctl to ignore_errors, so it can cleanup
after a failed test.

b: 1944
r: braam
Create user tool lfs. port lstripe & lfind to lfs.

Fix warning.

- Niu's changes are back in.
- Changed utime.c to use a non-null time

Fix warnings in ll_sparseness_write/verify.

- niu's inode changes broke sanity.sh 36a.

b: 1929
r: braam
Improve the code organization in llite.

- fix obdo_create cleanup issue in loggin
- make test_llog part of sanity

test sparse pwrite

- a variety of log fixes to the catalog system
  - can now create catalog entries and secondary logs
  - some obdo is not being cleaned up.

b=1883
r=braam
Wait for dirty data to be handled (writeback, truncate, etc) before issueing
the mdc close.  This is done by tracking opens for write and dirty data and
deferring mdc close at file_release if there aren't other opens for write and
there is dirty data.  We perform these deferred closes when the dirty data is
taken care of or when another open for write comes along.

Also, a hot sanity test to verify the behaviour.

- port of fast ea patch onto 2.4.20-vanilla

- ext3_update_inode() zeros inode body on first calling

- this version of fast ea patch clears magic in inode in
  ext3_xattr_drop_inode() and allows ext3 with large inode to be mounted

* LWT
       - single 'where'

       - interrupts disabled for whole event

       - removed per-cpu get_cycles() offset calculation

       - changed event formatting

* socknal
       - stop using write_space for tx timeout; consider connection alive
         while it can buffer more stuff; potentially the whole socket
         buffer must drain within the tx timeout.

       - changed peer death notification

       - nicer daemon names

       - restored RH - specific affinity FTTB

Add mds_cleanup_orphans function by tian ying.

- minor cleanups in order to get chaos-2.4.18-pdirops series working

Backed out the changes made by Zhao JianHui (Jerrifer) for b=1222.

Followup cleanup commit to the last one: move the setting of the
completion ast to ldlm_lock_create, where the blocking AST is set.

[liblustre]: if pnode revalidate success, intent should be attached onto
the inode. it's the temporary way since libsysio don't recongnize intent
at the moment.

[liblustre]: fix inode->i_ref leak. if pnode revalidation failed we need
remove the stale inode right away to prevent others access it again which
cause i_ref leak. it's an libsysio limitation, not sure if it's the best
way.

for sanity.sh test_44a

for snaity.sh test_44a

The easiest and least controversial part of the patch to eliminate the
gymnastics associated with setting l_completion_ast on the client.

We used to set l_completion_ast when the lock is created, so that a
completion AST which arrives before the RPC reply will still be
handled correctly.  Later, we would NULL it out so that lock_enqueue's
call to grant_lock didn't needlessly execute again.  This was
race-prone and stupid.

Now ldlm_grant_lock takes a flag, so we can suppress needless calls
without this mess.

*    pruned LWT output to account for wrapped cpus

*    calculate get_cycles() offsets per-cpu

- port of extents onto 2.4.20-vanilla

NOTE: tested by dbench 4/8 in UML only

*   Added LWT facility

- vanilla-2.4.20 series did't build for i386 arch w/o this patch

- raw lookup support in vfs and ext3

NOTE: patch could be applied for all supported 2.4 kernels

- lstripe code for b_devel
  - error handling is not complete yet (sanity 27f fails)
  - lfind interaction (27g 34's) untested

[liblustre]: pnode revalidate.

- fix against bug 1935 (OOPS in removing current working directory)

fix bugs for building rpm

update lustre_kernel.spec.in

[liblustre]: get most of liblustre functions work again, except:
  - pnode revalidation
  - file i/o

- bug 1931 (link_path_walk bug) fix propogated into those kernels

- fix agaist bug #1322 'clients looping in revalidate after recovery failure'

- needed .pc file added

- replace some hard-coded filter bits with a cpp constant
- create 3 groups instead of 2, as a start to fixing echo_create

[liblustre]: open(O_CREAT)/close()

[liblustre]: stat(), intent related stuff, not complete.

add spec files building lustre modules + kernel in one rpm

Using generation in mdc_readpage function committed by tian ying.

- add an LASSERTF() variant so we can get some printf style data along
  with our assert.

b=1903
Add /proc/sys/portals/console which defaults to 1; if you set it to 0,
it will suppress all console output except LASSERTs

fix annoying printf warnings in mkdirdeep

- i_filterdata field in struct inode

* commit in.

* first commit in.

Add .pc files for dynamic-locks and vfs-pdirops for 2.4.20-rh kernel.

Fix usage, error messages.