b=2117
Fix some 'make rpms' bitrot:
 - add missing headers to include/linux/Makefile.am; remove
  lustre_build_version.h, which may not be present at DIST time
 - add llog_internal.h to obdclass/Makefile.am
 - fix lustre.spec.in paths
 - remove unnecessary EXTRA_DIST mcreate in tests/Makefile.am

b=2099: protect ldlm_cancel_locks_for_export from races with lock granting
        and cancellation.  Do one cancel_for_export at disconnect time, and
another at export destroy time to catch stragglers.

- teach the filter survey script to collect vmstat and oprofile results

make the lustre-lite-utils doc files owned by root

 * scripts/lmake:
 * scripts/lustre-kernel.spec.in:
   - build like red hat's kernel

 * scripts/linux-merge-config.awk:
 * scripts/linux-merge-modules.awk:
   - include from red hat kernel srpm

 * kernel_patches/targets/rh-2.4.target:
   - update to new .target format

 * kernel_patches/kernel-configs/kernel-2.4.20-rh-2.4-i386.config:
   - generic i386 kernel config for rh-2.4 target

b=2104
Clean up a spaghetti of pointers between the open request, close
request, obd_client_handle, and mdc_open_data.  Notable changes:

- the obd_client_handle points to the mdc_open_data, and the mdc_open_data
points back to the och.  Previously, och pointed to open_req, and open_req
pointed to mod.

- mod also points to open_req and close_req, which both point back to mod in
the req_cb_data.  Previously, open_req pointed to mod, close_req pointed to
open_req, and mod only pointed to close_req.

- we no longer avoid the normal decref at the end of open (ll_file_open and
ll_lov_setstripe), only to "balance" that with a decref in mdc_commit_close.
Instead, we decref at the end of open and rely on open_req->rq_replay to pin
the request until mdc_commit_close sets rq_replay to 0.

- mdc_commit_open does a better job of cleaning up, by clearing
mod->close_req->rq_cb_data

- mdc_commit_close now recognizes the possibility that open_req was freed
before close_req (when the import is invalidated, for example), and handles the
missing mdc_open_data with grace

- the new pointer arrangement requires mdc_pin/unpin to alloc/free an
mdc_open_data

- mdc_close, in an error case which returned an open request without a transno,
would "manually" commit that request by calling the commit_cb, which I found
distasteful.  Instead, the more general after_reply(), if it does not save a
request for replay, calls commit_cb.

When the debug daemon buffer overflows, this needs to be printed to
the console, not buried in a gigabyte of log data

lustre kernel spec is now in scripts/ with the non-kernel lustre spec file

Move lwzard to utils/

save state of QOS unit test - far away from doing what it should

Fix minor kernel compile time warning added during bug 1516 fix.

b=1852
If we leave revalidate_it by returning 0, thus causing a lookup_it call which
re-uses the same request, then we shouldn't drop our reference on the request.

In the past, we accounted for this by doing an addref in mdc_intent_lock in the
-ESTALE case, but this was wrong.  That was just one of many ways that we can
leave revalidate and enter lookup, and this patch fixes that whole class of
erroneous decrefs.

New test, to check that device nodes are created and then visible correctly.

Properly propagate minor/major information of device nodes to local inodes.
(#2091)

b=2101
Fix mds/mds_log.c compilation with gcc 2.96

update 2.6.0-test6 patches

add kexec-2.6.0-test6

remove kexec-2.6.0-test5

add lkcd-kernel-changes-2.6.0-test6

remove lkcd-kernel-changes

update netconsole over netpoll

update dump_netdev

add lkcd-cvs-2.6.0-test6.patch

delete lkcd-cvs-2.6.0-test5.patch

add kgdb-over-netpoll.patch

fix some flaws in netpoll-core.patch

add 2.6.0-test6-mm4.patch

add lwt.o to Makefile.mk

change tq_struct to work_struct in 2.6

add Makefile.mk for 2.6 build

add mds_unlink_open.c to 2.6

driver scripts for upcoming QOS unit tests

Fix for new portal_cfg structure.

- a reworking of the llog api's that propagate cookies and records
  through the obd stack. See section 1.4 in the llogapi.lyx file for
  details.

- fix uninitialized variable warnings
- minor formatting
- add assertion to mdc_clear_open_replay_data, to help hunt
  freed-too-early open request

- port of fast ea patch against rh-2.4.22 series

- nfs_export_kernel patch against rh-2.4.22

- last nfs_export patch
- FS_NFSEXP_FSID flag is put into lustre_lite_fs_type as proposed
- patch ported against hp-pnnl-2.4.20 and rh-2.4.20 series

NOTE: please, don't forget to re-apply nfs_export_kernel* patch

Fix typo in gmnal_cmd causing compile error.

Ensure we get 1 transmit token for each gm_get

landing b_lcfg to b_devel

- llog network api for processing the log from the client
- config messages changed to use struct lustre_cfg and struct
  portals_cfg
- lctl record options save config messages to log on the mds
- ll_fill_super supports fetching the log and replaying to setup
  the devices needed for mount.
- small changes to lctl interface to support new config protocol.

  - newdev is now a no-op.
  - cfg_device <device name> is used to set the target device for
    detach and cleanup.

- remove unsupported chaos-2.4.20 from which_patch; fit lines in 80 columns
- disable "mds_cleanup_orphans()" function, which LBUGs in at least
  one reasonably common case

- repair leaks
- get precedence correct in class_find_client_obd

extract all required info from gm_recv_event_t before next call to gm_receive.

b=1948
r=phil
Restore the echo_client to working order.  We fix up the object creation
paths and fix up some bad export refcounting behaviour.

- get rid of an extra export put in the lov_disconnect path.  This was
  covering up for an export leak in oscc_init.  We put that export
  reference in osc_disconnect.
- add a little helper to transfer the object group number from the obdo
  to the io obj.
- have the echo_client use group 2 for its objects so it doesn't conflict
  with the group 0 objects used by the filesystem.
- get the oid from obd_create from the lsm_obj_id returned instead of the
  overloaded o_id
- get rid of some extra export_puts in the echo_client's brw testing paths
- get rid of an extra export_put in echo_client_cleanup
- alter quite a bit of the filter object paths to pass the proper group around
- fix up some assumptions the filter has about group numbers that are no
  longer true after the addition of the echo_client's group 2.  this is
  begging for some enums.
- stop lbuging when io is attempted in the filter against an object that doesn't exist
- only do pre-creation in the filter for group 0
- be sure to set the caller's lsm in all filter_create success paths
- pass osc create requests right on to the ost if they aren't in group 0
- in your face, tab!

* add missing file - the llog net api

Merge most b_llp_hp features and fixes into b_devel:
 - some functional LDLM reorganization to support posix flocks
 - new posix flock code added, but not yet enabled in llite/
 - kernel patches for NFS export and ext3 raw lookup
 - NFS export enabled, ext3 raw lookup not enabled
 - includes all LDLM patches from bug 1766
 - locking to fix unlink/create inode re-use recovery race
 - added /proc tunables for pre-creation variables

- rename config.c to obd_config.c
- cover my tracks in replay_dual.sh

- The log replay used by ll_fill_super uses a tag to create unique
names, and uses the sb_uuid as their common obd_uuid.  This allows
mount to be used several times to mount the same profile, and so we
can now (finally) mount an lov more than once on a client. (At least a
single node config, real clients coming very soon.) See replay-dual.sh
for a partial glimpse of the future.

- use copy_from_user correctly for lustre_cfg.

b=2030
Queue IO in writepage when dirty pages first arrive there.  Previously
it was assumed that commit_write() was involved, which isn't the case
for writes via mmap().  mmap() still isn't correct across the cluster,
but at least pages won't get lost in writeback.

In the process of adding a sanity test for this some mmap() operations
are added to multiop and sanity gets a helper to find the page size.

fix liblustre compilation

- add clean up unlinked open files after recovery or after recovey
  aborts
- add regressions for this in replay-single.sh
- stub in most of the orphan logging code (still under ENABLE_ORPHAN ifdefs)

- adapt Andreas lov logging api to new framework

- remove warnings: filed bugs for them when appropriate.

adding llmount.c, which will be used as /sbin/mount.lustre_lite

* Change the portal nal cmd interface to use a new struct
  portal_cfg. Add support to save these commands to the lustre config
  log.

* ll_fill_super now fetches the log through an MDC client it
  creates.  The main remaining peice is to setup networking, which
  will require a mount helper to parse nids and whatever.

Fix POSIX creat.13, fstat.1, open.18, stat.3 mtime/atime on new files.
b=2020

Print hex objids with leading 0x in lfind/lfs find.

*   Added echo_destroy_export()

*   Made lctl::disconnect ignore inappropriate NALs silently

merge devel to lcfg

*    new lgmnal replaces gmnal

* Add a MOUNTOPT config record in the config log. This is saved as a
profile, which ll_fill_super uses to determine which MDC and LOV
devices to connect to.

* Lconf creates a cleanup log, too.,

* replay-single.sh updated to use current 0-conf scheme. It isn't
pretty yet, but getting there.

* adding functions to send llog requests of ptlrpc (untested)
* fixed IOC_OBD_PARSE to parse a recorded config log

- UML patch against 2.6.0-test5

add netconole netdump and kgdb support in 2.6

*  Merged HEAD diffs

b 1585 Support immutable attributes to prevent accidental file deletion from the archives

* recording config records _appears_ to work

Config interface now uses the new struct lustre_cfg for all config
commands.  Config commands are sent by lctl using the
OBD_IOC_PROCESS_CFG ioctl, and they can be recorded with
OBD_IOC_RECORD (untested). The configuration process is now stateless,
and each command refers to the device it operates on by name, if
needed.  The lctl interface has changed slightly:

* newdev is not needed. (It continues to exist for compatibility, but
  is a NOOP.)  The attach command now selects the new device.

* cfg_device <name> is used to select the device that is being
  configured. This takes the place of the "device; probe" for config
  commands only.

The current config ops are:
        LCFG_ATTACH
        LCFG_DETACH
        LCFG_SETUP
        LCFG_CLEANUP
        LCFG_LOV_SET_CONFIG
        LCFG_ADD_UUID
        LCFG_DEL_UUID

The other ioctls are unchanged. The portals config commands have not
been incorporated yet.

Fix ext3 htree directory corruption in this combined htree patch.
b=1516

- minor changes in order to get 2.6-compatibility

NOTE: kdev_t and dev_t issue need to be investigated in depth

- ext3-wantedi patch against 2.6.0-test5

- wake up the processing thread when a client completes, because it may make
queued + completed = max, at which point we should proceed.

- fix operand inversion in procfs stats calculation.

1742: fix calculation of remaining clients vs. queue length

update lustre_kernel.spec.in

b=1615

a greppable magic string to aid LLNL in extracting the lustre messages from
syslog. "Lustre:" for less important messages, and "LustreError" for more
important messages.

- rh-2.4.22 series for latest RH kernel
- some patches were ported

NOTE: it builds, it runs lustre and simple tests (cp, ls, stat) work

- I've given this script to enough people now that it seems reasonable
  to keep it in cvs

Add mrename program to avoid GNU "mv" changing args and doing lstat.

Add mkdir support to multiop.

re-committing on b_devel:
b=1997
r=alex
My previous fix for truncate/write lock inversion was close, but badly
flawed. I failed to remember that truncate will internally restart
the transaction -- start a new one, for all intents and purposes -- so
the ordering was backwards. "i_sem before transaction" is the
cardinal rule.

I tried to avoid that because I didn't want to hold the i_sem across
the entire disk I/O in filter_commitrw_write. After some discussion
with Alex, however, we decided that the i_sem need only be held for
the block allocation, and that the BKL suffices for updating i_size.
So the ordering in the write path is now: take i_sem, start transaction,
call filter_direct_io, f_d_io does block alloc, drops i_sem, does I/O.

Part of b=1742:

Allow replay to skip missing transnos if all connected clients are either
complete or have a request in the queue. (The original reply for transno N
might not make it to the wire before the server crashes, but N+1 might have had
a shorter path out. The reply-acks ensure that we can't miss a dependency this
way.)

Make the OST and MDS devices smaller, to minutely speed up the test runs.

Add support for debug-daemon logging and ONLY=cleanup (helpful, I've found,
in debugging).

Start OST before, and stop after, the MDS.

- back out the mdc close deferral changes (bug 1883) until mds size
  management is ready and really needs it and both the txtbsy (bug 2003) and
  mdc semaphore regressions (bug 2008) are taken care of.

- assert condition have been changed a bit

- this patch is aggregate one for ext-2.4-patch-[1234].patch

NOTE: the patch is being used by pdirops series only, but I'd like to use
      it as replacement in all 2.4 kernels

- recent bugfixes have been propagated to pdirops series

- lustre-kernel.spec.in: .spec for building a lustre-enabled kernel
- linux-2.4.20-rh-i686-smp.conf: config file for 2.4.20-20.9
- lmake: small wrapper script to build and install linux+lustre
- rh-2.4.target: configuration for lmake for rh-2.4.20 series
- lwizard: script which generates a lustre config file

b=1995: simple recovery-progress/state reporting, in lieu of the CERROR spew.
r=phil, more to come post-LLP.

 b 1944
 fix the bug about parse argument when lfs run in interactive mode.

- add code to set_dev_rdonly to flush all transactions up to the calling point
- add a replay test which replays a re-open of a file, where the re-opening is responsible for creating objects.
- add replay code to handle that.

- land b_log on b_devel

b=1896:

Two fixes, both required for this bug:
 - destroy the import when the export is freed, not when it's disconnected
   (which might be due to recovery, and might be racing with ASTs to access
   the same import data).  (Robert's patch plus a comment fix and an
   EXPORT_SYMBOL.)

 - take a reference in ptlrpc_fail_export, because obd_disconnect always nets
   us -2 (all other callers have another reference, either from a request or
   a local-connect artifact), and we only "own" one -- the one in the hash
   table, which represents the network connection.

Also: macroize class_export_put and class_export_get for a major simplification
of export-refcount debugging.

b=1958: call lib_recv when simulating failure in lib_parse, just as we do
        for all other error-returning cases.  Prevents crash when using
"lctl> fail _all_" with the socknal.  (Patch from Phil.)

* use records that have a tail for the simple record tests.
* change verify_handle to scan the bitmap to deterime the correct
last_idx and active rec count.
* test 4 now uses verify_handle, and fails the last_idx check after
writing one rec.

* run-llog.sh now tells lctl to ignore_errors, so it can cleanup
after a failed test.

b: 1944
r: braam
Create user tool lfs. port lstripe & lfind to lfs.

Fix warning.

- Niu's changes are back in.
- Changed utime.c to use a non-null time

Fix warnings in ll_sparseness_write/verify.

- niu's inode changes broke sanity.sh 36a.