merge1.sh devel zcfg

Resolved conflicts with Tian Ying's recent checkins.  Also forced to
fix local export cleanup problem by adding an obd_init_export()
method. This is called from class_new_export(), and is for devices to
initialize their export data. Allos local (as opposed to network)
connections to be used and cleaned up correctly. Only
mds_init_export() implemented.

This commit was manufactured by cvs2svn to create branch
'unlabeled-1.1.2.1.2'.

- Oleg's fixes against 2.4.20-uml packed into single patch:

   uml_missing_include.patch - this one fixes a problem where uml cannot be
                               built on new glibc system (e,g, RedHat severn)
   uml_signal_fix.patch - backport from 2.4.22-2um of signal fixes. Makes uml
         to work on 2.6.0-testX where X < 6
   uml_newthreads_fix.patch - fixes immediate uml segfault when linked with new
                              threads stuff (also from 2.4.22-2um)

*  Applied fix for 2119

change test lock cancel to: stat + unlink

b=2109
Flesh out the async OBD IO API to be more user friendly.  llite behaviour
should be the same, but easier to follow.  Each OBD layer gets its own
struct of state to associate with a page in flight.  A struct of callback
members is introduced to manage the communication between the obd async
api providers (lov/osc) and the callers (llite/lov).

This is landing now, instead of after 1.0, to give liblustre a more reasonable
interface into the RPC concurrency engine in the OSC.  This mechanism is most
evident in the part of ll_commit_write() that falls back to sync IO.  O_DIRECT
will also want to use this.

These changes pass acceptance-small on real hardware.

b=2127
A dbench run that ran into ENOSPC got stuck in the osc waiting for
rpcs to complete and free up room in the cache.  These changes make
the mechanics of waiting for the cache space less fragile.  After the
changes dbench could run into the ENOSPC condition and not get stuck.

Quiet some LustreError messages that are not really errors.
Make CWARN() output to the console as a replacement (just prefix Lustre:).

- minor changes to run luster on 2.6

- use USERMODEHELPER macro

Remove unrequired EXPORT_SYMBOL macros

- minor changes to let lustre build on 2.6.0-test7

minor lock_test script init fix.

- we need not this patch (large inodes support is part of fast ea patch)

remove 2.6.0-test5-mm4.patch

b=2111
r=peter

- most of this is Peter patch from 2111, including making sure
  obd_log_exp is set once.
- my integration with 0conf
- add an obd method "obd_pre_cleanup" so the log export can be
  disconnected, and allow the device to be fully cleaned up.

Add failover mds/ost support, and general cleanup.

I meant to commit this a while ago.

b=1941

- fast ea patches go in all the supported series

b=1067: permit mounting of clients when OSTs are missing.
        Use --inactive <OST_UUID> on the lconf line to specify which OST(s) are
to be skipped.  Don't do this on the MDS right now, though!
r=phik,robert

- netconsole.h missed #include <asm/dump.h>
- polling support for PCNet32 NIC (vmware4 emulates it)

- added iopen.o to fs/ext3/Makefile

- netconsole should place at include/asm-i386/ not include/asm because
  last one is symlink

- .pc files for new 2.6 patches

b_1666 new log format "020000:001000:0:1066038144.520164:2980:916:2813:(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" for uml, if not on uml "020000:001000:0:1066038144.520164:2980:916::(ldlm_resource.c:536:ldlm_resource_add_lock()) About to add this lock:" (the last number is leaving blank).

msg

The pinger was deadlocking on itself, in some rare and improbably but
very real cases, so I reworked it to be simpler.

It's started once from ptlrpc_init now, and stopped once from ptlrpc_exit

Adding and deleting imports no longer causes the thread to be created
and go away.  Most importantly, we no longer hold the sem in
stop_pinger across the wake_up and subsequent l_wait_event; if the
pinger thread was already doing something, blocked on the pinger_sem,
it would never wake up and deadlock would ensue.

* also copy pcfg back to user

- add some assertions to the lock reprocessing code
- print a CERROR if ldlm_run_ast_work is called with ns_lock held

"buffer overlapped" message was missing \n

Maintain separate list of transmit descriptors for large messages.

Make two functions for mds_cleanup_orphans, and put mds_log_op_unlink into
a transaction, remove unused mds_unlink_orphan func.

remove redundant fsfilt_ext3.o in Makefile.mk

- xattr_sem protects block-stored EAs only.
  fast EAs are protected by inode->i_sem only

fix netconsole (show_task bug)

fix kgdb retransmission bugs \n

b=99
Andreas's sync patch, with an (almost) related journal cleanup to remove
fsfilt_journal_data; we no longer use this barely-maintained eature,
and our special files don't see normal write()s anyways

b=2104
- make sure to clear all pointers when various structures are freed

- if mdc_close can't find the mdc_open_data, then it should expect the close
RPC to fail; if it doesn't, print a stern warning

- Adds replay-single test 32, testing both the case where the close() is the
RPC that detects the eviction (-EIO) and the case where the close() runs
afterwards (-ESTALE)

liblustre compiling fixes:
 - define llog related to null in user space
 - various fixes in user space

b=2117
Fix some 'make rpms' bitrot:
 - add missing headers to include/linux/Makefile.am; remove
  lustre_build_version.h, which may not be present at DIST time
 - add llog_internal.h to obdclass/Makefile.am
 - fix lustre.spec.in paths
 - remove unnecessary EXTRA_DIST mcreate in tests/Makefile.am

b=2099: protect ldlm_cancel_locks_for_export from races with lock granting
        and cancellation.  Do one cancel_for_export at disconnect time, and
another at export destroy time to catch stragglers.

- teach the filter survey script to collect vmstat and oprofile results

make the lustre-lite-utils doc files owned by root

 * scripts/lmake:
 * scripts/lustre-kernel.spec.in:
   - build like red hat's kernel

 * scripts/linux-merge-config.awk:
 * scripts/linux-merge-modules.awk:
   - include from red hat kernel srpm

 * kernel_patches/targets/rh-2.4.target:
   - update to new .target format

 * kernel_patches/kernel-configs/kernel-2.4.20-rh-2.4-i386.config:
   - generic i386 kernel config for rh-2.4 target

b=2104
Clean up a spaghetti of pointers between the open request, close
request, obd_client_handle, and mdc_open_data.  Notable changes:

- the obd_client_handle points to the mdc_open_data, and the mdc_open_data
points back to the och.  Previously, och pointed to open_req, and open_req
pointed to mod.

- mod also points to open_req and close_req, which both point back to mod in
the req_cb_data.  Previously, open_req pointed to mod, close_req pointed to
open_req, and mod only pointed to close_req.

- we no longer avoid the normal decref at the end of open (ll_file_open and
ll_lov_setstripe), only to "balance" that with a decref in mdc_commit_close.
Instead, we decref at the end of open and rely on open_req->rq_replay to pin
the request until mdc_commit_close sets rq_replay to 0.

- mdc_commit_open does a better job of cleaning up, by clearing
mod->close_req->rq_cb_data

- mdc_commit_close now recognizes the possibility that open_req was freed
before close_req (when the import is invalidated, for example), and handles the
missing mdc_open_data with grace

- the new pointer arrangement requires mdc_pin/unpin to alloc/free an
mdc_open_data

- mdc_close, in an error case which returned an open request without a transno,
would "manually" commit that request by calling the commit_cb, which I found
distasteful.  Instead, the more general after_reply(), if it does not save a
request for replay, calls commit_cb.

When the debug daemon buffer overflows, this needs to be printed to
the console, not buried in a gigabyte of log data

lustre kernel spec is now in scripts/ with the non-kernel lustre spec file

Move lwzard to utils/

save state of QOS unit test - far away from doing what it should

Fix minor kernel compile time warning added during bug 1516 fix.

b=1852
If we leave revalidate_it by returning 0, thus causing a lookup_it call which
re-uses the same request, then we shouldn't drop our reference on the request.

In the past, we accounted for this by doing an addref in mdc_intent_lock in the
-ESTALE case, but this was wrong.  That was just one of many ways that we can
leave revalidate and enter lookup, and this patch fixes that whole class of
erroneous decrefs.

New test, to check that device nodes are created and then visible correctly.

Properly propagate minor/major information of device nodes to local inodes.
(#2091)

b=2101
Fix mds/mds_log.c compilation with gcc 2.96

update 2.6.0-test6 patches

add kexec-2.6.0-test6

remove kexec-2.6.0-test5

add lkcd-kernel-changes-2.6.0-test6

remove lkcd-kernel-changes

update netconsole over netpoll

update dump_netdev

add lkcd-cvs-2.6.0-test6.patch

delete lkcd-cvs-2.6.0-test5.patch

add kgdb-over-netpoll.patch

fix some flaws in netpoll-core.patch

add 2.6.0-test6-mm4.patch

add lwt.o to Makefile.mk

change tq_struct to work_struct in 2.6

add Makefile.mk for 2.6 build

add mds_unlink_open.c to 2.6

driver scripts for upcoming QOS unit tests

Fix for new portal_cfg structure.

- a reworking of the llog api's that propagate cookies and records
  through the obd stack. See section 1.4 in the llogapi.lyx file for
  details.

- fix uninitialized variable warnings
- minor formatting
- add assertion to mdc_clear_open_replay_data, to help hunt
  freed-too-early open request

- port of fast ea patch against rh-2.4.22 series

- nfs_export_kernel patch against rh-2.4.22

- last nfs_export patch
- FS_NFSEXP_FSID flag is put into lustre_lite_fs_type as proposed
- patch ported against hp-pnnl-2.4.20 and rh-2.4.20 series

NOTE: please, don't forget to re-apply nfs_export_kernel* patch

Fix typo in gmnal_cmd causing compile error.

Ensure we get 1 transmit token for each gm_get

landing b_lcfg to b_devel

- llog network api for processing the log from the client
- config messages changed to use struct lustre_cfg and struct
  portals_cfg
- lctl record options save config messages to log on the mds
- ll_fill_super supports fetching the log and replaying to setup
  the devices needed for mount.
- small changes to lctl interface to support new config protocol.

  - newdev is now a no-op.
  - cfg_device <device name> is used to set the target device for
    detach and cleanup.

- remove unsupported chaos-2.4.20 from which_patch; fit lines in 80 columns
- disable "mds_cleanup_orphans()" function, which LBUGs in at least
  one reasonably common case

- repair leaks
- get precedence correct in class_find_client_obd

extract all required info from gm_recv_event_t before next call to gm_receive.

b=1948
r=phil
Restore the echo_client to working order.  We fix up the object creation
paths and fix up some bad export refcounting behaviour.

- get rid of an extra export put in the lov_disconnect path.  This was
  covering up for an export leak in oscc_init.  We put that export
  reference in osc_disconnect.
- add a little helper to transfer the object group number from the obdo
  to the io obj.
- have the echo_client use group 2 for its objects so it doesn't conflict
  with the group 0 objects used by the filesystem.
- get the oid from obd_create from the lsm_obj_id returned instead of the
  overloaded o_id
- get rid of some extra export_puts in the echo_client's brw testing paths
- get rid of an extra export_put in echo_client_cleanup
- alter quite a bit of the filter object paths to pass the proper group around
- fix up some assumptions the filter has about group numbers that are no
  longer true after the addition of the echo_client's group 2.  this is
  begging for some enums.
- stop lbuging when io is attempted in the filter against an object that doesn't exist
- only do pre-creation in the filter for group 0
- be sure to set the caller's lsm in all filter_create success paths
- pass osc create requests right on to the ost if they aren't in group 0
- in your face, tab!

* add missing file - the llog net api

Merge most b_llp_hp features and fixes into b_devel:
 - some functional LDLM reorganization to support posix flocks
 - new posix flock code added, but not yet enabled in llite/
 - kernel patches for NFS export and ext3 raw lookup
 - NFS export enabled, ext3 raw lookup not enabled
 - includes all LDLM patches from bug 1766
 - locking to fix unlink/create inode re-use recovery race
 - added /proc tunables for pre-creation variables

- rename config.c to obd_config.c
- cover my tracks in replay_dual.sh

- The log replay used by ll_fill_super uses a tag to create unique
names, and uses the sb_uuid as their common obd_uuid.  This allows
mount to be used several times to mount the same profile, and so we
can now (finally) mount an lov more than once on a client. (At least a
single node config, real clients coming very soon.) See replay-dual.sh
for a partial glimpse of the future.

- use copy_from_user correctly for lustre_cfg.

b=2030
Queue IO in writepage when dirty pages first arrive there.  Previously
it was assumed that commit_write() was involved, which isn't the case
for writes via mmap().  mmap() still isn't correct across the cluster,
but at least pages won't get lost in writeback.

In the process of adding a sanity test for this some mmap() operations
are added to multiop and sanity gets a helper to find the page size.

fix liblustre compilation

- add clean up unlinked open files after recovery or after recovey
  aborts
- add regressions for this in replay-single.sh
- stub in most of the orphan logging code (still under ENABLE_ORPHAN ifdefs)

- adapt Andreas lov logging api to new framework

- remove warnings: filed bugs for them when appropriate.

adding llmount.c, which will be used as /sbin/mount.lustre_lite

* Change the portal nal cmd interface to use a new struct
  portal_cfg. Add support to save these commands to the lustre config
  log.

* ll_fill_super now fetches the log through an MDC client it
  creates.  The main remaining peice is to setup networking, which
  will require a mount helper to parse nids and whatever.

Fix POSIX creat.13, fstat.1, open.18, stat.3 mtime/atime on new files.
b=2020

Print hex objids with leading 0x in lfind/lfs find.

*   Added echo_destroy_export()

*   Made lctl::disconnect ignore inappropriate NALs silently

merge devel to lcfg

*    new lgmnal replaces gmnal

* Add a MOUNTOPT config record in the config log. This is saved as a
profile, which ll_fill_super uses to determine which MDC and LOV
devices to connect to.

* Lconf creates a cleanup log, too.,

* replay-single.sh updated to use current 0-conf scheme. It isn't
pretty yet, but getting there.