merge b_devel to b_eq: 20031111, for recent kernel patches updates.

fix server cleanup problem: when service dropping reply, need increment
"outstand reply" count if it's a difficult reply, later handle_reply()
will decrement it for us.

merge b_devel to b_eq: 20031107
kernel passed sanity, but liblustre broken since lconf changes. need fix
by robert.

b=1028
r=zab
Return the object's block count from write requests, and store it in
the client inode.

Everyone knows what -EIO means (ooh, timeout.)

Absolutely nobody knows what -ENOLCK means (no locks available?  did I
run out of memory?  is there some tunable I should modify?  why did
that happen when I pressed C-c?

So I am removing -ENOLCK, and also making ll_extent_lock_no_validate
responsible for translating LDLM errors into -EIO.

land zcfg on devel

- includes changes from b_llogging

- the MDS -> LOV connection is created using the MDS config log, so the
  log must exist. Lconf will create the log automatically when
  --reformat is used. To create the config logs on an existing
  filesystem, run lconf on the MDS with --write_conf. This only needs to
  be done on the MDS.

- LOV does not connect to the MDS during setup.  Instead, the MDS and
  MDC use obd_get_info("lovdesc") to get the stripe info. The LOVDESC
  and LOVTGTS files on the MDS are no longer used (and not created
  on new filesystems.)

- Zeroconf clients are new support by lconf --zeroconf, and
  replay-single.sh uses this to mount the client.  The exact arguments
  needed for zeroconf will be changing quickly, so don't use
  lconf --zeroconf in other scripts yet.  Instead, once the dust
  clears, lconf will be changed to always do zeroconf mounts, and
  eventually when don't need lconf anymore is when we start changing
  the test scripts.

- put it more consistent debug message that track pages through llite.
  Hopefully it will shed some light on bug 2192.

merge b_devel -> b_eq: 20031029

kerenl pass sanity.sh, liblustre is broken

Add new LOV EA format which gives us fields for features needed in the post
1.0 stage (e.g. RAID, OST migration/replacement) as well as more efficient
storage than the current layout when there are few stripes on lots of OSTs.
As well, we will now be able to back up/restore/manipulate EA data via the
"getfattr" and "setfattr" tools (attr RPM) that are part of EA tools from
the "trusted.lov" attribute (only accessible to root/priviledged users).

Also contains code to transparently migrate from old EA format to new one
the first time the EA is accessed.  Note that there is no going back to old
code on the same filesystem once the EAs have been updated.  EA conversion
is (hopefully) "fail safe" in that an error during conversion just means
that the on-disk EA is kept in old format (clients understand both because of
common code).

Some of the "compat" code can be removed once we hit 1.0 and users have
migrated, but the infrastructure itself should probably remain for the
next time we need to change the EA format.

This also adds "lustre_user.h" which was in b_llp_hp and has existed in
b_llnl for some time, but alas the user EA format had to change in order
to allow specification of striping format.  A recompile should fix it.

Some minor warts remain:
- mds_objids_from_lmm() knows too much about lmm format.  It had an existing
  bug (looping to ld_tgt_count vs lmm_ost_count) and caused another bug for
  me because it does its own unpacking of the lmm) and it would be nice to
  just get rid of it and use obd_unpackmd(lmm) to get an lsm instead and use
  that instead of "ids"
- need to fix up endianness from ll_lov_setstripe() because this is now not
  done on the same host any more (object creation is done on MDS now)
- liblustreapi() should not be doing the printing of structs, but should
  instead just return structs to user-space and/or using a callback function
  supplied by the caller (e.g. for lfind iterating over filesystem).  The
  lov_dump_user_lmm* functions should probably be exported from the library
  and be used as default print functions as a starting point.
b=2097
r=braam

b=99
Andreas agrees that the disconnect is already synchronous, and will
already provide a transno suitable for committing all outstanding
requests.  So we don't need to do another.

b=2150: handle ENOSPC encountered during precreation
r=zab

b=2010
This time, actually initialize the OSC's maximum number of pages allowed
in each RPC to the nice value that we calculate, rather than just setting the
tunable max.  We export the math from portals so that client_obd_setup() can
use it to initialize the OSC from its summer home in ptlrpc/.

b=2010
The OSC was accidentally stuffing too much bulk data in RPCs when running
with 8k pages.  This trivially re-uses the math the OSC was already doing
to fix the new RPC building mechanism.

- remove .pc files

NOTE: please, use quilt

- truncate() was always getting a PW[0,EOF] lock for its operation and was
  checking the start of the lock extent when deciding whether to send a
  discarding intent or not -- we were always throwing away data covered by
  locks that were canceled by truncate().  With it fixed to start its PW lock
  with the truncated size write_append_truncate() passes again.  while I was
  in there I cleaned up some of my more illiterate comment work.

Remove unused variable from ll_process_log

- move lcfg init macro to a common location

b=2109
Flesh out the async OBD IO API to be more user friendly.  llite behaviour
should be the same, but easier to follow.  Each OBD layer gets its own
struct of state to associate with a page in flight.  A struct of callback
members is introduced to manage the communication between the obd async
api providers (lov/osc) and the callers (llite/lov).

This is landing now, instead of after 1.0, to give liblustre a more reasonable
interface into the RPC concurrency engine in the OSC.  This mechanism is most
evident in the part of ll_commit_write() that falls back to sync IO.  O_DIRECT
will also want to use this.

These changes pass acceptance-small on real hardware.

- silence the deafening roar of per-page writeback failure cerrors.

again merge b_devel to b_eq: 20031014

* move config log processing functions to obdclass.

msg

b=99
Andreas's sync patch, with an (almost) related journal cleanup to remove
fsfilt_journal_data; we no longer use this barely-maintained eature,
and our special files don't see normal write()s anyways

*   large request buffers; the request object is dynamically allocated in
    the event handler (request_in_callback()) for all incoming request
    messages apart from the one that fills a request buffer

*   CAVEAT EMPTOR so far this has only been tested with echo client/server,
    which doesn't test all types of reply (viz "difficult" replies).

A better way to fix the 2.6 build errors in llite_nfs.c

merge b_devel to b_eq: 20031010
kernel only

fix some flaws in llite_nfs.c

updated from parent (b_llp_hp)

- last nfs_export patch
- FS_NFSEXP_FSID flag is put into lustre_lite_fs_type as proposed
- patch ported against hp-pnnl-2.4.20 and rh-2.4.20 series

NOTE: please, don't forget to re-apply nfs_export_kernel* patch

landing b_lcfg to b_devel

- llog network api for processing the log from the client
- config messages changed to use struct lustre_cfg and struct
  portals_cfg
- lctl record options save config messages to log on the mds
- ll_fill_super supports fetching the log and replaying to setup
  the devices needed for mount.
- small changes to lctl interface to support new config protocol.

  - newdev is now a no-op.
  - cfg_device <device name> is used to set the target device for
    detach and cleanup.

b=1948
r=phil
Restore the echo_client to working order.  We fix up the object creation
paths and fix up some bad export refcounting behaviour.

- get rid of an extra export put in the lov_disconnect path.  This was
  covering up for an export leak in oscc_init.  We put that export
  reference in osc_disconnect.
- add a little helper to transfer the object group number from the obdo
  to the io obj.
- have the echo_client use group 2 for its objects so it doesn't conflict
  with the group 0 objects used by the filesystem.
- get the oid from obd_create from the lsm_obj_id returned instead of the
  overloaded o_id
- get rid of some extra export_puts in the echo_client's brw testing paths
- get rid of an extra export_put in echo_client_cleanup
- alter quite a bit of the filter object paths to pass the proper group around
- fix up some assumptions the filter has about group numbers that are no
  longer true after the addition of the echo_client's group 2.  this is
  begging for some enums.
- stop lbuging when io is attempted in the filter against an object that doesn't exist
- only do pre-creation in the filter for group 0
- be sure to set the caller's lsm in all filter_create success paths
- pass osc create requests right on to the ost if they aren't in group 0
- in your face, tab!

Merge most b_llp_hp features and fixes into b_devel:
 - some functional LDLM reorganization to support posix flocks
 - new posix flock code added, but not yet enabled in llite/
 - kernel patches for NFS export and ext3 raw lookup
 - NFS export enabled, ext3 raw lookup not enabled
 - includes all LDLM patches from bug 1766
 - locking to fix unlink/create inode re-use recovery race
 - added /proc tunables for pre-creation variables

b=2030
Queue IO in writepage when dirty pages first arrive there.  Previously
it was assumed that commit_write() was involved, which isn't the case
for writes via mmap().  mmap() still isn't correct across the cluster,
but at least pages won't get lost in writeback.

In the process of adding a sanity test for this some mmap() operations
are added to multiop and sanity gets a helper to find the page size.

- outdated patch removed

- unused patches removed

- merged with vanilla months ago

- we need no these patches anymore

- start using the ext3 constants instead of the ext2 ones.

merge b_devel -> b_eq 20031004
kernel only

Fix POSIX creat.13, fstat.1, open.18, stat.3 mtime/atime on new files.
b=2020

Print out generation values as unsigned instead of hex to be consistent and
remove confusion when debugging.

b 1585 Support immutable attributes to prevent accidental file deletion from the archives

- enable read-ahead in llite by default.  remove the silly 'readahead'
  mount option that no-one in the world will know to use.
- kill an old comment

- minor changes in order to get 2.6-compatibility

NOTE: kdev_t and dev_t issue need to be investigated in depth

Fix minor codingstyle and whitespace issues with ll_prep_inode change.
Avoid oops in ll_iget if we get a NULL inode back.

b=1966: infinite INTERRUPTED SET CERROR loop when shutting down with Lustre.  Until we
        figure out what we want to do in response to a signal sent to the osc_rpcd thread,
just ignore signals.  (Looping _inside_ l_wait_event doesn't clear the signals, so
we need to do something other than this anyway.)

- back out the mdc close deferral changes (bug 1883) until mds size
  management is ready and really needs it and both the txtbsy (bug 2003) and
  mdc semaphore regressions (bug 2008) are taken care of.

Land latest b_llp_hp changes onto b_flock.

- Niu's changes are back in.
- Changed utime.c to use a non-null time

- niu's inode changes broke sanity.sh 36a.

b: 1929
r: braam
Improve the code organization in llite.

b=1883
r=braam
Wait for dirty data to be handled (writeback, truncate, etc) before issueing
the mdc close.  This is done by tracking opens for write and dirty data and
deferring mdc close at file_release if there aren't other opens for write and
there is dirty data.  We perform these deferred closes when the dirty data is
taken care of or when another open for write comes along.

Also, a hot sanity test to verify the behaviour.

Land latest b_llp_hp changes on b_flock.q

update from b_llp_hp

Merge latest b_llp_hp changes onto b_flock

- this is a small refactoring of the inode refresh path to aid me with
  lstripe (which is mostly included in this, unfortunately).

b=1807
- backport oscc_create rewrite from b_llp_hp
- send osc_creates to a new OST thread, so that time-sensitive
  creations will not have to compete with billions of read/write requests

[liblustre]: various user level compile fixes in lov, lvfs, mdc, obdclass,
osc, include. prepare to build in liblustre.

merge b_devel -> b_eq: 20030909
only kernel pass sanity, liblustre still broken

Fix for missing open flags for vfs_intent-2.4.20-rh kernel patch.
This change was also needed for the vfs_intent-2.4.20-hp patch.  b=1877
Also add bug 1344 revalidate loop fixes to some of the vfs_intent patches.

The diff is fairly large, so that the files in the 2.4.20-rh patch are
in the same order as in all of the other vfs_intent patches to make
comparison and maintenance easier.  Some other minor changes are made to
keep the patches consistent.

There is still a difference between vfs_intent-2.4.20-vanilla and -rh
in follow_down, but I don't know which one is the "keeper".

merge b_llp_hp into b_flock, in preparation for integration.
- also renames new l_data field to l_policy_data, to reduce the risk
  of catastrophic bugs -- l_data means something _totally different_
  in every other branch (namely, l_ast_data in this branch)

merge b_llp_hp into b_qos in preparation for integration

merge b_llpmd into b_devel.  the major highlights:
- new I/O backend
- new client page cache and llite/lov/osc plumbing
- pre-creation of OST objects
- most of the OBD protocol now revolves around exports, not obd_devices

Don't fail LASSERT if other lockers are pending on semaphore.
b=1734
r=zab

Remove old, unused, and incorrect ll_setattr() code so I don't keep finding
it in searches, and people don't see this instead of ll_setattr_raw().

If this function is ever called, it means that there is a bug in our VFS
patch (the last known of which was fixed two lustre kernel versions ago).

merge b_llpmd into b_zconf

merge b_llpio into b_llpmd

merge b_devel into b_llpio, including v24 kernel patch

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.8'.

fix socknal build on vanilla kernels by adding socket exports
bumped the kernel patch version to 23, but really only vanilla-2.4.20 changed

merge b_devel -> b_eq: 20030822

file Makefile.am was initially added on branch b_devel.

file import.c was initially added on branch b_devel.

file nfs_export_kernel-2.4.20.pc was initially added on branch b_nfsdevel.

file LLNL_Changelog was initially added on branch b_llnl_stable.

merge b_multinet into HEAD

b=1505
Disable some console messages from failed statfs(), reconnect

file cygwin-ioctl.h was initially added on branch b_eq.

file uml_2.6.0_test3 was initially added on branch b_llpmd.

file uml-patch-2.6.0-test3-1.pc was initially added on branch b_llpmd.

file uml-patch-2.6.0-test3-1.patch was initially added on branch b_llpmd.

merge b_llpio into b_llpmd:

- bug 1639: write/truncate lock inversion
- bug 1763: fix timestamps from jumping to "now"
- bug 1648: extra journal assertions
- bug 1771: add an extra multiunlink test
- bug 1776: fix read_record/write_record API
- bug 1772: fix leak of offset_extent, possible incorrect i_size later
- bug 1541: fix lasserts in mis-matched transnos during open-unlink testing
- don't mark a file as an orphan unless this is the last link
- avoid committing NULL handle in force close
- local.sh is now a one-stripe LOV configuration

- merge from b_llpio to b_llpmd
  uneventful, added some defitions of functions to avoid compiler warnings.

file osc_create.c was initially added on branch b_llpmd.

Fix timestamps being changed to "now".
b=1763
r=phil

Fix for truncate/write inversion.
b=1639
r=phil

Fix for truncate/write lock inversion with generic_file_write.
b=1639
r=phil

file nfs_export_kernel-2.4.20.patch was initially added on branch b_nfsdevel.

updated from b_devel (8/14/03)

file lgmnalnid.c was initially added on branch b_myrinet.

merge b_filterio into b_llpio; b_filterio soon to be deleted, given
that b_llpio is a superset

merge three weeks of b_devel fixes into b_filterio

Fix size validation with getattr intents.  b=1768

b=1592
Read past EOF would clear res->dentry in preprw; we would oops trying
to dput it in commitrw.  Fixed.

- trivial sanity asserts in llite page accounting
- don't leak ocp's in some failure paths
- make sure read-ahead doesn't orphan a locked page
- add some mmap goo to multiop (this is going to conflict, I bet)

file iosanity.sh was initially added on branch b_devel.

b=1642
r=zab
- Land a cleanup of the preprw_read/commitrw_read path from b_filterio.
  The old dentry cleanup in error cases could not be overseen.
- Backport a copy of Zach's fix for bug 1741, believed the be the
  cause of the intermittent partial-page corruption

file write_append_truncate.c was initially added on branch b_devel.

If you force cleanup the OSC/LOV before you unmount, umount will
crash.  Fix by checking for NULL after conn2obd.

file sleeptest.c was initially added on branch b_devel.