*  PtlMDUnlink() can no longer return PTL_MD_INUSE, since it commits the MD
   for destruction.  If no network I/O is current at the time, a
   PTL_EVENT_UNLINK event is created.

*  The 'unlinked_me' field of an event has been replaced by a simple flag
   'unlinked' that is set if the event signals the destruction of the MD.

*  Events have a new 'status' field.  This is PTL_OK on successful
   completion, and any other portals errno on completion with failure.
   CWARN() messages in these callbacks log abnormal completion.

*  All event callbacks changed to handle the UNLINK event, completion
   status and unlinked flag.

*  All abnormal completions changed to work with PltMDUnlink and the new
   callbacks.

*  Removed bd_complete from ptlrpc_bulk_desc and added bd_success.
   Communications have completed when bd_network_rw gets cleared.   If
   bd_success is set, then bd_nob_transferred tells you how much data
   was sent/received.

*  Changed MDS and OST bulk completion to deal with failed bulk transfers.
   The PtlBD server just LASSERTS things went OK, so we can be reminded to
   implement better error handling there too.

*  ptlrpc_wake_client_req() inline helper.

*  Changed the lib/NAL interface as follows....

   .  cb_callback() is optional and defaults to calling the event queue's
      callback if it is left NULL.

   .  cb_read(), cb_write(), cb_map(), cb_map_pages(), return PTL_OK on
      success and another portals errno on failure.

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() return PTL_OK
      if and only if they can commit to calling lib_finalize() when the
      relevent message completes (possibly with error).

   .  cb_send(), cb_send_pages(), cb_recv(), cb_recv_pages() may not modify
      the iovec/ptl_kiov_t they are passed, and must do I/O on the
      subsection of this scatter/gather buffer starting at 'offset' for
      'mlen' bytes.  This greatly simplifies portals lib level descriptor
      management at minimal expense to the NAL.

   .  portals lib now exports lib_extract_iov(), lib_extract_kiov() and the
      other iov helpers take an additional 'offset' parameter, to simplify
      offset buffer coding in the NAL.

   .  lib_parse() is void (i.e. returns no value).

   .  lib_finalize() takes an addition ptl_errno_t completion status.

   ...note that NALs other than qswnal and socknal need to have these
   changes implemented properly and tested.

*  Swapped some loose fprintf()s for CERROR()

*  Dropped PORTAL_SLAB_ALLOC(); portals just uses PORTAL_ALLOC() now.
   Since there are no slabs now, I also changed #ifdef PTL_USE_SLAB_CACHE
   to #ifndef PTL_USE_LIB_FREELIST

*  Changed lib_msg_alloc() so it is _never_ called with the statelock held,
   just like all the other allocators.

*  Changed dynamic MD allocation to size the MD by the number of fragments.

*  Dropped a bunch of dross, plus the iovs from lib_msg_t so they become
   tiny again.

*   Merged HEAD

*   "clobbered" (as Phil would say) kernel_patches/patches

merge b_devel into b_eq:

 - fixes from alex, tian, eeb
 - small differences in opinion

more innocent b_eq to b_devel merging:
 - updates to liblustre-specific files
 - updates to #ifdef-ed code
 - Makefiles et al

merge b_devel into b_eq

Slightly less obvious, but still very innocent, parts of b_eq:

 - code or includes in the main build, but contained in #if __KERNEL__
 - userspace-only portals code
 - very few and minor other changes, such as renaming a function

liblustre: follow up last merge from b_devel.

merge b_devel to b_eq: 20031125. kernel part only.

that spinlock component is lli_lock.

b=1883
- Adds llite_close.c; Zach's originally, somewhat heavily hacked
- Adds an MDS_DONE_WRITING rpc and handler
- Adds client-side code for storing the MDS FID and epoch in the
  obdo's inline field in BRW_WRITE requests

add special device inode lustre handler

Override the local_nid in the logs during zeroconf mount.  If the
local_nid option is not specified, then mount.lustre will use
the hostname for socknal, or /proc/elan/device0/position for qswnal.

For nettype=elan, if remote_nid isn't set the mount.lustre will
attempt to parse the hostname and use the first series of numbers as
the nid.  So, mdev20-eth1 will become elan id 20.

Fix bulk RPC checksum code and page poisoning for debugging bug 2254.
b=1703,b=2254

b=2261
writepage() was able to return an error during the window when exports
were invalid.  writepage()'s caller requires that writepage() unlock
the page when it returns an error, but ours wasn't so kupdated could
get stuck forever waiting for this page to be unlocked.

Use PTL_MD_MAX_PAGES instead of PTL_MD_MAX_IOV where needed, so we send the
right number of pages over the wire for ia64/i386 interoperability.
b=1821

I touched one thing in lustre_mds.h, and I was dismayed to see the
entire source tree rebuild!

It took just a few minutes to remove a number of #includes which
violated all manner of abstraction boundary.  ericm assures me that I
have not broken anything major in liblustre.

Also, I moved a good chunk of inline functions into llite_internal.h
(which is where I secretly believe that most of lustre_lite.h will end up),
and renamed ll_ino2fid (which no longer takes an inode) to mdc_pack_fid.

Silence most of the warnings in the x86_64 build, and kill some Real Bugs in
the process.  (sanity checked in an x86 uml build, as well)

- include linux/init.h from some modules that use __init and company
- x86_64 has 64 bit longs but uses 'long long' for u64 in the kernel.  we
  add its own specific section to LP*64 definitions.  Sadly, there are still
  a huge number of warnings from this gcc when we try to LP*64 print uint64_t
  obdo arguments.
- use min_t in some defines to avoid the duplicate const prefacing that comes
  with nesting min()
- LPX64 printing -1UL doesn't work so well
- i_nlink can be any of unsigned short, int, or long.  when printing cast
  to unsigned long.
- kern_addr_valid takes a 'unsigned long' argument and shifts it.. sigh.
- don't #define EXPORT_SYMTAB in the source, that's the job of the kernel
  makefiles
- x86_64/suse has THREAD_SIZE defined in userspace
- s/long flags/unsigned long flags/.  Again.
- va_list ap = NULL; is not legal, as far as I know.  it doesn't seem
  to actually do anything in this code path either.
- x86_64 passes CONFIG_X86 but had thread->rsp as the stack pointer.  this
  code is going away eventually anyway.
- print a pointer with %p, not %x
- some portals callback pointer definitions used size_t while some nal's
  functions used ptl_size_t in the function defintions.  I switched the
  functions over to avoid pushing changes on all the nals.

again merge b_devel to b_eq 20031113
yesterday's merge brought in some nasty bugs.

  b:2215 - OSTs fetch unlink llog records from MDS post replay

     1. add lop_connect and lop_precleanup to llog_operations
     2. rename llog_obd_ctxt to llog_ctxt; llog_commit_data to llog_canceld_ctxt
     3. split out llog functions in llog_client.c and llog_server.c and remove llogd.c
     4. add one test-59 to sanity.sh to verify cancellation of llog records async
     5. fix calling of mds_cleanup_orphans, add test-34 to replay-single.sh
     6. fix some codes about llog

merge b_devel to b_eq: 20031112
for robert's final zeroconf code.

Use a random uuid for the mdc created to fetch the config log

Add new "lustre" fs type which supports only zeroconf mounts.
 - old zeroconf client code removed from lustre-lite, and the lconf
   --zeroconf option deleted
 - common code factored out for ll/lustre fill_super and put_super
 - lconf still uses lustre_lite (but not for long)

llmount will be used by mount for lustre filesystems if copied to
/sbin/mount.lustre:

  mount -t lustre mds_host:/mds_servicee/profile  /mnt/lustre

Multiple mounts of the same filesystem are supported.

Remove unused mds and filter nspath code.

merge b_devel to b_eq: 20031111, for recent kernel patches updates.

fix server cleanup problem: when service dropping reply, need increment
"outstand reply" count if it's a difficult reply, later handle_reply()
will decrement it for us.

merge b_devel to b_eq: 20031107
kernel passed sanity, but liblustre broken since lconf changes. need fix
by robert.

b=1028
r=zab
Return the object's block count from write requests, and store it in
the client inode.

Everyone knows what -EIO means (ooh, timeout.)

Absolutely nobody knows what -ENOLCK means (no locks available?  did I
run out of memory?  is there some tunable I should modify?  why did
that happen when I pressed C-c?

So I am removing -ENOLCK, and also making ll_extent_lock_no_validate
responsible for translating LDLM errors into -EIO.

land zcfg on devel

- includes changes from b_llogging

- the MDS -> LOV connection is created using the MDS config log, so the
  log must exist. Lconf will create the log automatically when
  --reformat is used. To create the config logs on an existing
  filesystem, run lconf on the MDS with --write_conf. This only needs to
  be done on the MDS.

- LOV does not connect to the MDS during setup.  Instead, the MDS and
  MDC use obd_get_info("lovdesc") to get the stripe info. The LOVDESC
  and LOVTGTS files on the MDS are no longer used (and not created
  on new filesystems.)

- Zeroconf clients are new support by lconf --zeroconf, and
  replay-single.sh uses this to mount the client.  The exact arguments
  needed for zeroconf will be changing quickly, so don't use
  lconf --zeroconf in other scripts yet.  Instead, once the dust
  clears, lconf will be changed to always do zeroconf mounts, and
  eventually when don't need lconf anymore is when we start changing
  the test scripts.

- put it more consistent debug message that track pages through llite.
  Hopefully it will shed some light on bug 2192.

merge b_devel -> b_eq: 20031029

kerenl pass sanity.sh, liblustre is broken

Add new LOV EA format which gives us fields for features needed in the post
1.0 stage (e.g. RAID, OST migration/replacement) as well as more efficient
storage than the current layout when there are few stripes on lots of OSTs.
As well, we will now be able to back up/restore/manipulate EA data via the
"getfattr" and "setfattr" tools (attr RPM) that are part of EA tools from
the "trusted.lov" attribute (only accessible to root/priviledged users).

Also contains code to transparently migrate from old EA format to new one
the first time the EA is accessed.  Note that there is no going back to old
code on the same filesystem once the EAs have been updated.  EA conversion
is (hopefully) "fail safe" in that an error during conversion just means
that the on-disk EA is kept in old format (clients understand both because of
common code).

Some of the "compat" code can be removed once we hit 1.0 and users have
migrated, but the infrastructure itself should probably remain for the
next time we need to change the EA format.

This also adds "lustre_user.h" which was in b_llp_hp and has existed in
b_llnl for some time, but alas the user EA format had to change in order
to allow specification of striping format.  A recompile should fix it.

Some minor warts remain:
- mds_objids_from_lmm() knows too much about lmm format.  It had an existing
  bug (looping to ld_tgt_count vs lmm_ost_count) and caused another bug for
  me because it does its own unpacking of the lmm) and it would be nice to
  just get rid of it and use obd_unpackmd(lmm) to get an lsm instead and use
  that instead of "ids"
- need to fix up endianness from ll_lov_setstripe() because this is now not
  done on the same host any more (object creation is done on MDS now)
- liblustreapi() should not be doing the printing of structs, but should
  instead just return structs to user-space and/or using a callback function
  supplied by the caller (e.g. for lfind iterating over filesystem).  The
  lov_dump_user_lmm* functions should probably be exported from the library
  and be used as default print functions as a starting point.
b=2097
r=braam

b=99
Andreas agrees that the disconnect is already synchronous, and will
already provide a transno suitable for committing all outstanding
requests.  So we don't need to do another.

b=2150: handle ENOSPC encountered during precreation
r=zab

b=2010
This time, actually initialize the OSC's maximum number of pages allowed
in each RPC to the nice value that we calculate, rather than just setting the
tunable max.  We export the math from portals so that client_obd_setup() can
use it to initialize the OSC from its summer home in ptlrpc/.

b=2010
The OSC was accidentally stuffing too much bulk data in RPCs when running
with 8k pages.  This trivially re-uses the math the OSC was already doing
to fix the new RPC building mechanism.

- remove .pc files

NOTE: please, use quilt

- truncate() was always getting a PW[0,EOF] lock for its operation and was
  checking the start of the lock extent when deciding whether to send a
  discarding intent or not -- we were always throwing away data covered by
  locks that were canceled by truncate().  With it fixed to start its PW lock
  with the truncated size write_append_truncate() passes again.  while I was
  in there I cleaned up some of my more illiterate comment work.

Remove unused variable from ll_process_log

- move lcfg init macro to a common location

b=2109
Flesh out the async OBD IO API to be more user friendly.  llite behaviour
should be the same, but easier to follow.  Each OBD layer gets its own
struct of state to associate with a page in flight.  A struct of callback
members is introduced to manage the communication between the obd async
api providers (lov/osc) and the callers (llite/lov).

This is landing now, instead of after 1.0, to give liblustre a more reasonable
interface into the RPC concurrency engine in the OSC.  This mechanism is most
evident in the part of ll_commit_write() that falls back to sync IO.  O_DIRECT
will also want to use this.

These changes pass acceptance-small on real hardware.

- silence the deafening roar of per-page writeback failure cerrors.

again merge b_devel to b_eq: 20031014

* move config log processing functions to obdclass.

msg

b=99
Andreas's sync patch, with an (almost) related journal cleanup to remove
fsfilt_journal_data; we no longer use this barely-maintained eature,
and our special files don't see normal write()s anyways

*   large request buffers; the request object is dynamically allocated in
    the event handler (request_in_callback()) for all incoming request
    messages apart from the one that fills a request buffer

*   CAVEAT EMPTOR so far this has only been tested with echo client/server,
    which doesn't test all types of reply (viz "difficult" replies).

A better way to fix the 2.6 build errors in llite_nfs.c

merge b_devel to b_eq: 20031010
kernel only

fix some flaws in llite_nfs.c

updated from parent (b_llp_hp)

- last nfs_export patch
- FS_NFSEXP_FSID flag is put into lustre_lite_fs_type as proposed
- patch ported against hp-pnnl-2.4.20 and rh-2.4.20 series

NOTE: please, don't forget to re-apply nfs_export_kernel* patch

landing b_lcfg to b_devel

- llog network api for processing the log from the client
- config messages changed to use struct lustre_cfg and struct
  portals_cfg
- lctl record options save config messages to log on the mds
- ll_fill_super supports fetching the log and replaying to setup
  the devices needed for mount.
- small changes to lctl interface to support new config protocol.

  - newdev is now a no-op.
  - cfg_device <device name> is used to set the target device for
    detach and cleanup.

b=1948
r=phil
Restore the echo_client to working order.  We fix up the object creation
paths and fix up some bad export refcounting behaviour.

- get rid of an extra export put in the lov_disconnect path.  This was
  covering up for an export leak in oscc_init.  We put that export
  reference in osc_disconnect.
- add a little helper to transfer the object group number from the obdo
  to the io obj.
- have the echo_client use group 2 for its objects so it doesn't conflict
  with the group 0 objects used by the filesystem.
- get the oid from obd_create from the lsm_obj_id returned instead of the
  overloaded o_id
- get rid of some extra export_puts in the echo_client's brw testing paths
- get rid of an extra export_put in echo_client_cleanup
- alter quite a bit of the filter object paths to pass the proper group around
- fix up some assumptions the filter has about group numbers that are no
  longer true after the addition of the echo_client's group 2.  this is
  begging for some enums.
- stop lbuging when io is attempted in the filter against an object that doesn't exist
- only do pre-creation in the filter for group 0
- be sure to set the caller's lsm in all filter_create success paths
- pass osc create requests right on to the ost if they aren't in group 0
- in your face, tab!

Merge most b_llp_hp features and fixes into b_devel:
 - some functional LDLM reorganization to support posix flocks
 - new posix flock code added, but not yet enabled in llite/
 - kernel patches for NFS export and ext3 raw lookup
 - NFS export enabled, ext3 raw lookup not enabled
 - includes all LDLM patches from bug 1766
 - locking to fix unlink/create inode re-use recovery race
 - added /proc tunables for pre-creation variables

b=2030
Queue IO in writepage when dirty pages first arrive there.  Previously
it was assumed that commit_write() was involved, which isn't the case
for writes via mmap().  mmap() still isn't correct across the cluster,
but at least pages won't get lost in writeback.

In the process of adding a sanity test for this some mmap() operations
are added to multiop and sanity gets a helper to find the page size.

- outdated patch removed

- unused patches removed

- merged with vanilla months ago

- we need no these patches anymore

- start using the ext3 constants instead of the ext2 ones.

merge b_devel -> b_eq 20031004
kernel only

Fix POSIX creat.13, fstat.1, open.18, stat.3 mtime/atime on new files.
b=2020

Print out generation values as unsigned instead of hex to be consistent and
remove confusion when debugging.

b 1585 Support immutable attributes to prevent accidental file deletion from the archives

- enable read-ahead in llite by default.  remove the silly 'readahead'
  mount option that no-one in the world will know to use.
- kill an old comment

- minor changes in order to get 2.6-compatibility

NOTE: kdev_t and dev_t issue need to be investigated in depth

Fix minor codingstyle and whitespace issues with ll_prep_inode change.
Avoid oops in ll_iget if we get a NULL inode back.

b=1966: infinite INTERRUPTED SET CERROR loop when shutting down with Lustre.  Until we
        figure out what we want to do in response to a signal sent to the osc_rpcd thread,
just ignore signals.  (Looping _inside_ l_wait_event doesn't clear the signals, so
we need to do something other than this anyway.)

- back out the mdc close deferral changes (bug 1883) until mds size
  management is ready and really needs it and both the txtbsy (bug 2003) and
  mdc semaphore regressions (bug 2008) are taken care of.

Land latest b_llp_hp changes onto b_flock.

- Niu's changes are back in.
- Changed utime.c to use a non-null time

- niu's inode changes broke sanity.sh 36a.

b: 1929
r: braam
Improve the code organization in llite.

b=1883
r=braam
Wait for dirty data to be handled (writeback, truncate, etc) before issueing
the mdc close.  This is done by tracking opens for write and dirty data and
deferring mdc close at file_release if there aren't other opens for write and
there is dirty data.  We perform these deferred closes when the dirty data is
taken care of or when another open for write comes along.

Also, a hot sanity test to verify the behaviour.

Land latest b_llp_hp changes on b_flock.q

update from b_llp_hp

Merge latest b_llp_hp changes onto b_flock

- this is a small refactoring of the inode refresh path to aid me with
  lstripe (which is mostly included in this, unfortunately).

b=1807
- backport oscc_create rewrite from b_llp_hp
- send osc_creates to a new OST thread, so that time-sensitive
  creations will not have to compete with billions of read/write requests

[liblustre]: various user level compile fixes in lov, lvfs, mdc, obdclass,
osc, include. prepare to build in liblustre.

merge b_devel -> b_eq: 20030909
only kernel pass sanity, liblustre still broken

Fix for missing open flags for vfs_intent-2.4.20-rh kernel patch.
This change was also needed for the vfs_intent-2.4.20-hp patch.  b=1877
Also add bug 1344 revalidate loop fixes to some of the vfs_intent patches.

The diff is fairly large, so that the files in the 2.4.20-rh patch are
in the same order as in all of the other vfs_intent patches to make
comparison and maintenance easier.  Some other minor changes are made to
keep the patches consistent.

There is still a difference between vfs_intent-2.4.20-vanilla and -rh
in follow_down, but I don't know which one is the "keeper".

merge b_llp_hp into b_flock, in preparation for integration.
- also renames new l_data field to l_policy_data, to reduce the risk
  of catastrophic bugs -- l_data means something _totally different_
  in every other branch (namely, l_ast_data in this branch)

merge b_llp_hp into b_qos in preparation for integration

merge b_llpmd into b_devel.  the major highlights:
- new I/O backend
- new client page cache and llite/lov/osc plumbing
- pre-creation of OST objects
- most of the OBD protocol now revolves around exports, not obd_devices

Don't fail LASSERT if other lockers are pending on semaphore.
b=1734
r=zab

Remove old, unused, and incorrect ll_setattr() code so I don't keep finding
it in searches, and people don't see this instead of ll_setattr_raw().

If this function is ever called, it means that there is a bug in our VFS
patch (the last known of which was fixed two lustre kernel versions ago).

merge b_llpmd into b_zconf

merge b_llpio into b_llpmd

merge b_devel into b_llpio, including v24 kernel patch

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.1.8'.

fix socknal build on vanilla kernels by adding socket exports
bumped the kernel patch version to 23, but really only vanilla-2.4.20 changed

merge b_devel -> b_eq: 20030822

file Makefile.am was initially added on branch b_devel.

file import.c was initially added on branch b_devel.

file nfs_export_kernel-2.4.20.pc was initially added on branch b_nfsdevel.

file LLNL_Changelog was initially added on branch b_llnl_stable.

merge b_multinet into HEAD

b=1505
Disable some console messages from failed statfs(), reconnect

file cygwin-ioctl.h was initially added on branch b_eq.