Bug#1380 migrating xproc to Lprocfs
Bug#1377 use per-cpu lprocfs counters
obdstat will be replaced by llobdstat.pl

b_devel -> b_orphan merge for 20030610

b=1228
Add generation numbers and inode pointers to the "VFS Op" debug statements

add ext3-delete_thread-2.4.18.patch

This wholesale change breaks down llvisualize into multiple modules
to allow easy extensibility and to reduce memory footprint when
running with large logs.

llascii.pm is the module used for timing analysis, html and graph generation
(--vfssummary option). No new features have been added, but lot of
redundant code has been removed.

llgtk.pm is the visual component for the gtktree. This has been completely
rewritten, in part due to bugs #1271 and #717. The --serverrpc switch has
(for stitching server logs into client view) been fixed. The --uml option
will allow loading of logs which are time warped at multiple places in the log.

llcommon.pm contains code that is common to both the analysis mode (--vfssummary option)
and the visual mode.

llconsts.pm contains the constants, and any global variables used.

add tcp-zero-copy.patch

add delete thread patch in  chaos

Extra debugging for a situation that may no longer be possible: if we
enter ll_alloc_brw with an i_blksize of < PAGE_CACHE_SIZE, we would
allocate enough space for zero pages.  Then LASSERT soon thereafter.

The fix that Andreas made to ll_file_open might prevent this, but just
in case, if we ever get into here with llwp->max == 0, print an error
and force it to be 1.

Fix for LASSERT failure in ll_inode_getattr.
Also removes get_info("brw_size") and instead uses o_blksize from the OSC
  to set the "optimum" block size for IO (ala st_blksize from fstat).  We
  do not yet pass this from the OST to the client, but we should as soon
  as BA OSTs do.
This also removes a problem where we returned bad values for st_blksize at
  times (4096 when the inode was created, 65536 * num_osts later, instead
  of 65536 * num_stripes).

Remove lib/simple.c functions from ldlm/ldlm_lib.c into obdclass/simple.c
Remove duplicate declarations of client_obd_{setup,cleanup}() in ldlm/ldlm_lib.c
Remove duplicate declarations of client_sanobd_setup()/path2dev.

rename exports_hp.pc to exports_2.4.20.pc

mv exports_hp.patch to exports_2.4.20.patch

rename dev_read_only_hp to dev_read_only_2.4.20

rename dev_read_only_hp.patch dev_read_only_2.4.20.patch

- remove unused "granted_callback" and "cp_data" fields from the
  ldlm_lock structure and APIs
- fix warning in llite/iod.c

merge b_ad (cleaned up a bit) into b_devel; entirely 2.5 compat fixes

the chaos kernel can use the iopen-2.4.18.patch

land b_proto on b_devel:
 - major rework of the rpc and bulk APIs, lots of new assertions and cleanups
 - many rpc and bulk bugfixes, including bugs 937, 1057, 1072, 1162
 - perform brw and getattr operations to multiple OSTs in parallel
 - all bulks are tied to exactly one request; multiple requests can be
   tied to a single request_set

landing b_open onto b_devel:
 - kernel patches for bug 1203
 - fixes directory open()s
 - re-enables metadata caching on the MDS
 - fixes bug in ext3_noread kernel patch
 - fixes some symbol export problems in other kernels
 - fixes compilation problems when running on Red Hat 2.4.20 kernels

If you update past this merge, you will require kernel version 18

The regex for hostname now contains the fully qualified hostname.
So, changing the parser to accomodate the change

However did I miss this ?

Missed commits from b_devel merge.

partial merge of b_open into b_devel:
 - Lustre kernel patch version 16
 - extN no longer built; ext3 patched as part of the kernel patch
 - related changes to lconf/lmc, to load and mkfs ext3 instead of extN now

This file keeps getting lost it seems.

Obvious issue with parser in the absence of the start and
the end line switch. Fixed the same.

b=1178
- Preparations for removing unused "addr" from lustre_handle
- remove ioc_addr from kernel/userspace communications

Adding the capability for sectional views into visualize.
This adds the switches --s <start-line> and --e <end-line> to enable
looking at events of interests in really large logs. Applies for both
analysis and visualization

Updated llparser for bug #1167. In addition, it also skips all processes
that do not perform RPCs summarizing them to stderr

Don't do nbytes calculation when not using VFSTRACE debugging.

Fixed a logical error which was causing the first RPC to be skipped
when creating HTML links. A more user-friendly output format

- fix a lost fix for exec.c

- make a few debugging cases less chatty
- get a PR lock to ->eof in ll_file_read to purge extending writes and
  make them visible to our post-enqueue getattr

* Incorporates Zach's feedback on bug #783 to change the CDEBUG
  to represent actual bytes written (for partial pages)
* Updated llparser.pm to display html links only when all RPC lines
  for a transaction are present

* Updated visualize that can deal with wrapped logs, and very large logs
  (~50M).
* Broke out the visual part of visualize into a separate module
* Updated the concurrency view

Fix inode->i_blksize (for fstat st_blksize and hopefully improved cp
performance) so that it is the maximum vector write size (num_stripes *
max_iov_size) as told by obd_get_info("brw_size").

Also change the obd_get_info() API to fix some minor abuses (passing part
of the key in via val, returning data via the return code).  Also remove
any pretense of obd_get_info() allocating memory for the caller, following
normal portals caller-allocates behaviour.  Make inputs and returns be
fixed size, so they can be network-encoded across different arches.

Updated version of llvisualize. Some issues remain with time-wrapped
logs. Tested for the --vfssummary and --htm <htmfilename> option
To invoke
   ./llvisualize --vfssummary --htm htm1 <cdebug-log-files>
Will result in an ASCII text output that provides Marker/VFS/RPC timing
summary. It will also produce an easily navigatable main HTML file "htm1.html"
and graph files (one for each log file) that provide a visual representation
of concurrency in the cluster.

Bug fix for Bug #783. Reviewed by Phil.
Needed for llvisualize functionality.

This gives a good first shot at fixing the patch management issues:

 - we followed the instructions that are being posted on the wiki
   and wich were discussed this morning

 - patches are now fairly easy to create and update

oops, this has been sitting here for a few days now.
- add some page cache stats to ll_sb_info and export them with seq_file so that
  a shell spinning during an io run can give us a nice picture of what the
  client is doing.

It's just _my_ UML, I guess.  sigh.  I'll update or something, and try
again.

- squelch apparently-harmless "STRANGE intent release" message

- Zach's recent commit started using GPLONLY symbols, which my UML
can't resolve without a dorky preprocessor hack.  Oh well.

- Print the remote NID in timeout and "cancel out of sync" messages,
so they're useful

b=957
- Infrastructure for the pinger thread; needs multi-rpc and some refinements
- Add last_request_time to obd_export

- Fixed export leak in lov_brw success case
- test22 rears its head again: tar gets pissy if it can't access $PWD,
  which is common for homedirs at LLNL.  cd to /tmp before running tar.

Merged many of the changes from b_proto:
- multi-rpc infrastructure, but not the key bits
- removed some bitfield flags in favour of individual struct members
- merged obd_brw_write and obd_brw_read into a single obd_brw_internal
- move the Elan-related page wrangling from the IOD into the OSC

fix up file size and cache mechanisms to account for the disconnect between
acquiring a file region extent and getting 0..N callbacks for obd locks that
the acquiry generated.

- truncate_inode_pages(,0) could race with dirtying and lose data.  when a lock
  is canceled we now purge/invalidate the (striped) pages that were covered by
  the (lov->obd) lock
- remove the getattr flag business and instead do getattrs around every lock
  acquiry.  this brings us closer to how things will behave when we return
  file size with locks, but it will slow things down until then.
- maintain an rbtree of extents which record the page offsets that are dirty
  in the page cache.  for now it helps us decide if we should trust getattr.
  in the future it will help purging and the write space reservation.
- always round extents to page size in osc_enqueue
- while I'm in here, get rid of the ISBLK stuff in _file_write and let
  generic_file_write set ppos to i_size under the i_sem

this has passed tests under a large lov with /tmp backing, but do keep an eye
out for data/size inconsistency problems.

Add Zach's patch to export truncate_complete_page(); still needs an
hp-pnnl and vanilla equivalent

adding error handling  in runas.c in case the malloc() fails

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.2.2'.

Seems I missed the cutoff for the old b_devel branch, and this was lost.

Quiet a couple of ia64 compile warnings.

file vanilla-2.5.63 was initially added on branch b_devel.

file lustre-2.5.63.pc was initially added on branch b_devel.

file lustre-2.5.63.patch was initially added on branch b_devel.

file extN.patch-2.5.63 was initially added on branch b_devel.

file mkdirdeep.c was initially added on branch b_devel.

Bugzilla 895

file extN-delete_thread.diff was initially added on branch b_devel.

file ext3-orphan_lock.diff was initially added on branch b_devel.

file ext3-truncate_blocks.diff was initially added on branch b_devel.

- remove the lli_open_count that was accidentally re-introduced with b_io
- silence an unused variable warning in runas

runas.c is modified to use execvp() instead of system(), suggested by Zach

file checkstack.pl was initially added on branch b_devel.

This commit was manufactured by cvs2svn to create branch 'unlabeled-1.2.2'.

merge b_devel into HEAD.  Includes:

- client-side I/O cache
- O_DIRECT fixes for IA64
- liblustre improvements
- various small bug fixes

Remove obsolete rh-8.0 series file.

file runas.c was initially added on branch branch_bug828.

Bug 828 is fixed by Peng Zhao, arrpoved by Andreas.
runas.c allows the root to "runas" another user to do things.

file ext3-2.5-noread.diff was initially added on branch b_devel.

file ptlrpc_module.c was initially added on branch b_recovery.

file ptlrpc_internal.h was initially added on branch b_recovery.

Commenting out liblustre from make targets until Makefile.am in liblustre is fixed

Remove extraneous whitespace.

b=941: zab's fix for ia64 compiles. untested, but it does compile

file iod-stock-24-exports_hp.patch was initially added on branch b_devel.

land b_io on b_devel (b_io will be deleted as soon as it's confirmed
that the merge happend without incident)

land 0.5.20.3 b_devel onto HEAD (b_devel will remain)

- Flush every line so it works better with pdsh

file ext3-largefile.diff was initially added on branch b_devel.

Update HP VFS patch for v13.

b=912
- Lustre patch version 13:
  - merge the iod-rmap-exports patch from b_io
  - add and export __d_rehash, which optionally avoids taking dcache_lock
- fix bug 912 race by calling d_rehash without dropping the dcache_lock
- Fix earlier botched patch for 913

file recovery-cleanup.sh was initially added on branch b_devel.

Changed to use absolte paths instead of relative paths for symbols in case
that made a difference (it didn't).

file mlink.c was initially added on branch b_devel.

Dropped-request and -reply tests for link and unlink.

Dropped-request and dropped-reply tests for rename.

- Quell (spurious, but I don't blame gcc for getting it wrong) "uninitialized
  use of dchild" warning.

- Reconstruct rename replies (easy, until I go back and make them all work in
  the failed-over case).

- macroize and share check-for-resent-req code.
- defensive assertion in mds_close_mfd to help catch dentry mismanagement
- transnos for getattr_name and open, always.
- don't free the repmsg too early when we're dropping replies for testing
- ldlm_intent_policy knows how to fix up lock handles for reconstructed requests,
  and not give the lock away to the client twice
- tchmod exits with errno on failure.

Update lcrash map-making script.

file .cvsignore was initially added on branch b_devel.

file compile.sh was initially added on branch b_devel.

file Makefile.am was initially added on branch b_devel.

file libtest.c was initially added on branch b_devel.

fix uninitialized variable warning

b=892
osc_close used to walk through the request list, trying to find the
corresponding osc_open.  This is slow, racy and doomed to failure, so we
need to instead save a point to the request in osc_open.

Instead of passing a handle up to whoever called us, pass 32 bytes of
opaque data.  These get passed back to us at various points, through
the obdo's inline field.

Fixed to make version_tag.pl work outside srcdir.

You might not believe it, but the open-reply tests pass now.

Reconstruct replies for open.  Lightly tested (successful open case).

- Store open-request XID in the MFD, so that we can find it during reply
  reconstruction.
- Untested reply reconstruction for GETATTR_NAME (easy) and OPEN (not easy,
  ahem).
- Don't leak dentry refs when reconstructing replies for reint_setattr or
  reint_create.
- Don't double-dput dchild if dentry_open fails.  (Not yet in test suite, bug
  894 filed to trick someone into adding it.)

don't LBUG if we can't lookup the parent in mds_open and mds_reint_create; it's
entirely possible that we're racing with rmdir()

file lustre_peer.c was initially added on branch b_malt.

file statone.c was initially added on branch b_devel.

Add tests for reply reconstruction and request retransmission for
reint_setattr.