Bug #357, no more gratituous new line..., or typecasting

Name changes to make all file system statistics names common
across the /proc/lustre hierarchy. See comment in Bug #320

Bug #364: Approver - Robert Reed: Update lustre init script to use lconf.

1. Bug fix for Bug #320, also needs repair of lconf, since it tries
   to insert two devices with the same ID in a router configuration.
2. Added LDLM counters into /proc/lustre hierarchy
3. Fixes for Andreas's comments in Bug #357.
4. Bug #332 fixed, num_devices replaced with num_refs
5. Removed file proc_lustre.c, which was dead code.

file lstripe.c was initially added on branch b_lov.

file lov_pack.c was initially added on branch b_lov.

This file is not being used. Hence, removed.

This file is not being used at all. It is not on the compile path either
Hence, removed.

back out vmalloc changes; there's not enough vmalloc space on MCR for the
buffers that we require at startup, if you can believe that

- apply andreas's patch to remove u16
- fix subtle rename() dentry bug

Comment.

Wrap long lines.

2.5 fixes copied from MDS 2.5 code.

Remove lprocfs wierdness.

Common kernel bug (lots of it in InterMezzo too, AFAIK) - copy_to_user()
returns number of bytes uncopied and not an error code.

Fixes to the lock LRU

Update the file size _before_ taking the read lock, or you will deadlock in
some contrived cases.

- llanalyze  first bugfixes -- use hex when needed!

- nodlm option to llanalyze

- a log analyzer to help us work with the Lustre logs even more easily
  So far:
   - indentation with spaces for call stack depth
   - select pid
   - --trace (only the call trace)
   - --nonet (leave out networking message)
Written in Perl, very easy to add more features.

The test for a freeing inode was reversed, oops.  We want to skip inodes
that are marked I_FREEING.

- change the OST / MDT thread names to also include the host pid
  in case of UML to aid debugging.

use vmalloc for OBD_ALLOCs above 16k, like we do in Portals

the first try at lock LRU

Build an XML config for connecting to a BA OST for echo testing.

Minor code cleanups - mostly whitespace.

Fix minor compiler warning.

Add assertion to LL_GET_INTENT(), because we aren't very non-intent friendly
right now.

update file size in ll_file_read, lest the VFS decide not to call us

Fix for many-clients-and-server-on-same-node deadlock.  One server task
can go "in the hole" for at most one maximum-sized request, to avoid
deadlocking when the clients have consumed all of the kmapping reservations.

The server can then complete the request and both the server and client will
release their reservations, allowing further progress to be made.

Some additional changes for kmem accounting that I missed.

Highmem deadlock avoidance (server version):
- reserve highmem pages before we start doing kmaps to avoid deadlocks
  with multiple threads reserving vectors of pages

Dramatically increase the randomness of MDC UUIDs

- add something that prints the time every 10,000 creates

Use the fs-method statfs, so we can take into account the EA space needs
for extN (1 block for each inode, excluding special files).

Make sure that we set last_xid and last_committed on replies from LDLM,
operations, or intent-only metadata loads will result in unbounded client
memory growth.

Fix (or a workaround that will hide the real bug) for bug 322.

We are calling mdc_blocking_ast() to clean up an inode that is already
being cleaned up elsewhere.  This is the result of ldlm_cli_cancel_unused()
being called from two places at the same time:
- ll_prepare_recovery()->prepare_mdc()->ldlm_cli_cancel_unused()
- ll_clear_inode()->mdc_cancel_unused()->ldlm_cli_cancel_unused()

There is still a small race where the ll_clear_inode() RPC could have
completed and "inode" is garbage, but since we are in recovery this
is highly unlikely.

file mkdirmany.c was initially added on branch b_symlink.

Fix build-breaking thinko

- land b_symlink on HEAD
- print peer when entering recovery, since MDC uuids are no longer descriptive

Only store replayable (MDC, with transno) requests on the sending_head after
they've received a reply.

- capability fixes on head
- LL_SAVE_INTENT fixes

file createmany.c was initially added on branch b_symlink.

0.5.16+ updates

Comment clarification.

Whitespace.

b=141,205,323
- When the MDS returns an intent lock to us, check to see if we already have a
  matching one.  If so, cancel the new one.
- Add a new mode to ldlm_lock_match, which allows you to pass in an existing
  lock handle.  It will look for any matches among other locks.

small fixups to revalidate2 lock matching

- add another sanity test
- test if we have a lock already in revalidate2

b=290,311
- call obd_cancel_unused with the correct parameters
- only call it for regular files (those with non-NULL lli->lli_smd)

another shot at managing dentries

b=311
- Drop unused data locks in clear_inode
- Fix for directory and inode counts and link counts

somehow I keep screwing this up, all over a 3-line change.

merging all noncontroversial pieces of b_symlink into HEAD

merging all noncontroversial pieces of b_symlink into HEAD

b=255
- Don't call cancel_unused until the last CLOSE for a given inode.

- wholesale renaming of the brw associated callback variables,
  structures and functions.  Primarily distinguish between:
   - portals event handlers (no longer called callbacks)
   - brw callbacks

* init script designed for MCR by Gord Eagle, and a useful example

Add kernel patch version checking

file stat.c was initially added on branch b_symlink.

- the root dentry should not be uhashed, it is always a valid dentry
- this is a fix for bug 341

- sanity check for intent setting

Prudent check for NULL intent before dereferencing.

Minor type fixup to match o_brw.

- Replaces the LDLM lock counters (in /proc/ldlm/)
- Removes the second LDLM import that Peter added, in favour of doing a
  last-minute fixup of the portal numbers in ldlm_cli_cancel

- Fix up c_recovd_data list_head management, to avoid NULL dereferences in
  recovd_conn_manage (bug 338).

Minor fix so that the printed output is actually what we want to run.

Issue# 330: Approver: Andreas - New utility to find files affected by loss of an OBD.

Peter tells me that the removal of "-O2" from the i386 archdep is the actual
source of the QUOTA problems.

Include quotaops.h in the headers that we munge for extN to avoid issues
with "extern __inline__" declarations therein.

Bug# 329: Approver: Andreas - obd_ioctl_unpack() causes segmentation violation.

minor comment fixup

b=320
disable lprocfs, since it crashes on router nodes

Don't include lprocfs_ll_rd() at all.  lprocfs defines a no-op function
stub for this.  When lprocfs isn't available, we will get nothing from
these functions, but I don't think that is a big deal.

The "random" addition to the UUID were in fact not very random: dev is time-
synchronized, and this caused big trouble.

I fixed this by seeding the PRNG from /dev/urandom at startup; my first
multi-line python hackery, so I hope I didn't pooch it.

- minor fixes to the tests

- Replace client-side generation fixup with bug 304's righteous assertion of
  generations numbers at recreate-time.  Single-client recovery should now be
  _that_much_ more robust. (Bug 299.)

new test with lots of very basic operations

1. Fixed cleanup issue where I was *indeed* accesing a zapped pointer.
2. Removed typedef
3. lproc-snmp back in.

- fixes for dentry problems from Phil and myself
- separate cancel/callback threads to avoid starvation
- fix for broken symlinks

* add a bit of randomness to the MDC uuid

Build properly with lprocfs disabled.

* change init_portals to use inter_module_get() instead of
inter_module_get_request(), becuase we don't want to the kernel to load
any old nal, we want to use just the one that was loaded for us by
lconf.

* add hook for toenal

* more bits for toenal

* rename startlevel and endlevel to minlevel and maxlevel

Revert Mike's recovery changes from LOV, for the greater good of being
able to use LOV again.

Yes, we should in fact MOD_DEC_USE_COUNT there.

file sanity.sh was initially added on branch b_find_alias.

Disable lprocfs until it can clean up.

* initial checkin

Lproc-snmp code drop

* 1st attempt to prevent duplicate devices being started.
* also don't cleanup a device if it doesn't exist.

Similar to local.sh, but with 2 mount points of the same filesystem.

Use the right fstype for the kernel being used.

Removed the lprocfs_snmp.h file. Need to get rid of "snmp" usage
inside lustre. New file is lprocfs_status.h

Changing the name from lprocfs_snmp.h to lprocfs_status.h

* cleanup multiple MDC's correctly

* teach lconf about ktoenal.o

Modified the makefile.am to allow creation of only lustre-HOWTO.txt by default.
'make docs' will build the lustre.pdf document.

many places in the reint path did not use generation numbers with their
locks; fixed.