Update lwizard man page on how to use multinet

lwizard supports multi-net

try to clean up all lov/mds llogs, even if first on fails

b=4952
r=adilger
Protocol change!  This commit breaks wire protocol compatibility.

connect messages now exchange another buffer, which currently contains only
flags.  This is used to implement read-only mounting, but will be used to fix
other issues as well.

The flags are exchanged with the MDT and OST, but currently only the MDT pays
any attention to them.  The places that check the disk are carefuly to check
the export for its read-only status.  Having this flag in the export gives us
the opportunity to also set it when the client doesn't request it, to force
read-only mounts as a security policy.

This commit also adds remount_fs method, which can make use of mdc_set_info to
change the rw/ro status at remount-time.  And osc_set_info should follow.

Branch: b1_4
Fix regression caught by e2fsck - we weren't unlinking empty directories
if they were renamed-over by another directory.  This is impossible to
do with a shell, as it will move the source dir INTO the target instead
of OVER the target.
b=5953

Branch: b1_4
Quiet grant messages until we have CONNECT messages to fix bug 3273.
b=5983

changelog entry for 5981

land b_release_1_4_1 onto b1_4

b=5654
r=adilger

The last little bits of cleanup for bug 5654 (from Andreas's review):
- save_valid isn't needed in ll_setattr_raw, because either the function exits
  early or ia_valid gets cleared regardless
- protect i_size updates in ll_nopage and ll_ap_refresh_count
- change ll_page_matches to only match outgoing locks for real reads;
  readaheads no longer match locks which are in the process of being
  cancelled anyways

b=5981
r=adilger

SetPageDirty in 2.6 is a hangman's noose made of time bombs, with which to
shoot yourself in the foot.  It doesn't adjust page lists or counters, which
we now believe was almost certainly responsible for the two weeks of
mysterious "negative nr_dirty" hangs at NERSC and NOAA.

As an extra precaution, I also move the clear_page_dirty_for_io compat function
into the 2.4-only part.  If configure happened to ever enable it in 2.6
somehow, it would be a similar disaster (assuming that the compile didn't
fail).

b=5903
minor fix for 5903

b=5975
r=adilger

use lustre_cfg_bufs_set_string() in userspace to NULL-terminate the
flags

Land b1_4_bgl on b1_4.

Portals b1_4_bgl will land on HEAD after 1.4.2 is released, so for now
children of b1_4 need to use the b1_4_bgl branch of portals.

Existing filesystems will need to --write_conf on the MDS as the log
format has incompatible changes.

- Remove portals-upcall and lustre-upcall
- Fix 5943. Only one MDS is supported

Make sure to really crash the kernel even if it did not crashed by just cd to
wrong place.

b=4889,5773
r=adilger
Fix test 48e to work properly.b=4889,5773

Branch: b1_4
Remove patches that weren't removed from b_release_1_4_1 landing.
b=5875

Branch: b1_4
Allow FORCE for cleanup

Branch: b1_4
Patch series verification scripts moved to build.

r=adilger

remove old and unneeded includes

disable init scripts by default

b=4834
Land b_release_1_4_1 onto b1_4 (20050321_1527)

*    Added check that network parses OK in llmount.c

remove old mballoc from series until we get new mballoc2 patches

* removed the non-working 2.4.20 uml kernel config
* added a working 2.4.24 uml kernel config

r=braam
Fix 2.4 uml to use vmalloc instead of kmalloc for internal allocations,
because kmalloc has 128k limit and e.g. readdir in glibc exceeds this.

Branch: b1_4
Write enough to send at least one BRW RPC to an OST, otherwise the client
might cache the whole write and the VM not flush it before we re-enable
BRWs.  When that happens the client isn't evicted and our file compares OK.
b=5595

b=5188,5749

remove test 68 until bugs are fixed, it is causing sanity to never complete
test 68 is swap on Lustre

Branch: b1_4
Fix typo.

Branch: b1_4
Change load_ldap.sh to check for autoMakefile.am for "devel" mode, as
Makefile.am no longer exists.
b=5872
r=fergal (original patch)

Branch: b1_4
Remove unused patch, the 2.4.21-rhel version works on chaos already.

Branch: b1_4
Remove files duplicated with build/ .  I verified that the suse-*
scrips are installed from build/autoMakefile.am, and that the two
versions were identical.

Branch: b1_4
Allow NFSD to reopen files for write that were created without write perms.
This is needed for HPUX NFS clients (cp creates files with mode 000), and
Linux NFS test progs that intentionally do the same because NFSD always
reopens files for each client RPC and loses the Lustre initial open(O_CREAT)
file handle that was allowed to open-for-write a readonly file.
This only works for the file owner so it is no net loss of security (the
user could always just chmod a file and then write to it).  Tested at HP.
b=5781
r=peter (concept)

Branch: b1_4
Fix lock deadlock between obdfilter statistics gathering and object creation
(they used the same lock and stats handling might be in an IRQ).
b=5811
r=adilger (original patch from phil)

There have been so many changes since 1.4.0.10 that it needs its own ChangeLog
section.

Branch: b1_4
Set the mkfs defaults for the MDS to 1 inode/4k, and for the OST 1/16k.
We could probably be more aggressive on the OSTs, but this should be
safe for any reasonable usage of Lustre.
r=phil

Branch: b1_4
Fix problem with iopen-on-NFS problem.
b=5698

Branch: b1_4
Don't attach NFSD_DISCONN dentries in ext3_lookup->iopen_connected_dentry()
to avoid confusing NFSD when run on a Lustre-patched kernel.  This makes
iopen_connected_dentry() behave exactly as d_add(dentry, inode) did for
non-IOPEN mounted filesystems (i.e. everything except the MDS).
b=5698
r=behlendo

Branch: b1_4
Fix kernel oops when creating .foo in unlinked directory.
Kernels vanilla-2.4.24+ and 2.6.5+ already have this fix.
b=5548

Branch: b1_4
Enable mmaped writes for acceptance-small.sh

Branch: b1_4
Remove obsolete open_delay.c program, can use "openfile -f O_LOV_DELAY_CREATE"
instead.

Branch: b1_4
Don't try to block map an extent-mapped file if kernel doesn't support
extents, return error instead.

Branch: b1_4
Print out mode/rdev for ll_mknod_raw.

Branch: b1_4
Print ll_dir_readpage offset, use 64-bit value for calculation.

Branch: b1_4
- don't move pending lock onto export if it is already evicted
b=5863
r=phil

Branch: b1_4
b=5800

clean up MOUNT grep

allow sanity to work on 0conf mounted systems

add enough arguments for the printf format string.

b=5492,5624,5654,5664,5672
Fundamentally changes the locking rules for the i_size and KMS.  The way in
which this was done is documented in bug 5654 comment #6, and I'll ask the
colibri team to either adopt or adapt this design, but in any case make it a
part of their documentation after they've merged it.

i_size and KMS sampling and updates are now protected by an lli_size_sem.
The reasons are many:

The truncate path has been reorganized not to hold this semaphore during RPCs,
which allows us to reverse the deadlock-inducing order with the ns_lock in
ll_pgcache_remove_extent. (bug 5492)

The introduction of the i_alloc_sem in 2.6 was wreaking havoc on our ability
to get our ordering right.  The truncate path was a festering boil of unlocking
and relocking which may well have been the source of other concurrency bugs.
Not using the i_sem for i_size updates eliminates this rat nest (bugs 5624,
5654)

Finally, the CMD team reported a similar inversion between a writing thread
and ptlrpcd (the writing thread has the i_sem, and won't release it until
ptlrpcd finishes the I/O; ptlrpcd wants the i_sem to finalize lock cancellation
after being evicted). (bugs 5664, 5672)

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

whitespace-only changes to the series file, which helps me cat it through xargs

Update ChangeLog for last 2 commits

b=5637,4952
r=adilger
This patch tries to support all of the common VFS-enforced options like
nosuid, nodev, and noexec.  There are some others that will require server-side
code -- notably read-only -- that will have to come later.

b=5779
There's one error path in the DLM's enqueue code where, after a timeout and
user abort, the client will keep its local copy of the lock.

This has a few follow-on effects, all of which should be fixed by this patch:

- the reference on the lock is never dropped, so we never try to cancel it, so
we never find out that our view of the lock state differs from the server's.
This could perhaps cause some corruption.

- we try to match this lock on future enqueues; although the lock is marked as
failed, search_queue is only checking for destroyed (bug).  I don't know
precisely why we need two flags for this, but that's a more subtle change than
I'm willing to make right now.

- once we have a handle on that lock, the completion AST does check that flag,
so it returns an error right away -- but we don't check its return code in the
match path (bug) and plow on

- the lock enqueue was originally aborted before it got to the part that updates
the KMS and sets the LDLM_FL_CAN_MATCH flag.  So each match attempt will wait
100 seconds for that flag to get set, which of course never happens.  We should
print a pretty serious warning if that timeout happens, but fixes for the
previous two bugs should prevent us from getting here in the first place.

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

r=adilger
HP submitted a patch to dynamically calculate the page size in lfs, but we
decided that it made more sense to hard code it to at least 64kB.  That's
the largest page size that we could commonly come into contact with (ia64)

b=5800

extend the same affection shown to lconf to lmc. we have no favorite child

Branch: b1_4
Fix build error if _LARGEFILE64_SOURCE not defined when lustre_user.h is
included.  lov_user_mds_data isn't widely used, just silently drop it.
Quiet compiler warning.
r=jacob

Land b1_4_smallfix onto b1_4 (20050302_0257)
- new delete_thread patch for 81chaos kernel (b=5669)
- use KIOBUF_GET_BLOCKS() for PPC kernel (from b1_4_bgl)
- add "instantaneous" rates to llstat.pl in addition to overall average rate

Branch: b1_4
Add debugging for bug 5793 in case it happens again.
b=5793

b=5800
Info:
HP SFS 2250/CFS 5800

On em64t/x86_64 systems the %{_libdir} rpm path resolves to
/usr/lib64 rather than /usr/lib. This patch updates lconf to
look in both locations for the Lustre extension modules.

Branch: b1_4
Disable extents/mballoc with old patch, but allow Lustre to build.

Branch: b1_4
Move the MDC EA/cookie max size initialization later in the mount process,
until we have established our permanent connections.  This avoids needless
a bunch of client->OST connect+disconnect RPCs, and also fixes a bug where
the client didn't get the reply for the first disconnect, and then hit a
sanity check (target handle mismatch) on the server.

This will tie in directly to the bug 5707 fix, as that will additionally
store a "default" EA size to avoid allocating and sending a very large
(and otherwise useless) request buffer, just to have a place to store
the LOV EA for a MDS open replay.    Includes regression test.
b=5317
r=nathan (with minor fix to avoid the storage of lovdesc at all)

Omnibus lconf update, courtesy of HP.

lconf_write_conf_failover-cfs5111.patch
b=5111
Info:
        HP SFS 1575/CFS 5111
        Allow lconf --write_conf to handle stopping when the MDS device
        started in recovery.

lconf_pidfile_fix-cfs4903.patch:
b=4903
Info:
        HP SFS 1515, 1597/CFS 4903, 5091, 5452

        Fix the my_int() routine to handle arguments that are already
        integers correctly, and also handle octal values in the same way
        as hexadecimal ones are handled, and handle non-numeric strings,
        which will trigger TypeError exception, appropriately.

        Partially address issues identified with starting up and shutting
        down the acceptor daemon. For startup we attempt to deal with the
        possibility of another lconf instance racing with us that is also
        attempting to start the daemon. For shutdown we wait for up to 15
        seconds for the daemon to shut down properly before continuing.

lconf_validate_upcall-sfs1487.patch:
Info:
        HP SFS 1487
        Fixes erroneous comment in LCTLInterface class.
        Adds validation check to make sure that the specified upcall
        exists and is executable if appropriate.

lconf_whitespace_fixup.patch:
Info:
        Fix up white space on all lines to be consistent as part of the
        lustre 1.4.0 merge.

b=2811
HP's utils_pagesize_issues.patch:

Info:
        HP SFS 1678
        Enhance the lfs command to warn if stripe size is not an exact
        multiple of page size.

        HP SFS 211/CFS 2811
        Fix the lctl command to use dynamically calculated page size
        rather than compiled in page size setting. This means the command
        doesn't need to be rebuilt/re-installed if we reboot on a kernel
        with a different page size.

b=4481

revert patch, it is causing tests to fail

Branch: b1_4
Add optional path for DBENCH client scripts.
Change test 72 to only run for kernel 43 or higher.

fix typo

b=5585

backout both patches for this bug as it is breaking conf-sanity

fix to problem introduced by patch for bug #5585

Branch: b1_4
Add export-zap-page-range.patch for HP/PNNL kernel.
b=5780

fix for bug #5585 - and syntax error fix (missing newline)

fix for bug #4481

Branch: b1_4
Need to also allow building against an updated kernel version.

A think-o that Andreas didn't catch; really change version to 43

b=5773
added to rhel4 serie: export-show_task-2.6-vanilla.patch and remove-suid-2.6-suse
vfs_intent-2.6-rhel4.patch: got rid of IT_CHDIR, moved LOOKUP_LAST and LOOKUP_NOT_LAST to not clash with LOOKUP_OPEN, incorporated fix for bug 4134
export_symbols-2.6-rhel4: provided declaration of filemap_populate.

b=5654
Landing the purely mechanical parts of bug 5654, to make the patch smaller for
inspection.

Change obd_increase_kms to obd_adjust_kms to allow growing or shrinking the
kms.

remove the last vestiges of LLI_F_PREFER_EXTENDED_SIZE

b=5695
Oleg's patch fixes the kernels to call setattr_raw inside remove_suid.

In 2.4, remove_suid just did nothing.
In 2.6, it would LBUG when notify_change was called instead.

b=5733,5638
Alex's patches to fix small bugs in extents and mballoc:

1) extents-related fixes:
   1) callback's API used in ext3_ext_walk_space() changes a bit to
      reflect that callback can be given >2^16 extent len (hole)
   2) fsfilt_ext3 has changed to use updated callback API
   3) minor race in ext3_ext_new_extent_cb() fixed

2) mballoc-related fixes:
   1) free space searching has changed to be more smart
   2) three possible races have been fixed
   3) lots of minor fixes
   4) mballoc doesn't regenerate buddies in clean umount case

b=5687,5210
A workaround for the crash in ll_unhash_aliases on 2.6.

The 2.6 lookup code is now lockless (thanks to the RCU machinations), which
allows it to race with the unhashing in ll_unhash_aliases.  The 2.6 __d_drop
doesn't leave the list head ->pprev in a safe state, so the next pass through
this loop (which tries to re-hash it after we lose the dput race), would crash.

For the record, it looks like the kernel's own d_prune_aliases is broken in
the very same way, except that instead of crashing immediately, it just leaves
the d_hash pointers poisoned for someone else to crash on.

After a backend disk failure, we somehow got called in dio_complete_routine,
with what looked like a NULL bio->bi_private.

Add some debugging, in case we ever see this again.

Don't hold the pinger_sem in ptlrpc_pinger_sending_on_import.
It's an inherently racy operation in the first place, and until the pinger
thread is fixed not to hold the pinger_sem while it's waiting for an upcall
to complete, it prevents ptlrpcd from needlessly blocking.

b=5702
r=jacob
Scali's patch to fix a few problems with the init scripts on SLES9:

- Sources "/etc/init.d/functions" (doesn't exist on SLES9)
- Uses a function called "action" (doesn't exist on SLES9)
- The scripts don't have LSB-compliant comments to define what runlevels to
  run on, dependencies on external subsystems and so on.

abort with -1 to get a non zero exit code

Updates kernel patcheds for rhel4 kernel (2.6-rhel4 serie). Kernel compiles ok.
Starts updating ldiskfs serie for it too, extents and mballoc2 are remain to be
done for now

Branch: b1_4
Be clearer when printing out the default directory striping pattern.

Branch: b1_4
Quiet verbose and mostly useless message (printed loc_llcd == NULL always).

Branch: b1_4
Allow mtime/atime to be set backward.
b=4829, b=5669

Branch: b1_4
Allow mtime/atime to be set backward.
b=4829, b=5669

Branch: b1_4
Add newlines to VMA_DEBUG messages in ll_vm_{open,close} to avoid console spew.

Branch: b1_4
Hold ns lock when calling ldlm_del_waiting_lock() from ldlm_handle_ast_error().
This was detected by Phil's recent addition of "l_check_ns_lock()" therein.
b=5746

Branch: b1_4
Fix bogus LASSERT when NFS exporting a filesystem.
This is for a structure we don't even use currently.
b=4655, 5760
r=green (original analysis + fix)

init the mpi layer earlier to prevent unknown options when run with a real mpi
layer. mpi init taken from write_append_truncate

*   Added network type 'ra' to comments/help strings in lmc

*   Added missing NALs to failure handling case of zeroconf ADD_PEER

Branch: b1_4
Fix grammar.

Branch: b1_4
Something I noticed when looking at the OST AMD patch.  We should check
the "ost" index and not the "stripe" index.

*     First cut working vibnal

*   Added zeroconf ADD_PEER support for RANAL and VIBNAL

land changes from b_release_1_4_0_10