Branch: b1_4
Patch series verification scripts moved to build.

r=adilger

remove old and unneeded includes

disable init scripts by default

b=4834
Land b_release_1_4_1 onto b1_4 (20050321_1527)

*    Added check that network parses OK in llmount.c

remove old mballoc from series until we get new mballoc2 patches

* removed the non-working 2.4.20 uml kernel config
* added a working 2.4.24 uml kernel config

r=braam
Fix 2.4 uml to use vmalloc instead of kmalloc for internal allocations,
because kmalloc has 128k limit and e.g. readdir in glibc exceeds this.

Branch: b1_4
Write enough to send at least one BRW RPC to an OST, otherwise the client
might cache the whole write and the VM not flush it before we re-enable
BRWs.  When that happens the client isn't evicted and our file compares OK.
b=5595

b=5188,5749

remove test 68 until bugs are fixed, it is causing sanity to never complete
test 68 is swap on Lustre

Branch: b1_4
Fix typo.

Branch: b1_4
Change load_ldap.sh to check for autoMakefile.am for "devel" mode, as
Makefile.am no longer exists.
b=5872
r=fergal (original patch)

Branch: b1_4
Remove unused patch, the 2.4.21-rhel version works on chaos already.

Branch: b1_4
Remove files duplicated with build/ .  I verified that the suse-*
scrips are installed from build/autoMakefile.am, and that the two
versions were identical.

Branch: b1_4
Allow NFSD to reopen files for write that were created without write perms.
This is needed for HPUX NFS clients (cp creates files with mode 000), and
Linux NFS test progs that intentionally do the same because NFSD always
reopens files for each client RPC and loses the Lustre initial open(O_CREAT)
file handle that was allowed to open-for-write a readonly file.
This only works for the file owner so it is no net loss of security (the
user could always just chmod a file and then write to it).  Tested at HP.
b=5781
r=peter (concept)

Branch: b1_4
Fix lock deadlock between obdfilter statistics gathering and object creation
(they used the same lock and stats handling might be in an IRQ).
b=5811
r=adilger (original patch from phil)

There have been so many changes since 1.4.0.10 that it needs its own ChangeLog
section.

Branch: b1_4
Set the mkfs defaults for the MDS to 1 inode/4k, and for the OST 1/16k.
We could probably be more aggressive on the OSTs, but this should be
safe for any reasonable usage of Lustre.
r=phil

Branch: b1_4
Fix problem with iopen-on-NFS problem.
b=5698

Branch: b1_4
Don't attach NFSD_DISCONN dentries in ext3_lookup->iopen_connected_dentry()
to avoid confusing NFSD when run on a Lustre-patched kernel.  This makes
iopen_connected_dentry() behave exactly as d_add(dentry, inode) did for
non-IOPEN mounted filesystems (i.e. everything except the MDS).
b=5698
r=behlendo

Branch: b1_4
Fix kernel oops when creating .foo in unlinked directory.
Kernels vanilla-2.4.24+ and 2.6.5+ already have this fix.
b=5548

Branch: b1_4
Enable mmaped writes for acceptance-small.sh

Branch: b1_4
Remove obsolete open_delay.c program, can use "openfile -f O_LOV_DELAY_CREATE"
instead.

Branch: b1_4
Don't try to block map an extent-mapped file if kernel doesn't support
extents, return error instead.

Branch: b1_4
Print out mode/rdev for ll_mknod_raw.

Branch: b1_4
Print ll_dir_readpage offset, use 64-bit value for calculation.

Branch: b1_4
- don't move pending lock onto export if it is already evicted
b=5863
r=phil

Branch: b1_4
b=5800

clean up MOUNT grep

allow sanity to work on 0conf mounted systems

add enough arguments for the printf format string.

b=5492,5624,5654,5664,5672
Fundamentally changes the locking rules for the i_size and KMS.  The way in
which this was done is documented in bug 5654 comment #6, and I'll ask the
colibri team to either adopt or adapt this design, but in any case make it a
part of their documentation after they've merged it.

i_size and KMS sampling and updates are now protected by an lli_size_sem.
The reasons are many:

The truncate path has been reorganized not to hold this semaphore during RPCs,
which allows us to reverse the deadlock-inducing order with the ns_lock in
ll_pgcache_remove_extent. (bug 5492)

The introduction of the i_alloc_sem in 2.6 was wreaking havoc on our ability
to get our ordering right.  The truncate path was a festering boil of unlocking
and relocking which may well have been the source of other concurrency bugs.
Not using the i_sem for i_size updates eliminates this rat nest (bugs 5624,
5654)

Finally, the CMD team reported a similar inversion between a writing thread
and ptlrpcd (the writing thread has the i_sem, and won't release it until
ptlrpcd finishes the I/O; ptlrpcd wants the i_sem to finalize lock cancellation
after being evicted). (bugs 5664, 5672)

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

whitespace-only changes to the series file, which helps me cat it through xargs

Update ChangeLog for last 2 commits

b=5637,4952
r=adilger
This patch tries to support all of the common VFS-enforced options like
nosuid, nodev, and noexec.  There are some others that will require server-side
code -- notably read-only -- that will have to come later.

b=5779
There's one error path in the DLM's enqueue code where, after a timeout and
user abort, the client will keep its local copy of the lock.

This has a few follow-on effects, all of which should be fixed by this patch:

- the reference on the lock is never dropped, so we never try to cancel it, so
we never find out that our view of the lock state differs from the server's.
This could perhaps cause some corruption.

- we try to match this lock on future enqueues; although the lock is marked as
failed, search_queue is only checking for destroyed (bug).  I don't know
precisely why we need two flags for this, but that's a more subtle change than
I'm willing to make right now.

- once we have a handle on that lock, the completion AST does check that flag,
so it returns an error right away -- but we don't check its return code in the
match path (bug) and plow on

- the lock enqueue was originally aborted before it got to the part that updates
the KMS and sets the LDLM_FL_CAN_MATCH flag.  So each match attempt will wait
100 seconds for that flag to get set, which of course never happens.  We should
print a pretty serious warning if that timeout happens, but fixes for the
previous two bugs should prevent us from getting here in the first place.

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

r=adilger
HP submitted a patch to dynamically calculate the page size in lfs, but we
decided that it made more sense to hard code it to at least 64kB.  That's
the largest page size that we could commonly come into contact with (ia64)

b=5800

extend the same affection shown to lconf to lmc. we have no favorite child

Branch: b1_4
Fix build error if _LARGEFILE64_SOURCE not defined when lustre_user.h is
included.  lov_user_mds_data isn't widely used, just silently drop it.
Quiet compiler warning.
r=jacob

Land b1_4_smallfix onto b1_4 (20050302_0257)
- new delete_thread patch for 81chaos kernel (b=5669)
- use KIOBUF_GET_BLOCKS() for PPC kernel (from b1_4_bgl)
- add "instantaneous" rates to llstat.pl in addition to overall average rate

Branch: b1_4
Add debugging for bug 5793 in case it happens again.
b=5793

b=5800
Info:
HP SFS 2250/CFS 5800

On em64t/x86_64 systems the %{_libdir} rpm path resolves to
/usr/lib64 rather than /usr/lib. This patch updates lconf to
look in both locations for the Lustre extension modules.

Branch: b1_4
Disable extents/mballoc with old patch, but allow Lustre to build.

Branch: b1_4
Move the MDC EA/cookie max size initialization later in the mount process,
until we have established our permanent connections.  This avoids needless
a bunch of client->OST connect+disconnect RPCs, and also fixes a bug where
the client didn't get the reply for the first disconnect, and then hit a
sanity check (target handle mismatch) on the server.

This will tie in directly to the bug 5707 fix, as that will additionally
store a "default" EA size to avoid allocating and sending a very large
(and otherwise useless) request buffer, just to have a place to store
the LOV EA for a MDS open replay.    Includes regression test.
b=5317
r=nathan (with minor fix to avoid the storage of lovdesc at all)

Omnibus lconf update, courtesy of HP.

lconf_write_conf_failover-cfs5111.patch
b=5111
Info:
        HP SFS 1575/CFS 5111
        Allow lconf --write_conf to handle stopping when the MDS device
        started in recovery.

lconf_pidfile_fix-cfs4903.patch:
b=4903
Info:
        HP SFS 1515, 1597/CFS 4903, 5091, 5452

        Fix the my_int() routine to handle arguments that are already
        integers correctly, and also handle octal values in the same way
        as hexadecimal ones are handled, and handle non-numeric strings,
        which will trigger TypeError exception, appropriately.

        Partially address issues identified with starting up and shutting
        down the acceptor daemon. For startup we attempt to deal with the
        possibility of another lconf instance racing with us that is also
        attempting to start the daemon. For shutdown we wait for up to 15
        seconds for the daemon to shut down properly before continuing.

lconf_validate_upcall-sfs1487.patch:
Info:
        HP SFS 1487
        Fixes erroneous comment in LCTLInterface class.
        Adds validation check to make sure that the specified upcall
        exists and is executable if appropriate.

lconf_whitespace_fixup.patch:
Info:
        Fix up white space on all lines to be consistent as part of the
        lustre 1.4.0 merge.

b=2811
HP's utils_pagesize_issues.patch:

Info:
        HP SFS 1678
        Enhance the lfs command to warn if stripe size is not an exact
        multiple of page size.

        HP SFS 211/CFS 2811
        Fix the lctl command to use dynamically calculated page size
        rather than compiled in page size setting. This means the command
        doesn't need to be rebuilt/re-installed if we reboot on a kernel
        with a different page size.

b=4481

revert patch, it is causing tests to fail

Branch: b1_4
Add optional path for DBENCH client scripts.
Change test 72 to only run for kernel 43 or higher.

fix typo

b=5585

backout both patches for this bug as it is breaking conf-sanity

fix to problem introduced by patch for bug #5585

Branch: b1_4
Add export-zap-page-range.patch for HP/PNNL kernel.
b=5780

fix for bug #5585 - and syntax error fix (missing newline)

fix for bug #4481

Branch: b1_4
Need to also allow building against an updated kernel version.

A think-o that Andreas didn't catch; really change version to 43

b=5773
added to rhel4 serie: export-show_task-2.6-vanilla.patch and remove-suid-2.6-suse
vfs_intent-2.6-rhel4.patch: got rid of IT_CHDIR, moved LOOKUP_LAST and LOOKUP_NOT_LAST to not clash with LOOKUP_OPEN, incorporated fix for bug 4134
export_symbols-2.6-rhel4: provided declaration of filemap_populate.

b=5654
Landing the purely mechanical parts of bug 5654, to make the patch smaller for
inspection.

Change obd_increase_kms to obd_adjust_kms to allow growing or shrinking the
kms.

remove the last vestiges of LLI_F_PREFER_EXTENDED_SIZE

b=5695
Oleg's patch fixes the kernels to call setattr_raw inside remove_suid.

In 2.4, remove_suid just did nothing.
In 2.6, it would LBUG when notify_change was called instead.

b=5733,5638
Alex's patches to fix small bugs in extents and mballoc:

1) extents-related fixes:
   1) callback's API used in ext3_ext_walk_space() changes a bit to
      reflect that callback can be given >2^16 extent len (hole)
   2) fsfilt_ext3 has changed to use updated callback API
   3) minor race in ext3_ext_new_extent_cb() fixed

2) mballoc-related fixes:
   1) free space searching has changed to be more smart
   2) three possible races have been fixed
   3) lots of minor fixes
   4) mballoc doesn't regenerate buddies in clean umount case

b=5687,5210
A workaround for the crash in ll_unhash_aliases on 2.6.

The 2.6 lookup code is now lockless (thanks to the RCU machinations), which
allows it to race with the unhashing in ll_unhash_aliases.  The 2.6 __d_drop
doesn't leave the list head ->pprev in a safe state, so the next pass through
this loop (which tries to re-hash it after we lose the dput race), would crash.

For the record, it looks like the kernel's own d_prune_aliases is broken in
the very same way, except that instead of crashing immediately, it just leaves
the d_hash pointers poisoned for someone else to crash on.

After a backend disk failure, we somehow got called in dio_complete_routine,
with what looked like a NULL bio->bi_private.

Add some debugging, in case we ever see this again.

Don't hold the pinger_sem in ptlrpc_pinger_sending_on_import.
It's an inherently racy operation in the first place, and until the pinger
thread is fixed not to hold the pinger_sem while it's waiting for an upcall
to complete, it prevents ptlrpcd from needlessly blocking.

b=5702
r=jacob
Scali's patch to fix a few problems with the init scripts on SLES9:

- Sources "/etc/init.d/functions" (doesn't exist on SLES9)
- Uses a function called "action" (doesn't exist on SLES9)
- The scripts don't have LSB-compliant comments to define what runlevels to
  run on, dependencies on external subsystems and so on.

abort with -1 to get a non zero exit code

Updates kernel patcheds for rhel4 kernel (2.6-rhel4 serie). Kernel compiles ok.
Starts updating ldiskfs serie for it too, extents and mballoc2 are remain to be
done for now

Branch: b1_4
Be clearer when printing out the default directory striping pattern.

Branch: b1_4
Quiet verbose and mostly useless message (printed loc_llcd == NULL always).

Branch: b1_4
Allow mtime/atime to be set backward.
b=4829, b=5669

Branch: b1_4
Allow mtime/atime to be set backward.
b=4829, b=5669

Branch: b1_4
Add newlines to VMA_DEBUG messages in ll_vm_{open,close} to avoid console spew.

Branch: b1_4
Hold ns lock when calling ldlm_del_waiting_lock() from ldlm_handle_ast_error().
This was detected by Phil's recent addition of "l_check_ns_lock()" therein.
b=5746

Branch: b1_4
Fix bogus LASSERT when NFS exporting a filesystem.
This is for a structure we don't even use currently.
b=4655, 5760
r=green (original analysis + fix)

init the mpi layer earlier to prevent unknown options when run with a real mpi
layer. mpi init taken from write_append_truncate

*   Added network type 'ra' to comments/help strings in lmc

*   Added missing NALs to failure handling case of zeroconf ADD_PEER

Branch: b1_4
Fix grammar.

Branch: b1_4
Something I noticed when looking at the OST AMD patch.  We should check
the "ost" index and not the "stripe" index.

*     First cut working vibnal

*   Added zeroconf ADD_PEER support for RANAL and VIBNAL

land changes from b_release_1_4_0_10

Branch: b1_4
Minor fix to the MDS default stripe count->inode size calculations.

Branch: b1_4
Ignore generated files.

Land b1_4_smallfix onto b1_4 (20050210_1537)
Fix build problem for older kernels which don't have i_alloc_sem.

Use MDS_{UP,DOWN}_{READ,WRITE}_ORPHAN_SEM() to lock the MDS orphan
information to avoid a confusing name conflict.
b=5700

Branch: b1_4
Add missing ChangeLog entry (bug not known).
r=eeb (original fix)

b=5684
r=adilger

First stab at improving some user visible error messages.

Add some comments so other people don't get fooled into thinking there was a bug here as i did.

Add patch to fix running with 2.6 host systems.

*    Added loopback optimisation to lib-move.c
     lctl --net ??? loopback             # show current state
     lctl --net ??? loopback on          # enable loopback optimisation
     lctl --net ??? loopback off         # disable loopback optimisation
     By default loopback optimisation is turned OFF

Andreas caught a think-o in the liblustre half of this checkin

brown paper bag bug in the lock cleanups; I'm amazed this passed as many tests
as it did, but here we are.

b1_4_mmap landing didn't update the ChangeLog (tsk tsk)

b=5628
r=jacob
- add a per-mdc/osc /proc file that lets you do a Lustre ping
- the old way, used by lfs check, would block when the MDS is down, because it
  opened the mountpoint
- also exported it via liblustreapi as llapi_ping(obd_type, obd_name)

b=5656
Clean up a lot of calls to LDLM_DEBUG that weren't protected by an ns_lock.
This is probably not a comprehensive fix, but addresses all of the violations
that I saw.

Add an l_check_ns_lock to go with l_check_no_ns_lock.

remove the last vestiges of test_ldlm from {l,obd}ctl

Updated config files from 2.4.21-37EL, which enable a handful of new modules
(at least on x86_64)

bump the version to 1.4.0.10 for 1.4.1 rc1

A customer mentioned that we didn't have a get_hostaddr method for the LDAP
backend.  LDAP is on its way out of favour, so I'm hardly shocked.