Changelog entry about quota support

Branch: b1_4
Don't abort lfs find if we get an error statting a file, this can happen
if e.g. the MDS is corrupted, which is exactly when we need it to work.

Branch: b1_4
Don't barf if "HOST" is unset.

Branch: b1_4
Fix bug number for excluded test, remove dupe from some merge.

Branch: b1_4
Don't think just any mountpoint with "lustre" in the name is Lustre(tm).
There are no substitutes.  (for HP)

Branch: b1_4
Quiet annoying grant message.
r=phil

Landing b1_4_quotaoff to b1_4

b=3048
r=me, originally from adilger

Moves the checking for stripe sizes into the lib, so all callers get
this.  Properly checks for dirstripe default removal, and always
prints the directory default striping.

b=3026
r=boc
support for arbitrary number of OSTs

Fix rhel4 compile errors for me

b=5985
r=adilger
Do not drop LOOKUP_LINK_NOTLAST flag not set by us (in case of recursive
symlinks)

b=6000
Do not search any VMAs in NULL mm. Fixes NFS exporting problems for HP.

b=3048
r=me, adilger

when creating new directories, inherit parent's striping

b=6017
r=adilger

add --abort-recovery option to lconf

Branch b1_4
think-o

Branch b1_4
b=5951
Try to confine test 24 effects to test 24

*   llmount fix
    - vibnal needs IP address as well as NID (assuming NID == IP
      could lead to ARP failures; e.g. bug 5858).

Branch: b1_4
Define $UPCALL=DEFAULT for instanity.sh, test breaks otherwise (it assumes
that "--lustre-upcall $UPCALL" will work, instead we eat the next parameter
--ptldebug as the upcall).

b=6011
r=adilger

 * bump portals ioctl version to work around not checking the
   portals_cfg version number anywhere

 * print error messages when there are errors in lctl

 * some typo fixes ect.

Branch: b1_4
Update ChangeLog with a message about incompatible 1.4.2 release.

Branch: b1_4
Remove unused variable.

Branch: b1_4
Clean up both llog contexts in osc and obdfilter, even if one has an error.
Equivalent to changes in lov_llog_cleanup() and mds_llog_cleanup().
b=4834
r=nathan

Branch: b1_4
For some reason having an inline ll_set_rdonly() with HAVE_OLD_DEV_SET_RDONLY
is causing gcc to miscompile and way overstep the array bounds (2 == 1792
in some cases it seems).  Move this code to a function.

Add some more 64-bit sanity checks (it was do_div() on BGL that broke things
previously).

Branch: b1_4 (merge from b_cray)
Remove useless fcb_cache_count atomic.

b=5981
r=oleg

fix for this patch from oleg.

this fixes oopses when running replay-single in UML for me, and
recovery-small for andreas somewhere

* added uml-vanilla-2.4.24.config for lustre/uml setups

Branch: b1_4
Use ldlm_type_t when storing lock type.

Fix quotes

didn't mean for this to go in

b=3262
r=adilger,green

Store backup servers in the config logs on the mds, and try them
round-robin style when recovering

ported from b_cray, originally by eric mei.

Branch: b1_4
Don't re-add a lock being destroyed to the waiting locks list.
Debugging (that doesn't panic system) in case this happens again.
b=5653
r=phil

update wiretest for MDS_SET_INFO.  without the noise, this amounts to:

-        LASSERTF(MDS_LAST_OPC == 46, " found %lld\n",
+        LASSERTF(MDS_SET_INFO == 46, " found %lld\n",
+                 (long long)MDS_SET_INFO);
+        LASSERTF(MDS_LAST_OPC == 47, " found %lld\n",

r=adilger
r=phil

include the version of the actual compiler we were compiled with.

Branch: b1_4
Ignore writemany binary.

Branch: b1_4
Remove scripts duplicated in build/
r=jacob

r=phil

these haven't been used in years and years.

b=4952
A plurality of Makefiles led me astray; super.c isn't compiled into 2.6 builds
at all, so lustre_remount_fs needs to be in llite_lib.c

Update lwizard man page on how to use multinet

lwizard supports multi-net

try to clean up all lov/mds llogs, even if first on fails

b=4952
r=adilger
Protocol change!  This commit breaks wire protocol compatibility.

connect messages now exchange another buffer, which currently contains only
flags.  This is used to implement read-only mounting, but will be used to fix
other issues as well.

The flags are exchanged with the MDT and OST, but currently only the MDT pays
any attention to them.  The places that check the disk are carefuly to check
the export for its read-only status.  Having this flag in the export gives us
the opportunity to also set it when the client doesn't request it, to force
read-only mounts as a security policy.

This commit also adds remount_fs method, which can make use of mdc_set_info to
change the rw/ro status at remount-time.  And osc_set_info should follow.

Branch: b1_4
Fix regression caught by e2fsck - we weren't unlinking empty directories
if they were renamed-over by another directory.  This is impossible to
do with a shell, as it will move the source dir INTO the target instead
of OVER the target.
b=5953

Branch: b1_4
Quiet grant messages until we have CONNECT messages to fix bug 3273.
b=5983

changelog entry for 5981

land b_release_1_4_1 onto b1_4

b=5654
r=adilger

The last little bits of cleanup for bug 5654 (from Andreas's review):
- save_valid isn't needed in ll_setattr_raw, because either the function exits
  early or ia_valid gets cleared regardless
- protect i_size updates in ll_nopage and ll_ap_refresh_count
- change ll_page_matches to only match outgoing locks for real reads;
  readaheads no longer match locks which are in the process of being
  cancelled anyways

b=5981
r=adilger

SetPageDirty in 2.6 is a hangman's noose made of time bombs, with which to
shoot yourself in the foot.  It doesn't adjust page lists or counters, which
we now believe was almost certainly responsible for the two weeks of
mysterious "negative nr_dirty" hangs at NERSC and NOAA.

As an extra precaution, I also move the clear_page_dirty_for_io compat function
into the 2.4-only part.  If configure happened to ever enable it in 2.6
somehow, it would be a similar disaster (assuming that the compile didn't
fail).

b=5903
minor fix for 5903

b=5975
r=adilger

use lustre_cfg_bufs_set_string() in userspace to NULL-terminate the
flags

Land b1_4_bgl on b1_4.

Portals b1_4_bgl will land on HEAD after 1.4.2 is released, so for now
children of b1_4 need to use the b1_4_bgl branch of portals.

Existing filesystems will need to --write_conf on the MDS as the log
format has incompatible changes.

- Remove portals-upcall and lustre-upcall
- Fix 5943. Only one MDS is supported

Make sure to really crash the kernel even if it did not crashed by just cd to
wrong place.

b=4889,5773
r=adilger
Fix test 48e to work properly.b=4889,5773

Branch: b1_4
Remove patches that weren't removed from b_release_1_4_1 landing.
b=5875

Branch: b1_4
Allow FORCE for cleanup

Branch: b1_4
Patch series verification scripts moved to build.

r=adilger

remove old and unneeded includes

disable init scripts by default

b=4834
Land b_release_1_4_1 onto b1_4 (20050321_1527)

*    Added check that network parses OK in llmount.c

remove old mballoc from series until we get new mballoc2 patches

* removed the non-working 2.4.20 uml kernel config
* added a working 2.4.24 uml kernel config

r=braam
Fix 2.4 uml to use vmalloc instead of kmalloc for internal allocations,
because kmalloc has 128k limit and e.g. readdir in glibc exceeds this.

Branch: b1_4
Write enough to send at least one BRW RPC to an OST, otherwise the client
might cache the whole write and the VM not flush it before we re-enable
BRWs.  When that happens the client isn't evicted and our file compares OK.
b=5595

b=5188,5749

remove test 68 until bugs are fixed, it is causing sanity to never complete
test 68 is swap on Lustre

Branch: b1_4
Fix typo.

Branch: b1_4
Change load_ldap.sh to check for autoMakefile.am for "devel" mode, as
Makefile.am no longer exists.
b=5872
r=fergal (original patch)

Branch: b1_4
Remove unused patch, the 2.4.21-rhel version works on chaos already.

Branch: b1_4
Remove files duplicated with build/ .  I verified that the suse-*
scrips are installed from build/autoMakefile.am, and that the two
versions were identical.

Branch: b1_4
Allow NFSD to reopen files for write that were created without write perms.
This is needed for HPUX NFS clients (cp creates files with mode 000), and
Linux NFS test progs that intentionally do the same because NFSD always
reopens files for each client RPC and loses the Lustre initial open(O_CREAT)
file handle that was allowed to open-for-write a readonly file.
This only works for the file owner so it is no net loss of security (the
user could always just chmod a file and then write to it).  Tested at HP.
b=5781
r=peter (concept)

Branch: b1_4
Fix lock deadlock between obdfilter statistics gathering and object creation
(they used the same lock and stats handling might be in an IRQ).
b=5811
r=adilger (original patch from phil)

There have been so many changes since 1.4.0.10 that it needs its own ChangeLog
section.

Branch: b1_4
Set the mkfs defaults for the MDS to 1 inode/4k, and for the OST 1/16k.
We could probably be more aggressive on the OSTs, but this should be
safe for any reasonable usage of Lustre.
r=phil

Branch: b1_4
Fix problem with iopen-on-NFS problem.
b=5698

Branch: b1_4
Don't attach NFSD_DISCONN dentries in ext3_lookup->iopen_connected_dentry()
to avoid confusing NFSD when run on a Lustre-patched kernel.  This makes
iopen_connected_dentry() behave exactly as d_add(dentry, inode) did for
non-IOPEN mounted filesystems (i.e. everything except the MDS).
b=5698
r=behlendo

Branch: b1_4
Fix kernel oops when creating .foo in unlinked directory.
Kernels vanilla-2.4.24+ and 2.6.5+ already have this fix.
b=5548

Branch: b1_4
Enable mmaped writes for acceptance-small.sh

Branch: b1_4
Remove obsolete open_delay.c program, can use "openfile -f O_LOV_DELAY_CREATE"
instead.

Branch: b1_4
Don't try to block map an extent-mapped file if kernel doesn't support
extents, return error instead.

Branch: b1_4
Print out mode/rdev for ll_mknod_raw.

Branch: b1_4
Print ll_dir_readpage offset, use 64-bit value for calculation.

Branch: b1_4
- don't move pending lock onto export if it is already evicted
b=5863
r=phil

Branch: b1_4
b=5800

clean up MOUNT grep

allow sanity to work on 0conf mounted systems

add enough arguments for the printf format string.

b=5492,5624,5654,5664,5672
Fundamentally changes the locking rules for the i_size and KMS.  The way in
which this was done is documented in bug 5654 comment #6, and I'll ask the
colibri team to either adopt or adapt this design, but in any case make it a
part of their documentation after they've merged it.

i_size and KMS sampling and updates are now protected by an lli_size_sem.
The reasons are many:

The truncate path has been reorganized not to hold this semaphore during RPCs,
which allows us to reverse the deadlock-inducing order with the ns_lock in
ll_pgcache_remove_extent. (bug 5492)

The introduction of the i_alloc_sem in 2.6 was wreaking havoc on our ability
to get our ordering right.  The truncate path was a festering boil of unlocking
and relocking which may well have been the source of other concurrency bugs.
Not using the i_sem for i_size updates eliminates this rat nest (bugs 5624,
5654)

Finally, the CMD team reported a similar inversion between a writing thread
and ptlrpcd (the writing thread has the i_sem, and won't release it until
ptlrpcd finishes the I/O; ptlrpcd wants the i_sem to finalize lock cancellation
after being evicted). (bugs 5664, 5672)

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

whitespace-only changes to the series file, which helps me cat it through xargs

Update ChangeLog for last 2 commits

b=5637,4952
r=adilger
This patch tries to support all of the common VFS-enforced options like
nosuid, nodev, and noexec.  There are some others that will require server-side
code -- notably read-only -- that will have to come later.

b=5779
There's one error path in the DLM's enqueue code where, after a timeout and
user abort, the client will keep its local copy of the lock.

This has a few follow-on effects, all of which should be fixed by this patch:

- the reference on the lock is never dropped, so we never try to cancel it, so
we never find out that our view of the lock state differs from the server's.
This could perhaps cause some corruption.

- we try to match this lock on future enqueues; although the lock is marked as
failed, search_queue is only checking for destroyed (bug).  I don't know
precisely why we need two flags for this, but that's a more subtle change than
I'm willing to make right now.

- once we have a handle on that lock, the completion AST does check that flag,
so it returns an error right away -- but we don't check its return code in the
match path (bug) and plow on

- the lock enqueue was originally aborted before it got to the part that updates
the KMS and sets the LDLM_FL_CAN_MATCH flag.  So each match attempt will wait
100 seconds for that flag to get set, which of course never happens.  We should
print a pretty serious warning if that timeout happens, but fixes for the
previous two bugs should prevent us from getting here in the first place.

This has been running at NERSC for the last week, so I think it's ready for
more exposure.

r=adilger
HP submitted a patch to dynamically calculate the page size in lfs, but we
decided that it made more sense to hard code it to at least 64kB.  That's
the largest page size that we could commonly come into contact with (ia64)

b=5800

extend the same affection shown to lconf to lmc. we have no favorite child

Branch: b1_4
Fix build error if _LARGEFILE64_SOURCE not defined when lustre_user.h is
included.  lov_user_mds_data isn't widely used, just silently drop it.
Quiet compiler warning.
r=jacob

Land b1_4_smallfix onto b1_4 (20050302_0257)
- new delete_thread patch for 81chaos kernel (b=5669)
- use KIOBUF_GET_BLOCKS() for PPC kernel (from b1_4_bgl)
- add "instantaneous" rates to llstat.pl in addition to overall average rate

Branch: b1_4
Add debugging for bug 5793 in case it happens again.
b=5793

b=5800
Info:
HP SFS 2250/CFS 5800

On em64t/x86_64 systems the %{_libdir} rpm path resolves to
/usr/lib64 rather than /usr/lib. This patch updates lconf to
look in both locations for the Lustre extension modules.

Branch: b1_4
Disable extents/mballoc with old patch, but allow Lustre to build.

Branch: b1_4
Move the MDC EA/cookie max size initialization later in the mount process,
until we have established our permanent connections.  This avoids needless
a bunch of client->OST connect+disconnect RPCs, and also fixes a bug where
the client didn't get the reply for the first disconnect, and then hit a
sanity check (target handle mismatch) on the server.

This will tie in directly to the bug 5707 fix, as that will additionally
store a "default" EA size to avoid allocating and sending a very large
(and otherwise useless) request buffer, just to have a place to store
the LOV EA for a MDS open replay.    Includes regression test.
b=5317
r=nathan (with minor fix to avoid the storage of lovdesc at all)

Omnibus lconf update, courtesy of HP.

lconf_write_conf_failover-cfs5111.patch
b=5111
Info:
        HP SFS 1575/CFS 5111
        Allow lconf --write_conf to handle stopping when the MDS device
        started in recovery.

lconf_pidfile_fix-cfs4903.patch:
b=4903
Info:
        HP SFS 1515, 1597/CFS 4903, 5091, 5452

        Fix the my_int() routine to handle arguments that are already
        integers correctly, and also handle octal values in the same way
        as hexadecimal ones are handled, and handle non-numeric strings,
        which will trigger TypeError exception, appropriately.

        Partially address issues identified with starting up and shutting
        down the acceptor daemon. For startup we attempt to deal with the
        possibility of another lconf instance racing with us that is also
        attempting to start the daemon. For shutdown we wait for up to 15
        seconds for the daemon to shut down properly before continuing.

lconf_validate_upcall-sfs1487.patch:
Info:
        HP SFS 1487
        Fixes erroneous comment in LCTLInterface class.
        Adds validation check to make sure that the specified upcall
        exists and is executable if appropriate.

lconf_whitespace_fixup.patch:
Info:
        Fix up white space on all lines to be consistent as part of the
        lustre 1.4.0 merge.