b=21452 support for weak-modules

Add support to our RPM SPEC for the weak-modules script.

This requires that we install our modules under
/lib/modules/$(uname -r)/updates/kernel.  I think this is the correct
location for us in any case given that we are a kernel "addon" package.
Relax the kernel Requires: to work better with weak-modules.
Use the external dependency generator as the internal one cannot deal
with kernel modules.

i=mjmac
i=wangyb

b=21452 kABI tracking

Changes required to build packages that properly interact with
the kABI tracking included in SLES and RHEL kernels:
- take local copies of the find_requires generators and make modif-
  ications to them so that they can find the kernel artifacts installed
  in our build tree
  + thusly, override the __find_requires macro in all of the RPM
    build operations

Fix package versioning of patchless packages to also include the
timestamp, just like patched packages do, for non-release builds.
Also, remove the _lustre from the kernel version in the lustre
package names for patchless packages.

Note that changes needed to enable the external dependency checker
and thus include kABI dependencies in the RPM are not included here
for RHEL5.  Once RH have updated their kABI whitelist to include the
symbols we need, the patches in bz attachments 30546-7 need to land
for RHEL5 weak modules to work and a bug needs to be filed with OFA
to land the change in bz attachment 30547.

i=wangyb
i=mjmac

b=23182 lustre-iokit sgpdd-survey defect

i=Vladimir.Saveliev

b=22464 add writeconf as mount option

i=alexg
i=adilger

fix warning with ll_bdi_num

bump version to 1.8.3.55

b=23014 sgpdd-survey acc-sm integration

i=Andreas.Dilger

b=20563 libcfs_cfs_curproc_is_32bit() function

i=johann
i=rahul

adds function cfs_curproc_is_32bit() to check compatibility.

b=21610 include fs.h for posix_acl.

b=23118 Change for new backing_dev_info interface.

i=kalpak
i=johann

b=22514 using inkernel OFED stack for rhel5 & oel5.

i=brian
i=johann

b=20563 fix LUSTRE_SEQ_MAX_WIDTH

i=rahul
i=johann

fix LUSTRE_SEQ_MAX_WIDTH for 1.8 interop client .

b=11742 OBD_FL_MMAP should only be used in conjunction with OBD_MD_FLFLAGS

i=adilger
i=dmitry

The patch from bug 11742 uses oa.o_flags without setting OBD_MD_FLFLAGS
in oa.o_valid. This is wrong since anybody can legitimately reset o_flags
if OBD_MD_FLFLAGS is not set (e.g. the checksum code does this).

b=22514 remove jbd-slab-race-2.6-rhel5

The problem has been fixed upstream, so we no longer need this patch.

b=23076 fix for o2iblnd reconnect to retry one more time

i=isaac

With peer health detection, o2iblnd makes only one attempt to reconnect
which is not enough with nodes running lustre 1.6 because of  proto version
mismatch.

b=22755 Don't consume grant twice on recoverable resend

i=green
i=wangdi

Original patch from Oleg.

b=22797 notify users that recovery-[random,double]-scale tests are not functional for SOFT failure mode

i=Brian.Murrell

b=22755 more grant fixes

i=oleg
i=wangdi

- filter_preprw_write() should check for OBD_FL_SHRINK_GRANT in o_flags instead of
  o_valid;
- The grant shrink code should not use o_flags w/o setting OBD_MD_FLFLAGS since
  o_flags can be legitimately reset if OBD_MD_FLFLAGS (e.g. it is done in the
  checksum code);
- add OBD_FL_MMAP to wiretest & wirecheck

b=14929 a small cleanup in test-framework.sh

i=Elena Gryaznova

b=23133 interop 18<->20: sanity 57a,57b,129: error: get_param: /proc/{fs,sys}/{lnet,lustre}/osd/*/mntdev: Found no match

i=adilger

Fixed interop tests (sanity 57a,b 129) after renaming osd to osd-ldiskfs in master.

b=22040 use df POSIX output format

i=Oleg.Drokin

Revert "b=21951 Init scatterlist table."

This reverts commit f1480c8eec3618567288e75b5ce756b519ca9447.
This is suspected to cause bug 23123.

b=14929 a tiny fix for mkfs build

i=Johann Lombardi
i=ZhiYong Tian

b=22309 get and validate lock before issuing readahead

in ll_read_ahead_page, get and check the validation of the ldlm lock
to protect the readahead before issuing the actual read request

i=johann@sun.com
i=yong.fan@sun.com

b=22906 fix invalid block count with 16TB block device

bump version to 1.8.3.54

b=22223 bump max # phys/hw segment in SLES11 until s/g chaining works properly

b=22656 Prevent failover nids from registering with MGS first.

Make the check in mgs_handle_target_reg()

o=Joseph Herring
i=nathan.rutman
i=andreas.dilger

b=23094 add layout lock connect flag

o=jc.lafoucriere@cea.fr
i=nathan
i=rread

b=22514 fork ldiskfs patches between sles11 & rhel5
i=johann

Landing for RHEL 5.5 support has broken build for SLES11.

Merge branch 'b1_8' of git@git.lustre.org:prime/lustre into b1_8

b=21835 fix mdsrate script.

r=robert.read

b=22514 Update RHEL5.5 kernel to 2.6.18-194.3.1.

i=johann
i=girish,rahul
i=kalpak,zhanghongchao
i=brian,wangyb

b=22853 client should flush current sequence to make client obtain new one from server in case of disconnect/reconnect

Client should flush current sequence to make client obtain new one from server in case of disconnect/reconnect.

i=robert.read
i=johann

b=22846 debuginfo packages for lustre and ldiskfs

With our current .spec files for lustre and ldiskfs, debuginfo packages
are not produced.  It seems that while other distros do this implicitly,
SLES needs to be told to do so explicitly.

i=mjmac
i=wangyb

b=22938 lfs find -s doesn't seem to work correctly

 Fixing find_value_cmp().

 o=yuriy.umanets
 i=johann
 i=andreas.dilger

b=22884 File to OST allocation on an empty file system varies greatly.

 osc_precreate() should return 0, if there are enough objects left.

 i=andreas.dilger
 i=andrew.perepechko

Updated service tags id.

b=21109 mds_lov_read_objids cleanup and conf-sanity tests (1.8)

calculate mds->mds_lov_objid_lastidx and mds->mds_lov_objid_lastpage correctly
have index strings big enough to store indicies in decimal
test to check size of lov_objid and
test to check configuraion with big indicies
minor compile fix to avoid compile warnings from gcc 4.0.2

i=adilger
i=panda
i=nathan

b=22121 report the right errno in l_getgroups

sometimes, errno from getpwuid could be overridden by
the calls to syslog facitilites, save it for the later
report

i=Johann Lombardi

b=22911 Don't clean EXTENTS_FL flag.

i=adilger
i=girish

use CNETERR instead of CDEBUG(D_NETERROR ...)

b=21951 Init scatterlist table.

i=liangzhen
i=rahul

b=22612 dig out Module.symvers for sles10

When we build modules in lbuild for sles10 kernels, we point to the
contents of the kernel-source RPM.  That does not contain the
Module.symvers file though and thus we get a nice big warning that
the modules built (i.e. ldiskfs) will not contain versions.
This is because we need to unpack the /usr/src/linux-*obj/Module.symvers
file from the kernel-$flavour or kernel-syms RPM into the location pointed to
by --with-linux-obj.

Fix a bug in unpack_linux_devel_rpm-$DISTRO where we were not checking
for the success of the function.

i=mjmac
i=wangyb

b=22990 Script to update copyright on recently modified source files

Based on the original script by Andreas.

i=adilger
i=johann

b=23039 Fix the build failed of sles9.

i=johann

b=15253 fix conf-sanity 30b for non-tcp networks

b=13698 support for remote mds and oss in lfscktest.sh

SHARED_DIRECTORY is to be specified in case of remote servers
LFSCK_ALWAYS flag to check the filesystem from check_and_cleanup_lustre()
it is "no"  by default
SKIP_LFSCK flag to allow e2fsck part of lfscktest.sh to be run without lfsck
it is "yes" by default

i=adliger
i=grev
i=jian.yu

b=21846 fix the test_32 in sanity-quota.sh and enable it

i=johann

b=22890 1.8<->2.0 interop: fix conf-sanity test 24a and 33a

Fix conf-sanity test 24a and 33a to work under 1.8<->2.0 interop configuration.

i=grev
i=vladimir.saveliev

b=22237 fix issue with proc_remove

i=johann

b=22990 update copyright messages for Oracle

b=15253 add failover nidlist to proc import

i=adilger
i=rread

b=22934 fix writeconf in conf-sanity

fix writeconf in conf-sanity
fix conf-sanity slow list
some better error checking in conf_sanity from 22671

b=22977 add echoclient async journal regression test to acc-sm obdfilter-survey

i=Oleg.Drokin

b=22977 re-struct obdfilter-survey.sh

i=Andrew.Perepechko

b=22978 fix compiler warning error

Fix the warning/error:
sanity.c: In function ‘t21’:
sanity.c:708: error: suggest parentheses around operand of ‘!’ or change ‘&’ to ‘&&’ or ‘!’ to ‘~’

i=panda
i=whitebear

b=22976 fix bash syntax error

When using "test" to compare strings, both sides of the comparison
should either be quoted or not quoted, not one of each.
= should be used for equality in portable tests.

i=mjmac
i=whitebear

b=22975 reduce stack usage to avoid a gcc error

  CC [M]  lnet/libcfs/module.o
cc1: warnings being treated as errors
lnet/libcfs/module.c: In function ‘libcfs_ioctl’:
lnet/libcfs/module.c:337: error: the frame size of 1036 bytes is larger than 1024 bytes
make[6]: *** [lnet/libcfs/module.o] Error 1

i=johann
i=panda

b=22923 increase show_error timeout from 5 to 10

i=Maxim.Patlasov

b=22923 increase lst stat timeout

i=Maxim.Patlasov

b=11063 fix lock inversion

unlock inode mutex before extent lock acquisition to avoid lock order inversion
few misspells are fixed

i=green
i=vitaly

b=22679 quota fixes for mds_orphan_add_link

allow quota overruns when linking orphans to PENDING

i=Johann Lombardi
i=ZhiYong Tian

b=22481 Add "lfs_migrate" script from manual into lustre/scripts and RPMs

Add enhanced lfs_migrate script from manual into lustre/scripts directory
and in RPM packages.  It does a "poor man's" migration of files from
their current OST layout to a new OST layout as chosen by the MDS.
It is currently not safe to use for files that are being written to.
It will result in the current file becoming an open-unlinked file, and
the migrated file will be used for any subsequent opens.  Any writes to
either the old or migrated file will in clients seeing different data,
and writes to the old file will be lost when it is closed.

There is no direct control of object allocation within the script, it
depends on external control to manage space.  Use "lfs find" to
select appropriate files to migrate from full OSTs. "lctl --deactivate"
is needed on the MDS to deactivate OSTs if trying to empty an OST
completely, otherwise QOS will tend to migrate files to empty OSTs.

i=brian.murrell
i=nathan.rutman

b=22476 shrink dlm slab on servers even if __GFP_FS is not set

i=vitaly
i=oleg

bump version to 1.8.3.53

b=21877 protect bitfield access to rq_flags with rq_lock

i=rread
i=fanyong
i=johann

The AT code can access some bits of rq_flags while the service thread
is updating some other bits. Everyone shoud use the rq_lock for
consistency.

b=21900 verify that the pool ost is available

i=dmitry.zoguine

strip the .patch off of the dpatch name

When annotating the .dpatch files with the patch name, seeing as we
strip the .patch off and replace it with dpatch, do the same in the
annotation.

b=22911 don't enable extent for MDT by default

i=johann
i=adilger

b=22755  Don't leak grant if shink grant comes in write RPC.

i=adilger
i=wangdi
i=johann

b=22480 Remove duplicated LB_DEFINE_E2FSPROGS_NAMES  definition

Revert "Add configure option to allow repackaging of e2fsprogs as ldiskfsprogs. (by Jim Garlick)"

This reverts commit 749b473d6e38b94e9b4d88214ce8684f3c570f4e.

b=22480 Remove duplicated LB_DEFINE_E2FSPROGS_NAMES  definition

Revert "Add configure option to allow repackaging of e2fsprogs as ldiskfsprogs. (by Jim Garlick)"

This reverts commit 8233d53e507a7dc247336c319ff80a453bf18207.

b=22889 OSS Kernel panic - Kernel BUG at fs/jbd/transaction.c:1155

  extend truncate transaction to have enough blocks for last_rcvd and VBR

 o=andreas.dilger
 i=tappro
 i=oleg.drokin

b=22747 Processes stuck waiting for inode I_LOCK bit to clear.

 Use CFS_ALLOC_IO instead of CFS_ALLOC_STD in OBDO_ALLOC

 i=andreas.dilger
 i=johann

b=21556 release cpu if needed while removing extents

i=oleg
i=vitaly

cache_remove_extents_from_lock() can hog cpu for too long.
add a call to cond_resched().

discover and utilize multiple CPUs

generate debian/patches

If we are running from a git checkout and there are patches on the
branch, (not counting the always-present debian/changelog update
patch, which is always assumed to be at the top of the patch stack)
put them into debian/patches/ as dpatches and remove them from the
source so that what's put into the source tarball is pristine.

b=22790 fail make debs if autogen.sh is needed but not present

If a patch is added to debian/patches/ which modifies an autoconf
file but autogen.sh is not present, fail out of the "make debs"
build command.
Also provide a more explicit message to maintainers about what is
happening in this bit of code.

b=22658 More tolerant llog processing

Do not fail OST activation when a llog is not found.

i=Johann Lombardi
i=Mike Pershin

b=21500 remove duplicate LC_MODULE_LOADING def'n

The whole LC_MODULE_LOADING definition was duplicated.  Remove one of them.

b=22040 Don't run connectathon lock tests on nfsv4

a=Robert.Read
i=Oleg.Drokin

We won't support flock on nfsv4 until 14080 has been fixed.

b=22899 reduce OBDFILTER_SURVEY duration

i=Andreas.Dilger

b=22360 for close, map all errors to EIO

i=Johann Lombardi
i=ZhiYong Tian

b=22244/21128 remove changelog entry

Revert "b=21128 send cancel rpc in a separate thread"

This reverts commit 578d08cde3abba552adbe6bcc1b88c6f1552ce10.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

Revert "b=22244 ldlm cancel flags cleanup"

This reverts commit 80786e8223938e1f3379ba409dec61a15dd2fc60.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

Revert "b=22244 delegate lock cancel to blocking thread"

This reverts commit 6ac3b520e192f1c1aa26e5de047976e25766a885.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

Revert "b=22244 fix ref count issue"

This reverts commit 551c01b97400cb8cabf22c6eaba64606c1d199b5.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

Revert "b=22244 fix ref count issue (take 2)"

This reverts commit 654e6452ae03aa35e81e23b9b0408c1e988b8f4d.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

b=16909 D_NETERROR for LNetGet/LNetPut

Change LNET GET/PUT console errors to D_NETERROR debug messages.

b=22840 check server version for some recovery tests (vbr)

b=21563 Metadata performance has degraded for some operations between 1.6.5 and 1.8.1

 Remove the check for OSCC_FLAG_CREATING flag in osc_precreate(), so that
 it enters oscc_internal_create(). Also remove the check for in
 oscc_internal_create() for OSCC_FLAG_DEGRADED - let the chance to create
 objects in case all OSTs are degraded.

 i=andreas.dilger
 i=johann

b=21476 fix mds obd device setup order v2

i=nathan.rutman
i=rahul.deshmukh

If mount order is mgs, ost and then mds, mds obd devices are not setup in correct order. which
results in panic. this is because of osc are added to lov before mdslov obd setup is done. this
results in uninitialized  mds->mds_lov_page_array

attached patch fixes issue by fixing mgs configuration for mds obd setup order.

b=18399 remove prune_icache patch

i=Andrew
i=HongChao

This patch is no longer needed, now that we pin the first
page in memory thanks to the patch from bug 20008.

b=22244 fix ref count issue (take 2)

b=22244 fix ref count issue

b=22656 remove changelog entry

Revert "b=22656 Prevent failover nids from registering with MGS first."

This reverts commit 3cadd5d8bdedef530043f8605ae23ce28ec0a40c.

This causes the following LBUG:
28807:0:(mgs_llog.c:417:mgs_check_index())
ASSERTION(!(mti->mti_flags & LDD_F_NEED_INDEX)) failed

See bug 22656 for more info.

add missing changelog entries