b=23210 don't update obd->obd_osfs if target is gone already

i=wangdi
i=landen

lov_disconnect() can clean up lov->lov_tgts while the statfs interpret
routine of an rpc in flight has not been executed yet.

b=23131 issue OBD_NOTIFY_CREATE event in lov

i=nathan
i=andrew

(mds_lov.c:573:mds_lov_update_desc()) Process entered
(obd_class.h:376:obd_get_info()) Process entered
(obd_class.h:378:obd_get_info()) obd_get_info: NULL export
(obd_class.h:378:obd_get_info()) Process leaving (rc=18446744073709551597 : -19
: ffffffffffffffed)

The problem is that mds_lov_connect() calls obd_notify(OBD_NOTIFY_CREATE)
*before* obd_connect(...,&mds->mds_lov_exp). Since mds_notify(OBD_NOTIFY_CREATE)
requires mds->mds_lov_exp which is not yet initialized, it fails.

b=23192 fix race when ping evictor and srv thread executes target_recovery_check_and_stop() simultaneously

i=tappro
i=andrew

target_recovery_expired() wakes up both the ping evictor and the service thread
waiting in process_recovery_queue() which can race in
target_recovery_check_and_stop().

b=23185 check for both arches

When we build our version of the SLES kernel, we optimize it for i686
whereas the SUSE kernel is i386.  The actual arch makes a difference in
where the Module.symvers can be found, so just look in both locations
to cover both the upstream vendor kernel as well as our patched kernel.

b=17485 fix replay-single test 86 to remount client at the end

i=johann

b=23196 obd reference fixes in lov_quota_check

i=Johann Lombardi

b=23196 quota broadcast crashes with inactive OSC

lov_quota_adjust_qunit() must take a lov reference
and check for lov->lov_tgts[i] != NULL when parsing
lov->lov_tgts.

b=23185 use resolve_arch() in the test too

Missed a usage need for resolve_arch() in the test for the file we
extracted, using resolve_arch().

bump version to 1.8.3.56

b=22632 update mptsas driver to PH16-4.18.20.04

i=wangyb
i=yangsheng

b=17485 add regression test to verify that MDS does not allocate some objid twice

o=hongchao
i=johann
i=grev

b=17485 Don't reset the lov_objid to last_id sent by OST

i=andrew
i=hongchao

Resetting the lov_objid values to last_id reported by
the OST in mds_lov_get_objid() unconditionally is just wrong and can cause
the same object to be allocated twice by the MDS.

The SKIP_ORPHAN feature is supposed to work as follows:
* during orphan recovery, the MDS must supply to the OST the lov_objid
  value;
* on the OST side:
  - if MDS's lov_objid > OST's last_id, the OST recreates the missing objects
    up to lov_objid and packs this value in the reply;
  - if OST's last_id > MDS's lov_objid, the OST destroys orphan objects from
    lov_objid + 1 up to last_id and does *not* change last_id. The OST packs
    in the reply the value of last_id which is from where the MDS should
    restart allocations if it does not want to reuse orphans.
* the MDS sets next_id to the value reported by the OST in the orphan recovery
  request.

If we always discard the lov_objid values as done currently in mds_lov_get_objid(),
orphan recovery is just a noop and neither clears orphans nor recreates missing
objects.

b=23185 properly support sles10 ppc64

We never really have properly supported ppc64 on sles10:
- RPMSMPTYPE for ppc64 on SLES10 is ppc64, not smp
- add a function to resolve an arch to their canonical value

Comment out some code to align the sles distro lbuild with rhel5.

b=21452 support for weak-modules

Add support to our RPM SPEC for the weak-modules script.

This requires that we install our modules under
/lib/modules/$(uname -r)/updates/kernel.  I think this is the correct
location for us in any case given that we are a kernel "addon" package.
Relax the kernel Requires: to work better with weak-modules.
Use the external dependency generator as the internal one cannot deal
with kernel modules.

i=mjmac
i=wangyb

b=21452 kABI tracking

Changes required to build packages that properly interact with
the kABI tracking included in SLES and RHEL kernels:
- take local copies of the find_requires generators and make modif-
  ications to them so that they can find the kernel artifacts installed
  in our build tree
  + thusly, override the __find_requires macro in all of the RPM
    build operations

Fix package versioning of patchless packages to also include the
timestamp, just like patched packages do, for non-release builds.
Also, remove the _lustre from the kernel version in the lustre
package names for patchless packages.

Note that changes needed to enable the external dependency checker
and thus include kABI dependencies in the RPM are not included here
for RHEL5.  Once RH have updated their kABI whitelist to include the
symbols we need, the patches in bz attachments 30546-7 need to land
for RHEL5 weak modules to work and a bug needs to be filed with OFA
to land the change in bz attachment 30547.

i=wangyb
i=mjmac

b=23182 lustre-iokit sgpdd-survey defect

i=Vladimir.Saveliev

b=22464 add writeconf as mount option

i=alexg
i=adilger

fix warning with ll_bdi_num

bump version to 1.8.3.55

b=23014 sgpdd-survey acc-sm integration

i=Andreas.Dilger

b=20563 libcfs_cfs_curproc_is_32bit() function

i=johann
i=rahul

adds function cfs_curproc_is_32bit() to check compatibility.

b=21610 include fs.h for posix_acl.

b=23118 Change for new backing_dev_info interface.

i=kalpak
i=johann

b=22514 using inkernel OFED stack for rhel5 & oel5.

i=brian
i=johann

b=20563 fix LUSTRE_SEQ_MAX_WIDTH

i=rahul
i=johann

fix LUSTRE_SEQ_MAX_WIDTH for 1.8 interop client .

b=11742 OBD_FL_MMAP should only be used in conjunction with OBD_MD_FLFLAGS

i=adilger
i=dmitry

The patch from bug 11742 uses oa.o_flags without setting OBD_MD_FLFLAGS
in oa.o_valid. This is wrong since anybody can legitimately reset o_flags
if OBD_MD_FLFLAGS is not set (e.g. the checksum code does this).

b=22514 remove jbd-slab-race-2.6-rhel5

The problem has been fixed upstream, so we no longer need this patch.

b=23076 fix for o2iblnd reconnect to retry one more time

i=isaac

With peer health detection, o2iblnd makes only one attempt to reconnect
which is not enough with nodes running lustre 1.6 because of  proto version
mismatch.

b=22755 Don't consume grant twice on recoverable resend

i=green
i=wangdi

Original patch from Oleg.

b=22797 notify users that recovery-[random,double]-scale tests are not functional for SOFT failure mode

i=Brian.Murrell

b=22755 more grant fixes

i=oleg
i=wangdi

- filter_preprw_write() should check for OBD_FL_SHRINK_GRANT in o_flags instead of
  o_valid;
- The grant shrink code should not use o_flags w/o setting OBD_MD_FLFLAGS since
  o_flags can be legitimately reset if OBD_MD_FLFLAGS (e.g. it is done in the
  checksum code);
- add OBD_FL_MMAP to wiretest & wirecheck

b=14929 a small cleanup in test-framework.sh

i=Elena Gryaznova

b=23133 interop 18<->20: sanity 57a,57b,129: error: get_param: /proc/{fs,sys}/{lnet,lustre}/osd/*/mntdev: Found no match

i=adilger

Fixed interop tests (sanity 57a,b 129) after renaming osd to osd-ldiskfs in master.

b=22040 use df POSIX output format

i=Oleg.Drokin

Revert "b=21951 Init scatterlist table."

This reverts commit f1480c8eec3618567288e75b5ce756b519ca9447.
This is suspected to cause bug 23123.

b=14929 a tiny fix for mkfs build

i=Johann Lombardi
i=ZhiYong Tian

b=22309 get and validate lock before issuing readahead

in ll_read_ahead_page, get and check the validation of the ldlm lock
to protect the readahead before issuing the actual read request

i=johann@sun.com
i=yong.fan@sun.com

b=22906 fix invalid block count with 16TB block device

bump version to 1.8.3.54

b=22223 bump max # phys/hw segment in SLES11 until s/g chaining works properly

b=22656 Prevent failover nids from registering with MGS first.

Make the check in mgs_handle_target_reg()

o=Joseph Herring
i=nathan.rutman
i=andreas.dilger

b=23094 add layout lock connect flag

o=jc.lafoucriere@cea.fr
i=nathan
i=rread

b=22514 fork ldiskfs patches between sles11 & rhel5
i=johann

Landing for RHEL 5.5 support has broken build for SLES11.

Merge branch 'b1_8' of git@git.lustre.org:prime/lustre into b1_8

b=21835 fix mdsrate script.

r=robert.read

b=22514 Update RHEL5.5 kernel to 2.6.18-194.3.1.

i=johann
i=girish,rahul
i=kalpak,zhanghongchao
i=brian,wangyb

b=22853 client should flush current sequence to make client obtain new one from server in case of disconnect/reconnect

Client should flush current sequence to make client obtain new one from server in case of disconnect/reconnect.

i=robert.read
i=johann

b=22846 debuginfo packages for lustre and ldiskfs

With our current .spec files for lustre and ldiskfs, debuginfo packages
are not produced.  It seems that while other distros do this implicitly,
SLES needs to be told to do so explicitly.

i=mjmac
i=wangyb

b=22938 lfs find -s doesn't seem to work correctly

 Fixing find_value_cmp().

 o=yuriy.umanets
 i=johann
 i=andreas.dilger

b=22884 File to OST allocation on an empty file system varies greatly.

 osc_precreate() should return 0, if there are enough objects left.

 i=andreas.dilger
 i=andrew.perepechko

Updated service tags id.

b=21109 mds_lov_read_objids cleanup and conf-sanity tests (1.8)

calculate mds->mds_lov_objid_lastidx and mds->mds_lov_objid_lastpage correctly
have index strings big enough to store indicies in decimal
test to check size of lov_objid and
test to check configuraion with big indicies
minor compile fix to avoid compile warnings from gcc 4.0.2

i=adilger
i=panda
i=nathan

b=22121 report the right errno in l_getgroups

sometimes, errno from getpwuid could be overridden by
the calls to syslog facitilites, save it for the later
report

i=Johann Lombardi

b=22911 Don't clean EXTENTS_FL flag.

i=adilger
i=girish

use CNETERR instead of CDEBUG(D_NETERROR ...)

b=21951 Init scatterlist table.

i=liangzhen
i=rahul

b=22612 dig out Module.symvers for sles10

When we build modules in lbuild for sles10 kernels, we point to the
contents of the kernel-source RPM.  That does not contain the
Module.symvers file though and thus we get a nice big warning that
the modules built (i.e. ldiskfs) will not contain versions.
This is because we need to unpack the /usr/src/linux-*obj/Module.symvers
file from the kernel-$flavour or kernel-syms RPM into the location pointed to
by --with-linux-obj.

Fix a bug in unpack_linux_devel_rpm-$DISTRO where we were not checking
for the success of the function.

i=mjmac
i=wangyb

b=22990 Script to update copyright on recently modified source files

Based on the original script by Andreas.

i=adilger
i=johann

b=23039 Fix the build failed of sles9.

i=johann

b=15253 fix conf-sanity 30b for non-tcp networks

b=13698 support for remote mds and oss in lfscktest.sh

SHARED_DIRECTORY is to be specified in case of remote servers
LFSCK_ALWAYS flag to check the filesystem from check_and_cleanup_lustre()
it is "no"  by default
SKIP_LFSCK flag to allow e2fsck part of lfscktest.sh to be run without lfsck
it is "yes" by default

i=adliger
i=grev
i=jian.yu

b=21846 fix the test_32 in sanity-quota.sh and enable it

i=johann

b=22890 1.8<->2.0 interop: fix conf-sanity test 24a and 33a

Fix conf-sanity test 24a and 33a to work under 1.8<->2.0 interop configuration.

i=grev
i=vladimir.saveliev

b=22237 fix issue with proc_remove

i=johann

b=22990 update copyright messages for Oracle

b=15253 add failover nidlist to proc import

i=adilger
i=rread

b=22934 fix writeconf in conf-sanity

fix writeconf in conf-sanity
fix conf-sanity slow list
some better error checking in conf_sanity from 22671

b=22977 add echoclient async journal regression test to acc-sm obdfilter-survey

i=Oleg.Drokin

b=22977 re-struct obdfilter-survey.sh

i=Andrew.Perepechko

b=22978 fix compiler warning error

Fix the warning/error:
sanity.c: In function ‘t21’:
sanity.c:708: error: suggest parentheses around operand of ‘!’ or change ‘&’ to ‘&&’ or ‘!’ to ‘~’

i=panda
i=whitebear

b=22976 fix bash syntax error

When using "test" to compare strings, both sides of the comparison
should either be quoted or not quoted, not one of each.
= should be used for equality in portable tests.

i=mjmac
i=whitebear

b=22975 reduce stack usage to avoid a gcc error

  CC [M]  lnet/libcfs/module.o
cc1: warnings being treated as errors
lnet/libcfs/module.c: In function ‘libcfs_ioctl’:
lnet/libcfs/module.c:337: error: the frame size of 1036 bytes is larger than 1024 bytes
make[6]: *** [lnet/libcfs/module.o] Error 1

i=johann
i=panda

b=22923 increase show_error timeout from 5 to 10

i=Maxim.Patlasov

b=22923 increase lst stat timeout

i=Maxim.Patlasov

b=11063 fix lock inversion

unlock inode mutex before extent lock acquisition to avoid lock order inversion
few misspells are fixed

i=green
i=vitaly

b=22679 quota fixes for mds_orphan_add_link

allow quota overruns when linking orphans to PENDING

i=Johann Lombardi
i=ZhiYong Tian

b=22481 Add "lfs_migrate" script from manual into lustre/scripts and RPMs

Add enhanced lfs_migrate script from manual into lustre/scripts directory
and in RPM packages.  It does a "poor man's" migration of files from
their current OST layout to a new OST layout as chosen by the MDS.
It is currently not safe to use for files that are being written to.
It will result in the current file becoming an open-unlinked file, and
the migrated file will be used for any subsequent opens.  Any writes to
either the old or migrated file will in clients seeing different data,
and writes to the old file will be lost when it is closed.

There is no direct control of object allocation within the script, it
depends on external control to manage space.  Use "lfs find" to
select appropriate files to migrate from full OSTs. "lctl --deactivate"
is needed on the MDS to deactivate OSTs if trying to empty an OST
completely, otherwise QOS will tend to migrate files to empty OSTs.

i=brian.murrell
i=nathan.rutman

b=22476 shrink dlm slab on servers even if __GFP_FS is not set

i=vitaly
i=oleg

bump version to 1.8.3.53

b=21877 protect bitfield access to rq_flags with rq_lock

i=rread
i=fanyong
i=johann

The AT code can access some bits of rq_flags while the service thread
is updating some other bits. Everyone shoud use the rq_lock for
consistency.

b=21900 verify that the pool ost is available

i=dmitry.zoguine

strip the .patch off of the dpatch name

When annotating the .dpatch files with the patch name, seeing as we
strip the .patch off and replace it with dpatch, do the same in the
annotation.

b=22911 don't enable extent for MDT by default

i=johann
i=adilger

b=22755  Don't leak grant if shink grant comes in write RPC.

i=adilger
i=wangdi
i=johann

b=22480 Remove duplicated LB_DEFINE_E2FSPROGS_NAMES  definition

Revert "Add configure option to allow repackaging of e2fsprogs as ldiskfsprogs. (by Jim Garlick)"

This reverts commit 749b473d6e38b94e9b4d88214ce8684f3c570f4e.

b=22480 Remove duplicated LB_DEFINE_E2FSPROGS_NAMES  definition

Revert "Add configure option to allow repackaging of e2fsprogs as ldiskfsprogs. (by Jim Garlick)"

This reverts commit 8233d53e507a7dc247336c319ff80a453bf18207.

b=22889 OSS Kernel panic - Kernel BUG at fs/jbd/transaction.c:1155

  extend truncate transaction to have enough blocks for last_rcvd and VBR

 o=andreas.dilger
 i=tappro
 i=oleg.drokin

b=22747 Processes stuck waiting for inode I_LOCK bit to clear.

 Use CFS_ALLOC_IO instead of CFS_ALLOC_STD in OBDO_ALLOC

 i=andreas.dilger
 i=johann

b=21556 release cpu if needed while removing extents

i=oleg
i=vitaly

cache_remove_extents_from_lock() can hog cpu for too long.
add a call to cond_resched().

discover and utilize multiple CPUs

generate debian/patches

If we are running from a git checkout and there are patches on the
branch, (not counting the always-present debian/changelog update
patch, which is always assumed to be at the top of the patch stack)
put them into debian/patches/ as dpatches and remove them from the
source so that what's put into the source tarball is pristine.

b=22790 fail make debs if autogen.sh is needed but not present

If a patch is added to debian/patches/ which modifies an autoconf
file but autogen.sh is not present, fail out of the "make debs"
build command.
Also provide a more explicit message to maintainers about what is
happening in this bit of code.

b=22658 More tolerant llog processing

Do not fail OST activation when a llog is not found.

i=Johann Lombardi
i=Mike Pershin

b=21500 remove duplicate LC_MODULE_LOADING def'n

The whole LC_MODULE_LOADING definition was duplicated.  Remove one of them.

b=22040 Don't run connectathon lock tests on nfsv4

a=Robert.Read
i=Oleg.Drokin

We won't support flock on nfsv4 until 14080 has been fixed.

b=22899 reduce OBDFILTER_SURVEY duration

i=Andreas.Dilger

b=22360 for close, map all errors to EIO

i=Johann Lombardi
i=ZhiYong Tian

b=22244/21128 remove changelog entry

Revert "b=21128 send cancel rpc in a separate thread"

This reverts commit 578d08cde3abba552adbe6bcc1b88c6f1552ce10.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.

Revert "b=22244 ldlm cancel flags cleanup"

This reverts commit 80786e8223938e1f3379ba409dec61a15dd2fc60.
Reverting all patches from 22244 & 21128 because of test failures.
See 22244 for more info.