b=23289 grained lock for ptlrpc service

- cacheline optimization for struct ptlrpc_service
- split ptlrpc_service::srv_lock to three locks:
  . ptlrpc_service::srv_lock
    serialize operations on rqbd and requests queued on srv_req_in_queue
  . ptlrpc_service::srv_rq_lock
    serialized operations on active requests
  . ptlrpc_service::srv_rs_lock
    serialize operations on RS
- cleanup logic in ptlrpc_main()
- remove unused atomic srv_outstanding_replies

o=liang
i=andreas.dilger
i=mikhail.pershin

b=20153 add IB bonding failover support to o2iblnd

O2iblnd changes to support failover events from an IB
bonding IPoIB interface. Mostly to recreate device
specific resources, e.g. listener CMID.

i=isaac
i=liang

b=19890 fix mgs conf for mds and client for nosvc option

i=zam
i=ericm

b=24087 reverse order of $LINUX{,_OBJ}/include

It is important that /usr/src/linux-...-obj/include is searched for
includes before /usr/src/linux-.../include so that the inclusion of
"include/linux/autoconf.h" picks up the one for the kernel we are
trying to build against, and not the one for the currently running
kernel, which is what is in /usr/src/linux-.../ copy is.

i=wangyb
i=cliff

b=24095 don't really need configure --with-linux

Don't really need to have run configure --with-linux for version-tag.pl
to work.

i=wangyb
i=cliff

b=24093 not all build files/scripts being distributed

Some files that need to be are not being included in the tarball
when make dist is being run.

i=cliff
i=minh

b=24091 find_linux_rpms utility

Write a utility to find the the kernel "devel" package needed.
Restructure some code to facilitate reuse of existing code to
use in the utility.

i=cliff
i=minh

b=24090 distro and target autodetection

Automatically detect the target and distro.  It's in fact a little
crazy that these are two separate options.  They should be merged.

i=cliff
i=minh

b=24089 avoid reuse cache storage collisions

This is a hack.  Basically, all nodes do their build and the last one
to store in the cache wins.
A better solution would be for nodes to announce their intention to
build for a given hash and any other nodes that will do the same wait
for the first node to finish and store it.  Subsequent nodes then just
use the first node's stored result.

i=wangyb
i=cliff

b=24117 params_tree code for YangtzeI

part of params_tree code for YangtzeI
-add safe cfs_{v}snprintf
-move linux proc related stuff to params_tree.h

i=andreas
i=alexg

b=24017 fix the performance issue of lu_cache_shrink

- increase busy counter in lu_obj_hop_get, so that we don't have to hack out
  this in llite
- make some changes to cfs_hash:
  . do not need to return anything by cfs_hash_get/put, they are not used by
    anyone, cfs_hash_object also can do the same thing
  . pass cfs_hash to cfs_hash_get/put

o=liang
i=vitaly.fertman

b=24003 Shows stripe_count: 65535 but should be '-1'.

i=johann

b=23954 MGS device has stopped when we try to start the second mgs

i=Mikhail.Pershin

add test_24b to ALWAYS_EXCEPT list for configuration mgs/mds are not combined

b=23289 remove global atomic from lustre handle

o=liang
i=andreas.dilger
i=mikhail.pershin

b=23289 less global lock & atomic for ldlm pool

o=liang
i=oleg.drokin
i=andreas.dilger

b=22544 delete module_setup.sh

i=Brian.Murrell

b=20744 Update to latest SLES10 SP3 kernel 2.6.16.60-0.69.1(patchless client).

i=brian

b=18717 make "lfs check" output consistent on stdout

o=Andreas.Dilger
i=Brian.Murrell
i=Elena.Gryaznova

b=24086 separate kernel and userspace __u64 checking

Even if we don't configure lustre --with-linux= we still need to determine
what type __u64 is for userspace otherwise the LP*64 macros won't be
properly defined.

i=whitebear
i=panda

b=23956 change conf-sanity test_37 to be functional on remote setup

i=Mikhail.Pershin

fix test_37 to not be skipped on remote setup;
use the existing mdt device instead of create a new one

b=23289 remove extra debugging from commonly-called ldlm pool functions

o=andreas
i=liang
i=jian.yu

b=23289 don't need transaction on mdt_close if it's not orphan

o=liang
i=mikhail.pershin
i=alex.zhuravlev

b=23049 canonicalize disk names

o=Brian.Murrell
i=grev

b=22180 fix the incorrect MDSDEV check

i=Nathan.Rutman

new t-f is_blkdev ()
check MDSDEV on mds instead of local client
test_17, test_18 changes for config mgs and mds are not combined

b=22157 combined mgs/mds fix for single node setup

i=Mikhail.Pershin

for configuration combined mgs/mds on single node setup
we do not need to unload the modules because conf-sanity keeps
the mgs mounted during all tests

b=21420 fix aggregate mdt stats

mdt_counter_incr() should act upon obd->md_stats instead of
obd->obd_stats, the former is for recording md ops, while
the later for obd ops.

o=bobijam
i=andreas
i=liuying

b=18233 fix read+truncate livelock

The race fix for ll_readpage which creates new (just truncated) pages
and truncate which truncates these pages.

i=Vitaly Fertman
i=Mike Pershin

b=24001 fix conf-sanity 53.

i=jian.yu
i=grev

threads_max and threads_min could be the same.

b=23289 lprocfs_counter cleanup

Eliminate unnecessary atomic operations in lprocfs_counter.

o=liang
i=andreas.dilger
i=maxim.patlasov

b=23049 various t-f.sh patches

o=Brian.Murrell
i=grev

rundbench is a bash script;
obdfilter-survey is a bash script;
don't su if MPI_USER == "";

b=23049 set path to truncate

i=Brian.Murrell

b=20101 a fix for lfs getstripe --pool

a=Jacques-Charles Lafoucriere (CEA)
a=Andreas Dilger
i=Andreas Dilger
i=Andrew Perepechko

b=24094 add kver; update kdir, kobjdir

Add a new macro to allow the caller to simply define which kernel
he wants to build for.
Refactor the kdir and kobjdir to function more properly.
Remove krequires.  Nothing is using it anymore.

i=wangyb
i=cliff

b=24088 Quiet unused "path" variable warning.

o=adilger
i=brian
i=panda

b=24092 build src.rpm for lustre if requested

Fix a bug where we were not building the lustre SRPM even if
requested.

i=wangyb
i=cliff

b=19669 update LOV object version only on data change

LOV object version is changed only when LOV object content is changed, either
on write or size change (truncate). No more on metadata change like
chmod/chown/chgrp. Needed for HSM.

a=aurelien.degremont
i=mikhail.pershin

b=20631 grouplock use from MDT for HSM

https://bugzilla.lustre.org/attachment.cgi?id=31976

a=jc.lafoucriere
i=oleg.drokin

b=15599 hsm infrastructure

https://bugzilla.lustre.org/attachment.cgi?id=31961
and wiretest update (https://bugzilla.lustre.org/attachment.cgi?id=31991)

a=jc.lafoucriere
i=andreas.dilger
i=nathan.rutman
i=vladimir.saveliev

Updated for build 07.

b=23064 Adopt for new backing_dev_info interface.

o=yangsheng
i=dmitry

b=23402 mmp_fini () multiple oss fix

i=Yu.Jian

b=23399 Deadlock probably due to statahead

partly revoke patch (id=28310)

o=fanyong
i=tappro
i=wangdi

b=23289 cleanup unnecessary spinlock dance in ldlm

o=liang
i=andreas.dilger
i=oleg.drokin

b=22281 refactor packaging and versioning

Configure "--with-dist" switch to optimize configure to do just
enough to enable "make dist" to work.  There is likely more optimizations
that could be done

Provide reasonable defaults for the --with-linux and --with-linux-obj
configure arguments.

The LB_BUILDID macro determines the BUILDID to be used in the resulting
packages.

The LB_DOWNSTREAM_RELEASE macro implements the --with-downstream-release
configure option for downstream packages to provide their own versioning
details

Many changes to support allowing packagers to define a value in the release
string.
- allow callers to tell rpm where to find the kernel source/headers and
  objects.
  - default to /lib/modules/$(uname -r)/build if not specified
    - XXX: this should probably be handled completely in configure
- allow callers to tell rpm what the release string should be set to
  - the spec will default to the value that configure uses currently if
    not specified
  - this allows both the release string used in Lustre and the Release:
    string used in the RPM to be in sync
- in the make rpms target, strip the configure arguments for --with-linux
  and --with-linux-obj and give them to rpmbuild via it's new switches
- also, pass the release defined by the main configure to the RPM spec for
  further consistency
  - XXX: it is questionable whether this in fact has any value
- put the "downstream release" right into the release as it is defined by
  by configure
- bring the ldiskfs spec more into sync with the lustre spec file

version_tag.pl/make_META.pl needed better support for git.
It also needed better support for transporting the information
available in a source code system into the tarball so that when
unpacked, where no sourcecode system was in place, the origins
of the code could still be determined.
Example output:
git: v1_8_3_RC1-g751b802-CHANGED-2.6.18-128.1.1.el5_lustre.1.8.0.50.20090302160821smp
cvs: b1_8-20100429144101-CHANGED-2.6.18-128.1.1.el5_lustre.1.8.0.50.20090302160821smp
When run in a tree from a tarball, the output will be composed
of the same tag and build id (hash or datestamp) as the source the
tarball came from, but will refelect whatever kernel the unpacked
source was configured with.
Rename the tree_status file to META.

There are times when the kernel should be rebuilt for all distros, but
other times only for certain distros.  Make the "all distros" case
easier than having to increment the version in all of the
build/lbuild-$distro files.

i=wangyb
i=mjmac

When the lustre-fix is .0, when a tag is made, it includes the .0 so
just drop it.

Only append the .$BUILDID to the $EXTRA_VERSION when $BUILDID is
actually not empty.  Otherwise we get a trailing ".".

It seems that the regex(7) used in bash's [[ ]] is not terribly
portable across bash versions.  SLES10 expects (, ), and | (at least)
escaped with \.  RHEL5 will accept them either escaped or not.
Ubuntu fails to match if they are escaped.

We need a more consistent test for being a subdir of Lustre.
Differences in how automake passes dirnames made the existing code
unpredictable.

When the tag format is vW_X_Y_Z and lustre-fix (Z) is _0 when a tag
is made, it includes the _0 so just drop it.

i=yangsheng
i=wangyb

The return code from git status seems to be not as one would expect
and it can return both 1 or 0 in a git repository.  So change up and
use git branch instead.
Simplify the logic around this determination as well.

Due to some unknown issue with using rpmbuild with the ldiskfs tarball
causing symbol mismatches, do the right thing instead and build ldiskfs
first and then build lustre with the external ldiskfs.

Right now the method for doing this is a bit hacky since we point lustre
at the ldiskfs rpm BUILD product.  The right fix is to make an
ldiskfs-devel RPM, which is a future enhancement of this work.

This also fixes two bugs with ldiskfs' external module support building.
One is that the external ldiskfs tree check was using a file that only
exists in ext3 and not ext4.  The second is that ldiskfs' configure was
not properly initializing ldiskfs_is_ext4 and instead depending on the
rpmbuild/configure caller to pass flags to tell it to build with ext4.

i=wangyb
i=minh

b=21610 Changes for 2.6.32 kernel udpate.

i=Andreas.Dilger
i=Mikhail.Pershin

b=20805 rate limit D_NETERR messages

i=isaac
i=liang

change CDEBUG(D_NETERROR) to CNETERR in various places. Port of 1_8 to master.
Cleans up klnds, libcfs

b=18551 remove ENTRY & EXIT from hot hash functions

o=liang
i=rahul.deshmukh
i=jian.yu

b=23869 HARD failure mode fixes

i=Brian.Murrel
i=Wei.G.Li

* facet_failover() has to restart only those affected facets which were UP
  before the node failure
* replay-single tests which use shutdown_facet() && reboot_facet() instead of
  facet_failover() have to take care about the affected facets

b=24010 lfs fid2path doesn't work for symlinks

o=thomas
i=andreas
i=rahul

b=24007 obj mode should be covered by MA_INODE.

r=di.wang
r=vitaly.fertman

b=23924 LBUG: ASSERTION(hs == exp->exp_lock_hash) failed

fix the wrong assertion in lprocfs_exp_print_hash()

i=andreas
i=eric.mei

b=23913 fix "ASSERTION(!cfs_list_empty(&dquot->dq_hash)) failed"

1. In an error handling, free_dquot() should be used.
2. Check if quota is on in dqacq_handler()

i=johann
i=panda

b=23868 fix "sanity-quota test_18c: @@@@@@ FAIL: quotaon failed!"

i=johann
i=mikhail.pershin

b=23289 skip big loop in mds_lov_dump_objids if D_INFO is not set

o=liang
i=andreas.dilger
i=vitaly.fertman

b=23289 remove mc_waitq

Remove legacy.

o=liang
i=mikhail.pershin
i=di.wang

b=23289 don't need call mdd_links_get for the new created file

We know it's the first link for new created file, so we don't need to
call mdd_links_get, which is an xattr_get and overhead, while creating file.

o=liang
i=mikhail.pershin
i=di.wang

b=23289 disable pdo locks in MDD

MDT has already taken care of locks.

o=liang
i=mikhail.pershin
i=alex.zhuravlev

b=22546 fix errors in test_18c

i=johann
i=panda

b=20997 passthrough obd_force from lmv to mdc

i=zam,vs

Updated for 2.1.0 build 06.

b=20744 return ofed version to 1.5.1

Since the patch from bug 20744 that updates the client to the
2.6.16.60-0.69.1 kernel has not landed yet, continue to build the
OFA OFED 1.5.1 until such time as the new kernel support has landed.

b=22386 disallow wrong conf_param options

i=Johann Lombardi
i=Nathan Rutman

b=18551 adapt lu_site to new cfs_hash

o=zhen.liang
i=eric.mei
i=mikhail.pershin

b=22514 Update RHEL5.5 & OEL5.5 to latest kernel.

--RHEL5 2.6.18-194.17.1.el5.
  --OEL5  2.6.18-194.17.1.0.1.el5.
  --Switch using 'inkernel' OFED stack.
  --Build fixes for ppc64 & ia64.

b=19486 fix a typo in previous patch.

r=di.wang

b=22417 remove obd arg from ptlrpc_start_thread

i=Mikhail.Pershin
i=Andew.Perepechko

b=20744 add changelog entry

o=johann
i=brian

b=20744 set arch correctly for ofed-devel

Oh boy, more fallout from our not building i586 kernels for sles.
If we are building lustre servers and NOT rebuilding the Suse ofed
RPM, then we need to look for the i586 ofed-devel package.

i=yangsheng
i=yibin.wang

b=20744 remedial fix for inkernel ofed handling

o=brian
i=yangsheng
i=yibin.wang

It seems that the patch to add inkernel handling for SLES10's OFED introduced a
bug for other inkernel uses.  This fixes that bug.

b=20744 hacks for Novell bug 639581

i=mjmac
i=wangyb

b=20744 hacks for Novell bug 578796

i=mjmac
i=wangyb

These hacks are needed to deal with Novell bug 578796.

b=20744 use Novell supplied ofed-devel

Several changes to support using ofed-devel supplied in SLES10 SP3
(currently as PTFs).
Fix a bug with passing arguments to rpm2cpio that should not be passed.
Add a hook for distro specific module building after the kernel[-devel]
build and unpack.
Fix resolve_arch to be able to resolve either the "canonical" arch for
i?86, or the arch that the patchless kernel is expected to be.
Bail out of download_ofed earlier if using "inkernel".
Fix a bug where an rpm2cpio command was not being error checked.
Fix a bug where we were not processing and making available files
in all of the RPMS/i?86 subdirs.

i=mjmac
i=wangyb

Revert "b=21760 Applications hung in direct I/O"

This reverts commit 75b7e5a7b448238e486b8f9bd753cda5f4b4e68b.

Revert "b=19325 adjust waiting extent locks during 1st enqueue"

This reverts commit 5cced5eb96914a5a51a551ed12e92ebfc7834029.

Revert "b=22176 Add .sync_fs super block handler"

This reverts commit 8cad1d968ad4efee46d08aee1e6a6266d4713e84.

b=19813  cfs_hash_cond_del doesn't have dance of addref/decref anymore

o=liang
i=vitaly
i=tappro

b=23728 gss: allow oss authenticate with mgs.

r=di.wang

b=22168 write-append-truncate: retry write when receives EINTR.

r=jian.yu
r=vitaly.fertman

b=23721 download OFED from OFA

Download the OFED distribution directly from OFA to ameliorate
re-distribution complications.

i=yangsheng
i=wangyb

b=20533 set the default max_sectors to the raid5/6 stripe size

a=Kevin Van Maren
i=Jinshan Xiong
i=Atul Vidwansa

package liblustre tests for debian

The liblustre tests were not being packaged into lustre-tests.

need to match both master and b1_8 style tags

explicitly set KVERS; allow all automake packages

Explicitly set KVERS to what it'd default value would be if it's
not set by the caller.
Allow any of the compatible automake* packages in debian/control.

make debs refinement

When looking for the most recent tag, look for only tags matching v*.
That should hopefully weed out any non-versioning tags.

Don't convert debian/changelog commits to patches since the changelog
has to be in place right when dpkg-buildpackage starts.
This does mean that one should NEVER commit to another file in the same
commit as a debian/changelog commit.

Make sure debian/patche{s,d} are clean before starting.

debian/patches and non-GA tags

Make the code to populate debian/patches work better with non-GA tags
such as v1_8_3_53.

move .debs into /debs

Move the built .debs from .. into a /debs subdir of the build tree.
We in fact could almost make debian/rules do this using dh_builddeb's
--destdir argument, however dpkg-genchanges wants to find them in ..
and there is no way to pass dpkg-genchange's -u argument to it from
dpkg-buildpackage.  So thus, our hack.

b=18456 fix for commit: 248d9f7fc874d137d327992537a9e7672963e021

drop inexistent patch from ext4 serie

b=23645 warning at lookup_one_len() durning mount

i=andrew.perepechko

Change lookup_on_len to ll_lookup_one_len when getting iopen dir

b=23818 sanity_quota test_32 fix

wait until MDS-OST synchronization is done

i=Johann Lombardi
i=ZhiYong Tian

b=19486 add server identifier into lu_seq_range.

For future usage to distinguish between MDT and OST fids.

o=di.wang
r=eric.mei
r=mikhail.pershin

b=22984 change all references to tune.ldiskfs in lustre to tunefs.ldiskfs

o=girish
i=adilger
i=johann

b=21135 errors seen running llverfs (full mode) at 94% full with lustre fs with three 16TB OST's

o=andreas
i=girish
i=simmonsja

b=18456 huge OST mount time

o=andreas
i=alex.zhuravlev
i=girish

b=22307 rate limit dlm debug message in ll_inode_from_lock()

i=oleg
i=dmitry

Revert "b=22033 Change default filesystem to ext3"

This reverts commit f53e89dbe756e9da0ee98c1afe1e3691fa556724.

Revert "b=23090 Wirecheck.c is still missing some structs"

This reverts commit 56444fda88f0a2a252963bfd1e57372f20e794b2.

b=22157 conf-sanity test_5b defect

i=Andrew.Perepechko

test_5b cleanup for mgs/mds not combined;
test_5* changes to use error instead of echo && return
new test_5f

bug=23542 recovery-small: test_27 is not time bounded

i=Brian.Murrell

b=23685 don't define unused variables

When CONFIG_SYSCTL is not defined in the kernel config, a couple of
variables are left unused, yet still defined.

i=Dmitry Zogin
i=Andrew Perepechko

b=22766 cascading_rw: take lmm_stripe_count returned by ioctl(LL_IOC_LOV_SETSTRIPE)

i=adilger