b=23701 uninline part of ptlrpc_main to reduce stack usage

i=Oleg Drokin
i=Alexander Zarochentsev

b=23193 Land ISER performance patch for Sundance

The purpose of this patch is to make ISER support 1MB RDMAs instead of splitting 2 512K RDMAs and increase the maximum number of ISCSI commands.

i=alexg

b=23277 Increase kernel log buffer size to 256k

i=ricardo.correia
i=brian

Change CONFIG_LOG_BUF_SHIFT to 18 (256k) for ia64/x84_64

b=21804 protect rpc by refcount in ptlrpc_server_handle_req_in()

i=johann
i=adilger

ptlrpc_hpreq_init() inserts rpc to the export list and by the time
of ptlrpc_server_request_add() it could be already handled and
released. To not lose request in between, take an extra reference
on the request.

b=24243 Invalid WNC intent lock makes server LBUG

i=andreas.dilger
i=oleg.drokin

do not grant PDO locks for non-dir objects, but return -ENOTDIR instead.

b=20563 fix fid_flatten32().

a=andreas.dilger
r=eric.mei
r=di.wang
r=vitaly.fertman

b=20563 fix fid_flatten().

r=andreas.dilger
r=di.wang

Needed to create a new tag for 2.1.0 build 09.  For some reason the
previous tag was not being propagated out, so v2_0_58_0 is being
created for this build.

Updated for 2.1.0 build 09.

Revert "b=22965 enable lockless truncate"

This reverts commit e768e65ce59b6294813b538f308049ae2cbe74a0.

b=24267 wirecheck fix for OBD_FL_MMAP

i=adilger
i=vitaly

b=24214 Discard preallocation blocks after failed allocated.

i=adilger
i=girish

b=24118 test_70b rundbench load failed

i=Brian.Murrell
i=Jian.Yu

- give rundbench a chance to start before the dbench load check
- new check_for_process () and killall_process () to check/kill any defined progs
  instead of "dbench" only
- fix 70a, 70b to mount the clients on MOUNT instead of DIR

b=24097 move upcall_cache from lvfs to libcfs

part of params_tree platform-independent code

i=andreas
i=alexg

b=24037 unlock new inode.

2.6.32 kernel return a locked inode after new_inode. So we need unlock it.

b=23289 set S_NOCMTIME in OSD and remove some mark_inode_dirty

o=Liang Zhen
i=andreas.dilger

b=23289 new API: cfs_waitq_add_exclusive_head

With this patch, we can reduce total number of active threads because
waitq is a LIFO list for exclusive waiting.

o=Liang Zhen
i=andreas.dilger
i=eric.mei

b=24037 Changes of 2.6.32 kernel.

--request_queue new member and new macro;
--quota interface name changes;
--capa_* relate changes;

i=adilger
i=vitaly

b=19706 porting patch for master.

Since 2.6.32, kernel add pde_user in proc_dir_entry to protect
directory entry from deleted. So we don't need extra lock in
lprocfs_remove().

i=hongchao.zhang
i=johann

b=23575 O2iblnd credit deadlock regression

This fixed a regression of bug 14425.

i=liang

b=23289 cleanup assertion on atomic

Remove assertion on atomic from addref functions, which is less helpful,
also, add macros to reduce atomic_read() in assertion.

o=Liang Zhen
i=andreas.dilger
i=mikhail.pershin
i=vitaly.fertman

b=24228 fix test duration check to be more accurate

i=vitaly

b=24202 Fix broken PATHS in autoconf file.

There should be a space between paths.

i=sheng.yang
i=brian.murrell

b=24188 rehash patch makes oops in quota_search_lqs

Problem is: we should do "cfs_hash_getref(qctxt->lqc_lqs_hash)"
when we search and create a new quota hash entry.
This patch does some optimization for lquota code so that lquota
can take one less reference for lqs.

i=landen
i=vitaly.fertman

b=24051 sanity test_76 fix

Due to per-cpu slab caches, "active" stat from /proc/slabinfo
is not always accurate.

i=ZhiYong Tian

b=24020 lustre doesn't start with ext4 based ldiskfs.

i=Andrew.Perepechko

load jbd2 module in load modules

b=23996 grep lfs getstripe output for pools correctly

i=zam

b=23842 some issues with recent changes to build/nn-final-symbol-list.txt

i=adilger

b=19808 fix d_obtain_alias() misuse due to compat macro.

o=Adreas.Dilger
i=yangsheng
i=Oleg.Drokin

ll_iget_for_nfs() get a change from d_alloc_anon() to d_obtain_alias().
The former would NOT release the inode reference if there was an error, while
the latter does.  Hide this detail in the d_obtain_alias() compat macro, for
kernels that do not have this function, and remove it from the error handling
code at the caller, where it would drop the inode reference twice in rare error
cases on all kernels WITH d_obtain_alias() support (RHEL5 and newer).

b=15599 remove OBD_CONNECT_LAYOUTLOCK from supported bits

Until the rest of the layout lock support is landed, it doesn't
make sense for the MDT to advertize the OBD_CONNECT_LAYOUTLOCK flag
at connection time.

Remove the flag from MDS_CONNECT_SUPPORTED until the actual
MDS_INODEBITS_LAYOUT ibits lock is landed and functional.

b=22598

disable thandle debug usage statistics

b=22965 enable lockless truncate

i=zam
i=adilger

b=23170 lockless enqueue lbug

lockless enqueue still could be called if first enqueue attempt set
lockless ops but found a conflict and therefore tried to enqueue again
later when the confict was resolved.

i=green
i=ericm

b=14836 Fail if "lfs setstripe" has positional parameters

Since 1.6.1 it has been possible to use named options -c/-i/-s to
specify the layout parameters for "lfs setstripe".

Since 1.8.0 the use of the old positional parameters has generated
a warning that they are deprecated.

The code was set to fail building at 2.1.0.0, so this needs to be
resolved before moving to a release build.  Instead of simply removing
the conditional code, change "lfs setstripe" to return an error if
positional parameters are used.  That would avoid the confusion of
creating files with names of the old {size}, {offset}, and {count}
parameters, instead of returning a meaningful error to the user.

b=24022 don't return NULL in lprocfs_alloc_stats to satisfy userspace error checker

o=Liang Zhen
i=vitaly.fertman

b=23994 hide EMFILE error in ptlrpc_start_threads().

i=vitaly.fertman

b=23985 Fix upstream jbd2 issue.

The jbd2_stats_proc_init() was placed on wrong location in
jbd2_journal_init_dev().  This may cause /proc/fs/jdb2/<dev>/*
cannot be created when using external journal device.

i=adilger
i-johann

b=23535 sgpdd-survey.sh should check for sg_map

i=Brian.Murrell

check that iokit sgpdd-survey and sg_map are installed

b=23533 ldiskfs to depend on latest e2fsprogs

ldiskfs should depend on the latest e2fsprogs package so that users
are required to keep their e2fsprogs RPMs up to date.

i=mjmac
i=adilger

b=23460 remove expensive memory check

i=green

remove cfs_mem_in_cache check when checking validity of pages and locks

b=23460 make page state changes tracking optinal

i=green

The stats are unused by anybody, yet they take away several percents of read
speed. Let's make them optional.

b=23289 no need to always start transaction for attr_set(atime) on close

To reduce unnecessary transaction overhead on file closing.

o=Liang Zhen
i=mikhail.pershin
i=di.wang

b=21525 debug enhancements + minor comment updates

a=Issac
i=Liang
i=Maxim

- when a message is dropped, the lnet counters should be increased;
- /proc/sys/lnet/peers should contain some data for debugging, like
  the last_alive time stamp.

b=18551 adapt ldlm_namespace to new cfs_hash

Use new cfs_hash to implement ldlm_namespace

o=Liang Zhen
i=Andreas Dilger
i=Oleg Drokin
i=Vitaly Fertman

Updated for 2.1.0 build 08.

b=24170 checking len of debug string before matching

i=vitaly
i=rahul

We need to check the len before matching the string
to prevent something like net matches neterror

b=23289 grained lock for ptlrpc service

- cacheline optimization for struct ptlrpc_service
- split ptlrpc_service::srv_lock to three locks:
  . ptlrpc_service::srv_lock
    serialize operations on rqbd and requests queued on srv_req_in_queue
  . ptlrpc_service::srv_rq_lock
    serialized operations on active requests
  . ptlrpc_service::srv_rs_lock
    serialize operations on RS
- cleanup logic in ptlrpc_main()
- remove unused atomic srv_outstanding_replies

o=liang
i=andreas.dilger
i=mikhail.pershin

b=20153 add IB bonding failover support to o2iblnd

O2iblnd changes to support failover events from an IB
bonding IPoIB interface. Mostly to recreate device
specific resources, e.g. listener CMID.

i=isaac
i=liang

b=19890 fix mgs conf for mds and client for nosvc option

i=zam
i=ericm

b=24087 reverse order of $LINUX{,_OBJ}/include

It is important that /usr/src/linux-...-obj/include is searched for
includes before /usr/src/linux-.../include so that the inclusion of
"include/linux/autoconf.h" picks up the one for the kernel we are
trying to build against, and not the one for the currently running
kernel, which is what is in /usr/src/linux-.../ copy is.

i=wangyb
i=cliff

b=24095 don't really need configure --with-linux

Don't really need to have run configure --with-linux for version-tag.pl
to work.

i=wangyb
i=cliff

b=24093 not all build files/scripts being distributed

Some files that need to be are not being included in the tarball
when make dist is being run.

i=cliff
i=minh

b=24091 find_linux_rpms utility

Write a utility to find the the kernel "devel" package needed.
Restructure some code to facilitate reuse of existing code to
use in the utility.

i=cliff
i=minh

b=24090 distro and target autodetection

Automatically detect the target and distro.  It's in fact a little
crazy that these are two separate options.  They should be merged.

i=cliff
i=minh

b=24089 avoid reuse cache storage collisions

This is a hack.  Basically, all nodes do their build and the last one
to store in the cache wins.
A better solution would be for nodes to announce their intention to
build for a given hash and any other nodes that will do the same wait
for the first node to finish and store it.  Subsequent nodes then just
use the first node's stored result.

i=wangyb
i=cliff

b=24117 params_tree code for YangtzeI

part of params_tree code for YangtzeI
-add safe cfs_{v}snprintf
-move linux proc related stuff to params_tree.h

i=andreas
i=alexg

b=24017 fix the performance issue of lu_cache_shrink

- increase busy counter in lu_obj_hop_get, so that we don't have to hack out
  this in llite
- make some changes to cfs_hash:
  . do not need to return anything by cfs_hash_get/put, they are not used by
    anyone, cfs_hash_object also can do the same thing
  . pass cfs_hash to cfs_hash_get/put

o=liang
i=vitaly.fertman

b=24003 Shows stripe_count: 65535 but should be '-1'.

i=johann

b=23954 MGS device has stopped when we try to start the second mgs

i=Mikhail.Pershin

add test_24b to ALWAYS_EXCEPT list for configuration mgs/mds are not combined

b=23289 remove global atomic from lustre handle

o=liang
i=andreas.dilger
i=mikhail.pershin

b=23289 less global lock & atomic for ldlm pool

o=liang
i=oleg.drokin
i=andreas.dilger

b=22544 delete module_setup.sh

i=Brian.Murrell

b=20744 Update to latest SLES10 SP3 kernel 2.6.16.60-0.69.1(patchless client).

i=brian

b=18717 make "lfs check" output consistent on stdout

o=Andreas.Dilger
i=Brian.Murrell
i=Elena.Gryaznova

b=24086 separate kernel and userspace __u64 checking

Even if we don't configure lustre --with-linux= we still need to determine
what type __u64 is for userspace otherwise the LP*64 macros won't be
properly defined.

i=whitebear
i=panda

b=23956 change conf-sanity test_37 to be functional on remote setup

i=Mikhail.Pershin

fix test_37 to not be skipped on remote setup;
use the existing mdt device instead of create a new one

b=23289 remove extra debugging from commonly-called ldlm pool functions

o=andreas
i=liang
i=jian.yu

b=23289 don't need transaction on mdt_close if it's not orphan

o=liang
i=mikhail.pershin
i=alex.zhuravlev

b=23049 canonicalize disk names

o=Brian.Murrell
i=grev

b=22180 fix the incorrect MDSDEV check

i=Nathan.Rutman

new t-f is_blkdev ()
check MDSDEV on mds instead of local client
test_17, test_18 changes for config mgs and mds are not combined

b=22157 combined mgs/mds fix for single node setup

i=Mikhail.Pershin

for configuration combined mgs/mds on single node setup
we do not need to unload the modules because conf-sanity keeps
the mgs mounted during all tests

b=21420 fix aggregate mdt stats

mdt_counter_incr() should act upon obd->md_stats instead of
obd->obd_stats, the former is for recording md ops, while
the later for obd ops.

o=bobijam
i=andreas
i=liuying

b=18233 fix read+truncate livelock

The race fix for ll_readpage which creates new (just truncated) pages
and truncate which truncates these pages.

i=Vitaly Fertman
i=Mike Pershin

b=24001 fix conf-sanity 53.

i=jian.yu
i=grev

threads_max and threads_min could be the same.

b=23289 lprocfs_counter cleanup

Eliminate unnecessary atomic operations in lprocfs_counter.

o=liang
i=andreas.dilger
i=maxim.patlasov

b=23049 various t-f.sh patches

o=Brian.Murrell
i=grev

rundbench is a bash script;
obdfilter-survey is a bash script;
don't su if MPI_USER == "";

b=23049 set path to truncate

i=Brian.Murrell

b=20101 a fix for lfs getstripe --pool

a=Jacques-Charles Lafoucriere (CEA)
a=Andreas Dilger
i=Andreas Dilger
i=Andrew Perepechko

b=24094 add kver; update kdir, kobjdir

Add a new macro to allow the caller to simply define which kernel
he wants to build for.
Refactor the kdir and kobjdir to function more properly.
Remove krequires.  Nothing is using it anymore.

i=wangyb
i=cliff

b=24088 Quiet unused "path" variable warning.

o=adilger
i=brian
i=panda

b=24092 build src.rpm for lustre if requested

Fix a bug where we were not building the lustre SRPM even if
requested.

i=wangyb
i=cliff

b=19669 update LOV object version only on data change

LOV object version is changed only when LOV object content is changed, either
on write or size change (truncate). No more on metadata change like
chmod/chown/chgrp. Needed for HSM.

a=aurelien.degremont
i=mikhail.pershin

b=20631 grouplock use from MDT for HSM

https://bugzilla.lustre.org/attachment.cgi?id=31976

a=jc.lafoucriere
i=oleg.drokin

b=15599 hsm infrastructure

https://bugzilla.lustre.org/attachment.cgi?id=31961
and wiretest update (https://bugzilla.lustre.org/attachment.cgi?id=31991)

a=jc.lafoucriere
i=andreas.dilger
i=nathan.rutman
i=vladimir.saveliev

Updated for build 07.

b=23064 Adopt for new backing_dev_info interface.

o=yangsheng
i=dmitry

b=23402 mmp_fini () multiple oss fix

i=Yu.Jian

b=23399 Deadlock probably due to statahead

partly revoke patch (id=28310)

o=fanyong
i=tappro
i=wangdi

b=23289 cleanup unnecessary spinlock dance in ldlm

o=liang
i=andreas.dilger
i=oleg.drokin

b=22281 refactor packaging and versioning

Configure "--with-dist" switch to optimize configure to do just
enough to enable "make dist" to work.  There is likely more optimizations
that could be done

Provide reasonable defaults for the --with-linux and --with-linux-obj
configure arguments.

The LB_BUILDID macro determines the BUILDID to be used in the resulting
packages.

The LB_DOWNSTREAM_RELEASE macro implements the --with-downstream-release
configure option for downstream packages to provide their own versioning
details

Many changes to support allowing packagers to define a value in the release
string.
- allow callers to tell rpm where to find the kernel source/headers and
  objects.
  - default to /lib/modules/$(uname -r)/build if not specified
    - XXX: this should probably be handled completely in configure
- allow callers to tell rpm what the release string should be set to
  - the spec will default to the value that configure uses currently if
    not specified
  - this allows both the release string used in Lustre and the Release:
    string used in the RPM to be in sync
- in the make rpms target, strip the configure arguments for --with-linux
  and --with-linux-obj and give them to rpmbuild via it's new switches
- also, pass the release defined by the main configure to the RPM spec for
  further consistency
  - XXX: it is questionable whether this in fact has any value
- put the "downstream release" right into the release as it is defined by
  by configure
- bring the ldiskfs spec more into sync with the lustre spec file

version_tag.pl/make_META.pl needed better support for git.
It also needed better support for transporting the information
available in a source code system into the tarball so that when
unpacked, where no sourcecode system was in place, the origins
of the code could still be determined.
Example output:
git: v1_8_3_RC1-g751b802-CHANGED-2.6.18-128.1.1.el5_lustre.1.8.0.50.20090302160821smp
cvs: b1_8-20100429144101-CHANGED-2.6.18-128.1.1.el5_lustre.1.8.0.50.20090302160821smp
When run in a tree from a tarball, the output will be composed
of the same tag and build id (hash or datestamp) as the source the
tarball came from, but will refelect whatever kernel the unpacked
source was configured with.
Rename the tree_status file to META.

There are times when the kernel should be rebuilt for all distros, but
other times only for certain distros.  Make the "all distros" case
easier than having to increment the version in all of the
build/lbuild-$distro files.

i=wangyb
i=mjmac

When the lustre-fix is .0, when a tag is made, it includes the .0 so
just drop it.

Only append the .$BUILDID to the $EXTRA_VERSION when $BUILDID is
actually not empty.  Otherwise we get a trailing ".".

It seems that the regex(7) used in bash's [[ ]] is not terribly
portable across bash versions.  SLES10 expects (, ), and | (at least)
escaped with \.  RHEL5 will accept them either escaped or not.
Ubuntu fails to match if they are escaped.

We need a more consistent test for being a subdir of Lustre.
Differences in how automake passes dirnames made the existing code
unpredictable.

When the tag format is vW_X_Y_Z and lustre-fix (Z) is _0 when a tag
is made, it includes the _0 so just drop it.

i=yangsheng
i=wangyb

The return code from git status seems to be not as one would expect
and it can return both 1 or 0 in a git repository.  So change up and
use git branch instead.
Simplify the logic around this determination as well.

Due to some unknown issue with using rpmbuild with the ldiskfs tarball
causing symbol mismatches, do the right thing instead and build ldiskfs
first and then build lustre with the external ldiskfs.

Right now the method for doing this is a bit hacky since we point lustre
at the ldiskfs rpm BUILD product.  The right fix is to make an
ldiskfs-devel RPM, which is a future enhancement of this work.

This also fixes two bugs with ldiskfs' external module support building.
One is that the external ldiskfs tree check was using a file that only
exists in ext3 and not ext4.  The second is that ldiskfs' configure was
not properly initializing ldiskfs_is_ext4 and instead depending on the
rpmbuild/configure caller to pass flags to tell it to build with ext4.

i=wangyb
i=minh

b=21610 Changes for 2.6.32 kernel udpate.

i=Andreas.Dilger
i=Mikhail.Pershin

b=20805 rate limit D_NETERR messages

i=isaac
i=liang

change CDEBUG(D_NETERROR) to CNETERR in various places. Port of 1_8 to master.
Cleans up klnds, libcfs

b=18551 remove ENTRY & EXIT from hot hash functions

o=liang
i=rahul.deshmukh
i=jian.yu

b=23869 HARD failure mode fixes

i=Brian.Murrel
i=Wei.G.Li

* facet_failover() has to restart only those affected facets which were UP
  before the node failure
* replay-single tests which use shutdown_facet() && reboot_facet() instead of
  facet_failover() have to take care about the affected facets

b=24010 lfs fid2path doesn't work for symlinks

o=thomas
i=andreas
i=rahul

b=24007 obj mode should be covered by MA_INODE.

r=di.wang
r=vitaly.fertman

b=23924 LBUG: ASSERTION(hs == exp->exp_lock_hash) failed

fix the wrong assertion in lprocfs_exp_print_hash()

i=andreas
i=eric.mei

b=23913 fix "ASSERTION(!cfs_list_empty(&dquot->dq_hash)) failed"

1. In an error handling, free_dquot() should be used.
2. Check if quota is on in dqacq_handler()

i=johann
i=panda

b=23868 fix "sanity-quota test_18c: @@@@@@ FAIL: quotaon failed!"

i=johann
i=mikhail.pershin

b=23289 skip big loop in mds_lov_dump_objids if D_INFO is not set

o=liang
i=andreas.dilger
i=vitaly.fertman