Revert "b=20433 decrease the usage of memory on clients."

Suspected to cause bug 22307, so revert temporarily.

This reverts commit 841fbac6378df39e357342d86d9380e6676c1faf.

b=22307 rate limit dlm debug message in ll_inode_from_lock()

i=oleg
i=dmitry

b=22306 more sanity-quota 18 <-> 20 interop changes

i=Yong.Fan
i=Johann.Lombardi

skip test_15, test_16
test_2, test_25 mds/mdt device fix

b=22386 quota_save_version() fix: remove wildcard from conf_param

i=Andrew.Perepechko

test_22 18 <-> 20 interop: skip quota v1 testing

b=22327 "lfs df" does not print stats for all mountpoints

 Added sanityN.sh test_24b
 i=andreas.dilger

b=22327 "lfs df" does not print stats for all mountpoints

  Print all mounted lustre filesystems with "lfs df"

 o=adilger
 i=simmonsja
 i=dmitry.zogin

Updated version for build 03.

b=21957 debug_mb not correctly initialized on newer kernels (2.6.31)

i=adilger
i=rread

Fixed the debug_mb initialization problem for kernel 2.6.31

b=19919 support relative path in llapi_search_fsname()

i=adilger
i=johann

Use realpath() to provide absolute pathname.

b=21486 fix for truncated reply buffer

i=eeb
i=ericm

reply buffer could be referred by reply_in_callback after released

b=21251 Add lustre/tests/ha.sh

This is a simple failover test script that works with configurations
controlled by a CRM and have multiple targets per server.

i=robert.read
i=grev

b=21991 sanity test_53, test_67* interop 18 <-> 20 fix

i=Andreas.Dilger

b=22180 fix the incorrect MDSDEV check

i=Nathan.Rutman

new t-f is_blkdev ()
check MDSDEV on mds instead of local client
test_17, test_18 changes for config mgs and mds are not combined

b=22194 Add quiet -q option to lfs quota

o=Joseph Herring (LLNL)
i=Johann Lombardi
i=ZhiYong Tian

b=21619 hash MEs on RDMA portal

i=isaac
i=maxim

RDMA portal can have very long ME list on client side, which will trigger
soft lockup because of long searching on list. Hash MEs on RDMA portal can
resolve this problem.

b=21259 udev rule to set /dev/obd perms 666

Provide Udev rules file for Lustre, so that /dev/obd permissions are now 666.

o=Christopher Morrone
i=johann
i=dmitry.zogin

b=22301 lustre.lov error when backing up symlinks with extended attributes

 Improved logic in ll_listxattr()

 i=tom.wang
 i=dmitry.zogin

b=21991 interop 18 <-> 20 changes

i=Andreas.Dilger

b=22187 Test case for setfattr without a value parameter.

i=johann

b=22187 properly handle null value for setattr -n lustre.lov

i=adilger
i=johann

Running "setfattr -n trusted.lov ." causes a NULL dereference
in ll_setxattr() due to no checking if "value" is NULL.
This command now resets to the default striping when
executed against a directory.

b=21815 tiny fix for 1.8<->2.0 interop testing

i=grev

b=22319 skip statahead for NFSCLIENT

i=Johann.Lombardi

b=22352 Kernel update for SLES9 2.6.5-7.322.

i=johann

b=22194 lfs quota output cleanup

Suppress standard output in error cases

o=Joseph Herring  (LLNL)
i=Johann Lombardi
i=Andrew Perepechko

b=22235 llapi_uuid_match() prints bogus error message on upgraded filesystem

 1. Increase the "lfs df" column width to handle TB sized devices cleanly
 2. Allow matching OST names without trailing _UUID
 3. Allow negating the "--obd" option to "lfs find"
 4. Remove duplicate code in mntdf() iterating over MDTs/OSTs. Handle errors

 i=nathan.rutman
 i=dmitry.zogin

b=22306 t-f: interop 18 <-> 20 ENABLE_QUOTA changes

i=Yong.Fan

b=21927 test_80 interop 18 <-> 20 fix

i=Mikhail.Pershin

b=21927 test_61 interop 18 <-> 20 fix

i=Mikhail.Pershin

interop interop 18 <-> 20 changes
improve awk pattern to get objid correctly

b=21991 interop 18 <-> 20 fix: skip obdecho test

i=Andreas.Dilger

b=21815 move test to replay-single

bump version to 1.8.2.52

b=22241 call sync instead of fsync on local cancel to reduce stack usage

i=oleg
i=andreas

sync_on_lock_cancel is needed for recovery when async journal is enabled,
but we actually just need to make sure that metadata blocks have hit the
journal, so doing a fs sync should be enough and should consume less
stack (just create an empty handle and commmit it).

b=21686 simplify client disconnect code on server side

o=liang
i=johann
i=shadow

attach 25564
This patch was reverted because we were chasing some regression.
It is now safe to re-apply.

b=20837 incomplete test output for ost-pools

i=nathan.rutman
i=grev

Instead of creating many 10M files to fill the OST, create 9 files
of size OST_SIZE/10 each.

b=19917 Repeated atomic allocation failures

 Comment change.

 o=he.huang
 i=dmitry.zogin

b=22035 workaround patch

disable the per-thread data (current->journal_info)
containing the lock info during I/O to work around
the issue for short tem

i=hongchao.zhang@sun.com

b=21927 recovery-small, replay-single 18 <-> 20 interop fix

i=Mikhail.Pershin

b=21927 replay-vbr 18 <-> 20 interop fix

i=Mikhail.Pershin

b=22194 Print a dash in empty lfs quota grace columns

Polish lfs quota output for easier processing with awk/sed

o=Christopher Morrone (LLNL)
i=Andrew Perepechko
i=ZhiYong Tian

b=21927 t-f: use the global variables for facets mount points

i=Andreas.Dilger

b=21938 rq_invalid_rqset should be a bitfield

b=21815 Test case for clear stale nid-stats hash.

i=johann
i=wang.yibin

b=19933 control DCACHE_LUSTRE_INVALID flag with MDS_INODELOCK_LOOKUP lock

"DCACHE_LUSTRE_INVALID" is controlled by "MDS_INODELOCK_LOOKUP" lock which is corresponding to "IT_LOOKUP", do not skip invalidate for other intent.

i=robert.read
i=johann

b=20997 Cannot send after transport shutdown

 Clear imp_vbr_failed flag upon eviction

 i=robert.read
 i=alexander.zarochentsev

b=21938 use req->rq_set itself during recovery

during recovery, uses req->rq_set itself to replay the request
instead of ptlrpcd_recovery_pc

i=tappro@sun.com
i=johann@sun.com

b=22069 introduce server major version for b1_8 and b2_0 quota utils interoperability

Introduce server major version for b1_8 and b2_0 quota utils interoperability.

i=andrew.perepechko
i=robert.read

b=21983 Use CFS_ALLOC_IO instead of _STD in llap_from_page_with_lockh

During an ll_readahead under ll_readpage, we have seen the the
OBD_SLAB_ALLOC hang under ldlm_pools_shrink when trying to lock
a page that is already locked by the readahead code.

Using CFS_ALLOC_IO instead of CFS_ALLOC_STD will prevent
ldlm_pools_shrink from actually freeing slab, so the call path
that blocks indefinitely can never happen.

 i=adilger
 i=dmitry.zogin
 i=johann

b=22177 inc nlink by 2 instead of 1 in mds_orphan_add_link()

i=adilger
i=dmitry

Fix regression introduced by 19640.
ext3_inc_count() can reset nlink to 1 when the directory is indexed and
inode->i_nlink == 2. Work around the problem by incrementing nlink by 2
instead of 1.

b=17591 sanity-benchmark s/MOUNT/DIR/ cleanup

i=Robert.Read

b=22169 t-f:start_client_loads () wait the background threads to start

i=Robert.Read

b=22169 t-f cleanup: new do_nodev (), do_nodesv () functions

i=Robert.Read

b=22095 MDS operations hang when issued with lfs setstripe on a degraded OST

 Change the locking order in mds_lookup()

 o=jfilizetti@sms-fed.com
 i=johann
 i=adilger

b=21900 ost-pools test_25: FAIL

 Make ost-pools test_25 more robust

 i=manoj.joseph

b=22127 lustre 1.8.2 lfs permissions Patch corrects cfs_curproc_euid() logic.

 o=bschubert@ddn.com
 i=oleg.drokin
 i=johann

b=21066 ost-pools test_14 should not assert that files are from a specific OST

Round-robin allocation test should not assert that files are allocated
in strict round-robin fashion.

i=nathan.rutman
i=grev

b=17258 fix error with make rpms after configure --disable-tests

If one configures lustre with "--disable-tests" a subsequent "make rpms"
will fail as it would still try to package up the lustre-tests RPM.
Fixing this provided the opportunity to fix another wart, that being the
subst'ing the configure arguments into the lustre.spec.  Now they are
passed as value with "--define 'configure_args ...'" when calling rpmbuild.

b=21726 stop waitting for next replay transno if shutdown

if the system is shutting down, wake up service thread blocked
to wait for next replay transno during recovery, then all the
references held by queued requests can be dropped and device
can be stopped.

i=hongchao.zhang@sun.com
i=tappro@sun.com

b=20101 lfs getstripe -d test for sanity 27w

i=adilger
i=robert

b=19873 sanity: Memory leaks detected, FAILed to clean up

 Patch backport from bz 20650, attachment 26416 - introduce lprocfs counter on IRQs
 The lc_sum_irq counter is used to calculate memory freed on the interrupt.

 i=adilger
 i=andrew.perepechko

bump version to 1.8.2.51

b=17197 fix typo for OBD_CALC_STRIPE_RPC_END_ALIGN fix typo in OBD_CALC_STRIPE_RPC_END_ALIGN and do not aligned 1M for stride readahead.

i=ericm
i=johann

b=21816 return approximate block/inode usage when OSTs are down

Really return approximate block/inode usage when OSTs are down.
The old version erroneously skipped oqctl copying on error which
prevented this from working properly.

i=Johann Lombardi
i=ZhiYong Tian

b=20989 lov_merge_lvb()) ASSERTION(spin_is_locked(&lsm->lsm_lock)) failed

 Protect lli->lli_smd pointer updates with lli->lli_lock.

 o=oleg.drokin
 i=johann
 i=dmitry.zogin

b=21815 Avoid operating lustre-hash internal structures directly.

i=johann
i=nathan

b=22097 mount.lustre fails to pass some options to mount()

i=yangsheng
i=dmitry

b=18649 set wait_recovery_complete() MAX value to max recovery time estimated

i=Mikhail.Pershin

b=21992 sanity-quota interop: proc path fix for 2.0 servers

i=Johann.Lombardi

b=21255 parallel-scale statahead test fix

i=Vladimir.Saveliev
i=Andrew.Perepechko

use mpi for create/delete files instead of createmany and rm

b=21380 make dist seems to exclude the "darwin" bits

Include all of the darwin bits in the distribution tarball created with
make dist.

i=adilger

b=21911 fix for double release of ibc_lock in o2iblnd

i=liang
Re-acquire ibc_lock in kiblnd_post_tx_locked(). Add extra reference to conn before calling kiblnd_post_tx_locked() to avoid scenario when conn disappears inside kiblnd_post_tx_locked().

b=17952 allow relative pathnames

This patch allows one to give relative pathnames to --with-linux and
friends.

i=adilger
i=dmitry.zogin

b=19336 post landing cleanups

Remove generic find_linux_devel_paths()
- now that both the rhel5 and sles method files have their own particular
  version of this method, remove this hacky-trying-to-work-for-both versions
  from lbuild.
Remove a block of what is now redundant code.
Remove the comments from the target files describing what happened with
this bug.
Align the sles10 and sles11 target files:
- include the rpmfix specifier in the sles10 file
- remove the EXTRA_VERSION_DELIMETER from the sles10 file
- change the TARGET_DELIMETER to FLAVOR_DELIMETER in the sles11 file
Some whitespace cleanups.

i=wangyb
i=yangsheng

b=21968 conf-sanity changes for config mgs and mds are not combined

i=Nathan.Rutman

includes t-f:combined_mgs_mds ()

b=21097 quote the passing on of it's own arguments through $@

Fix do_nodes() in acc-sm test-framework to quote the passing on
of it's own arguments through $@ to do_node().

i=jian.yu
i=edg

b=21869 improve filter_fid2dentry() error message

i=landen
i=girish

b=20433 decrease the usage of memory on clients.

1. On clients, recycle dentries and inodes unused.
2. Delete the code related to ll_deathrow(att 6215 in bug 1443). It
   is useless now.

i=adilger
i=oleg

b=21137 ext4 extent allocation is slower than in ext3

 Increase the default value of MB_DEFAULT_ORDER2_REQS to 8, enlarge ext4
 preallocation table for 2048 4K blocks extents creation.

 i=alex.zhuravlev
 i=andrew.perepechko

Updated with Oracle copyright.
2010-01-29  Sun Microsystems, Inc.
        * version 3.1.1

-------------------------------------------------------------------------------

b=22074 incorrect triggering of synchronous IO

The OSC can mistakenly fall back to synchronous IO when the max_dirty_mb
limit is reached and no write requests have yet been issued.  This can
occur when the dirty pages are spread over many files all of which are
below the optimal request size.

o=behlendorf1@llnl.gov (Brian Behlendorf)
i=adilger
i=tom.wang

b=20383 fix errant m4 "dnl" usage

Some dnl() usage seems to have been causing some errors in the resulting
configure script.

o=tappro
i=brian
i=adilger

b=21913 conf-sanity test_35b FAIL due to client reconnection has not been triggered

 Improve the robustness of conf-sanity test_35b.

 i=johann

Revert "b=20989 fix race in nfs export code"

This reverts commit 09f7487326e23dfed472bfbf752b5ee58c225855.

Conflicts:

lustre/ChangeLog

b=21829 fix broken llobdstat and add a counter parameter

Need to make sure we limit the search for OBD stats files to the obdfilter
subdirectory of "/proc/fs/lustre".
Add a counter argument to limit the number of items returned when using the
interval parameter.
Fix lots of whitespace atrocities as well as better format some of the code.

i=cliff
i=wangyb

b=13520 PTLRPC_PAUSE_REQ checking should ignore PING.

r=nathan
r=wangdi

b=20355 Add $(PTHREAD_LIBS) to lctl and lfs build

i=johann

$(PTHREAD_LIBS) is needed to compile lctl and lfs for BG/P

b=20918 t-f max recovery time estimation

i=Nathan.Rutman
i=Brian.Murrell

inform user about the estimated maximum recovery time value
to help him to set the server FAILOVER period properly

b=21932 disable some tests on NFSCLIENT

i=Oleg.Drokin

disable simul,  write_disjoint, write_append_truncate for NFSCLIENT mode;
setstripe on lustre client (nfsserver) instead of nfs client for ior test

b=21919 Optimize quota_ctl operations by sending requests in parallel

i=Johann Lombardi
i=ZhiYong Tian

Based on a patch from Joseph Herring (LLNL).
Send MDS->OST quota_ctl requests in parallel, do not resend.
Compiled from two attachments in the ticket.

b=18030 dealock fix

start the transaction earlier in llog_lvfs_destroy to get transaction start
and inode mutex lock nested properly.

i=adilger
i=alex.zhuravlev

b=21264 workaround dd bus error

A buggy coreutils/gettext combination workaround.  Suppressing dd xfer
statistic makes dd do not call gnu gettext library and avoid crashing.

i=robert.read

b=15057 fix file ownerships in lustre-modules RPM

The files in the lustre-modules RPM were not being set with a correct
owner and were therefore just using what was on the filesystem.

i=yangsheng
i=wangyb

b=21665 a small fix for "lfs osts"

a=Joseph Herring
i=Andreas Dilger
i=Andrew Perepechko

Actually, we don't want to traverse the directory tree,
so return a positive value from sem_init to terminate
the traversal before it starts.

b=21882 handle SLV==1 on client side

Initialize ldlm pool SLV to 0 on client side to handle SLV==1 obtained from server correctly

i=rreed
i=adilger

b=21882 lru resize SLV can get stuck

calculate SLV with a greater precision to not lose small changes due to interger math truncation;
round up SLV only if the amount of granted locks less than the limit to not get stuck with this SLV

i-adilger
i=green

b=21666 prevent use of OFED source dir instead of headers

Try to determine if the user is pointing configure at the OFED source
directory intead of the devel/headers directory and error out of
configure if so and display an informative warning.

i=panda
i=whitebear

b=19553 Ignore broken cancel_dirty_page() in OFED 1.4.1

OFED 1.4.1 had a broken implementation of cancel_dirty_page for SLES10.
This patch detects that and ignores the function if found.

i=johann
i=yangsheng

b=19336 Get rid of the EXTRA_VERSION_DELIMETER shenanigans

We used to carry around a bunch of baggage in order to specify what kind
of delimeter to put between the version and "extra version".  The truth of
the matter is that this should always be "-".

This patch includes some support for a build system developer to force
an uncached rebuild of all products.

i=wangyb
i=yangsheng

b=21882 lru-resize comment cleanups i=adilger

b=20718 sanity-quota test_14b: improve error message

i=Andrew.Perepechko

make check_runas_id_ret () more verbose

b=21961 add changelog entry