Revert "b=19933 control DCACHE_LUSTRE_INVALID flag with MDS_INODELOCK_LOOKUP lock"

Revert 19933 to check if this is the root cause of 22709, hit during hyperion
testing.

This reverts commit 8e87a9da36a81f0e3a6d98120c078d27e17d657c.

add missing changelog entries

update changelog section

set version to 1.8.3 for RC1

b=22363 fix for a race condition in linux quotas implementation

dq_flags(struct dquot) access is not properly locked which could
lead to certain inconsistencies when accessing it using non-atomic
bit operations like __set_bit in do_set_dqblk.

This patch replaces non-atomic __set_bit calls with atomic set_bit
calls.

i=Johann Lombardi
i=Dmitry Zogin

bump version to 1.8.2.58

b=22307 initialize the child_res_id for OPEN lock

in mds_open, initialize the child_res_id before enqueuing
the OPEN lock for the child inode, then to avoid senting
wrong ldlm_res_id to client.

i=johann

b=20953 a fix for test_30 of sanity-quota

lfs calculates time left to the end of a grace period based
on current client's time and MDS-based grace period end which
can lead to cetain anomalies in lfs output when the client's
clock and the MDS' clock are not synchronized. This patch
introduces some additional I/O so that grace time decisions
and calculations will only be made on the MDS side.

i=Elena Gryaznova

bump version to 1.8.2.58

b=22556 lst: check # of remained RPCs before aborting

i=isaac

lstcon_rpc_trans_postwait() calls lstcon_rpc_trans_abort() only when the
transaction is timeout, so if we got "end_session" to interrupt waiting on
transaction, then we can hit the assertion failure ASSERTION(crpc->crp_stamp
!= 0)

fix typo in recovery-*-scale.sh script

b=16909 Suppress "changing the import ..." warning.

This warning will always be printed when the MDT reconnects to an
OST after the MDT is restarted.  There is nothing wrong here and
more importantly there is nothing the admin should do or care
about so I'm moving the warning to D_HA.

  Lustre: 9099:0:(llog_net.c:175:llog_receptor_accept())
  changing the import ffff810236ad8800 - ffff8102050a9800

b=16909 Use INFO/WARN instead of WARN/ERROR for the slow messages.

We should use INFO/WARN instead of WARN/ERROR for the slow messages.
Not only is there no real error here but it fixes an annoying quirk
of the message formatting.  With the old levels you would see the
messages formatted differently based on the time.

  Lustre: lc1-OST0001: slow parent lock 289s due to heavy IO load
  LustreError: 0-0: lc1-OST0001: slow parent lock 324s due to heavy IO load

With the new levels things are more consistent.

  Lustre: lc1-OST0001: slow parent lock 289s due to heavy IO load
  Lustre: lc1-OST0001: slow parent lock 324s due to heavy IO load

b=22385 Computing result of unsigned variable may < 0.

i=johann
i=wangdi

bump version to 1.8.2.57

b=22252 allow multiple instances of the same nid in NID hash

i=robert
i=johann

Case of multiple separate clients from the same NID (as with liblustre) is
legitimate and so we should allow multiple instances of the same NID in nid
hash.

b=22423 add regression test for reconnect flooding issue

i=dmitry

b=22423 rely on pings to issue reconnects

i=nathan
i=dmitry

Don't wake up pinger on reconnect failures and rely on
regular pings to trigger the next reconnection.
Please note that the pinger already uses a smaller interval
if the import is disconnected.

b=20615 print more debug info for  timedout ZC-req

i=maxim
i=isaac

1. output more information for timedout ZC-req and partial received connection
2. close connection for timedout ZC-req
3. always send ZC_ACK on non-blocking connection(BULK_IN)

b=22307 remove lock acquisition during holding spinlock

in ras_update, "lov_get_info" could be called during increasing
readahead windows, which tries to get the mutex lock "lov_lock"
while holding the spin_lock "ras_lock",  then causes system lockup.

i=johann@sun.com
i=tom.wang@sun.com

b=22301 lustre.lov error when backing up symlinks with extended attributes

 sanity test_17k created

 o=grev
 i=dmitry.zogin

b=19919 Test case for verify pool works well on relative path.

i=johann

b=22137 kernel oops at replay-single test_61d.

 replay-single.sh test_61d was modified to operate with MGS in case of
 the different MGS and MDS.

 i=grev

b=20278 ASSERTION(cli->cl_avail_grant >= 0) failed

i=tom.wang
i=robert.read

This patch tries to address several issues:
- osc_init_grant(): calculate avail_grant according to recovery status.
- osc_reconnect(): request grant should include cl_dirty.
- filter_grant(): beside server reboot, we should also grant the requested
  amount in case of normal reconnect.
- round-up grant amount instead of round-down, otherwise client would still
  have situation that dirty > granted.

b=20805 Use CNETERR in specific places in the portal's LNET driver

i=isaac
i=liang

bump version to 1.8.2.56

b=22074 Incorrect triggering of synchronous IO by OSC

 Sanity.sh test_42e was added. Backport from 2.0

b=22194 sanity-quota cleanups

This is the missing part of the original patch (att29160)

i=ZhiYong Tian

b=22108 include last created object in precreate slow case

i=andreas.dilger
i=inspection
i=landen

bump version to 1.8.2.55

b=21927 replay-vbr more 1.8 <-> 20 interop changes

i=Mikhail.Pershin

b=20373 don't do rep-ack if not created anything

i=johann
i=Z

mds_open currently always put a lock into a rep-ack regardless if something
was created or not. This is pointless and only creates needless contention.
In fact the entire idea was to do this for real creates as a recovery protection.

b=22409 Spurious error messages from smp_processor_id() on preemptible kernel

 Disable a preemption by grabbing the lock in fs_trace_get_tcd() first.
 The function fs_trace_get_tcd() was moved up.

 o=andreas.dilger
 i=johann
 i=dmitry.zogin
 i=nathan.rutman

bump version to 1.8.2.54

b=22194 tiny sanity-quota cleanup

i=ZhiYong Tian

b=21500 2.6.31-fc12 patchless client support.

i=brian
i=rahul
i=adilger

b=17258 give the BUILD_TESTS love to ldiskfs as well

Because ldiskfs re-uses so (too?) much of the lustre auto* goop we need
to stub the BUILD_TESTS assignment into it's autoMakefile.am, even though
it's completely unused/unneed there.

i=wangyb
i=yangsheng

b=22181 interval_erase() fix

i=green
i=johann

interval_erase() calls update_maxhigh() properly when child == NULL

b=21945 Adding WIRE_ATTR attribute to LNET types

i=liang
LST nodes on different platforms might not communicate well due to the lack of WIRE_ATTR attribute in some LNET structures traversing network. The patch fixes the problem by adding WIRE_ATTR where needed.

b=22069 replace server_major_version with connect_flags for quota utils interoperability

replace server_major_version with connect_flags for quota utils interoperability.

i=johann
i=landen

b=22233 do_div arguments not cross-platform compatible

o=Christopher Morrone
i=adilger
i=wangdi

b=22177 fix error message in mds_mfd_close()

i=adilger

Fix error messages in mds_mfd_close() since it is now
legitimate to have i_nlink = 1 for dirs in /PENDING.

Revert "b=20433 decrease the usage of memory on clients."

Suspected to cause bug 22307, so revert temporarily.

This reverts commit 841fbac6378df39e357342d86d9380e6676c1faf.

b=22307 rate limit dlm debug message in ll_inode_from_lock()

i=oleg
i=dmitry

b=22306 more sanity-quota 18 <-> 20 interop changes

i=Yong.Fan
i=Johann.Lombardi

skip test_15, test_16
test_2, test_25 mds/mdt device fix

b=22386 quota_save_version() fix: remove wildcard from conf_param

i=Andrew.Perepechko

test_22 18 <-> 20 interop: skip quota v1 testing

b=22327 "lfs df" does not print stats for all mountpoints

 Added sanityN.sh test_24b
 i=andreas.dilger

b=22327 "lfs df" does not print stats for all mountpoints

  Print all mounted lustre filesystems with "lfs df"

 o=adilger
 i=simmonsja
 i=dmitry.zogin

Updated version for build 03.

b=21957 debug_mb not correctly initialized on newer kernels (2.6.31)

i=adilger
i=rread

Fixed the debug_mb initialization problem for kernel 2.6.31

b=19919 support relative path in llapi_search_fsname()

i=adilger
i=johann

Use realpath() to provide absolute pathname.

b=21486 fix for truncated reply buffer

i=eeb
i=ericm

reply buffer could be referred by reply_in_callback after released

b=21251 Add lustre/tests/ha.sh

This is a simple failover test script that works with configurations
controlled by a CRM and have multiple targets per server.

i=robert.read
i=grev

b=21991 sanity test_53, test_67* interop 18 <-> 20 fix

i=Andreas.Dilger

b=22180 fix the incorrect MDSDEV check

i=Nathan.Rutman

new t-f is_blkdev ()
check MDSDEV on mds instead of local client
test_17, test_18 changes for config mgs and mds are not combined

b=22194 Add quiet -q option to lfs quota

o=Joseph Herring (LLNL)
i=Johann Lombardi
i=ZhiYong Tian

b=21619 hash MEs on RDMA portal

i=isaac
i=maxim

RDMA portal can have very long ME list on client side, which will trigger
soft lockup because of long searching on list. Hash MEs on RDMA portal can
resolve this problem.

b=21259 udev rule to set /dev/obd perms 666

Provide Udev rules file for Lustre, so that /dev/obd permissions are now 666.

o=Christopher Morrone
i=johann
i=dmitry.zogin

b=22301 lustre.lov error when backing up symlinks with extended attributes

 Improved logic in ll_listxattr()

 i=tom.wang
 i=dmitry.zogin

b=21991 interop 18 <-> 20 changes

i=Andreas.Dilger

b=22187 Test case for setfattr without a value parameter.

i=johann

b=22187 properly handle null value for setattr -n lustre.lov

i=adilger
i=johann

Running "setfattr -n trusted.lov ." causes a NULL dereference
in ll_setxattr() due to no checking if "value" is NULL.
This command now resets to the default striping when
executed against a directory.

b=21815 tiny fix for 1.8<->2.0 interop testing

i=grev

b=22319 skip statahead for NFSCLIENT

i=Johann.Lombardi

b=22352 Kernel update for SLES9 2.6.5-7.322.

i=johann

b=22194 lfs quota output cleanup

Suppress standard output in error cases

o=Joseph Herring  (LLNL)
i=Johann Lombardi
i=Andrew Perepechko

b=22235 llapi_uuid_match() prints bogus error message on upgraded filesystem

 1. Increase the "lfs df" column width to handle TB sized devices cleanly
 2. Allow matching OST names without trailing _UUID
 3. Allow negating the "--obd" option to "lfs find"
 4. Remove duplicate code in mntdf() iterating over MDTs/OSTs. Handle errors

 i=nathan.rutman
 i=dmitry.zogin

b=22306 t-f: interop 18 <-> 20 ENABLE_QUOTA changes

i=Yong.Fan

b=21927 test_80 interop 18 <-> 20 fix

i=Mikhail.Pershin

b=21927 test_61 interop 18 <-> 20 fix

i=Mikhail.Pershin

interop interop 18 <-> 20 changes
improve awk pattern to get objid correctly

b=21991 interop 18 <-> 20 fix: skip obdecho test

i=Andreas.Dilger

b=21815 move test to replay-single

bump version to 1.8.2.52

b=22241 call sync instead of fsync on local cancel to reduce stack usage

i=oleg
i=andreas

sync_on_lock_cancel is needed for recovery when async journal is enabled,
but we actually just need to make sure that metadata blocks have hit the
journal, so doing a fs sync should be enough and should consume less
stack (just create an empty handle and commmit it).

b=21686 simplify client disconnect code on server side

o=liang
i=johann
i=shadow

attach 25564
This patch was reverted because we were chasing some regression.
It is now safe to re-apply.

b=20837 incomplete test output for ost-pools

i=nathan.rutman
i=grev

Instead of creating many 10M files to fill the OST, create 9 files
of size OST_SIZE/10 each.

b=19917 Repeated atomic allocation failures

 Comment change.

 o=he.huang
 i=dmitry.zogin

b=22035 workaround patch

disable the per-thread data (current->journal_info)
containing the lock info during I/O to work around
the issue for short tem

i=hongchao.zhang@sun.com

b=21927 recovery-small, replay-single 18 <-> 20 interop fix

i=Mikhail.Pershin

b=21927 replay-vbr 18 <-> 20 interop fix

i=Mikhail.Pershin

b=22194 Print a dash in empty lfs quota grace columns

Polish lfs quota output for easier processing with awk/sed

o=Christopher Morrone (LLNL)
i=Andrew Perepechko
i=ZhiYong Tian

b=21927 t-f: use the global variables for facets mount points

i=Andreas.Dilger

b=21938 rq_invalid_rqset should be a bitfield

b=21815 Test case for clear stale nid-stats hash.

i=johann
i=wang.yibin

b=19933 control DCACHE_LUSTRE_INVALID flag with MDS_INODELOCK_LOOKUP lock

"DCACHE_LUSTRE_INVALID" is controlled by "MDS_INODELOCK_LOOKUP" lock which is corresponding to "IT_LOOKUP", do not skip invalidate for other intent.

i=robert.read
i=johann

b=20997 Cannot send after transport shutdown

 Clear imp_vbr_failed flag upon eviction

 i=robert.read
 i=alexander.zarochentsev

b=21938 use req->rq_set itself during recovery

during recovery, uses req->rq_set itself to replay the request
instead of ptlrpcd_recovery_pc

i=tappro@sun.com
i=johann@sun.com

b=22069 introduce server major version for b1_8 and b2_0 quota utils interoperability

Introduce server major version for b1_8 and b2_0 quota utils interoperability.

i=andrew.perepechko
i=robert.read

b=21983 Use CFS_ALLOC_IO instead of _STD in llap_from_page_with_lockh

During an ll_readahead under ll_readpage, we have seen the the
OBD_SLAB_ALLOC hang under ldlm_pools_shrink when trying to lock
a page that is already locked by the readahead code.

Using CFS_ALLOC_IO instead of CFS_ALLOC_STD will prevent
ldlm_pools_shrink from actually freeing slab, so the call path
that blocks indefinitely can never happen.

 i=adilger
 i=dmitry.zogin
 i=johann

b=22177 inc nlink by 2 instead of 1 in mds_orphan_add_link()

i=adilger
i=dmitry

Fix regression introduced by 19640.
ext3_inc_count() can reset nlink to 1 when the directory is indexed and
inode->i_nlink == 2. Work around the problem by incrementing nlink by 2
instead of 1.

b=17591 sanity-benchmark s/MOUNT/DIR/ cleanup

i=Robert.Read

b=22169 t-f:start_client_loads () wait the background threads to start

i=Robert.Read

b=22169 t-f cleanup: new do_nodev (), do_nodesv () functions

i=Robert.Read

b=22095 MDS operations hang when issued with lfs setstripe on a degraded OST

 Change the locking order in mds_lookup()

 o=jfilizetti@sms-fed.com
 i=johann
 i=adilger

b=21900 ost-pools test_25: FAIL

 Make ost-pools test_25 more robust

 i=manoj.joseph

b=22127 lustre 1.8.2 lfs permissions Patch corrects cfs_curproc_euid() logic.

 o=bschubert@ddn.com
 i=oleg.drokin
 i=johann

b=21066 ost-pools test_14 should not assert that files are from a specific OST

Round-robin allocation test should not assert that files are allocated
in strict round-robin fashion.

i=nathan.rutman
i=grev

b=17258 fix error with make rpms after configure --disable-tests

If one configures lustre with "--disable-tests" a subsequent "make rpms"
will fail as it would still try to package up the lustre-tests RPM.
Fixing this provided the opportunity to fix another wart, that being the
subst'ing the configure arguments into the lustre.spec.  Now they are
passed as value with "--define 'configure_args ...'" when calling rpmbuild.

b=21726 stop waitting for next replay transno if shutdown

if the system is shutting down, wake up service thread blocked
to wait for next replay transno during recovery, then all the
references held by queued requests can be dropped and device
can be stopped.

i=hongchao.zhang@sun.com
i=tappro@sun.com

b=20101 lfs getstripe -d test for sanity 27w

i=adilger
i=robert