LU-73 b=22375 RHEL6 kernel support for 1.8

rhel6 patchless client support:
* different shrinker function type
* blk_queue_max_sectors/segments renamed
* removed obsolete function bio_hw_segments

signed-off-by: Lai Siyao <laisiyao@whamcloud.com>
Change-Id: Ia96cbfafc6213a86b21254aad88d7807256fd0d9
Reviewed-on: http://review.whamcloud.com/282
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-57 Allow OSTs to be created with no primary node

Add a --servicenode parameter for mkfs.lustre to treat all service
nodes equally.

Bugzilla: 19064
Change-Id: I7851cb7781cdaf59d2cf18690d2da35121432cc1
Signed-off-by: Bobi Jam <bobijam@whamcloud.com>

b=23935 append truncate race

i=Vladimir.Saveliev
i=Oleg.Drokin

Original patch from Vitaly Fertman

b=21847 obdfilter-survey: Syntax error in some locales

i=Vladimir.Saveliev

b=21501 Properly cleanup flock lock on disconnect

Properly wakeup flock waiters on eviction.
Destroyed lock for flock completion ast is not an error, return success
to avoid double lock decref.

i=rread
i=adilger

b=24437 revoke open lock for executable files if needed

When a normal lustre client open write/exec a file, the open lock on that file needs to be revoked
in case an NFSD lustre client still holds it.

i=green@whamcloud.com
i=vladimir.saveliev@oracle.com

b=22729 Remove LPSZ & LPSSZ

Code cleanup patch for 1.8 which removes the use of LPSZ/LPSSZ to
improve the build portability.

Issue: LU-54
Change-Id: I04d8446564bf36d0806ff3ee9abf8950a33eb170
Signed-off-by: Niu Yawei <niu@whamcloud.com>

LU-53 run autogen if a Makefile.am is patched

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: I40eb3cecff64a62c2eca212ed19263128ad4b50d

b=21137 Sles11 with 1.8 is slower than 1.6 sles10 for O_DIRECT single file IOR writes

Fix ptlrpc_main() condition to start service threads correctly.

i=adilger
i=vitaly.fertman

b=23049 t-f do_node() VERBOSE fix

i=Vladimir.Saveliev

Cleared white space warning from file.  Deleted
blank line from EOF.

b=24479 LU-92 files and dirs missing in dist tarball

Some files and dirs are missing in the "dist" tarball.

Change-Id: Id9fea606549174cac2ea1f7239d75f2fc63c144c
Signed-off-by: Brian J. Murrell <brian@whamcloud.com>

Updated version for the next incremental build.

Corrected a trailing white space error.

b=19494 "lfs find" hangs when searching for an OST index

i=Emoly.Liu
i=Johann.Lombardi <johann@whamcloud.com>

- new test_88 "lfs find identifies the missing striped file segments"
- exit_status () egrep pattern fix

b=24194 increase reseed count to mitigate inconsistence in OST allocation

in alloc_rr, "LOV_CREATE_RESEED_MULT" and "LOV_CREATE_RESEED_MIN" is increased
to mitigate the inconsistence in OST allocation.

i=johann
i=andreas.dilger

b=24451 racer test cleanup

i=Vladimir.Saveliev
i=Andrew.Perepechko <Andrew_Perepechko@xyratex.com>

- modify racer/racer.sh to wait the process killed,
  exit 1 if the process are still existing;
- remove runracer;

b=19649 sanity test_77j fix

i=Johann.Lombardi <johann@whamcloud.com>

b=24426 add ERRLOG suffix to not ovewrite the lustre logs

i=Vladimir.Saveliev

b=24420 avoid an LASSERT on recovery

o=Diego.Moreno
i=tappro
i=vitaly

b=24375 Fix a race between completion and enqueue

o=green
i=vitaly
i=vs

ldlm_enqueue_tail does not obtain proper lockng when checking lock mode to see
if the lock is granted, so there is a window where ldlm_handle_completion_ast
can update lvb with correct data, but beforeit has a chance to update the lock
mode, the ldlm_enqueue_tail will check the lock mode and since the lock is not
granted yet, it will overwrite correct lvb with stale value from enqueue time.

b=24050 fix lustre_start to start server targets in the order of MGS->MDT->OST(s)

i=vitaly.fertman

b=24426 run_one(): run error() once

there is no reason to run error() (and lctl dk thereby) more than once
second lctl dk overwrites the most important logs obtained on first lctl dk

i=grev

b=23787 Modified struct lprocfs_percpu to be C99 compliant.

i=yangsheng

b=24432 mount_lustre.c/parse_options() fix

o=Chris.Horn <hornc@cray.com>
i=Elena.Gryaznova

to differentiate between 'force*' and 'force'

b=22168 write-append-truncate: retry write when receives EINTR.

r=jian.yu
r=vitaly.fertman

b=22984 change all references to tune.ldiskfs in lustre to tunefs.ldiskfs

o=girish
i=adilger
i=johann

b=21135 calculate Use% for "lfs df" the same way as standard "df"

o=andreas
i=girish
i=simmonsja

b=19944 adjust debug size to be -gt num_possible_cpus()

a=Landen <zhiyong.tian@oracle.com>
i=Elena.Gryaznova

b=23670 exit_status () fix

i=Vladimir.Saveliev

b=23430 fix sanity-quota test 14a to write file in O_DIRECT mode

o=andrew.perepechko
i=johann.lombardi
i=landen

b=24374 lov_dump_user_lmm_header () fix

i=Johann

Updated version for 1.8.6 Build 03.

b=23064 create proper macro check for bdi interface

i=johann

add missing changelog entries

b=14846 dynamically grow/shrink connd threads pool

i=isaac

if multiple nodes are down, all socklnd connds could be blocked for a
long while, we can workaround this by increase default nconnds but it
always requires to have unnecessary number of threads.
This patch can support dynamically grow/shrink connd threads pool, it
can create new thread if there's pending active connecting, it will
kill some threads if there are too many idle connds.

b=24218 fix contention on ksock_tx_t

i=isaac

If a connection is closed before ksocknal_transmit() returns to
ksocknal_process_transmit(), then nobody has refcount on conn::ksnc_sock
and all pending ZC requests will be finalized by
ksocknal_connsock_decref->ksocknal_finalize_zcreq, ksocknal_finalize_zcreq
will mark not-acked ZC request as error by setting tx::tx_reside = -1.
This is race because ksocknal_process_transmit() will check tx::tx_resid
right after calling ksocknal_transmit(), and it can get
tx->tx_resid != 0 and rc == 0 then hit later LASSERT(rc < 0).

b=23983 mmp test_10 fix

i=Vladimir.Saveliev

Fix rhel6 build issue

b=23499 add changelog entry

b=23499 ASSERTION(atomic_read(&client_stat->nid_exp_ref_count) == 0)

i=johann
i=liang

In lprocfs_exp_setup(), we need release old stats in all cases.

b=23729 cancel_lru_locks not working cause some locks are still in cache from mmap files

Fix sanity-benchmark.sh to remove files after fsx otherwise client keeps locks acquired for mmap files in cache.

b=21581 change wrong URL

b=21581 fix typo; add Fedora

Fix a typo.
Add Fedora for the yum cases per Andreas.

LU-47

Change-Id: Ie4e6fd9860dcd1c6280cdd907c54bd2e50aab7cc

b=24427 hopefully the last libcfs_memory_pressure_* fix for liblustre

b=24427 another userspace fix for libcfs_memory_pressure_restore()

b=24427 define libcfs_memory_pressure_get for userspace

Revert "b=21776 make sure libcfs_memory_pressure_get is declared before using it in LNetPut()"

This reverts commit 941880626e036fc48f31e13c5b71bb1118346d5c.
This patch does not help ...

b=21776 make sure libcfs_memory_pressure_get is declared before using it in LNetPut()

b=21581 too long file / path names for old tar

Instruct automake to use tar's ustar format to prevent errors when
pathnames are longer than 99 characters.
- this requires automake >= 1.9, so adjust accordingly
  - including dealing with multiple versions of automake installed

i=adilger

Issue: LU-47
Change-Id: Iaafcb3573c164c2b0e3efd60eb4223dc93bf1493

b=24410 exit with error if NFSCLIENT is set, but no nfs export found

b=24388 remove another file inadvertently added by previous commit

b=24388 remove files inadvertently added by previous commit

b=24388 sgpdd-survey fix: use node_var_name () for variables

i=andrew

b=21776 Set PF_MEMALLOC on outgoing path to prevent deadlock on memory allocation under pressure

i=johann
i=dmitry
i=maxim

b=22980 init_logging does not exist in 1.8

b=24417 Update Build-Depends

- remove texlive-latex-recommended as a build requirement
- add missing "| automake1.7 | automake1.8 | automake1.9" to
  debian/control.main

Issue: LU-52
Change-Id: I53b54a068e2dc5cf8704235031ca198784bab6c9

b=24416 debian packaging fixes

- don't make a patch out of anything in /debian
- exclude noise files from the debian built source tarball
- fake debian/patche{s,d} for make dist
- a few more reasons to run autogen.sh
- figure out if dist tarball needs autogen.shs and include it if so
- look for and run autogen.sh in the build subdir
- make debdiff as part of make dist
- add a debian/source/format file
- mv the orig tarball and the debdiff to the debs dir
- don't try to dist /debian for non-dpkg-using build targets

Issue: LU-51

b=24413 fix for automake > 1.9.6

We seem to be using a Makefile variable that does not exist in more
recent versions of automake.  This fixes that problem.

i=oleg
v=hudson@whamcloud

Issue: LU-48
Change-Id: I886b54583b444c4911e71ae6ba6836a8ce075dd5

Revert "b=24413 fix for automake > 1.9.6"

This reverts commit 9aaebdf27eefe38f846b89ea738dd0f4f3e16d8e.

b=24413 fix for automake > 1.9.6

We seem to be using a Makefile variable that does not exist in more
recent versions of automake.  This fixes that problem.

i=oleg
v=hudson@whamcloud

Issue: LU-48
Change-Id: I886b54583b444c4911e71ae6ba6836a8ce075dd5

b=22980 Support unlocked_ioctl

Adding 'unlocked_ioctl' for performance sensitive ioctls, such as OBD_IOC_BRW_READ/WRITE

i=andreas
i=johann

Change-Id: I963aaad6bf9e2fdf9b70f15659e5ad47180e0d5a

b=24320 do not fork a new thread in mem pressure

i=johann
i=green

we already check for PF_MEMALLOC in ldlm shrinker and pass this flag
to the blocking thread, but a new thread start was still done with
no check for this flag.

b=24245 fix SA perf test to support SA disabled by default

b=17275 make lustre client less verbose at startup time for Cray

i=johann

b=24360 fix NULL pointer deref in mds_verify_child() when ll_lookup_one_len() fails

i=johann

b=20563 Fix fid_flatten() after 1 trillion SEQ numbers

Fix the fid_flatten() function to properly handle FID mapping to
64-bit inode numbers, after the first 1 trillion SEQ numbers have
been granted out.  Even with CMD this would only happen after
1024 MDTs have each had 1B client mounts, so there is little risk
of introducing collisions as a result of this change, and at worst
this is a client-local phenomenon that is not persistent.

b=20563 Fix fid_flatten32() to not lose OID bits

The original implementation of fid_flatten32() was broken due to an
error in the shift calculation (note to self - "0x00" is 8 bits, not
16 bits).  This could negatively impact 32-bit clients that were
creating more than 64k files in the same directory.

This 32-bit inode number is visible only within a single client mount,
is not used in any persistent storage, and only if a 2.x server is in
use (which is basically none today) by a 32-bit client, so there is no
issue to change it at this time.

b=22660 Return kernel's locking return code to when lustre reports success

i=johann
i=andrew

b=23352 modified value of at_min is not taken into account

i=Johann
i=Eri Mei

b=22378 Correct MDS client stats

sanity test_133b fails with "The getattr counter on mds is wrong"
message.

i=Andrew Perepechko

b=15962 disable statahead by default due to important races found in the code

b=22882 MMP might sleep negative time

i=adilger
i=girish

b=21456 Patch to support lnet v1 pings in 'lctl ping'

i=maxim
i=isaac

bump version to 1.8.5.53

b=23988 Remove sd iostats patch from sles11 patch series

Updated version for 1.8.6 build 02.

add missing changelog entries

b=24039 actually add exit_traps.sh to EXTRA_DIST

b=23122 make exit_traps.sh executable

While bug 24093 added exit_traps.sh to the make dist list, it is
not an executable file to start with.  Fix this in the git repo.

b=24093 not all build files/scripts being distributed

Some files that need to be are not being included in the tarball
when make dist is being run.

i=cliff
i=minh

b=24087 reverse order of $LINUX{,_OBJ}/include

It is important that /usr/src/linux-...-obj/include is searched for
includes before /usr/src/linux-.../include so that the inclusion of
"include/linux/autoconf.h" picks up the one for the kernel we are
trying to build against, and not the one for the currently running
kernel, which is what is in /usr/src/linux-.../ copy is.

i=wangyb
i=cliff

b=24294 test_pios: take the ost-s sizes into account

i=Vitaly.Fertman

remove obsolete workaround bug19657 part

b=23793 MOUNTOPT "-o" cleanup

i=Minh.Diep

b=23051 improve summary of acc-sm to include test times

i=Andrew.Perepechko

acceptance-small test suites name cleanup:
- rename sanityN -> sanityn, lfscktest -> lfsck
- add racer.sh, liblustre.sh scripts
- remove fsx,bonnie,dbench,iozone.lfsck parts

b=23051 improve summary of acc-sm to include test times

i=Andreas.Dilger
i=Andrew.Perepechko

b=23081 Move llap page to tail instead of head.

i=adilger
i=johann

b=24226 typo fix for sanity test 72

i=Elena Gryaznova

b=20394 correct check for transno value in filter_finish_transno

i=tappro,johann

b=24048 Set body->eadatasize in mdc_getattr_pack()

i=adilger, johann

b=18717 make "lfs check" output consistent on stdout

o=Andreas.Dilger
i=Brian.Murrell
i=Elena.Gryaznova

b=23049 canonicalize disk names

o=Brian.Murrell
i=grev

b=23049 various t-f.sh patches

o=Brian.Murrell
i=grev

rundbench is a bash script;
obdfilter-survey is a bash script;
don't su if MPI_USER == "";

b=23049 set path to truncate

i=Brian.Murrell

b=22544 delete module_setup.sh

i=Brian.Murrell

b=24039 lfs setstripe --pool broken

i=Andreas.Dilger
i=Vladimir.Saveliev

b=24239 use SAMPLE_FILE instead of termcap

i=Vitaly.Fertman

b=24266 increase replay-single test_70d dbench duration for HARD failure mode

i=Mikhail.Pershin

b=24226 Only force the mode change if we're changing the size as well

i=johann

The offending code was added by commit 77ba4b2141d04180211efa8a75c11ab0abf7fafb to remove
setgid/setuid bits when do_truncate() is called on the file. We should only force the change when
that occurs, similarly to ll_setattr() in lustre/llite/llite_lib.c

Revert "b=23787 make struct lprocfs_percpu definition C99 compliant"

This reverts commit 46ff2dd66e91530f804d5b2321e58827f71e0251.
This is causing build errors.