LU-203 pass client mount options to zconf_mount_clients() correctly

Quote the third argument and pass it to zconf_mount_clients().

Signed-off-by: Yu Jian <yujian@whamcloud.com>
Change-Id: I86c2aea284178ca561c809f439faf9fd01d6e1c6
Reviewed-on: http://review.whamcloud.com/461
Tested-by: Hudson
Reviewed-by: Brian J. Murrell <brian@whamcloud.com>
Reviewed-by: Johann Lombardi <johann@whamcloud.com>
Reviewed-by: Chris Gearing <chris@whamcloud.com>

LU-15 slow IO with read intense application

Shrink file_max_cache_size to alleviate the memory pressure of OST.

Change-Id: I6dc26ea88f8fc28bcbc94cf7d1e6f2bdfc866ea7
signed-off-by: Wang Di <di.wang@whamcloud.com>
Reviewed-on: http://review.whamcloud.com/445
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>
Reviewed-by: Andreas Dilger <adilger@whamcloud.com>

LU-15 Strange slow IO messages and bad performance

b=24183 slow I/O on new files via mballoc.

upstream patch to avoid loading bitmaps from full groups

i=wangdi
i=johann

Change-Id: If44d996f8aa6268bf9e4afd2b1dbfdd8f4460a8c
Signed-off-by: Yang Sheng <ys@whamcloud.com>
Reviewed-on: http://review.whamcloud.com/441
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-123 Port yaml and auster to b1_8

Changes to add the yaml data logging from the 2.0 branch in the 1.8 branch, this
patch was created by applying the 2.0 yml patch to 1.8 and then resolving the issues.

This is to say that the larger changes have been taken to be correct because of their
acceptance in the 2.0 master.

This patch also contains the addition of the auster.sh script which allows for the logging
of test results to the maloo database. The actual logging is carried out by the
maloo_upload.sh script.

For instructions on how to use auster use auster -?, for instructions on maloo refer to
the whamcloud wiki [where I will begin to place a resource of information!]

Change-Id: I602a3534f17544d857aa0a9f9f82d2873fb73a39
Signed-off-by: Chris Gearing <chris@whamcloud.com>
Signed-off-by: Bobi Jam <bobijam@whamcloud.com>
Reviewed-on: http://review.whamcloud.com/421
Tested-by: Hudson
Reviewed-by: Yu Jian <yujian@whamcloud.com>
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-179 Should let PF_MEMALLOC cover ptlrpc_register_bulk()

Under memory pressure, the rpc memory allocation in bulk registration on the memory
release path also needs be covered.

Change-Id: Ie4986eb48d1e5b99b1756a0ddaa11fe0beb37462
Signed-off-by: Bobi Jam <bobijam@whamcloud.com>
Reviewed-on: http://review.whamcloud.com/439
Reviewed-by: Liang Zhen <liang@whamcloud.com>
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-206 Memory corruption due to MMP (1.8.5)

Change-Id: Ibc0c3ea76eb94c7a64f7e17711e9fe4b954cc37b
Signed-off-by: Bobi Jam <bobijam@whamcloud.com>
Reviewed-on: http://review.whamcloud.com/433
Tested-by: Hudson
Reviewed-by: Oleg Drokin <green@whamcloud.com>

LU-129 Skip quotacheck on administratively disabled OSTs

- skip quotacheck on administratively disabled OSTs.

- introduce OBD_NOTIFY_DEACTIVATE & OBD_NOTIFY_ACTIVATE event, thus lov is now aware of
  administratively enable/disable import event, and is able to udpate the 'ltd_activate'
  accordingly.

Issue: LU-129
Signed-off-by: Niu Yawei <niu@whamcloud.com>
Change-Id: Id3d2c9e1e035086e653ab500459912f7960976c8
Reviewed-on: http://review.whamcloud.com/351
Tested-by: Hudson
Reviewed-by: Lai Siyao <laisiyao@whamcloud.com>
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-62 rhel6 support

So that RHEL6 client can be built.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: Ie5ff1249aee8725625901d1dad242a8f8c48765a
Reviewed-on: http://review.whamcloud.com/385
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-177 jenkins build enhancements

From fd0bd149e66cbc06a17c372e159f9bfba024cc97:
  b=22281 refactor packaging and versioning

  Only the --enable-dist configure flag.

  i=wangyb
  i=mjmac

From ae4652c1ac831912e186d10214b266b994d7a7e2:
  b=24090 distro and target autodetection

  Automatically detect the target and distro.  It's in fact a little
  crazy that these are two separate options.  They should be merged.

  i=cliff
  i=minh

From 63520d0a8089ba4929fc6767442e85bde4a1ccad:
  b=24091 find_linux_rpms utility

  Write a utility to find the the kernel "devel" package needed.
  Restructure some code to facilitate reuse of existing code to
  use in the utility.

  i=cliff
  i=minh

From 2941269c348cfed9c22d02c45eb00687339adaaa:
  LU-120 the perfect storm

  There is a corner case in the debian patching/unpatching process
  where a patch converts the use of a given file to a file.in that is
  to be substed.  The problem is that between the configure and the
  make debs, a file, which a debian patch wants to remove already
  exists (it was created by the configure) and dpkg-buildpackage's
  unpatch step fails becuase it wants to try to create a file which
  configure already created.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
  Change-Id: I185e496b82687d21ea3d744e939536c106b702f9
  Reviewed-on: http://review.whamcloud.com/308
Tested-by: Hudson
Reviewed-by: Robert Read <rread@whamcloud.com>
Reviewed-by: Oleg Drokin <green@whamcloud.com>
From 98bf9c9e3ecaa6736dcb066d0c76e20610fa9725
  LU-177 lbuild autonomy fixes

  Fixes to allow lbuild to work without uneeded help from it's caller:
  - CentOS is a "rhel" distro
  Direct output to the output FD.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
  Change-Id: I714b90b53b14ac4ef4cd6bfe638a029656a151b0
  Reviewed-on: http://review.whamcloud.com/361
Reviewed-by: Oleg Drokin <green@whamcloud.com>
Tested-by: Hudson
Reviewed-by: Michael MacDonald <mjmac@whamcloud.com>
From 8fd9914d125989b924fc6c0e1d50dfd193a73438:
  LU-73 lbuild and friends for jenkins

  Add the portions of this patch needed for lbuild to work in
  our matrix-building jenkins environment.
  Included is a re-org of the RHEL5 lbuild code to maximize code
  reuse and minimze code replication for future RHEL6 landing.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Reviewed-by: Michael MacDonald <mjmac@whamcloud.com>
Reviewed-by: Robert Read <rread@whamcloud.com>
Reviewed-by: Oleg Drokin <green@whamcloud.com>
Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: I6b4c668d16b302f62a4d5afb9c84a051c260af06
Reviewed-on: http://review.whamcloud.com/402
Tested-by: Hudson
Reviewed-by: Michael MacDonald <mjmac@whamcloud.com>
Reviewed-by: Yang Sheng <ys@whamcloud.com>
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-73 b=22375 RHEL6 kernel support for 1.8

rhel6 patchless client support:
* different shrinker function type
* blk_queue_max_sectors/segments renamed
* removed obsolete function bio_hw_segments

signed-off-by: Lai Siyao <laisiyao@whamcloud.com>
Change-Id: Ia96cbfafc6213a86b21254aad88d7807256fd0d9
Reviewed-on: http://review.whamcloud.com/282
Tested-by: Hudson
Reviewed-by: Johann Lombardi <johann@whamcloud.com>

LU-57 Allow OSTs to be created with no primary node

Add a --servicenode parameter for mkfs.lustre to treat all service
nodes equally.

Bugzilla: 19064
Change-Id: I7851cb7781cdaf59d2cf18690d2da35121432cc1
Signed-off-by: Bobi Jam <bobijam@whamcloud.com>

b=23935 append truncate race

i=Vladimir.Saveliev
i=Oleg.Drokin

Original patch from Vitaly Fertman

b=21847 obdfilter-survey: Syntax error in some locales

i=Vladimir.Saveliev

b=21501 Properly cleanup flock lock on disconnect

Properly wakeup flock waiters on eviction.
Destroyed lock for flock completion ast is not an error, return success
to avoid double lock decref.

i=rread
i=adilger

b=24437 revoke open lock for executable files if needed

When a normal lustre client open write/exec a file, the open lock on that file needs to be revoked
in case an NFSD lustre client still holds it.

i=green@whamcloud.com
i=vladimir.saveliev@oracle.com

b=22729 Remove LPSZ & LPSSZ

Code cleanup patch for 1.8 which removes the use of LPSZ/LPSSZ to
improve the build portability.

Issue: LU-54
Change-Id: I04d8446564bf36d0806ff3ee9abf8950a33eb170
Signed-off-by: Niu Yawei <niu@whamcloud.com>

LU-53 run autogen if a Makefile.am is patched

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: I40eb3cecff64a62c2eca212ed19263128ad4b50d

b=21137 Sles11 with 1.8 is slower than 1.6 sles10 for O_DIRECT single file IOR writes

Fix ptlrpc_main() condition to start service threads correctly.

i=adilger
i=vitaly.fertman

b=23049 t-f do_node() VERBOSE fix

i=Vladimir.Saveliev

Cleared white space warning from file.  Deleted
blank line from EOF.

b=24479 LU-92 files and dirs missing in dist tarball

Some files and dirs are missing in the "dist" tarball.

Change-Id: Id9fea606549174cac2ea1f7239d75f2fc63c144c
Signed-off-by: Brian J. Murrell <brian@whamcloud.com>

Updated version for the next incremental build.

Corrected a trailing white space error.

b=19494 "lfs find" hangs when searching for an OST index

i=Emoly.Liu
i=Johann.Lombardi <johann@whamcloud.com>

- new test_88 "lfs find identifies the missing striped file segments"
- exit_status () egrep pattern fix

b=24194 increase reseed count to mitigate inconsistence in OST allocation

in alloc_rr, "LOV_CREATE_RESEED_MULT" and "LOV_CREATE_RESEED_MIN" is increased
to mitigate the inconsistence in OST allocation.

i=johann
i=andreas.dilger

b=24451 racer test cleanup

i=Vladimir.Saveliev
i=Andrew.Perepechko <Andrew_Perepechko@xyratex.com>

- modify racer/racer.sh to wait the process killed,
  exit 1 if the process are still existing;
- remove runracer;

b=19649 sanity test_77j fix

i=Johann.Lombardi <johann@whamcloud.com>

b=24426 add ERRLOG suffix to not ovewrite the lustre logs

i=Vladimir.Saveliev

b=24420 avoid an LASSERT on recovery

o=Diego.Moreno
i=tappro
i=vitaly

b=24375 Fix a race between completion and enqueue

o=green
i=vitaly
i=vs

ldlm_enqueue_tail does not obtain proper lockng when checking lock mode to see
if the lock is granted, so there is a window where ldlm_handle_completion_ast
can update lvb with correct data, but beforeit has a chance to update the lock
mode, the ldlm_enqueue_tail will check the lock mode and since the lock is not
granted yet, it will overwrite correct lvb with stale value from enqueue time.

b=24050 fix lustre_start to start server targets in the order of MGS->MDT->OST(s)

i=vitaly.fertman

b=24426 run_one(): run error() once

there is no reason to run error() (and lctl dk thereby) more than once
second lctl dk overwrites the most important logs obtained on first lctl dk

i=grev

b=23787 Modified struct lprocfs_percpu to be C99 compliant.

i=yangsheng

b=24432 mount_lustre.c/parse_options() fix

o=Chris.Horn <hornc@cray.com>
i=Elena.Gryaznova

to differentiate between 'force*' and 'force'

b=22168 write-append-truncate: retry write when receives EINTR.

r=jian.yu
r=vitaly.fertman

b=22984 change all references to tune.ldiskfs in lustre to tunefs.ldiskfs

o=girish
i=adilger
i=johann

b=21135 calculate Use% for "lfs df" the same way as standard "df"

o=andreas
i=girish
i=simmonsja

b=19944 adjust debug size to be -gt num_possible_cpus()

a=Landen <zhiyong.tian@oracle.com>
i=Elena.Gryaznova

b=23670 exit_status () fix

i=Vladimir.Saveliev

b=23430 fix sanity-quota test 14a to write file in O_DIRECT mode

o=andrew.perepechko
i=johann.lombardi
i=landen

b=24374 lov_dump_user_lmm_header () fix

i=Johann

Updated version for 1.8.6 Build 03.

b=23064 create proper macro check for bdi interface

i=johann

add missing changelog entries

b=14846 dynamically grow/shrink connd threads pool

i=isaac

if multiple nodes are down, all socklnd connds could be blocked for a
long while, we can workaround this by increase default nconnds but it
always requires to have unnecessary number of threads.
This patch can support dynamically grow/shrink connd threads pool, it
can create new thread if there's pending active connecting, it will
kill some threads if there are too many idle connds.

b=24218 fix contention on ksock_tx_t

i=isaac

If a connection is closed before ksocknal_transmit() returns to
ksocknal_process_transmit(), then nobody has refcount on conn::ksnc_sock
and all pending ZC requests will be finalized by
ksocknal_connsock_decref->ksocknal_finalize_zcreq, ksocknal_finalize_zcreq
will mark not-acked ZC request as error by setting tx::tx_reside = -1.
This is race because ksocknal_process_transmit() will check tx::tx_resid
right after calling ksocknal_transmit(), and it can get
tx->tx_resid != 0 and rc == 0 then hit later LASSERT(rc < 0).

b=23983 mmp test_10 fix

i=Vladimir.Saveliev

Fix rhel6 build issue

b=23499 add changelog entry

b=23499 ASSERTION(atomic_read(&client_stat->nid_exp_ref_count) == 0)

i=johann
i=liang

In lprocfs_exp_setup(), we need release old stats in all cases.

b=23729 cancel_lru_locks not working cause some locks are still in cache from mmap files

Fix sanity-benchmark.sh to remove files after fsx otherwise client keeps locks acquired for mmap files in cache.

b=21581 change wrong URL

b=21581 fix typo; add Fedora

Fix a typo.
Add Fedora for the yum cases per Andreas.

LU-47

Change-Id: Ie4e6fd9860dcd1c6280cdd907c54bd2e50aab7cc

b=24427 hopefully the last libcfs_memory_pressure_* fix for liblustre

b=24427 another userspace fix for libcfs_memory_pressure_restore()

b=24427 define libcfs_memory_pressure_get for userspace

Revert "b=21776 make sure libcfs_memory_pressure_get is declared before using it in LNetPut()"

This reverts commit 941880626e036fc48f31e13c5b71bb1118346d5c.
This patch does not help ...

b=21776 make sure libcfs_memory_pressure_get is declared before using it in LNetPut()

b=21581 too long file / path names for old tar

Instruct automake to use tar's ustar format to prevent errors when
pathnames are longer than 99 characters.
- this requires automake >= 1.9, so adjust accordingly
  - including dealing with multiple versions of automake installed

i=adilger

Issue: LU-47
Change-Id: Iaafcb3573c164c2b0e3efd60eb4223dc93bf1493

b=24410 exit with error if NFSCLIENT is set, but no nfs export found

b=24388 remove another file inadvertently added by previous commit

b=24388 remove files inadvertently added by previous commit

b=24388 sgpdd-survey fix: use node_var_name () for variables

i=andrew

b=21776 Set PF_MEMALLOC on outgoing path to prevent deadlock on memory allocation under pressure

i=johann
i=dmitry
i=maxim

b=22980 init_logging does not exist in 1.8

b=24417 Update Build-Depends

- remove texlive-latex-recommended as a build requirement
- add missing "| automake1.7 | automake1.8 | automake1.9" to
  debian/control.main

Issue: LU-52
Change-Id: I53b54a068e2dc5cf8704235031ca198784bab6c9

b=24416 debian packaging fixes

- don't make a patch out of anything in /debian
- exclude noise files from the debian built source tarball
- fake debian/patche{s,d} for make dist
- a few more reasons to run autogen.sh
- figure out if dist tarball needs autogen.shs and include it if so
- look for and run autogen.sh in the build subdir
- make debdiff as part of make dist
- add a debian/source/format file
- mv the orig tarball and the debdiff to the debs dir
- don't try to dist /debian for non-dpkg-using build targets

Issue: LU-51

b=24413 fix for automake > 1.9.6

We seem to be using a Makefile variable that does not exist in more
recent versions of automake.  This fixes that problem.

i=oleg
v=hudson@whamcloud

Issue: LU-48
Change-Id: I886b54583b444c4911e71ae6ba6836a8ce075dd5

Revert "b=24413 fix for automake > 1.9.6"

This reverts commit 9aaebdf27eefe38f846b89ea738dd0f4f3e16d8e.

b=24413 fix for automake > 1.9.6

We seem to be using a Makefile variable that does not exist in more
recent versions of automake.  This fixes that problem.

i=oleg
v=hudson@whamcloud

Issue: LU-48
Change-Id: I886b54583b444c4911e71ae6ba6836a8ce075dd5

b=22980 Support unlocked_ioctl

Adding 'unlocked_ioctl' for performance sensitive ioctls, such as OBD_IOC_BRW_READ/WRITE

i=andreas
i=johann

Change-Id: I963aaad6bf9e2fdf9b70f15659e5ad47180e0d5a

b=24320 do not fork a new thread in mem pressure

i=johann
i=green

we already check for PF_MEMALLOC in ldlm shrinker and pass this flag
to the blocking thread, but a new thread start was still done with
no check for this flag.

b=24245 fix SA perf test to support SA disabled by default

b=17275 make lustre client less verbose at startup time for Cray

i=johann

b=24360 fix NULL pointer deref in mds_verify_child() when ll_lookup_one_len() fails

i=johann

b=20563 Fix fid_flatten() after 1 trillion SEQ numbers

Fix the fid_flatten() function to properly handle FID mapping to
64-bit inode numbers, after the first 1 trillion SEQ numbers have
been granted out.  Even with CMD this would only happen after
1024 MDTs have each had 1B client mounts, so there is little risk
of introducing collisions as a result of this change, and at worst
this is a client-local phenomenon that is not persistent.

b=20563 Fix fid_flatten32() to not lose OID bits

The original implementation of fid_flatten32() was broken due to an
error in the shift calculation (note to self - "0x00" is 8 bits, not
16 bits).  This could negatively impact 32-bit clients that were
creating more than 64k files in the same directory.

This 32-bit inode number is visible only within a single client mount,
is not used in any persistent storage, and only if a 2.x server is in
use (which is basically none today) by a 32-bit client, so there is no
issue to change it at this time.

b=22660 Return kernel's locking return code to when lustre reports success

i=johann
i=andrew

b=23352 modified value of at_min is not taken into account

i=Johann
i=Eri Mei

b=22378 Correct MDS client stats

sanity test_133b fails with "The getattr counter on mds is wrong"
message.

i=Andrew Perepechko

b=15962 disable statahead by default due to important races found in the code

b=22882 MMP might sleep negative time

i=adilger
i=girish

b=21456 Patch to support lnet v1 pings in 'lctl ping'

i=maxim
i=isaac

bump version to 1.8.5.53

b=23988 Remove sd iostats patch from sles11 patch series

Updated version for 1.8.6 build 02.

add missing changelog entries

b=24039 actually add exit_traps.sh to EXTRA_DIST

b=23122 make exit_traps.sh executable

While bug 24093 added exit_traps.sh to the make dist list, it is
not an executable file to start with.  Fix this in the git repo.

b=24093 not all build files/scripts being distributed

Some files that need to be are not being included in the tarball
when make dist is being run.

i=cliff
i=minh

b=24087 reverse order of $LINUX{,_OBJ}/include

It is important that /usr/src/linux-...-obj/include is searched for
includes before /usr/src/linux-.../include so that the inclusion of
"include/linux/autoconf.h" picks up the one for the kernel we are
trying to build against, and not the one for the currently running
kernel, which is what is in /usr/src/linux-.../ copy is.

i=wangyb
i=cliff

b=24294 test_pios: take the ost-s sizes into account

i=Vitaly.Fertman

remove obsolete workaround bug19657 part

b=23793 MOUNTOPT "-o" cleanup

i=Minh.Diep

b=23051 improve summary of acc-sm to include test times

i=Andrew.Perepechko

acceptance-small test suites name cleanup:
- rename sanityN -> sanityn, lfscktest -> lfsck
- add racer.sh, liblustre.sh scripts
- remove fsx,bonnie,dbench,iozone.lfsck parts

b=23051 improve summary of acc-sm to include test times

i=Andreas.Dilger
i=Andrew.Perepechko

b=23081 Move llap page to tail instead of head.

i=adilger
i=johann

b=24226 typo fix for sanity test 72

i=Elena Gryaznova

b=20394 correct check for transno value in filter_finish_transno

i=tappro,johann

b=24048 Set body->eadatasize in mdc_getattr_pack()

i=adilger, johann

b=18717 make "lfs check" output consistent on stdout

o=Andreas.Dilger
i=Brian.Murrell
i=Elena.Gryaznova