LU-119 Remove code added by a conflict resolution

I erroneously re-added some code that was removed in
62345145fa7cae1846f96078bac43ddf58cea640 while resolving
a conflict in LU-85's landing of commit
ab13b69b63ca19d7fe68b8ba6afd2cb4723db78c.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: Id2489a3aa5560cdf4e7cf4755ddc16437558a2fc
Reviewed-on: http://review.whamcloud.com/304
Tested-by: Hudson
Reviewed-by: Christopher J. Morrone <morrone2@llnl.gov>
Reviewed-by: Robert Read <rread@whamcloud.com>
Reviewed-by: Oleg Drokin <green@whamcloud.com>

No bugzilla for this. One of the test failing was config-sanity.sh
test number 37. So I tracked it down to way. The reason was the mounts
were failing. Upon investigation I discovered the test caught a error
reported back by the mount. I tracked it down to the section of code in
the patch. Basically mount_lustre.c attempts to set the stripe_cache_size
for /dev/mdX devices. The problem is this extra feature is present for
certain classes of md devices. In the case of our test bed we are one
of the classes that lacks this enhancement. So instead of failing to mount
in that case we just print a warning that the special param is not present
but still succed to mount.

Change-Id: Ib8a743e77b5e6994e2640c51b781f7d0d345d5a7
Signed-off-by: James Simmons <uja.ornl@gmail.com>
Reviewed-on: http://review.whamcloud.com/254
Tested-by: Hudson
Reviewed-by: Brian J. Murrell <brian@whamcloud.com>
Reviewed-by: Oleg Drokin <green@whamcloud.com>

LU-85 Update some URLs and text to reflect our releases.

The text and URLs in the debian packaging metadata were old
(circa Sun Microsystems), so update them and take the opportunity
to inform about the source of the release being installed.

Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: I7860e8ada7757d8a991a472af293749fd4c89f5a

Merge "b=21581 too long file / path names for old tar"

LU-111 Fix force options parsing

parse_options had incorrect check for force option that matched
all force options like force_over_16tb and as a result those did
not get propagated down.

Change-Id: I46d07a6d505acc9150e2655a63be55fb7ef6954d
Signed-off-by: Oleg Drokin <green@whamcloud.com>

Merge "Remove rpm spec code and message related to "alias lustre llite""

Merge "Remove obsolete nodelustre script"

Add -D logdir option to Auster so that the whole logdir can be specified

Added a -D logdir so that Auster does not append a time based suffix to the dir
this means that the location of the logs can be known by the parent of Auster

Use Case: The job manager needs to place console logs into the logs directory
and is a parent of Auster, therefor the job manage creates a directory and passes
it to auster using the -D option

Issue: LU-105
Change-Id: Idbd258677b9c6624fdac43aa6223fe6f516bc989
Signed-off-by: Chris Gearing <chris@whamcloud.com>

Remove obsolete nodelustre script

Change-Id: I1cf7e933225b773e95210f0bc5088ecbd7ab0037
Signed-off-by: Christopher J. Morrone <morrone2@llnl.gov>

Merge "Remove EXPORT_SYMBOL for static function."

b=21581 too long file / path names for old tar

Instruct automake to use tar's ustar format to prevent errors when
pathnames are longer than 99 chars.
- this requires automake >= 1.9, so adjust accordingly
  - including dealing with multiple versions of automake installed
Per andreas' inspection, provide a hint to the user on how to install
a missing automake or autoconf.
Per mjmac's inspection, give Debian users help on how to install
software.
- note that I am *assuming" that Debian's lsb distribution id is "Debian"

i=adilger
i=mjmac

Issue: LU-47
Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: Ica6419196d2a6910824e8f2326537d9b46612c15

Add location argument to $upload_script call

Issue: LU-100
Change-Id: Idbe262f15f0915ef9ffe8f6f05256eaf324d8a51
Signed-off-by: John Spray <john@whamcloud.com>

Merge "b=24413 fix for automake > 1.9.6"

b=24413 fix for automake > 1.9.6

We seem to be using a Makefile variable that does not exist in more
recent versions of automake.  This fixes that problem.

Issue: LU-48
Signed-off-by: Brian J. Murrell <brian@whamcloud.com>
Change-Id: I84d0656e9bee0878c7ac25183476e39dca63366f

Remove rpm spec code and message related to "alias lustre llite"

It has been quite some time since we used the module alias:

  alias lustre llite

Remove conversion code from the spec file.
Remove the confusing error message that make reference to the alias.

Change-Id: I412ce738243e3d9824b4a94f8a4fd95811cfae0d
Signed-off-by: Christopher J. Morrone <morrone2@llnl.gov>

Remove EXPORT_SYMBOL for static function.

gcc 4.4.4 in RHEL6 on ppc64 does not allow EXPORT_SYMBOL for
a static function (which seems reasonable).  The following error
is seen on the EXPORT_SYMBOL line:

error: __ksymtab_obd_device_alloc causes a section type conflict

Change-Id: I6ad5ae13346b82bd723e05545d1e2a765b7460a8
Signed-off-by: Christopher J. Morrone <morrone2@llnl.gov>

Don't upload to maloo by default

- Main change is to invert meaning of -l flag. It now turns *on* uploading
  logs to maloo, instead of disabling it.

- Also added check to find the absolute path for maloo_upload.sh, just like
  we do for the test scripts we run.

- The verbose option now dumps the output of the script to the console (and
  also saves it to the log file).

- The -h (help) option will now page the help text if needed.

Issue: LU-86
Change-Id: Ieccb3f431b87d39007cd4f267b6e3e61a41a024a
Signed-off-by: Robert Read <rread@whamcloud.com>

Updates to test scripts:
 * Add auster test-runner script
 * Add integration with maloo test DB

Change-Id: Ifb4903ffad3fafc989e3261d72d41051b171a90e

Properly pick module parameters from modules.conf

Fix incorrect regexp that assumes "options <module> params" format
instead of proper "options module params".
Also use baseline to extract just the name of the module.
Now depends on GNU grep for -P (perl_ regexps so that '+' glob works.

Issue: LU-46
Change-Id: Id4d939bf2d9a412d1d5f3f2e7fcbf466ce436e28

b=24416 debian packaging fixes

- don't make a patch out of anything in /debian
- exclude noise files from the debian built source tarball
- fake debian/patche{s,d} for make dist
- a few more reasons to run autogen.sh
- figure out if dist tarball needs autogen.shs and include it if so
- look for and run autogen.sh in the build subdir
- make debdiff as part of make dist
- add a debian/source/format file
- mv the orig tarball and the debdiff to the debs dir
- don't try to dist /debian for non-dpkg-using build targets

Issue: LU-51
Change-Id: I041aaef217e107def86ce808d0e96fc6891e1dcd

b=24378 wrong error code conversion in mdd_path_current()

i=vitaly
i=tappro

b=24357 thread_sanity() fix

i=Vitaly.Fertman

b=24037 Remove iopen ldiskfs patch for rhel5.

b=23368 MMP: Watchdog detected LOCKUP on CPU 1 RIP: __list_add+0x6/0x68

b=24294 test_pios: take the ost-s sizes into account

i=Vitaly.Fertman

b=24255 move seq_client_alloc_seq out of lcs_sem

i=ericm

do not send RPC under seq->lcs_sem, because in a case of recovery
the recovery thread takes it too and deadlocks.

b=23793 MOUNTOPT "-o" cleanup

i=Minh.Diep

b=21122 fix a race between page fault and lock cancel.

r=oleg.drokin
r=vitaly.fertman

b=16359 _debug_req fix

i=vitaly
i=panda

b=23409 add -i to the setstripe usage and man page

Add the "-i" option to the "lfs setstripe" usage and man page.
Fix nroff formatting in the "lfs setstripe" and "lfs getstripe".

i=sheila.barthel

Revert "b=20288 kiblnd_check_conns can deadlock"

This reverts commit 9887737999bb2db2bc2f10b77854dee7f471ba62.

b=24291 Ignore PARAM_NETWORK in mgs_write_log_param()

i=alexg
i=adilger

b=24320 do not fork a new thread in mem pressure

i=johann
i=green

we already check for PF_MEMALLOC in ldlm shrinker and pass this flag
to the blocking thread, but a new thread start was still done with
no check for this flag.

b=24128 mgs_write_log_ost() should not update client's log

o=Lai Siyao
i=adilger

when an OST is set to an existed index, don't update client logs.
otherwise client will have duplicate OSC logs to the same OST.

b=24017 make llverfs more robust against errors during testing

Make llverfs more robust about continuing in the face of errors.

o=Andreas Dilger
i=jian.yu
i=brian.murrell

b=23051 improve summary of acc-sm to include test times

i=Andreas.Dilger

b=22771 Patch to disable mbcache

o=girish
i=adilger
i=johann

b=16890 llapi_quotactl man page update

additional explanation of igrace/bgrace/itime/btime

b24336 ldlm_resource::lr_lvb_data is protected by wrong lock

- ldlm_resource::lr_lvb_data should always be protected by lr_lvb_sem
- cleanup some unnecessary lock dance

i=vitaly.fertman
i=green

b=22117 Patch to limit mmp interval

o=bernd
i=adilger
i=kalpak

Revert "b=22176 Add .sync_fs super block handler"

This reverts commit 860404143dafbf696b4d38bb9135eabfd471cc36.

Updated for 2.1.0 build 10.

b=24324 no new lock on disconnected export

i=green
i=tappro

check if export is being disconnected and do not add new locks to it

b=24218 fix race on ksock_tx_t::tx_resid

o=Liang
i=isaac

If a connection is closed before ksocknal_transmit() returns to
ksocknal_process_transmit(), then nobody has refcount on conn::ksnc_sock
and all pending ZC requests will be finalized by ksocknal_connsock_decref->
ksocknal_finalize_zcreq, ksocknal_finalize_zcreq will mark not-acked ZC
request as error by setting tx::tx_reside = -1.
This is race because ksocknal_process_transmit() will check tx::tx_resid
right after calling ksocknal_transmit(), and it can get tx->tx_resid != 0
and rc == 0 then hit later LASSERT(rc < 0).

b=24078 replay barrier checks sequence allocation

i=grev

b=23289 revert patch on 21828

this patch reverted change on bug 21828, because svc::srv_n_active_reqs
is dropped by ptlrpc_server_finish_request() now which is used to be
dropped by last calling of ptlrpc_server_drop_request, so recovery
thread has no refcount on svc::srv_n_active_reqs and we should just
remove these refcount changes.
This should also resovled issue of bug 21140, because logic in
ptlrpc_server_request_get() can be totally screwed up by
ptlrpc_server_active_request_inc/dec.

b=23289 don't start more than minimum MDT threads

Because there are many different portals running on the MDS node (MDT,
readpage, setattr, SEQ, SEQ server, FLD, DLM), starting more than the
minimum number of threads can result in thousands of threads running
on large MDS nodes, even if many of those threads are not needed.

Start only the minimum number of threads at mount time, and start more
as required by the load.

i=liang
i=vitaly

b=23072 avoid duplicate cfs_size_round declarations

Use HAVE_CFS_SIZE_ROUND to determine if libcfs_private.h or lustre_user.h has
declared the cfs_size_round() helper function.  This avoids conflicts if both
of these headers are included in different orders.

b=22376 accmode fix

i=tappro
i=green

accmode is fixed to not let other flags to be set together with MAY_EXEC
test is added

b=21244 add man page for ll_decode_filter_fid tool

Add man page for new ll_decode_filter_fid(8) tool.
Add references to lustre(7) man page.

b=20288 kiblnd_check_conns can deadlock

Avoid dropping global lock in kiblnd_check_conns

i=maxim
i=liang

b=16605 verify object group before using it

Avoid trying to access an invalid/unknown group sent from the client.
Don't return -EINVAL, since it is possible that the problem is the OST
code is old and this object actually exists.  Instead, return -EBADF
so that we can more easily diagnose this problem.

b=24048 set body->easize in mdc_getattr_pack()

i=johann
i=adilger

This allows client to supply the server with enough info about reply buffers.
Server may use this to allocate buffers and don't guess with max_mdsize

b=24171 check the init() iterator results properly

i=vitaly
i=bzzz

b=24300 Don't run autogen.sh in the spl and zfs repos.

The SPL and ZFS repositories already come with the configure script ready to
run, therefore it's not necessary to run autogen.sh on those directories.

Furthermore, in SPL version 0.5.0 this was causing a version conflict when
regenerating the files with the autotools/libtool that come with RHEL5.

b=24266 increase replay-single test_70d dbench duration for HARD failure mode

i=Mikhail.Pershin

b=24037 Using cfs_curproc_umask() instead of reference directly.

i=vitaly

b=22755 Don't consume grant twice on recoverable resend

o=johann
i=green
i=tappro

b=22556 should check # of remained RPCs before aborting

o=liang
i=isaac

lstcon_rpc_trans_postwait() calls lstcon_rpc_trans_abort() only when the
transaction is timeout, so if we got "end_session" to interrupt waiting
on transaction, then we can hit ASSERTION(crpc->crp_stamp != 0).

b=23003 sanity test is added, checks how we work with timestamps before Jan 1 1970

i=grev

b=24270 need to mkdir mntpt before mount

o=Minh
i=Elena

b=24198 set strictatime to default.

RELATIME set to default in upstream kernel. We set strictatime when
relatime or noatime not given explicitly to keep update atime.

i=adilger
i=vitaly

b=24175 avoid reporting 'No such file or directory' error

i=rahul.deshmukh

b=24037 avoid conflicting DCACHE_LUSTRE_INVALID

In newer kernels our definition of DCACHE_LUSTRE_INVALID needs
to be changed to avoid conflictint with other DCACHE flags.
Use a high value to avoid conflict for a long time, maybe until
we can actually get rid of the need for it entirely.

i=sheng.yang
i=vitaly.fertman

b=24037 Include backing-dev.h header

With ldiskfs disabled we fail to include the backing-dev.h header
which is required for the lustre_sb_info structure.  Presumably,
this was not as issue previously because it was included through
one of the ldiskfs headers.  The backing-dev.h header exists all
the way back to 2.6.0 kernels so I have included it unconditionally
in the linux/linux-fs.h header.  This header is included as part
of libcfs.h which is in turn included by lustre_disk.h.

  In file included from
  /home/behlendo/src/git/lustre-kdmu/lustre/ofd/ofd_internal.h:12, from
  /home/behlendo/src/git/lustre-kdmu/lustre/ofd/ofd_io.c:44:
  /home/behlendo/src/git/lustre-kdmu/lustre/include/lustre_disk.h:444:
  error: field ‘bdi’ has incomplete type

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
a=brian
i=adilger
i=yangsheng

b=23821 Limit bio_alloc() to BIO_MAX_PAGES iovecs.

Fix logic error when patch was originally landed from b=9945.

i=alex.zhuravlev
i=kwestneat

b=22176 Add .sync_fs super block handler

i=oleg
i=ericm

This patch adds .sync_fs super block handler i.e.
on issuing sync command, the dirty loi's are marked
urgent and synced.

b=24239 use SAMPLE_FILE instead of termcap

i=Vitaly.Fertman

b=24230 always allow to handle normal request for liblustre

o=liang
i=vitaly
i=zam

as liblustre is 1-threaded we should not prevert normal requests
from being processed if only 1 thread is left

b=24055 a patch to detect if quota is turned on properly

i=johann
i=panda

b=24039 lfs setstripe --pool broken

i=Andreas.Dilger
i=Vladimir.Saveliev

fix llapi_search_fsname() to handle relative pathname

b=24037 Remove iopen patch.

i=adilger
i=johann

b=23961 fix for setup with several network interfaces

i=Brian.Murrell
i=Andrew.Perepechko

- metadata-updates fix for setup when several interfaces are UP on host;
  hostname could be assigned to IP which is different from lnet network used,
  the hostname-s of NODES_TO_USE are now stored in HOSTS
- new SHUTDOWN_ATTEMPTS: the tunable number of attepts to shutdown node
- shutdown_node_hard () fix: do not call "power off" each time,
  wait that the node is not pingable before the next "power off" attempt
- unused check_port() is removed

b=23848 mdc_clear_open_replay_data() ASSERTION(mod != LP_POISON && mod != NULL)

it is possible to have no md_open_data on close for some recovery cases.
also avoid ELC for recovery tests which rely on lost blocking AST rpc.

b=23827 fix brw_stats issue

i=johann.lombardi
i=oleg.drokin

Correct issue with brw_stats - fix typo

b=23820 Handle unsent requests with rq_net_err in ptlrpc_check_set()

i=johann
i=green

ptlrpc_check_set()) ASSERTION(req->rq_phase == RQ_PHASE_BULK) failed

b=23781 fix obdo leak issue

in ll_set_attr_raw, if ll_extent_lock call fails, the newly allocated
obdo has not been freed before return

i=johann
i=johann
i=dmitry.zoguine

b=23701 uninline part of ptlrpc_main to reduce stack usage

i=Oleg Drokin
i=Alexander Zarochentsev

b=23193 Land ISER performance patch for Sundance

The purpose of this patch is to make ISER support 1MB RDMAs instead of splitting 2 512K RDMAs and increase the maximum number of ISCSI commands.

i=alexg

b=23277 Increase kernel log buffer size to 256k

i=ricardo.correia
i=brian

Change CONFIG_LOG_BUF_SHIFT to 18 (256k) for ia64/x84_64

b=21804 protect rpc by refcount in ptlrpc_server_handle_req_in()

i=johann
i=adilger

ptlrpc_hpreq_init() inserts rpc to the export list and by the time
of ptlrpc_server_request_add() it could be already handled and
released. To not lose request in between, take an extra reference
on the request.

b=24243 Invalid WNC intent lock makes server LBUG

i=andreas.dilger
i=oleg.drokin

do not grant PDO locks for non-dir objects, but return -ENOTDIR instead.

b=20563 fix fid_flatten32().

a=andreas.dilger
r=eric.mei
r=di.wang
r=vitaly.fertman

b=20563 fix fid_flatten().

r=andreas.dilger
r=di.wang

Needed to create a new tag for 2.1.0 build 09.  For some reason the
previous tag was not being propagated out, so v2_0_58_0 is being
created for this build.

Updated for 2.1.0 build 09.

Revert "b=22965 enable lockless truncate"

This reverts commit e768e65ce59b6294813b538f308049ae2cbe74a0.

b=24267 wirecheck fix for OBD_FL_MMAP

i=adilger
i=vitaly

b=24214 Discard preallocation blocks after failed allocated.

i=adilger
i=girish

b=24118 test_70b rundbench load failed

i=Brian.Murrell
i=Jian.Yu

- give rundbench a chance to start before the dbench load check
- new check_for_process () and killall_process () to check/kill any defined progs
  instead of "dbench" only
- fix 70a, 70b to mount the clients on MOUNT instead of DIR

b=24097 move upcall_cache from lvfs to libcfs

part of params_tree platform-independent code

i=andreas
i=alexg

b=24037 unlock new inode.

2.6.32 kernel return a locked inode after new_inode. So we need unlock it.

b=23289 set S_NOCMTIME in OSD and remove some mark_inode_dirty

o=Liang Zhen
i=andreas.dilger

b=23289 new API: cfs_waitq_add_exclusive_head

With this patch, we can reduce total number of active threads because
waitq is a LIFO list for exclusive waiting.

o=Liang Zhen
i=andreas.dilger
i=eric.mei

b=24037 Changes of 2.6.32 kernel.

--request_queue new member and new macro;
--quota interface name changes;
--capa_* relate changes;

i=adilger
i=vitaly

b=19706 porting patch for master.

Since 2.6.32, kernel add pde_user in proc_dir_entry to protect
directory entry from deleted. So we don't need extra lock in
lprocfs_remove().

i=hongchao.zhang
i=johann

b=23575 O2iblnd credit deadlock regression

This fixed a regression of bug 14425.

i=liang

b=23289 cleanup assertion on atomic

Remove assertion on atomic from addref functions, which is less helpful,
also, add macros to reduce atomic_read() in assertion.

o=Liang Zhen
i=andreas.dilger
i=mikhail.pershin
i=vitaly.fertman

b=24228 fix test duration check to be more accurate

i=vitaly

b=24202 Fix broken PATHS in autoconf file.

There should be a space between paths.

i=sheng.yang
i=brian.murrell