Properly pick module parameters from modules.conf

Fix incorrect regexp that assumes "options <module> params" format
instead of proper "options module params".
Also use baseline to extract just the name of the module.
Now depends on GNU grep for -P (perl_ regexps so that '+' glob works.

Issue: LU-46
Change-Id: Id4d939bf2d9a412d1d5f3f2e7fcbf466ce436e28

b=24416 debian packaging fixes

- don't make a patch out of anything in /debian
- exclude noise files from the debian built source tarball
- fake debian/patche{s,d} for make dist
- a few more reasons to run autogen.sh
- figure out if dist tarball needs autogen.shs and include it if so
- look for and run autogen.sh in the build subdir
- make debdiff as part of make dist
- add a debian/source/format file
- mv the orig tarball and the debdiff to the debs dir
- don't try to dist /debian for non-dpkg-using build targets

Issue: LU-51
Change-Id: I041aaef217e107def86ce808d0e96fc6891e1dcd

b=24378 wrong error code conversion in mdd_path_current()

i=vitaly
i=tappro

b=24357 thread_sanity() fix

i=Vitaly.Fertman

b=24037 Remove iopen ldiskfs patch for rhel5.

b=23368 MMP: Watchdog detected LOCKUP on CPU 1 RIP: __list_add+0x6/0x68

b=24294 test_pios: take the ost-s sizes into account

i=Vitaly.Fertman

b=24255 move seq_client_alloc_seq out of lcs_sem

i=ericm

do not send RPC under seq->lcs_sem, because in a case of recovery
the recovery thread takes it too and deadlocks.

b=23793 MOUNTOPT "-o" cleanup

i=Minh.Diep

b=21122 fix a race between page fault and lock cancel.

r=oleg.drokin
r=vitaly.fertman

b=16359 _debug_req fix

i=vitaly
i=panda

b=23409 add -i to the setstripe usage and man page

Add the "-i" option to the "lfs setstripe" usage and man page.
Fix nroff formatting in the "lfs setstripe" and "lfs getstripe".

i=sheila.barthel

Revert "b=20288 kiblnd_check_conns can deadlock"

This reverts commit 9887737999bb2db2bc2f10b77854dee7f471ba62.

b=24291 Ignore PARAM_NETWORK in mgs_write_log_param()

i=alexg
i=adilger

b=24320 do not fork a new thread in mem pressure

i=johann
i=green

we already check for PF_MEMALLOC in ldlm shrinker and pass this flag
to the blocking thread, but a new thread start was still done with
no check for this flag.

b=24128 mgs_write_log_ost() should not update client's log

o=Lai Siyao
i=adilger

when an OST is set to an existed index, don't update client logs.
otherwise client will have duplicate OSC logs to the same OST.

b=24017 make llverfs more robust against errors during testing

Make llverfs more robust about continuing in the face of errors.

o=Andreas Dilger
i=jian.yu
i=brian.murrell

b=23051 improve summary of acc-sm to include test times

i=Andreas.Dilger

b=22771 Patch to disable mbcache

o=girish
i=adilger
i=johann

b=16890 llapi_quotactl man page update

additional explanation of igrace/bgrace/itime/btime

b24336 ldlm_resource::lr_lvb_data is protected by wrong lock

- ldlm_resource::lr_lvb_data should always be protected by lr_lvb_sem
- cleanup some unnecessary lock dance

i=vitaly.fertman
i=green

b=22117 Patch to limit mmp interval

o=bernd
i=adilger
i=kalpak

Revert "b=22176 Add .sync_fs super block handler"

This reverts commit 860404143dafbf696b4d38bb9135eabfd471cc36.

Updated for 2.1.0 build 10.

b=24324 no new lock on disconnected export

i=green
i=tappro

check if export is being disconnected and do not add new locks to it

b=24218 fix race on ksock_tx_t::tx_resid

o=Liang
i=isaac

If a connection is closed before ksocknal_transmit() returns to
ksocknal_process_transmit(), then nobody has refcount on conn::ksnc_sock
and all pending ZC requests will be finalized by ksocknal_connsock_decref->
ksocknal_finalize_zcreq, ksocknal_finalize_zcreq will mark not-acked ZC
request as error by setting tx::tx_reside = -1.
This is race because ksocknal_process_transmit() will check tx::tx_resid
right after calling ksocknal_transmit(), and it can get tx->tx_resid != 0
and rc == 0 then hit later LASSERT(rc < 0).

b=24078 replay barrier checks sequence allocation

i=grev

b=23289 revert patch on 21828

this patch reverted change on bug 21828, because svc::srv_n_active_reqs
is dropped by ptlrpc_server_finish_request() now which is used to be
dropped by last calling of ptlrpc_server_drop_request, so recovery
thread has no refcount on svc::srv_n_active_reqs and we should just
remove these refcount changes.
This should also resovled issue of bug 21140, because logic in
ptlrpc_server_request_get() can be totally screwed up by
ptlrpc_server_active_request_inc/dec.

b=23289 don't start more than minimum MDT threads

Because there are many different portals running on the MDS node (MDT,
readpage, setattr, SEQ, SEQ server, FLD, DLM), starting more than the
minimum number of threads can result in thousands of threads running
on large MDS nodes, even if many of those threads are not needed.

Start only the minimum number of threads at mount time, and start more
as required by the load.

i=liang
i=vitaly

b=23072 avoid duplicate cfs_size_round declarations

Use HAVE_CFS_SIZE_ROUND to determine if libcfs_private.h or lustre_user.h has
declared the cfs_size_round() helper function.  This avoids conflicts if both
of these headers are included in different orders.

b=22376 accmode fix

i=tappro
i=green

accmode is fixed to not let other flags to be set together with MAY_EXEC
test is added

b=21244 add man page for ll_decode_filter_fid tool

Add man page for new ll_decode_filter_fid(8) tool.
Add references to lustre(7) man page.

b=20288 kiblnd_check_conns can deadlock

Avoid dropping global lock in kiblnd_check_conns

i=maxim
i=liang

b=16605 verify object group before using it

Avoid trying to access an invalid/unknown group sent from the client.
Don't return -EINVAL, since it is possible that the problem is the OST
code is old and this object actually exists.  Instead, return -EBADF
so that we can more easily diagnose this problem.

b=24048 set body->easize in mdc_getattr_pack()

i=johann
i=adilger

This allows client to supply the server with enough info about reply buffers.
Server may use this to allocate buffers and don't guess with max_mdsize

b=24171 check the init() iterator results properly

i=vitaly
i=bzzz

b=24300 Don't run autogen.sh in the spl and zfs repos.

The SPL and ZFS repositories already come with the configure script ready to
run, therefore it's not necessary to run autogen.sh on those directories.

Furthermore, in SPL version 0.5.0 this was causing a version conflict when
regenerating the files with the autotools/libtool that come with RHEL5.

b=24266 increase replay-single test_70d dbench duration for HARD failure mode

i=Mikhail.Pershin

b=24037 Using cfs_curproc_umask() instead of reference directly.

i=vitaly

b=22755 Don't consume grant twice on recoverable resend

o=johann
i=green
i=tappro

b=22556 should check # of remained RPCs before aborting

o=liang
i=isaac

lstcon_rpc_trans_postwait() calls lstcon_rpc_trans_abort() only when the
transaction is timeout, so if we got "end_session" to interrupt waiting
on transaction, then we can hit ASSERTION(crpc->crp_stamp != 0).

b=23003 sanity test is added, checks how we work with timestamps before Jan 1 1970

i=grev

b=24270 need to mkdir mntpt before mount

o=Minh
i=Elena

b=24198 set strictatime to default.

RELATIME set to default in upstream kernel. We set strictatime when
relatime or noatime not given explicitly to keep update atime.

i=adilger
i=vitaly

b=24175 avoid reporting 'No such file or directory' error

i=rahul.deshmukh

b=24037 avoid conflicting DCACHE_LUSTRE_INVALID

In newer kernels our definition of DCACHE_LUSTRE_INVALID needs
to be changed to avoid conflictint with other DCACHE flags.
Use a high value to avoid conflict for a long time, maybe until
we can actually get rid of the need for it entirely.

i=sheng.yang
i=vitaly.fertman

b=24037 Include backing-dev.h header

With ldiskfs disabled we fail to include the backing-dev.h header
which is required for the lustre_sb_info structure.  Presumably,
this was not as issue previously because it was included through
one of the ldiskfs headers.  The backing-dev.h header exists all
the way back to 2.6.0 kernels so I have included it unconditionally
in the linux/linux-fs.h header.  This header is included as part
of libcfs.h which is in turn included by lustre_disk.h.

  In file included from
  /home/behlendo/src/git/lustre-kdmu/lustre/ofd/ofd_internal.h:12, from
  /home/behlendo/src/git/lustre-kdmu/lustre/ofd/ofd_io.c:44:
  /home/behlendo/src/git/lustre-kdmu/lustre/include/lustre_disk.h:444:
  error: field ‘bdi’ has incomplete type

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
a=brian
i=adilger
i=yangsheng

b=23821 Limit bio_alloc() to BIO_MAX_PAGES iovecs.

Fix logic error when patch was originally landed from b=9945.

i=alex.zhuravlev
i=kwestneat

b=22176 Add .sync_fs super block handler

i=oleg
i=ericm

This patch adds .sync_fs super block handler i.e.
on issuing sync command, the dirty loi's are marked
urgent and synced.

b=24239 use SAMPLE_FILE instead of termcap

i=Vitaly.Fertman

b=24230 always allow to handle normal request for liblustre

o=liang
i=vitaly
i=zam

as liblustre is 1-threaded we should not prevert normal requests
from being processed if only 1 thread is left

b=24055 a patch to detect if quota is turned on properly

i=johann
i=panda

b=24039 lfs setstripe --pool broken

i=Andreas.Dilger
i=Vladimir.Saveliev

fix llapi_search_fsname() to handle relative pathname

b=24037 Remove iopen patch.

i=adilger
i=johann

b=23961 fix for setup with several network interfaces

i=Brian.Murrell
i=Andrew.Perepechko

- metadata-updates fix for setup when several interfaces are UP on host;
  hostname could be assigned to IP which is different from lnet network used,
  the hostname-s of NODES_TO_USE are now stored in HOSTS
- new SHUTDOWN_ATTEMPTS: the tunable number of attepts to shutdown node
- shutdown_node_hard () fix: do not call "power off" each time,
  wait that the node is not pingable before the next "power off" attempt
- unused check_port() is removed

b=23848 mdc_clear_open_replay_data() ASSERTION(mod != LP_POISON && mod != NULL)

it is possible to have no md_open_data on close for some recovery cases.
also avoid ELC for recovery tests which rely on lost blocking AST rpc.

b=23827 fix brw_stats issue

i=johann.lombardi
i=oleg.drokin

Correct issue with brw_stats - fix typo

b=23820 Handle unsent requests with rq_net_err in ptlrpc_check_set()

i=johann
i=green

ptlrpc_check_set()) ASSERTION(req->rq_phase == RQ_PHASE_BULK) failed

b=23781 fix obdo leak issue

in ll_set_attr_raw, if ll_extent_lock call fails, the newly allocated
obdo has not been freed before return

i=johann
i=johann
i=dmitry.zoguine

b=23701 uninline part of ptlrpc_main to reduce stack usage

i=Oleg Drokin
i=Alexander Zarochentsev

b=23193 Land ISER performance patch for Sundance

The purpose of this patch is to make ISER support 1MB RDMAs instead of splitting 2 512K RDMAs and increase the maximum number of ISCSI commands.

i=alexg

b=23277 Increase kernel log buffer size to 256k

i=ricardo.correia
i=brian

Change CONFIG_LOG_BUF_SHIFT to 18 (256k) for ia64/x84_64

b=21804 protect rpc by refcount in ptlrpc_server_handle_req_in()

i=johann
i=adilger

ptlrpc_hpreq_init() inserts rpc to the export list and by the time
of ptlrpc_server_request_add() it could be already handled and
released. To not lose request in between, take an extra reference
on the request.

b=24243 Invalid WNC intent lock makes server LBUG

i=andreas.dilger
i=oleg.drokin

do not grant PDO locks for non-dir objects, but return -ENOTDIR instead.

b=20563 fix fid_flatten32().

a=andreas.dilger
r=eric.mei
r=di.wang
r=vitaly.fertman

b=20563 fix fid_flatten().

r=andreas.dilger
r=di.wang

Needed to create a new tag for 2.1.0 build 09.  For some reason the
previous tag was not being propagated out, so v2_0_58_0 is being
created for this build.

Updated for 2.1.0 build 09.

Revert "b=22965 enable lockless truncate"

This reverts commit e768e65ce59b6294813b538f308049ae2cbe74a0.

b=24267 wirecheck fix for OBD_FL_MMAP

i=adilger
i=vitaly

b=24214 Discard preallocation blocks after failed allocated.

i=adilger
i=girish

b=24118 test_70b rundbench load failed

i=Brian.Murrell
i=Jian.Yu

- give rundbench a chance to start before the dbench load check
- new check_for_process () and killall_process () to check/kill any defined progs
  instead of "dbench" only
- fix 70a, 70b to mount the clients on MOUNT instead of DIR

b=24097 move upcall_cache from lvfs to libcfs

part of params_tree platform-independent code

i=andreas
i=alexg

b=24037 unlock new inode.

2.6.32 kernel return a locked inode after new_inode. So we need unlock it.

b=23289 set S_NOCMTIME in OSD and remove some mark_inode_dirty

o=Liang Zhen
i=andreas.dilger

b=23289 new API: cfs_waitq_add_exclusive_head

With this patch, we can reduce total number of active threads because
waitq is a LIFO list for exclusive waiting.

o=Liang Zhen
i=andreas.dilger
i=eric.mei

b=24037 Changes of 2.6.32 kernel.

--request_queue new member and new macro;
--quota interface name changes;
--capa_* relate changes;

i=adilger
i=vitaly

b=19706 porting patch for master.

Since 2.6.32, kernel add pde_user in proc_dir_entry to protect
directory entry from deleted. So we don't need extra lock in
lprocfs_remove().

i=hongchao.zhang
i=johann

b=23575 O2iblnd credit deadlock regression

This fixed a regression of bug 14425.

i=liang

b=23289 cleanup assertion on atomic

Remove assertion on atomic from addref functions, which is less helpful,
also, add macros to reduce atomic_read() in assertion.

o=Liang Zhen
i=andreas.dilger
i=mikhail.pershin
i=vitaly.fertman

b=24228 fix test duration check to be more accurate

i=vitaly

b=24202 Fix broken PATHS in autoconf file.

There should be a space between paths.

i=sheng.yang
i=brian.murrell

b=24188 rehash patch makes oops in quota_search_lqs

Problem is: we should do "cfs_hash_getref(qctxt->lqc_lqs_hash)"
when we search and create a new quota hash entry.
This patch does some optimization for lquota code so that lquota
can take one less reference for lqs.

i=landen
i=vitaly.fertman

b=24051 sanity test_76 fix

Due to per-cpu slab caches, "active" stat from /proc/slabinfo
is not always accurate.

i=ZhiYong Tian

b=24020 lustre doesn't start with ext4 based ldiskfs.

i=Andrew.Perepechko

load jbd2 module in load modules

b=23996 grep lfs getstripe output for pools correctly

i=zam

b=23842 some issues with recent changes to build/nn-final-symbol-list.txt

i=adilger

b=19808 fix d_obtain_alias() misuse due to compat macro.

o=Adreas.Dilger
i=yangsheng
i=Oleg.Drokin

ll_iget_for_nfs() get a change from d_alloc_anon() to d_obtain_alias().
The former would NOT release the inode reference if there was an error, while
the latter does.  Hide this detail in the d_obtain_alias() compat macro, for
kernels that do not have this function, and remove it from the error handling
code at the caller, where it would drop the inode reference twice in rare error
cases on all kernels WITH d_obtain_alias() support (RHEL5 and newer).

b=15599 remove OBD_CONNECT_LAYOUTLOCK from supported bits

Until the rest of the layout lock support is landed, it doesn't
make sense for the MDT to advertize the OBD_CONNECT_LAYOUTLOCK flag
at connection time.

Remove the flag from MDS_CONNECT_SUPPORTED until the actual
MDS_INODEBITS_LAYOUT ibits lock is landed and functional.

b=22598

disable thandle debug usage statistics

b=22965 enable lockless truncate

i=zam
i=adilger

b=23170 lockless enqueue lbug

lockless enqueue still could be called if first enqueue attempt set
lockless ops but found a conflict and therefore tried to enqueue again
later when the confict was resolved.

i=green
i=ericm

b=14836 Fail if "lfs setstripe" has positional parameters

Since 1.6.1 it has been possible to use named options -c/-i/-s to
specify the layout parameters for "lfs setstripe".

Since 1.8.0 the use of the old positional parameters has generated
a warning that they are deprecated.

The code was set to fail building at 2.1.0.0, so this needs to be
resolved before moving to a release build.  Instead of simply removing
the conditional code, change "lfs setstripe" to return an error if
positional parameters are used.  That would avoid the confusion of
creating files with names of the old {size}, {offset}, and {count}
parameters, instead of returning a meaningful error to the user.

b=24022 don't return NULL in lprocfs_alloc_stats to satisfy userspace error checker

o=Liang Zhen
i=vitaly.fertman

b=23994 hide EMFILE error in ptlrpc_start_threads().

i=vitaly.fertman

b=23985 Fix upstream jbd2 issue.

The jbd2_stats_proc_init() was placed on wrong location in
jbd2_journal_init_dev().  This may cause /proc/fs/jdb2/<dev>/*
cannot be created when using external journal device.

i=adilger
i-johann

b=23535 sgpdd-survey.sh should check for sg_map

i=Brian.Murrell

check that iokit sgpdd-survey and sg_map are installed

b=23533 ldiskfs to depend on latest e2fsprogs

ldiskfs should depend on the latest e2fsprogs package so that users
are required to keep their e2fsprogs RPMs up to date.

i=mjmac
i=adilger

b=23460 remove expensive memory check

i=green

remove cfs_mem_in_cache check when checking validity of pages and locks

b=23460 make page state changes tracking optinal

i=green

The stats are unused by anybody, yet they take away several percents of read
speed. Let's make them optional.