b=19336 post landing cleanups

Remove generic find_linux_devel_paths()
- now that both the rhel5 and sles method files have their own particular
  version of this method, remove this hacky-trying-to-work-for-both versions
  from lbuild.
Remove a block of what is now redundant code.
Remove the comments from the target files describing what happened with
this bug.
Align the sles10 and sles11 target files:
- include the rpmfix specifier in the sles10 file
- remove the EXTRA_VERSION_DELIMETER from the sles10 file
- change the TARGET_DELIMETER to FLAVOR_DELIMETER in the sles11 file
Some whitespace cleanups.

i=wangyb
i=yangsheng

b=19336 Get rid of the EXTRA_VERSION_DELIMETER shenanigans

We used to carry around a bunch of baggage in order to specify what kind
of delimeter to put between the version and "extra version".  The truth of
the matter is that this should always be "-".

This patch includes some support for a build system developer to force
an uncached rebuild of all products.

i=wangyb
i=yangsheng

b=21244 utility to decode filter fid xattr

program and sanity test

i=andreas.dilger

b=21244 lustre_idl.h compilable from userspace

move few #include lines to make lustre/lustre_idl.h compilable from userspace

i=andreas.dilger

b=22842 do not use bash variable to pass test setup state between sub-test

tests 42, 101, 102 are fixed

i=robert.read

b=22828 fix unnormalized Linux symbols

introduced by patches of the bug 21485

i=robert.read

b=20498 print ldlm locks if obd_exports_barrier hangs.

i=tappro
i=robert.read

b=22598 Make COS lock inode bits aware

a=oleg.drokin
i=tappro
i=robert.read

b=22850 add changelog entry

b=22850 bump max number of phys/hw segment in RHEL5 kernel

This grants us that we can always send 1MB i/o to the disk,
regardless of contiguous memory or not.
We already have the same tuning for SLES10.

Merge of 1.8 commits:  876c6e4d, b0af14cf, 5d9a6cb7

b=21563 Correcting the patch

b=23023 wirecheck.c / newwiretest don't build

wirecheck.c needed an update following b19427.  Several *_ogr
struct fields became *_oseq.

i=andreas.dilger@oracle.com

b=22481 Add "lfs_migrate" script from manual into lustre/scripts and RPMs

Add enhanced lfs_migrate script from manual into lustre/scripts directory
and in RPM packages.  It does a "poor man's" migration of files from
their current OST layout to a new OST layout as chosen by the MDS.
It is currently not safe to use for files that are being written to.
It will result in the current file becoming an open-unlinked file, and
the migrated file will be used for any subsequent opens.  Any writes to
either the old or migrated file will in clients seeing different data,
and writes to the old file will be lost when it is closed.

There is no direct control of object allocation within the script, it
depends on external control to manage space.  Use "lfs find" to
select appropriate files to migrate from full OSTs. "lctl --deactivate"
is needed on the MDS to deactivate OSTs if trying to empty an OST
completely, otherwise QOS will tend to migrate files to empty OSTs.

i=brian.murrell
i=nathan.rutman

b=20563 Increase LUSTRE_SEQ_MAX_WIDTH

Increase value of LUSTRE_SEQ_MAX_WIDTH, fix fid_flatten() so that it would not
depend on LUSTRE_SEQ_MAX_WIDTH.

i=rahul
i=andreas

b=20563 add cfs_curproc_is_32bit() function to check binary compatibility.

i=rahul
i=andreas

b=22455 add list/get/set_param to lctl man page

-add list/get/set_param to lctl man page
-add list_param "-R" option to command usage

i=adilger
i=rread

b=22458 consolidate fs_db flags.

i=rread
i=adilger

b=22747 Processes stuck waiting for inode I_LOCK bit to clear.

 Use CFS_ALLOC_IO instead of CFS_ALLOC_STD in OBDO_ALLOC

 i=andreas.dilger
 i=johann

b=21563 Metadata performance has degraded for some operations between 1.6.5 and 1.8.1

 Remove the check for OSCC_FLAG_CREATING flag in osc_precreate(), so that
 it enters oscc_internal_create(). Also remove the check for in
 oscc_internal_create() for OSCC_FLAG_DEGRADED - let the chance to create
 objects in case all OSTs are degraded.

 i=andreas.dilger
 i=johann

b=21951 2.6.32-fc13 patchless client support for HEAD

i=zhen.liang

Sebastien's patch to use sg_init_table for fc13 patchless client (2.6.32 kernel)

Revert "b=19325 adjust waiting extent locks during 1st enqueue"

This reverts commit c022258ea05eb2d5fecfd44d8b5ece3f1d8ec095.

Reverting this again because of data corruption issues seen in
bug 20824 (sanitn test_16).

b=22960 Update mdsrate scripts to parse new format

i=nico

Revert "b=21128 run sync ldlm_bl_to_thread_list() in separate thread to save stack space."

This reverts commit f79f39bd69d40faea2bd06bd1c342430553e57b8.

Appears be related to bugs 22823 and 22715.

b=22520 make sure cl_inode_fini() to destroy the cl_object.

r=rread
r=wangdi

b=15253 add failover nidlist to proc import

i=adilger
i=rread

b=22194 lfs quota output refinement

Added more dashes to lfs quota output to make it parseable with scripts.
Added -q option to lfs quota.
sanity-quota "lfs quota" calls were compactified.

a=Joseph Herring
a=Christopher Morrone
a=Andrew Perepechko
i=Johann Lombardi
i=ZhiYong Tian
i=Andrew Perepechko

b=22889 OSS Kernel panic - Kernel BUG at fs/jbd/transaction.c:1155

  extend truncate transaction to have enough blocks for last_rcvd and VBR

 o=andreas.dilger
 i=tappro
 i=oleg.drokin

b=22960 Add effective and avg client rates to mdsrate output.

i=adilger

b=19427 correct lmm_object_id and reserve fids for fid-on-OST.

1. Change lmm_object_id to fid.
2. Cleanup fid spaces reservation (for fid-on-OST).http://arch.lustre.org/index.php?title=Interoperability_fids_zfs#NEW.0
3. Rename group to Seq.

i=Adilger
i=Pravin.shelar
i=Robert

b=20969 Doxygen comments for ptlrpc

Adds explanations to a lot of ptlrpc functions and structures

i=liang

b=20972 Add doxygen comments to MGS

i=breitz

b=13698 lfsck.sh support for remote mds and oss

SHARED_DIRECTORY is to be specified in case of remote servers
LFSCK_ALWAYS flag to check the filesystem from check_and_cleanup_lustre()
it is "no"  by default

i=adliger
i=grev

b=22754 a small bug in LDLM_POOL_PROC_WRITER

lprocfs_wr_unit returns "count >= 0" for success

i=nathan
i=fanyong

b=22455 fix the problem in get_param with option "-N"

-set flag recursive=0 when we get param with option "-N"
-use operator "=" to set param with negative value

i=adilger
i=rread

b=21938 wait and signal correct waitq

update patch to use req->rq_set_waitq instead of req->rq_reply_waitq

i=johann
i=robert.read

b=22864 'som_preview' mount option for lustre client.

i=adilger
i=tappro

a mount option 'som_preview' is added on the client side to send
SOM_CONNECT flag only if specified.

b=21399 ./acceptance-small.sh: line 109: 5638 Segmentation fault

i=tappro

Removed the constant of req_format and req_msg_field as they are causing seg
fault (on slell clients) while initializing in req_layout_init() .

b=18741 replace checking the return value of "lfs setquota" with checking the output message of it for detailed error

replace checking the return value of "lfs setquota" with checking the output message of it for detailed error

i=andrew.perepechko
i=robert.read

b=22560 fix OBD_CONNECT_FULL20 for conflict with OBD_CONNECT_MAX_EASIZE

fix OBD_CONNECT_FULL20 for conflict with OBD_CONNECT_MAX_EASIZE

i=robert.read
i=andreas.dilger

b=22853 test should stop at once if any dbench failed for replay-single test_70b

test should stop at once if any dbench failed for replay-single test_70b

i=jian.yu
i=robert.read

b=21097 work around for bash mangling of md5sum result

Store the md5sum results to a file and then have md5sum check the results
in the file.

o=James Simmons
i=jian.yu
i=edg

Prepare for Build 43.

b=22298 Buffalo should be able to detect test failures

Buffalo should be able to detect test failures even when the test
does not use run_test.

i=robert.read
i=nicolas.williams

b=22509 increase default md stripe_cache_size to 16k

i=adilger
i=brian

b=20997 Enable time limit on the request to be queued

i=rread,nathan

This feature is enabled by setting the time limit on the request. The limit
is on how long the request is queued, whether or not it's ever been sent.
IOW, it's not a "resend" limit, because it can expire even if the request
has never been sent the first time.

Patch removes also unused imp flags and modify conf-sanity test to use 'mds
mount first' scheme to avoid long test time

b=21140 Restore high priority request handling

i=vitaly.fertman
i=robert.read

b=22668 test_65b fix

i=Johann.Lombardi
i=Andrew.Perepechko

make ost io on OST0000

b=22668 test_67b fix for ostcount > 10

i=Johann

b=18489 test_116, test_118k cleanup

i=Andrew.Perepechko (panda)
i=Andreas.Dilger

b=21953 use separate failover counter for each facet

i=Mikhail.Pershin (tappro)

Revert "b=22244 delegate lock cancel to blocking thread"

This reverts commit 675dd06e429ee9551d0f874f3461ac3e5091c039.

b=20339 remove ref to LIBCFS_SSIZE_T_LONG & LIBCFS_SIZE_T_LONG function

i=he.h.huang

b=22215 mpi_run (): p4_error fix

i=Brian.Murrell

fail if mpirun output contains p4_error, independently from error message and value

b=22841 local.sh mgs mkfs options MGSSIZE fix

i=Dmitry.Zoguine

b=20918 report max recovery time estimated

i=Andrew.Perepechko

b22131 ASSERTION(request->rq_repdata == NULL) failed

    rq_repdata needs to be reset on free.

i=eric.mei@oracle.com

b=22598 Disable COS by default

i=robert.read

b=22830 correct interop warning message

i=zam

b=17382 obdfilter-survey gives unreasonably high numbers

 Wait for all threads to complete when running test_brw.

 i=andreas.dilger
 i=oleg.drokin

b=19325 adjust waiting extent locks during 1st enqueue

o=bobijam
i=vitaly
i=green

Re-landing. Adjust locks' extents on their first enqueue, so that at the time
they get granted, there is no need for another pass through the queues since
they are already shaped into the proper forms.

b=21815 per-nid stats should not access lustre hash internal structures directly

Fixed Yang Sheng's patch as per Robert's comment.

i=rread

b=21636 drop noisy debug messages

Drop noisy debug messages

i=robert.read
i=rahul.deshmukh

b=22342 invalidate dentry can not be counted as the same

Invalidate dentry can not be counted as the same.

i=robert.read
i=eric.mei

b=22040 Don't run connectathon lock tests on nfsv4

We won't support flock on nfsv4 in 2.x until 14080 has been fixed.

i=green

b=17258 remove resurrected files

build/{lmake,lustre-kernel-2.4.spec.in} died with commit
9aa2968b965a5acdf127a5635dfde8950bc8d3a2 but a cherry-pick seems to
have resurrected them.  ~sigh~  Bad cherry-pick, bad cherry-pick.
Let's try a wooden stake this time.

b=22847 separate format and content in ext[34]_warning()

ext{3,4}_warning should not try to overload the message into the format
but should instead, pass a "%s" as the format and the string as an argument
for the %s.

i=panda
i=whitebear

b=22642 ldiskfs to figure out ext3/4 base itself

Ldiskfs should figure out whether to base itself on ext3 or ext4
by itself and not rely on lustre's configure to tell it.

i=mjmac
i=johann

b=22787 update to ofed to 1.5.1

For O/Ses where we don't use the vendor supplied OFED, update the built
OFED to 1.5.1.

i=johann

b=17258 give the BUILD_TESTS love to ldiskfs as well

Because ldiskfs re-uses so (too?) much of the lustre auto* goop we need
to stub the BUILD_TESTS assignment into it's autoMakefile.am, even though
it's completely unused/unneed there.

i=wangyb
i=yangsheng

b=17258 fix error with make rpms after configure --disable-tests

If one configures lustre with "--disable-tests" a subsequent "make rpms"
will fail as it would still try to package up the lustre-tests RPM.
Fixing this provided the opportunity to fix another wart, that being the
subst'ing the configure arguments into the lustre.spec.  Now they are
passed as value with "--define 'configure_args ...'" when calling rpmbuild.

i=sheng.yang
i=yibin.wang

b=20619 be flexible in version format

The version format for the OFED release needs to be more flexible than
the previous M.m format that was required.  Now it can be any dot-separated
format.  i.e. 1 or 1.4 or 1.5.1 or 1.5.1.2, etc.  Of course, it has to be a
valid and unique OFED version (so the "1" example would be a valid version
string but invalid because there is no OFED version "1".  Ditto for 1.5.1.2
at the time of writing this comment.).

i=michael.macdonald
i=minh.diep

b=21109 mds_lov_read_objids cleanup and conf-sanity tests

calculate mds->mds_lov_objid_lastidx and mds->mds_lov_objid_lastpage correctly
have index strings big enough to store indicies in decimal
test to check size of lov_objid and
test to check configuraion with big indicies

i=adilger
i=panda
i=nathan

b=21951 2.6.32-fc13 patchless client support for HEAD

b=21951 2.6.32-fc13 patchless client support for HEAD

i=sheng.yang
i=sebastien.buisson

Improvement changes for proc_handler, head port

b=17086 LSI Fusion MPT driver hacks to improve performance

 patch to set CONFIG_FUSION_MAX_SGE=256 for Rhel5

 i=johann

b=21900 verify that we can write to the OST

i=dmitry.zoguine
a=nathan

b=22244 delegate lock cancel to blocking thread

i=adilger
i=green

instead of cancelling locks locally in the shrinking thread,
deletate it to a separate blocking thread.

b=22244 ldlm cancel flags cleanup

i=adilger
i=green

cleanup of cancel flags passed to ldlm lock cancel code

b=22560 fix "obd_connect_names[]" for "OBD_CONNECT_FULL20" introduced

fix "obd_connect_names[]" for "OBD_CONNECT_FULL20" introduced

i=robert.read
i=andreas.dilger

b=21485 allocate lcd inside obd_init_export()

i=rread
i=zam

b=22637 MDS returns OBD_MD_FLSIZE to client only when no OSS object allocated

MDS returns OBD_MD_FLSIZE to client only when no OSS object allocated.

i=robert.read
i=andreas.dilger

b=22827 restore locking for thread->t_flags

i=tappro
i=robert.read

b=20938 Add liblustreapi.a to dependencies lists

I think this is why we occasionally file to build lustre on LBATS
with a missing liblustreapi.a.

i=brian

b=22458 fix concurrent mgs lock revocation.

r=nathan
r=rread

b=15587 ignore security.capability xattr on client side

i=adilger
i=johann

b=21681 Quiet bogus previously committed transno error

i=zhang,panda

b=22455 remove "lnet." prefix from lctl params display

remove "lnet." prefix from lctl params display and change one
"memused" to "lnet_memused".

o=adilger
i=johann
i=emoly.liu
i=rread

b=22731 server should not fall into LBUG if client send invalid parameter

server should not fall into LBUG if client send invalid parameter

i=robert.read
i=di.wang

b=22560 introduce "OBD_CONNECT_FULL20" to distinguish 1.8 client from 2.0 one for different checksum policy

Introduce "OBD_CONNECT_FULL20" to distinguish 1.8 client from 2.0 one for different checksum policy:
1) for 1.8 client, use fixed first 88 bytes of ptlrpc_body
2) for 2.0 client, use lm_buflens

i=andreas.dilger
i=robert.read

b=15253 add conf_param -d to remove permanent settings

i=adilger
i=rread

b=22625 Fix libcfs_debug_file_path module option

i=rahul

Landing patch by Brian Behlendorf <behlendorf1@llnl.gov>,
fix libcfs_debug_file_path module option

b=21945 Adding WIRE_ATTR to lnet structures traversing network

i=liang
i=isaac
LST passed some lnet structures via network neglecting the lack of WIRE_ATTR attribute. This resulted in incompatibility of LST-s running on different platforms.

b=22455 add "list_param -R"

list parameters recursively with the "-R" option

o=adilger
i=emoly.liu
i=nathan

Updated for build 42.

Revert "b=22637 MDS returns OBD_MD_FLSIZE to client only when no OSS object allocated"

Hit ASSERTION(attr->la_blocks == 0), see bug 22802.

This reverts commit 33b4bafea13bd2cfe90dba3a8651a175683f3999.

b=22573 do not skip previously granted locks in osc_lock_enqueue_wait().

i=eric.mei
i=wangdi

as CLIO adds new locks to the tail, walk through the head of the queue
to cancel overlapping conflicting locks on enqueue.

b=22518 mount client2 at the start of tests, disable COS, fix test 10

i=grev

b=18857 enhance seq allocation scalability by updating seq data asynchronously.

this patch also removes seq replay. ref bug for details.

a=pravin,tappro
i=tappro
i=alexander.zarochentsev
i=pravin

b=21140 Fix srv_threads_running counting.

It was possible to overload n_active_request processing incoming requests and
break the thread reservation logic. Likely, it was responsible to the long
processing of requests.

The patch makes srv_threads_running to exactly count only running not sleeping
threads. All threads accounting and comparing/reservation of threads are done
under the service spinlock so it produce a reliable result. The thread
reservation logic is based on new srv_threads_running value and cannot be
confused by not active sleeping threads. The thread reservation logic is
concentrated now in one place, where the wakeup condition is checked (now in
ptlrpc_main_check_event), once a thread is woken up, it is counted as running
and does further work w/o additional checks.

i=zhen.liang
i=robert.read

b=22683 remove unnecessary check and assert in the cfs_hash function.

o=Eric.Barton
i=Robert.Read
i=Di.Wang

b=13698 allow e2fsck part of lfsck.sh to be run without lfsck

this combines initial patch from Andreas (https://bugzilla.lustre.org/attachment.cgi?id=29696)
and several necessary fixes (https://bugzilla.lustre.org/attachment.cgi?id=29747)

i=adilger