Reduce duplication in and simplify.

Merge b1_5 from b1_4 (20060630_1438)

Branch b1_5
b=9853
Lustre cluster config scripts.
Move all the common variables and functions to lc_common.sh.
Modify Makefile.am to use *.sh.in to generate *.sh with @scriptlibdir@ replaced by the location of $(scriptlibdir).

b=4778
r=adilger
DESCRIPTION: fix a new bug caused by previous patch

reply offset fix for EPROTO case in ptlrpc_connect_interpret().

Branch b1_5
b=8007
--writeconf only allowed a single target to regenerate it's log.

Don't put "_lustre-b1_5.YYYYMMDDHHMM" in the extraversion as this kernel is
not really at all lustre specific.

b=4778
r=adilger
DESCRIPTION: fix a bug

b=4778
r=dilger

DESCRIPTION:
    oscc->oscc_last_id and filter_last_id will mismatch
after using Lustre for a while, and will trigger LASSERTF.
this patch contains two modification:
    1, the whole operation of deleting orphans or precreating objects is
       protected by filter->fo_create_lock
    2, compare 'conn_cnt' before deleting or precreating, then avoid old
       request to be processed

Branch b1_5
b=8007
fix incorrect comment

Branch b1_5
b=8216
add help on --param
first whack at updating the lctl man page.

Branch b1_5
b=8007
fix tunefs.lustre -h

Branch b1_5
r=adilger
print lustre ver when obdclass module loads

file 2.6-rhel4-titech.series was added on branch b1_5 on 2006-06-30 15:05:27 +0000

Disable server building for patchless builds since patchless server is not
yet supported

Branch b1_5
b=9858
clean up loop dev if mount fails

b=8007
don't block other servers from starting when -o abort_recov is specified.

Branch b1_5
b=8007
-include luster vers in log markers
-fix missing index processing in tunefs.lustre

Branch b1_5
b=9387
r=adilger

Minor tweaks as part of the fix to 9387.

Add the right file for the patchless target.

remove redundant debug messages.

Lustre support needed to be able to build a 2.6 patchless kernel.  This
simply builds a vanilla 2.6.16.22 kernel for the client nodes.

Branch b1_5
b=10670
if MODPROBE is set use kernel modules instead of local build modules (and
thus use modprobe.conf as well)

Branch b1_5
b=8007
change patch ver for beta 3

Branch b1_5
b=8007
get rid of trailing '/' at mount point, which confuses mtab

Branch b1_5
b=8007
enforce OST exclusivity with MDT,MGS

b=9863
Modify the condition to check whether a target was made to be high-available.

b=9853
1) Improve help infomation, add descriptions of each field in the csv format
2) Remove "heartbeat channels", "service address" and "heartbeat options" fields from the csv format. All the generated HA config files are suffixed with ".lustre".

b=9853
1) Add more checks and prompt messages before generating configuration files
2) Write Lustre HA information into *.lustre files instead of changing the existing HA configuration files

Branch b1_5
b=9858
more test fixes for b1_5

Branch b1_5
b=8007
ia64 doesn't have BLKGETSIZE64

Branch b1_5
b=8007
some better comments

Branch b1_5
b=9387
r=adilger

Select next connection according to last successful connection time.

Branch b1_5
b=9858
fix lots of cancel_lru_locks calls

Branch b1_5
b=9858
fix cancel_lru_locks()

Branch b1_5
b=6221
6221 didn't apply cleanly to b1_5

Branch b1_5
b=9858
remove all special mountconf test exceptions

Branch b1_5

do not allow client_common_fill_super to LBUG with osfs.os_bsize == 0,
mfs_statfs returned 'cached' osfs value, when there was no a such.

AC_CHECK_HEADERS([linux/xattr_acl.h]) check is incorrect and unused. Removing.

minor fix of the offset for liblustre.

linux/bit_spinlock.h is not present in some kernels. Introduce configure check

Branch b1_5
b=10318

make new lfind behaviour the default one, only if some old (obsolete)
lfind option is specified, lfind works in the 'old' mode.

Make patchless lustre client to compile and load on vanilla 2.6.17

Merge b1_5 from b1_4 (20060621_1641)

Merge b1_5 from b1_4 (20060616_1515)

Branch b1_5
b=9860
a little safer and more verbose upgrade script

b=9863
1) Get "--stripe-count-hint" option
2) Calculate the inode size of mdt according to stripe count

Branch b1_5
b=8007
better leave this verbose until we get the kinks out

Branch b1_5
more info on err

Branch b1_5
b=8007
remove extra comma

Branch b1_5
b=8007
-tell users they may need our e2fsprogs
-tunefs.lustre must figure out if mgsnode is set

- few more defines for liblustre to get updated ldlm buildable at least

- missed to fix ns_lock in liblustre

file ext3-check-jbd-errors-2.6.9.patch was added on branch b1_5 on 2006-06-21 21:22:45 +0000

file ext3-check-jbd-errors-2.6.5.patch was added on branch b1_5 on 2006-06-21 21:22:45 +0000

b=9332

 - instead of taking a lock covering whole requested region ll_file_read()
   and ll_file_write() grab locks that cover a single stripe at most (but
   not in O_APPEND case). this way we improve overall stability because
   we don't hold locks awaiting some failed OST to recover.

b=9863
Change "failnode=" to "failover.node=" according to lustre_param.h

Nice catch Nathan.  Forat difference between the three lines threw me for a
loop, so fix that too.  :-)

Stay in parity with lustre_param.h, revision 1.1.4.5.

b=9846
Change parameters to hierarchical format

Branch b1_5
b=8007
r=adilger
remove cruft in utils

Branch b1_5
b=8007
minor error message improvement

Branch b1_5
sector_t-overflow doesn't apply to my 2.6.10 fc3 uml

b=10088

 - fine-grained locking for LDLM landed

Need to remember that these tests are not just done "in-tree", they are also
done on properly installed (make install, rpm, etc.) lustre so...
When trying to install a modules, test if the module is in-tree and if not,
try to modprobe it.

/mnt might not be on a writable filesystem, must $MOUNT should be, so just
use its parent directory.

Create the mountpoints for the servers.

b=9853
Figure out the scripts path instead of hardcode it.

As per lustre_config.sh's new functionality, default the mount options to
"noauto".

The mkfs_options are I guess more properly mkfs parameters and need to be
included, wrapped with --param="" in the format options.

mkfs options needs to be passed to mkfs.lustre inside of --param="".  I
wonder if lustre_config.sh shouldn't do this wrapping for us before passing
to mkfs.lustre.

VS: Branch b1_5
Off-by-one in the OST entries.

Quiet perl down a bit.

Allow the caller to specify where the mounts on the nodes should be done.
Remove that silly "main()" function.

b=9853
1) Remove "-d opts" option, as mentioned in comment #96 of bug9853, using "mount options" field in the csv file to specify the options to be added into /etc/fstab.
2) Also, change the meaning of "-m" option to "don't modify /etc/fstab". If using this option, then the value of "mount options" field will be passed to mkfs.lustre instead of being added into /etc/fstab.

b=9863
"extents,mballoc" are default mount options of OST with ldiskfs.

After adding the vim modeline into this file, the indentations of it became a bit mess due to my mix-using spaces and tabs originally. This version is neatly arranged.

Have to include the contents of man_MANS in EXTRA_DIST, not just a reference
to it.  This is because man_MANS is conditional on building the utils but
even if the tree is configure without utils, it should not prevent the utils
files from being put in the "dist" tarball.

Branch b1_5
b=9861
- turn on extents, mballoc on OSTs by default
- don't try to pre-check lustre/llite/ldiskfs options in mount.lustre.
Instead, just let the mount call fail.

Branch b1_5
b=8216
put mount.lustre.8 back

Branch b1_5
b=8216
add mount.lustre man page

Remove mount.lustre.8 until the file shows up.  Probably just a forgotten
cvs new on it, but this is breaking builds.

Quick hack to be able to define the options in the /etc/fstab for the lustre
filesystem added.
Probably some logic could be added in get_mntopts to detect the failover
option and only add noauto if it was not added by the command line argument.

Branch b1_5
b=8216
man pages for mkfs.lustre, tunefs.lustre, mount.lustre, and Lustre

Don't format devices.  This hack will be replaced by a command line switch
in lustre_config.sh to ask for a "no format, but configure" operation.

Branch b1_5
b=8007
remove some non-applicable options from tunefs

Branch b1_5
b=8007
add a tunefs.lustre manpage

Branch b1_5
b=8007
oooh, a man page.

The start of a script to convert lmc "batch" specifications to the CSV
format used by the lustre_config.sh script to configure lustre.
The number of lmc options the script understands currently seems to cover
ltest's lmc batch generation.
This is the "cheap way" to get ltest to do mountconf and be able to do full
testing on b1_5 and has the added benefit of testing the lustre_config.sh
scripts while it's at it.
Note, that arguably we should be parsing the XML, not lmc batch commands.
Fortunately the way the script works, changing out parsing of lmc commands
for parsing XML is easy to do and will still work with the backend CSV
generation.

b=6062
r=adilger(original author)

SPEC SFS NFS v2 validation failure fix - make blocksize constant at 2*RPC size.

patchless support.

Branch b1_5
b=8007
mtab must be checked before writing anything.
we no longer need the loopback setup for reading.

Some safety so that DEVICE_NAME[i] being "/dev/loop1" doesn't delete an
fstab entry with a device of "/dev/loop11".

Whitespace consistency.  I believe our standard is 4 spaces for indentation,
no hard tabs.

b=9863
Use debugfs instead of mounting the target device to read the Lustre data files.

Merge b1_5 from b1_4 (20060607_2142)

b=9863
Add figure_journal_size() to get the default journal size of lustre target.

Branch b1_5
b=9860
better errors

Branch b1_5
b=9860
Add upgrade helper script per Andreas' suggestion

Branch b1_5
b=8007
Better error message for wrong fsname