LUDOC-97 tuning: SMP node affinity parameters are now documented.

SMP Node Affinity arrived with Lustre 2.3 (LU-56). The default
values SMP machines are judged to be suitable for most workloads.
If and administrator does want to tinker, this change records
the available parameters.

Entries added to the glossary for NUMA and Node Affinity.

Signed-off-by: Richard Henwood <richard.henwood@intel.com>
Signed-off-by: Liang Zhen <liang.zhen@intel.com>
Change-Id: Ib5dd25431046d2842cbde77f0b6fede47a790da7
Reviewed-on: http://review.whamcloud.com/4413
Tested-by: Hudson
Reviewed-by: Doug Oucharek <doug.s.oucharek@intel.com>
Reviewed-by: Liang Zhen <liang@whamcloud.com>
Reviewed-by: Cliff White <cliff.white@intel.com>

LUDOC-11 fix assorted minor errors

A number of grammatical, spelling, and formatting errors were found by
running the html manual through aspell -H.

Signed-off-by: Ned Bass <bass6@llnl.gov>
Change-Id: Ie4f3cfba62cfb452c1bddb21a3137142dada9d47
Reviewed-on: http://review.whamcloud.com/3908
Tested-by: Hudson
Reviewed-by: Richard Henwood <Richard.Henwood@intel.com>

LUDOC-75 lnet: Add lst utility environment variable LST_FEATURES

Change LU-521 added a new environment variable LST_FEATURES.
This change is to document LST_FEATURES in the manul.

Signed-off-by: Doug Oucharek <doug.s.oucharek@intel.com>
Change-Id: I8760bb902b45d82203645f26c0d1df3e17b8891b
Reviewed-on: http://review.whamcloud.com/3893
Tested-by: Hudson
Reviewed-by: Richard Henwood <Richard.Henwood@intel.com>
Reviewed-by: Liang Zhen <liang@whamcloud.com>
Reviewed-by: Cliff White <cliffw@whamcloud.com>

LUDOC-11 debug: fix wrong libcfs debug header path

An incorrect path was given to the header file listing debug
subsystems and message types.

Signed-off-by: Ned Bass <bass6@llnl.gov>
Change-Id: Ib272ed9630f23f99d5f66760804bc3627d58f5dc
Reviewed-on: http://review.whamcloud.com/3882
Tested-by: Hudson
Reviewed-by: Richard Henwood <Richard.Henwood@intel.com>
Tested-by: Richard Henwood <Richard.Henwood@intel.com>

LUDOC-66 lfsck: User interface documentation.

lfsck with OI Scrub is new in Lustre 2.3. The user interface is documented by
this change.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I5a74e3ed143ed1c067e41731edf666e900a3b485
Reviewed-on: http://review.whamcloud.com/3368
Tested-by: Hudson
Reviewed-by: Fan Yong <yong.fan@whamcloud.com>
Reviewed-by: Cliff White <cliffw@whamcloud.com>
Reviewed-by: Richard Henwood <Richard.Henwood@intel.com>

LUDOC-62 admin: better OST/MDT migrate description

Instead of restating the backup/restore steps for OST/MDT migration,
reference the existing file/device backup/restore process.  Clean up
the formatting of backup/restore examples a bit.

Update the OST object-to-MDS file mapping process to reference new
MDT FIDs and fid2path, in preference to the old 1.8 debugfs method.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>
Change-Id: Ida33c2f055cf9f66fa1ec7463e1ca36875aecab0
Reviewed-on: http://review.whamcloud.com/3827
Tested-by: Hudson
Reviewed-by: Richard Henwood <Richard.Henwood@intel.com>
Reviewed-by: Cliff White <cliffw@whamcloud.com>

Merge "LUDOC-62 backup: file-level MDT backup now supported."

LUDOC-58: Clarify multiple file system issues.

Manual is updated to emphasise Lustre is designed to only have one MGS. If
there are multiple MGSs then best practice suggests fsname must be unique.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I82af8e6004fe1d7f70f4a8c93d60103271fcd298

LUDOC-62 backup: file-level MDT backup now supported.

Because LU-957 will land for 2.3 the Manual now describes file level
back for both an MDT and an OST.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I8f797f8566453f99b2fe67f26e780db07a9eb3e0

Merge "LUDOC-49: MDT sizing hint for stripes."

LUDOC-11: tidied up minor word ordering errors.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>

LUDOC-24 Glossary: Fix a typo

Change-Id: I1349f0a79729efcdb94d25a1da0977450250915a
Signed-off-by: Cliff White <cliffw@whamcloud.com>

Merge "LUDOC-39"

LUDOC-39

Add Imperative Recovery to the manual
Include tuning parameters.

Change-Id: I856d92078dc1f7e72c29816197e71851c423f1f2
Signed-off-By: Cliff White <cliffw@whamcloud.com>

LUDOC-11 ptlrpc: fix max_rpcs_in_flight_limit

The maximum number of RPCs in flight per OSC is actually 256, not 32.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>
Change-Id: Ie8e9ccbc56132d9112b03934dea004c0bd2faf9b

Merge "LUDOC-42 document Statahead and AGL"

Merge "LUDOC-40 - Add ptlrpcd thread pool"

LUDOC-42 document Statahead and AGL

Update the directory statahead tunable interface descriptions and
add the document for AGL (asynchronous glimpse lock).

Signed-off-by: Yu Jian <yujian@whamcloud.com>
Change-Id: I9dbe2a78f351704bd6ea05093489affea993ea1a

LUDOC-20 admin: fix mount lustre on ldiskfs

lustre can only mount using ldiskfs, not ext4

Signed-off-by: Minh Diep <mdiep@whamcloud.com>
Change-Id: Ifecc9f8302fa777bfe2a1e07e79d42d5c3b803e4

LUDOC-40 - Add ptlrpcd thread pool

Add Ptlrpcd Thread Pool to manual.

Change-Id: I34ff809d9550c6003cc77383a5950c2fe9097779
Signed-off-By: cliff white <cliffw@whamcloud.com>

LUDOC-20 admin: Add instructions for separate MGS

1. Fix order list for Lustre Maintenance section
2. Add instructions on how to separate MGS

Signed-off-by: Minh Diep <mdiep@whamcloud.com>
Change-Id: I69288028cb012f9d0d944cf8809d2660b7ad36d0

LUDOC-2 add "--raw" option to "lfs getstripe"

A new option to "lfs getstripe" is introduced; the "--raw" or
"-R" option.

If this option is specified, the stripe information is printed
without substituting the filesystem's default values for
unspecified fields. If the striping EA is not set, 0, 0, and -1
will be printed for the stripe count, size, and offset respectively.

Signed-off-by: Yu Jian <yujian@whamcloud.com>
Change-Id: I2d4a1bf8fd063afb40345609db9c8204d6e3cc09

Merge "LUDOC-33: fixed identity information upcall 2.x"

LUDOC-33: fixed identity information upcall 2.x

Pre 2.x, Lustre used the user identity information upcall on Lustre MDS side is
through the /proc interface: /proc/fs/lustre/mds/{mdsname}/group_upcall

From 2.x: interface has been replaced (since Lustre-2.0 release) by:
/proc/fs/lustre/mdt/{mdtname}/identity_upcall, and this interface has been
superseded by lctl set_param mdt.{mdtname}.identity_info={path}. "NONE" means
no identity_upcall.

In addition, the following substitutions have been made for Lustre 2.x
"group_info" becomes "identity_info"
"mds_grp_downcall_data" becomes "identity_downcall_data"
"l_getgroups" becomes "l_getidentity"

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I9db35e8882834f4df234f38f13a55fbb1d79a377

LUDOC-36 iokit: add mds-survey information

Added mds-survey in lustre-iokit

Signed-off-by: Minh Diep <mdiep@whamcloud.com>
Change-Id: Ia5e62b8caa9ae9ff34dea5a95e7f2836f52661c1

LUDOC-49: MDT sizing hint for stripes.

MDT sizing now provides basic advice on including strip count in
calculations.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>

Merge "LU-1203 Replace 'mds' with 'mdt' in root_squash section"

LU-1203 Replace 'mds' with 'mdt' in root_squash section

Fix parameter documentation for root_squash
Addressed Richards correction

Signed-off-by: cliffw@whamcloud.com
Change-Id: I99d1c2df310406848eb6096af84fb8fdf840a0fb

LUDOC-29 upgrade/downgrade process with wide striping feature

Document the process to upgrade from an existing filesystem to
enable wide striping on the MDT and how to downgrade the MDT
filesystem to an earlier version of Lustre that does not support
wide striping.

Signed-off-by: Yu Jian <yujian@whamcloud.com>
Change-Id: I0b3c0b365b5a9fd5bc330cadddf0be147cec9b12

LU-1203 - undo previous changes

Change-Id: I4074c12dff5bcb7987d402c15a10a495926ca3c3

LU-1203 Fix root_squash documentation for mdt

Replace 'mds' with 'mdt' in root_sqaush setup

Change-Id: I410c5078b3f0a44b3e40b7b7814e31c913a424ad

LU-1203 Fix root_squash in manual

Replace 'mds' with 'mdt' in root_squash examples

Fixes root squash section to use mdt instead of mds

Merge "LUDOC-11 upgrade: document 2.1 upgrade requirement"

LU-680 manual: documentation for instance <-> path mapping.

A new feature was added to lfs with LU-680. This change records
the usage of this new feature in the manual.

lfs commands are now listed in alphabetical order.

The code changeset is:
http://review.whamcloud.com/#change,1373

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: Ifed7b26193fe219174891cdf79f4401b901750f7

LUDOC-29 increase maximum stripe count from 160 to 2000

The wide striping feature increases the maximum stripe count from
160 to 2000. This patch fixes this limit in the manual.

Signed-off-by: Yu Jian <yujian@whamcloud.com>
Change-Id: I8b3496f3e71debc314d97669dbc8db81a5a4c9a4

LUDOC-11 upgrade: document 2.1 upgrade requirement

The 1.8->2.x upgrade section was referring only to Lustre 2.0, but
should refer to Lustre 2.x more generically.

Update the minimum 1.8 version for 2.1 interoperability to 1.8.6.

Remove statement that allows both 1.8 and 2.x servers to be running
at the same time, since this is not tested.  Instead, require that
both the MDS and OSS nodes are upgraded to 2.x at the same time.

Remove references to ancient 1.4.x Lustre versions, and distinctions
that are only present for versions of Lustre 1.6.5 and older.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>
Change-Id: I94a41610f65e597accc773f534e518f4e87fcab0

LUDOC-13 build: Disable diff in Makefile

If diff fails, the build is marked as failing. Make all now doesn't
have diff enabled until it has had the bugs worked out.

Added epub to clean.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I11464045679ea02105f0baebeddc7d2a6f86d80c

LUDOC-25: typo fix

tthat becomes that. The sentences simplified for clarity.

Signed-off-by: Richard Henwood <rhenwood@ywhamcloud.com>
Change-Id: I983fec8aa0c6db088ba802f61d360cab4bc26864

Merge "LUDOC-32: build epub from manual."

LUDOC-32: build epub from manual.

Makefile now contains the correct rules to build an epub version
of the manual.

Signed-off-by: Richard Henwood <rhenwood@ywhamcloud.com>
Change-Id: I5e126b137b535522c720fdac863562f194a2e17e

Merge "LUDOC-13: enhanced diff to work with larger changes."

LUDOC-13: enhanced diff to work with larger changes.

Significant changes were needed to work with multi-line changes
that included changes in markup between master and review manual.

NOTE: The resulting html may not be valid, but will probably render
in the browser.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I60c724afca1ac6d89e3372666f9c7962efb73360

LUDOC-37 kernel: use /etc/modprobe.d/lustre.conf

Update the documentaion to store module parameters in the
/etc/modprobe.d/lustre.conf file to make the newer distro
modutils happy.

Early versions of modprobe did not care what filenames were
used in /etc/modprobe.d/, which lead to confusion if old
versions of files were located there (e.g. Lustre.orig or
Lustre~).  Newer versions of modprobe (at least since FC12,
but possibly earlier) require module parameter files to have
a ".conf" suffix in order to be parsed.

The /etc/modprobe.d/ directory has been supported since at
least module-init-utils 3.2 (RHEL5) and may have been supported
before that time.  This means that all supported distros can
use /etc/modprobe.d/lustre.conf for Lustre-specific parameters.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>
Change-Id: Ic885f610b3d9b16eb211d4a2d971930f53647bec

LUDOC-26: update mdt.quota_type to mdd.quota_type.

Search and replaced with an addition comment to recored that mdt.quota
is the command for Lustre 1.6.5 thru until Lustre 2.0.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I93f6a7de22d47b62a2e124ae19c953a2900430a2

LUDOC-31 manual: add --servicenode option description

Add --servicenode option description for mkfs.lustre and tune.lustre.

Change XSL_REL in Makefile so that make gets correct install path of
different version of docbook5 XSL stylesheets package.

Signed-off-by: Bobi Jam <bobijam@whamcloud.com>
Change-Id: If92af7e0839928ddfeb966090d75796c93b8499e

LUDOC-13: diff works for doc changes.

make diff now creates a annotated html file highlighting the differences between
master and review manual builds.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: Iec9a83b162697e17e894486c54090fbd406c2dff

LUDOC-27 Update the Setting up a Lustre file system chapter to reflect the recent changes in mkfs.lustre

- flex_bg, huge_file and lazy_journal_init are enabled by default.
- On OSTs the number of inodes created for larger LUNs is increased.
  Add a table to show the inode ratio to be considered
- Update the maximum OST size and the maximum file system size
- Fix a few spell errors

Signed-off-by: Zhiqi Tao <zhiqi@whamcloud.com>
Change-Id: Ifc4db56aac344278bc5aacaeac25cac4b17e8e59

LUDOC-23: MDT/MDS space requirements updated for 2.x release.

inode allocation is reduced as it is unlikely that 4K is ever used. If more
space is needed, space will be allocated outside of the inode. Allocating space
outside the inode will incur a performance penalty.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I0081d77c430fceb362f1e53d93eb60ce817a3a0b

LUDOC-4 client stats file values description.

Description of the values returned by the command:
lctl get_param llite.*.stats.

Updated to include 2.2 stats from LU-334.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I85f758dfcc0a4f76a280b96d50acf1bd0363562a

Merge "LUDOC-8 Make Jenkins build manual using a Makefile."

Merge "LUDOC-18 added entry for errno EDQUOT."

LUDOC-8 Make Jenkins build manual using a Makefile.

This Makefile supports building on Mac,
Ubuntu 11.04 and RHEL6.  TMP var is intended to be portable.

diff target is temporarily disabled.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: Iaf494b91725bc78c745a4df47e64c8725163e37d

LUDOC-11 Misc cleanups of examples and text

Clean up some examples seen in the manual while working on LUDOC-14.

Use "ost0" and "ost1" in examples, to match the actual OST indices
used, instead of "ost1" and "ost2".  Same for "oss0" and "oss1", etc.

Use "lctl {get,set}_param" instead of direct /proc access in a few
places (there are a lot more that should be fixed).

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>
Change-Id: Ibeb4e3318b6fbdb8a81283d5cfad14a69e27443b

LUDOC-14 Always use --index when formatting OSTs

To prepare users for changes that are upcoming in Lustre 2.3/2.4 for
the OSD restructuring project, the OST index should always be given
when formatting OSTs with mkfs.lustre.  This is already accepted as
standard practice for Lustre users today, so reflect that in the
examples in the manual.

Change-Id: I41cc175dc4392950c4376b3643c3017f6b9b2fcc
Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

LUDOC-18 added entry for errno EDQUOT.

Documented error number 122: EDQUOT: this error occurs when an
operation fails because the user disk quota is exceeded. The
documented location of errno.h has been updated to:
/usr/include/asm-generic/errno.h

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I8d7b4583bffbad62a917448710268ffc3ef53769

Merge "LUDOC-16 fix stale links."

LUDOC-16 fix stale links.

Links now point to accurate and actively maintained targets.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I3212ac2fb807108ca046b06ebfa7842474449127

Merge "LUDOC-13 render diff of html manual to enhance reviewability."

LUDOC-13 render diff of html manual to enhance reviewability.

Reviewing manual changes is challenging when only observing docbook
xml. This change provides code (./tools/diff.py) and a 'diff' make
target to generate a html page with annotated differences. An
example screenshot is attached to LUDOC-13.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: Ib19bae429235f9bf2b2b8d15a597baac8f12cc6e

LUDOC-11 debug: Fix malformed sentence

Fix incompletely edited sentence after review from Richard.

Change-Id: Ic9436d791104efec5c18d3ee5f2a36c7b859cf23
Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

LUDOC-11 Minor improvements to debugging chapter

Fix formatting consistency of the debugging chapter.

Add a number of debug macros that were not being listed, and
improve the description and formatting of some others.

Update sample output to be consistent with what is generated
by modern Lustre tools.

Change-Id: Ie1276e49c784ccc6ee23c5609b996baa4ad57173
Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

LUDOC-11 cleanups to Lustre limits table

The Lustre limits table was outdated in a few places, and not organized
in a logical manner.  Consolidate the table and update to latest values,
and remove unknown characters in table.

Clarify some of the Lustre feature descriptions in this section.

Change-Id: I4ee903ccc8446f1c32e456bc6535e1af09e39379
Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

Merge "LUDOC-6 Add Makefile with check, pdf, html targets"

LUDOC-6 Add Makefile with check, pdf, html targets

Add a Makefile which will, by default, check the XML of the manual
for structural errors, or build a .html or .pdf version of the
Lustre manual.

It checks for Docbook style sheets on both Linux and MacOS.

Change-Id: I1583a0849ef14299a3df37328f4acc2a55a00fac
Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

LUDOC-6 Add Makefile with check, pdf, html targets

Add a Makefile which will, by default, check the XML of the manual
for structural errors, or build a .html or .pdf version of the
Lustre manual.

It checks for Docbook style sheets on both Linux and MacOS.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

LUDOC-7 cleanups to Lustre limits table

The Lustre limits table was outdated in a few places, and not organized
in a logical manner.  Consolidate the table and update to latest values,
and remove unknown characters in table.

Clarify some of the Lustre feature descriptions in this section.

Signed-off-by: Andreas Dilger <adilger@whamcloud.com>

Merge "LUDOC-5 fixed legal notice for Whamcloud modifications."

LUDOC-5 fixed legal notice for Whamcloud modifications.

Following legal advice, this change adds context for modifications from
Whamcloud to be admitted into this CC 3.0 licensed document. Docbook includes
copyright and legalnotice elements and these have been used. The copyright
notice that was previously in the Oracle legalnotice has been moved to a
copyright element.

Signed-off-by: Richard Henwood <rhenwood@whamcloud.com>
Change-Id: I0b1584e8474a390136c052145aef5f2ba695c65a

FIX: improved formating of an example.

FIX: list items correctly grouped.

FIX: over-streatched image.

FIX: tidyup the copyright notice.

FIX: minor tweaks to the improve figures and revision info.

FIX: corrected linking of documents.

ADD: images for figures.

FIX: refactored to include legal notice.

FIX: added index.

FIX: typesetting

FIX: typesetting

FIX: typesetting

FIX: validation

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation, ulink -> link

FIX: validation

FIX: validation

FIX: validation

FIX: validation

FIX: proofed against origional

FIX: proofed against origional

FIX: proofed against origional

FIX: removed redundant anchors

FIX: removed redundant anchors

FIX: removed funny characters.

FIX: proof read against origional