LUDOC-296 protocol: remove internal details from descriptions

[2015-07-09]
Tidy up some of the details in the removal of the implementation
details.

[2015-07-08]
Remove the internal implementation details from descriptions, in
particular for obd_import and obd_export.  Some fields in those
structures will be useful in the future to describe the connection
state machine, but are commented out for now.

Remove the lustre_file_ids.txt file, since it largely duplicated
the file-id.txt file.

Change-Id: I79f499fa16af80b237706535b185c39ea40e7b3f
Signed-off-by: Andreas Dilger <andreas.dilger@intel.com>
Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Reviewed-on: http://review.whamcloud.com/15543
Tested-by: Jenkins

LUDOC-296 protocol: Reorganize the document to be top-down

[2015-07-08]
A couple of figures got left behind. Including them here touching up a
couple more that had minor issues.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I145d7696e6a76a6b128f07bd4ecb9de42bd806ae
Reviewed-on: http://review.whamcloud.com/15538
Tested-by: Jenkins

LUDOC-296 protocol: Reorganize the document ot be top-down

[2015-07-08]
This change moves all the content around, but does not alter it
much. The 'lustre_messages.txt' section is removed, since the RPCs are
introduced in a different way. The 'lustre_operations.txt' section is
renamed 'lustre_rpcs.txt'.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I657436cb2d744c99bb8edf8156f5764b3d8eef16
Reviewed-on: http://review.whamcloud.com/15537
Tested-by: Jenkins

LUDOC-294 protocol: Bring in new connection documentation

The connect flags in connection.txt got some additional detail.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: Ic3dff4f664c815ab36bb46e391f92118a7d543e7
Reviewed-on: http://review.whamcloud.com/15474
Tested-by: Jenkins

LUDOC-293 protocol: Merge all recent patches

This patch just accumulates the patches associated with LUDOC-275
(14973), LUDOC-277 (15298), LUDOC-278 (15297), and LUDOC-279 (15295).

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I366176ce1b929460c426f7fa858079af480e21d3
Reviewed-on: http://review.whamcloud.com/15469
Tested-by: Jenkins

LUDOC-270 doc: describe more connect flags

[2015-06-10, PM]
Clarify OBD_CONNECT_TRUNCLOCK under Mike's guidance.

[2015-06-10]
Andrew did a little editing of Mike's update. OBD_CONNECT_TRUNCLOCK
may still want a some attention.

[201-06-9]
Update document with more details about connection flags

Signed-off-by: Mikhail Pershin <mike.pershin@intel.com>
Change-Id: Ib8369ac6fe009366ad2f4cc16137ebec4874c6ef
Reviewed-on: http://review.whamcloud.com/15191
Tested-by: Jenkins
Reviewed-by: Andrew Uselton <andrew.c.uselton@intel.com>

LUDOC-276 protocol: Document RPCs for setattr

[2015-06-09]
After Jinshan's second pass:

Section 7.1, page 36-37
  Added description of lov_mds_md

Section 13.12, page 51
Command 101: LDLM_ENQUEUE - Enqueue a loack request
  Lock Value Block discussion

Section 13.13, page 51
Command 1034: LDLM_CANCEL - Cancel a lock request
  Added the new discussion of the LDLM_CANCEL.

Section 14.4, page 64-68
  Updated the discussion of the 'setattr' for a 'truncate' with the
  details about the LDLM_CANCEL. Updated figures.

[2015-06-04]
Updates addressing Doug's comments. In particular, clarify how the
MDS_REINT structs are organized, and the constraints placed on the
interpretation of their fields in order to accommodate swabbing
correctly. Also, break the 'mdt_body' struct out into its own section,
in 'mdt_structs.txt', so that it does not seem to be another variant
of the 'mds_rec_reint'. Fix a minor markup issue in
'ost_setattr_structs.txt'.

[2015-05-31]
First round update in response to review:
Especially addressing defects in 'setattr.txt'.

Figures and text discuss RPCs that implement 'setattr'. There is a new
top-level file called 'extract_setattr.txt' that include just the new
content. It can be compiled with

  asciidoc extract_setattr.txt

for the HTML, and

  a2x -f pdf --fop extract_setattr.txt

for the PDF. The extract_setattr.pdf that results is also organized in
a more top-down fashion than the 'protocol.pdf'. We are still
considering which oreder of presentation (versus bottom-up) is
preferable. The figures each involves one of two kinds of thing:
either a UML-style sequence diagram (files ending in '_rpcs.png'), or
an RPC packet structure diagram.

The previously existing files data_types.txt,
file_system_operations.txt, ldlm.txt, lustre_messages.txt,
lustre_operations.txt, and protocol.txt all had very minor edits that
simply bring in the new content in the other files. The one excetion
is that previous content on LDLM has been improved and extended.

The setattr.txt file has the new content discussing 'setattr' in terms
of the RPCs that are exchanged. The remaining new files each
introduces one small piece of the new content relating to one specfic
detail, each.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: Iace0fc22d77372cb81d2ed9e2baca38327a8dee6
Reviewed-on: http://review.whamcloud.com/14852
Tested-by: Jenkins
Reviewed-by: Jinshan Xiong <jinshan.xiong@intel.com>

LUDOC-287 protocol: Update Connection Discussion

Explain some aspects of connection process and related fields in the
export structure.

Signed-off-by: Mikhail Pershin <mike.pershin@intel.com>
Signed-off-by: Andrew Uselton <andrew.c.uselton@intel.com>
Change-Id: Iafa26044eda61feb2746e0513720c0e7484c7aac
Reviewed-on: http://review.whamcloud.com/14970
Tested-by: Jenkins

LUDOC-270 protocol: Update the outline and add support files

This patch modifies the outline to the document:
- Orgainizing the presentation a little better
- Removing empty sections until they are ready to be included
- Breaking main topics out into separate files
The organization is bottom-up in that it starts with a Dtat Types
Section, builds on that by showing how messages are structured, then
addresses how the Lustre operations use those messages, and finally
how file system activitiy uses Lustre oparations to carry out its
activities.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I46cb03351ad0a66540b1723b864ec6ca158000e3
Reviewed-on: http://review.whamcloud.com/13938
Tested-by: Jenkins

LUDOC-270 protocol: Add a 'basement' dir with support files

The basement has been added as a place to put content that may be
interesting to the community, but is nevertheless not directly a part
of the documentation for this project. It has, for instance, a catalog
of structures and other definitions that relate to how Lustre messages
are formed. Those files (see the README) make a direct reference to
the Lustre sources, and were the raw material for the content that
will be added shortly.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I3f264a0f7cd0a5c50511b29af92ee9103b348d80
Reviewed-on: http://review.whamcloud.com/13919
Tested-by: Jenkins
Reviewed-by: Andreas Dilger <andreas.dilger@intel.com>

LUDOC-266 protocol: Initial content for new repository

Initial content for the new 'protocol' repository.

The primary 'source' content in this repository is a collection of
text files ('*.txt') in the 'asciidoc' format, augmented with some
figures constructed with 'graphviz' ('*.gv'). 'asciidoc' will
produce '.html', '.pdf', and '.xml' (DocBook) files. 'graphviz'
('dot' actually) will produce '.png' files. The '.gitignore' file
lists these derived file extensions so the 'compiled' results will
not be a part of the repository contents, but instead will be build
afresh when needed.

In the 'figures' directory there is one '.gv' file (mkdir1.gv) that attempts to
capture some ideas about one state machine. It is an early effort at
this point.

The Makefile generates two commonly desirable output formats from
the source. These are .html and .pdf.

Signed-off-by: Andrew C. Uselton <andrew.c.uselton@intel.com>
Change-Id: I7a2ac74e64d581f05ca15fd4b1f12b83634f72df
Reviewed-on: http://review.whamcloud.com/13430
Reviewed-by: Olaf Faaland-LLNL <faaland1@llnl.gov>
Reviewed-by: Richard Henwood <richard.henwood@intel.com>
Tested-by: Jenkins

Initial empty repository