Whamcloud - gitweb
LU-5147 doc: design docs in documentation dir 18/10618/9
authorRichard Henwood <richard.henwood@intel.com>
Thu, 2 Apr 2015 21:13:40 +0000 (16:13 -0500)
committerOleg Drokin <oleg.drokin@intel.com>
Thu, 28 Jan 2016 18:15:43 +0000 (18:15 +0000)
Move design documents into the ./Documentation directory.
Update references to design documentation in the source code.
Minor readability updates to ldiskfs.txt.

Signed-off-by: Richard Henwood <richard.henwood@intel.com>
Change-Id: Ia4d1662225d019358876caade6f564c48f450fff
Reviewed-on: http://review.whamcloud.com/10618
Tested-by: Jenkins
Tested-by: Maloo <hpdd-maloo@intel.com>
Reviewed-by: Andreas Dilger <andreas.dilger@intel.com>
Reviewed-by: Christopher J. Morrone <morrone2@llnl.gov>
Documentation/clio.txt [moved from lustre/doc/clio.txt with 100% similarity]
Documentation/lock-ordering [moved from lustre/doc/lock-ordering with 100% similarity]
Documentation/osd-api.txt [moved from lustre/doc/osd-api.txt with 100% similarity]

similarity index 100%
rename from lustre/doc/clio.txt
rename to Documentation/clio.txt
index 246fcb1..2b42d19 100644 (file)
@@ -163,9 +163,12 @@ osd-ldiskfs.<fsname>-<targetname>.full_scrub_threshold_rate). On starting, the
 master engine sends RPCs to other MDTs (when necessary) to start other master
 engines and to related OSTs to start the slave engines.
-2. The master engine on the MDT scans the MDT local device. Each object is
-checked for the consistency criteria enumerated in the 'features' section of
-this document.
+2. The master engine on the MDS scans the MDT device using namespace iteration
+(described below). For each striped file, it calls the registered LFSCK process
+handlers to perform the relevant system consistency checks/repairs, which are
+enumerated in the 'features' section. All objects on OSTs that are never
+referenced during this scan (because, for example, they are orphans) are
+recorded in an OST orphan object index on each OST.
 3. After the MDT completes first-stage system scanning, the master engine sends
 RPCs to related LFSCK engines on other targets to notify that the first-stage
@@ -194,10 +197,10 @@ Orphan objects will either be relinked to an existing file if found - or moved
 into a new file in .lustre/lost+found.
 If multiple MDTs are present, MDTs will check/repair MDT-OST consistency in
-parallel. To avoid scans of the OST device the slave engine will not begin
-second-stage system scans until all the master engines complete the first-stage
-system scan. For each OST there is a single OST orphan object index, regardless
-of how many MDTs are in the MDT-OST consistency check/repair.
+parallel. To avoid redundant scans of the OST device the slave engine will not
+begin second-stage system scans until all the master engines complete the
+first-stage system scan. For each OST there is a single OST orphan object
+index, regardless of how many MDTs are in the MDT-OST consistency check/repair.
 Object traversal design reference
@@ -263,21 +266,21 @@ useful links:      http://insidehpc.com/2013/05/02/video-lfsck-online-lustre-fil
 Glossary of terms
-OSD - Object storage device. A generic term for a storage device with an
-  interface that extends beyond a block-oriented device interface.
 FID - File IDentifier. A Lustre file system identifies every file and object
   with a unique 128-bit ID.
-OI - Object Index. A table that maps the FID to the object's backend identifier.
-  For ldiskfs-based backend, this table must be regenerated if restored from
-  file-level backup.
 FID-in-dirent - FID in Directory Entry. To enhance the performance of readdir,
   the FID of a file is recorded in its directory name entry.
+linkEA - Link Extended Attributes. When a file is created or hard-linked the
+  parent directory name and FID are recorded as extended attributes to the file.
 LMA - Lustre Metadata Attributes. A record of Lustre specific attributes, for
   example HSM state, self-FID, and so on.
-linkEA - Link Extended Attributes. When a file is created or hard-linked the
-  parent directory name and FID are recorded as extended attributes to the file.
+OI - Object Index. A table that maps FIDs to inodes. On ldiskfs-based targets,
+  this table must be regenerated if a file level restore is performed as inodes
+  will change.
+OSD - Object storage device. A generic term for a storage device with an
+  interface that extends beyond a block-oriented device interface.
index ccf79ec..aab61a3 100644 (file)
@@ -33,7 +33,7 @@
  * local OSD object interface to the MDD layer, and abstracts the
  * addressing of local (OSD) and remote (OSP) objects. The API is
  * described in the file lustre/include/dt_object.h and in
- * lustre/doc/osd-api.txt.
+ * Documentation/osd-api.txt.
  * Author: Alex Zhuravlev <alexey.zhuravlev@intel.com>
index bb7ec05..d5a880c 100644 (file)
@@ -42,7 +42,7 @@
  * The OBD Filter Device (OFD) module belongs to the Object Storage
  * Server stack and connects the RPC oriented Unified Target (TGT)
  * layer (see lustre/include/lu_target.h) to the storage oriented OSD
- * layer (see lustre/doc/osd-api.txt).
+ * layer (see Documentation/osd-api.txt).
  *     TGT
  *      |      DT and OBD APIs