UnderstandingLustre.xml

   1 <?xml version="1.0" encoding="UTF-8"?>
   2 <chapter version="5.0" xml:lang="en-US" xmlns="http://docbook.org/ns/docbook" xmlns:xl="http://www.w3.org/1999/xlink" xml:id='understandinglustre'>
   3   <info>
   4     <title xml:id='understandinglustre.title'>Understanding Lustre</title>
   5   </info>
   6   <para><anchor xml:id="dbdoclet.50438250_pgfId-1294042" xreflabel=""/>This chapter describes the Lustre architecture and features of Lustre. It includes the following sections:</para>
   7   <itemizedlist><listitem>
   8       <para><anchor xml:id="dbdoclet.50438250_pgfId-1294066" xreflabel=""/><link xl:href="UnderstandingLustre.html#50438250_92658">What Lustre Is (and What It Isn't)</link></para>
   9     </listitem>
  10 <listitem>
  11       <para> </para>
  12     </listitem>
  13 <listitem>
  14       <para><anchor xml:id="dbdoclet.50438250_pgfId-1294074" xreflabel=""/><link xl:href="UnderstandingLustre.html#50438250_17402">Lustre Components</link></para>
  15     </listitem>
  16 <listitem>
  17       <para> </para>
  18     </listitem>
  19 <listitem>
  20       <para><anchor xml:id="dbdoclet.50438250_pgfId-1295273" xreflabel=""/><link xl:href="UnderstandingLustre.html#50438250_38077">Lustre Storage and I/O</link></para>
  21     </listitem>
  22 <listitem>
  23       <para> </para>
  24     </listitem>
  25 </itemizedlist>
  26   <section remap="h2">
  27     <title><anchor xml:id="dbdoclet.50438250_pgfId-1295276" xreflabel=""/></title>
  28     <section remap="h2">
  29       <title>1.1 <anchor xml:id="dbdoclet.50438250_92658" xreflabel=""/>What Lustre Is (and What It Isnâ€™t)</title>
  30       <para><anchor xml:id="dbdoclet.50438250_pgfId-1294027" xreflabel=""/>Lustre is a storage architecture for clusters. The central component of the Lustre architecture is the Lustre file system, which is supported on the Linux operating system and provides a POSIX-compliant UNIX file system interface.</para>
  31       <para><anchor xml:id="dbdoclet.50438250_pgfId-1294028" xreflabel=""/>The Lustre storage architecture is used for many different kinds of clusters. It is best known for powering seven of the ten largest high-performance computing (HPC) clusters worldwide, with tens of thousands of client systems, petabytes (PB) of storage and hundreds of gigabytes per second (GB/sec) of I/O throughput. Many HPC sites use Lustre as a site-wide global file system, serving dozens of clusters.</para>
  32       <para><anchor xml:id="dbdoclet.50438250_pgfId-1297491" xreflabel=""/>The ability of a Lustre file system to scale capacity and performance for any need reduces the need to deploy many separate file systems, such as one for each compute cluster. Storage management is simplified by avoiding the need to copy data between compute clusters. In addition to aggregating storage capacity of many servers, the I/O throughput is also aggregated and scales with additional servers. Moreover, throughput and/or capacity can be easily increased by adding servers dynamically.</para>
  33       <para><anchor xml:id="dbdoclet.50438250_pgfId-1297493" xreflabel=""/>While Lustre can function in many work environments, it is not necessarily the best choice for all applications. It is best suited for uses that exceed the capacity that a single server can provide, though in some use cases Lustre can perform better with a single server than other filesystems due to its strong locking and data coherency.</para>
  34       <para><anchor xml:id="dbdoclet.50438250_pgfId-1297495" xreflabel=""/>Lustre is currently not particularly well suited for &quot;peer-to-peer&quot; usage models where there are clients and servers running on the same node, each sharing a small amount of storage, due to the lack of Lustre-level data replication. In such uses, if one client/server fails, then the data stored on that node will not be accessible until the node is restarted.</para>
  35       <section remap="h3">
  36         <title><anchor xml:id="dbdoclet.50438250_pgfId-1293793" xreflabel=""/>1.1.1 Lustre <anchor xml:id="dbdoclet.50438250_marker-1293792" xreflabel=""/>Features</title>
  37         <para><anchor xml:id="dbdoclet.50438250_pgfId-1294716" xreflabel=""/>Lustre runs on a variety of vendorâ€™s kernels. For more details, see <link xl:href="http://wiki.lustre.org/index.php/Lustre_Release_Information">Lustre_Release_Information</link> on the Lustre wiki.</para>
  38         <para><anchor xml:id="dbdoclet.50438250_pgfId-1294223" xreflabel=""/>A Lustre installation can be scaled up or down with respect to the number of client nodes, disk storage and bandwidth. Scalability and performance are dependent on available disk and network bandwith and the processing power of the servers in the system. Lustre can be deployed in a wide variety of configurations that can be scaled well beyond the size and performance observed in production systems to date.</para>
  39         <para><anchor xml:id="dbdoclet.50438250_pgfId-1294224" xreflabel=""/><link xl:href="UnderstandingLustre.html#50438250_92763">TABLE 1-1</link> shows the practical range of scalability and performance characteristics of the Lustre file system and some test results in production systems.</para>
  40         <table frame="all">
  41           <title><anchor xml:id="dbdoclet.50438250_pgfId-1294228" xreflabel=""/> TABLE 1-1 <anchor xml:id="dbdoclet.50438250_92763" xreflabel=""/> Lustre Scalability and Performance</title>
  42           <tgroup cols="4">
  43             <colspec colname="c1" colwidth="25*"/>
  44             <colspec colname="c2" colwidth="25*"/>
  45             <colspec colname="c3" colwidth="25*"/>
  46             <colspec colname="c4" colwidth="25*"/>
  47             <thead>
  48               <row>
  49                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1294236" xreflabel=""/></emphasis></para></entry>
  50                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1294238" xreflabel=""/>Feature</emphasis></para></entry>
  51                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1294240" xreflabel=""/>Practical Range</emphasis></para></entry>
  52                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1294242" xreflabel=""/>Tested in Production</emphasis></para></entry>
  53               </row>
  54             </thead>
  55             <tbody>
  56               <row>
  57                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294244" xreflabel=""/>Clients</para></entry>
  58                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294246" xreflabel=""/>Scalabity</para></entry>
  59                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294248" xreflabel=""/>100-100,000</para></entry>
  60                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294250" xreflabel=""/>50,000+ clients</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294251" xreflabel=""/>Many installations in 10,000 to 20,000 range</para></entry>
  61               </row>
  62               <row>
  63                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294253" xreflabel=""/> </para></entry>
  64                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294255" xreflabel=""/>Performance</para></entry>
  65                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294257" xreflabel=""/><emphasis>Single client: </emphasis> 2 GB/sec I/O,</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294258" xreflabel=""/>1,000 metadata ops/sec</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294259" xreflabel=""/><emphasis>File system:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294260" xreflabel=""/>2.5 TB/sec</para></entry>
  66                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294262" xreflabel=""/><emphasis>Single client: </emphasis> 2 GB/sec</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294263" xreflabel=""/> </para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294264" xreflabel=""/><emphasis>File system:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294265" xreflabel=""/>240 GB/sec I/O</para></entry>
  67               </row>
  68               <row>
  69                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294267" xreflabel=""/>OSSs</para></entry>
  70                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294269" xreflabel=""/>Scalabity</para></entry>
  71                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294271" xreflabel=""/><emphasis>OSSs:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294272" xreflabel=""/>4-500 with up to 4000 OSTs</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294273" xreflabel=""/> </para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294274" xreflabel=""/><emphasis>File system:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294275" xreflabel=""/>64 PB, file size 320 TB</para></entry>
  72                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294277" xreflabel=""/><emphasis>OSSs:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294278" xreflabel=""/>450 OSSs with 1,000 OSTs</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294279" xreflabel=""/>192 OSSs with 1344 OSTs</para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294280" xreflabel=""/><emphasis>File system:</emphasis></para><para><anchor xml:id="dbdoclet.50438250_pgfId-1294281" xreflabel=""/>10 PB, file size multi-TB</para></entry>
  73               </row>
  74               <row>
  75                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294283" xreflabel=""/> </para></entry>
  76                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294285" xreflabel=""/>Performance</para></entry>
  77                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294287" xreflabel=""/>Up to 5 GB/sec</para></entry>
  78                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294289" xreflabel=""/>OSS throughput at 2.0+ GB/sec</para></entry>
  79               </row>
  80               <row>
  81                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294291" xreflabel=""/>MDSs</para></entry>
  82                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294293" xreflabel=""/>Scalabity</para></entry>
  83                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294295" xreflabel=""/>1 + 1 (failover with one backup)</para></entry>
  84                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294297" xreflabel=""/> </para></entry>
  85               </row>
  86               <row>
  87                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294299" xreflabel=""/> </para></entry>
  88                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294301" xreflabel=""/>Performance</para></entry>
  89                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294303" xreflabel=""/>Up to 35,000/s create, 100,000/s stat metadata operations</para></entry>
  90                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1294305" xreflabel=""/>15,000/s create, 25,000/s stat metadata operations</para></entry>
  91               </row>
  92             </tbody>
  93           </tgroup>
  94         </table>
  95          <para><anchor xml:id="dbdoclet.50438250_pgfId-1293868" xreflabel=""/>Other Lustre features are:</para>
  96         <itemizedlist><listitem>
  97             <para><anchor xml:id="dbdoclet.50438250_pgfId-1295598" xreflabel=""/><emphasis role="bold">Performance-enhanced ext4 file system:</emphasis>  Lustre uses a modified version of the ext4 journaling file system to store data and metadata. This version, called ldiskfs, has been enhanced to improve performance and provide additional functionality needed by Lustre.</para>
  98           </listitem>
  99 <listitem>
 100             <para> </para>
 101           </listitem>
 102 <listitem>
 103             <para><anchor xml:id="dbdoclet.50438250_pgfId-1295599" xreflabel=""/><emphasis role="bold">POSIX compliance</emphasis> : The full POSIX test suite passes with limited exceptions on Lustre clients. In a cluster, most operations are atomic so that clients never see stale data or metadata. Lustre supports mmap() file I/O.</para>
 104           </listitem>
 105 <listitem>
 106             <para> </para>
 107           </listitem>
 108 <listitem>
 109             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293870" xreflabel=""/><emphasis role="bold">High-performance heterogeneous networking:</emphasis>  Lustre supports a variety of high performance, low latency networks and permits Remote Direct Memory Access (RDMA) for Infiniband (OFED). This enables multiple, bridging RDMA networks to useLustre routing for maximum performance. Lustre also provides integrated network diagnostics.</para>
 110           </listitem>
 111 <listitem>
 112             <para> </para>
 113           </listitem>
 114 <listitem>
 115             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293871" xreflabel=""/><emphasis role="bold">High-availability:</emphasis>  Lustre offers active/active failover using shared storage partitions for OSS targets (OSTs) and active/passive failover using a shared storage partition for the MDS target (MDT). This allows application transparent recovery. Lustre can work with a variety of high availability (HA) managers to allow automated failover and has no single point of failure (NSPF). Multiple mount protection (MMP) provides integrated protection from errors in highly-available systems that would otherwise cause file system corruption.</para>
 116           </listitem>
 117 <listitem>
 118             <para> </para>
 119           </listitem>
 120 <listitem>
 121             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293872" xreflabel=""/><emphasis role="bold">Security:</emphasis>  In Lustre, an option is available to have TCP connections only from privileged ports. Group membership handling is server-based.</para>
 122           </listitem>
 123 <listitem>
 124             <para> </para>
 125           </listitem>
 126 <listitem>
 127             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293873" xreflabel=""/><emphasis role="bold">Access control list (ACL), exended attributes</emphasis> : Currently, the Lustre security model follows that of a UNIX file system, enhanced with POSIX ACLs. Noteworthy additional features include root squash and connecting only from privileged ports.</para>
 128           </listitem>
 129 <listitem>
 130             <para> </para>
 131           </listitem>
 132 <listitem>
 133             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293874" xreflabel=""/><emphasis role="bold">Interoperability:</emphasis>  Lustre runs on a variety of CPU architectures and mixed-endian clusters and is interoperable between adjacent Lustre software releases.</para>
 134           </listitem>
 135 <listitem>
 136             <para> </para>
 137           </listitem>
 138 <listitem>
 139             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293875" xreflabel=""/><emphasis role="bold">Object-based architecture:</emphasis>  Clients are isolated from the on-disk file structure enabling upgrading of the storage architecture without affecting the client.</para>
 140           </listitem>
 141 <listitem>
 142             <para> </para>
 143           </listitem>
 144 <listitem>
 145             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293876" xreflabel=""/><emphasis role="bold">Byte-granular file and fine-grained metadata locking:</emphasis>  Any clients can operate on the same file and directory concurrently. A Lustre distributed lock manager (DLM) ensures that files are coherent between all the clients in a file system and the servers. Multiple clients can access the same files concurrently, and the DLM ensures that all the clients see consistent data at all times. The DLM on each MDT and each OST manages the locking for objects stored in that file system. The MDT manages locks on inodes permissions and path names. OST manages locks for each stripe of a file and the data within each object</para>
 146           </listitem>
 147 <listitem>
 148             <para> </para>
 149           </listitem>
 150 <listitem>
 151             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293877" xreflabel=""/><emphasis role="bold">Quotas</emphasis> : User and group quotas are available for Lustre.</para>
 152           </listitem>
 153 <listitem>
 154             <para> </para>
 155           </listitem>
 156 <listitem>
 157             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293878" xreflabel=""/><emphasis role="bold">OSS addition</emphasis> : The capacity of a Lustre file system and aggregate cluster bandwidth can be increased without interrupting any operations by adding a new OSS with OSTs to the cluster.</para>
 158           </listitem>
 159 <listitem>
 160             <para> </para>
 161           </listitem>
 162 <listitem>
 163             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293879" xreflabel=""/><emphasis role="bold">Controlled striping</emphasis> : The distribution of files across OSTs can be configured on a per file, per directory, or per file system basis. This allows file I/O to be tuned to specific application requirements. Lustre uses RAID-0 striping and balances space usage across OSTs.</para>
 164           </listitem>
 165 <listitem>
 166             <para> </para>
 167           </listitem>
 168 <listitem>
 169             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293880" xreflabel=""/><emphasis role="bold">Network data integrity protection:</emphasis>  A checksum of all data sent from the client to the OSS protects against corruption during data transfer.</para>
 170           </listitem>
 171 <listitem>
 172             <para> </para>
 173           </listitem>
 174 <listitem>
 175             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293881" xreflabel=""/><emphasis role="bold">MPI I/O:</emphasis>  Lustre has a dedicated MPI ADIO layer that optimizes parallel I/O to match the underlying file system architecture.</para>
 176           </listitem>
 177 <listitem>
 178             <para> </para>
 179           </listitem>
 180 <listitem>
 181             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293882" xreflabel=""/><emphasis role="bold">NFS and CIFS export:</emphasis>  Lustre files can be re-exported using NFS or CIFS (via Samba) enabling them to be shared with a non-Linux client.</para>
 182           </listitem>
 183 <listitem>
 184             <para> </para>
 185           </listitem>
 186 <listitem>
 187             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293883" xreflabel=""/><emphasis role="bold">Disaster recovery tool:</emphasis>  Lustre provides a distributed file system check (lfsck) that can restore consistency between storage components in case of a major file system error. Lustre can operate even in the presence of file system inconsistencies, so lfsck is not required before returning the file system to production.</para>
 188           </listitem>
 189 <listitem>
 190             <para> </para>
 191           </listitem>
 192 <listitem>
 193             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293884" xreflabel=""/><emphasis role="bold">Internal monitoring and instrumentation interfaces:</emphasis>  Lustre offers a variety of mechanisms to examine performance and tuning.</para>
 194           </listitem>
 195 <listitem>
 196             <para> </para>
 197           </listitem>
 198 <listitem>
 199             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293885" xreflabel=""/><emphasis role="bold">Open source</emphasis> : Lustre is licensed under the GPL 2.0 license for use with Linux.</para>
 200           </listitem>
 201 <listitem>
 202             <para> </para>
 203           </listitem>
 204 </itemizedlist>
 205       </section>
 206     </section>
 207     <section remap="h2">
 208       <title>1.2 <anchor xml:id="dbdoclet.50438250_17402" xreflabel=""/>Lustre <anchor xml:id="dbdoclet.50438250_marker-1293887" xreflabel=""/>Components</title>
 209       <para><anchor xml:id="dbdoclet.50438250_pgfId-1293889" xreflabel=""/>An installation of the Lustre software includes a management server (MGS) and one or more Lustre file systems interconnected with Lustre networking (LNET).</para>
 210       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296520" xreflabel=""/>A basic configuration of Lustre components is shown in <link xl:href="UnderstandingLustre.html#50438250_19307">FIGURE 1-1</link>.</para>
 211       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296507" xreflabel=""/>FIGURE 1-1 <anchor xml:id="dbdoclet.50438250_19307" xreflabel=""/>Lustre components in a basic cluster</para>
 212        <para><anchor xml:id="dbdoclet.50438250_pgfId-1305456" xreflabel=""/></para>
 213       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296511" xreflabel=""/></para>
 214       <para><inlinemediaobject><imageobject role="html">
 215             <imagedata fileref="./figures/Basic_Cluster.png" scalefit="1"/>
 216           </imageobject>
 217 <imageobject role="fo">
 218             <imagedata contentdepth="100%" contentwidth="" depth="" fileref="./figures/Basic_Cluster.png" scalefit="1" width="100%"/>
 219           </imageobject>
 220 </inlinemediaobject></para>
 221       <para><anchor xml:id="dbdoclet.50438250_pgfId-1305455" xreflabel=""/></para>
 222       <section remap="h3">
 223         <title><anchor xml:id="dbdoclet.50438250_pgfId-1296512" xreflabel=""/>1.2.1 Management Server (MGS)</title>
 224         <para><anchor xml:id="dbdoclet.50438250_pgfId-1296493" xreflabel=""/>The MGS stores configuration information for all the Lustre file systems in a cluster and provides this information to other Lustre components. Each Lustre target contacts the MGS to provide information, and Lustre clients contact the MGS to retrieve information.</para>
 225         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293901" xreflabel=""/>It is preferable that the MGS have its own storage space so that it can be managed independently. However, the MGS can beâ€œco-locatedâ€ and share storage space with an MDS as shown in <link xl:href="UnderstandingLustre.html#50438250_19307">FIGURE 1-1</link>.</para>
 226       </section>
 227       <section remap="h3">
 228         <title><anchor xml:id="dbdoclet.50438250_pgfId-1293902" xreflabel=""/>1.2.2 Lustre File System Components</title>
 229         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293903" xreflabel=""/>Each Lustre file system consists of the following components:</para>
 230         <itemizedlist><listitem>
 231             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293904" xreflabel=""/><emphasis role="bold">Metadata Server (MDS)</emphasis>  - The MDS makes metadata stored in one or more MDTs available to Lustre clients. Each MDS manages the names and directories in the Lustre file system(s) and provides network request handling for one or more local MDTs.</para>
 232           </listitem>
 233 <listitem>
 234             <para> </para>
 235           </listitem>
 236 <listitem>
 237             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293905" xreflabel=""/><emphasis role="bold">Metadata Target (MDT</emphasis> ) - The MDT stores metadata (such as filenames, directories, permissions and file layout) on storage attached to an MDS. Each file system has one MDT. An MDT on a shared storage target can be available to multiple MDSs, although only one can access it at a time. If an active MDS fails, a standby MDS can serve the MDT and make it available to clients. This is referred to as MDS failover.</para>
 238           </listitem>
 239 <listitem>
 240             <para> </para>
 241           </listitem>
 242 <listitem>
 243             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293906" xreflabel=""/><emphasis role="bold">Object Storage Servers (OSS)</emphasis> : The OSS provides file I/O service, and network request handling for one or more local OSTs. Typically, an OSS serves between 2 and 8 OSTs, up to 16 TB each. A typical configuration is an MDT on a dedicated node, two or more OSTs on each OSS node, and a client on each of a large number of compute nodes.</para>
 244           </listitem>
 245 <listitem>
 246             <para> </para>
 247           </listitem>
 248 <listitem>
 249             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293907" xreflabel=""/><emphasis role="bold">Object Storage Target (OST)</emphasis> : User file data is stored in one or more objects, each object on a separate OST in a Lustre file system. The number of objects per file is configurable by the user and can be tuned to optimize performance for a given workload.</para>
 250           </listitem>
 251 <listitem>
 252             <para> </para>
 253           </listitem>
 254 <listitem>
 255             <para><anchor xml:id="dbdoclet.50438250_pgfId-1293908" xreflabel=""/><emphasis role="bold">Lustre clients</emphasis> : Lustre clients are computational, visualization or desktop nodes that are running Lustre client software, allowing them to mount the Lustre file system.</para>
 256           </listitem>
 257 <listitem>
 258             <para> </para>
 259           </listitem>
 260 </itemizedlist>
 261         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293909" xreflabel=""/>The Lustre client software provides an interface between the Linux virtual file system and the Lustre servers. The client software includes a Management Client (MGC), a Metadata Client (MDC), and multiple Object Storage Clients (OSCs), one corresponding to each OST in the file system.</para>
 262         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293910" xreflabel=""/>A logical object volume (LOV) aggregates the OSCs to provide transparent access across all the OSTs. Thus, a client with the Lustre file system mounted sees a single, coherent, synchronized namespace. Several clients can write to different parts of the same file simultaneously, while, at the same time, other clients can read from the file.</para>
 263         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293911" xreflabel=""/><link xl:href="UnderstandingLustre.html#50438250_93498">TABLE 1-2</link> provides the requirements for attached storage for each Lustre file system component and describes desirable characterics of the hardware used.</para>
 264          <table frame="all">
 265           <title><anchor xml:id="dbdoclet.50438250_pgfId-1294348" xreflabel=""/> TABLE 1-2 <anchor xml:id="dbdoclet.50438250_93498" xreflabel=""/> Storage and hardware requirements for Lustre components</title>
 266           <tgroup cols="3">
 267             <colspec colname="c1" colwidth="33*"/>
 268             <colspec colname="c2" colwidth="33*"/>
 269             <colspec colname="c3" colwidth="33*"/>
 270             <thead>
 271               <row>
 272                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1293914" xreflabel=""/></emphasis></para></entry>
 273                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1293916" xreflabel=""/>Required attached storage</emphasis></para></entry>
 274                 <entry><para><emphasis role="bold"><anchor xml:id="dbdoclet.50438250_pgfId-1293918" xreflabel=""/>Desirable hardware characteristics</emphasis></para></entry>
 275               </row>
 276             </thead>
 277             <tbody>
 278               <row>
 279                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293920" xreflabel=""/>MDSs</para></entry>
 280                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293922" xreflabel=""/>1-2% of file system capacity</para></entry>
 281                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293924" xreflabel=""/>Adequate CPU power, plenty of memory, fast disk storage.</para></entry>
 282               </row>
 283               <row>
 284                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293926" xreflabel=""/>OSSs</para></entry>
 285                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293928" xreflabel=""/>1-16 TB per OST, 1-8 OSTs per OSS</para></entry>
 286                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293930" xreflabel=""/>Good bus bandwidth. Recommended that storage be balanced evenly across OSSs.</para></entry>
 287               </row>
 288               <row>
 289                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293932" xreflabel=""/>Clients</para></entry>
 290                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293934" xreflabel=""/>None</para></entry>
 291                 <entry><para> <anchor xml:id="dbdoclet.50438250_pgfId-1293936" xreflabel=""/>Low latency, high bandwith network.</para></entry>
 292               </row>
 293             </tbody>
 294           </tgroup>
 295         </table>
 296          <para><anchor xml:id="dbdoclet.50438250_pgfId-1293938" xreflabel=""/>For additional hardware requirements and considerations, see <link xl:href="SettingUpLustreSystem.html#50438256_38751">Chapter 5</link>: <link xl:href="SettingUpLustreSystem.html#50438256_66186">Setting Up a Lustre File System</link>.</para>
 297       </section>
 298       <section remap="h3">
 299         <title><anchor xml:id="dbdoclet.50438250_pgfId-1295546" xreflabel=""/>1.2.3 Lustre Networking (LNET)</title>
 300         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293939" xreflabel=""/>Lustre Networking (LNET) is a custom networking API that provides the communication infrastructure that handles metadata and file I/O data for the Lustre file system servers and clients. For more information about LNET, see <link xl:href="UnderstandingLustreNetworking.html#50438191_53094">Chapter 2</link>: <link xl:href="UnderstandingLustreNetworking.html#50438191_40026">Understanding Lustre Networking (LNET)</link>.</para>
 301       </section>
 302       <section remap="h3">
 303         <title><anchor xml:id="dbdoclet.50438250_pgfId-1293940" xreflabel=""/>1.2.4 Lustre Cluster</title>
 304         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293941" xreflabel=""/>At scale, the Lustre cluster can include hundreds of OSSs and thousands of clients (see <link xl:href="UnderstandingLustre.html#50438250_29755">FIGURE 1-2</link>). More than one type of network can be used in a Lustre cluster. Shared storage between OSSs enables failover capability. For more details about OSS failover, see <link xl:href="UnderstandingFailover.html#50438188_50628">Chapter 3: Understanding Failover in Lustre</link>.</para>
 305         <para><anchor xml:id="dbdoclet.50438250_pgfId-1296596" xreflabel=""/>FIGURE 1-2 <anchor xml:id="dbdoclet.50438250_29755" xreflabel=""/>Lustre cluster at scale</para>
 306          <para><anchor xml:id="dbdoclet.50438250_pgfId-1305452" xreflabel=""/></para>
 307         <para><anchor xml:id="dbdoclet.50438250_pgfId-1296600" xreflabel=""/></para>
 308         <para><inlinemediaobject><imageobject role="html">
 309               <imagedata fileref="./figures/Scaled_Cluster.png" scalefit="1"/>
 310             </imageobject>
 311 <imageobject role="fo">
 312               <imagedata contentdepth="100%" contentwidth="" depth="" fileref="./figures/Scaled_Cluster.png" scalefit="1" width="100%"/>
 313             </imageobject>
 314 </inlinemediaobject></para>
 315         <para><anchor xml:id="dbdoclet.50438250_pgfId-1305451" xreflabel=""/></para>
 316       </section>
 317     </section>
 318     <section remap="h2">
 319       <title>1.3 <anchor xml:id="dbdoclet.50438250_38077" xreflabel=""/>Lustre Storage and I/O</title>
 320       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296581" xreflabel=""/>In a Lustre file system, a file stored on the MDT points to one or more objects associated with a data file, as shown in <link xl:href="UnderstandingLustre.html#50438250_84542">FIGURE 1-3</link>. Each object contains data and is stored on an OST. If the MDT file points to one object, all the file data is stored in that object. If the file points to more than one object, the file data is â€œstripedâ€ across the objects (using RAID 0) and each object is stored on a different OST. (For more information about how striping is implemented in Lustre, see <link xl:href="UnderstandingLustre.html#50438250_89922">Lustre File System and Striping</link>.)</para>
 321       <para><anchor xml:id="dbdoclet.50438250_pgfId-1295037" xreflabel=""/>In <link xl:href="UnderstandingLustre.html#50438250_84542">FIGURE 1-3</link>, each filename points to an inode. The inode contains all of the file attributes, such as owner, access permissions, Lustre striping layout, access time, and access control. Multiple filenames may point to the same inode.</para>
 322       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296657" xreflabel=""/>FIGURE 1-3 <anchor xml:id="dbdoclet.50438250_84542" xreflabel=""/>MDT file points to objects on OSTs containing file data</para>
 323        <para><anchor xml:id="dbdoclet.50438250_pgfId-1305458" xreflabel=""/></para>
 324       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296661" xreflabel=""/></para>
 325       <para><inlinemediaobject><imageobject role="html">
 326             <imagedata fileref="./figures/Metadata_File.png" scalefit="1"/>
 327           </imageobject>
 328 <imageobject role="fo">
 329             <imagedata contentdepth="100%" contentwidth="" depth="" fileref="./figures/Metadata_File.png" scalefit="1" width="100%"/>
 330           </imageobject>
 331 </inlinemediaobject></para>
 332       <para><anchor xml:id="dbdoclet.50438250_pgfId-1305457" xreflabel=""/></para>
 333       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296662" xreflabel=""/>When a client opens a file, the fileopen operation transfers the file layout from the MDS to the client. The client then uses this information to perform I/O on the file, directly interacting with the OSS nodes where the objects are stored. This process is illustrated in <link xl:href="UnderstandingLustre.html#50438250_87706">FIGURE 1-4</link>.</para>
 334       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296837" xreflabel=""/>FIGURE 1-4 <anchor xml:id="dbdoclet.50438250_87706" xreflabel=""/>File open and file I/O in Lustre</para>
 335        <para><anchor xml:id="dbdoclet.50438250_pgfId-1305460" xreflabel=""/></para>
 336       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296841" xreflabel=""/></para>
 337       <para><inlinemediaobject><imageobject role="html">
 338             <imagedata fileref="./figures/File_Write.png" scalefit="1"/>
 339           </imageobject>
 340 <imageobject role="fo">
 341             <imagedata contentdepth="100%" contentwidth="" depth="" fileref="./figures/File_Write.png" scalefit="1" width="100%"/>
 342           </imageobject>
 343 </inlinemediaobject></para>
 344       <para><anchor xml:id="dbdoclet.50438250_pgfId-1305459" xreflabel=""/></para>
 345       <para><anchor xml:id="dbdoclet.50438250_pgfId-1296842" xreflabel=""/>Each file on the MDT contains the layout of the associated data file, including the OST number and object identifier. Clients request the file layout from the MDS and then perform file I/O operations by communicating directly with the OSSs that manage that file data.</para>
 346       <para><anchor xml:id="dbdoclet.50438250_pgfId-1297084" xreflabel=""/>The available bandwidth of a Lustre file system is determined as follows:</para>
 347       <itemizedlist><listitem>
 348           <para><anchor xml:id="dbdoclet.50438250_pgfId-1293969" xreflabel=""/> The <emphasis>network bandwidth</emphasis> equals the aggregated bandwidth of the OSSs to the targets.</para>
 349         </listitem>
 350 <listitem>
 351           <para> </para>
 352         </listitem>
 353 <listitem>
 354           <para><anchor xml:id="dbdoclet.50438250_pgfId-1293970" xreflabel=""/> The <emphasis>disk bandwidth</emphasis> equals the sum of the disk bandwidths of the storage targets (OSTs) up to the limit of the network bandwidth.</para>
 355         </listitem>
 356 <listitem>
 357           <para> </para>
 358         </listitem>
 359 <listitem>
 360           <para><anchor xml:id="dbdoclet.50438250_pgfId-1293971" xreflabel=""/> The <emphasis>aggregate bandwidth</emphasis> equals the minimium of the disk bandwidth and the network bandwidth.</para>
 361         </listitem>
 362 <listitem>
 363           <para> </para>
 364         </listitem>
 365 <listitem>
 366           <para><anchor xml:id="dbdoclet.50438250_pgfId-1293972" xreflabel=""/> The <emphasis>available file system space</emphasis> equals the sum of the available space of all the OSTs.</para>
 367         </listitem>
 368 <listitem>
 369           <para> </para>
 370         </listitem>
 371 </itemizedlist>
 372       <section remap="h3">
 373         <title><anchor xml:id="dbdoclet.50438250_pgfId-1293973" xreflabel=""/>1.3.1 <anchor xml:id="dbdoclet.50438250_89922" xreflabel=""/>Lustre File System and Striping</title>
 374         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297909" xreflabel=""/>One of the main factors leading to the high performance of Lustre file systems is the ability to stripe data across multiple OSTs in a round-robin fashion. Users can optionally configure for each file the number of stripes, stripe size, and OSTs that are used.</para>
 375         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297885" xreflabel=""/>Striping can be used to improve performance when the aggregate bandwidth to a single file exeeds the bandwidth of a single OST. The ability to stripe is also useful when a single OST does not have anough free space to hold an entire file. For more information about benefits and drawbacks of file striping, see <link xl:href="ManagingStripingFreeSpace.html#50438209_48033">Lustre File Striping Considerations</link>.</para>
 376         <para><anchor xml:id="dbdoclet.50438250_pgfId-1295480" xreflabel=""/>Striping allows segments or â€œchunksâ€ of data in a file to be stored on different OSTs, as shown in <link xl:href="UnderstandingLustre.html#50438250_31359">FIGURE 1-5</link>. In the Lustre file system, a RAID 0 pattern is used in which data is &quot;striped&quot; across a certain number of objects. The number of objects in a single file is called the stripe_count.</para>
 377         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293978" xreflabel=""/>Each object contains a chunk of data from the file. When the chunk of data being written to a particular object exceeds the stripe_size, the next chunk of data in the file is stored on the next object.</para>
 378         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293979" xreflabel=""/>Default values for stripe_count and stripe_size are set for the file system. The default value for stripe_count is 1 stripe for file and the default value for stripe_size is 1MB. The user may change these values on a per directory or per file basis. For more details, see <link xl:href="ManagingStripingFreeSpace.html#50438209_78664">Setting the File Layout/Striping Configuration (lfs setstripe)</link>.</para>
 379         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293983" xreflabel=""/>In <link xl:href="UnderstandingLustre.html#50438250_31359">FIGURE 1-5</link>, the stripe_size for File C is larger than the stripe_size for File A, allowing more data to be stored in a single stripe for File C. The stripe_count for File A is 3, resulting in data striped across three objects, while the stripe_count for File B and File C is 1.</para>
 380         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297121" xreflabel=""/>No space is reserved on the OST for unwritten data. File A in <link xl:href="UnderstandingLustre.html#50438250_31359">FIGURE 1-5</link> is a sparse file that is missing chunk 6.</para>
 381         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297242" xreflabel=""/>FIGURE 1-5 <anchor xml:id="dbdoclet.50438250_31359" xreflabel=""/>File striping pattern across three OSTs for three different data files</para>
 382          <para><anchor xml:id="dbdoclet.50438250_pgfId-1305454" xreflabel=""/></para>
 383         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297246" xreflabel=""/></para>
 384         <para><inlinemediaobject><imageobject role="html">
 385               <imagedata fileref="./figures/File_Striping.png" scalefit="1"/>
 386             </imageobject>
 387 <imageobject role="fo">
 388               <imagedata contentdepth="100%" contentwidth="" depth="" fileref="./figures/File_Striping.png" scalefit="1" width="100%"/>
 389             </imageobject>
 390 </inlinemediaobject></para>
 391         <para><anchor xml:id="dbdoclet.50438250_pgfId-1305453" xreflabel=""/></para>
 392         <para><anchor xml:id="dbdoclet.50438250_pgfId-1297211" xreflabel=""/>The maximum file size is not limited by the size of a single target. Lustre can stripe files across multiple objects (up to 160), and each object can be up to 2 TB in size. This leads to a maximum file size of 320 TB. (Note that Lustre itself can support files up to 2^64 bytes depending on the backing storage used by OSTs.)</para>
 393         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293994" xreflabel=""/>Athough a single file can only be striped over 160 objects, Lustre file systems can have thousands of OSTs. The I/O bandwidth to access a single file is the aggregated I/O bandwidth to the objects in a file, which can be as much as a bandwidth of up to 160 servers. On systems with more than 160 OSTs, clients can do I/O using multiple files to utilize the full file system bandwidth.</para>
 394         <para><anchor xml:id="dbdoclet.50438250_pgfId-1293996" xreflabel=""/>For more information about striping, see <link xl:href="ManagingStripingFreeSpace.html#50438209_21279">Chapter 18</link>: <link xl:href="ManagingStripingFreeSpace.html#50438209_66186">Managing File Striping and Free Space</link>.</para>
 395     </section>
 396     </section>
 397   </section>
 398 </chapter>