ConfiguringLustre.xml

   1 <?xml version='1.0' encoding='UTF-8'?><chapter xmlns="http://docbook.org/ns/docbook" xmlns:xl="http://www.w3.org/1999/xlink" version="5.0" xml:lang="en-US" xml:id="configuringlustre">
   2   <title xml:id="configuringlustre.title">Configuring a Lustre File System</title>
   3   <para>This chapter shows how to configure a simple Lustre file system comprised of a combined
   4     MGS/MDT, an OST and a client. It includes:</para>
   5   <itemizedlist>
   6     <listitem>
   7       <para><xref linkend="dbdoclet.50438267_50692"/>
   8           </para>
   9     </listitem>
  10     <listitem>
  11       <para><xref linkend="dbdoclet.50438267_76752"/>
  12           </para>
  13     </listitem>
  14   </itemizedlist>
  15   <section xml:id="dbdoclet.50438267_50692">
  16       <title>
  17           <indexterm><primary>Lustre</primary><secondary>configuring</secondary></indexterm>
  18           Configuring a Simple Lustre File System</title>
  19     <para>A Lustre file system can be set up in a variety of configurations by using the
  20       administrative utilities provided with the Lustre software. The procedure below shows how to
  21       configure a simple Lustre file system consisting of a combined MGS/MDS, one OSS with two OSTs,
  22       and a client. For an overview of the entire Lustre installation procedure, see <xref
  23         linkend="installoverview"/>.</para>
  24     <para>This configuration procedure assumes you have completed the following:</para>
  25     <itemizedlist>
  26       <listitem>
  27         <para><emphasis>
  28             <emphasis role="bold">Set up and configured your hardware</emphasis>
  29           </emphasis>. For more information about hardware requirements, see <xref linkend="settinguplustresystem"/>.</para>
  30       </listitem>
  31       <listitem>
  32         <para><emphasis role="bold">Downloaded and installed the Lustre software.</emphasis>  For more information about preparing for and installing the Lustre software, see <xref linkend="installinglustre"/>.</para>
  33       </listitem>
  34     </itemizedlist>
  35     <para>The following optional steps should also be completed, if needed, before the Lustre software is configured:</para>
  36     <itemizedlist>
  37       <listitem>
  38         <para><emphasis>Set up a hardware or software RAID on block devices to be used as OSTs or MDTs.</emphasis>  For information about setting up RAID, see the documentation for your RAID controller or <xref linkend="configuringstorage"/>.</para>
  39       </listitem>
  40       <listitem>
  41         <para><emphasis>Set up network interface bonding on Ethernet interfaces.</emphasis>  For information about setting up network interface bonding, see <xref linkend="settingupbonding"/>.</para>
  42       </listitem>
  43       <listitem>
  44         <para><emphasis>Set</emphasis> lnet <emphasis>module parameters to specify how Lustre
  45             Networking (LNET) is to be configured to work with a Lustre file system and test the
  46             LNET configuration.</emphasis> LNET will, by default, use the first TCP/IP interface it
  47           discovers on a system. If this network configuration is sufficient, you do not need to
  48           configure LNET. LNET configuration is required if you are using InfiniBand or multiple
  49           Ethernet interfaces.</para>
  50       </listitem>
  51     </itemizedlist>
  52     <para>For information about configuring LNET, see <xref linkend="configuringlnet"/>. For information about testing LNET, see <xref linkend="lnetselftest"/>.</para>
  53     <itemizedlist>
  54       <listitem>
  55         <para><emphasis>Run the benchmark script <literal>sgpdd-survey</literal> to determine
  56             baseline performance of your hardware.</emphasis> Benchmarking your hardware will
  57           simplify debugging performance issues that are unrelated to the Lustre software and ensure
  58           you are getting the best possible performance with your installation. For information
  59           about running <literal>sgpdd-survey</literal>, see <xref linkend="benchmarkingtests"
  60           />.</para>
  61       </listitem>
  62     </itemizedlist>
  63     <note>
  64       <para>The <literal>sgpdd-survey</literal> script overwrites the device being tested so it must
  65         be run before the OSTs are configured.</para>
  66     </note>
  67     <para>To configure a simple Lustre file system, complete these steps:</para>
  68     <orderedlist>
  69       <listitem>
  70         <para>Create a combined MGS/MDT file system on a block device. On the MDS node, run:</para>
  71         <screen>mkfs.lustre --fsname=<replaceable>fsname</replaceable> --mgs --mdt --index=0 <replaceable>/dev/block_device</replaceable></screen>
  72         <para>The default file system name (<literal>fsname</literal>) is <literal>lustre</literal>.</para>
  73         <note>
  74           <para>If you plan to create multiple file systems, the MGS should be created separately on its own dedicated block device, by running:</para>
  75           <screen>mkfs.lustre --fsname=<replaceable>fsname</replaceable> --mgs <replaceable>/dev/block_device</replaceable></screen>
  76           <para>See <xref linkend="dbdoclet.50438194_88063"/> for more details.</para>
  77         </note>
  78       </listitem>
  79       <listitem xml:id="dbdoclet.addmdtindex">
  80                 <para>Optional for Lustre software release 2.4 and later. Add in additional MDTs.</para>
  81         <screen>mkfs.lustre --fsname=<replaceable>fsname</replaceable> --mgsnode=<replaceable>nid</replaceable> --mdt --index=1 <replaceable>/dev/block_device</replaceable></screen>
  82                 <note><para>Up to 4095 additional MDTs can be added.</para></note>
  83       </listitem>
  84       <listitem>
  85         <para>Mount the combined MGS/MDT file system on the block device. On the MDS node, run:</para>
  86         <screen>mount -t lustre <replaceable>/dev/block_device</replaceable> <replaceable>/mount_point</replaceable></screen>
  87         <note>
  88           <para>If you have created an MGS and an MDT on separate block devices, mount them both.</para>
  89         </note>
  90       </listitem>
  91       <listitem xml:id="dbdoclet.50438267_pgfId-1290915">
  92         <para>Create the OST. On the OSS node, run:</para>
  93         <screen>mkfs.lustre --fsname=<replaceable>fsname</replaceable> --mgsnode=<replaceable>MGS_NID</replaceable> --ost --index=<replaceable>OST_index</replaceable> <replaceable>/dev/block_device</replaceable></screen>
  94         <para>When you create an OST, you are formatting a <literal>ldiskfs</literal> or <literal>ZFS</literal> file system on a block storage device like you would with any local file system.</para>
  95         <para>You can have as many OSTs per OSS as the hardware or drivers allow. For more information about storage and memory requirements for a Lustre file system, see <xref linkend="settinguplustresystem"/>.</para>
  96         <para>You can only configure one OST per block device. You should create an OST that uses the raw block device and does not use partitioning.</para>
  97         <para>You should specify the OST index number at format time in order to simplify translating the OST number in error messages or file striping to the OSS node and block device later on.</para>
  98         <para>If you are using block devices that are accessible from multiple OSS nodes, ensure that you mount the OSTs from only one OSS node at at time. It is strongly recommended that multiple-mount protection be enabled for such devices to prevent serious data corruption. For more information about multiple-mount protection, see <xref linkend="managingfailover"/>.</para>
  99         <note>
 100           <para>The Lustre software currently supports block devices up to 128 TB on Red Hat
 101             Enterprise Linux 5 and 6 (up to 8 TB on other distributions). If the device size is only
 102             slightly larger that 16 TB, it is recommended that you limit the file system size to 16
 103             TB at format time. We recommend that you not place DOS partitions on top of RAID 5/6
 104             block devices due to negative impacts on performance, but instead format the whole disk
 105             for the file system.</para>
 106         </note>
 107       </listitem>
 108       <listitem xml:id="dbdoclet.50438267_pgfId-1293955">
 109         <para>Mount the OST. On the OSS node where the OST was created, run:</para>
 110         <screen>mount -t lustre <replaceable>/dev/block_device</replaceable> <replaceable>/mount_point</replaceable></screen>
 111         <note>
 112           <para>
 113               To create additional OSTs, repeat Step <xref linkend="dbdoclet.50438267_pgfId-1290915"/> and Step <xref linkend="dbdoclet.50438267_pgfId-1293955"/>, specifying the next higher OST index number.</para>
 114         </note>
 115       </listitem>
 116       <listitem xml:id="dbdoclet.50438267_pgfId-1290934">
 117         <para>Mount the Lustre file system on the client. On the client node, run:</para>
 118         <screen>mount -t lustre <replaceable>MGS_node</replaceable>:/<replaceable>fsname</replaceable> <replaceable>/mount_point</replaceable>
 119 </screen>
 120         <note>
 121           <para>To create additional clients, repeat Step <xref linkend="dbdoclet.50438267_pgfId-1290934"/>.</para>
 122         </note>
 123         <note>
 124             <para>If you have a problem mounting the file system, check the syslogs on the client and all the servers for errors and also check the network settings. A common issue with newly-installed systems is that <literal>hosts.deny</literal> or firewall rules may prevent connections on port 988.</para>
 125         </note>
 126       </listitem>
 127       <listitem>
 128           <para>Verify that the file system started and is working correctly. Do this by running <literal>lfs df</literal>, <literal>dd</literal> and <literal>ls</literal> commands on the client node.</para>
 129       </listitem>
 130       <listitem>
 131         <para><emphasis>(Optional)</emphasis> Run benchmarking tools to validate the performance of hardware and software layers in the cluster. Available tools include:</para>
 132         <itemizedlist>
 133           <listitem>
 134             <para><literal>obdfilter-survey</literal> - Characterizes the storage performance of a
 135               Lustre file system. For details, see <xref linkend="dbdoclet.50438212_26516"/>.</para>
 136           </listitem>
 137           <listitem>
 138             <para><literal>ost-survey</literal> - Performs I/O against OSTs to detect anomalies
 139               between otherwise identical disk subsystems. For details, see <xref
 140                 linkend="dbdoclet.50438212_85136"/>.</para>
 141           </listitem>
 142         </itemizedlist>
 143       </listitem>
 144     </orderedlist>
 145     <section remap="h3">
 146         <title>
 147             <indexterm><primary>Lustre</primary><secondary>configuring</secondary><tertiary>simple example</tertiary></indexterm>
 148             Simple Lustre Configuration Example</title>
 149       <para>To see the steps to complete for a simple Lustre file system configuration, follow this
 150         example in which a combined MGS/MDT and two OSTs are created to form a file system called
 151           <literal>temp</literal>. Three block devices are used, one for the combined MGS/MDS node
 152         and one for each OSS node. Common parameters used in the example are listed below, along
 153         with individual node parameters.</para>
 154       <informaltable frame="all">
 155         <tgroup cols="4">
 156           <colspec colname="c1" colwidth="2*"/>
 157           <colspec colname="c2" colwidth="25*"/>
 158           <colspec colname="c3" colwidth="25*"/>
 159           <colspec colname="c4" colwidth="25*"/>
 160           <thead>
 161             <row>
 162               <entry nameend="c2" namest="c1">
 163                 <para><emphasis role="bold">Common Parameters</emphasis></para>
 164               </entry>
 165               <entry>
 166                 <para><emphasis role="bold">Value</emphasis></para>
 167               </entry>
 168               <entry>
 169                 <para><emphasis role="bold">Description</emphasis></para>
 170               </entry>
 171             </row>
 172           </thead>
 173           <tbody>
 174             <row>
 175               <entry>
 176                 <para> &#160;</para>
 177               </entry>
 178               <entry>
 179                 <para> <emphasis role="bold">MGS node</emphasis></para>
 180               </entry>
 181               <entry>
 182                 <para> <literal>10.2.0.1@tcp0</literal></para>
 183               </entry>
 184               <entry>
 185                 <para>Node for the combined MGS/MDS</para>
 186               </entry>
 187             </row>
 188             <row>
 189               <entry>
 190                 <para> &#160;</para>
 191               </entry>
 192               <entry>
 193                 <para> <emphasis role="bold">file system</emphasis></para>
 194               </entry>
 195               <entry>
 196                 <para><literal> temp</literal></para>
 197               </entry>
 198               <entry>
 199                 <para>Name of the Lustre file system</para>
 200               </entry>
 201             </row>
 202             <row>
 203               <entry>
 204                 <para> &#160;</para>
 205               </entry>
 206               <entry>
 207                 <para> <emphasis role="bold">network type</emphasis></para>
 208               </entry>
 209               <entry>
 210                 <para> <literal>TCP/IP</literal></para>
 211               </entry>
 212               <entry>
 213                 <para>Network type used for Lustre file system <literal>temp</literal></para>
 214               </entry>
 215             </row>
 216           </tbody>
 217         </tgroup>
 218       </informaltable>
 219       <informaltable frame="all">
 220         <tgroup cols="4">
 221           <colspec colname="c1" colwidth="25*"/>
 222           <colspec colname="c2" colwidth="25*"/>
 223           <colspec colname="c3" colwidth="25*"/>
 224           <colspec colname="c4" colwidth="25*"/>
 225           <thead>
 226             <row>
 227               <entry nameend="c2" namest="c1">
 228                 <para><emphasis role="bold">Node Parameters</emphasis></para>
 229               </entry>
 230               <entry>
 231                 <para><emphasis role="bold">Value</emphasis></para>
 232               </entry>
 233               <entry>
 234                 <para><emphasis role="bold">Description</emphasis></para>
 235               </entry>
 236             </row>
 237           </thead>
 238           <tbody>
 239             <row>
 240               <entry nameend="c4" namest="c1">
 241                 <para> MGS/MDS node</para>
 242               </entry>
 243             </row>
 244             <row>
 245               <entry>
 246                 <para> &#160;</para>
 247               </entry>
 248               <entry>
 249                 <para> <emphasis role="bold">MGS/MDS node</emphasis></para>
 250               </entry>
 251               <entry>
 252                 <para> <literal>mdt0</literal></para>
 253               </entry>
 254               <entry>
 255                 <para>MDS in Lustre file system <literal>temp</literal></para>
 256               </entry>
 257             </row>
 258             <row>
 259               <entry>
 260                 <para> &#160;</para>
 261               </entry>
 262               <entry>
 263                 <para> <emphasis role="bold">block device</emphasis></para>
 264               </entry>
 265               <entry>
 266                 <para> <literal>/dev/sdb</literal></para>
 267               </entry>
 268               <entry>
 269                 <para>Block device for the combined MGS/MDS node</para>
 270               </entry>
 271             </row>
 272             <row>
 273               <entry>
 274                 <para> &#160;</para>
 275               </entry>
 276               <entry>
 277                 <para> <emphasis role="bold">mount point</emphasis></para>
 278               </entry>
 279               <entry>
 280                 <para> <literal>/mnt/mdt</literal></para>
 281               </entry>
 282               <entry>
 283                 <para>Mount point for the <literal>mdt0</literal> block device (<literal>/dev/sdb</literal>) on the MGS/MDS node</para>
 284               </entry>
 285             </row>
 286             <row>
 287               <entry nameend="c4" namest="c1">
 288                 <para> First OSS node</para>
 289               </entry>
 290             </row>
 291             <row>
 292               <entry>
 293                 <para> &#160;</para>
 294               </entry>
 295               <entry>
 296                 <para> <emphasis role="bold">OSS node</emphasis></para>
 297               </entry>
 298               <entry>
 299                 <para><literal> oss0</literal></para>
 300               </entry>
 301               <entry>
 302                 <para>First OSS node in Lustre file system <literal>temp</literal></para>
 303               </entry>
 304             </row>
 305             <row>
 306               <entry>
 307                 <para> &#160;</para>
 308               </entry>
 309               <entry>
 310                 <para> <emphasis role="bold">OST</emphasis></para>
 311               </entry>
 312               <entry>
 313                 <para><literal>ost0</literal></para>
 314               </entry>
 315               <entry>
 316                 <para>First OST in Lustre file system <literal>temp</literal></para>
 317               </entry>
 318             </row>
 319             <row>
 320               <entry>
 321                 <para> &#160;</para>
 322               </entry>
 323               <entry>
 324                 <para> <emphasis role="bold">block device</emphasis></para>
 325               </entry>
 326               <entry>
 327                 <para> <literal>/dev/sdc</literal></para>
 328               </entry>
 329               <entry>
 330                 <para>Block device for the first OSS node (<literal>oss0</literal>)</para>
 331               </entry>
 332             </row>
 333             <row>
 334               <entry>
 335                 <para> &#160;</para>
 336               </entry>
 337               <entry>
 338                 <para> <emphasis role="bold">mount point</emphasis></para>
 339               </entry>
 340               <entry>
 341                 <para> <literal>/mnt/ost0</literal></para>
 342               </entry>
 343               <entry>
 344                 <para> Mount point for the <literal>ost0</literal> block device (<literal>/dev/sdc</literal>) on the <literal>oss1</literal> node</para>
 345               </entry>
 346             </row>
 347             <row>
 348               <entry nameend="c4" namest="c1">
 349                 <para> Second OSS node</para>
 350               </entry>
 351             </row>
 352             <row>
 353               <entry>
 354                 <para> </para>
 355               </entry>
 356               <entry>
 357                 <para> <emphasis role="bold">OSS node</emphasis></para>
 358               </entry>
 359               <entry>
 360                 <para><literal>oss1</literal></para>
 361               </entry>
 362               <entry>
 363                 <para>Second OSS node in Lustre file system <literal>temp</literal></para>
 364               </entry>
 365             </row>
 366             <row>
 367               <entry>
 368                 <para> </para>
 369               </entry>
 370               <entry>
 371                 <para> <emphasis role="bold">OST</emphasis></para>
 372               </entry>
 373               <entry>
 374                 <para> <literal>ost1</literal></para>
 375               </entry>
 376               <entry>
 377                 <para>Second OST in Lustre file system <literal>temp</literal></para>
 378               </entry>
 379             </row>
 380             <row>
 381               <entry/>
 382               <entry>
 383                 <para> <emphasis role="bold">block device</emphasis></para>
 384               </entry>
 385               <entry>
 386                 <para><literal>/dev/sdd</literal></para>
 387               </entry>
 388               <entry>
 389                 <para>Block device for the second OSS node (oss1)</para>
 390               </entry>
 391             </row>
 392             <row>
 393               <entry>
 394                 <para> </para>
 395               </entry>
 396               <entry>
 397                 <para> <emphasis role="bold">mount point</emphasis></para>
 398               </entry>
 399               <entry>
 400                 <para><literal>/mnt/ost1</literal></para>
 401               </entry>
 402               <entry>
 403                 <para> Mount point for the <literal>ost1</literal> block device (<literal>/dev/sdd</literal>) on the <literal>oss1</literal> node</para>
 404               </entry>
 405             </row>
 406             <row>
 407               <entry nameend="c4" namest="c1">
 408                 <para> Client node</para>
 409               </entry>
 410             </row>
 411             <row>
 412               <entry>
 413                 <para> </para>
 414               </entry>
 415               <entry>
 416                 <para> <emphasis role="bold">client node</emphasis></para>
 417               </entry>
 418               <entry>
 419                 <para> <literal>client1</literal></para>
 420               </entry>
 421               <entry>
 422                 <para>Client in Lustre file system <literal>temp</literal></para>
 423               </entry>
 424             </row>
 425             <row>
 426               <entry>
 427                 <para> </para>
 428               </entry>
 429               <entry>
 430                 <para> <emphasis role="bold">mount point</emphasis></para>
 431               </entry>
 432               <entry>
 433                 <para> <literal>/lustre</literal></para>
 434               </entry>
 435               <entry>
 436                 <para>Mount point for Lustre file system <literal>temp</literal> on the
 437                     <literal>client1</literal> node</para>
 438               </entry>
 439             </row>
 440           </tbody>
 441         </tgroup>
 442       </informaltable>
 443       <note>
 444         <para>We recommend that you use &apos;dotted-quad&apos; notation for IP addresses rather than host names to make it easier to read debug logs and debug configurations with multiple interfaces.</para>
 445       </note>
 446       <para>For this example, complete the steps below:</para>
 447       <orderedlist>
 448         <listitem>
 449           <para>Create a combined MGS/MDT file system on the block device. On the MDS node, run:</para>
 450           <screen>[root@mds /]# mkfs.lustre --fsname=temp --mgs --mdt --index=0 /dev/sdb</screen>
 451           <para>This command generates this output:</para>
 452           <screen>    Permanent disk data:
 453 Target:            temp-MDT0000
 454 Index:             0
 455 Lustre FS: temp
 456 Mount type:        ldiskfs
 457 Flags:             0x75
 458    (MDT MGS first_time update )
 459 Persistent mount opts: errors=remount-ro,iopen_nopriv,user_xattr
 460 Parameters: mdt.identity_upcall=/usr/sbin/l_getidentity
 461
 462 checking for existing Lustre data: not found
 463 device size = 16MB
 464 2 6 18
 465 formatting backing filesystem ldiskfs on /dev/sdb
 466    target name             temp-MDTffff
 467    4k blocks               0
 468    options                 -i 4096 -I 512 -q -O dir_index,uninit_groups -F
 469 mkfs_cmd = mkfs.ext2 -j -b 4096 -L temp-MDTffff  -i 4096 -I 512 -q -O
 470 dir_index,uninit_groups -F /dev/sdb
 471 Writing CONFIGS/mountdata </screen>
 472         </listitem>
 473         <listitem>
 474           <para>Mount the combined MGS/MDT file system on the block device. On the MDS node, run:</para>
 475           <screen>[root@mds /]# mount -t lustre /dev/sdb /mnt/mdt</screen>
 476           <para>This command generates this output:</para>
 477           <screen>Lustre: temp-MDT0000: new disk, initializing
 478 Lustre: 3009:0:(lproc_mds.c:262:lprocfs_wr_identity_upcall()) temp-MDT0000:
 479 group upcall set to /usr/sbin/l_getidentity
 480 Lustre: temp-MDT0000.mdt: set parameter identity_upcall=/usr/sbin/l_getidentity
 481 Lustre: Server temp-MDT0000 on device /dev/sdb has started </screen>
 482         </listitem>
 483         <listitem xml:id="dbdoclet.50438267_pgfId-1291170">
 484           <para>Create and mount <literal>ost0</literal>.</para>
 485           <para>In this example, the OSTs (<literal>ost0</literal> and <literal>ost1</literal>) are being created on different OSS nodes (<literal>oss0</literal> and <literal>oss1</literal> respectively).</para>
 486           <orderedlist>
 487             <listitem>
 488               <para>Create <literal>ost0</literal>. On <literal>oss0</literal> node, run:</para>
 489               <screen>[root@oss0 /]# mkfs.lustre --fsname=temp --mgsnode=10.2.0.1@tcp0 --ost --index=0 /dev/sdc</screen>
 490               <para>The command generates this output:</para>
 491               <screen>    Permanent disk data:
 492 Target:            temp-OST0000
 493 Index:             0
 494 Lustre FS: temp
 495 Mount type:        ldiskfs
 496 Flags:             0x72
 497 (OST first_time update)
 498 Persistent mount opts: errors=remount-ro,extents,mballoc
 499 Parameters: mgsnode=10.2.0.1@tcp
 500
 501 checking for existing Lustre data: not found
 502 device size = 16MB
 503 2 6 18
 504 formatting backing filesystem ldiskfs on /dev/sdc
 505    target name             temp-OST0000
 506    4k blocks               0
 507    options                 -I 256 -q -O dir_index,uninit_groups -F
 508 mkfs_cmd = mkfs.ext2 -j -b 4096 -L temp-OST0000  -I 256 -q -O
 509 dir_index,uninit_groups -F /dev/sdc
 510 Writing CONFIGS/mountdata </screen>
 511             </listitem>
 512             <listitem>
 513               <para>Mount ost0 on the OSS on which it was created. On <literal>oss0</literal> node, run:</para>
 514               <screen>root@oss0 /] mount -t lustre /dev/sdc /mnt/ost0</screen>
 515               <para>The command generates this output:</para>
 516               <screen>LDISKFS-fs: file extents enabled
 517 LDISKFS-fs: mballoc enabled
 518 Lustre: temp-OST0000: new disk, initializing
 519 Lustre: Server temp-OST0000 on device /dev/sdb has started</screen>
 520               <para>Shortly afterwards, this output appears:</para>
 521               <screen>Lustre: temp-OST0000: received MDS connection from 10.2.0.1@tcp0
 522 Lustre: MDS temp-MDT0000: temp-OST0000_UUID now active, resetting orphans </screen>
 523             </listitem>
 524           </orderedlist>
 525         </listitem>
 526         <listitem>
 527           <para>Create and mount <literal>ost1</literal>.</para>
 528           <orderedlist>
 529             <listitem>
 530               <para>Create ost1. On <literal>oss1</literal> node, run:</para>
 531               <screen>[root@oss1 /]# mkfs.lustre --fsname=temp --mgsnode=10.2.0.1@tcp0 \
 532            --ost --index=1 /dev/sdd</screen>
 533               <para>The command generates this output:</para>
 534               <screen>    Permanent disk data:
 535 Target:            temp-OST0001
 536 Index:             1
 537 Lustre FS: temp
 538 Mount type:        ldiskfs
 539 Flags:             0x72
 540 (OST first_time update)
 541 Persistent mount opts: errors=remount-ro,extents,mballoc
 542 Parameters: mgsnode=10.2.0.1@tcp
 543
 544 checking for existing Lustre data: not found
 545 device size = 16MB
 546 2 6 18
 547 formatting backing filesystem ldiskfs on /dev/sdd
 548    target name             temp-OST0001
 549    4k blocks               0
 550    options                 -I 256 -q -O dir_index,uninit_groups -F
 551 mkfs_cmd = mkfs.ext2 -j -b 4096 -L temp-OST0001  -I 256 -q -O
 552 dir_index,uninit_groups -F /dev/sdc
 553 Writing CONFIGS/mountdata </screen>
 554             </listitem>
 555             <listitem>
 556               <para>Mount ost1 on the OSS on which it was created. On <literal>oss1</literal> node, run:</para>
 557               <screen>root@oss1 /] mount -t lustre /dev/sdd /mnt/ost1 </screen>
 558               <para>The command generates this output:</para>
 559               <screen>LDISKFS-fs: file extents enabled
 560 LDISKFS-fs: mballoc enabled
 561 Lustre: temp-OST0001: new disk, initializing
 562 Lustre: Server temp-OST0001 on device /dev/sdb has started</screen>
 563               <para>Shortly afterwards, this output appears:</para>
 564               <screen>Lustre: temp-OST0001: received MDS connection from 10.2.0.1@tcp0
 565 Lustre: MDS temp-MDT0000: temp-OST0001_UUID now active, resetting orphans </screen>
 566             </listitem>
 567           </orderedlist>
 568         </listitem>
 569         <listitem>
 570           <para>Mount the Lustre file system on the client. On the client node, run:</para>
 571           <screen>root@client1 /] mount -t lustre 10.2.0.1@tcp0:/temp /lustre </screen>
 572           <para>This command generates this output:</para>
 573           <screen>Lustre: Client temp-client has started</screen>
 574         </listitem>
 575         <listitem>
 576           <para>Verify that the file system started and is working by running the <literal>df</literal>, <literal>dd</literal> and <literal>ls</literal> commands on the client node.</para>
 577           <orderedlist>
 578             <listitem>
 579               <para>Run the <literal>lfs df -h</literal> command:</para>
 580               <screen>[root@client1 /] lfs df -h </screen>
 581               <para>The <literal>lfs df -h</literal> command lists space usage per OST and the MDT in human-readable format. This command generates output similar to this:</para>
 582               <screen>
 583 UUID               bytes      Used      Available   Use%    Mounted on
 584 temp-MDT0000_UUID  8.0G      400.0M       7.6G        0%      /lustre[MDT:0]
 585 temp-OST0000_UUID  800.0G    400.0M     799.6G        0%      /lustre[OST:0]
 586 temp-OST0001_UUID  800.0G    400.0M     799.6G        0%      /lustre[OST:1]
 587 filesystem summary:  1.6T    800.0M       1.6T        0%      /lustre</screen>
 588             </listitem>
 589             <listitem>
 590               <para>Run the <literal>lfs df -ih</literal> command.</para>
 591               <screen>[root@client1 /] lfs df -ih</screen>
 592               <para>The <literal>lfs df -ih</literal> command lists inode usage per OST and the MDT. This command generates output similar to this:</para>
 593               <screen>
 594 UUID              Inodes      IUsed       IFree   IUse%     Mounted on
 595 temp-MDT0000_UUID   2.5M        32         2.5M      0%       /lustre[MDT:0]
 596 temp-OST0000_UUID   5.5M        54         5.5M      0%       /lustre[OST:0]
 597 temp-OST0001_UUID   5.5M        54         5.5M      0%       /lustre[OST:1]
 598 filesystem summary: 2.5M        32         2.5M      0%       /lustre</screen>
 599             </listitem>
 600             <listitem>
 601               <para>Run the <literal>dd</literal> command:</para>
 602               <screen>[root@client1 /] cd /lustre
 603 [root@client1 /lustre] dd if=/dev/zero of=/lustre/zero.dat bs=4M count=2</screen>
 604               <para>The <literal>dd</literal> command verifies write functionality by creating a file containing all zeros (<literal>0</literal>s). In this command, an 8 MB file is created. This command generates output similar to this:</para>
 605               <screen>2+0 records in
 606 2+0 records out
 607 8388608 bytes (8.4 MB) copied, 0.159628 seconds, 52.6 MB/s</screen>
 608             </listitem>
 609             <listitem>
 610               <para>Run the <literal>ls</literal> command:</para>
 611               <screen>[root@client1 /lustre] ls -lsah</screen>
 612               <para>The <literal>ls -lsah</literal> command lists files and directories in the current working directory. This command generates output similar to this:</para>
 613               <screen>total 8.0M
 614 4.0K drwxr-xr-x  2 root root 4.0K Oct 16 15:27 .
 615 8.0K drwxr-xr-x 25 root root 4.0K Oct 16 15:27 ..
 616 8.0M -rw-r--r--  1 root root 8.0M Oct 16 15:27 zero.dat
 617
 618 </screen>
 619             </listitem>
 620           </orderedlist>
 621         </listitem>
 622       </orderedlist>
 623       <para>Once the Lustre file system is configured, it is ready for use.</para>
 624     </section>
 625   </section>
 626   <section xml:id="dbdoclet.50438267_76752">
 627       <title>
 628           <indexterm><primary>Lustre</primary><secondary>configuring</secondary><tertiary>additional options</tertiary></indexterm>
 629           Additional Configuration Options</title>
 630     <para>This section describes how to scale the Lustre file system or make configuration changes using the Lustre configuration utilities.</para>
 631     <section remap="h3">
 632         <title>
 633           <indexterm><primary>Lustre</primary><secondary>configuring</secondary><tertiary>for scale</tertiary></indexterm>
 634             Scaling the Lustre File System</title>
 635       <para>A Lustre file system can be scaled by adding OSTs or clients. For instructions on creating additional OSTs repeat Step <xref linkend="dbdoclet.50438267_pgfId-1291170"/> and Step <xref linkend="dbdoclet.50438267_pgfId-1293955"/> above. For mounting additional clients, repeat Step <xref linkend="dbdoclet.50438267_pgfId-1290934"/> for each client.</para>
 636     </section>
 637     <section remap="h3">
 638         <title>
 639           <indexterm><primary>Lustre</primary><secondary>configuring</secondary><tertiary>striping</tertiary></indexterm>
 640             Changing Striping Defaults</title>
 641       <para>The default settings for the file layout stripe pattern are shown in <xref linkend="configuringlustre.tab.stripe"/>.</para>
 642       <table frame="none" xml:id="configuringlustre.tab.stripe">
 643         <title>Default stripe pattern</title>
 644         <tgroup cols="3">
 645           <colspec colname="c1" colwidth="13*"/>
 646           <colspec colname="c2" colwidth="13*"/>
 647           <colspec colname="c3" colwidth="13*"/>
 648           <tbody>
 649             <row>
 650               <entry>
 651                 <para><emphasis role="bold">File Layout Parameter</emphasis></para>
 652               </entry>
 653               <entry>
 654                 <para><emphasis role="bold">Default</emphasis></para>
 655               </entry>
 656               <entry>
 657                 <para><emphasis role="bold">Description</emphasis></para>
 658               </entry>
 659             </row>
 660             <row>
 661               <entry>
 662                 <para> <literal>stripe_size</literal></para>
 663               </entry>
 664               <entry>
 665                 <para> 1 MB</para>
 666               </entry>
 667               <entry>
 668                 <para> Amount of data to write to one OST before moving to the next OST.</para>
 669               </entry>
 670             </row>
 671             <row>
 672               <entry>
 673                 <para> <literal>stripe_count</literal></para>
 674               </entry>
 675               <entry>
 676                 <para> 1</para>
 677               </entry>
 678               <entry>
 679                 <para> The number of OSTs to use for a single file.</para>
 680               </entry>
 681             </row>
 682             <row>
 683               <entry>
 684                 <para> <literal>start_ost</literal></para>
 685               </entry>
 686               <entry>
 687                 <para> -1</para>
 688               </entry>
 689               <entry>
 690                 <para> The first OST where objects are created for each file. The default -1 allows the MDS to choose the starting index based on available space and load balancing. <emphasis>It&apos;s strongly recommended not to change the default for this parameter to a value other than -1.</emphasis></para>
 691               </entry>
 692             </row>
 693           </tbody>
 694         </tgroup>
 695       </table>
 696       <para>Use the <literal>lfs setstripe</literal> command described in <xref linkend="managingstripingfreespace"/> to change the file layout configuration.</para>
 697     </section>
 698     <section remap="h3">
 699         <title>
 700           <indexterm><primary>Lustre</primary><secondary>configuring</secondary><tertiary>utilities</tertiary></indexterm>
 701             Using the Lustre Configuration Utilities</title>
 702       <para>If additional configuration is necessary, several configuration utilities are available:</para>
 703       <itemizedlist>
 704         <listitem>
 705           <para><literal>mkfs.lustre</literal>  - Use to format a disk for a Lustre service.</para>
 706         </listitem>
 707         <listitem>
 708           <para><literal>tunefs.lustre</literal>  - Use to modify configuration information on a Lustre target disk.</para>
 709         </listitem>
 710         <listitem>
 711           <para><literal>lctl</literal> - Use to directly control Lustre features via an
 712               <literal>ioctl</literal> interface, allowing various configuration, maintenance and
 713             debugging features to be accessed.</para>
 714         </listitem>
 715         <listitem>
 716           <para><literal>mount.lustre</literal>  - Use to start a Lustre client or target service.</para>
 717         </listitem>
 718       </itemizedlist>
 719       <para>For examples using these utilities, see the topic <xref linkend="systemconfigurationutilities"/></para>
 720       <para>The <literal>lfs</literal> utility is useful for configuring and querying a variety of options related to files. For more information, see <xref linkend="userutilities"/>.</para>
 721       <note>
 722         <para>Some sample scripts are included in the directory where the Lustre software is
 723           installed. If you have installed the Lustre source code, the scripts are located in the
 724             <literal>lustre/tests</literal> sub-directory. These scripts enable quick setup of some
 725           simple standard Lustre configurations.</para>
 726       </note>
 727     </section>
 728   </section>
 729 </chapter>