LustreMonitoring.xml

   1 <?xml version='1.0' encoding='UTF-8'?><chapter xmlns="http://docbook.org/ns/docbook" xmlns:xl="http://www.w3.org/1999/xlink" version="5.0" xml:lang="en-US" xml:id="lustremonitoring">
   2   <title xml:id="lustremonitoring.title">Lustre Monitoring</title>
   3   <para>This chapter provides information on monitoring Lustre and includes the following sections:</para>
   4   <itemizedlist>
   5     <listitem>
   6       <para><xref linkend="dbdoclet.50438273_18711"/>Lustre Changelogs</para>
   7     </listitem>
   8     <listitem>
   9       <para><xref linkend="dbdoclet.jobstats"/>Lustre Jobstats</para>
  10     </listitem>
  11     <listitem>
  12       <para><xref linkend="dbdoclet.50438273_81684"/>Lustre Monitoring Tool</para>
  13     </listitem>
  14     <listitem>
  15       <para><xref linkend="dbdoclet.50438273_80593"/>CollectL</para>
  16     </listitem>
  17     <listitem>
  18       <para><xref linkend="dbdoclet.50438273_44185"/>Other Monitoring Options</para>
  19     </listitem>
  20   </itemizedlist>
  21   <section xml:id="dbdoclet.50438273_18711">
  22       <title><indexterm><primary>change logs</primary><see>monitoring</see></indexterm>
  23 <indexterm><primary>monitoring</primary></indexterm>
  24 <indexterm><primary>monitoring</primary><secondary>change logs</secondary></indexterm>
  25
  26 Lustre Changelogs</title>
  27     <para>The changelogs feature records events that change the file system namespace or file metadata. Changes such as file creation, deletion, renaming, attribute changes, etc. are recorded with the target and parent file identifiers (FIDs), the name of the target, and a timestamp. These records can be used for a variety of purposes:</para>
  28     <itemizedlist>
  29       <listitem>
  30         <para>Capture recent changes to feed into an archiving system.</para>
  31       </listitem>
  32       <listitem>
  33         <para>Use changelog entries to exactly replicate changes in a file system mirror.</para>
  34       </listitem>
  35       <listitem>
  36         <para>Set up &quot;watch scripts&quot; that take action on certain events or directories.</para>
  37       </listitem>
  38       <listitem>
  39         <para>Maintain a rough audit trail (file/directory changes with timestamps, but no user information).</para>
  40       </listitem>
  41     </itemizedlist>
  42     <para>Changelogs record types are:</para>
  43     <informaltable frame="all">
  44       <tgroup cols="2">
  45         <colspec colname="c1" colwidth="50*"/>
  46         <colspec colname="c2" colwidth="50*"/>
  47         <thead>
  48           <row>
  49             <entry>
  50               <para><emphasis role="bold">Value</emphasis></para>
  51             </entry>
  52             <entry>
  53               <para><emphasis role="bold">Description</emphasis></para>
  54             </entry>
  55           </row>
  56         </thead>
  57         <tbody>
  58           <row>
  59             <entry>
  60               <para> MARK</para>
  61             </entry>
  62             <entry>
  63               <para> Internal recordkeeping</para>
  64             </entry>
  65           </row>
  66           <row>
  67             <entry>
  68               <para> CREAT</para>
  69             </entry>
  70             <entry>
  71               <para> Regular file creation</para>
  72             </entry>
  73           </row>
  74           <row>
  75             <entry>
  76               <para> MKDIR</para>
  77             </entry>
  78             <entry>
  79               <para> Directory creation</para>
  80             </entry>
  81           </row>
  82           <row>
  83             <entry>
  84               <para> HLINK</para>
  85             </entry>
  86             <entry>
  87               <para> Hard link</para>
  88             </entry>
  89           </row>
  90           <row>
  91             <entry>
  92               <para> SLINK</para>
  93             </entry>
  94             <entry>
  95               <para> Soft link</para>
  96             </entry>
  97           </row>
  98           <row>
  99             <entry>
 100               <para> MKNOD</para>
 101             </entry>
 102             <entry>
 103               <para> Other file creation</para>
 104             </entry>
 105           </row>
 106           <row>
 107             <entry>
 108               <para> UNLNK</para>
 109             </entry>
 110             <entry>
 111               <para> Regular file removal</para>
 112             </entry>
 113           </row>
 114           <row>
 115             <entry>
 116               <para> RMDIR</para>
 117             </entry>
 118             <entry>
 119               <para> Directory removal</para>
 120             </entry>
 121           </row>
 122           <row>
 123             <entry>
 124               <para> RNMFM</para>
 125             </entry>
 126             <entry>
 127               <para> Rename, original</para>
 128             </entry>
 129           </row>
 130           <row>
 131             <entry>
 132               <para> RNMTO</para>
 133             </entry>
 134             <entry>
 135               <para> Rename, final</para>
 136             </entry>
 137           </row>
 138           <row>
 139             <entry>
 140               <para> IOCTL</para>
 141             </entry>
 142             <entry>
 143               <para> ioctl on file or directory</para>
 144             </entry>
 145           </row>
 146           <row>
 147             <entry>
 148               <para> TRUNC</para>
 149             </entry>
 150             <entry>
 151               <para> Regular file truncated</para>
 152             </entry>
 153           </row>
 154           <row>
 155             <entry>
 156               <para> SATTR</para>
 157             </entry>
 158             <entry>
 159               <para> Attribute change</para>
 160             </entry>
 161           </row>
 162           <row>
 163             <entry>
 164               <para> XATTR</para>
 165             </entry>
 166             <entry>
 167               <para> Extended attribute change</para>
 168             </entry>
 169           </row>
 170           <row>
 171             <entry>
 172               <para> UNKNW</para>
 173             </entry>
 174             <entry>
 175               <para> Unknown operation</para>
 176             </entry>
 177           </row>
 178         </tbody>
 179       </tgroup>
 180     </informaltable>
 181     <para>FID-to-full-pathname and pathname-to-FID functions are also included to map target and parent FIDs into the file system namespace.</para>
 182     <section remap="h3">
 183       <title><indexterm><primary>monitoring</primary><secondary>change logs</secondary></indexterm>
 184 Working with Changelogs</title>
 185       <para>Several commands are available to work with changelogs.</para>
 186       <section remap="h5">
 187         <title>
 188           <literal>lctl changelog_register</literal>
 189         </title>
 190         <para>Because changelog records take up space on the MDT, the system administration must register changelog users. The registrants specify which records they are &quot;done with&quot;, and the system purges up to the greatest common record.</para>
 191         <para>To register a new changelog user, run:</para>
 192         <screen>lctl --device /dev/<replaceable>mdt_device</replaceable> changelog_register
 193 </screen>
 194         <para>Changelog entries are not purged beyond a registered user&apos;s set point (see <literal>lfs changelog_clear</literal>).</para>
 195       </section>
 196       <section remap="h5">
 197         <title>
 198           <literal>lfs changelog</literal>
 199         </title>
 200         <para>To display the metadata changes on an MDT (the changelog records), run:</para>
 201         <screen>lfs changelog <replaceable>fsname</replaceable>-<replaceable>MDTnumber</replaceable> [startrec [endrec]] </screen>
 202         <para>It is optional whether to specify the start and end records.</para>
 203         <para>These are sample changelog records:</para>
 204         <screen>2 02MKDIR 4298396676 0x0 t=[0x200000405:0x15f9:0x0] p=[0x13:0x15e5a7a3:0x0]\
 205  pics
 206 3 01CREAT 4298402264 0x0 t=[0x200000405:0x15fa:0x0] p=[0x200000405:0x15f9:0\
 207 x0] chloe.jpg
 208 4 06UNLNK 4298404466 0x0 t=[0x200000405:0x15fa:0x0] p=[0x200000405:0x15f9:0\
 209 x0] chloe.jpg
 210 5 07RMDIR 4298405394 0x0 t=[0x200000405:0x15f9:0x0] p=[0x13:0x15e5a7a3:0x0]\
 211  pics </screen>
 212       </section>
 213       <section remap="h5">
 214         <title>
 215           <literal>lfs changelog_clear</literal>
 216         </title>
 217         <para>To clear old changelog records for a specific user (records that the user no longer needs), run:</para>
 218         <screen>lfs changelog_clear <replaceable>mdt_name</replaceable> <replaceable>userid</replaceable> <replaceable>endrec</replaceable></screen>
 219         <para>The <literal>changelog_clear</literal> command indicates that changelog records previous to <replaceable>endrec</replaceable> are no longer of interest to a particular user <replaceable>userid</replaceable>, potentially allowing the MDT to free up disk space. An <literal><replaceable>endrec</replaceable></literal> value of 0 indicates the current last record. To run <literal>changelog_clear</literal>, the changelog user must be registered on the MDT node using <literal>lctl</literal>.</para>
 220         <para>When all changelog users are done with records &lt; X, the records are deleted.</para>
 221       </section>
 222       <section remap="h5">
 223         <title>
 224           <literal>lctl changelog_deregister</literal>
 225         </title>
 226         <para>To deregister (unregister) a changelog user, run:</para>
 227         <screen>lctl --device <replaceable>mdt_device</replaceable> changelog_deregister <replaceable>userid</replaceable>       </screen>
 228         <para> <literal>changelog_deregister cl1</literal> effectively does a <literal>changelog_clear cl1 0</literal> as it deregisters.</para>
 229       </section>
 230     </section>
 231     <section remap="h3">
 232       <title>Changelog Examples</title>
 233       <para>This section provides examples of different changelog commands.</para>
 234       <section remap="h5">
 235         <title>Registering a Changelog User</title>
 236         <para>To register a new changelog user for a device (<literal>lustre-MDT0000</literal>):</para>
 237         <screen># lctl --device lustre-MDT0000 changelog_register
 238 lustre-MDT0000: Registered changelog userid &apos;cl1&apos;</screen>
 239       </section>
 240       <section remap="h5">
 241         <title>Displaying Changelog Records</title>
 242         <para>To display changelog records on an MDT (<literal>lustre-MDT0000</literal>):</para>
 243         <screen>$ lfs changelog lustre-MDT0000
 244 1 00MARK  19:08:20.890432813 2010.03.24 0x0 t=[0x10001:0x0:0x0] p=[0:0x0:0x\
 245 0] mdd_obd-lustre-MDT0000-0
 246 2 02MKDIR 19:10:21.509659173 2010.03.24 0x0 t=[0x200000420:0x3:0x0] p=[0x61\
 247 b4:0xca2c7dde:0x0] mydir
 248 3 14SATTR 19:10:27.329356533 2010.03.24 0x0 t=[0x200000420:0x3:0x0]
 249 4 01CREAT 19:10:37.113847713 2010.03.24 0x0 t=[0x200000420:0x4:0x0] p=[0x20\
 250 0000420:0x3:0x0] hosts </screen>
 251         <para>Changelog records include this information:</para>
 252         <screen>rec#
 253 operation_type(numerical/text)
 254 timestamp
 255 datestamp
 256 flags
 257 t=target_FID
 258 p=parent_FID
 259 target_name</screen>
 260         <para>Displayed in this format:</para>
 261         <screen>rec# operation_type(numerical/text) timestamp datestamp flags t=target_FID \
 262 p=parent_FID target_name</screen>
 263         <para>For example:</para>
 264         <screen>4 01CREAT 19:10:37.113847713 2010.03.24 0x0 t=[0x200000420:0x4:0x0] p=[0x20\
 265 0000420:0x3:0x0] hosts</screen>
 266       </section>
 267       <section remap="h5">
 268         <title>Clearing Changelog Records</title>
 269         <para>To notify a device that a specific user (<literal>cl1</literal>) no longer needs records (up to and including 3):</para>
 270         <screen>$ lfs changelog_clear  lustre-MDT0000 cl1 3</screen>
 271         <para>To confirm that the <literal>changelog_clear</literal> operation was successful, run <literal>lfs changelog</literal>; only records after id-3 are listed:</para>
 272         <screen>$ lfs changelog lustre-MDT0000
 273 4 01CREAT 19:10:37.113847713 2010.03.24 0x0 t=[0x200000420:0x4:0x0] p=[0x20\
 274 0000420:0x3:0x0] hosts</screen>
 275       </section>
 276       <section remap="h5">
 277         <title>Deregistering a Changelog User</title>
 278         <para>To deregister a changelog user (<literal>cl1</literal>) for a specific device (<literal>lustre-MDT0000</literal>):</para>
 279         <screen># lctl --device lustre-MDT0000 changelog_deregister cl1
 280 lustre-MDT0000: Deregistered changelog user &apos;cl1&apos;</screen>
 281         <para>The deregistration operation clears all changelog records for the specified user (<literal>cl1</literal>).</para>
 282         <screen>$ lfs changelog lustre-MDT0000
 283 5 00MARK  19:13:40.858292517 2010.03.24 0x0 t=[0x40001:0x0:0x0] p=[0:0x0:0x\
 284 0] mdd_obd-lustre-MDT0000-0
 285 </screen>
 286         <note>
 287           <para>MARK records typically indicate changelog recording status changes.</para>
 288         </note>
 289       </section>
 290       <section remap="h5">
 291         <title>Displaying the Changelog Index and Registered Users</title>
 292         <para>To display the current, maximum changelog index and registered changelog users for a specific device (<literal>lustre-MDT0000</literal>):</para>
 293         <screen># lctl get_param  mdd.lustre-MDT0000.changelog_users
 294 mdd.lustre-MDT0000.changelog_users=current index: 8
 295 ID    index
 296 cl2   8
 297 </screen>
 298       </section>
 299       <section remap="h5">
 300         <title>Displaying the Changelog Mask</title>
 301         <para>To show the current changelog mask on a specific device (<literal>lustre-MDT0000</literal>):</para>
 302         <screen># lctl get_param  mdd.lustre-MDT0000.changelog_mask
 303
 304 mdd.lustre-MDT0000.changelog_mask=
 305 MARK CREAT MKDIR HLINK SLINK MKNOD UNLNK RMDIR RNMFM RNMTO OPEN CLOSE IOCTL\
 306  TRUNC SATTR XATTR HSM
 307 </screen>
 308       </section>
 309       <section remap="h5">
 310         <title>Setting the Changelog Mask</title>
 311         <para>To set the current changelog mask on a specific device (<literal>lustre-MDT0000</literal>):</para>
 312         <screen># lctl set_param mdd.lustre-MDT0000.changelog_mask=HLINK
 313 mdd.lustre-MDT0000.changelog_mask=HLINK
 314 $ lfs changelog_clear lustre-MDT0000 cl1 0
 315 $ mkdir /mnt/lustre/mydir/foo
 316 $ cp /etc/hosts /mnt/lustre/mydir/foo/file
 317 $ ln /mnt/lustre/mydir/foo/file /mnt/lustre/mydir/myhardlink
 318 </screen>
 319         <para>Only item types that are in the mask show up in the changelog.</para>
 320         <screen>$ lfs changelog lustre-MDT0000
 321 9 03HLINK 19:19:35.171867477 2010.03.24 0x0 t=[0x200000420:0x6:0x0] p=[0x20\
 322 0000420:0x3:0x0] myhardlink
 323 </screen>
 324       </section>
 325     </section>
 326   </section>
 327   <section xml:id="dbdoclet.jobstats">
 328       <title><indexterm><primary>jobstats</primary><see>monitoring</see></indexterm>
 329 <indexterm><primary>monitoring</primary></indexterm>
 330 <indexterm><primary>monitoring</primary><secondary>jobstats</secondary></indexterm>
 331
 332 Lustre Jobstats</title>
 333     <para>The Lustre Jobstats feature is available starting in Lustre version 2.3. It collects file
 334       system operation statistics for the jobs running on Lustre clients, and exposes them via
 335       procfs on the server. Job schedulers known to be able to work with jobstats include: SLURM,
 336       SGE, LSF, Loadleveler, PBS and Maui/MOAB.</para>
 337     <para>Since Jobstats is implemented in a scheduler-agnostic manner, it is likely that it will be able to work with other schedulers also.</para>
 338     <section remap="h3">
 339       <title><indexterm><primary>monitoring</primary><secondary>jobstats</secondary></indexterm>
 340 Enable/Disable Jobstats</title>
 341       <para>Jobstats are disabled by default, the current state of jobstats can be verified by checking <literal>lctl get_param jobid_var</literal> on client:</para>
 342       <screen>
 343 $ lctl get_param jobid_var
 344 jobid_var=disable
 345       </screen>
 346       <para>The Lustre Jobstats code extracts the job identifier from an environment variable set by
 347         the scheduler when the job is started. To enable jobstats, specify the
 348           <literal>jobid_var</literal> to name the environment variable set by the scheduler. For
 349         example, SLURM sets the <literal>SLURM_JOB_ID</literal> environment variable with the unique
 350         job ID on each client. To permanently enable Jobstats on the <literal>testfs</literal> file
 351         system:</para>
 352       <screen>$ lctl conf_param testfs.sys.jobid_var=SLURM_JOB_ID</screen>
 353       <para>The value of <literal>jobid_var</literal> can be:</para>
 354     <informaltable frame="all">
 355       <tgroup cols="2">
 356         <colspec colname="c1" colwidth="50*"/>
 357         <colspec colname="c2" colwidth="50*"/>
 358         <thead>
 359           <row>
 360             <entry>
 361               <para><emphasis role="bold">Value</emphasis></para>
 362             </entry>
 363             <entry>
 364               <para><emphasis role="bold">Job Scheduler</emphasis></para>
 365             </entry>
 366           </row>
 367         </thead>
 368         <tbody>
 369           <row>
 370             <entry>
 371               <para>SLURM_JOB_ID</para>
 372             </entry>
 373             <entry>
 374               <para>Simple Linux Utility for Resource Management (SLURM)</para>
 375             </entry>
 376           </row>
 377           <row>
 378             <entry>
 379               <para>JOB_ID</para>
 380             </entry>
 381             <entry>
 382               <para>Sun Grid Engine (SGE)</para>
 383             </entry>
 384           </row>
 385           <row>
 386             <entry>
 387               <para>LSB_JOBID</para>
 388             </entry>
 389             <entry>
 390               <para>Load Sharing Facility (LSF)</para>
 391             </entry>
 392           </row>
 393           <row>
 394             <entry>
 395               <para>LOADL_STEP_ID</para>
 396             </entry>
 397             <entry>
 398               <para>Loadleveler</para>
 399             </entry>
 400           </row>
 401           <row>
 402             <entry>
 403               <para>PBS_JOBID</para>
 404             </entry>
 405             <entry>
 406               <para>Portable Batch Scheduler (PBS)/MAUI</para>
 407             </entry>
 408           </row>
 409           <row>
 410             <entry>
 411               <para>procname_uid</para>
 412             </entry>
 413             <entry>
 414               <para>process name and user ID (for debugging, or if no job scheduler is in use)</para>
 415             </entry>
 416           </row>
 417           <row>
 418             <entry>
 419               <para>disable</para>
 420             </entry>
 421             <entry>
 422               <para>disable jobstats</para>
 423             </entry>
 424           </row>
 425         </tbody>
 426       </tgroup>
 427     </informaltable>
 428     <para>To disable jobstats specify the <literal>jobid_var</literal> as <literal>disable</literal>:</para>
 429     <screen>$ lctl conf_param testfs.sys.jobid_var=disable</screen>
 430     </section>
 431     <section remap="h3">
 432       <title><indexterm><primary>monitoring</primary><secondary>jobstats</secondary></indexterm>
 433 Check Job Stats</title>
 434     <para>Metadata operation statistics are collected on MDTs. These statistics can be accessed for all filesystems and all jobs on the MDT via the <literal>lctl get_param mdt.*.job_stats</literal>.  For example, clients running with <literal>jobid_var=procname_uid</literal>:</para>
 435     <screen>
 436 $ lctl get_param mdt.*.job_stats
 437 job_stats:
 438 - job_id:          bash.0
 439   snapshot_time:   1352084992
 440   open:            { samples:           2, unit:  reqs }
 441   close:           { samples:           2, unit:  reqs }
 442   mknod:           { samples:           0, unit:  reqs }
 443   link:            { samples:           0, unit:  reqs }
 444   unlink:          { samples:           0, unit:  reqs }
 445   mkdir:           { samples:           0, unit:  reqs }
 446   rmdir:           { samples:           0, unit:  reqs }
 447   rename:          { samples:           0, unit:  reqs }
 448   getattr:         { samples:           3, unit:  reqs }
 449   setattr:         { samples:           0, unit:  reqs }
 450   getxattr:        { samples:           0, unit:  reqs }
 451   setxattr:        { samples:           0, unit:  reqs }
 452   statfs:          { samples:           0, unit:  reqs }
 453   sync:            { samples:           0, unit:  reqs }
 454   samedir_rename:  { samples:           0, unit:  reqs }
 455   crossdir_rename: { samples:           0, unit:  reqs }
 456 - job_id:          dd.0
 457   snapshot_time:   1352085037
 458   open:            { samples:           1, unit:  reqs }
 459   close:           { samples:           1, unit:  reqs }
 460   mknod:           { samples:           0, unit:  reqs }
 461   link:            { samples:           0, unit:  reqs }
 462   unlink:          { samples:           0, unit:  reqs }
 463   mkdir:           { samples:           0, unit:  reqs }
 464   rmdir:           { samples:           0, unit:  reqs }
 465   rename:          { samples:           0, unit:  reqs }
 466   getattr:         { samples:           0, unit:  reqs }
 467   setattr:         { samples:           0, unit:  reqs }
 468   getxattr:        { samples:           0, unit:  reqs }
 469   setxattr:        { samples:           0, unit:  reqs }
 470   statfs:          { samples:           0, unit:  reqs }
 471   sync:            { samples:           2, unit:  reqs }
 472   samedir_rename:  { samples:           0, unit:  reqs }
 473   crossdir_rename: { samples:           0, unit:  reqs }
 474     </screen>
 475     <para>Data operation statistics are collected on OSTs. Data operations statistics can be accessed via <literal>lctl get_param obdfilter.*.job_stats</literal>, for example:</para>
 476     <screen>
 477 $ lctl get_param obdfilter.*.job_stats
 478 job_stats:
 479 - job_id:          bash.0
 480   snapshot_time:   1352085025
 481   read:            { samples:           0, unit: bytes, min:       0, max:       0, sum:               0 }
 482   write:           { samples:           1, unit: bytes, min:       4, max:       4, sum:               4 }
 483   setattr:         { samples:           0, unit:  reqs }
 484   punch:           { samples:           0, unit:  reqs }
 485   sync:            { samples:           0, unit:  reqs }
 486     </screen>
 487     </section>
 488     <section remap="h3">
 489       <title><indexterm><primary>monitoring</primary><secondary>jobstats</secondary></indexterm>
 490 Clear Job Stats</title>
 491     <para>Accumulated job statistics can be reset by writing proc file <literal>job_stats</literal>.</para>
 492     <para>Clear statistics for all jobs on the local node:</para>
 493     <screen>$ lctl set_param obdfilter.*.job_stats=clear</screen>
 494     <para>Clear statistics for job 'dd.0' on lustre-MDT0000:</para>
 495     <screen>$ lctl set_param mdt.lustre-MDT0000.job_stats=clear</screen>
 496     </section>
 497     <section remap="h3">
 498       <title><indexterm><primary>monitoring</primary><secondary>jobstats</secondary></indexterm>
 499 Configure Auto-cleanup Interval</title>
 500     <para>By default, if a job is inactive for 600 seconds (10 minutes) statistics for this job will be dropped. This expiration value can be changed temporarily via:</para>
 501     <screen>$ lctl set_param *.*.job_cleanup_interval={max_age}</screen>
 502     <para>It can also be changed permanently, for example to 700 seconds via:</para>
 503     <screen>$ lctl conf_param testfs.mdt.job_cleanup_interval=700</screen>
 504     <para>The <literal>job_cleanup_interval</literal> can be set as 0 to disable the auto-cleanup. Note that if auto-cleanup of Jobstats is disabled, then all statistics will be kept in memory forever, which may eventually consume all memory on the servers. In this case, any monitoring tool should explicitly clear individual job statistics as they are processed, as shown above.</para>
 505     </section>
 506   </section>
 507   <section xml:id="dbdoclet.50438273_81684">
 508     <title><indexterm>
 509         <primary>monitoring</primary>
 510         <secondary>Lustre Monitoring Tool</secondary>
 511       </indexterm> Lustre Monitoring Tool (LMT)</title>
 512     <para>The Lustre Monitoring Tool (LMT) is a Python-based, distributed system that provides a
 513         <literal>top</literal>-like display of activity on server-side nodes (MDS, OSS and portals
 514       routers) on one or more Lustre file systems. It does not provide support for monitoring
 515       clients. For more information on LMT, including the setup procedure, see:</para>
 516     <para><link xl:href="http://code.google.com/p/lmt/"
 517       >https://github.com/chaos/lmt/wiki</link></para>
 518     <para>LMT questions can be directed to:</para>
 519     <para><link xl:href="mailto:lmt-discuss@googlegroups.com">lmt-discuss@googlegroups.com</link></para>
 520   </section>
 521   <section xml:id="dbdoclet.50438273_80593">
 522     <title>
 523       <literal>CollectL</literal>
 524     </title>
 525     <para><literal>CollectL</literal> is another tool that can be used to monitor Lustre. You can run <literal>CollectL</literal> on a Lustre system that has any combination of MDSs, OSTs and clients. The collected data can be written to a file for continuous logging and played back at a later time. It can also be converted to a format suitable for plotting.</para>
 526     <para>For more information about <literal>CollectL</literal>, see:</para>
 527     <para><link xl:href="http://collectl.sourceforge.net">http://collectl.sourceforge.net</link></para>
 528     <para>Lustre-specific documentation is also available. See:</para>
 529     <para><link xl:href="http://collectl.sourceforge.net/Tutorial-Lustre.html">http://collectl.sourceforge.net/Tutorial-Lustre.html</link></para>
 530   </section>
 531   <section xml:id="dbdoclet.50438273_44185">
 532     <title><indexterm><primary>monitoring</primary><secondary>additional tools</secondary></indexterm>
 533 Other Monitoring Options</title>
 534     <para>A variety of standard tools are available publicly including the following:<itemizedlist>
 535         <listitem>
 536           <para><literal>lltop</literal> - Lustre load monitor with batch scheduler integration.
 537               <link xmlns:xlink="http://www.w3.org/1999/xlink"
 538               xlink:href="https://github.com/jhammond/lltop"
 539               >https://github.com/jhammond/lltop</link></para>
 540         </listitem>
 541         <listitem>
 542           <para><literal>tacc_stats</literal> - A job-oriented system monitor, analyzation, and
 543             visualization tool that probes Lustre interfaces and collects statistics. <link
 544               xmlns:xlink="http://www.w3.org/1999/xlink"
 545               xlink:href="https://github.com/jhammond/tacc_stats"/></para>
 546         </listitem>
 547         <listitem>
 548           <para><literal>xltop</literal> - A continuous Lustre monitor with batch scheduler
 549             integation. <link xmlns:xlink="http://www.w3.org/1999/xlink"
 550               xlink:href="https://github.com/jhammond/xltop"/></para>
 551         </listitem>
 552       </itemizedlist></para>
 553     <para>Another option is to script a simple monitoring solution that looks at various reports
 554       from <literal>ipconfig</literal>, as well as the <literal>procfs</literal> files generated by
 555       Lustre.</para>
 556   </section>
 557 </chapter>