lustre/doc/lctl.8

   1 .TH LCTL 8 "2019-06-16" Lustre "configuration utilities"
   2 .SH NAME
   3 lctl \- Lustre filesystem administrator configuration tool
   4 .SH SYNOPSIS
   5 .br
   6 .B lctl
   7 .br
   8 .B lctl --device <devno> <command [args]>
   9 .br
  10 .B lctl --version
  11 .br
  12 .B lctl --list-commands
  13 .br
  14 .SH DESCRIPTION
  15 .B lctl
  16 is used to directly control Lustre via an ioctl interface, allowing
  17 various configuration, maintenance, and debugging features to be accessed.
  18
  19 .B lctl
  20 can be invoked in interactive mode by issuing lctl command. After that, commands are issued as below. The most common commands in lctl are
  21 .BR dl ,
  22 .BR dk ,
  23 .BR device ,
  24 .B network
  25 .IR <up/down> ,
  26 .BR list_nids ,
  27 .B ping
  28 .IR nid ,
  29 .BR help ,
  30 .BR quit .
  31
  32 To get a complete listing of available commands, type
  33 .B --list-commands
  34 at the lctl prompt.  To get basic help on the meaning and syntax of a
  35 command, type
  36 .B help
  37 .I command
  38 .  Command completion is activated with the TAB key, and command history is available via the up- and down-arrow keys.
  39
  40 For non-interactive use, one uses the second invocation, which runs command after connecting to the device.
  41
  42 .SS System Configuration
  43 The on-line tool set for backup or removal of Lustre system configuration. For detail, please see:
  44 .PP
  45 \fBlctl-lcfg\fR(8)
  46 .RS 4
  47
  48 .SS Network Configuration
  49 .TP
  50 .BR network " <" up / down >|< tcp / o2ib >
  51 Start or stop LNET, or select a network type for other
  52 .I lctl
  53 LNET commands
  54 .TP
  55 .BI list_nids
  56 Print all Network Identifiers on the local node. LNET must be running.
  57 .TP
  58 .BI which_nid " <nidlist>"
  59 From a list of nids for a remote node, show which interface communication
  60 will take place on.
  61 .TP
  62 .BI replace_nids " <devicename> <nid1>[,nid2,nid3:nid4,nid5:nid6 ...]"
  63 Replace the LNET Network Identifiers for a given device,
  64 as when the server's IP address has changed.
  65 This command must be run on the MGS node.
  66 Only MGS server should be started (command execution returns error
  67 in another cases). To start the MGS service only:
  68 mount -t lustre <MDT partition> -o nosvc <mount point>
  69 Note the replace_nids command skips any invalidated records in the configuration log.
  70 The previous log is backed up with the suffix '.bak'.
  71 Failover nids must be passed after ':' symbol. More then
  72 one failover can be set (every failover nids after ':' symbol).
  73 .TP
  74 .BI ping " <nid> timeout"
  75 Check LNET connectivity via an LNET ping. This will use the fabric
  76 appropriate to the specified NID. By default lctl will attempt to
  77 reach the remote node up to 120 seconds and then timeout. To disable
  78 the timeout just specify an negative timeout value.
  79 .TP
  80 .BI interface_list
  81 Print the network interface information for a given
  82 .B network
  83 type.
  84 .TP
  85 .BI peer_list
  86 Print the known peers for a given
  87 .B network
  88 type.
  89 .TP
  90 .BI conn_list
  91 Print all the connected remote NIDs for a given
  92 .B network
  93 type.
  94 .TP
  95 .BI route_list
  96 Print the complete routing table.
  97 .PP
  98 .SS Device Selection
  99 .TP
 100 .BI device " <devname> "
 101 This will select the specified OBD device.  All other commands depend on the device being set.
 102 .TP
 103 .BI device_list
 104 Show all the local Lustre OBDs. AKA
 105 .B dl
 106 .PP
 107 .SS Device Operations
 108 .TP
 109 .BI conf_param " [-d] <device|fsname>.<parameter>=<value>"
 110 Set a permanent configuration parameter for any device via the MGS.  This
 111 command must be run on the MGS node.
 112 .br
 113 .B -d <device|fsname>.<parameter>
 114 Delete a parameter setting (use the default value at the next restart).
 115 A null value for <value> also deletes the parameter setting.  This is
 116 useful if an incorrect or obsolete parameter is in the configuration.
 117 .br
 118 .B Parameters:
 119 .br
 120 All of the writable parameters under
 121 .B lctl list_param
 122 (e.g.
 123 .I lctl list_param -F osc.*.* | grep =
 124 ) can be permanently set using
 125 .B lctl conf_param
 126 , but the format is slightly different.  For conf_param, the device is specified first, then the obdtype. (See examples below.)  Wildcards are not supported.
 127 .br
 128 Additionally, failover nodes may be added (or removed), and some system-wide parameters may be set as well (sys.at_max, sys.at_min, sys.at_extra, sys.at_early_margin, sys.at_history, sys.timeout, sys.ldlm_timeout.)  <device> is ignored for system wide parameters.
 129 .br
 130 .B Examples:
 131 .br
 132 # lctl conf_param testfs.sys.at_max=1200
 133 .br
 134 # lctl conf_param testfs.llite.max_read_ahead_mb=16
 135 .br
 136 # lctl conf_param testfs-MDT0000.lov.stripesize=2M
 137 .br
 138 # lctl conf_param lustre-OST0001.osc.active=0
 139 .br
 140 # lctl conf_param testfs-OST0000.osc.max_dirty_mb=29.15
 141 .br
 142 # lctl conf_param testfs-OST0000.ost.client_cache_seconds=15
 143 .br
 144 # lctl conf_param testfs-OST0000.failover.node=1.2.3.4@tcp1
 145 .br
 146 # lctl conf_param -d testfs-OST0000.bad_param
 147 .TP
 148 .BI activate
 149 Reactivate an import after deactivating, below.  This setting is only effective until the next restart (see
 150 .B conf_param
 151 ).
 152 .TP
 153 .BI deactivate
 154 Deactivate an import, in particular meaning do not assign new file stripes
 155 to an OSC.  This command should be used on the OSC in the MDT LOV
 156 corresponding to a failed OST device, to prevent further attempts at
 157 communication with the failed OST.
 158 .TP
 159 .BI abort_recovery
 160 Abort the recovery process on a restarting MDT or OST device
 161 .PP
 162 .SS Changelogs
 163 Changelog user can be registered and deregistered on particular device.
 164 Changelog starts logging when any user is registered.
 165
 166 For more details see:
 167
 168 .PP
 169 \fBlctl-changelog_register\fR(8)
 170 .RS 4
 171 Register a new changelog user on specified MDT device with specified parameters.
 172 .RE
 173 .PP
 174 \fBlctl-changelog_deregister\fR(8)
 175 .RS 4
 176 Deregister an existing changelog user on the specified MDT.
 177
 178 .PP
 179 .SS Nodemap
 180 An identity mapping feature that facilitates mapping of client UIDs and GIDs to
 181 local file system UIDs and GIDs, while maintaining POSIX ownership, permissions,
 182 and quota.
 183
 184 While the nodemap feature is enabled, all client file system access is subject
 185 to the nodemap identity mapping policy, which consists of the 'default' catchall
 186 nodemap, and any user-defined nodemaps. The 'default' nodemap maps all client
 187 identities to 99:99 (nobody:nobody). Administrators can define nodemaps for a
 188 range of client NIDs which map identities, and these nodemaps can be flagged as
 189  'trusted' so identities are accepted without translation, as well as flagged
 190 as 'admin' meaning that root is not squashed for these nodes.
 191
 192 Note: In the current phase of implementation, to use the nodemap functionality
 193 you only need to enable and define nodemaps on the MDS. The MDSes must also be
 194 in a nodemap with the admin and trusted flags set. To use quotas with nodemaps,
 195 you must also use set_param to enable and define nodemaps on the OSS (matching
 196 what is defined on the MDS). Nodemaps do not currently persist, unless you
 197 define them with set_param and use the -P flag. Note that there is a hard limit
 198 to the number of changes you can persist over the lifetime of the file system.
 199
 200 See also:
 201
 202 .PP
 203 \fBlctl-nodemap-activate\fR(8)
 204 .RS 4
 205 Activate/deactivate the nodemap feature.
 206 .RE
 207 .PP
 208 \fBlctl-nodemap-add\fR(8)
 209 .RS 4
 210 Add a new nodemap, to which NID ranges, identities, and properties can be added.
 211 .RE
 212 .PP
 213 \fBlctl-nodemap-del\fR(8)
 214 .RS 4
 215 Delete an existing nodemap.
 216 .RE
 217 .PP
 218 \fBlctl-nodemap-add-range\fR(8)
 219 .RS 4
 220 Define a range of NIDs for a nodemap.
 221 .RE
 222 .PP
 223 \fBlctl-nodemap-del-range\fR(8)
 224 .RS 4
 225 Delete an existing NID range from a nodemap.
 226 .RE
 227 .PP
 228 \fBlctl-nodemap-add-idmap\fR(8)
 229 .RS 4
 230 Add a UID or GID mapping to a nodemap.
 231 .RE
 232 .PP
 233 \fBlctl-nodemap-del-idmap\fR(8)
 234 .RS 4
 235 Delete an existing UID or GID mapping from a nodemap.
 236 .RE
 237 .PP
 238 \fBlctl-nodemap-modify\fR(8)
 239 .RS 4
 240 Modify a nodemap property.
 241 .RE
 242 .PP
 243 \fBlctl-nodemap-set-fileset\fR(8)
 244 .RS 4
 245 Add a fileset to a nodemap.
 246 .RE
 247 .PP
 248 \fBlctl-nodemap-set-sepol\fR(8)
 249 .RS 4
 250 Set SELinux policy info on a nodemap.
 251 .RE
 252 .SS Configuration logs
 253 .TP
 254 .BI clear_conf " <device|fsname>"
 255 This command runs on MGS node having MGS device mounted with -o
 256 nosvc. It cleans up configuration files stored in the CONFIGS/ directory
 257 of any records marked SKIP. If the device name is given, then the
 258 specific logs for that filesystem (e.g. testfs-MDT0000) is processed.
 259 Otherwise, if a filesystem name is given then all configuration files for the
 260 specified filesystem are cleared.
 261 .PP
 262 .SS LFSCK
 263 An on-line Lustre consistency check and repair tool. It is used for totally
 264 replacing the old lfsck tool for kinds of Lustre inconsistency verification,
 265 including: corrupted or lost OI mapping, corrupted or lost link EA, corrupted
 266 or lost FID in name entry, dangling name entry, multiple referenced name entry,
 267 unmatched MDT-object and name entry pairs, orphan MDT-object, incorrect
 268 MDT-object links count, corrupted namespace, corrupted or lost lov EA, lost
 269 OST-object, multiple referenced OST-object, unmatched MDT-object and OST-object
 270 pairs, orphan OST-object, and so on.
 271
 272 See also:
 273
 274 .PP
 275 \fBlctl-lfsck-start\fR(8)
 276 .RS 4
 277 Start LFSCK on the specified MDT or OST device with specified parameters.
 278 .RE
 279 .PP
 280 \fBlctl-lfsck-stop\fR(8)
 281 .RS 4
 282 Stop LFSCK on the specified MDT or OST device.
 283 .RE
 284 .PP
 285 \fBlctl-lfsck-query\fR(8)
 286 .RS 4
 287 Get the LFSCK global status via the specified MDT device.
 288 .RE
 289
 290 .SS BARRIER
 291 The tools set for write (modify) barrier on all MDTs. For detail, please see:
 292 .PP
 293 \fBlctl-barrier\fR(8)
 294 .RS 4
 295
 296 .SS SNAPSHOT
 297 ZFS backend based snapshot tools set. The tool loads system configuration
 298 from the file
 299 .B /etc/ldev.conf
 300 on the MGS, and call related ZFS commands to
 301 maintain Lustre snapshot pieces on all targets (MGS/MDT/OST).
 302 The configuration file
 303 .B /etc/ldev.conf
 304 is not only for snapshot, but also
 305 for other purpose. The format is:
 306   <host> foreign/- <label> <device> [journal-path]/- [raidtab]
 307
 308 The format of
 309 .I <label>
 310 is:
 311   fsname-<role><index> or <role><index>
 312
 313 The format of
 314 .I <device>
 315 is:
 316   [md|zfs:][pool_dir/]<pool>/<filesystem>
 317
 318 Snapshot only uses the fields <host>, <label> and <device>.
 319
 320 .br
 321 .B Example:
 322 .br
 323 .B
 324 # cat /etc/ldev.conf
 325 .br
 326  host-mdt1 - myfs-MDT0000 zfs:/tmp/myfs-mdt1/mdt1
 327  host-mdt2 - myfs-MDT0001 zfs:myfs-mdt2/mdt2
 328  host-ost1 - OST0000 zfs:/tmp/myfs-ost1/ost1
 329  host-ost2 - OST0001 zfs:myfs-ost2/ost2
 330
 331 See also:
 332
 333 .PP
 334 \fBlctl-snapshot-create\fR(8)
 335 .RS 4
 336 Create snapshot with the given name.
 337 .RE
 338 .PP
 339 \fBlctl-snapshot-destroy\fR(8)
 340 .RS 4
 341 Destroy the specified snapshot.
 342 .RE
 343 .PP
 344 \fBlctl-snapshot-modify\fR(8)
 345 .RS 4
 346 Modify the specified snapshot.
 347 .RE
 348 .PP
 349 \fBlctl-snapshot-list\fR(8)
 350 .RS 4
 351 Query the snapshot information.
 352 .RE
 353 .PP
 354 \fBlctl-snapshot-mount\fR(8)
 355 .RS 4
 356 Mount the specified snapshot.
 357 .RE
 358 .PP
 359 \fBlctl-snapshot-umount\fR(8)
 360 .RS 4
 361 Umount the specified snapshot.
 362 .RE
 363
 364 .SS Debug
 365 .TP
 366 .BI debug_daemon
 367 Start and stop the debug daemon, and control the output filename and size.
 368 .TP
 369 .BI debug_kernel " [file] [raw]"
 370 Dump the kernel debug buffer to stdout or file.
 371 .TP
 372 .BI debug_file " <input> [output]"
 373 Convert kernel-dumped debug log from binary to plain text format.
 374 .TP
 375 .BI clear
 376 Clear the kernel debug buffer.
 377 .TP
 378 .BI mark " <text>"
 379 Insert marker text in the kernel debug buffer.
 380 .TP
 381 .BI filter " <subsystem id/debug mask>"
 382 Filter kernel debug messages by subsystem or mask.
 383 .TP
 384 .BI show " <subsystem id/debug mask>"
 385 Show specific type of messages.
 386 .TP
 387 .BI debug_list " <subs/types>"
 388 List all the subsystem and debug types.
 389 .TP
 390 .BI modules " <path>"
 391 Provide gdb-friendly module information.
 392
 393 .SH OPTIONS
 394 The following options can be used to invoke lctl.
 395 .TP
 396 .B --device
 397 The device to be used for the operation. This can be specified by name or
 398 number. See
 399 .B device_list
 400 .TP
 401 .B --ignore_errors | ignore_errors
 402 Ignore errors during script processing
 403 .TP
 404 .B lustre_build_version
 405 Output the build version of the Lustre kernel modules
 406 .TP
 407 .B --version
 408 Output the build version of the lctl utility
 409 .TP
 410 .B --list-commands
 411 Output a list of the commands supported by the lctl utility
 412 .TP
 413 .B help
 414 Provides brief help on the various arguments
 415 .TP
 416 .B exit/quit
 417 Quit the interactive lctl session
 418
 419 .SH EXAMPLES
 420 # lctl
 421 .br
 422 lctl > dl
 423   0 UP mgc MGC192.168.0.20@tcp bfbb24e3-7deb-2ffa-eab0-44dffe00f692 5
 424   1 UP ost OSS OSS_uuid 3
 425   2 UP obdfilter testfs-OST0000 testfs-OST0000_UUID 3
 426 .br
 427 lctl > dk /tmp/log
 428 Debug log: 87 lines, 87 kept, 0 dropped.
 429 .br
 430 lctl > quit
 431
 432 .SH AVAILABILITY
 433 .B lctl
 434 is part of the
 435 .BR lustre (7)
 436 filesystem package.
 437 .SH SEE ALSO
 438 .BR lfs (1)
 439 .BR lustre (7),
 440 .BR lctl (8),
 441 .BR lctl-barrier (8),
 442 .BR lctl-changelog_deregister (8),
 443 .BR lctl-changelog_register (8),
 444 .BR lctl-get_param (8),
 445 .BR lctl-lcfg (8),
 446 .BR lctl-lfsck-start (8),
 447 .BR lctl-lfsck-stop (8),
 448 .BR lctl-lfsck-query (8),
 449 .BR lctl-list_param (8),
 450 .BR lctl-set_param (8),
 451 .BR lctl-snapshot-create (8),
 452 .BR lctl-snapshot-destroy (8),
 453 .BR lctl-snapshot-modify (8),
 454 .BR lctl-snapshot-list (8),
 455 .BR lctl-snapshot-mount (8),
 456 .BR lctl-snapshot-umount (8),
 457 .BR lctl-llog_catlist (8),
 458 .BR lctl-llog_info (8),
 459 .BR lctl-llog_print (8),
 460 .BR lctl-network (8),
 461 .BR lctl-nodemap-activate (8),
 462 .BR lctl-nodemap-add (8),
 463 .BR lctl-nodemap-add-idmap (8),
 464 .BR lctl-nodemap-add-range (8),
 465 .BR lctl-nodemap-del (8),
 466 .BR lctl-nodemap-del-idmap (8),
 467 .BR lctl-nodemap-del-range (8),
 468 .BR lctl-nodemap-modify (8),
 469 .BR lctl-pcc (8),
 470 .BR mkfs.lustre (8),
 471 .BR mount.lustre (8),