lustre/doc/lctl.8

   1 .TH lctl 1 "2003 Oct 8" Lustre "configuration utilities"
   2 .SH NAME
   3 lctl \- Low level Lustre filesystem configuration utility
   4 .SH SYNOPSIS
   5 .br
   6 .B lctl
   7 .br
   8 .B lctl --device <devno> <command [args]>
   9 .br
  10 .SH DESCRIPTION
  11 .B lctl
  12 is used to directly control Lustre via an ioctl interface, allowing
  13 various configuration, maintenance, and debugging features to be accessed.
  14
  15 .B lctl
  16 can be invoked in interactive mode by issuing lctl command. After that, commands are issued as below. The most common commands in lctl are
  17 .B dl
  18 ,
  19 .B dk
  20 ,
  21 .B device
  22 ,
  23 .B network
  24 .I <up/down>
  25 ,
  26 .B list_nids
  27 ,
  28 .B ping
  29 .I nid
  30 ,
  31 .B help
  32 ,
  33 .B quit.
  34
  35 To get a complete listing of available commands, type
  36 .B help
  37 at the lctl prompt.  To get basic help on the meaning and syntax of a
  38 command, type
  39 .B help
  40 .I command
  41 .  Command completion is activated with the TAB key, and command history is available via the up- and down-arrow keys.
  42
  43 For non-interactive use, one uses the second invocation, which runs command after connecting to the device.
  44
  45 .SS Network Configuration
  46 .TP
  47 .BI network " <up/down>|<tcp/elan/myrinet>"
  48 Start or stop LNET, or select a network type for other
  49 .I lctl
  50 LNET commands
  51 .TP
  52 .BI list_nids
  53 Print all Network Identifiers on the local node. LNET must be running.
  54 .TP
  55 .BI which_nid " <nidlist>"
  56 From a list of nids for a remote node, show which interface communication
  57 will take place on.
  58 .TP
  59 .BI replace_nids " <devicename> <nid1>[,nid2,nid3 ...]"
  60 Replace the LNET Network Identifiers for a given device,
  61 as when the server's IP address has changed.
  62 This command must be run on the MGS node.
  63 Only MGS server should be started (command execution returns error
  64 in another cases). To start the MGS service only:
  65 mount -t lustre <MDT partition> -o nosvc <mount point>
  66 Note the replace_nids command skips any invalidated records in the configuration log.
  67 The previous log is backed up with the suffix '.bak'.
  68 .TP
  69 .BI ping " <nid> "
  70 Check LNET connectivity via an LNET ping. This will use the fabric
  71 appropriate to the specified NID.
  72 .TP
  73 .BI interface_list
  74 Print the network interface information for a given
  75 .B network
  76 type.
  77 .TP
  78 .BI peer_list
  79 Print the known peers for a given
  80 .B network
  81 type.
  82 .TP
  83 .BI conn_list
  84 Print all the connected remote NIDs for a given
  85 .B network
  86 type.
  87 .TP
  88 .BI route_list
  89 Print the complete routing table.
  90 .PP
  91 .SS Device Selection
  92 .TP
  93 .BI device " <devname> "
  94 This will select the specified OBD device.  All other commands depend on the device being set.
  95 .TP
  96 .BI device_list
  97 Show all the local Lustre OBDs. AKA
  98 .B dl
  99 .PP
 100 .SS Device Operations
 101 .TP
 102 .BI list_param " [-F|-R] <param_search ...>"
 103 List the Lustre or LNet parameter name
 104 .B -F
 105 Add '/', '@' or '=' for dirs, symlinks and writeable files, respectively.
 106 .br
 107 .B -R
 108 Recursively list all parameters under the specified parameter search string. If
 109 .I param_search
 110 is unspecified, all the parameters will be shown.
 111 .br
 112 .B Examples:
 113 .br
 114 .B
 115 # lctl list_param ost.*
 116 .br
 117   ost.OSS
 118 .br
 119   ost.num_refs
 120 .br
 121 .B
 122 # lctl list_param -F ost.* debug
 123 .br
 124   ost.OSS/
 125 .br
 126   ost.num_refs
 127 .br
 128   debug=
 129 .br
 130 .B
 131 # lctl list_param -R mdt
 132 .br
 133   mdt
 134 .br
 135   mdt.lustre-MDT0000
 136 .br
 137   mdt.lustre-MDT0000.capa
 138 .br
 139   mdt.lustre-MDT0000.capa_count
 140 .br
 141   mdt.lustre-MDT0000.capa_key_timeout
 142 .br
 143   mdt.lustre-MDT0000.capa_timeout
 144 .br
 145   mdt.lustre-MDT0000.commit_on_sharing
 146 .br
 147   mdt.lustre-MDT0000.evict_client
 148 .br
 149   ...
 150 .TP
 151 .BI get_param " [-F|-n|-N|-R] <parameter ...>"
 152 Get the value of Lustre or LNET parameter.
 153 .br
 154 .B -F
 155 When -N specified, add '/', '@' or '=' for directories, symlinks and writeable files, respectively.
 156 .br
 157 .br
 158 .B -n
 159 Print only the value and not parameter name.
 160 .br
 161 .B -N
 162 Print only matched parameter names and not the values. (Especially useful when using patterns.)
 163 .br
 164 .B -R
 165 Print all of the parameter names below the specified name.
 166 .br
 167 .B Examples:
 168 .br
 169 .B
 170 # lctl get_param ost.*
 171 .br
 172   ost.OSS
 173 .br
 174   ost.num_refs
 175 .br
 176 .B
 177 # lctl get_param -n debug timeout
 178 .br
 179   super warning dlmtrace error emerg ha rpctrace vfstrace config console
 180 .br
 181   20
 182 .br
 183 .B
 184 # lctl get_param -N ost.* debug
 185 .br
 186   ost.OSS
 187 .br
 188   ost.num_refs
 189 .br
 190   debug
 191 .br
 192 lctl "get_param -NF" is equivalent to "list_param -F".
 193 .TP
 194 .BI set_param " [-n] [-P] [-d] <parameter=value ...>"
 195 Set the value of Lustre or LNET parameter.
 196 .br
 197 .B -n
 198 Disable printing of the key name when printing values.
 199 .br
 200 .B -P
 201 Set the parameter permanently, filesystem-wide.
 202 This parameters are only visible to 2.5.0 and later clients, older clients will not see these parameters.
 203 .br
 204 .B -d
 205 Remove the permanent setting (only with -P option)
 206 .br
 207 .B Examples:
 208 .br
 209 .B
 210 # lctl set_param fail_loc=0 timeout=20
 211 .br
 212   fail_loc=0
 213 .br
 214   timeout=20
 215 .br
 216 .B
 217 # lctl set_param -n fail_loc=0 timeout=20
 218 .br
 219   0
 220 .br
 221   20
 222 .br
 223 .B
 224 # lctl set_param -P osc.*.max_dirty_mb=32
 225 .br
 226 .TP
 227 .BI conf_param " [-d] <device|fsname>.<parameter>=<value>"
 228 Set a permanent configuration parameter for any device via the MGS.  This
 229 command must be run on the MGS node.
 230 .br
 231 .B -d <device|fsname>.<parameter>
 232 Delete a parameter setting (use the default value at the next restart).  A null value for <value> also deletes the parameter setting.
 233 .br
 234 .B Parameters:
 235 .br
 236 All of the writable parameters under
 237 .B lctl list_param
 238 (e.g.
 239 .I lctl list_param -F osc.*.* | grep =
 240 ) can be permanently set using
 241 .B lctl conf_param
 242 , but the format is slightly different.  For conf_param, the device is specified first, then the obdtype. (See examples below.)  Wildcards are not supported.
 243 .br
 244 Additionally, failover nodes may be added (or removed), and some system-wide parameters may be set as well (sys.at_max, sys.at_min, sys.at_extra, sys.at_early_margin, sys.at_history, sys.timeout, sys.ldlm_timeout.)  <device> is ignored for system wide parameters.
 245 .br
 246 .B Examples:
 247 .br
 248 # lctl conf_param testfs.sys.at_max=1200
 249 .br
 250 # lctl conf_param testfs.llite.max_read_ahead_mb=16
 251 .br
 252 # lctl conf_param testfs-MDT0000.lov.stripesize=2M
 253 .br
 254 # lctl conf_param lustre-OST0001.osc.active=0
 255 .br
 256 # lctl conf_param testfs-OST0000.osc.max_dirty_mb=29.15
 257 .br
 258 # lctl conf_param testfs-OST0000.ost.client_cache_seconds=15
 259 .br
 260 # lctl conf_param testfs-OST0000.failover.node=1.2.3.4@tcp1
 261 .TP
 262 .BI activate
 263 Reactivate an import after deactivating, below.  This setting is only effective until the next restart (see
 264 .B conf_param
 265 ).
 266 .TP
 267 .BI deactivate
 268 Deactivate an import, in particular meaning do not assign new file stripes
 269 to an OSC.  This command should be used on the OSC in the MDT LOV
 270 corresponding to a failed OST device, to prevent further attempts at
 271 communication with the failed OST.
 272 .TP
 273 .BI abort_recovery
 274 Abort the recovery process on a restarting MDT or OST device
 275 .PP
 276 .SS Virtual Block Device Operation
 277 Lustre is able to emulate a virtual block device upon regular file. It is necessary to be used when you are trying to setup a swap space via file.
 278 .TP
 279 .BI blockdev_attach " <file name> <device node>"
 280 Attach the lustre regular file to a block device. If the device node is not existent, lctl will create it \- it is recommended to create it by lctl since the emulator uses a dynamical major number.
 281 .TP
 282 .BI blockdev_detach " <device node>"
 283 Detach the virtual block device.
 284 .TP
 285 .BI blockdev_info " <device node>"
 286 Acquire which lustre file was attached to the device node.
 287 .PP
 288 .SS Changelogs
 289 .TP
 290 .BI changelog_register " [-n]"
 291 Register a new changelog user for a particular device.  Changelog entries
 292 will not be purged beyond any registered users' set point. (See lfs changelog_clear.)
 293 .br
 294 .B -n
 295 Print only the ID of the newly registered user.
 296 .TP
 297 .BI changelog_deregister " <id>"
 298 Unregister an existing changelog user.  If the user's "clear" record number
 299 is the minimum for the device, changelog records will be purged until the
 300 next minimum.
 301 .PP
 302 .SS Nodemap
 303 An identity mapping feature that facilitates mapping of client UIDs and GIDs to
 304 local file system UIDs and GIDs, while maintaining POSIX ownership, permissions,
 305 and quota.
 306
 307 While the nodemap feature is enabled, all client file system access is subject
 308 to the nodemap identity mapping policy, which consists of the 'default' catchall
 309 nodemap, and any user-defined nodemaps. The 'default' nodemap maps all client
 310 identities to 99:99 (nobody:nobody). Administrators can define nodemaps for a
 311 range of client NIDs which map identities, and these nodemaps can be flagged as
 312  'trusted' so identities are accepted without translation, as well as flagged
 313 as 'admin' meaning that root is not squashed for these nodes.
 314
 315 Note: In the current phase of implementation, to use the nodemap functionality
 316 you only need to enable and define nodemaps on the MDS. The MDSes must also be
 317 in a nodemap with the admin and trusted flags set. To use quotas with nodemaps,
 318 you must also use set_param to enable and define nodemaps on the OSS (matching
 319 what is defined on the MDS). Nodemaps do not currently persist, unless you
 320 define them with set_param and use the -P flag. Note that there is a hard limit
 321 to the number of changes you can persist over the lifetime of the file system.
 322
 323 See also:
 324
 325 .PP
 326 \fBlctl-nodemap-activate\fR(8)
 327 .RS 4
 328 Activate/deactivate the nodemap feature.
 329 .RE
 330 .PP
 331 \fBlctl-nodemap-add\fR(8)
 332 .RS 4
 333 Add a new nodemap, to which NID ranges, identities, and properties can be added.
 334 .RE
 335 .PP
 336 \fBlctl-nodemap-del\fR(8)
 337 .RS 4
 338 Delete an existing nodemap.
 339 .RE
 340 .PP
 341 \fBlctl-nodemap-add-range\fR(8)
 342 .RS 4
 343 Define a range of NIDs for a nodemap.
 344 .RE
 345 .PP
 346 \fBlctl-nodemap-del-range\fR(8)
 347 .RS 4
 348 Delete an existing NID range from a nodemap.
 349 .RE
 350 .PP
 351 \fBlctl-nodemap-add-idmap\fR(8)
 352 .RS 4
 353 Add a UID or GID mapping to a nodemap.
 354 .RE
 355 .PP
 356 \fBlctl-nodemap-del-idmap\fR(8)
 357 .RS 4
 358 Delete an existing UID or GID mapping from a nodemap.
 359 .RE
 360 .PP
 361 \fBlctl-nodemap-modify\fR(8)
 362 .RS 4
 363 Modify a nodemap property.
 364 .RE
 365
 366 .SS LFSCK
 367 An on-line Lustre consistency check and repair tool.
 368 .TP
 369 .B lfsck_start \fR<-M | --device [MDT,OST]_device>
 370      \fR[-A | --all] [-c | --create_ostobj [on | off]]
 371      \fR[-e | --error <continue | abort>] [-h | --help]
 372      \fR[-n | --dryrun [on | off]] [-o | --orphan]
 373      \fR[-r | --reset] [-s | --speed speed_limit]
 374      \fR[-t | --type lfsck_type[,lfsck_type...]]
 375      \fR[-w | --window_size size]
 376 .br
 377 Start LFSCK on the specified MDT or OST device with specified parameters.
 378 .TP
 379   -M, --device <MDT,OST_device>
 380 The MDT or OST device to start LFSCK/scrub on.
 381 .TP
 382   -A, --all
 383 Start LFSCK on all available MDT devices.
 384 .TP
 385   -c, --create_ostobj [on | off]
 386 Create the lost OST-object for dangling LOV EA: 'off' (default) or 'on'. Under
 387 default mode, when the LFSCK find some MDT-object with dangling reference, it
 388 will report the inconsistency but will not repair it.  If 'on' is given, then
 389 LFSCK will re-create the missed OST-object.
 390 .TP
 391   -e, --error <error_handle>
 392 With error_handle as 'abort' then if a repair is impossible LFSCK will save
 393 the current position stop with an error.  Otherwise the default behavior is
 394 to 'continue' if a repair is impossible.
 395 .TP
 396   -h, --help
 397 Show the usage message.
 398 .TP
 399   -n, --dryrun [on | off]
 400 Perform a trial run with no changes made, if 'on' or no argument is given.
 401 Default is 'off', meaning that any inconsistencies found will be repaired.
 402 .TP
 403   -o, --orphan
 404 Handle orphan objects, such as orphan OST-objects for layout LFSCK by
 405 linking them under the .../.lustre/lost+found directory.
 406 .TP
 407   -r, --reset
 408 Set the current position of object iteration to the beginning of the specified
 409 device. The non-specified parameters will also be reset to the default. By
 410 default the iterator will resume the scanning from the last saved checkpoint
 411 position, and other unspecified parameters will be the same as the prior
 412 incomplete run.
 413 .TP
 414   -s, --speed <speed_limit>
 415 Set the upper limit of LFSCK processing in objects per second to reduce load
 416 on the servers and storage. If no value is specified the saved value is used
 417 (if resuming from a checkpoint). Otherwise the default value of 0 is used,
 418 which means check the filesystem as quickly as possible.
 419 .TP
 420   -t, --type <lfsck_type[,lfsck_type...]>
 421 The type of LFSCK checking/repair to execute. If no type is given and the
 422 previous run was incomplete or internal consistency checks detected an error,
 423 then the same types are used for the next run.  Otherwise, the default is to
 424 check all types of consistency.  Any time LFSCK is triggered on an ldiskfs
 425 MDT or OST then OI Scrub is run.  Valid types are a comma-separated list of one or more of
 426 .B scrub
 427 to run only the local OI Scrub on ldiskfs targets,
 428 .B namespace
 429 for FID-in-dirent and linkEA checking on the MDT(s),
 430 .B layout
 431 for MDT-OST cross-reference consistency, and
 432 .B all
 433 to run all of the available check types.
 434 .TP
 435   -w, --window_size <size>
 436 Specifies the maximum number of in-flight request being processed at
 437 one time.  This controls the load placed on remote OSTs when running
 438 .B layout
 439 checks.  By default there are at most 1024 outstanding requests.
 440 .TP
 441 .B lfsck_stop  \fR<-M | --device [MDT,OST]_device> [-A | --all] [-h | --help]
 442 Stop LFSCK on the specified MDT or OST device.
 443 .TP
 444   -M, --device <[MDT,OST]_device>
 445 The MDT or OST device to stop LFSCK/scrub on.
 446 .TP
 447   -A, --all
 448 Stop LFSCK on all devices.
 449 .TP
 450   -h, --help
 451 Show this help.
 452 .TP
 453 .B lfsck_query \fR<-M | --device MDT_device> [-h | --help]
 454     \fR[-t | --type lfsck_type[,lfsck_type...]] [-w | --wait]
 455 .br
 456 Get the LFSCK global status via the specified MDT device.
 457 .TP
 458   -M, --device <MDT_device>
 459 Specify the MDT device on which the LFSCK runs or ever ran.
 460 .TP
 461   -t, --type <lfsck_type[,lfsck_type...]>
 462 Specify what kind(s) of LFSCK to be checked. If no type is given, the default
 463 is to check all types of LFSCK status. Valid types are a comma-separated list
 464 of one or more of: namespace, layout, all
 465 .TP
 466   -h, --help
 467 Show this help.
 468 .TP
 469   -w, --wait
 470 Do not return until there is no on-going LFSCK scanning on any target
 471 associated with this filesystem (MDT or OST).
 472 .SS Debug
 473 .TP
 474 .BI debug_daemon
 475 Start and stop the debug daemon, and control the output filename and size.
 476 .TP
 477 .BI debug_kernel " [file] [raw]"
 478 Dump the kernel debug buffer to stdout or file.
 479 .TP
 480 .BI debug_file " <input> [output]"
 481 Convert kernel-dumped debug log from binary to plain text format.
 482 .TP
 483 .BI clear
 484 Clear the kernel debug buffer.
 485 .TP
 486 .BI mark " <text>"
 487 Insert marker text in the kernel debug buffer.
 488 .TP
 489 .BI filter " <subsystem id/debug mask>"
 490 Filter kernel debug messages by subsystem or mask.
 491 .TP
 492 .BI show " <subsystem id/debug mask>"
 493 Show specific type of messages.
 494 .TP
 495 .BI debug_list " <subs/types>"
 496 List all the subsystem and debug types.
 497 .TP
 498 .BI modules " <path>"
 499 Provide gdb-friendly module information.
 500
 501 .SH OPTIONS
 502 The following options can be used to invoke lctl.
 503 .TP
 504 .B --device
 505 The device to be used for the operation. This can be specified by name or
 506 number. See
 507 .B device_list
 508 .TP
 509 .B --ignore_errors | ignore_errors
 510 Ignore errors during script processing
 511 .TP
 512 .B lustre_build_version
 513 Output the build version of the Lustre kernel modules
 514 .TP
 515 .B --version
 516 Output the build version of the lctl utility
 517 .TP
 518 .B help
 519 Provides brief help on the various arguments
 520 .TP
 521 .B exit/quit
 522 Quit the interactive lctl session
 523
 524 .SH EXAMPLES
 525 # lctl
 526 .br
 527 lctl > dl
 528   0 UP mgc MGC192.168.0.20@tcp bfbb24e3-7deb-2ffa-eab0-44dffe00f692 5
 529   1 UP ost OSS OSS_uuid 3
 530   2 UP obdfilter testfs-OST0000 testfs-OST0000_UUID 3
 531 .br
 532 lctl > dk /tmp/log
 533 Debug log: 87 lines, 87 kept, 0 dropped.
 534 .br
 535 lctl > quit
 536
 537 .SH AVAILABILITY
 538 .B lctl
 539 is part of the
 540 .BR Lustre (7)
 541 filesystem package.
 542 .SH SEE ALSO
 543 .BR lustre (7),
 544 .BR mkfs.lustre (8),
 545 .BR mount.lustre (8),
 546 .BR lctl (8),
 547 .BR lfs (1)