lustre/scripts/lustre_config.in

   1 #!/bin/bash
   2
   3 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
   4
   5 #
   6 # lustre_config - format and set up multiple lustre servers from a csv file
   7 #
   8 # This script is used to parse each line of a spreadsheet (csv file) and
   9 # execute remote commands to format (mkfs.lustre) every Lustre target
  10 # that will be part of the Lustre cluster.
  11 #
  12 # In addition, it can also verify the network connectivity and hostnames in
  13 # the cluster, configure Linux MD/LVM devices and produce High-Availability
  14 # software configurations for Heartbeat or CluManager.
  15 #
  16 ################################################################################
  17
  18 # Usage
  19 usage() {
  20     cat <<EOF
  21
  22 Usage: $(basename $0) [options] <-a|-w|-x> <csv file>
  23
  24     This script is used to format and set up multiple lustre servers from a
  25     csv file.
  26
  27     Options:
  28     -h          help and examples
  29     -a          select all the nodes from the csv file to operate on
  30     -w hostname,hostname,...
  31                 select the specified list of nodes (separated by commas) to
  32                 operate on rather than all the nodes in the csv file
  33     -x hostname,hostname,...
  34                 exclude the specified list of nodes (separated by commas)
  35     -t HAtype   produce High-Availability software configurations
  36                 The argument following -t is used to indicate the High-
  37                 Availability software type. The HA software types which
  38                 are currently supported are: hbv1 (Heartbeat version 1)
  39                 and hbv2 (Heartbeat version 2).
  40     -n          no net - don't verify network connectivity and hostnames
  41                 in the cluster
  42     -d          configure Linux MD/LVM devices before formatting the
  43                 Lustre targets
  44     -f          force-format the Lustre targets using --reformat option
  45     -m          no fstab change - don't modify /etc/fstab to add the new
  46                 Lustre targets
  47                 If using this option, then the value of "mount options"
  48                 item in the csv file will be passed to mkfs.lustre, else
  49                 the value will be added into the /etc/fstab.
  50     -u          upgrade Lustre targets from 1.4 to 1.6
  51     -v          verbose mode
  52     csv file    a spreadsheet that contains configuration parameters
  53                 (separated by commas) for each target in a Lustre cluster
  54
  55 EOF
  56 }
  57
  58 # Samples
  59 sample() {
  60     cat <<EOF
  61
  62 This script is used to parse each line of a spreadsheet (csv file) and
  63 execute remote commands to format (mkfs.lustre) every Lustre target
  64 that will be part of the Lustre cluster.
  65
  66 It can also optionally:
  67  * upgrade Lustre targets from 1.4 to 1.6
  68  * verify the network connectivity and hostnames in the cluster
  69  * configure Linux MD/LVM devices
  70  * modify /etc/modprobe.conf to add Lustre networking info
  71  * add the Lustre server info to /etc/fstab
  72  * produce configurations for Heartbeat or CluManager.
  73
  74 There are 5 kinds of line formats in the csv file. They represent the following
  75 targets:
  76 1) Linux MD device
  77 The format is:
  78 hostname,MD,md name,operation mode,options,raid level,component devices
  79
  80 hostname            hostname of the node in the cluster
  81 MD                  marker of MD device line
  82 md name             MD device name, e.g. /dev/md0
  83 operation mode      create or remove, default is create
  84 options             a "catchall" for other mdadm options, e.g. "-c 128"
  85 raid level          raid level: 0,1,4,5,6,10,linear and multipath
  86 component devices   block devices to be combined into the MD device
  87                     Multiple devices are separated by space or by using
  88                     shell expansions, e.g. "/dev/sd{a,b,c}"
  89
  90 2) Linux LVM PV (Physical Volume)
  91 The format is:
  92 hostname,PV,pv names,operation mode,options
  93
  94 hostname            hostname of the node in the cluster
  95 PV                  marker of PV line
  96 pv names            devices or loopback files to be initialized for later
  97                     use by LVM or to be wiped the label, e.g. /dev/sda
  98                     Multiple devices or files are separated by space or by
  99                     using shell expansions, e.g. "/dev/sd{a,b,c}"
 100 operation mode      create or remove, default is create
 101 options             a "catchall" for other pvcreate/pvremove options
 102                     e.g. "-vv"
 103
 104 3) Linux LVM VG (Volume Group)
 105 The format is:
 106 hostname,VG,vg name,operation mode,options,pv paths
 107
 108 hostname            hostname of the node in the cluster
 109 VG                  marker of VG line
 110 vg name             name of the volume group, e.g. ost_vg
 111 operation mode      create or remove, default is create
 112 options             a "catchall" for other vgcreate/vgremove options
 113                     e.g. "-s 32M"
 114 pv paths            physical volumes to construct this VG, required by
 115                     create mode
 116                     Multiple PVs are separated by space or by using
 117                     shell expansions, e.g. "/dev/sd[k-m]1"
 118
 119 4) Linux LVM LV (Logical Volume)
 120 The format is:
 121 hostname,LV,lv name,operation mode,options,lv size,vg name
 122
 123 hostname            hostname of the node in the cluster
 124 LV                  marker of LV line
 125 lv name             name of the logical volume to be created (optional)
 126                     or path of the logical volume to be removed (required
 127                     by remove mode)
 128 operation mode      create or remove, default is create
 129 options             a "catchall" for other lvcreate/lvremove options
 130                     e.g. "-i 2 -I 128"
 131 lv size             size [kKmMgGtT] to be allocated for the new LV
 132                     Default unit is megabytes.
 133 vg name             name of the VG in which the new LV will be created
 134
 135 5) Lustre target
 136 The format is:
 137 hostname,module_opts,device name,mount point,device type,fsname,mgs nids,index,
 138 format options,mkfs options,mount options,failover nids
 139
 140 hostname            hostname of the node in the cluster, must match "uname -n"
 141 module_opts         Lustre networking module options
 142 device name         Lustre target (block device or loopback file)
 143 mount point         Lustre target mount point
 144 device type         Lustre target type (mgs, mdt, ost, mgs|mdt, mdt|mgs)
 145 fsname              Lustre filesystem name, should be limited to 8 characters
 146                     Default is "lustre".
 147 mgs nids            NID(s) of remote mgs node, required for mdt and ost targets
 148                     If this item is not given for an mdt, it is assumed that
 149                     the mdt will also be an mgs, according to mkfs.lustre.
 150 index               Lustre target index
 151 format options      a "catchall" contains options to be passed to mkfs.lustre
 152                     "--device-size", "--param", etc. all goes into this item.
 153 mkfs options        format options to be wrapped with --mkfsoptions="" and
 154                     passed to mkfs.lustre
 155 mount options       If this script is invoked with "-m" option, then the value of
 156                     this item will be wrapped with --mountfsoptions="" and passed
 157                     to mkfs.lustre, else the value will be added into /etc/fstab.
 158 failover nids       NID(s) of failover partner node
 159
 160 All the NIDs in one node are delimited by commas (','). When multiple nodes are
 161 specified, they are delimited by a colon (':').
 162
 163 Items left blank will be set to defaults.
 164
 165 Example 1 - Simple, with combo MGS/MDT:
 166 -------------------------------------------------------------------------------
 167 # combo mdt/mgs
 168 lustre-mgs,options lnet networks=tcp,/tmp/mgs,/mnt/mgs,mgs|mdt,,,,--device-size=10240
 169
 170 # ost0
 171 lustre-ost,options lnet networks=tcp,/tmp/ost0,/mnt/ost0,ost,,lustre-mgs@tcp0,,--device-size=10240
 172
 173 # ost1
 174 lustre-ost,options lnet networks=tcp,/tmp/ost1,/mnt/ost1,ost,,lustre-mgs@tcp0,,--device-size=10240
 175 -------------------------------------------------------------------------------
 176
 177 Example 2 - Separate MGS/MDT, two networks interfaces:
 178 -------------------------------------------------------------------------------
 179 # mgs
 180 lustre-mgs1,options lnet 'networks="tcp,elan"',/dev/sda,/mnt/mgs,mgs,,,,--quiet --param="sys.timeout=50",,"defaults,noauto","lustre-mgs2,2@elan"
 181
 182 # mdt
 183 lustre-mdt1,options lnet 'networks="tcp,elan"',/dev/sdb,/mnt/mdt,mdt,lustre2,"lustre-mgs1,1@elan:lustre-mgs2,2@elan",,--quiet --param="lov.stripesize=4194304",-J size=16,"defaults,noauto",lustre-mdt2
 184
 185 # ost
 186 lustre-ost1,options lnet 'networks="tcp,elan"',/dev/sdc,/mnt/ost,ost,lustre2,"lustre-mgs1,1@elan:lustre-mgs2,2@elan",,--quiet,-I 512,"defaults,noauto",lustre-ost2
 187 -------------------------------------------------------------------------------
 188
 189 Example 3 - with combo MGS/MDT failover pair and OST failover pair:
 190 -------------------------------------------------------------------------------
 191 # combo mgs/mdt
 192 lustre-mgs1,options lnet networks=tcp,/tmp/mgs,/mnt/mgs,mgs|mdt,,,,--quiet --device-size=10240,,,lustre-mgs2@tcp0
 193
 194 # combo mgs/mdt backup (--noformat)
 195 lustre-mgs2,options lnet networks=tcp,/tmp/mgs,/mnt/mgs,mgs|mdt,,,,--quiet --device-size=10240 --noformat,,,lustre-mgs1@tcp0
 196
 197 # ost
 198 lustre-ost1,options lnet networks=tcp,/tmp/ost1,/mnt/ost1,ost,,"lustre-mgs1@tcp0:lustre-mgs2@tcp0",,--quiet --device-size=10240,,,lustre-ost2@tcp0
 199
 200 # ost backup (--noformat) (note different device name)
 201 lustre-ost2,options lnet networks=tcp,/tmp/ost2,/mnt/ost2,ost,,"lustre-mgs1@tcp0:lustre-mgs2@tcp0",,--quiet --device-size=10240 --noformat,,,lustre-ost1@tcp0
 202 -------------------------------------------------------------------------------
 203
 204 Example 4 - Configure Linux MD/LVM devices before formatting Lustre targets:
 205 -------------------------------------------------------------------------------
 206 # MD device on mgsnode
 207 mgsnode,MD,/dev/md0,,-q,1,/dev/sda1 /dev/sdb1
 208
 209 # MD/LVM devices on ostnode
 210 ostnode,MD,/dev/md0,,-q -c 128,5,"/dev/sd{a,b,c}"
 211 ostnode,MD,/dev/md1,,-q -c 128,5,"/dev/sd{d,e,f}"
 212 ostnode,PV,/dev/md0 /dev/md1
 213 ostnode,VG,ost_vg,,-s 32M,/dev/md0 /dev/md1
 214 ostnode,LV,ost0,,-i 2 -I 128,300G,ost_vg
 215 ostnode,LV,ost1,,-i 2 -I 128,300G,ost_vg
 216
 217 # combo mgs/mdt
 218 mgsnode,options lnet networks=tcp,/dev/md0,/mnt/mgs,mgs|mdt,,,,--quiet
 219
 220 # ost0
 221 ostnode,options lnet networks=tcp,/dev/ost_vg/ost0,/mnt/ost0,ost,,mgsnode,,--quiet
 222
 223 # ost1
 224 ostnode,options lnet networks=tcp,/dev/ost_vg/ost1,/mnt/ost1,ost,,mgsnode,,--quiet
 225 -------------------------------------------------------------------------------
 226
 227 EOF
 228     exit 0
 229 }
 230
 231 # Get the library of functions
 232 . @scriptlibdir@/lc_common
 233
 234 #***************************** Global variables *****************************#
 235 declare -a NODE_NAMES               # node names in the failover group
 236 declare -a TARGET_OPTS              # target services in one failover group
 237
 238 CONFIG_MD_LVM=false
 239 MODIFY_FSTAB=true
 240 UPGRADE_TARGET=false
 241 # Get and check the positional parameters
 242 while getopts "aw:x:t:ndfmuhv" OPTION; do
 243     case $OPTION in
 244     a)
 245         [ -z "${SPECIFIED_NODELIST}" ] && [ -z "${EXCLUDED_NODELIST}" ] \
 246         && USE_ALLNODES=true
 247         NODELIST_OPT="${NODELIST_OPT} -a"
 248         ;;
 249     w)
 250         USE_ALLNODES=false
 251         SPECIFIED_NODELIST=$OPTARG
 252         NODELIST_OPT="${NODELIST_OPT} -w ${SPECIFIED_NODELIST}"
 253         ;;
 254     x)
 255         USE_ALLNODES=false
 256         EXCLUDED_NODELIST=$OPTARG
 257         NODELIST_OPT="${NODELIST_OPT} -x ${EXCLUDED_NODELIST}"
 258         ;;
 259     t)
 260         HATYPE_OPT=$OPTARG
 261         if [ "${HATYPE_OPT}" != "${HBVER_HBV1}" ] \
 262         && [ "${HATYPE_OPT}" != "${HBVER_HBV2}" ] \
 263         && [ "${HATYPE_OPT}" != "${HATYPE_CLUMGR}" ]; then
 264             error_output "Invalid HA software type" \
 265                       "- ${HATYPE_OPT}!"
 266             usage 1>&2
 267             exit 1
 268         fi
 269         ;;
 270     n)
 271         VERIFY_CONNECT=false
 272         ;;
 273     d)
 274         CONFIG_MD_LVM=true
 275         ;;
 276     f)
 277         REFORMAT_OPTION=$"--reformat "
 278         ;;
 279     m)
 280         MODIFY_FSTAB=false
 281         ;;
 282     u)
 283         UPGRADE_TARGET=true
 284         ;;
 285     h)
 286         usage
 287         sample
 288         ;;
 289     v)
 290         VERBOSE_OPT=$" -v"
 291         VERBOSE_OUTPUT=true
 292         ;;
 293     ?)
 294         usage 1>&2
 295         exit 1
 296         ;;
 297     esac
 298 done
 299
 300 # Toss out the parameters we've already processed
 301 shift  `expr $OPTIND - 1`
 302
 303 # Here we expect the csv file
 304 if [ $# -eq 0 ]; then
 305     error_output "Missing csv file!"
 306     usage 1>&2
 307     exit 1
 308 fi
 309
 310 CSV_FILE=$1
 311
 312 # Construct the command line of mkfs.lustre
 313 construct_mkfs_cmdline() {
 314     # Check argument
 315     if [ $# -eq 0 ]; then
 316         error_output "construct_mkfs_cmdline():"\
 317                   "Missing argument for function construct_mkfs_cmdline()!"
 318         return 1
 319     fi
 320
 321     declare -i i=$1
 322     local mgsnids mgsnids_str
 323     local failnids failnids_str
 324
 325     if $UPGRADE_TARGET; then
 326         MKFS_CMD="$TUNEFS --writeconf"
 327     else
 328         MKFS_CMD="$MKFS $REFORMAT_OPTION"
 329     fi
 330
 331     case "${DEVICE_TYPE[i]}" in
 332     "ost")
 333         MKFS_CMD="$MKFS_CMD --ost"
 334         ;;
 335     "mdt")
 336         MKFS_CMD="$MKFS_CMD --mdt"
 337         ;;
 338     "mgs")
 339         MKFS_CMD="$MKFS_CMD --mgs"
 340         ;;
 341     "mdt|mgs" | "mgs|mdt")
 342         MKFS_CMD="$MKFS_CMD --mgs --mdt"
 343         ;;
 344     *)
 345         error_output "construct_mkfs_cmdline():"\
 346                   "Invalid device type - \"${DEVICE_TYPE[i]}\"!"
 347         return 1
 348         ;;
 349     esac
 350
 351     if [ -n "${FS_NAME[i]}" ]; then
 352         MKFS_CMD="$MKFS_CMD --fsname=${FS_NAME[i]}"
 353     fi
 354
 355     if [ -n "${MGS_NIDS[i]}" ]; then
 356         mgsnids_str=${MGS_NIDS[i]}
 357         for mgsnids in ${mgsnids_str//:/ }; do
 358             MKFS_CMD="$MKFS_CMD --mgsnode=$mgsnids"
 359         done
 360     fi
 361
 362     if [ -n "${INDEX[i]}" ]; then
 363         MKFS_CMD="$MKFS_CMD --index=${INDEX[i]}"
 364     fi
 365
 366     if [ -n "${FORMAT_OPTIONS[i]}" ]; then
 367         MKFS_CMD="$MKFS_CMD ${FORMAT_OPTIONS[i]}"
 368     fi
 369
 370     if ! $UPGRADE_TARGET && [ -n "${MKFS_OPTIONS[i]}" ]; then
 371         MKFS_CMD="$MKFS_CMD --mkfsoptions=\"${MKFS_OPTIONS[i]}\""
 372     fi
 373
 374     if [ -n "${MOUNT_OPTIONS[i]}" ] && ! $MODIFY_FSTAB; then
 375         MKFS_CMD="$MKFS_CMD --mountfsoptions=\"${MOUNT_OPTIONS[i]}\""
 376     fi
 377
 378     if [ -n "${FAILOVERS[i]}" ]; then
 379         failnids_str=${FAILOVERS[i]}
 380         for failnids in ${failnids_str//:/ }; do
 381             MKFS_CMD="$MKFS_CMD --failnode=$failnids"
 382         done
 383     fi
 384
 385     MKFS_CMD="$MKFS_CMD ${DEVICE_NAME[i]}"
 386     return 0
 387 }
 388
 389 # Get all the node names in this failover group
 390 get_nodenames() {
 391     # Check argument
 392     if [ $# -eq 0 ]; then
 393         error_output "get_nodenames(): Missing"\
 394                   "argument for function get_nodenames()!"
 395         return 1
 396     fi
 397
 398     declare -i i=$1
 399     declare -i idx
 400     local nids
 401
 402     # Initialize the NODE_NAMES array
 403     unset NODE_NAMES
 404
 405     NODE_NAMES[0]=${HOST_NAME[i]}
 406
 407     idx=1
 408     for nids in ${FAILOVERS_NAMES[i]//:/ }
 409     do
 410         NODE_NAMES[idx]=$(nids2hostname ${nids})
 411         if [ ${PIPESTATUS[0]} -ne 0 ]; then
 412             error_output "${NODE_NAMES[idx]}"
 413             return 1
 414         fi
 415
 416         idx=$idx+1
 417     done
 418
 419     return 0
 420 }
 421
 422 # Verify whether the format line has HA items
 423 is_ha_line() {
 424     declare -i i=$1
 425
 426     [ -n "${FAILOVERS[i]}" ] && return 0
 427
 428     return 1
 429 }
 430
 431 # Produce HA software's configuration files
 432 gen_ha_config() {
 433     declare -i i=$1
 434     declare -i idx
 435     local  cmd_line
 436
 437     # Prepare parameters
 438     # Hostnames option
 439     HOSTNAME_OPT=${HOST_NAME[i]}
 440
 441     if ! get_nodenames $i; then
 442         error_output "gen_ha_config(): Can not get the"\
 443         "failover nodenames from failover nids - \"${FAILOVERS[i]}\" in"\
 444         "the \"${HOST_NAME[i]}\" failover group!"
 445         return 1
 446     fi
 447
 448     for ((idx = 1; idx < ${#NODE_NAMES[@]}; idx++)); do
 449         HOSTNAME_OPT=${HOSTNAME_OPT}$":"${NODE_NAMES[idx]}
 450     done
 451
 452     # Target devices option
 453     DEVICE_OPT=" -d "${TARGET_OPTS[0]}
 454     for ((idx = 1; idx < ${#TARGET_OPTS[@]}; idx++)); do
 455         DEVICE_OPT=${DEVICE_OPT}" -d "${TARGET_OPTS[idx]}
 456     done
 457
 458     # Construct the generation script command line
 459     case "${HATYPE_OPT}" in
 460     "${HBVER_HBV1}"|"${HBVER_HBV2}")    # Heartbeat
 461         cmd_line=${GEN_HB_CONFIG}$" -r ${HATYPE_OPT} -n ${HOSTNAME_OPT}"
 462         cmd_line=${cmd_line}${DEVICE_OPT}${VERBOSE_OPT}
 463         ;;
 464     "${HATYPE_CLUMGR}")                 # CluManager
 465         cmd_line=${GEN_CLUMGR_CONFIG}$" -n ${HOSTNAME_OPT}"
 466         cmd_line=${cmd_line}${DEVICE_OPT}${VERBOSE_OPT}
 467         ;;
 468     esac
 469
 470     # Execute script to generate HA software's configuration files
 471     verbose_output "Generating HA software's configurations in"\
 472                "${HOST_NAME[i]} failover group..."
 473     verbose_output "${cmd_line}"
 474     eval $(echo "${cmd_line}")
 475     if [ ${PIPESTATUS[0]} -ne 0 ]; then
 476         return 1
 477     fi
 478     verbose_output "Generate HA software's configurations in"\
 479                "${HOST_NAME[i]} failover group OK"
 480
 481     return 0
 482 }
 483
 484 # Configure HA software
 485 config_ha() {
 486     if $UPGRADE_TARGET || [ -z "${HATYPE_OPT}" ]; then
 487         return 0
 488     fi
 489
 490     declare -i i j k
 491     declare -i prim_idx         # Index for PRIM_HOSTNAMES array
 492     declare -i target_idx       # Index for TARGET_OPTS and HOST_INDEX arrays
 493
 494     declare -a PRIM_HOSTNAMES   # Primary hostnames in all the failover
 495                                 # groups in the lustre cluster
 496     declare -a HOST_INDEX       # Indices for the same node in all the
 497                                 # format lines in the csv file
 498     local prim_host
 499
 500     # Initialize the PRIM_HOSTNAMES array
 501     prim_idx=0
 502     unset PRIM_HOSTNAMES
 503
 504     # Get failover groups and generate HA configuration files
 505     for ((i = 0; i < ${#HOST_NAME[@]}; i++)); do
 506         prim_host=${HOST_NAME[i]}
 507
 508         for ((j = 0; j < ${#PRIM_HOSTNAMES[@]}; j++)); do
 509             [ "${prim_host}" = "${PRIM_HOSTNAMES[j]}" ] && continue 2
 510         done
 511
 512         target_idx=0
 513         unset HOST_INDEX
 514         unset TARGET_OPTS
 515         for ((k = 0; k < ${#HOST_NAME[@]}; k++)); do
 516             if [ "${prim_host}" = "${HOST_NAME[k]}" ] && is_ha_line "${k}"
 517             then
 518                 HOST_INDEX[target_idx]=$k
 519                 TARGET_OPTS[target_idx]=${DEVICE_NAME[k]}:${MOUNT_POINT[k]}
 520                 target_idx=$(( target_idx + 1 ))
 521             fi
 522         done
 523
 524         if [ ${#TARGET_OPTS[@]} -ne 0 ]; then
 525             PRIM_HOSTNAMES[prim_idx]=${prim_host}
 526             prim_idx=$(( prim_idx + 1 ))
 527
 528             if ! gen_ha_config ${HOST_INDEX[0]}; then
 529                 return 1
 530             fi
 531         fi
 532     done
 533
 534     if [ ${#PRIM_HOSTNAMES[@]} -eq 0 ]; then
 535         verbose_output "There are no \"failover nids\" items in the"\
 536         "csv file. No HA configuration files are generated!"
 537     fi
 538
 539     rm -rf ${TMP_DIRS}
 540     return 0
 541 }
 542
 543 # Execute remote command to add lnet options lines to remote nodes'
 544 # modprobe.conf/modules.conf and format(mkfs.lustre) Lustre targets
 545 mass_config() {
 546     local COMMAND
 547     declare -a REMOTE_PID
 548     declare -a REMOTE_CMD
 549     declare -i pid_num=0
 550     declare -i i=0
 551     local checked_hosts=""
 552
 553     if [ ${#HOST_NAME[@]} -eq 0 ]; then
 554         verbose_output "There are no Lustre targets specified."
 555         return 0
 556     fi
 557
 558     if ! $UPGRADE_TARGET; then
 559         # Start lnet network in the MGS node
 560         start_mgs_lnet || return 1
 561     fi
 562
 563     for ((i = 0; i < ${#HOST_NAME[@]}; i++)); do
 564         # Construct the command line of mkfs.lustre
 565         if ! construct_mkfs_cmdline $i; then
 566             return 1
 567         fi
 568
 569         # create the mount point on the node
 570         COMMAND="mkdir -p ${MOUNT_POINT[i]}"
 571         verbose_output "Creating the mount point ${MOUNT_POINT[i]} on" \
 572                        "${HOST_NAME[i]}"
 573         ${REMOTE} ${HOST_NAME[i]} "${COMMAND}" >&2
 574         if [ ${PIPESTATUS[0]} -ne 0 ]; then
 575             error_output "mass_config():"\
 576                  "Failed to execute remote command to"\
 577                  "create the mountpoint on ${HOST_NAME[i]}!"
 578             return 1
 579         fi
 580
 581         if ! $UPGRADE_TARGET && ! is_mgs_node ${HOST_NAME[i]} && \
 582         ! host_in_hostlist ${HOST_NAME[i]} $checked_hosts; then
 583             # Execute remote command to add lnet options lines to
 584             # modprobe.conf/modules.conf
 585             add_module_options $i ${HOST_NAME[i]} || return ${PIPESTATUS[0]}
 586
 587             # Check lnet networks
 588             check_lnet $i || return ${PIPESTATUS[0]}
 589
 590             checked_hosts="$checked_hosts,${HOST_NAME[i]}"
 591         fi
 592
 593         # Execute remote command to format or upgrade Lustre target
 594         local OP
 595         $UPGRADE_TARGET && OP="Upgrading" || OP="Formatting"
 596         verbose_output "$OP Lustre target ${DEVICE_NAME[i]} on ${HOST_NAME[i]}..."
 597
 598         COMMAND="export PATH=\$PATH:/sbin:/usr/sbin; $MKFS_CMD"
 599         REMOTE_CMD[$pid_num]="$REMOTE ${HOST_NAME[i]} \"$COMMAND\""
 600         verbose_output "$OP command line is: ${REMOTE_CMD[$pid_num]}"
 601
 602         $REMOTE ${HOST_NAME[i]} "$COMMAND" &
 603         REMOTE_PID[$pid_num]=$!
 604         let pid_num=$pid_num+1
 605         sleep 1
 606     done
 607
 608     # Wait for the exit status of the background remote command
 609     verbose_output "Waiting for the return of the remote command..."
 610     fail_exit_status=false
 611     for ((pid_num = 0; pid_num < ${#REMOTE_PID[@]}; pid_num++)); do
 612         wait ${REMOTE_PID[${pid_num}]}
 613         if [ ${PIPESTATUS[0]} -ne 0 ]; then
 614             error_output "mass_config(): Failed"\
 615             "to execute \"${REMOTE_CMD[${pid_num}]}\"!"
 616             fail_exit_status=true
 617         fi
 618     done
 619
 620     if ${fail_exit_status}; then
 621         return 1
 622     fi
 623
 624     verbose_output "Success on all Lustre targets!"
 625     return 0
 626 }
 627
 628 # get_mntopts hostname device_name failovers
 629 # Construct the mount options of Lustre target @device_name in host @hostname
 630 get_mntopts() {
 631     local host_name=$1
 632     local device_name=$2
 633     local failovers=$3
 634     local mnt_opts=
 635     local ret_str
 636
 637     [ -n "${failovers}" ] && mnt_opts=defaults,noauto || mnt_opts=defaults
 638
 639     # Execute remote command to check whether the device
 640     # is a block device or not
 641     ret_str=$(${REMOTE} ${host_name} \
 642             "[ -b ${device_name} ] && echo block || echo loop" 2>&1)
 643     if [ ${PIPESTATUS[0]} -ne 0 -a -n "${ret_str}" ]; then
 644         echo "`basename $0`: get_mntopts() error:" \
 645         "remote command to ${host_name} error: ${ret_str}"
 646         return 1
 647     fi
 648
 649     if [ -z "${ret_str}" ]; then
 650         echo "`basename $0`: get_mntopts() error: remote error:" \
 651         "No results from remote!" \
 652         "Check network connectivity between the local host and ${host_name}!"
 653         return 1
 654     fi
 655
 656     [ "${ret_str}" != "${ret_str#*loop}" ] && mnt_opts=${mnt_opts},loop
 657
 658     echo ${mnt_opts}
 659     return 0
 660 }
 661
 662 # Execute remote command to modify /etc/fstab to add the new Lustre targets
 663 modify_fstab() {
 664     declare -i i
 665     local mntent mntopts device_name
 666     local COMMAND
 667
 668     if ! ${MODIFY_FSTAB}; then
 669         return 0
 670     fi
 671
 672     for ((i = 0; i < ${#HOST_NAME[@]}; i++)); do
 673         verbose_output "Modify /etc/fstab of host ${HOST_NAME[i]}"\
 674                    "to add Lustre target ${DEVICE_NAME[i]}"
 675         mntent=${DEVICE_NAME[i]}"\t\t"${MOUNT_POINT[i]}"\t\t"${FS_TYPE}
 676
 677         # Get mount options
 678         if [ -n "${MOUNT_OPTIONS[i]}" ]; then
 679             # The mount options already specified in the csv file.
 680             mntopts="${MOUNT_OPTIONS[i]}"
 681         else
 682             mntopts=$(get_mntopts ${HOST_NAME[i]} ${DEVICE_NAME[i]}\
 683                     ${FAILOVERS[i]})
 684             if [ ${PIPESTATUS[0]} -ne 0 ]; then
 685                 error_output "${mntopts}"
 686                 return 1
 687             fi
 688         fi
 689
 690         mntent=${mntent}"\t"${mntopts}"\t"0" "0
 691         verbose_output "`echo -e ${mntent}`"
 692
 693         # Execute remote command to modify /etc/fstab
 694         device_name=${DEVICE_NAME[i]//\//\\/}
 695         COMMAND=". @scriptlibdir@/lc_common; \
 696                 sed -i \"/^${device_name}\t/d\" \$(fcanon /etc/fstab); \
 697                 echo -e \"${mntent}\" >> \$(fcanon /etc/fstab)"
 698         ${REMOTE} ${HOST_NAME[i]} "${COMMAND}" >&2
 699         if [ ${PIPESTATUS[0]} -ne 0 ]; then
 700             error_output "modify_fstab():"\
 701             "Failed to modify /etc/fstab of host ${HOST_NAME[i]}"\
 702             "to add Lustre target ${DEVICE_NAME[i]}!"
 703             return 1
 704         fi
 705     done
 706
 707     return 0
 708 }
 709
 710 #********************************* Main Flow **********************************#
 711
 712 # Check the csv file
 713 check_file $CSV_FILE || exit ${PIPESTATUS[0]}
 714
 715 # Get the list of nodes to be operated on
 716 NODES_TO_USE=$(get_nodelist) || error_exit ${PIPESTATUS[0]} "$NODES_TO_USE"
 717
 718 # Check the node list
 719 check_nodelist $NODES_TO_USE || exit ${PIPESTATUS[0]}
 720
 721 if ${VERIFY_CONNECT}; then
 722 # Check the network connectivity and hostnames
 723     echo "`basename $0`: Checking the cluster network connectivity"\
 724          "and hostnames..."
 725     if ! ${VERIFY_CLUSTER_NET} ${NODELIST_OPT} ${VERBOSE_OPT} ${CSV_FILE}; then
 726         exit 1
 727     fi
 728     echo "`basename $0`: Check the cluster network connectivity"\
 729          "and hostnames OK!"
 730     echo
 731 fi
 732
 733 if $CONFIG_MD_LVM && ! $UPGRADE_TARGET; then
 734 # Configure Linux MD/LVM devices
 735     echo "`basename $0`: Configuring Linux MD/LVM devices..."
 736     if ! ${SCRIPT_CONFIG_MD} ${NODELIST_OPT} ${VERBOSE_OPT} ${CSV_FILE}; then
 737         exit 1
 738     fi
 739
 740     if ! ${SCRIPT_CONFIG_LVM} ${NODELIST_OPT} ${VERBOSE_OPT} ${CSV_FILE}; then
 741         exit 1
 742     fi
 743     echo "`basename $0`: Configure Linux MD/LVM devices OK!"
 744     echo
 745 fi
 746
 747 # Configure the Lustre cluster
 748 echo "`basename $0`: ******** Lustre cluster configuration BEGIN ********"
 749
 750 get_lustre_items $CSV_FILE || exit ${PIPESTATUS[0]}
 751
 752 check_mgs || exit ${PIPESTATUS[0]}
 753
 754 # Format or upgrade Lustre server targets
 755 mass_config || exit ${PIPESTATUS[0]}
 756
 757 # Modify /etc/fstab to add the new Lustre server targets
 758 modify_fstab || exit ${PIPESTATUS[0]}
 759
 760 # Produce HA software's configuration files
 761 if ! config_ha; then
 762     rm -rf ${TMP_DIRS}
 763     exit 1
 764 fi
 765
 766 echo "`basename $0`: ******** Lustre cluster configuration END **********"
 767
 768 exit 0