lustre/tests/setup_kerberos.sh

   1 #!/bin/bash
   2 # -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
   3 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
   4
   5 #
   6 # setup_kerberos.sh - setup the Kerberos environment on Lustre cluster
   7 #
   8 # Notes:
   9 #  * Only one KDC involved, no slave KDC.
  10 #  * Only one Kerberos realm involved, no multiple Kerberos realms.
  11 #
  12 ###############################################################################
  13
  14 # usage
  15 my_usage() {
  16     cat <<EOF
  17 Usage: $(basename $0) <KDC_distro> <KDC_node> <MGS_node> <MDS_node>[:MDS_node:...]
  18                       <OSS_node>[:OSS_node:...] <CLIENT_node>[:CLIENT_node:...]
  19
  20     This script is used to setup the Kerberos environment on Lustre cluster.
  21
  22     KDC_distro      distribution on the KDC node (rhel5 or sles10)
  23     KDC_node        KDC node name
  24     MGS_node        Lustre MGS node name
  25     MDS_node        Lustre MDS node name
  26     OSS_node        Lustre OSS node name
  27     CLIENT_node     Lustre client node name
  28
  29     e.g.: $(basename $0) rhel5 scsi2 scsi2 sata2 sata3 client5
  30     e.g.: $(basename $0) sles10 scsi2 scsi2 scsi2 sata3:sata5 client2:client3
  31     e.g.: $(basename $0) rhel5 scsi2 scsi2 scsi2 scsi2 scsi2
  32
  33     Notes:
  34     1) The script will destroy all the old Kerberos settings by default. If you
  35     want to reserve the original krb5.conf and KDC configuration, please set
  36     "RESET_KDC=false".
  37
  38     2) The script will create principals for some runas users and add them into
  39     the Kerberos database by default. The UIDs of the runas users specified in
  40     "LOCAL_UIDS" variable need exist on KDC, MDS and Client nodes. If you do not
  41     need runas users, please set "CFG_RUNAS=false".
  42
  43 EOF
  44 }
  45
  46 # ************************ Parameters and Variables ************************ #
  47 MY_KDC_DISTRO=$1
  48 MY_KDCNODE=$2
  49 MY_MGSNODE=$3
  50 MY_MDSNODES=$4
  51 MY_OSSNODES=$5
  52 MY_CLIENTNODES=$6
  53
  54 # translate to lower case letters
  55 MY_KDC_DISTRO=$(echo $MY_KDC_DISTRO | tr '[A-Z]' '[a-z]')
  56
  57 if [ -z "$MY_KDC_DISTRO" -o -z "$MY_KDCNODE" -o -z "$MY_MDSNODES" -o \
  58     -z "$MY_OSSNODES" -o -z "$MY_CLIENTNODES" -o -z "$MY_MGSNODE" ]; then
  59     my_usage
  60     exit 1
  61 fi
  62
  63 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
  64 . $LUSTRE/tests/test-framework.sh
  65 init_test_env
  66 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  67
  68 SCP=${SCP:-"scp -q"}
  69 ACCEPTOR_PORT=${ACCEPTOR_PORT:-988}
  70
  71 # check and configure runas users
  72 CFG_RUNAS=${CFG_RUNAS:-true}
  73 # uids for local users
  74 LOCAL_UIDS=${LOCAL_UIDS:-"500 501"}
  75
  76 # remove the original Kerberos and KDC settings
  77 RESET_KDC=${RESET_KDC:-true}
  78
  79 # generate unique keytab for each client node
  80 SPLIT_KEYTAB=${SPLIT_KEYTAB:-true}
  81
  82 # encryption types for generating keytab
  83 MDS_ENCTYPE=${MDS_ENCTYPE:-"aes128-cts"}
  84 MGS_ENCTYPE=${MGS_ENCTYPE:-"$MDS_ENCTYPE"}
  85 OSS_ENCTYPE=${OSS_ENCTYPE:-"aes128-cts"}
  86 CLIENT_ENCTYPE=${CLIENT_ENCTYPE:-"aes128-cts"}
  87
  88 # configuration file for Kerberos
  89 KRB5_CONF=${KRB5_CONF:-"/etc/krb5.conf"}
  90 KRB5_KEYTAB=${KRB5_KEYTAB:-"/etc/krb5.keytab"}
  91 KRB5_TICKET_LIFETIME=${KRB5_TICKET_LIFETIME:-"24h"}
  92
  93 # configuration files for libgssapi and keyutils
  94 GSSAPI_MECH_CONF=${GSSAPI_MECH_CONF:-"/etc/gssapi_mech.conf"}
  95 REQUEST_KEY_CONF=${REQUEST_KEY_CONF:-"/etc/request-key.conf"}
  96
  97 # krb5 realm & domain
  98 KRB5_REALM=${KRB5_REALM:-"CO.CFS"}
  99 KRB5_DOMAIN=$(echo $KRB5_REALM | tr '[A-Z]' '[a-z]')
 100
 101 MY_MDSNODES=${MY_MDSNODES//:/ }
 102 MY_OSSNODES=${MY_OSSNODES//:/ }
 103 MY_CLIENTNODES=${MY_CLIENTNODES//:/ }
 104
 105 # set vars according to the KDC distribution
 106 KRB5PKG_SVR="krb5-server"
 107 KRB5PKG_DEV="krb5-devel"
 108 case $MY_KDC_DISTRO in
 109     rhel5)
 110         KRB5PKG_CLI="krb5-workstation"
 111         KRB5PKG_LIB="krb5-libs"
 112         KDC_CONF_DIR="/var/kerberos/krb5kdc"
 113         ;;
 114     sles10)
 115         KRB5PKG_CLI="krb5-client"
 116         KRB5PKG_LIB="krb5"
 117         KDC_CONF_DIR="/var/lib/kerberos/krb5kdc"
 118         ;;
 119     *)
 120         echo "Unsupported KDC distro: $MY_KDC_DISTRO!"
 121         exit 1
 122 esac
 123 KDC_CONF="$KDC_CONF_DIR/kdc.conf"
 124 KDC_ACL="$KDC_CONF_DIR/kadm5.acl"
 125
 126 # ******************************** Functions ******************************** #
 127 is_part_of() {
 128     local name="$1"
 129     shift
 130     local list="$@"
 131
 132     if [ -z "$name" -o -z "$list" ]; then
 133         false
 134         return
 135     fi
 136
 137     if [[ " $list " == *\ $name\ * ]]; then
 138         true
 139     else
 140         false
 141     fi
 142
 143     return
 144 }
 145
 146 my_do_node() {
 147     local node=$1
 148     shift
 149     local nodename=${node%.$KRB5_DOMAIN}
 150     do_node $node "PATH=\$PATH:/usr/kerberos/sbin:/usr/kerberos/bin:\
 151 /usr/lib/mit/sbin:/usr/lib/mit/bin $@" | sed "s/^${nodename}: //"
 152     return ${PIPESTATUS[0]}
 153 }
 154
 155 do_node_mute() {
 156     local output
 157     output=$(my_do_node "$@" 2>&1)
 158     return ${PIPESTATUS[0]}
 159 }
 160
 161 do_kdc() {
 162     my_do_node $MY_KDCNODE "$@"
 163     return ${PIPESTATUS[0]}
 164 }
 165
 166 do_kdc_mute() {
 167     do_node_mute $MY_KDCNODE "$@"
 168     return ${PIPESTATUS[0]}
 169 }
 170
 171 #
 172 # convert a space-delimited node name list to a canonical name list
 173 #
 174 get_fqdn() {
 175     local nodename_list="$@"
 176     local fqdn_list=""
 177     local name
 178     local fqdn
 179     local rc
 180
 181     for name in $nodename_list; do
 182         fqdn=$(do_kdc "gethostip -n $name 2>&1")
 183         rc=${PIPESTATUS[0]}
 184         if [ $rc -ne 0 ]; then
 185             echo "Can not get the FQDN of node $name: $fqdn"
 186             return $rc
 187         fi
 188         [ -z "$fqdn_list" ] && fqdn_list="$fqdn" \
 189         || fqdn_list="$fqdn_list $fqdn"
 190
 191     done
 192
 193     echo "$fqdn_list"
 194     return 0
 195 }
 196
 197 #
 198 # convert MDS/OSS nodes to their canonical name, it required by
 199 # kerberos. we also convert kdc and client too in order to make
 200 # node name comparison easier
 201 #
 202 normalize_names() {
 203     local rc
 204
 205     # KDC
 206     MY_KDCNODE=$(get_fqdn $MY_KDCNODE)
 207     rc=${PIPESTATUS[0]}
 208     if [ $rc -ne 0 ]; then
 209         echo $MY_KDCNODE
 210         return $rc
 211     fi
 212
 213     # MGS node
 214     MY_MGSNODE=$(get_fqdn $MY_MGSNODE)
 215     rc=${PIPESTATUS[0]}
 216     if [ $rc -ne 0 ]; then
 217         echo $MY_MGSNODE
 218         return $rc
 219     fi
 220
 221     # MDS nodes
 222     MY_MDSNODES=$(get_fqdn $MY_MDSNODES)
 223     rc=${PIPESTATUS[0]}
 224     if [ $rc -ne 0 ]; then
 225         echo $MY_MDSNODES
 226         return $rc
 227     fi
 228
 229     # OSS nodes
 230     MY_OSSNODES=$(get_fqdn $MY_OSSNODES)
 231     rc=${PIPESTATUS[0]}
 232     if [ $rc -ne 0 ]; then
 233         echo $MY_OSSNODES
 234         return $rc
 235     fi
 236
 237     # client nodes
 238     MY_CLIENTNODES=$(get_fqdn $MY_CLIENTNODES)
 239     rc=${PIPESTATUS[0]}
 240     if [ $rc -ne 0 ]; then
 241         echo $MY_CLIENTNODES
 242         return $rc
 243     fi
 244
 245     return 0
 246 }
 247
 248 #
 249 # verify remote shell works on all nodes
 250 #
 251 check_rsh() {
 252     local checked=""
 253     local node
 254
 255     echo "+++ Checking remote shell"
 256
 257     for node in $MY_KDCNODE $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES
 258     do
 259         is_part_of $node $checked && continue
 260
 261         echo -n "Checking remote shell on $node..."
 262         do_node_mute $node true || return ${PIPESTATUS[0]}
 263         echo "OK!"
 264
 265         checked="$checked $node"
 266     done
 267 }
 268
 269 #
 270 # verify the entropy (random numbers) on the KDC node, which is
 271 # used by kdb5_util to create Kerberos database
 272 #
 273 check_entropy() {
 274     local limit=170
 275     local avail
 276
 277     echo "+++ Checking the entropy on the KDC"
 278
 279     echo -n "Checking $MY_KDCNODE..."
 280     avail=$(do_kdc "sysctl -n kernel.random.entropy_avail")
 281     local rc=${PIPESTATUS[0]}
 282     if [ $rc -eq 0 ]; then
 283         if [ $avail -lt $limit ]; then
 284             echo -e "\nWarning: The entropy on the KDC node is only $avail, \
 285 which is not enough for kdb5_util to create Kerberos database! \
 286 Let's use /dev/urandom!"
 287             do_kdc "rm -f /dev/random.bak && mv /dev/random{,.bak} && \
 288 mknod /dev/random c 1 9"
 289             return ${PIPESTATUS[0]}
 290         fi
 291     else
 292         echo "Can not get the entropy on the KDC node!"
 293         return $rc
 294     fi
 295     echo "OK!"
 296 }
 297
 298 #
 299 # verify runas users and groups
 300 #
 301 check_users() {
 302     local checked=""
 303     local node
 304     local id
 305     local user
 306
 307     echo "+++ Checking users and groups"
 308
 309     for node in $MY_KDCNODE $MY_MGSNODE $MY_MDSNODES $MY_CLIENTNODES; do
 310         is_part_of $node $checked && continue
 311
 312         for id in $LOCAL_UIDS; do
 313             echo -n "Checking uid/gid $id/$id on $node..."
 314             user=$(my_do_node $node getent passwd | grep :$id:$id: | cut -d: -f1)
 315             if [ -z "$user" ]; then
 316                                 echo -e "\nPlease set LOCAL_UIDS to some users \
 317 which exist on KDC, MDS and client or add user/group $id/$id on these nodes."
 318                 return 1
 319             fi
 320             echo "OK!"
 321         done
 322         checked="$checked $node"
 323     done
 324 }
 325
 326 cfg_mount() {
 327     local node=$1
 328     local dev=$2
 329     local dir=$3
 330
 331     echo -n "Checking $dev mount on $node..."
 332     if do_node_mute $node "grep -q $dir' ' /proc/mounts"; then
 333         echo "OK!"
 334         return 0
 335     fi
 336
 337     if ! do_node_mute $node "grep -q ^$dev /etc/fstab"; then
 338         my_do_node $node "echo '$dev $dir $dev defaults 0 0' >> /etc/fstab" || \
 339             return ${PIPESTATUS[0]}
 340     fi
 341     my_do_node $node "mkdir -p $dir && mount $dir" || true
 342
 343     if ! do_node_mute $node "grep -q $dir' ' /proc/mounts"; then
 344         echo "Failed to mount fs $dev at $dir!"
 345         return 1
 346     fi
 347     echo "OK!"
 348 }
 349
 350 #
 351 # configure nfsd mount on MDS and OSS nodes
 352 #
 353 cfg_nfs_mount() {
 354     local checked=""
 355     local node
 356
 357     echo "+++ Configuring nfsd mount"
 358
 359     for node in $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES; do
 360         is_part_of $node $checked && continue
 361         cfg_mount $node nfsd /proc/fs/nfsd || return ${PIPESTATUS[0]}
 362         checked="$checked $node"
 363     done
 364 }
 365
 366 get_pkgname() {
 367     local node=$1
 368     local pkg=$2
 369
 370     my_do_node $node "rpm -q $pkg 2>&1" | tail -n1
 371     return ${PIPESTATUS[0]}
 372 }
 373
 374 get_krb5pkgname() {
 375     local node=$1
 376     local flavor=$2
 377
 378     my_do_node $node cat /etc/SuSE-release 2>/dev/null | \
 379     grep -q 'Enterprise Server 10'
 380     if [ ${PIPESTATUS[1]} -eq 0 ]; then
 381         case $flavor in
 382             cli) echo "krb5-client";;
 383             lib) echo "krb5";;
 384         esac
 385     else
 386         case $flavor in
 387             cli) echo "krb5-workstation";;
 388             lib) echo "krb5-libs";;
 389         esac
 390     fi
 391 }
 392
 393 check_kdc() {
 394     local pkg
 395     local rc
 396
 397     echo "+++ Checking KDC installation"
 398
 399     echo -n "Checking $MY_KDCNODE..."
 400     pkg=$(get_pkgname $MY_KDCNODE $KRB5PKG_SVR)
 401     rc=${PIPESTATUS[0]}
 402     if [ $rc -ne 0 ]; then
 403         echo -e "\nCan not find $KRB5PKG_SVR package on $MY_KDCNODE: $pkg"
 404         return $rc
 405     fi
 406     echo "OK!"
 407 }
 408
 409 check_krb5() {
 410     local checked=""
 411     local pkg
 412     local rc
 413     local krb5pkg_cli
 414
 415     echo "+++ Checking Kerberos 5 installation"
 416     for node in $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES; do
 417         is_part_of $node $checked && continue
 418
 419         echo -n "Checking $node..."
 420         krb5pkg_cli=$(get_krb5pkgname $node cli)
 421
 422         pkg=$(get_pkgname $node $krb5pkg_cli)
 423         rc=${PIPESTATUS[0]}
 424         if [ $rc -ne 0 ]; then
 425             echo -e "\nCan not find $krb5pkg_cli package on $node: $pkg"
 426             return $rc
 427         fi
 428         echo "OK!"
 429         checked="$checked $node"
 430     done
 431 }
 432
 433 check_libgssapi() {
 434     local checked=""
 435     local node
 436     local pkg
 437     local rc
 438
 439     echo "+++ Checking libgssapi installation"
 440
 441     LIBGSSAPI=$(get_pkgname $MY_KDCNODE libgssapi)
 442     rc=${PIPESTATUS[0]}
 443     if [ $rc -ne 0 ]; then
 444         echo "Can not find libgssapi package on $MY_KDCNODE: $LIBGSSAPI"
 445         return $rc
 446     fi
 447
 448     for node in $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES; do
 449         is_part_of $node $checked && continue
 450
 451         echo -n "Checking $node..."
 452         pkg=$(get_pkgname $node libgssapi)
 453         rc=${PIPESTATUS[0]}
 454         if [ $rc -ne 0 ]; then
 455             echo -e "\nCan not find libgssapi package on $node: $pkg"
 456             return $rc
 457         fi
 458         echo "OK!"
 459         checked="$checked $node"
 460     done
 461 }
 462
 463 #
 464 # check and update the /etc/gssapi_mech.conf file on each node
 465 # We only support MIT Kerberos 5 GSS-API mechanism.
 466 #
 467 cfg_libgssapi() {
 468     local checked=""
 469     local node
 470     local pkg
 471     local rc
 472     local krb5pkg_lib
 473     local krb5_lib
 474
 475     echo "+++ Updating $GSSAPI_MECH_CONF"
 476
 477     for node in $MY_KDCNODE $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES
 478     do
 479         is_part_of $node $checked && continue
 480
 481         krb5pkg_lib=$(get_krb5pkgname $node lib)
 482         pkg=$(get_pkgname $node $krb5pkg_lib)
 483         rc=${PIPESTATUS[0]}
 484         if [ $rc -ne 0 ]; then
 485             echo -e "\nCan not find $krb5pkg_lib package on $node: $pkg"
 486             return $rc
 487         fi
 488
 489         krb5_lib=$(my_do_node $node "rpm -ql $pkg" | \
 490                     grep libgssapi_krb5.so | head -n1)
 491
 492         if ! do_node_mute $node \
 493 "egrep -q \\\"^$krb5_lib|^$(basename $krb5_lib)\\\" $GSSAPI_MECH_CONF"; then
 494             do_node_mute $node \
 495 "echo '$krb5_lib mechglue_internal_krb5_init' >> $GSSAPI_MECH_CONF"
 496         fi
 497         checked="$checked $node"
 498     done
 499     echo "OK!"
 500 }
 501
 502 #
 503 # check and update the /etc/request-key.conf file on each MDS and client node
 504 #
 505 cfg_keyutils() {
 506     local checked=""
 507     local node
 508     local lgss_keyring
 509
 510     echo "+++ Updating $REQUEST_KEY_CONF"
 511
 512     for node in $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES; do
 513         is_part_of $node $checked && continue
 514         lgss_keyring=$(my_do_node $node "which lgss_keyring") || \
 515             return ${PIPESTATUS[0]}
 516
 517         if ! do_node_mute $node \
 518 "grep -q \\\"^create.*$lgss_keyring\\\" $REQUEST_KEY_CONF"; then
 519             do_node_mute $node \
 520 "echo 'create lgssc * * $lgss_keyring %o %k %t %d %c %u %g %T %P %S' \
 521 >> $REQUEST_KEY_CONF"
 522         fi
 523         checked="$checked $node"
 524     done
 525     echo "OK!"
 526 }
 527
 528 add_svc_princ() {
 529     local fqdn=$1
 530     local type=$2
 531
 532     echo -n "Creating service principal lustre_$type/$fqdn@$KRB5_REALM..."
 533     do_kdc_mute "kadmin.local -r $KRB5_REALM <<EOF
 534 addprinc -randkey lustre_$type/$fqdn@$KRB5_REALM
 535 EOF"
 536     local rc=${PIPESTATUS[0]}
 537     [ $rc -ne 0 ] && echo "Failed!" || echo "OK!"
 538
 539     return $rc
 540 }
 541
 542 add_svc_princ_root() {
 543     echo -n "Creating service principal lustre_root@$KRB5_REALM..."
 544     do_kdc_mute "kadmin.local -r $KRB5_REALM <<EOF
 545 addprinc -randkey lustre_root@$KRB5_REALM
 546 EOF"
 547     local rc=${PIPESTATUS[0]}
 548     [ $rc -ne 0 ] && echo "Failed!" || echo "OK!"
 549
 550     return $rc
 551 }
 552
 553 add_user_princ() {
 554     local user=$1
 555
 556     echo -n "Creating user principal $user@$KRB5_REALM..."
 557     do_kdc_mute "kadmin.local -r $KRB5_REALM <<EOF
 558 addprinc -pw $user $user@$KRB5_REALM
 559 EOF"
 560     local rc=${PIPESTATUS[0]}
 561     [ $rc -ne 0 ] && echo "Failed!" || echo "OK!"
 562
 563     return $rc
 564 }
 565
 566 add_test_princ_id() {
 567     local id=$1
 568     local user
 569
 570     user=$(do_kdc getent passwd $id | cut -d: -f1)
 571     if [ -z "$user" ]; then
 572         echo "Can not find the user with uid $id on the KDC!"
 573         return 1
 574     fi
 575
 576     add_user_princ $user || return ${PIPESTATUS[0]}
 577 }
 578
 579 #
 580 # create principals for the client, MDS, OSS, runas users and add them to
 581 # the Kerberos database
 582 #
 583 cfg_kdc_princs() {
 584     local node
 585
 586     add_svc_princ $MY_MGSNODE mgs || return ${PIPESTATUS[0]}
 587
 588     for node in $MY_MDSNODES; do
 589         add_svc_princ $node mds || return ${PIPESTATUS[0]}
 590     done
 591
 592     for node in $MY_OSSNODES; do
 593         add_svc_princ $node oss || return ${PIPESTATUS[0]}
 594     done
 595
 596     for node in $MY_CLIENTNODES; do
 597         if $SPLIT_KEYTAB; then
 598             add_svc_princ $node root || return ${PIPESTATUS[0]}
 599         else
 600             add_svc_princ_root || return ${PIPESTATUS[0]}
 601         fi
 602     done
 603
 604     if ! $SPLIT_KEYTAB; then
 605         add_user_princ lustre_root || return ${PIPESTATUS[0]}
 606     fi
 607     add_user_princ bin || return ${PIPESTATUS[0]}
 608     add_user_princ daemon || return ${PIPESTATUS[0]}
 609     add_user_princ games || return ${PIPESTATUS[0]}
 610
 611     if $CFG_RUNAS; then
 612         for uid in $LOCAL_UIDS; do
 613             add_test_princ_id $uid || return ${PIPESTATUS[0]}
 614         done
 615     fi
 616 }
 617
 618 #
 619 # create and install the KDC configuration file kdc.conf on the KDC, which
 620 # will destroy the old KDC setting
 621 #
 622 cfg_kdc() {
 623     local tmpdir="$TMP/krb5_cfg_tmp_$UID"
 624     local tmpcfg=$tmpdir/kdc.conf
 625     local tmpacl=$tmpdir/kadm5.acl
 626
 627     echo "+++ Configuring KDC on $MY_KDCNODE"
 628     echo "Warning: old KDC setting on $MY_KDCNODE will be destroied!!!"
 629
 630     echo -n "Checking the existence of KDC config dir..."
 631     do_kdc_mute "[ -d $KDC_CONF_DIR ]"
 632     if [ ${PIPESTATUS[0]} -ne 0 ]; then
 633         echo -e "\nUnrecognized krb5 distribution!"
 634         return 1
 635     else
 636         echo "OK!"
 637     fi
 638
 639     # stop KDC daemon
 640     do_kdc_mute "/etc/init.d/krb5kdc stop < /dev/null" || true
 641
 642     echo -n "Removing old KDC configurations..."
 643     do_kdc_mute "rm -f $KDC_CONF_DIR/*"
 644     echo "OK!"
 645
 646     # create kdc.conf locally
 647     rm -rf $tmpdir
 648     mkdir -p $tmpdir || return ${PIPESTATUS[0]}
 649     cat <<EOF > $tmpcfg
 650 [kdcdefaults]
 651  acl_file = $KDC_ACL
 652
 653 [realms]
 654  $KRB5_REALM = {
 655   master_key_type = aes128-cts
 656   supported_enctypes = des3-hmac-sha1:normal aes128-cts:normal aes256-cts:normal des-cbc-md5:normal
 657  }
 658 EOF
 659
 660     # install kdc.conf remotely
 661     echo -n "Installing kdc.conf on $MY_KDCNODE..."
 662     $SCP $tmpcfg root@$MY_KDCNODE:$KDC_CONF || return ${PIPESTATUS[0]}
 663     echo "OK!"
 664
 665     # initialize KDC database
 666     echo -n "Creating Kerberos database on $MY_KDCNODE..."
 667     do_kdc_mute "kdb5_util create -r $KRB5_REALM -s -P 111111"
 668     local rc=${PIPESTATUS[0]}
 669     if [ $rc -ne 0 ]; then
 670         echo "Failed!"
 671         return $rc
 672     else
 673         echo "OK!"
 674     fi
 675
 676     # create ACL file locally & install remotely
 677     cat <<EOF > $tmpacl
 678 */admin@$KRB5_REALM   *
 679 root@$KRB5_REALM      *
 680 EOF
 681     echo -n "Installing kadm5.acl on $MY_KDCNODE..."
 682     $SCP $tmpacl root@$MY_KDCNODE:$KDC_ACL || return ${PIPESTATUS[0]}
 683     echo "OK!"
 684     rm -rf $tmpdir || true
 685
 686     # start KDC daemon
 687     do_kdc "/etc/init.d/krb5kdc restart < /dev/null" || return ${PIPESTATUS[0]}
 688 }
 689
 690 #
 691 # create and install the Kerberos configuration file krb5.conf on the KDC,
 692 # client, MDS and OSS
 693 #
 694 cfg_krb5_conf() {
 695     local tmpdir="$TMP/krb5_cfg_tmp_$UID"
 696     local tmpcfg="$tmpdir/krb5.conf"
 697     local checked=""
 698
 699     echo "+++ Installing krb5.conf on all nodes"
 700
 701     # create krb5.conf locally
 702     rm -rf $tmpdir
 703     mkdir -p $tmpdir || return ${PIPESTATUS[0]}
 704     cat <<EOF > $tmpcfg
 705 [libdefaults]
 706  default_realm = $KRB5_REALM
 707  dns_lookup_realm = false
 708  dns_lookup_kdc = false
 709  ticket_lifetime = $KRB5_TICKET_LIFETIME
 710  forwardable = yes
 711
 712 [realms]
 713  $KRB5_REALM = {
 714   kdc = $MY_KDCNODE:88
 715   admin_server = $MY_KDCNODE:749
 716   default_domain = $KRB5_DOMAIN
 717  }
 718
 719 [domain_realm]
 720  .$KRB5_DOMAIN = $KRB5_REALM
 721  $KRB5_DOMAIN = $KRB5_REALM
 722
 723 [kdc]
 724  profile = $KDC_CONF
 725
 726 [appdefaults]
 727  pam = {
 728   debug = false
 729   forwardable = true
 730   krb4_convert = false
 731  }
 732 EOF
 733
 734     # install krb5.conf remotely
 735     for node in $MY_KDCNODE $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES
 736     do
 737         is_part_of $node $checked && continue
 738
 739         echo -n "Installing krb5.conf on $node..."
 740         $SCP $tmpcfg root@$node:$KRB5_CONF || return ${PIPESTATUS[0]}
 741         echo "OK!"
 742
 743         checked="$checked $node"
 744     done
 745     rm -rf $tmpdir || true
 746 }
 747
 748 add_keytab() {
 749     local tab=$1
 750     local princ=$2
 751     local enctype=$3
 752
 753     do_kdc_mute "kadmin.local -r $KRB5_REALM <<EOF
 754 ktadd -k $tab -e $enctype:normal $princ@$KRB5_REALM
 755 EOF"
 756 }
 757
 758 add_keytab_svc() {
 759     local tab=$1
 760     local fqdn=$2
 761     local type=$3
 762     local enctype=$4
 763
 764     add_keytab $tab lustre_$type/$fqdn $enctype
 765 }
 766
 767 add_keytab_root() {
 768     local tab=$1
 769     local enctype=$2
 770
 771     add_keytab $tab lustre_root $enctype
 772 }
 773
 774 merge_keytab() {
 775     local tab=$1
 776     local node=$2
 777
 778     $SCP $tab root@$node:$tab || return ${PIPESTATUS[0]}
 779     do_node_mute $node "ktutil <<EOF
 780 rkt $tab
 781 wkt $KRB5_KEYTAB
 782 EOF" || return ${PIPESTATUS[0]}
 783 }
 784
 785 #
 786 # create and install the keytab file krb5.keytab on the client, MDS and OSS
 787 #
 788 cfg_keytab() {
 789     local tmptab="$TMP/keytab.tmp"
 790     local node
 791
 792     echo "+++ Generating keytabs"
 793
 794     # remove old keytabs
 795     echo -n "Deleting old keytabs on all nodes..."
 796     for node in $MY_MGSNODE $MY_OSSNODES $MY_MDSNODES $MY_CLIENTNODES; do
 797         do_node_mute $node "rm -f $KRB5_KEYTAB $TMP/krb5cc*"
 798     done
 799     echo "OK!"
 800
 801     # install for MDS nodes
 802     for node in $MY_MDSNODES; do
 803         echo -n "Preparing for MDS $node..."
 804         do_kdc_mute "rm -f $tmptab"
 805         add_keytab_svc $tmptab $node mds $MDS_ENCTYPE || return ${PIPESTATUS[0]}
 806
 807         if is_part_of $node $MY_MGSNODE; then
 808             echo -n "also be an MGS..."
 809             add_keytab_svc $tmptab $node mgs $MGS_ENCTYPE || \
 810                 return ${PIPESTATUS[0]}
 811         fi
 812
 813         if is_part_of $node $MY_OSSNODES; then
 814             echo -n "also be an OSS..."
 815             add_keytab_svc $tmptab $node oss $OSS_ENCTYPE || \
 816                 return ${PIPESTATUS[0]}
 817         fi
 818         echo "OK!"
 819
 820         echo -n "Installing krb5.keytab on $node..."
 821         $SCP root@$MY_KDCNODE:$tmptab $tmptab || return ${PIPESTATUS[0]}
 822         $SCP $tmptab root@$node:$KRB5_KEYTAB || return ${PIPESTATUS[0]}
 823         echo "OK!"
 824         rm -f $tmptab
 825     done
 826
 827     # install for MGS node
 828     echo -n "Preparing for MGS $MY_MGSNODE..."
 829     if ! is_part_of $MY_MGSNODE $MY_MDSNODES; then
 830         do_kdc_mute "rm -f $tmptab"
 831         add_keytab_svc $tmptab $MY_MGSNODE mgs $MGS_ENCTYPE || \
 832             return ${PIPESTATUS[0]}
 833
 834         if is_part_of $MY_MGSNODE $MY_OSSNODES; then
 835             echo -n "also be an OSS..."
 836             add_keytab_svc $tmptab $MY_MGSNODE oss $OSS_ENCTYPE || \
 837                 return ${PIPESTATUS[0]}
 838         fi
 839         echo "OK!"
 840
 841         echo -n "Installing krb5.keytab on $MY_MGSNODE..."
 842         $SCP root@$MY_KDCNODE:$tmptab $tmptab || return ${PIPESTATUS[0]}
 843         $SCP $tmptab root@$MY_MGSNODE:$KRB5_KEYTAB || return ${PIPESTATUS[0]}
 844         echo "OK!"
 845         rm -f $tmptab
 846     else
 847         echo "also be an MDS, already done, skip"
 848     fi
 849
 850     # install for OSS nodes
 851     for node in $MY_OSSNODES; do
 852         echo -n "Preparing for OSS $node..."
 853         if is_part_of $node $MY_MDSNODES; then
 854             echo "also be an MDS, already done, skip"
 855         elif is_part_of $node $MY_MGSNODE; then
 856             echo "also be an MGS, already done, skip"
 857         else
 858             do_kdc_mute "rm -f $tmptab"
 859             add_keytab_svc $tmptab $node oss $OSS_ENCTYPE || \
 860                 return ${PIPESTATUS[0]}
 861             echo "OK!"
 862
 863             echo -n "Installing krb5.keytab on $node..."
 864             $SCP root@$MY_KDCNODE:$tmptab $tmptab || return ${PIPESTATUS[0]}
 865             $SCP $tmptab root@$node:$KRB5_KEYTAB || return ${PIPESTATUS[0]}
 866             echo "OK!"
 867             rm -f $tmptab
 868         fi
 869     done
 870
 871     # install for client nodes
 872     do_kdc_mute "rm -f $tmptab"
 873     if ! $SPLIT_KEYTAB; then
 874         echo -n "Preparing for client..."
 875         add_keytab_root $tmptab $CLIENT_ENCTYPE || return ${PIPESTATUS[0]}
 876         $SCP root@$MY_KDCNODE:$tmptab $tmptab || return ${PIPESTATUS[0]}
 877         echo "OK!"
 878     else
 879         for node in $MY_CLIENTNODES; do
 880             echo -n "Preparing for client $node..."
 881             # don't generate keytabs if it's also an MDS
 882             if is_part_of $node $MY_MDSNODES; then
 883                 echo "also be an MDS, already done, skip"
 884                 continue
 885             fi
 886
 887             add_keytab_svc $tmptab $node root $CLIENT_ENCTYPE || \
 888                 return ${PIPESTATUS[0]}
 889             $SCP root@$MY_KDCNODE:$tmptab $tmptab || return ${PIPESTATUS[0]}
 890             echo "OK!"
 891         done
 892     fi
 893     for node in $MY_CLIENTNODES; do
 894         echo -n "Installing krb5.keytab on client $node..."
 895
 896         # don't install if it's also an MDS
 897         if is_part_of $node $MY_MDSNODES; then
 898             echo "also be an MDS, already done, skip"
 899             continue
 900         fi
 901
 902         # merge keytab if it's also an MGS
 903         if is_part_of $node $MY_MGSNODE; then
 904             echo -n "also be an MGS, merging keytab..."
 905             merge_keytab $tmptab $node || return ${PIPESTATUS[0]}
 906             echo "OK!"
 907             continue
 908         fi
 909
 910         # merge keytab if it's also an OSS
 911         if is_part_of $node $MY_OSSNODES; then
 912             echo -n "also be an OSS, merging keytab..."
 913             merge_keytab $tmptab $node || return ${PIPESTATUS[0]}
 914             echo "OK!"
 915             continue
 916         fi
 917
 918         # simply install otherwise
 919         $SCP $tmptab root@$node:$KRB5_KEYTAB || return ${PIPESTATUS[0]}
 920         echo "OK!"
 921     done
 922     rm -f $tmptab || true
 923 }
 924
 925 check_acceptor_port() {
 926     local node=$1
 927     local port=$2
 928
 929     if [ -z "$port" ]; then
 930         echo "Missing acceptor port!"
 931         return 1
 932     fi
 933
 934     local WAIT=0
 935     local MAX_WAIT=300
 936     while [ $WAIT -lt $MAX_WAIT ]; do
 937         sleep 5
 938         my_do_node $node "netstat -tpan" | grep -q ":$port .*TIME_WAIT"
 939         if [ ${PIPESTATUS[1]} -ne 0 ]; then
 940             return 0
 941         fi
 942         WAIT=$((WAIT + 5))
 943     done
 944
 945     echo "LNET acceptor port $port is in use on node $node!"
 946     return 2
 947 }
 948
 949 get_client_nids() {
 950     local client_nids=""
 951     local node
 952     local nid
 953     local local_fqdn
 954     local rc
 955
 956     # get the fqdn of the local host
 957     local_fqdn=$(get_fqdn $HOSTNAME)
 958     rc=${PIPESTATUS[0]}
 959     if [ $rc -ne 0 ]; then
 960         echo $local_fqdn
 961         return $rc
 962     fi
 963
 964     for node in $MY_CLIENTNODES; do
 965         my_do_node $node lsmod | grep -q lnet || \
 966         my_do_node $node "modprobe lnet" || {
 967             if [ "$node" = "$local_fqdn" ]; then
 968                 lsmod | grep -q lnet || load_modules
 969             else
 970                 echo "Failed to load lnet module on node $node!"
 971                 return 1
 972             fi
 973         }
 974
 975         check_acceptor_port $node $ACCEPTOR_PORT || return ${PIPESTATUS[0]}
 976
 977         nid=$(set +x; my_do_node $node \
 978 "$LCTL net up 1>/dev/null && $LCTL list_nids" 2>&1 | head -n1
 979 exit ${PIPESTATUS[0]})
 980         rc=${PIPESTATUS[0]}
 981         if [ $rc -ne 0 ]; then
 982             echo "Failed to get the nid for node $node: $nid"
 983             return $rc
 984         fi
 985         [ -z "$client_nids" ] && client_nids="$nid" \
 986         || client_nids="$client_nids $nid"
 987
 988         my_do_node $node "$LCTL net down 1>/dev/null" || true
 989     done
 990
 991     echo "$client_nids"
 992     return 0
 993 }
 994
 995 # ******************************** Main Flow ******************************** #
 996 normalize_names || exit ${PIPESTATUS[0]}
 997 check_rsh || exit ${PIPESTATUS[0]}
 998 check_entropy || exit ${PIPESTATUS[0]}
 999
1000 if $CFG_RUNAS; then
1001     check_users || exit ${PIPESTATUS[0]}
1002 fi
1003
1004 check_kdc || exit ${PIPESTATUS[0]}
1005 check_krb5 || exit ${PIPESTATUS[0]}
1006 check_libgssapi || exit ${PIPESTATUS[0]}
1007
1008 echo "===================================================================="
1009 echo " Configure Kerberos testing environment for Lustre"
1010 echo " KDC: $MY_KDCNODE"
1011 echo " realm: $KRB5_REALM, domain: $KRB5_DOMAIN"
1012 echo " Using gssapi package: $LIBGSSAPI"
1013 echo " MGS node:"
1014 echo "     $MY_MGSNODE"
1015 echo " OSS nodes:"
1016 for i in $MY_OSSNODES; do echo "     $i"; done
1017 echo " MDS nodes:"
1018 for i in $MY_MDSNODES; do echo "     $i"; done
1019 echo " CLIENT nodes:"
1020 for i in $MY_CLIENTNODES; do echo "     $i"; done
1021 echo "===================================================================="
1022
1023 cfg_nfs_mount || exit ${PIPESTATUS[0]}
1024 cfg_libgssapi || exit ${PIPESTATUS[0]}
1025 cfg_keyutils || exit ${PIPESTATUS[0]}
1026
1027 if $RESET_KDC; then
1028     cfg_krb5_conf || exit ${PIPESTATUS[0]}
1029     cfg_kdc || exit ${PIPESTATUS[0]}
1030 fi
1031
1032 cfg_kdc_princs || exit ${PIPESTATUS[0]}
1033 cfg_keytab || exit ${PIPESTATUS[0]}
1034
1035 echo "Complete successfully!"