lustre/tests/sanity-lnet.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6
   7 set -e
   8
   9 ONLY=${ONLY:-"$*"}
  10 # bug number for skipped test:
  11 ALWAYS_EXCEPT="$SANITY_LNET_EXCEPT "
  12 [ "$SLOW" = "no" ] && EXCEPT_SLOW=""
  13 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  14
  15 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
  16
  17 . $LUSTRE/tests/test-framework.sh
  18 CLEANUP=${CLEANUP:-:}
  19 SETUP=${SETUP:-:}
  20 init_test_env $@
  21 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  22 init_logging
  23
  24 build_test_filter
  25
  26 export LNETCTL=${LNETCTL:-"$LUSTRE/../lnet/utils/lnetctl"}
  27 [ ! -f "$LNETCTL" ] &&
  28         export LNETCTL=$(which lnetctl 2> /dev/null)
  29 [[ -z $LNETCTL ]] && skip "Need lnetctl"
  30
  31 restore_mounts=false
  32
  33 if is_mounted $MOUNT || is_mounted $MOUNT2; then
  34         cleanupall || error "Failed cleanup prior to test execution"
  35         restore_mounts=true
  36 fi
  37
  38 cleanup_lnet() {
  39         echo "Cleaning up LNet"
  40         $LNETCTL lnet unconfigure 2>/dev/null
  41         unload_modules
  42 }
  43
  44 restore_modules=false
  45 if module_loaded lnet ; then
  46         cleanup_lnet || error "Failed to unload modules before test execution"
  47         restore_modules=true
  48 fi
  49
  50 cleanup_testsuite() {
  51         trap "" EXIT
  52         rm -f $TMP/sanity-dlc*
  53         cleanup_netns
  54         cleanup_lnet
  55         if $restore_mounts; then
  56                 setupall || error "Failed to setup Lustre after test execution"
  57         elif $restore_modules; then
  58                 load_modules ||
  59                         error "Couldn't load modules after test execution"
  60         fi
  61         return 0
  62 }
  63
  64 load_lnet() {
  65         load_module ../libcfs/libcfs/libcfs
  66         # Prevent local MODOPTS_LIBCFS being passed as part of environment
  67         # variable to remote nodes
  68         unset MODOPTS_LIBCFS
  69
  70         set_default_debug
  71         load_module ../lnet/lnet/lnet "$@"
  72
  73         LNDPATH=${LNDPATH:-"../lnet/klnds"}
  74         if [ -z "$LNETLND" ]; then
  75                 case $NETTYPE in
  76                 o2ib*)  LNETLND="o2iblnd/ko2iblnd" ;;
  77                 tcp*)   LNETLND="socklnd/ksocklnd" ;;
  78                 *)      local lnd="${NETTYPE%%[0-9]}lnd"
  79                         [ -f "$LNDPATH/$lnd/k$lnd.ko" ] &&
  80                                 LNETLND="$lnd/k$lnd" ||
  81                                 LNETLND="socklnd/ksocklnd"
  82                 esac
  83         fi
  84         load_module ../lnet/klnds/$LNETLND
  85 }
  86
  87 do_lnetctl() {
  88         echo "$LNETCTL $@"
  89         $LNETCTL "$@"
  90 }
  91
  92 TESTNS='test_ns'
  93 FAKE_IF="test1pg"
  94 FAKE_IP="10.1.2.3"
  95 do_ns() {
  96         echo "ip netns exec $TESTNS $@"
  97         ip netns exec $TESTNS "$@"
  98 }
  99
 100 setup_netns() {
 101         cleanup_netns
 102
 103         ip netns add $TESTNS
 104         ip link add 'test1pl' type veth peer name $FAKE_IF netns $TESTNS
 105         ip link set 'test1pl' up
 106         do_ns ip addr add "${FAKE_IP}/31" dev $FAKE_IF
 107         do_ns ip link set $FAKE_IF up
 108 }
 109
 110 cleanup_netns() {
 111         (ip netns list | grep -q $TESTNS) && ip netns del $TESTNS
 112         if ip link show test1pl >/dev/null 2>&1; then
 113                 ip link del test1pl
 114         fi
 115 }
 116
 117 configure_dlc() {
 118         echo "Loading LNet and configuring DLC"
 119         load_lnet
 120         do_lnetctl lnet configure
 121 }
 122
 123 GLOBAL_YAML_FILE=$TMP/sanity-lnet-global.yaml
 124 define_global_yaml() {
 125         $LNETCTL export --backup >${GLOBAL_YAML_FILE} ||
 126                 error "Failed to export global yaml $?"
 127 }
 128
 129 reinit_dlc() {
 130         if lsmod | grep -q lnet; then
 131                 do_lnetctl lnet unconfigure ||
 132                         error "lnetctl lnet unconfigure failed $?"
 133                 do_lnetctl lnet configure ||
 134                         error "lnetctl lnet configure failed $?"
 135         else
 136                 configure_dlc || error "configure_dlc failed $?"
 137         fi
 138         define_global_yaml
 139 }
 140
 141 append_global_yaml() {
 142         [[ ! -e ${GLOBAL_YAML_FILE} ]] &&
 143                 error "Missing global yaml at ${GLOBAL_YAML_FILE}"
 144
 145         cat ${GLOBAL_YAML_FILE} >> $TMP/sanity-lnet-$testnum-expected.yaml
 146 }
 147
 148 create_base_yaml_file() {
 149         append_global_yaml
 150 }
 151
 152 compare_yaml_files() {
 153         local expected="$TMP/sanity-lnet-$testnum-expected.yaml"
 154         local actual="$TMP/sanity-lnet-$testnum-actual.yaml"
 155         local rc=0
 156         ! [[ -e $expected ]] && echo "$expected not found" && return 1
 157         ! [[ -e $actual ]] && echo "$actual not found" && return 1
 158         diff -upN ${actual} ${expected} || rc=$?
 159         echo "Expected:"
 160         cat $expected
 161         echo "Actual:"
 162         cat $actual
 163         return $rc
 164 }
 165
 166 validate_nid() {
 167         local nid="$1"
 168         local net="${nid//*@/}"
 169         local addr="${nid//@*/}"
 170
 171         local num_re='[0-9]\+'
 172         local ip_re="[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"
 173
 174         if [[ $net =~ gni[0-9]* ]]; then
 175                 [[ $addr =~ ${num_re} ]] && return 0
 176         else
 177                 [[ $addr =~ ${ip_re} ]] && return 0
 178         fi
 179 }
 180
 181 validate_nids() {
 182         local yfile=$TMP/sanity-lnet-$testnum-actual.yaml
 183         local primary_nids=$(awk '/- primary nid:/{print $NF}' $yfile | xargs echo)
 184         local secondary_nids=$(awk '/- nid:/{print $NF}' $yfile | xargs echo)
 185         local gateway_nids=$(awk '/gateway:/{print $NF}' $yfile | xargs echo)
 186
 187         local nid
 188         for nid in $primary_nids $secondary_nids; do
 189                 validate_nid "$nid" || error "Bad NID \"${nid}\""
 190         done
 191         return 0
 192 }
 193
 194 validate_peer_nids() {
 195         local num_peers="$1"
 196         local nids_per_peer="$2"
 197
 198         local expect_p="$num_peers"
 199         # The primary nid also shows up in the list of secondary nids
 200         local expect_s="$(($num_peers + $(($nids_per_peer*$num_peers))))"
 201
 202         local actual_p=$(grep -c -- '- primary nid:' $TMP/sanity-lnet-$testnum-actual.yaml)
 203         local actual_s=$(grep -c -- '- nid:' $TMP/sanity-lnet-$testnum-actual.yaml)
 204         if [[ $expect_p -ne $actual_p ]]; then
 205                 compare_yaml_files
 206                 error "Expected $expect_p but found $actual_p primary nids"
 207         elif [[ $expect_s -ne $actual_s ]]; then
 208                 compare_yaml_files
 209                 error "Expected $expect_s but found $actual_s secondary nids"
 210         fi
 211         validate_nids
 212 }
 213
 214 validate_gateway_nids() {
 215         local expect_gw=$(grep -c -- 'gateway:' $TMP/sanity-lnet-$testnum-expected.yaml)
 216         local actual_gw=$(grep -c -- 'gateway:' $TMP/sanity-lnet-$testnum-actual.yaml)
 217         if [[ $expect_gw -ne $actual_gw ]]; then
 218                 compare_yaml_files
 219                 error "Expected $expect_gw gateways but found $actual_gw gateways"
 220         fi
 221         validate_nids
 222 }
 223
 224 cleanupall -f
 225 setup_netns || error "setup_netns failed with $?"
 226
 227 stack_trap 'cleanup_testsuite' EXIT
 228
 229 test_0() {
 230         load_module ../lnet/lnet/lnet || error "Failed to load module rc = $?"
 231         do_lnetctl lnet configure || error "lnet configure failed rc = $?"
 232         define_global_yaml
 233         reinit_dlc || return $?
 234         do_lnetctl import <  ${GLOBAL_YAML_FILE} || error "Import failed $?"
 235         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 236         create_base_yaml_file
 237         compare_yaml_files || error "Configuration changed after import"
 238 }
 239 run_test 0 "Export empty config, import the config, compare"
 240
 241 compare_peer_add() {
 242         local prim_nid="${1:+--prim_nid $1}"
 243         local nid="${2:+--nid $2}"
 244
 245         local actual="$TMP/sanity-lnet-$testnum-actual.yaml"
 246
 247         do_lnetctl peer add ${prim_nid} ${nid} || error "peer add failed $?"
 248         $LNETCTL export --backup > $actual || error "export failed $?"
 249         compare_yaml_files
 250         return $?
 251 }
 252
 253 test_1() {
 254         reinit_dlc || return $?
 255         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 256 peer:
 257     - primary nid: 1.1.1.1@tcp
 258       Multi-Rail: True
 259       peer ni:
 260         - nid: 1.1.1.1@tcp
 261 EOF
 262         append_global_yaml
 263         compare_peer_add "1.1.1.1@tcp"
 264 }
 265 run_test 1 "Add peer with single nid (tcp)"
 266
 267 test_2() {
 268         reinit_dlc || return $?
 269         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 270 peer:
 271     - primary nid: 2.2.2.2@o2ib
 272       Multi-Rail: True
 273       peer ni:
 274         - nid: 2.2.2.2@o2ib
 275 EOF
 276         append_global_yaml
 277         compare_peer_add "2.2.2.2@o2ib"
 278 }
 279 run_test 2 "Add peer with single nid (o2ib)"
 280
 281 test_3() {
 282         reinit_dlc || return $?
 283         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 284 peer:
 285     - primary nid: 3.3.3.3@tcp
 286       Multi-Rail: True
 287       peer ni:
 288         - nid: 3.3.3.3@tcp
 289         - nid: 3.3.3.3@o2ib
 290 EOF
 291         append_global_yaml
 292         compare_peer_add "3.3.3.3@tcp" "3.3.3.3@o2ib"
 293 }
 294 run_test 3 "Add peer with tcp primary o2ib secondary"
 295
 296 test_4() {
 297         reinit_dlc || return $?
 298         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 299 peer:
 300     - primary nid: 4.4.4.4@tcp
 301       Multi-Rail: True
 302       peer ni:
 303         - nid: 4.4.4.4@tcp
 304         - nid: 4.4.4.1@tcp
 305         - nid: 4.4.4.2@tcp
 306         - nid: 4.4.4.3@tcp
 307 EOF
 308         append_global_yaml
 309         echo "Add peer with nidrange (tcp)"
 310         compare_peer_add "4.4.4.4@tcp" "4.4.4.[1-3]@tcp"
 311
 312         echo "Add peer with nidrange that overlaps primary nid (tcp)"
 313         compare_peer_add "4.4.4.4@tcp" "4.4.4.[1-4]@tcp"
 314 }
 315 run_test 4 "Add peer with nidrange (tcp)"
 316
 317 test_5() {
 318         reinit_dlc || return $?
 319         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 320 peer:
 321     - primary nid: 5.5.5.5@o2ib
 322       Multi-Rail: True
 323       peer ni:
 324         - nid: 5.5.5.5@o2ib
 325         - nid: 5.5.5.1@o2ib
 326         - nid: 5.5.5.2@o2ib
 327         - nid: 5.5.5.3@o2ib
 328         - nid: 5.5.5.4@o2ib
 329 EOF
 330         append_global_yaml
 331         echo "Add peer with nidrange (o2ib)"
 332         compare_peer_add "5.5.5.5@o2ib" "5.5.5.[1-4]@o2ib"
 333
 334         echo "Add peer with nidranage that overlaps primary nid (o2ib)"
 335         compare_peer_add "5.5.5.5@o2ib" "5.5.5.[1-4]@o2ib"
 336 }
 337 run_test 5 "Add peer with nidrange (o2ib)"
 338
 339 test_6() {
 340         reinit_dlc || return $?
 341         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 342 peer:
 343     - primary nid: 6.6.6.6@tcp
 344       Multi-Rail: True
 345       peer ni:
 346         - nid: 6.6.6.6@tcp
 347         - nid: 6.6.6.0@tcp
 348         - nid: 6.6.6.2@tcp
 349         - nid: 6.6.6.4@tcp
 350         - nid: 6.6.7.0@tcp
 351         - nid: 6.6.7.2@tcp
 352         - nid: 6.6.7.4@tcp
 353         - nid: 6.6.1.0@o2ib
 354         - nid: 6.6.1.3@o2ib
 355         - nid: 6.6.1.6@o2ib
 356         - nid: 6.6.3.0@o2ib
 357         - nid: 6.6.3.3@o2ib
 358         - nid: 6.6.3.6@o2ib
 359         - nid: 6@gni
 360         - nid: 10@gni
 361 EOF
 362         append_global_yaml
 363         compare_peer_add "6.6.6.6@tcp" \
 364                 "6.6.[6-7].[0-4/2]@tcp,6.6.[1-4/2].[0-6/3]@o2ib,[6-12/4]@gni"
 365 }
 366 run_test 6 "Add peer with multiple nidranges"
 367
 368 compare_peer_del() {
 369         local prim_nid="${1:+--prim_nid $1}"
 370         local nid="${2:+--nid $2}"
 371
 372         local actual="$TMP/sanity-lnet-$testnum-actual.yaml"
 373
 374         do_lnetctl peer del ${prim_nid} ${nid} || error "peer del failed $?"
 375         $LNETCTL export --backup > $actual || error "export failed $?"
 376         compare_yaml_files
 377         return $?
 378 }
 379
 380 test_7() {
 381         reinit_dlc || return $?
 382         create_base_yaml_file
 383
 384         echo "Delete peer with single nid (tcp)"
 385         do_lnetctl peer add --prim_nid 7.7.7.7@tcp || error "Peer add failed $?"
 386         compare_peer_del "7.7.7.7@tcp"
 387
 388         echo "Delete peer with single nid (o2ib)"
 389         do_lnetctl peer add --prim_nid 7.7.7.7@o2ib || error "Peer add failed $?"
 390         compare_peer_del "7.7.7.7@o2ib"
 391
 392         echo "Delete peer that has multiple nids (tcp)"
 393         do_lnetctl peer add --prim_nid 7.7.7.7@tcp --nid 7.7.7.[8-12]@tcp ||
 394                 error "Peer add failed $?"
 395         compare_peer_del "7.7.7.7@tcp"
 396
 397         echo "Delete peer that has multiple nids (o2ib)"
 398         do_lnetctl peer add --prim_nid 7.7.7.7@o2ib --nid 7.7.7.[8-12]@o2ib ||
 399                 error "Peer add failed $?"
 400         compare_peer_del "7.7.7.7@o2ib"
 401
 402         echo "Delete peer that has both tcp and o2ib nids"
 403         do_lnetctl peer add --prim_nid 7.7.7.7@tcp \
 404                 --nid 7.7.7.[9-12]@tcp,7.7.7.[13-15]@o2ib ||
 405                 error "Peer add failed $?"
 406         compare_peer_del "7.7.7.7@tcp"
 407
 408         echo "Delete peer with single nid (gni)"
 409         do_lnetctl peer add --prim_nid 7@gni || error "Peer add failed $?"
 410         compare_peer_del "7@gni"
 411
 412         echo "Delete peer that has multiple nids (gni)"
 413         do_lnetctl peer add --prim_nid 7@gni --nid [8-12]@gni ||
 414                 error "Peer add failed $?"
 415         compare_peer_del "7@gni"
 416
 417         echo "Delete peer that has tcp, o2ib and gni nids"
 418         do_lnetctl peer add --prim_nid 7@gni \
 419                 --nid [8-12]@gni,7.7.7.[9-12]@tcp,7.7.7.[13-15]@o2ib ||
 420                 error "Peer add failed $?"
 421         compare_peer_del "7@gni"
 422 }
 423 run_test 7 "Various peer delete tests"
 424
 425 test_8() {
 426         reinit_dlc || return $?
 427
 428         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 429 peer:
 430     - primary nid: 8.8.8.8@tcp
 431       Multi-Rail: True
 432       peer ni:
 433         - nid: 8.8.8.8@tcp
 434         - nid: 8.8.8.10@tcp
 435         - nid: 8.8.8.11@tcp
 436         - nid: 8.8.8.12@tcp
 437         - nid: 8.8.8.14@tcp
 438         - nid: 8.8.8.15@tcp
 439 EOF
 440         append_global_yaml
 441
 442         do_lnetctl peer add --prim_nid 8.8.8.8@tcp --nid 8.8.8.[10-15]@tcp ||
 443                 error "Peer add failed $?"
 444         compare_peer_del "8.8.8.8@tcp" "8.8.8.13@tcp"
 445 }
 446 run_test 8 "Delete single secondary nid from peer (tcp)"
 447
 448 test_9() {
 449         reinit_dlc || return $?
 450
 451         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 452 peer:
 453     - primary nid: 9.9.9.9@tcp
 454       Multi-Rail: True
 455       peer ni:
 456         - nid: 9.9.9.9@tcp
 457 EOF
 458         append_global_yaml
 459
 460         do_lnetctl peer add --prim_nid 9.9.9.9@tcp \
 461                 --nid 9.9.9.[11-16]@tcp || error "Peer add failed $?"
 462         compare_peer_del "9.9.9.9@tcp" "9.9.9.[11-16]@tcp"
 463 }
 464 run_test 9 "Delete all secondary nids from peer (tcp)"
 465
 466 test_10() {
 467         reinit_dlc || return $?
 468
 469         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 470 peer:
 471     - primary nid: 10.10.10.10@tcp
 472       Multi-Rail: True
 473       peer ni:
 474         - nid: 10.10.10.10@tcp
 475         - nid: 10.10.10.12@tcp
 476         - nid: 10.10.10.13@tcp
 477         - nid: 10.10.10.15@tcp
 478         - nid: 10.10.10.16@tcp
 479 EOF
 480         append_global_yaml
 481         do_lnetctl peer add --prim_nid 10.10.10.10@tcp \
 482                 --nid 10.10.10.[12-16]@tcp || error "Peer add failed $?"
 483         compare_peer_del "10.10.10.10@tcp" "10.10.10.14@tcp"
 484 }
 485 run_test 10 "Delete single secondary nid from peer (o2ib)"
 486
 487 test_11() {
 488         reinit_dlc || return $?
 489
 490         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 491 peer:
 492     - primary nid: 11.11.11.11@tcp
 493       Multi-Rail: True
 494       peer ni:
 495         - nid: 11.11.11.11@tcp
 496 EOF
 497         append_global_yaml
 498         do_lnetctl peer add --prim_nid 11.11.11.11@tcp \
 499                 --nid 11.11.11.[13-17]@tcp || error "Peer add failed $?"
 500         compare_peer_del "11.11.11.11@tcp" "11.11.11.[13-17]@tcp"
 501 }
 502 run_test 11 "Delete all secondary nids from peer (o2ib)"
 503
 504 test_12() {
 505         reinit_dlc || return $?
 506
 507         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 508 peer:
 509     - primary nid: 12.12.12.12@o2ib
 510       Multi-Rail: True
 511       peer ni:
 512         - nid: 12.12.12.12@o2ib
 513         - nid: 13.13.13.13@o2ib
 514         - nid: 14.13.13.13@o2ib
 515         - nid: 14.15.13.13@o2ib
 516         - nid: 15.17.1.5@tcp
 517         - nid: 15.17.1.10@tcp
 518         - nid: 15.17.1.20@tcp
 519 EOF
 520         append_global_yaml
 521         do_lnetctl peer add --prim_nid 12.12.12.12@o2ib \
 522                 --nid [13-14/1].[13-15/2].13.13@o2ib,[15-16/3].[17-19/4].[1].[5-20/5]@tcp ||
 523                 error "Peer add failed $?"
 524         compare_peer_del "12.12.12.12@o2ib" "13.15.13.13@o2ib,15.17.1.15@tcp"
 525 }
 526 run_test 12 "Delete a secondary nid from peer (tcp and o2ib)"
 527
 528 test_13() {
 529         reinit_dlc || return $?
 530
 531         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 532 peer:
 533     - primary nid: 13.13.13.13@o2ib
 534       Multi-Rail: True
 535       peer ni:
 536         - nid: 13.13.13.13@o2ib
 537 EOF
 538         append_global_yaml
 539         do_lnetctl peer add --prim_nid 13.13.13.13@o2ib \
 540                 --nid [14-15].[1-2/1].[1].[100-254/10]@tcp,14.14.[254].14@o2ib ||
 541                 error "Peer add failed $?"
 542         compare_peer_del "13.13.13.13@o2ib" \
 543                 "[14-15].[1-2/1].[1].[100-254/10]@tcp,14.14.[254].14@o2ib"
 544 }
 545 run_test 13 "Delete all secondary nids from peer (tcp and o2ib)"
 546
 547 create_nid() {
 548         local num="$1"
 549         local net="$2"
 550
 551         if [[ $net =~ gni* ]]; then
 552                 echo "${num}@${net}"
 553         else
 554                 echo "${num}.${num}.${num}.${num}@${net}"
 555         fi
 556 }
 557
 558 create_mr_peer_yaml() {
 559         local num_peers="$1"
 560         local secondary_nids="$2"
 561         local net="$3"
 562
 563         echo "Generating peer yaml for $num_peers peers with $secondary_nids secondary nids"
 564         echo "peer:" >> $TMP/sanity-lnet-$testnum-expected.yaml
 565         local i
 566         local total_nids=$((num_peers + $((num_peers * secondary_nids))))
 567         local created=0
 568         local nidnum=1
 569         while [[ $created -lt $num_peers ]]; do
 570                 local primary=$(create_nid ${nidnum} ${net})
 571         cat <<EOF >> $TMP/sanity-lnet-$testnum-expected.yaml
 572     - primary nid: $primary
 573       Multi-Rail: True
 574       peer ni:
 575         - nid: $primary
 576 EOF
 577                 local j
 578                 local start=$((nidnum + 1))
 579                 local end=$((nidnum + $secondary_nids))
 580                 for j in $(seq ${start} ${end}); do
 581                         local nid=$(create_nid $j ${net})
 582                         echo "        - nid: $nid" >> $TMP/sanity-lnet-$testnum-expected.yaml
 583                 done
 584                 nidnum=$((end + 1))
 585                 ((created++))
 586         done
 587 }
 588
 589 test_14() {
 590         reinit_dlc || return $?
 591
 592         echo "Create single peer, single nid, using import"
 593         create_mr_peer_yaml 1 0 tcp
 594         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 595                 error "Import failed $?"
 596         append_global_yaml
 597         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 598         compare_yaml_files
 599
 600         echo "Delete single peer using import --del"
 601         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml ||
 602                 error "Import failed $?"
 603         rm -f $TMP/sanity-lnet-$testnum-expected.yaml
 604         create_base_yaml_file
 605         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 606         compare_yaml_files
 607 }
 608 run_test 14 "import peer create/delete with single nid"
 609
 610 test_15() {
 611         reinit_dlc || return $?
 612
 613         echo "Create multiple peers, single nid per peer, using import"
 614         create_mr_peer_yaml 5 0 o2ib
 615         # The ordering of nids for this use-case is non-deterministic, so we
 616         # we can't just diff the expected/actual output.
 617         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 618                 error "Import failed $?"
 619         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 620         validate_peer_nids 5 0
 621
 622         echo "Delete multiple peers, single nid per peer, using import --del"
 623         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml ||
 624                 error "Import failed $?"
 625         rm -f $TMP/sanity-lnet-$testnum-expected.yaml
 626         create_base_yaml_file
 627         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 628         compare_yaml_files
 629 }
 630 run_test 15 "import multi peer create/delete with single nid per peer"
 631
 632 test_16() {
 633         reinit_dlc || return $?
 634
 635         echo "Create single peer, multiple nids, using import"
 636         create_mr_peer_yaml 1 5 tcp
 637         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 638                 error "Import failed $?"
 639         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 640         validate_peer_nids 1 5
 641
 642         echo "Delete single peer, multiple nids, using import --del"
 643         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml ||
 644                 error "Import failed $?"
 645         rm -f $TMP/sanity-lnet-$testnum-expected.yaml
 646         create_base_yaml_file
 647         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 648         compare_yaml_files
 649 }
 650 run_test 16 "import peer create/delete with multiple nids"
 651
 652 test_17() {
 653         reinit_dlc || return $?
 654
 655         echo "Create multiple peers, multiple nids per peer, using import"
 656         create_mr_peer_yaml 5 7 o2ib
 657         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 658                 error "Import failed $?"
 659         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 660         validate_peer_nids 5 7
 661
 662         echo "Delete multiple peers, multiple nids per peer, using import --del"
 663         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml ||
 664                 error "Import failed $?"
 665         rm -f $TMP/sanity-lnet-$testnum-expected.yaml
 666         create_base_yaml_file
 667         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 668         compare_yaml_files
 669 }
 670 run_test 17 "import multi peer create/delete with multiple nids"
 671
 672 test_18a() {
 673         reinit_dlc || return $?
 674
 675         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 676 peer:
 677     - primary nid: 1.1.1.1@tcp
 678       Multi-Rail: True
 679       peer ni:
 680         - nid: 1.1.1.1@tcp
 681         - nid: 2.2.2.2@tcp
 682         - nid: 4.4.4.4@tcp
 683         - nid: 3.3.3.3@o2ib
 684         - nid: 5@gni
 685 EOF
 686         echo "Import peer with 5 nids"
 687         cat $TMP/sanity-lnet-$testnum-expected.yaml
 688         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 689                 error "Import failed $?"
 690         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 691 peer:
 692     - primary nid: 1.1.1.1@tcp
 693       Multi-Rail: True
 694       peer ni:
 695         - nid: 2.2.2.2@tcp
 696         - nid: 3.3.3.3@o2ib
 697         - nid: 5@gni
 698 EOF
 699         echo "Delete three of the nids"
 700         cat $TMP/sanity-lnet-$testnum-expected.yaml
 701         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml
 702         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 703 peer:
 704     - primary nid: 1.1.1.1@tcp
 705       Multi-Rail: True
 706       peer ni:
 707         - nid: 1.1.1.1@tcp
 708         - nid: 4.4.4.4@tcp
 709 EOF
 710         echo "Check peer has expected nids remaining"
 711         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 712         append_global_yaml
 713         compare_yaml_files
 714 }
 715 run_test 18a "Delete a subset of nids from a single peer using import --del"
 716
 717 test_18b() {
 718         reinit_dlc || return $?
 719
 720         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 721 peer:
 722     - primary nid: 1.1.1.1@tcp
 723       Multi-Rail: True
 724       peer ni:
 725         - nid: 1.1.1.1@tcp
 726         - nid: 2.2.2.2@tcp
 727         - nid: 4.4.4.4@tcp
 728         - nid: 3.3.3.3@o2ib
 729         - nid: 5@gni
 730     - primary nid: 6.6.6.6@o2ib
 731       Multi-Rail: True
 732       peer ni:
 733         - nid: 6.6.6.6@o2ib
 734         - nid: 7.7.7.7@tcp
 735         - nid: 8.8.8.8@tcp
 736         - nid: 9.9.9.9@tcp
 737         - nid: 10@gni
 738 EOF
 739         echo "Import two peers with 5 nids each"
 740         cat $TMP/sanity-lnet-$testnum-expected.yaml
 741         do_lnetctl import < $TMP/sanity-lnet-$testnum-expected.yaml ||
 742                 error "Import failed $?"
 743         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 744 peer:
 745     - primary nid: 1.1.1.1@tcp
 746       Multi-Rail: True
 747       peer ni:
 748         - nid: 2.2.2.2@tcp
 749         - nid: 3.3.3.3@o2ib
 750         - nid: 5@gni
 751     - primary nid: 6.6.6.6@o2ib
 752       Multi-Rail: True
 753       peer ni:
 754         - nid: 7.7.7.7@tcp
 755         - nid: 8.8.8.8@tcp
 756         - nid: 10@gni
 757 EOF
 758         echo "Delete three of the nids from each peer"
 759         cat $TMP/sanity-lnet-$testnum-expected.yaml
 760         do_lnetctl import --del < $TMP/sanity-lnet-$testnum-expected.yaml
 761         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 762 peer:
 763     - primary nid: 6.6.6.6@o2ib
 764       Multi-Rail: True
 765       peer ni:
 766         - nid: 6.6.6.6@o2ib
 767         - nid: 7.7.7.7@tcp
 768     - primary nid: 1.1.1.1@tcp
 769       Multi-Rail: True
 770       peer ni:
 771         - nid: 1.1.1.1@tcp
 772         - nid: 4.4.4.4@tcp
 773 EOF
 774         append_global_yaml
 775         echo "Check peers have expected nids remaining"
 776         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 777         compare_yaml_files
 778         validate_peer_nids 2 1
 779 }
 780 run_test 18b "Delete multiple nids from multiple peers using import --del"
 781
 782 test_19() {
 783         reinit_dlc || return $?
 784         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 785 peer:
 786     - primary nid: 19@gni
 787       Multi-Rail: True
 788       peer ni:
 789         - nid: 19@gni
 790 EOF
 791         append_global_yaml
 792         compare_peer_add "19@gni"
 793 }
 794 run_test 19 "Add peer with single nid (gni)"
 795
 796 test_20() {
 797         reinit_dlc || return $?
 798         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 799 peer:
 800     - primary nid: 20@gni
 801       Multi-Rail: True
 802       peer ni:
 803         - nid: 20@gni
 804         - nid: 20.20.20.20@tcp
 805         - nid: 20.20.20.20@o2ib
 806 EOF
 807         append_global_yaml
 808         compare_peer_add "20@gni" "20.20.20.20@tcp,20.20.20.20@o2ib"
 809 }
 810 run_test 20 "Add peer with gni primary and tcp, o2ib secondary"
 811
 812 test_21() {
 813         reinit_dlc || return $?
 814         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 815 peer:
 816     - primary nid: 21@gni
 817       Multi-Rail: True
 818       peer ni:
 819         - nid: 21@gni
 820         - nid: 22@gni
 821         - nid: 23@gni
 822         - nid: 24@gni
 823         - nid: 25@gni
 824 EOF
 825         append_global_yaml
 826         echo"Add peer with nidrange (gni)"
 827         compare_peer_add "21@gni" "[22-25]@gni" || error
 828         echo "Add peer with nidrange that overlaps primary nid (gni)"
 829         compare_peer_add "21@gni" "[21-25]@gni"
 830 }
 831 run_test 21 "Add peer with nidrange (gni)"
 832
 833 test_22() {
 834         reinit_dlc || return $?
 835         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 836 peer:
 837     - primary nid: 22@gni
 838       Multi-Rail: True
 839       peer ni:
 840         - nid: 22@gni
 841         - nid: 24@gni
 842         - nid: 25@gni
 843         - nid: 27@gni
 844         - nid: 28@gni
 845         - nid: 29@gni
 846 EOF
 847         append_global_yaml
 848         do_lnetctl peer add --prim_nid 22@gni --nid [24-29]@gni ||
 849                 error "Peer add failed $?"
 850         compare_peer_del "22@gni" "26@gni"
 851 }
 852 run_test 22 "Delete single secondary nid from peer (gni)"
 853
 854 test_23() {
 855         reinit_dlc || return $?
 856         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 857 peer:
 858     - primary nid: 23@gni
 859       Multi-Rail: True
 860       peer ni:
 861         - nid: 23@gni
 862 EOF
 863         append_global_yaml
 864
 865         do_lnetctl peer add --prim_nid 23@gni --nid [25-29]@gni ||
 866                 error "Peer add failed $?"
 867         compare_peer_del "23@gni" "[25-29]@gni"
 868 }
 869 run_test 23 "Delete all secondary nids from peer (gni)"
 870
 871 test_24() {
 872         reinit_dlc || return $?
 873         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 874 peer:
 875     - primary nid: 24@gni
 876       Multi-Rail: True
 877       peer ni:
 878         - nid: 24@gni
 879         - nid: 11@gni
 880         - nid: 13.13.13.13@o2ib
 881         - nid: 14.13.13.13@o2ib
 882         - nid: 14.15.13.13@o2ib
 883         - nid: 15.17.1.5@tcp
 884         - nid: 15.17.1.10@tcp
 885         - nid: 15.17.1.20@tcp
 886 EOF
 887         append_global_yaml
 888         do_lnetctl peer add --prim_nid 24@gni \
 889                 --nid [13-14/1].[13-15/2].13.13@o2ib,[15-16/3].[17-19/4].[1].[5-20/5]@tcp,[5-12/6]@gni ||
 890                 error "Peer add failed $?"
 891         compare_peer_del "24@gni" "5@gni,13.15.13.13@o2ib,15.17.1.15@tcp"
 892 }
 893 run_test 24 "Delete a secondary nid from peer (tcp, o2ib and gni)"
 894
 895 test_25() {
 896         reinit_dlc || return $?
 897         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
 898 peer:
 899     - primary nid: 25@gni
 900       Multi-Rail: True
 901       peer ni:
 902         - nid: 25@gni
 903 EOF
 904         append_global_yaml
 905         do_lnetctl peer add --prim_nid 25@gni \
 906                 --nid [26-27].[4-10/3].26.26@tcp,26.26.26.26@o2ib,[30-35]@gni ||
 907                 error "Peer add failed $?"
 908         compare_peer_del "25@gni" \
 909                 "[26-27].[4-10/3].26.26@tcp,26.26.26.26@o2ib,[30-35]@gni"
 910 }
 911 run_test 25 "Delete all secondary nids from peer (tcp, gni and o2ib)"
 912
 913 test_99a() {
 914         reinit_dlc || return $?
 915
 916         echo "Invalid prim_nid - peer add"
 917         do_lnetctl peer add --prim_nid foobar &&
 918                 error "Command should have failed"
 919
 920         echo "Invalid prim_nid - peer del"
 921         do_lnetctl peer del --prim_nid foobar &&
 922                 error "Command should have failed"
 923
 924         echo "Delete non-existing peer"
 925         do_lnetctl peer del --prim_nid 1.1.1.1@o2ib &&
 926                 error "Command should have failed"
 927
 928         echo "Don't provide mandatory arguments peer del"
 929         do_lnetctl peer del --nid 1.1.1.1@tcp &&
 930                 error "Command should have failed"
 931
 932         echo "Don't provide mandatory arguments peer add"
 933         do_lnetctl peer add &&
 934                 error "Command should have failed"
 935
 936         echo "Invalid secondary nids"
 937         do_lnetctl peer add --prim_nid 1.1.1.1@tcp --nid foobar &&
 938                 error "Command should have failed"
 939
 940         echo "Exceed max nids per peer"
 941         do_lnetctl peer add --prim_nid 1.1.1.1@tcp --nid 1.1.1.[2-255]@tcp &&
 942                 error "Command should have failed"
 943
 944         echo "Invalid net type"
 945         do_lnetctl peer add --prim_nid 1@foo &&
 946                 error "Command should have failed"
 947
 948         echo "Invalid nid format"
 949         local invalid_nids="1@tcp 1@o2ib 1.1.1.1@gni"
 950
 951         local nid
 952         for nid in ${invalid_nids}; do
 953                 echo "Check invalid primary nid - '$nid'"
 954                 do_lnetctl peer add --prim_nid $nid &&
 955                         error "Command should have failed"
 956         done
 957
 958         local invalid_strs="[2-1]@gni [a-f/x]@gni 256.256.256.256@tcp"
 959         invalid_strs+=" 1.1.1.1.[2-5/f]@tcp 1.]2[.3.4@o2ib"
 960         invalid_strs+="1.[2-4,[5-6],7-8].1.1@tcp foobar"
 961
 962         local nidstr
 963         for nidstr in ${invalid_strs}; do
 964                 echo "Check invalid nidstring - '$nidstr'"
 965                 do_lnetctl peer add --nid $nidstr &&
 966                         error "Command should have failed"
 967         done
 968
 969         echo "Add non-local gateway"
 970         do_lnetctl route add --net tcp --gateway 1@gni &&
 971                 error "Command should have failed"
 972
 973         return 0
 974 }
 975 run_test 99a "Check various invalid inputs to lnetctl peer"
 976
 977 test_99b() {
 978         reinit_dlc || return $?
 979
 980         create_base_yaml_file
 981
 982         cat <<EOF > $TMP/sanity-lnet-$testnum-invalid.yaml
 983 peer:
 984     - primary nid: 99.99.99.99@tcp
 985       Multi-Rail: Foobar
 986       peer ni:
 987         - nid: 99.99.99.99@tcp
 988 EOF
 989         do_lnetctl import < $TMP/sanity-lnet-$testnum-invalid.yaml &&
 990                 error "import should have failed"
 991         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-actual.yaml
 992         compare_yaml_files
 993 }
 994 run_test 99b "Invalid value for Multi-Rail in yaml import"
 995
 996 have_interface() {
 997         local if="$1"
 998         local ip=$(ip addr show dev $if | awk '/ inet /{print $2}')
 999         [[ -n $ip ]]
1000 }
1001
1002 add_net() {
1003         local net="$1"
1004         local if="$2"
1005
1006         reinit_dlc || return $?
1007         load_module ../lnet/klnds/socklnd/ksocklnd ||
1008                 error "Can't load ksocklnd.ko"
1009         do_lnetctl net add --net ${net} --if ${if} ||
1010                 error "Failed to add net ${net} on if ${if}"
1011 }
1012
1013 compare_route_add() {
1014         local rnet="$1"
1015         local gw="$2"
1016
1017         local actual="$TMP/sanity-lnet-$testnum-actual.yaml"
1018
1019         do_lnetctl route add --net ${rnet} --gateway ${gw} ||
1020                 error "route add failed $?"
1021         # CPT configuration is pruned from the exported yaml, since the default
1022         # can vary across test systems (unlike default values for things like
1023         # peer_credits, peer_timeout, etc.)
1024         $LNETCTL export --backup | grep -v CPT > $actual ||
1025                 error "export failed $?"
1026         validate_gateway_nids
1027         return $?
1028 }
1029
1030 test_100() {
1031         have_interface "eth0" || skip "Need eth0 interface with ipv4 configured"
1032         add_net "tcp" "eth0"
1033         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
1034 net:
1035     - net type: tcp
1036       local NI(s):
1037         - interfaces:
1038               0: eth0
1039           tunables:
1040               peer_timeout: 180
1041               peer_credits: 8
1042               peer_buffer_credits: 0
1043               credits: 256
1044 route:
1045     - net: tcp7
1046       gateway: 7.7.7.7@tcp
1047       hop: -1
1048       priority: 0
1049       health_sensitivity: 1
1050 peer:
1051     - primary nid: 7.7.7.7@tcp
1052       Multi-Rail: True
1053       peer ni:
1054         - nid: 7.7.7.7@tcp
1055 EOF
1056         append_global_yaml
1057         compare_route_add "tcp7" "7.7.7.7@tcp" || return $?
1058         compare_yaml_files
1059 }
1060 run_test 100 "Add route with single gw (tcp)"
1061
1062 test_101() {
1063         have_interface "eth0" || skip "Need eth0 interface with ipv4 configured"
1064         add_net "tcp" "eth0"
1065         cat <<EOF > $TMP/sanity-lnet-$testnum-expected.yaml
1066 net:
1067     - net type: tcp
1068       local NI(s):
1069         - interfaces:
1070               0: eth0
1071           tunables:
1072               peer_timeout: 180
1073               peer_credits: 8
1074               peer_buffer_credits: 0
1075               credits: 256
1076 route:
1077     - net: tcp8
1078       gateway: 8.8.8.10@tcp
1079       hop: -1
1080       priority: 0
1081       health_sensitivity: 1
1082     - net: tcp8
1083       gateway: 8.8.8.9@tcp
1084       hop: -1
1085       priority: 0
1086       health_sensitivity: 1
1087     - net: tcp8
1088       gateway: 8.8.8.8@tcp
1089       hop: -1
1090       priority: 0
1091       health_sensitivity: 1
1092 peer:
1093     - primary nid: 8.8.8.9@tcp
1094       Multi-Rail: True
1095       peer ni:
1096         - nid: 8.8.8.9@tcp
1097     - primary nid: 8.8.8.10@tcp
1098       Multi-Rail: True
1099       peer ni:
1100         - nid: 8.8.8.10@tcp
1101     - primary nid: 8.8.8.8@tcp
1102       Multi-Rail: True
1103       peer ni:
1104         - nid: 8.8.8.8@tcp
1105 EOF
1106         append_global_yaml
1107         compare_route_add "tcp8" "8.8.8.[8-10]@tcp"
1108 }
1109 run_test 101 "Add route with multiple gw (tcp)"
1110
1111 compare_route_del() {
1112         local rnet="$1"
1113         local gw="$2"
1114
1115         local actual="$TMP/sanity-lnet-$testnum-actual.yaml"
1116
1117         do_lnetctl route del --net ${rnet} --gateway ${gw} ||
1118                 error "route del failed $?"
1119         $LNETCTL export --backup > $actual ||
1120                 error "export failed $?"
1121         validate_gateway_nids
1122 }
1123
1124 test_102() {
1125         have_interface "eth0" || skip "Need eth0 interface with ipv4 configured"
1126         add_net "tcp" "eth0"
1127         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-expected.yaml
1128         do_lnetctl route add --net tcp102 --gateway 102.102.102.102@tcp ||
1129                 error "route add failed $?"
1130         compare_route_del "tcp102" "102.102.102.102@tcp"
1131 }
1132 run_test 102 "Delete route with single gw (tcp)"
1133
1134 test_103() {
1135         have_interface "eth0" || skip "Need eth0 interface with ipv4 configured"
1136         add_net "tcp" "eth0"
1137         $LNETCTL export --backup > $TMP/sanity-lnet-$testnum-expected.yaml
1138         do_lnetctl route add --net tcp103 \
1139                 --gateway 103.103.103.[103-120/4]@tcp ||
1140                 error "route add failed $?"
1141         compare_route_del "tcp103" "103.103.103.[103-120/4]@tcp"
1142 }
1143 run_test 103 "Delete route with multiple gw (tcp)"
1144
1145 ### load lnet in default namespace, configure in target namespace
1146
1147 test_200() {
1148         cleanup_lnet || exit 1
1149         load_lnet "networks=\"\""
1150         do_ns $LNETCTL lnet configure --all || exit 1
1151         $LNETCTL net show --net tcp | grep -q "nid: ${FAKE_IP}@tcp$"
1152 }
1153 run_test 200 "load lnet w/o module option, configure in a non-default namespace"
1154
1155 test_201() {
1156         cleanup_lnet || exit 1
1157         load_lnet "networks=tcp($FAKE_IF)"
1158         do_ns $LNETCTL lnet configure --all || exit 1
1159         $LNETCTL net show --net tcp | grep -q "nid: ${FAKE_IP}@tcp$"
1160 }
1161 run_test 201 "load lnet using networks module options in a non-default namespace"
1162
1163 test_202() {
1164         cleanup_lnet || exit 1
1165         load_lnet "networks=\"\" ip2nets=\"tcp0($FAKE_IF) ${FAKE_IP}\""
1166         do_ns $LNETCTL lnet configure --all || exit 1
1167         $LNETCTL net show | grep -q "nid: ${FAKE_IP}@tcp$"
1168 }
1169 run_test 202 "load lnet using ip2nets in a non-default namespace"
1170
1171
1172 ### Add the interfaces in the target namespace
1173
1174 test_203() {
1175         cleanup_lnet || exit 1
1176         load_lnet
1177         do_lnetctl lnet configure || exit 1
1178         do_ns $LNETCTL net add --net tcp0 --if $FAKE_IF
1179 }
1180 run_test 203 "add a network using an interface in the non-default namespace"
1181
1182 complete $SECONDS
1183
1184 cleanup_testsuite
1185 exit_status