lustre/tests/common.sh

   1 #!/bin/sh
   2 export PATH=$PATH:/sbin:/usr/sbin
   3
   4 [ -d /r ] && R=/r
   5
   6 PORTALS=$SRCDIR../../portals
   7 LUSTRE=$SRCDIR..
   8
   9 PTLCTL=$PORTALS/linux/utils/ptlctl
  10 DBGCTL=$PORTALS/linux/utils/debugctl
  11 ACCEPTOR=$PORTALS/linux/utils/acceptor
  12
  13 OBDCTL=$LUSTRE/utils/obdctl
  14
  15 LOOPNUM=0; export LOOPNUM
  16 if [ -b /dev/loop0 ]; then
  17         LOOP=/dev/loop
  18 elif [ -b /dev/loop/0 ]; then
  19         LOOP=/dev/loop/
  20 else
  21         echo "Cannot find /dev/loop0 or /dev/loop/0" 1>&2 && exit -1
  22 fi
  23
  24 do_insmod() {
  25         MODULE=$1
  26         BASE=`echo $MODULE | sed -e "s^.*/^^" -e "s/\.o$//"`
  27
  28         [ "$MODULE" ] || fail "usage: $0 <module>"
  29         [ -f $MODULE ] || echo "$0: module '$MODULE' not found" 1>&2
  30         lsmod | grep -q "\<$BASE\>" && return 0
  31         insmod  $MODULE
  32 }
  33
  34 do_rmmod() {
  35         MODULE=$1
  36         [ "$MODULE" ] || fail "usage: $0 <module>"
  37         lsmod | grep -q $MODULE || return 0
  38         rmmod $MODULE || lsmod | sed "s/^/$MODULE failed: /"
  39 }
  40
  41 # Return the next unused loop device on stdout and in the $LOOPDEV
  42 # environment variable.
  43 next_loop_dev() {
  44         NEXT=
  45         while [ -b ${LOOP}${LOOPNUM} ]; do
  46                 LOOPDEV=${LOOP}${LOOPNUM}
  47                 losetup ${LOOPDEV} > /dev/null 2>&1 || NEXT=${LOOPDEV}
  48                 LOOPNUM=`expr ${LOOPNUM} + 1`
  49                 [ "$NEXT" ] && echo ${NEXT} && break
  50         done
  51 }
  52
  53 # Create a new filesystem.  If we are using a loopback device, we check
  54 # for existing "template" filesystems instead of creating a new one,
  55 # because it is _much_ faster to gunzip the empty filesystem instead of
  56 # creating a new one from scratch.  Conversely, if we are creating a
  57 # filesystem on a device we use mkfs, because that only writes sparsely
  58 # to the device.  The empty filesystems are also highly compressed (1000:1)
  59 # so they don't take too much space.
  60 #
  61 new_fs_usage() {
  62         echo "new_fs <fstype> {device | file} [size]" 1>&2
  63         exit -1
  64 }
  65 new_fs () {
  66         EFILE="$1_$3.gz"
  67         MKFS="mkfs.$1"
  68         MKFSOPT="-b 4096"
  69
  70         [ "$1" = "ext3" ] && MKFS="mkfs.ext2 -j"
  71         if [ "$1" = "extN" ]; then
  72                 MKFS="mkfs.ext2 -j"
  73                 EFILE="ext3_$3.gz"
  74         fi
  75
  76         if [ -b "$2" ]; then
  77                 [ $# -lt 2 -o $# -gt 3 ] && new_fs_usage
  78
  79                 PM="/proc/mounts"
  80                 [ -r "$PM" ] || PM="/etc/mtab"
  81
  82                 grep "$2 " $PM 1>&2 && echo "$0: $2 is in $PM!" 1>&2 && exit -1
  83
  84                 $MKFS $MKFSOPT $2 $3 || exit -1
  85                 LOOPDEV=$2      # Not really a loop device
  86         else
  87                 [ $# -ne 3 ] && new_fs_usage
  88
  89                 if [ -r "$EFILE" ]; then
  90                         echo "using prepared filesystem $EFILE for $2"
  91                         zcat "$EFILE" > $2 || exit -1
  92                         sync
  93                 else
  94                         echo "creating new sparse filesystem on $2"
  95                         dd if=/dev/zero of=$2 bs=1k seek=$3 count=1 1>&2 || exit -1
  96                         $MKFS $MKFSOPT -F $2 1>&2 || exit -1
  97                 fi
  98                 LOOPDEV=`next_loop_dev`
  99                 losetup ${LOOPDEV} $2 1>&2 || exit -1
 100         fi
 101
 102         # Enable hash-indexed directories for extN filesystems
 103 #       [ "$1" = "extN" ] && echo "feature FEATURE_C5" | debugfs -w $2
 104 }
 105
 106 # Set up to use an existing filesystem.  We take the same parameters as
 107 # new_fs, even though we only use the <fstype> and <file> parameters, to
 108 # make it easy to convert between new_fs and old_fs in testing scripts.
 109 old_fs () {
 110         [ -e $2 ] || exit -1
 111
 112         if [ -b "$2" ]; then
 113                 LOOPDEV=$2      # Not really a loop device
 114         else
 115                 LOOPDEV=`next_loop_dev`
 116                 losetup ${LOOPDEV} $2 1>&2 || exit -1
 117         fi
 118 }
 119
 120 list_mods() {
 121         $DBGCTL modules > $R/tmp/ogdb
 122         echo "The GDB module script is in $R/tmp/ogdb"
 123         [ "$DEBUG_WAIT" = "yes" ] && echo -n "Press ENTER to continue" && read
 124 }
 125
 126 # We need at least one setup file to be given.  It can be passed on
 127 # the command-line, or it can be found in the home directory, or it
 128 # can even be sourced into the current shell environment.
 129 setup_opts() {
 130         DEF=$HOME/.lustretestrc
 131         [ -r $DEF ] && . $DEF && SETUP=y
 132
 133         for CFG in "$@" ; do
 134                 case $CFG  in
 135                 *.cfg) [ -r "$CFG" ] && . $CFG && SETUP=y ;;
 136                 *) echo "unknown option '$CFG'" 1>&2
 137                 esac
 138         done
 139
 140         if [ "$SETUP" != "y" ]; then
 141                 echo "error: no config file on command-line and no $DEF" 1>&2
 142                 exit -1
 143         fi
 144
 145         [ -z "$MDS_RSH" ] && MDS_RSH="eval"
 146         [ -z "$OST_RSH" ] && OST_RSH="eval"
 147         [ -z "$OSC_RSH" ] && OSC_RSH="eval"
 148 }
 149
 150 setup_variables() {
 151         [ -z "$OSTNODE" ] && OSTNODE=$SERVER
 152         [ -z "$MDSNODE" ] && MDSNODE=$SERVER
 153
 154         if [ -z "$DLM" ]; then
 155                 if [ "$LOCALHOST" == "$SERVER" ]; then
 156                         DLM=localhost
 157                 else
 158                         DLM=$SERVER
 159                 fi
 160         fi
 161 }
 162
 163 setup_portals() {
 164         if grep -q portals /proc/modules; then
 165                 echo "$0: portals already appears to be set up, skipping"
 166                 return 0
 167         fi
 168
 169         if [ -z "$NETWORK" -o -z "$LOCALHOST" -o -z "$SERVER" ]; then
 170                 echo "$0: NETWORK or LOCALHOST or SERVER is not set" 1>&2
 171                 exit -1
 172         fi
 173
 174         setup_variables
 175
 176         [ -c /dev/portals ] || mknod /dev/portals c 10 240
 177
 178         do_insmod $PORTALS/linux/oslib/portals.o || exit -1
 179
 180         case $NETWORK in
 181         elan)   [ "$PORT" ] && fail "$0: NETWORK is elan but PORT is set"
 182                 do_insmod $PORTALS/linux/qswnal/kqswnal.o || exit -1
 183                 ;;
 184         tcp)    [ "$PORT" ] || fail "$0: NETWORK is tcp but PORT is not set"
 185                 do_insmod $PORTALS/linux/socknal/ksocknal.o || exit -1
 186                 $ACCEPTOR $PORT
 187                 ;;
 188         *)      fail "$0: unknown NETWORK '$NETWORK'" ;;
 189         esac
 190
 191         $PTLCTL <<- EOF
 192         setup $NETWORK
 193         mynid $LOCALHOST
 194         connect $MDSNODE $PORT
 195         add_uuid $MDSNODE
 196         connect $OSTNODE $PORT
 197         add_uuid $OSTNODE
 198         connect $DLM $PORT
 199         add_uuid $DLM
 200         add_uuid self
 201         quit
 202         EOF
 203 }
 204
 205 setup_lustre() {
 206         [ -c /dev/obd ] || mknod /dev/obd c 10 241
 207
 208         do_insmod $LUSTRE/obdclass/obdclass.o || exit -1
 209         do_insmod $LUSTRE/ptlrpc/ptlrpc.o || exit -1
 210         do_insmod $LUSTRE/ldlm/ldlm.o || exit -1
 211         do_insmod $LUSTRE/extN/extN.o || \
 212                 echo "info: can't load extN.o module, not fatal if using ext3"
 213         do_insmod $LUSTRE/mds/mds.o || exit -1
 214         #do_insmod $LUSTRE/mds/mds_ext2.o || exit -1
 215         #do_insmod $LUSTRE/mds/mds_ext3.o || exit -1
 216         do_insmod $LUSTRE/mds/mds_extN.o || \
 217                 echo "info: can't load mds_extN.o module, needs extN.o"
 218         do_insmod $LUSTRE/obdecho/obdecho.o || exit -1
 219         #do_insmod $LUSTRE/obdext2/obdext2.o || exit -1
 220         do_insmod $LUSTRE/obdfilter/obdfilter.o || exit -1
 221         do_insmod $LUSTRE/ost/ost.o || exit -1
 222         do_insmod $LUSTRE/osc/osc.o || exit -1
 223         do_insmod $LUSTRE/mdc/mdc.o || exit -1
 224         do_insmod $LUSTRE/llite/llite.o || exit -1
 225
 226         echo "$R/tmp/lustre-log" > /proc/sys/portals/debug_path
 227         list_mods
 228
 229         if $OBDCTL name2dev RPCDEV > /dev/null 2>&1; then
 230                 echo "$0: RPCDEV is already configured, skipping"
 231                 return 0
 232         fi
 233
 234         $OBDCTL <<- EOF || return $?
 235         newdev
 236         attach ptlrpc RPCDEV
 237         setup
 238         quit
 239         EOF
 240
 241         [ -d /mnt/lustre ] || mkdir /mnt/lustre
 242 }
 243
 244 setup_ldlm() {
 245         [ "$SETUP_LDLM" = "y" ] || return 0
 246
 247         [ -c /dev/portals ] || mknod /dev/portals c 10 240
 248
 249         $OBDCTL <<- EOF || return $?
 250         newdev
 251         attach ldlm LDLMDEV
 252         setup
 253         quit
 254         EOF
 255
 256 }
 257
 258 find_devno() {
 259         if [ -z "$1" ]; then
 260                 echo "usage: $0 <devname>" 1>&2
 261                 return -1
 262         fi
 263
 264         $OBDCTL name2dev $1
 265 }
 266
 267 setup_mds() {
 268         [ "$SETUP_MDS" = "y" ] || return 0
 269
 270         if [ -z "$MDSFS" -o -z "$MDSDEV" ]; then
 271                 echo "error: setup_mds: MDSFS or MDSDEV unset" 1>&2
 272                 return -1
 273         fi
 274
 275         [ "$1" ] && DO_FS=$1
 276         if [ "$DO_FS" != "new_fs" -a "$DO_FS" != "old_fs" ]; then
 277                 echo "usage: setup_mds {new_fs|old_fs}" 1>&2
 278                 return -1
 279         fi
 280
 281         if $OBDCTL name2dev MDSDEV > /dev/null 2>&1; then
 282                 echo "$0: MDSDEV is already configured"
 283                 return 0
 284         fi
 285
 286         $DO_FS ${MDSFS} ${MDSDEV} ${MDSSIZE}
 287         MDS=${LOOPDEV}
 288
 289         $OBDCTL <<- EOF || return $?
 290         newdev
 291         attach mds MDSDEV MDSUUID
 292         setup ${MDS} ${MDSFS}
 293         quit
 294         EOF
 295 }
 296
 297 setup_ost() {
 298         [ "$SETUP_OST" = "y" ] || return 0
 299
 300         if [ -z "$OSTTYPE" ]; then
 301                 echo "error: setup_ost: OSTTYPE unset" 1>&2
 302                 return -1
 303         fi
 304
 305         case $OSTTYPE in
 306         obdecho)        OBD=
 307                         OBDARG=
 308                         NEED_FS=n
 309                 ;;
 310         obdext2)        OBDARG=
 311                         NEED_FS=y
 312                 ;;
 313         obdfilter)      OBDARG=$OSTFS
 314                         NEED_FS=y
 315                 ;;
 316         *)      echo "error: setup_ost: unknown OSTTYPE '$OSTTYPE'" 1>&2
 317                 return -1
 318                 ;;
 319         esac
 320
 321         if $OBDCTL name2dev OBDDEV > /dev/null 2>&1; then
 322                 echo "$0: OBDDEV is already configured"
 323                 return 0
 324         fi
 325
 326         if [ "$NEED_FS" = "y" ]; then
 327                 [ "$1" ] && DO_FS=$1
 328                 if [ -z "$OSTFS" -o -z "$OSTDEV" ]; then
 329                         echo "error: setup_ost: OSTFS or OSTDEV unset" 1>&2
 330                         return -1
 331                 fi
 332
 333                 if [ "$DO_FS" != "new_fs" -a "$DO_FS" != "old_fs" ]; then
 334                         echo "usage: setup_ost {new_fs|old_fs}" 1>&2
 335                         return -1
 336                 fi
 337
 338                 $DO_FS ${OSTFS} ${OSTDEV} ${OSTSIZE}
 339                 OBD=${LOOPDEV}
 340         fi
 341
 342         $OBDCTL <<- EOF || return $?
 343         newdev
 344         attach ${OSTTYPE} OBDDEV OBDUUID
 345         setup ${OBD} ${OBDARG}
 346         quit
 347         EOF
 348         $OBDCTL <<- EOF || return $?
 349         newdev
 350         attach ost OSTDEV OSTUUID
 351         setup \$OBDDEV
 352         quit
 353         EOF
 354 }
 355
 356 setup_server() {
 357         setup_mds $1 && setup_ost $1
 358 }
 359
 360 setup_osc() {
 361         set -vx
 362         [ "$SETUP_OSC" != "y" ] && return 0
 363         [ "$OSC_NAMES" ] || OSC_NAMES=OSCDEV
 364
 365         for THEOSC in $OSC_NAMES ; do
 366             OSCDEVNO=`find_devno $THEOSC`
 367             if $OBDCTL name2dev $THEOSC > /dev/null 2>&1; then
 368                 echo "$0: OSCDEV is already configured"
 369                 return 0
 370             fi
 371
 372         $OBDCTL <<- EOF || return $rc
 373         newdev
 374         attach osc $THEOSC
 375         setup OBDUUID $OSTNODE
 376         quit
 377         EOF
 378         done
 379 }
 380
 381 setup_mdc() {
 382         set -vx
 383         [ "$SETUP_MDC" != "y" ] && return 0
 384         [ "$MDC_NAMES" ] || MDC_NAMES=MDCDEV
 385
 386         for THEMDC in $MDC_NAMES ; do
 387             MDCDEVNO=`find_devno $THEMDC`
 388         if $OBDCTL name2dev $THEMDC > /dev/null 2>&1; then
 389                 echo "$0: MDCDEV is already configured"
 390                 return 0
 391         fi
 392
 393         $OBDCTL <<- EOF || return $?
 394         newdev
 395         attach mdc $THEMDC
 396         setup MDSUUID $MDSNODE
 397         quit
 398         EOF
 399         done
 400 }
 401
 402
 403 setup_mount() {
 404         set -vx
 405         [ "$SETUP_MOUNT" != "y" ] && return 0
 406         [ "$MDC_NAMES" ] || MDC_NAMES=MDCDEV
 407         [ "$OSC_NAMES" ] || OSC_NAMES=OSCDEV
 408         [ -z "$MOUNT_LIST" -a "$OSCMT" ] && MOUNT_LIST="MT" && MT="$OSCMT OSCDEV MDCDEV"
 409
 410         [ "$MOUNT_LIST" ] || fail "error: $0: MOUNT_LIST unset"
 411
 412         for THEMOUNT in $MOUNT_LIST; do
 413             eval "echo \$$THEMOUNT" | while read MTPT THEOSC THEMDC; do
 414                 if mount | grep -q $MTPT; then
 415                     echo "$0: $MTPT is already mounted"
 416                     return 0
 417                 fi
 418
 419                 [ ! -d $MTPT ] && mkdir $MTPT
 420                 echo mount -t lustre_lite -o ost=`find_devno $THEOSC`,mds=`find_devno $THEMDC` none $MTPT
 421                 mount -t lustre_lite -o ost=`find_devno $THEOSC`,mds=`find_devno $THEMDC` none $MTPT
 422             done
 423         done
 424 }
 425
 426 setup_client() {
 427         setup_osc && setup_mdc && setup_mount
 428 }
 429
 430 DEBUG_ON="echo 0xffffffff > /proc/sys/portals/debug"
 431 DEBUG_OFF="echo 0 > /proc/sys/portals/debug"
 432
 433 debug_server_off() {
 434         [ "$MDS_RSH" ] && echo "Turn OFF debug on MDS" && $MDS_RSH "$DEBUG_OFF"
 435         [ "$OST_RSH" ] && echo "Turn OFF debug on OST" && $OST_RSH "$DEBUG_OFF"
 436 }
 437
 438 debug_server_on() {
 439         [ "$MDS_RSH" ] && echo "Turn ON debug on MDS" && $MDS_RSH "$DEBUG_ON"
 440         [ "$OST_RSH" ] && echo "Turn ON debug on OST" && $OST_RSH "$DEBUG_ON"
 441 }
 442
 443 debug_client_off() {
 444         echo "Turning OFF debug on client" && $OSC_RSH "$DEBUG_OFF"
 445 }
 446
 447 debug_client_on() {
 448         echo "Turning ON debug on client" && $OSC_RSH "$DEBUG_ON"
 449 }
 450
 451 cleanup_portals() {
 452         [ -z "$NETWORK" ] && NETWORK=tcp
 453
 454         setup_variables
 455
 456         $PTLCTL <<- EOF
 457         setup $NETWORK
 458         disconnect
 459         del_uuid self
 460         del_uuid $MDSNODE
 461         del_uuid $OSTNODE
 462         del_uuid $DLM
 463         quit
 464         EOF
 465
 466         do_rmmod kqswnal
 467         do_rmmod ksocknal
 468         do_rmmod portals
 469 }
 470
 471 cleanup_lustre() {
 472         killall acceptor
 473
 474         losetup -d ${LOOP}0
 475         losetup -d ${LOOP}1
 476         losetup -d ${LOOP}2
 477
 478         do_rmmod llite
 479         do_rmmod mdc
 480
 481         do_rmmod mds_extN
 482         do_rmmod mds_ext3
 483         do_rmmod mds_ext2
 484         do_rmmod mds
 485         do_rmmod ost
 486         do_rmmod osc
 487         do_rmmod obdecho
 488         do_rmmod obdfilter
 489         do_rmmod obdext2
 490         do_rmmod extN
 491
 492         do_rmmod ldlm
 493         do_rmmod ptlrpc
 494         do_rmmod obdclass
 495 }
 496
 497 cleanup_ldlm() {
 498         [ "$SETUP" -a -z "$SETUP_LDLM" ] && return 0
 499
 500         LDLMDEVNO=`find_devno LDLMDEV`
 501         if [ "$LDLMDEVNO" ]; then
 502                 $OBDCTL <<- EOF
 503                 device $LDLMDEVNO
 504                 cleanup
 505                 detach
 506                 quit
 507                 EOF
 508         fi
 509 }
 510
 511 cleanup_mds() {
 512         [ "$SETUP" -a -z "$SETUP_MDS" ] && return 0
 513
 514         MDSDEVNO=`find_devno MDSDEV`
 515         if [ "$MDSDEVNO" ]; then
 516                 $OBDCTL <<- EOF
 517                 device $MDSDEVNO
 518                 cleanup
 519                 detach
 520                 quit
 521                 EOF
 522         fi
 523 }
 524
 525 cleanup_ost() {
 526         [ "$SETUP" -a -z "$SETUP_OST" ] && return 0
 527
 528         OSTDEVNO=`find_devno OSTDEV`
 529         if [ "$OSTDEVNO" ]; then
 530                 $OBDCTL <<- EOF
 531                 device $OSTDEVNO
 532                 cleanup
 533                 detach
 534                 quit
 535                 EOF
 536         fi
 537
 538         OBDDEVNO=`find_devno OBDDEV`
 539         if [ "$OBDDEVNO" ]; then
 540                 $OBDCTL <<- EOF
 541                 device $OBDDEVNO
 542                 cleanup
 543                 detach
 544                 quit
 545                 EOF
 546         fi
 547 }
 548
 549 cleanup_server() {
 550         cleanup_ost && cleanup_mds
 551 }
 552
 553 cleanup_mount() {
 554         [ "$SETUP" -a -z "$SETUP_MOUNT" ] && return 0
 555
 556         [ "$OSCMT" ] || OSCMT=/mnt/lustre
 557         for THEMOUNT in $OSCMT; do
 558             if [ "`mount | grep $THEMOUNT`" ]; then
 559                 umount $THEMOUNT || fail "unable to unmount $THEMOUNT"
 560             fi
 561         done
 562 }
 563
 564 cleanup_osc() {
 565         [ "$SETUP" -a -z "$SETUP_OSC" ] && return 0
 566         [ "$OSC_NAMES" ] || OSC_NAMES=OSCDEV
 567
 568         for THEOSC in $OSC_NAMES ; do
 569             OSCDEVNO=`find_devno $THEOSC`
 570             if [ "$OSCDEVNO" ]; then
 571                 $OBDCTL <<- EOF
 572                 device $OSCDEVNO
 573                 cleanup
 574                 detach
 575                 quit
 576                 EOF
 577             fi
 578         done
 579 }
 580
 581 cleanup_mdc() {
 582         [ "$SETUP" -a -z "$SETUP_MDC" ] && return 0
 583         [ "$MDC_NAMES" ] || MDC_NAMES=MDCDEV
 584
 585         for THEMDC in $MDC_NAMES ; do
 586             MDCDEVNO=`find_devno $THEMDC`
 587             if [ "$MDCDEVNO" ]; then
 588                 $OBDCTL <<- EOF
 589                 device $MDCDEVNO
 590                 cleanup
 591                 detach
 592                 quit
 593                 EOF
 594             fi
 595         done
 596 }
 597
 598 cleanup_rpc() {
 599         RPCDEVNO=`find_devno RPCDEV`
 600         if [ "$RPCDEVNO" ]; then
 601                 $OBDCTL <<- EOF
 602                 device $RPCDEVNO
 603                 cleanup
 604                 detach
 605                 quit
 606                 EOF
 607         fi
 608 }
 609
 610 cleanup_client() {
 611         cleanup_mount && cleanup_osc && cleanup_mdc && cleanup_rpc
 612 }
 613
 614 fail() {
 615     echo "ERROR: $1" 1>&2
 616     [ $2 ] && RC=$2 || RC=1
 617     exit $RC
 618 }