lustre/tests/sanity-gss.sh

   1 #!/bin/bash
   2 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
   3 #
   4 # Run select tests by setting ONLY, or as arguments to the script.
   5 # Skip specific tests by setting EXCEPT.
   6 #
   7 # e.g. ONLY="22 23" or ONLY="`seq 32 39`" or EXCEPT="31"
   8 set -e
   9
  10 ONLY=${ONLY:-"$*"}
  11 # bug number for skipped test:
  12 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-""}
  13 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  14 if [ "x$GSS_PIPEFS" != "xy" ]; then
  15     ALWAYS_EXCEPT="$ALWAYS_EXCEPT 4"
  16 fi
  17
  18 [ "$SLOW" = "no" ] && EXCEPT="$EXCEPT"
  19
  20 # Tests that fail on uml, maybe elsewhere, FIXME
  21 CPU=`awk '/model/ {print $4}' /proc/cpuinfo`
  22 [ "$CPU" = "UML" ] && EXCEPT="$EXCEPT"
  23
  24 case `uname -r` in
  25 2.6*) FSTYPE=${FSTYPE:-ldiskfs}; ALWAYS_EXCEPT="$ALWAYS_EXCEPT " ;;
  26 *) error "unsupported kernel (gss only works with 2.6.x)" ;;
  27 esac
  28
  29 SRCDIR=`dirname $0`
  30 export PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$SRCDIR/../utils/gss:$PATH:/sbin
  31
  32 TMP=${TMP:-/tmp}
  33
  34 CHECKSTAT=${CHECKSTAT:-"checkstat -v"}
  35 CREATETEST=${CREATETEST:-createtest}
  36 LFS=${LFS:-lfs}
  37 LCTL=${LCTL:-lctl}
  38 MEMHOG=${MEMHOG:-memhog}
  39 DIRECTIO=${DIRECTIO:-directio}
  40 ACCEPTOR_PORT=${ACCEPTOR_PORT:-988}
  41 UMOUNT=${UMOUNT:-"umount -d"}
  42
  43 if [ $UID -ne 0 ]; then
  44     echo "Warning: running as non-root uid $UID"
  45     RUNAS_ID="$UID"
  46     RUNAS=""
  47 else
  48     RUNAS_ID=${RUNAS_ID:-500}
  49     RUNAS=${RUNAS:-"runas -u $RUNAS_ID"}
  50
  51     # $RUNAS_ID may get set incorrectly somewhere else
  52     if [ $RUNAS_ID -eq 0 ]; then
  53         echo "Error: \$RUNAS_ID set to 0, but \$UID is also 0!"
  54         exit 1
  55     fi
  56 fi
  57
  58 SANITYLOG=${SANITYLOG:-/tmp/sanity-gss.log}
  59
  60 export NAME=${NAME:-local}
  61
  62 SAVE_PWD=$PWD
  63
  64 export SEC=${SEC:-krb5p}
  65 export KRB5_CCACHE_DIR=/tmp
  66 export KRB5_CRED=$KRB5_CCACHE_DIR/krb5cc_$RUNAS_ID
  67 export KRB5_CRED_SAVE=$KRB5_CCACHE_DIR/krb5cc.sanity.save
  68
  69 #
  70 # check pre-set $SEC
  71 #
  72 case "x$SEC" in
  73     xkrb5*)
  74         echo "Using ptlrpc security flavor $SEC"
  75         ;;
  76     *)
  77         echo "SEC=$SEC is invalid, it has to be gss/krb5 flavor"
  78         exit 1
  79         ;;
  80 esac
  81
  82 LUSTRE=${LUSTRE:-`dirname $0`/..}
  83 . $LUSTRE/tests/test-framework.sh
  84 init_test_env $@
  85 . ${CONFIG:=$LUSTRE/tests/cfg/local.sh}
  86
  87 prepare_krb5_creds() {
  88     rm -f $CRED_SAVE
  89     $RUNAS krb5_login.sh || exit 1
  90     [ -f $KRB5_CRED ] || exit 2
  91     cp $KRB5_CRED $KRB5_CRED_SAVE
  92 }
  93
  94 cleanup() {
  95     echo -n "cln.."
  96     cleanupall ${FORCE} $* || { echo "FAILed to clean up"; exit 20; }
  97 }
  98 CLEANUP=${CLEANUP:-:}
  99
 100 setup() {
 101     echo -n "mnt.."
 102     load_modules
 103     setupall || exit 10
 104     echo "done"
 105 }
 106 SETUP=${SETUP:-:}
 107
 108 trace() {
 109     log "STARTING: $*"
 110     strace -o $TMP/$1.strace -ttt $*
 111     RC=$?
 112     log "FINISHED: $*: rc $RC"
 113     return 1
 114 }
 115 TRACE=${TRACE:-""}
 116
 117 check_kernel_version() {
 118     VERSION_FILE=$LPROC/kernel_version
 119     WANT_VER=$1
 120     [ ! -f $VERSION_FILE ] && echo "can't find kernel version" && return 1
 121     GOT_VER=`cat $VERSION_FILE`
 122     [ $GOT_VER -ge $WANT_VER ] && return 0
 123     log "test needs at least kernel version $WANT_VER, running $GOT_VER"
 124     return 1
 125 }
 126
 127 _basetest() {
 128     echo $*
 129 }
 130
 131 [ "$SANITYLOG" ] && rm -f $SANITYLOG || true
 132
 133
 134 prepare_krb5_creds
 135 build_test_filter
 136 umask 077
 137
 138 # setup filesystem
 139 formatall
 140 setupall
 141 chmod a+rwx $MOUNT
 142
 143 restore_krb5_cred() {
 144     cp $KRB5_CRED_SAVE $KRB5_CRED
 145     chown $RUNAS_ID:$RUNAS_ID $KRB5_CRED
 146     chmod 0600 $KRB5_CRED
 147 }
 148
 149 test_1() {
 150     # access w/o cred
 151     $RUNAS kdestroy
 152     $RUNAS touch $MOUNT/f1 && error "unexpected success"
 153
 154     # access w/ cred
 155     restore_krb5_cred
 156     $RUNAS touch $MOUNT/f1 || error "should not fail"
 157     [ -f $MOUNT/f1 ] || error "$MOUNT/f1 not found"
 158 }
 159 run_test 1 "access with or without krb5 credential"
 160
 161 test_2() {
 162     # current access should be ok
 163     $RUNAS touch $MOUNT/f2_1 || error "can't touch $MOUNT/f2_1"
 164     [ -f $MOUNT/f2_1 ] || error "$MOUNT/f2_1 not found"
 165
 166     # cleanup all cred/ctx and touch
 167     $RUNAS kdestroy
 168     $RUNAS $LFS flushctx || error "can't flush ctx"
 169     $RUNAS touch $MOUNT/f2_2 && error "unexpected success"
 170
 171     # restore and touch
 172     restore_krb5_cred
 173     $RUNAS touch $MOUNT/f2_2 || error "should not fail"
 174     [ -f $MOUNT/f2_2 ] || error "$MOUNT/f2_2 not found"
 175 }
 176 run_test 2 "lfs flushctx"
 177
 178 test_3() {
 179     local file=$MOUNT/f3
 180
 181     # create file
 182     echo "aaaaaaaaaaaaaaaaa" > $file
 183     chmod 0666 $file
 184     $CHECKSTAT -p 0666 $file || error "$UID checkstat error"
 185     $RUNAS $CHECKSTAT -p 0666 $file || error "$RUNAS_ID checkstat error"
 186     $RUNAS cat $file > /dev/null || error "$RUNAS_ID cat error"
 187
 188     # start multiop
 189     $RUNAS multiop $file o_r &
 190     OPPID=$!
 191     # wait multiop finish its open()
 192     sleep 1
 193
 194     # cleanup all cred/ctx and check
 195     # metadata check should fail, but file data check should success
 196     # because we always use root credential to OSTs
 197     $RUNAS kdestroy
 198     $RUNAS $LFS flushctx
 199     echo "destroied credentials/contexs for $RUNAS_ID"
 200     $RUNAS $CHECKSTAT -p 0666 $file && error "checkstat succeed"
 201     kill -s 10 $OPPID
 202     wait $OPPID || error "read file data failed"
 203     echo "read file data OK"
 204
 205     # restore and check again
 206     restore_krb5_cred
 207     echo "restored credentials for $RUNAS_ID"
 208     $RUNAS $CHECKSTAT -p 0666 $file || error "$RUNAS_ID checkstat (2) error"
 209     echo "$RUNAS_ID checkstat OK"
 210     $CHECKSTAT -p 0666 $file || error "$UID checkstat (2) error"
 211     echo "$UID checkstat OK"
 212     $RUNAS cat $file > /dev/null || error "$RUNAS_ID cat (2) error"
 213     echo "$RUNAS_ID read file data OK"
 214 }
 215 run_test 3 "local cache under DLM lock"
 216
 217 test_4() {
 218     local file1=$MOUNT/f4_1
 219     local file2=$MOUNT/f4_2
 220
 221     # current access should be ok
 222     $RUNAS touch $file1 || error "can't touch $file1"
 223     [ -f $file1 ] || error "$file1 not found"
 224
 225     # stop lgssd
 226     send_sigint client lgssd
 227     sleep 5
 228     check_gss_daemon_facet client lgssd && error "lgssd still running"
 229
 230     # flush context, and touch
 231     $RUNAS $LFS flushctx
 232     $RUNAS touch $file2 &
 233     TOUCHPID=$!
 234     echo "waiting touch pid $TOUCHPID"
 235     wait $TOUCHPID && error "touch should fail"
 236
 237     # restart lgssd
 238     do_facet client "$LGSSD -v"
 239     sleep 5
 240     check_gss_daemon_facet client lgssd
 241
 242     # touch new should succeed
 243     $RUNAS touch $file2 || error "can't touch $file2"
 244     [ -f $file2 ] || error "$file2 not found"
 245 }
 246 run_test 4 "lgssd dead, operations should wait timeout and fail"
 247
 248 test_5() {
 249     local file1=$MOUNT/f5_1
 250     local file2=$MOUNT/f5_2
 251     local wait_time=`expr $TIMEOUT + $TIMEOUT`
 252
 253     # current access should be ok
 254     $RUNAS touch $file1 || error "can't touch $file1"
 255     [ -f $file1 ] || error "$file1 not found"
 256
 257     # stop lsvcgssd
 258     send_sigint mds lsvcgssd
 259     sleep 5
 260     check_gss_daemon_facet mds lsvcgssd && error "lsvcgssd still running"
 261
 262     # flush context, and touch
 263     $RUNAS $LFS flushctx
 264     $RUNAS touch $file2 &
 265     TOUCHPID=$!
 266
 267     # wait certain time
 268     echo "waiting $wait_time seconds for touch pid $TOUCHPID"
 269     sleep $wait_time
 270     num=`ps --no-headers -p $TOUCHPID | wc -l`
 271     [ $num -eq 1 ] || error "touch already ended ($num)"
 272     echo "process $TOUCHPID still hanging there... OK"
 273
 274     # restart lsvcgssd, expect touch suceed
 275     echo "restart lsvcgssd and recovering"
 276     do_facet mds "$LSVCGSSD -v"
 277     sleep 5
 278     check_gss_daemon_facet mds lsvcgssd
 279     wait $TOUCHPID || error "touch fail"
 280     [ -f $file2 ] || error "$file2 not found"
 281 }
 282 run_test 5 "lsvcgssd dead, operations lead to recovery"
 283
 284 test_6() {
 285     NPROC=`cat /proc/cpuinfo 2>/dev/null | grep ^processor | wc -l`
 286     [ $NPROC -ne 0 ] || NPROC=2
 287
 288     echo "starting dbench $NPROC"
 289     sh rundbench $NPROC &
 290     RUNPID=$!
 291
 292     for ((n=0;;n++)); do
 293         sleep 2
 294         num=`ps --no-headers -p $RUNPID | wc -l`
 295         [ $num -ne 0 ] || break
 296         echo "flush ctx ..."
 297         $LFS flushctx
 298     done
 299     wait $RUNPID || error "dbench detect error"
 300 }
 301 run_test 6 "recoverable from losing context"
 302
 303 test_7() {
 304     local tdir=$MOUNT/dir7
 305     local num_osts
 306
 307     #
 308     # for open(), client only reserve space for default stripe count lovea,
 309     # and server may return larger lovea in reply (because of larger stripe
 310     # count), client need call enlarge_reqbuf() and save the replied lovea
 311     # in request for future possible replay.
 312     #
 313     # Note: current script does NOT guarantee enlarge_reqbuf() will be in
 314     # the path, however it does work in local test which has 2 OSTs and
 315     # default stripe count is 1.
 316     #
 317     num_osts=`$LFS getstripe $MOUNT | egrep "^[0-9]*:.*ACTIVE" | wc -l`
 318     echo "found $num_osts active OSTs"
 319     [ $num_osts -lt 2 ] && echo "skipping $TESTNAME (must have >= 2 OSTs)" && return
 320
 321     mkdir $tdir || error
 322     $LFS setstripe $tdir 0 -1 -1 || error
 323
 324     echo "creating..."
 325     for ((i=0;i<20;i++)); do
 326         dd if=/dev/zero of=$tdir/f$i bs=4k count=16 2>/dev/null
 327     done
 328     echo "reading..."
 329     for ((i=0;i<20;i++)); do
 330         dd if=$tdir/f$i of=/dev/null bs=4k count=16 2>/dev/null
 331     done
 332     rm -rf $tdir
 333 }
 334 run_test 7 "exercise enlarge_reqbuf()"
 335
 336 check_multiple_gss_daemons() {
 337     local facet=$1
 338     local gssd=$2
 339     local gssd_name=`basename $gssd`
 340
 341     for ((i=0;i<10;i++)); do
 342         do_facet $facet "$gssd -v &"
 343     done
 344
 345     # wait daemons entering "stable" status
 346     sleep 5
 347
 348     num=`do_facet $facet ps -o cmd -C $gssd_name | grep $gssd_name | wc -l`
 349     echo "$num instance(s) of $gssd_name are running"
 350
 351     if [ $num -ne 1 ]; then
 352         error "$gssd_name not unique"
 353     fi
 354 }
 355
 356 test_100() {
 357     local facet=mds
 358
 359     # cleanup everything at first
 360     cleanupall
 361
 362     echo "bring up gss daemons..."
 363     start_gss_daemons
 364
 365     echo "check with someone already running..."
 366     check_multiple_gss_daemons $facet $LSVCGSSD
 367     if [ "x$GSS_PIPEFS" == "xy" ]; then
 368         check_multiple_gss_daemons $facet $LGSSD
 369     fi
 370
 371     echo "check with someone run & finished..."
 372     do_facet $facet killall -q -2 lgssd lsvcgssd || true
 373     sleep 5 # wait fully exit
 374     check_multiple_gss_daemons $facet $LSVCGSSD
 375     if [ "x$GSS_PIPEFS" == "xy" ]; then
 376         check_multiple_gss_daemons $facet $LGSSD
 377     fi
 378
 379     echo "check refresh..."
 380     do_facet $facet killall -q -2 lgssd lsvcgssd || true
 381     sleep 5 # wait fully exit
 382     do_facet $facet ipcrm -S 0x3b92d473
 383     check_multiple_gss_daemons $facet $LSVCGSSD
 384     if [ "x$GSS_PIPEFS" == "xy" ]; then
 385         do_facet $facet ipcrm -S 0x3a92d473
 386         check_multiple_gss_daemons $facet $LGSSD
 387     fi
 388
 389     stop_gss_daemons
 390 }
 391 run_test 100 "start multiple gss daemons"
 392
 393 TMPDIR=$OLDTMPDIR
 394 TMP=$OLDTMP
 395 HOME=$OLDHOME
 396
 397 log "cleanup: ======================================================"
 398 if [ "`mount | grep ^$NAME`" ]; then
 399     rm -rf $DIR/[Rdfs][1-9]*
 400 fi
 401
 402 cleanupall -f || error "cleanup failed"
 403
 404
 405 echo '=========================== finished ==============================='
 406 [ -f "$SANITYLOG" ] && cat $SANITYLOG && exit 1 || true