lustre/tests/sanity.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6 # e.g. ONLY="22 23" or ONLY="`seq 32 39`" or EXCEPT="31"
   7 set -e
   8
   9 ONLY=${ONLY:-"$*"}
  10 # bug number for skipped test: 4900 4900 2108 9789 3637 9789 3561 5188/5749 10764
  11 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-"27o 27q  42a  42b  42c  42d  45   68        75"}
  12 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  13
  14 [ "$SLOW" = "no" ] && EXCEPT="$EXCEPT 24o 27m 36f 36g 51b 51c 63 64b 71 73 77 101 107 108"
  15
  16 # Tests that fail on uml, maybe elsewhere, FIXME
  17 CPU=`awk '/model/ {print $4}' /proc/cpuinfo`
  18 #                                    buffer i/o errs             sock spc runas
  19 [ "$CPU" = "UML" ] && EXCEPT="$EXCEPT 27m 27n 27o 27p 27q 27r 31d 54a  64b 99a 99b 99c 99d 99e 99f 101"
  20
  21 case `uname -r` in
  22 2.4*) FSTYPE=${FSTYPE:-ext3};    ALWAYS_EXCEPT="$ALWAYS_EXCEPT 76"
  23         [ "$CPU" = "UML" ] && ALWAYS_EXCEPT="$ALWAYS_EXCEPT 105a";;
  24 2.6*) FSTYPE=${FSTYPE:-ldiskfs}; ALWAYS_EXCEPT="$ALWAYS_EXCEPT " ;;
  25 *) error "unsupported kernel" ;;
  26 esac
  27
  28 SRCDIR=`dirname $0`
  29 export PATH=$PWD/$SRCDIR:$SRCDIR:$SRCDIR/../utils:$PATH:/sbin
  30
  31 TMP=${TMP:-/tmp}
  32
  33 CHECKSTAT=${CHECKSTAT:-"checkstat -v"}
  34 CREATETEST=${CREATETEST:-createtest}
  35 LFS=${LFS:-lfs}
  36 SETSTRIPE=${SETSTRIPE:-"$LFS setstripe"}
  37 GETSTRIPE=${GETSTRIPE:-"$LFS getstripe"}
  38 LSTRIPE=${LSTRIPE:-"$LFS setstripe"}
  39 LFIND=${LFIND:-"$LFS find"}
  40 LVERIFY=${LVERIFY:-ll_dirstripe_verify}
  41 LCTL=${LCTL:-lctl}
  42 MCREATE=${MCREATE:-mcreate}
  43 OPENFILE=${OPENFILE:-openfile}
  44 OPENUNLINK=${OPENUNLINK:-openunlink}
  45 RANDOM_READS=${RANDOM_READS:-"random-reads"}
  46 TOEXCL=${TOEXCL:-toexcl}
  47 TRUNCATE=${TRUNCATE:-truncate}
  48 MUNLINK=${MUNLINK:-munlink}
  49 SOCKETSERVER=${SOCKETSERVER:-socketserver}
  50 SOCKETCLIENT=${SOCKETCLIENT:-socketclient}
  51 IOPENTEST1=${IOPENTEST1:-iopentest1}
  52 IOPENTEST2=${IOPENTEST2:-iopentest2}
  53 MEMHOG=${MEMHOG:-memhog}
  54 DIRECTIO=${DIRECTIO:-directio}
  55 ACCEPTOR_PORT=${ACCEPTOR_PORT:-988}
  56 UMOUNT=${UMOUNT:-"umount -d"}
  57
  58 if [ $UID -ne 0 ]; then
  59         echo "Warning: running as non-root uid $UID"
  60         RUNAS_ID="$UID"
  61         RUNAS=""
  62 else
  63         RUNAS_ID=${RUNAS_ID:-500}
  64         RUNAS=${RUNAS:-"runas -u $RUNAS_ID"}
  65
  66         # $RUNAS_ID may get set incorrectly somewhere else
  67         if [ $RUNAS_ID -eq 0 ]; then
  68                 echo "Error: \$RUNAS_ID set to 0, but \$UID is also 0!"
  69                 exit 1
  70         fi
  71 fi
  72
  73 SANITYLOG=${SANITYLOG:-/tmp/sanity.log}
  74
  75 export NAME=${NAME:-local}
  76
  77 SAVE_PWD=$PWD
  78
  79 LUSTRE=${LUSTRE:-`dirname $0`/..}
  80 . $LUSTRE/tests/test-framework.sh
  81 init_test_env $@
  82 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  83
  84 cleanup() {
  85         echo -n "cln.."
  86         cleanupall ${FORCE} $* || { echo "FAILed to clean up"; exit 20; }
  87 }
  88 CLEANUP=${CLEANUP:-:}
  89
  90 setup() {
  91         echo -n "mnt.."
  92         load_modules
  93         setupall || exit 10
  94         echo "done"
  95 }
  96 SETUP=${SETUP:-:}
  97
  98 log() {
  99         echo "$*"
 100         $LCTL mark "$*" 2> /dev/null || true
 101 }
 102
 103 trace() {
 104         log "STARTING: $*"
 105         strace -o $TMP/$1.strace -ttt $*
 106         RC=$?
 107         log "FINISHED: $*: rc $RC"
 108         return 1
 109 }
 110 TRACE=${TRACE:-""}
 111
 112 check_kernel_version() {
 113         VERSION_FILE=$LPROC/version
 114         WANT_VER=$1
 115         [ ! -f $VERSION_FILE ] && echo "can't find kernel version" && return 1
 116         GOT_VER=$(awk '/kernel:/ {print $2}' $VERSION_FILE)
 117         [ $GOT_VER -ge $WANT_VER ] && return 0
 118         log "test needs at least kernel version $WANT_VER, running $GOT_VER"
 119         return 1
 120 }
 121
 122 _basetest() {
 123     echo $*
 124 }
 125
 126 basetest() {
 127     IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 128 }
 129
 130 run_one() {
 131         if ! grep -q $DIR /proc/mounts; then
 132                 $SETUP
 133         fi
 134         testnum=$1
 135         message=$2
 136         BEFORE=`date +%s`
 137         log "== test $testnum: $message= `date +%H:%M:%S` ($BEFORE)"
 138         export TESTNAME=test_$testnum
 139         export tfile=f${testnum}
 140         export tdir=d${base}
 141         test_${testnum} || error "exit with rc=$?"
 142         unset TESTNAME
 143         pass "($((`date +%s` - $BEFORE))s)"
 144         cd $SAVE_PWD
 145         $CLEANUP
 146 }
 147
 148 build_test_filter() {
 149         [ "$ALWAYS_EXCEPT$EXCEPT$SANITY_EXCEPT" ] && \
 150             echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT $SANITY_EXCEPT`"
 151
 152         for O in $ONLY; do
 153             eval ONLY_${O}=true
 154         done
 155         for E in $EXCEPT $ALWAYS_EXCEPT $SANITY_EXCEPT; do
 156             eval EXCEPT_${E}=true
 157         done
 158 }
 159
 160 _basetest() {
 161         echo $*
 162 }
 163
 164 basetest() {
 165         IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 166 }
 167
 168 run_test() {
 169          export base=`basetest $1`
 170          if [ "$ONLY" ]; then
 171                  testname=ONLY_$1
 172                  if [ ${!testname}x != x ]; then
 173                         run_one $1 "$2"
 174                         return $?
 175                  fi
 176                  testname=ONLY_$base
 177                  if [ ${!testname}x != x ]; then
 178                          run_one $1 "$2"
 179                          return $?
 180                  fi
 181                  echo -n "."
 182                  return 0
 183         fi
 184         testname=EXCEPT_$1
 185         if [ ${!testname}x != x ]; then
 186                  echo "skipping excluded test $1"
 187                  return 0
 188         fi
 189         testname=EXCEPT_$base
 190         if [ ${!testname}x != x ]; then
 191                  echo "skipping excluded test $1 (base $base)"
 192                  return 0
 193         fi
 194         run_one $1 "$2"
 195         return $?
 196 }
 197
 198 [ "$SANITYLOG" ] && rm -f $SANITYLOG || true
 199
 200 error() {
 201         sysctl -w lustre.fail_loc=0
 202         log "$0: FAIL: $TESTNAME $@"
 203         $LCTL dk $TMP/lustre-log-$TESTNAME.log
 204         if [ "$SANITYLOG" ]; then
 205                 echo "$0: FAIL: $TESTNAME $@" >> $SANITYLOG
 206         else
 207                 exit 1
 208         fi
 209         sysctl -w lustre.fail_loc=0
 210 }
 211
 212 pass() {
 213         echo PASS $@
 214 }
 215
 216 mounted_lustre_filesystems() {
 217         awk '($3 ~ "lustre" && $1 ~ ":") { print $2 }' /proc/mounts
 218 }
 219
 220 MOUNTED="`mounted_lustre_filesystems`"
 221 if [ -z "$MOUNTED" ]; then
 222         formatall
 223         setupall
 224         MOUNTED="`mounted_lustre_filesystems`"
 225         [ -z "$MOUNTED" ] && error "NAME=$NAME not mounted"
 226         I_MOUNTED=yes
 227 fi
 228
 229 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
 230
 231 DIR=${DIR:-$MOUNT}
 232 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
 233
 234 LOVNAME=`cat $LPROC/llite/*/lov/common_name | tail -n 1`
 235 OSTCOUNT=`cat $LPROC/lov/$LOVNAME/numobd`
 236 STRIPECOUNT=`cat $LPROC/lov/$LOVNAME/stripecount`
 237 STRIPESIZE=`cat $LPROC/lov/$LOVNAME/stripesize`
 238 ORIGFREE=`cat $LPROC/lov/$LOVNAME/kbytesavail`
 239 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
 240 MDS=$(\ls $LPROC/mds 2> /dev/null | grep -v num_refs | tail -n 1)
 241
 242 [ -f $DIR/d52a/foo ] && chattr -a $DIR/d52a/foo
 243 [ -f $DIR/d52b/foo ] && chattr -i $DIR/d52b/foo
 244 rm -rf $DIR/[Rdfs][1-9]*
 245
 246 build_test_filter
 247
 248 echo "preparing for tests involving mounts"
 249 EXT2_DEV=${EXT2_DEV:-$TMP/SANITY.LOOP}
 250 touch $EXT2_DEV
 251 mke2fs -j -F $EXT2_DEV 8000 > /dev/null
 252 echo # add a newline after mke2fs.
 253
 254 umask 077
 255
 256 test_0() {
 257         touch $DIR/$tfile
 258         $CHECKSTAT -t file $DIR/$tfile || error
 259         rm $DIR/$tfile
 260         $CHECKSTAT -a $DIR/$tfile || error
 261 }
 262 run_test 0 "touch .../$tfile ; rm .../$tfile ====================="
 263
 264 test_0b() {
 265         chmod 0755 $DIR || error
 266         $CHECKSTAT -p 0755 $DIR || error
 267 }
 268 run_test 0b "chmod 0755 $DIR ============================="
 269
 270 test_1a() {
 271         mkdir $DIR/d1
 272         mkdir $DIR/d1/d2
 273         $CHECKSTAT -t dir $DIR/d1/d2 || error
 274 }
 275 run_test 1a "mkdir .../d1; mkdir .../d1/d2 ====================="
 276
 277 test_1b() {
 278         rmdir $DIR/d1/d2
 279         rmdir $DIR/d1
 280         $CHECKSTAT -a $DIR/d1 || error
 281 }
 282 run_test 1b "rmdir .../d1/d2; rmdir .../d1 ====================="
 283
 284 test_2a() {
 285         mkdir $DIR/d2
 286         touch $DIR/d2/f
 287         $CHECKSTAT -t file $DIR/d2/f || error
 288 }
 289 run_test 2a "mkdir .../d2; touch .../d2/f ======================"
 290
 291 test_2b() {
 292         rm -r $DIR/d2
 293         $CHECKSTAT -a $DIR/d2 || error
 294 }
 295 run_test 2b "rm -r .../d2; checkstat .../d2/f ======================"
 296
 297 test_3a() {
 298         mkdir $DIR/d3
 299         $CHECKSTAT -t dir $DIR/d3 || error
 300 }
 301 run_test 3a "mkdir .../d3 ======================================"
 302
 303 test_3b() {
 304         if [ ! -d $DIR/d3 ]; then
 305                 mkdir $DIR/d3
 306         fi
 307         touch $DIR/d3/f
 308         $CHECKSTAT -t file $DIR/d3/f || error
 309 }
 310 run_test 3b "touch .../d3/f ===================================="
 311
 312 test_3c() {
 313         rm -r $DIR/d3
 314         $CHECKSTAT -a $DIR/d3 || error
 315 }
 316 run_test 3c "rm -r .../d3 ======================================"
 317
 318 test_4a() {
 319         mkdir $DIR/d4
 320         $CHECKSTAT -t dir $DIR/d4 || error
 321 }
 322 run_test 4a "mkdir .../d4 ======================================"
 323
 324 test_4b() {
 325         if [ ! -d $DIR/d4 ]; then
 326                 mkdir $DIR/d4
 327         fi
 328         mkdir $DIR/d4/d2
 329         $CHECKSTAT -t dir $DIR/d4/d2 || error
 330 }
 331 run_test 4b "mkdir .../d4/d2 ==================================="
 332
 333 test_5() {
 334         mkdir $DIR/d5
 335         mkdir $DIR/d5/d2
 336         chmod 0707 $DIR/d5/d2
 337         $CHECKSTAT -t dir -p 0707 $DIR/d5/d2 || error
 338 }
 339 run_test 5 "mkdir .../d5 .../d5/d2; chmod .../d5/d2 ============"
 340
 341 test_6a() {
 342         touch $DIR/f6a
 343         chmod 0666 $DIR/f6a || error
 344         $CHECKSTAT -t file -p 0666 -u \#$UID $DIR/f6a || error
 345 }
 346 run_test 6a "touch .../f6a; chmod .../f6a ======================"
 347
 348 test_6b() {
 349         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 350         if [ ! -f $DIR/f6a ]; then
 351                 touch $DIR/f6a
 352                 chmod 0666 $DIR/f6a
 353         fi
 354         $RUNAS chmod 0444 $DIR/f6a && error
 355         $CHECKSTAT -t file -p 0666 -u \#$UID $DIR/f6a || error
 356 }
 357 run_test 6b "$RUNAS chmod .../f6a (should return error) =="
 358
 359 test_6c() {
 360         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 361         touch $DIR/f6c
 362         chown $RUNAS_ID $DIR/f6c || error
 363         $CHECKSTAT -t file -u \#$RUNAS_ID $DIR/f6c || error
 364 }
 365 run_test 6c "touch .../f6c; chown .../f6c ======================"
 366
 367 test_6d() {
 368         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 369         if [ ! -f $DIR/f6c ]; then
 370                 touch $DIR/f6c
 371                 chown $RUNAS_ID $DIR/f6c
 372         fi
 373         $RUNAS chown $UID $DIR/f6c && error
 374         $CHECKSTAT -t file -u \#$RUNAS_ID $DIR/f6c || error
 375 }
 376 run_test 6d "$RUNAS chown .../f6c (should return error) =="
 377
 378 test_6e() {
 379         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 380         touch $DIR/f6e
 381         chgrp $RUNAS_ID $DIR/f6e || error
 382         $CHECKSTAT -t file -u \#$UID -g \#$RUNAS_ID $DIR/f6e || error
 383 }
 384 run_test 6e "touch .../f6e; chgrp .../f6e ======================"
 385
 386 test_6f() {
 387         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 388         if [ ! -f $DIR/f6e ]; then
 389                 touch $DIR/f6e
 390                 chgrp $RUNAS_ID $DIR/f6e
 391         fi
 392         $RUNAS chgrp $UID $DIR/f6e && error
 393         $CHECKSTAT -t file -u \#$UID -g \#$RUNAS_ID $DIR/f6e || error
 394 }
 395 run_test 6f "$RUNAS chgrp .../f6e (should return error) =="
 396
 397 test_6g() {
 398         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 399         mkdir $DIR/d6g || error
 400         chmod 777 $DIR/d6g || error
 401         $RUNAS mkdir $DIR/d6g/d || error
 402         chmod g+s $DIR/d6g/d || error
 403         mkdir $DIR/d6g/d/subdir
 404         $CHECKSTAT -g \#$RUNAS_ID $DIR/d6g/d/subdir || error
 405 }
 406 run_test 6g "Is new dir in sgid dir inheriting group?"
 407
 408 test_6h() { # bug 7331
 409         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 410         touch $DIR/f6h || error "touch failed"
 411         chown $RUNAS_ID:$RUNAS_ID $DIR/f6h || error "initial chown failed"
 412         $RUNAS -G$RUNAS_ID chown $RUNAS_ID:0 $DIR/f6h && error "chown worked"
 413         $CHECKSTAT -t file -u \#$RUNAS_ID -g \#$RUNAS_ID $DIR/f6h || error
 414 }
 415 run_test 6h "$RUNAS chown RUNAS_ID.0 .../f6h (should return error)"
 416
 417 test_7a() {
 418         mkdir $DIR/d7
 419         $MCREATE $DIR/d7/f
 420         chmod 0666 $DIR/d7/f
 421         $CHECKSTAT -t file -p 0666 $DIR/d7/f || error
 422 }
 423 run_test 7a "mkdir .../d7; mcreate .../d7/f; chmod .../d7/f ===="
 424
 425 test_7b() {
 426         if [ ! -d $DIR/d7 ]; then
 427                 mkdir $DIR/d7
 428         fi
 429         $MCREATE $DIR/d7/f2
 430         echo -n foo > $DIR/d7/f2
 431         [ "`cat $DIR/d7/f2`" = "foo" ] || error
 432         $CHECKSTAT -t file -s 3 $DIR/d7/f2 || error
 433 }
 434 run_test 7b "mkdir .../d7; mcreate d7/f2; echo foo > d7/f2 ====="
 435
 436 test_8() {
 437         mkdir $DIR/d8
 438         touch $DIR/d8/f
 439         chmod 0666 $DIR/d8/f
 440         $CHECKSTAT -t file -p 0666 $DIR/d8/f || error
 441 }
 442 run_test 8 "mkdir .../d8; touch .../d8/f; chmod .../d8/f ======="
 443
 444 test_9() {
 445         mkdir $DIR/d9
 446         mkdir $DIR/d9/d2
 447         mkdir $DIR/d9/d2/d3
 448         $CHECKSTAT -t dir $DIR/d9/d2/d3 || error
 449 }
 450 run_test 9 "mkdir .../d9 .../d9/d2 .../d9/d2/d3 ================"
 451
 452 test_10() {
 453         mkdir $DIR/d10
 454         mkdir $DIR/d10/d2
 455         touch $DIR/d10/d2/f
 456         $CHECKSTAT -t file $DIR/d10/d2/f || error
 457 }
 458 run_test 10 "mkdir .../d10 .../d10/d2; touch .../d10/d2/f ======"
 459
 460 test_11() {
 461         mkdir $DIR/d11
 462         mkdir $DIR/d11/d2
 463         chmod 0666 $DIR/d11/d2
 464         chmod 0705 $DIR/d11/d2
 465         $CHECKSTAT -t dir -p 0705 $DIR/d11/d2 || error
 466 }
 467 run_test 11 "mkdir .../d11 d11/d2; chmod .../d11/d2 ============"
 468
 469 test_12() {
 470         mkdir $DIR/d12
 471         touch $DIR/d12/f
 472         chmod 0666 $DIR/d12/f
 473         chmod 0654 $DIR/d12/f
 474         $CHECKSTAT -t file -p 0654 $DIR/d12/f || error
 475 }
 476 run_test 12 "touch .../d12/f; chmod .../d12/f .../d12/f ========"
 477
 478 test_13() {
 479         mkdir $DIR/d13
 480         dd if=/dev/zero of=$DIR/d13/f count=10
 481         >  $DIR/d13/f
 482         $CHECKSTAT -t file -s 0 $DIR/d13/f || error
 483 }
 484 run_test 13 "creat .../d13/f; dd .../d13/f; > .../d13/f ========"
 485
 486 test_14() {
 487         mkdir $DIR/d14
 488         touch $DIR/d14/f
 489         rm $DIR/d14/f
 490         $CHECKSTAT -a $DIR/d14/f || error
 491 }
 492 run_test 14 "touch .../d14/f; rm .../d14/f; rm .../d14/f ======="
 493
 494 test_15() {
 495         mkdir $DIR/d15
 496         touch $DIR/d15/f
 497         mv $DIR/d15/f $DIR/d15/f2
 498         $CHECKSTAT -t file $DIR/d15/f2 || error
 499 }
 500 run_test 15 "touch .../d15/f; mv .../d15/f .../d15/f2 =========="
 501
 502 test_16() {
 503         mkdir $DIR/d16
 504         touch $DIR/d16/f
 505         rm -rf $DIR/d16/f
 506         $CHECKSTAT -a $DIR/d16/f || error
 507 }
 508 run_test 16 "touch .../d16/f; rm -rf .../d16/f ================="
 509
 510 test_17a() {
 511         mkdir -p $DIR/d17
 512         touch $DIR/d17/f
 513         ln -s $DIR/d17/f $DIR/d17/l-exist
 514         ls -l $DIR/d17
 515         $CHECKSTAT -l $DIR/d17/f $DIR/d17/l-exist || error
 516         $CHECKSTAT -f -t f $DIR/d17/l-exist || error
 517         rm -f $DIR/d17/l-exist
 518         $CHECKSTAT -a $DIR/d17/l-exist || error
 519 }
 520 run_test 17a "symlinks: create, remove (real) =================="
 521
 522 test_17b() {
 523         mkdir -p $DIR/d17
 524         ln -s no-such-file $DIR/d17/l-dangle
 525         ls -l $DIR/d17
 526         $CHECKSTAT -l no-such-file $DIR/d17/l-dangle || error
 527         $CHECKSTAT -fa $DIR/d17/l-dangle || error
 528         rm -f $DIR/d17/l-dangle
 529         $CHECKSTAT -a $DIR/d17/l-dangle || error
 530 }
 531 run_test 17b "symlinks: create, remove (dangling) =============="
 532
 533 test_17c() { # bug 3440 - don't save failed open RPC for replay
 534         mkdir -p $DIR/d17
 535         ln -s foo $DIR/d17/f17c
 536         cat $DIR/d17/f17c && error "opened non-existent symlink" || true
 537 }
 538 run_test 17c "symlinks: open dangling (should return error) ===="
 539
 540 test_17d() {
 541         mkdir -p $DIR/d17
 542         ln -s foo $DIR/d17/f17d
 543         touch $DIR/d17/f17d || error "creating to new symlink"
 544 }
 545 run_test 17d "symlinks: create dangling ========================"
 546
 547 test_18() {
 548         touch $DIR/f
 549         ls $DIR || error
 550 }
 551 run_test 18 "touch .../f ; ls ... =============================="
 552
 553 test_19a() {
 554         touch $DIR/f19
 555         ls -l $DIR
 556         rm $DIR/f19
 557         $CHECKSTAT -a $DIR/f19 || error
 558 }
 559 run_test 19a "touch .../f19 ; ls -l ... ; rm .../f19 ==========="
 560
 561 test_19b() {
 562         ls -l $DIR/f19 && error || true
 563 }
 564 run_test 19b "ls -l .../f19 (should return error) =============="
 565
 566 test_19c() {
 567         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
 568         $RUNAS touch $DIR/f19 && error || true
 569 }
 570 run_test 19c "$RUNAS touch .../f19 (should return error) =="
 571
 572 test_19d() {
 573         cat $DIR/f19 && error || true
 574 }
 575 run_test 19d "cat .../f19 (should return error) =============="
 576
 577 test_20() {
 578         touch $DIR/f
 579         rm $DIR/f
 580         log "1 done"
 581         touch $DIR/f
 582         rm $DIR/f
 583         log "2 done"
 584         touch $DIR/f
 585         rm $DIR/f
 586         log "3 done"
 587         $CHECKSTAT -a $DIR/f || error
 588 }
 589 run_test 20 "touch .../f ; ls -l ... ==========================="
 590
 591 test_21() {
 592         mkdir $DIR/d21
 593         [ -f $DIR/d21/dangle ] && rm -f $DIR/d21/dangle
 594         ln -s dangle $DIR/d21/link
 595         echo foo >> $DIR/d21/link
 596         cat $DIR/d21/dangle
 597         $CHECKSTAT -t link $DIR/d21/link || error
 598         $CHECKSTAT -f -t file $DIR/d21/link || error
 599 }
 600 run_test 21 "write to dangling link ============================"
 601
 602 test_22() {
 603         mkdir $DIR/d22
 604         chown $RUNAS_ID $DIR/d22
 605         # Tar gets pissy if it can't access $PWD *sigh*
 606         (cd $TMP || error "cd $TMP failed";
 607         $RUNAS tar cf - /etc/hosts /etc/sysconfig/network | \
 608         $RUNAS tar xfC - $DIR/d22)
 609         ls -lR $DIR/d22/etc || error "ls -lR $DIR/d22/etc failed"
 610         $CHECKSTAT -t dir $DIR/d22/etc || error "checkstat -t dir failed"
 611         $CHECKSTAT -u \#$RUNAS_ID $DIR/d22/etc || error "checkstat -u failed"
 612 }
 613 run_test 22 "unpack tar archive as non-root user ==============="
 614
 615 test_23() {
 616         mkdir $DIR/d23
 617         $TOEXCL $DIR/d23/f23
 618         $TOEXCL -e $DIR/d23/f23 || error
 619 }
 620 run_test 23 "O_CREAT|O_EXCL in subdir =========================="
 621
 622 test_24a() {
 623         echo '== rename sanity =============================================='
 624         echo '-- same directory rename'
 625         mkdir $DIR/R1
 626         touch $DIR/R1/f
 627         mv $DIR/R1/f $DIR/R1/g
 628         $CHECKSTAT -t file $DIR/R1/g || error
 629 }
 630 run_test 24a "touch .../R1/f; rename .../R1/f .../R1/g ========="
 631
 632 test_24b() {
 633         mkdir $DIR/R2
 634         touch $DIR/R2/{f,g}
 635         mv $DIR/R2/f $DIR/R2/g
 636         $CHECKSTAT -a $DIR/R2/f || error
 637         $CHECKSTAT -t file $DIR/R2/g || error
 638 }
 639 run_test 24b "touch .../R2/{f,g}; rename .../R2/f .../R2/g ====="
 640
 641 test_24c() {
 642         mkdir $DIR/R3
 643         mkdir $DIR/R3/f
 644         mv $DIR/R3/f $DIR/R3/g
 645         $CHECKSTAT -a $DIR/R3/f || error
 646         $CHECKSTAT -t dir $DIR/R3/g || error
 647 }
 648 run_test 24c "mkdir .../R3/f; rename .../R3/f .../R3/g ========="
 649
 650 test_24d() {
 651         mkdir $DIR/R4
 652         mkdir $DIR/R4/{f,g}
 653         mrename $DIR/R4/f $DIR/R4/g
 654         $CHECKSTAT -a $DIR/R4/f || error
 655         $CHECKSTAT -t dir $DIR/R4/g || error
 656 }
 657 run_test 24d "mkdir .../R4/{f,g}; rename .../R4/f .../R4/g ====="
 658
 659 test_24e() {
 660         echo '-- cross directory renames --'
 661         mkdir $DIR/R5{a,b}
 662         touch $DIR/R5a/f
 663         mv $DIR/R5a/f $DIR/R5b/g
 664         $CHECKSTAT -a $DIR/R5a/f || error
 665         $CHECKSTAT -t file $DIR/R5b/g || error
 666 }
 667 run_test 24e "touch .../R5a/f; rename .../R5a/f .../R5b/g ======"
 668
 669 test_24f() {
 670         mkdir $DIR/R6{a,b}
 671         touch $DIR/R6a/f $DIR/R6b/g
 672         mv $DIR/R6a/f $DIR/R6b/g
 673         $CHECKSTAT -a $DIR/R6a/f || error
 674         $CHECKSTAT -t file $DIR/R6b/g || error
 675 }
 676 run_test 24f "touch .../R6a/f R6b/g; mv .../R6a/f .../R6b/g ===="
 677
 678 test_24g() {
 679         mkdir $DIR/R7{a,b}
 680         mkdir $DIR/R7a/d
 681         mv $DIR/R7a/d $DIR/R7b/e
 682         $CHECKSTAT -a $DIR/R7a/d || error
 683         $CHECKSTAT -t dir $DIR/R7b/e || error
 684 }
 685 run_test 24g "mkdir .../R7{a,b}/d; mv .../R7a/d .../R5b/e ======"
 686
 687 test_24h() {
 688         mkdir $DIR/R8{a,b}
 689         mkdir $DIR/R8a/d $DIR/R8b/e
 690         mrename $DIR/R8a/d $DIR/R8b/e
 691         $CHECKSTAT -a $DIR/R8a/d || error
 692         $CHECKSTAT -t dir $DIR/R8b/e || error
 693 }
 694 run_test 24h "mkdir .../R8{a,b}/{d,e}; rename .../R8a/d .../R8b/e"
 695
 696 test_24i() {
 697         echo "-- rename error cases"
 698         mkdir $DIR/R9
 699         mkdir $DIR/R9/a
 700         touch $DIR/R9/f
 701         mrename $DIR/R9/f $DIR/R9/a
 702         $CHECKSTAT -t file $DIR/R9/f || error
 703         $CHECKSTAT -t dir  $DIR/R9/a || error
 704         $CHECKSTAT -a file $DIR/R9/a/f || error
 705 }
 706 run_test 24i "rename file to dir error: touch f ; mkdir a ; rename f a"
 707
 708 test_24j() {
 709         mkdir $DIR/R10
 710         mrename $DIR/R10/f $DIR/R10/g
 711         $CHECKSTAT -t dir $DIR/R10 || error
 712         $CHECKSTAT -a $DIR/R10/f || error
 713         $CHECKSTAT -a $DIR/R10/g || error
 714 }
 715 run_test 24j "source does not exist ============================"
 716
 717 test_24k() {
 718         mkdir $DIR/R11a $DIR/R11a/d
 719         touch $DIR/R11a/f
 720         mv $DIR/R11a/f $DIR/R11a/d
 721         $CHECKSTAT -a $DIR/R11a/f || error
 722         $CHECKSTAT -t file $DIR/R11a/d/f || error
 723 }
 724 run_test 24k "touch .../R11a/f; mv .../R11a/f .../R11a/d ======="
 725
 726 # bug 2429 - rename foo foo foo creates invalid file
 727 test_24l() {
 728         f="$DIR/f24l"
 729         multiop $f OcNs || error
 730 }
 731 run_test 24l "Renaming a file to itself ========================"
 732
 733 test_24m() {
 734         f="$DIR/f24m"
 735         multiop $f OcLN ${f}2 ${f}2 || error "link ${f}2 ${f}2 failed"
 736         # on ext3 this does not remove either the source or target files
 737         # though the "expected" operation would be to remove the source
 738         $CHECKSTAT -t file ${f} || error "${f} missing"
 739         $CHECKSTAT -t file ${f}2 || error "${f}2 missing"
 740 }
 741 run_test 24m "Renaming a file to a hard link to itself ========="
 742
 743 test_24n() {
 744     f="$DIR/f24n"
 745     # this stats the old file after it was renamed, so it should fail
 746     touch ${f}
 747     $CHECKSTAT ${f}
 748     mv ${f} ${f}.rename
 749     $CHECKSTAT ${f}.rename
 750     $CHECKSTAT -a ${f}
 751 }
 752 run_test 24n "Statting the old file after renaming (Posix rename 2)"
 753
 754 test_24o() {
 755         check_kernel_version 37 || return 0
 756         mkdir -p $DIR/d24o
 757         rename_many -s random -v -n 10 $DIR/d24o
 758 }
 759 run_test 24o "rename of files during htree split ==============="
 760
 761 test_24p() {
 762         mkdir $DIR/R12{a,b}
 763         DIRINO=`ls -lid $DIR/R12a | awk '{ print $1 }'`
 764         mrename $DIR/R12a $DIR/R12b
 765         $CHECKSTAT -a $DIR/R12a || error
 766         $CHECKSTAT -t dir $DIR/R12b || error
 767         DIRINO2=`ls -lid $DIR/R12b | awk '{ print $1 }'`
 768         [ "$DIRINO" = "$DIRINO2" ] || error "R12a $DIRINO != R12b $DIRINO2"
 769 }
 770 run_test 24p "mkdir .../R12{a,b}; rename .../R12a .../R12b"
 771
 772 test_24q() {
 773         mkdir $DIR/R13{a,b}
 774         DIRINO=`ls -lid $DIR/R13a | awk '{ print $1 }'`
 775         multiop $DIR/R13b D_c &
 776         MULTIPID=$!
 777         usleep 500
 778
 779         mrename $DIR/R13a $DIR/R13b
 780         $CHECKSTAT -a $DIR/R13a || error
 781         $CHECKSTAT -t dir $DIR/R13b || error
 782         DIRINO2=`ls -lid $DIR/R13b | awk '{ print $1 }'`
 783         [ "$DIRINO" = "$DIRINO2" ] || error "R13a $DIRINO != R13b $DIRINO2"
 784         kill -USR1 $MULTIPID
 785         wait $MULTIPID || error "multiop close failed"
 786 }
 787 run_test 24q "mkdir .../R13{a,b}; open R13b rename R13a R13b ==="
 788
 789 test_24r() { #bug 3789
 790         mkdir $DIR/R14a $DIR/R14a/b
 791         mrename $DIR/R14a $DIR/R14a/b && error "rename to subdir worked!"
 792         $CHECKSTAT -t dir $DIR/R14a || error "$DIR/R14a missing"
 793         $CHECKSTAT -t dir $DIR/R14a/b || error "$DIR/R14a/b missing"
 794 }
 795 run_test 24r "mkdir .../R14a/b; rename .../R14a .../R14a/b ====="
 796
 797 test_24s() {
 798         mkdir $DIR/R15a $DIR/R15a/b $DIR/R15a/b/c
 799         mrename $DIR/R15a $DIR/R15a/b/c && error "rename to sub-subdir worked!"
 800         $CHECKSTAT -t dir $DIR/R15a || error "$DIR/R15a missing"
 801         $CHECKSTAT -t dir $DIR/R15a/b/c || error "$DIR/R15a/b/c missing"
 802 }
 803 run_test 24s "mkdir .../R15a/b/c; rename .../R15a .../R15a/b/c ="
 804 test_24t() {
 805         mkdir $DIR/R16a $DIR/R16a/b $DIR/R16a/b/c
 806         mrename $DIR/R16a/b/c $DIR/R16a && error "rename to sub-subdir worked!"
 807         $CHECKSTAT -t dir $DIR/R16a || error "$DIR/R16a missing"
 808         $CHECKSTAT -t dir $DIR/R16a/b/c || error "$DIR/R16a/b/c missing"
 809 }
 810 run_test 24t "mkdir .../R16a/b/c; rename .../R16a/b/c .../R16a ="
 811
 812 test_25a() {
 813         echo '== symlink sanity ============================================='
 814
 815         mkdir $DIR/d25
 816         ln -s d25 $DIR/s25
 817         touch $DIR/s25/foo || error
 818 }
 819 run_test 25a "create file in symlinked directory ==============="
 820
 821 test_25b() {
 822         [ ! -d $DIR/d25 ] && test_25a
 823         $CHECKSTAT -t file $DIR/s25/foo || error
 824 }
 825 run_test 25b "lookup file in symlinked directory ==============="
 826
 827 test_26a() {
 828         mkdir $DIR/d26
 829         mkdir $DIR/d26/d26-2
 830         ln -s d26/d26-2 $DIR/s26
 831         touch $DIR/s26/foo || error
 832 }
 833 run_test 26a "multiple component symlink ======================="
 834
 835 test_26b() {
 836         mkdir -p $DIR/d26b/d26-2
 837         ln -s d26b/d26-2/foo $DIR/s26-2
 838         touch $DIR/s26-2 || error
 839 }
 840 run_test 26b "multiple component symlink at end of lookup ======"
 841
 842 test_26c() {
 843         mkdir $DIR/d26.2
 844         touch $DIR/d26.2/foo
 845         ln -s d26.2 $DIR/s26.2-1
 846         ln -s s26.2-1 $DIR/s26.2-2
 847         ln -s s26.2-2 $DIR/s26.2-3
 848         chmod 0666 $DIR/s26.2-3/foo
 849 }
 850 run_test 26c "chain of symlinks ================================"
 851
 852 # recursive symlinks (bug 439)
 853 test_26d() {
 854         ln -s d26-3/foo $DIR/d26-3
 855 }
 856 run_test 26d "create multiple component recursive symlink ======"
 857
 858 test_26e() {
 859         [ ! -h $DIR/d26-3 ] && test_26d
 860         rm $DIR/d26-3
 861 }
 862 run_test 26e "unlink multiple component recursive symlink ======"
 863
 864 # recursive symlinks (bug 7022)
 865 test_26f() {
 866         mkdir $DIR/$tfile        || error "mkdir $DIR/$tfile failed"
 867         cd $DIR/$tfile           || error "cd $DIR/$tfile failed"
 868         mkdir -p $tdir/bar1      || error "mkdir $tdir/bar1 failed"
 869         mkdir $tfile             || error "mkdir $tfile failed"
 870         cd $tfile                || error "cd $tfile failed"
 871         ln -s .. dotdot          || error "ln dotdot failed"
 872         ln -s dotdot/$tdir $tdir || error "ln $tdir failed"
 873         cd ../..                 || error "cd ../.. failed"
 874         output=`ls $tfile/$tfile/$tdir/bar1`
 875         [ "$output" = bar1 ] && error "unexpected output"
 876         rm -r $tfile             || error "rm $tfile failed"
 877         $CHECKSTAT -a $DIR/$tfile || error "$tfile not gone"
 878 }
 879 run_test 26f "rm -r of a directory which has recursive symlink ="
 880
 881 test_27a() {
 882         echo '== stripe sanity =============================================='
 883         mkdir -p $DIR/d27 || error "mkdir failed"
 884         $SETSTRIPE $DIR/d27/f0 65536 0 1 || error "lstripe failed"
 885         $CHECKSTAT -t file $DIR/d27/f0 || error "checkstat failed"
 886         pass
 887         log "== test_27b: write to one stripe file ========================="
 888         cp /etc/hosts $DIR/d27/f0 || error
 889 }
 890 run_test 27a "one stripe file =================================="
 891
 892 test_27c() {
 893         [ "$OSTCOUNT" -lt "2" ] && echo "skipping 2-stripe test" && return
 894         mkdir -p $DIR/d27
 895         $SETSTRIPE $DIR/d27/f01 65536 0 2 || error "lstripe failed"
 896         [ `$GETSTRIPE $DIR/d27/f01 | grep -A 10 obdidx | wc -l` -eq 4 ] ||
 897                 error "two-stripe file doesn't have two stripes"
 898         pass
 899         log "== test_27d: write to two stripe file file f01 ================"
 900         dd if=/dev/zero of=$DIR/d27/f01 bs=4k count=4 || error "dd failed"
 901 }
 902 run_test 27c "create two stripe file f01 ======================="
 903
 904 test_27d() {
 905         mkdir -p $DIR/d27
 906         $SETSTRIPE $DIR/d27/fdef 0 -1 0 || error "lstripe failed"
 907         $CHECKSTAT -t file $DIR/d27/fdef || error "checkstat failed"
 908         dd if=/dev/zero of=$DIR/d27/fdef bs=4k count=4 || error
 909 }
 910 run_test 27d "create file with default settings ================"
 911
 912 test_27e() {
 913         mkdir -p $DIR/d27
 914         $SETSTRIPE $DIR/d27/f12 65536 0 2 || error "lstripe failed"
 915         $SETSTRIPE $DIR/d27/f12 65536 0 2 && error "lstripe succeeded twice"
 916         $CHECKSTAT -t file $DIR/d27/f12 || error "checkstat failed"
 917 }
 918 run_test 27e "lstripe existing file (should return error) ======"
 919
 920 test_27f() {
 921         mkdir -p $DIR/d27
 922         $SETSTRIPE $DIR/d27/fbad 100 0 1 && error "lstripe failed"
 923         dd if=/dev/zero of=$DIR/d27/f12 bs=4k count=4 || error "dd failed"
 924         $GETSTRIPE $DIR/d27/fbad || error "lfs getstripe failed"
 925 }
 926 run_test 27f "lstripe with bad stripe size (should return error)"
 927
 928 test_27g() {
 929         mkdir -p $DIR/d27
 930         $MCREATE $DIR/d27/fnone || error "mcreate failed"
 931         pass
 932         log "== test 27h: lfs getstripe with no objects ===================="
 933         $GETSTRIPE $DIR/d27/fnone 2>&1 | grep "no stripe info" || error "has object"
 934         pass
 935         log "== test 27i: lfs getstripe with some objects =================="
 936         touch $DIR/d27/fsome || error "touch failed"
 937         $GETSTRIPE $DIR/d27/fsome | grep obdidx || error "missing objects"
 938 }
 939 run_test 27g "test lfs getstripe ==========================================="
 940
 941 test_27j() {
 942         mkdir -p $DIR/d27
 943         $SETSTRIPE $DIR/d27/f27j 65536 $OSTCOUNT 1 && error "lstripe failed"||true
 944 }
 945 run_test 27j "lstripe with bad stripe offset (should return error)"
 946
 947 test_27k() { # bug 2844
 948         mkdir -p $DIR/d27
 949         FILE=$DIR/d27/f27k
 950         LL_MAX_BLKSIZE=$((4 * 1024 * 1024))
 951         [ ! -d $DIR/d27 ] && mkdir -p $DIR/d27
 952         $SETSTRIPE $FILE 67108864 -1 0 || error "lstripe failed"
 953         BLKSIZE=`stat $FILE | awk '/IO Block:/ { print $7 }'`
 954         [ $BLKSIZE -le $LL_MAX_BLKSIZE ] || error "$BLKSIZE > $LL_MAX_BLKSIZE"
 955         dd if=/dev/zero of=$FILE bs=4k count=1
 956         BLKSIZE=`stat $FILE | awk '/IO Block:/ { print $7 }'`
 957         [ $BLKSIZE -le $LL_MAX_BLKSIZE ] || error "$BLKSIZE > $LL_MAX_BLKSIZE"
 958 }
 959 run_test 27k "limit i_blksize for broken user apps ============="
 960
 961 test_27l() {
 962         mkdir -p $DIR/d27
 963         mcreate $DIR/f27l || error "creating file"
 964         $RUNAS $SETSTRIPE $DIR/f27l 65536 -1 1 && \
 965                 error "lstripe should have failed" || true
 966 }
 967 run_test 27l "check setstripe permissions (should return error)"
 968
 969 test_27m() {
 970         [ "$OSTCOUNT" -lt "2" ] && echo "skipping out-of-space test on OST0" && return
 971         if [ $ORIGFREE -gt $MAXFREE ]; then
 972                 echo "skipping out-of-space test on OST0"
 973                 return
 974         fi
 975         mkdir -p $DIR/d27
 976         $SETSTRIPE $DIR/d27/f27m_1 0 0 1
 977         dd if=/dev/zero of=$DIR/d27/f27m_1 bs=1024 count=$MAXFREE && \
 978                 error "dd should fill OST0"
 979         i=2
 980         while $SETSTRIPE $DIR/d27/f27m_$i 0 0 1 ; do
 981                 i=`expr $i + 1`
 982                 [ $i -gt 256 ] && break
 983         done
 984         i=`expr $i + 1`
 985         touch $DIR/d27/f27m_$i
 986         [ `$GETSTRIPE $DIR/d27/f27m_$i | grep -A 10 obdidx | awk '{print $1}'| grep -w "0"` ] && \
 987                 error "OST0 was full but new created file still use it"
 988         i=`expr $i + 1`
 989         touch $DIR/d27/f27m_$i
 990         [ `$GETSTRIPE $DIR/d27/f27m_$i | grep -A 10 obdidx | awk '{print $1}'| grep -w "0"` ] && \
 991                 error "OST0 was full but new created file still use it"
 992         rm -r $DIR/d27
 993 }
 994 run_test 27m "create file while OST0 was full =================="
 995
 996 # osc's keep a NOSPC stick flag that gets unset with rmdir
 997 reset_enospc() {
 998         [ "$1" ] && FAIL_LOC=$1 || FAIL_LOC=0
 999         mkdir -p $DIR/d27/nospc
1000         rmdir $DIR/d27/nospc
1001         sysctl -w lustre.fail_loc=$FAIL_LOC
1002 }
1003
1004 exhaust_precreations() {
1005         OSTIDX=$1
1006         OST=$(grep ${OSTIDX}": " $LPROC/lov/${LOVNAME}/target_obd | \
1007             awk '{print $2}' | sed -e 's/_UUID$//')
1008         # on the mdt's osc
1009         last_id=$(cat $LPROC/osc/${OST}-osc/prealloc_last_id)
1010         next_id=$(cat $LPROC/osc/${OST}-osc/prealloc_next_id)
1011
1012         mkdir -p $DIR/d27/${OST}
1013         $SETSTRIPE $DIR/d27/${OST} 0 $OSTIDX 1
1014 #define OBD_FAIL_OST_ENOSPC              0x215
1015         sysctl -w lustre.fail_loc=0x215
1016         echo "Creating to objid $last_id on ost $OST..."
1017         createmany -o $DIR/d27/${OST}/f $next_id $((last_id - next_id + 2))
1018         grep '[0-9]' $LPROC/osc/${OST}-osc/prealloc*
1019         reset_enospc $2
1020 }
1021
1022 exhaust_all_precreations() {
1023         local i
1024         for (( i=0; i < OSTCOUNT; i++ )) ; do
1025                 exhaust_precreations $i 0x215
1026         done
1027         reset_enospc $1
1028 }
1029
1030 test_27n() {
1031         [ "$OSTCOUNT" -lt "2" -o -z "$MDS" ] && \
1032                 echo "skip $TESTNAME for remote MDS or OST count" && return
1033
1034         reset_enospc
1035         rm -f $DIR/d27/f27n
1036         exhaust_precreations 0 0x80000215
1037
1038         touch $DIR/d27/f27n || error
1039
1040         reset_enospc
1041 }
1042 run_test 27n "create file with some full OSTs =================="
1043
1044 test_27o() {
1045         [ "$OSTCOUNT" -lt "2" -o -z "$MDS" ] && echo "skipping $TESTNAME" && return
1046
1047         reset_enospc
1048         rm -f $DIR/d27/f27o
1049         exhaust_all_precreations 0x215
1050         sleep 5
1051
1052         touch $DIR/d27/f27o && error "able to create $DIR/d27/f27o"
1053
1054         reset_enospc
1055 }
1056 run_test 27o "create file with all full OSTs (should error) ===="
1057
1058 test_27p() {
1059         [ "$OSTCOUNT" -lt "2" -o -z "$MDS" ] && echo "skipping $TESTNAME" && return
1060
1061         reset_enospc
1062         rm -f $DIR/d27/f27p
1063
1064         $MCREATE $DIR/d27/f27p || error
1065         $TRUNCATE $DIR/d27/f27p 80000000 || error
1066         $CHECKSTAT -s 80000000 $DIR/d27/f27p || error
1067
1068         exhaust_precreations 0 0x80000215
1069         echo foo >> $DIR/d27/f27p || error
1070         $CHECKSTAT -s 80000004 $DIR/d27/f27p || error
1071
1072         reset_enospc
1073 }
1074 run_test 27p "append to a truncated file with some full OSTs ==="
1075
1076 test_27q() {
1077         [ "$OSTCOUNT" -lt "2" -o -z "$MDS" ] && echo "skipping $TESTNAME" && return
1078
1079         reset_enospc
1080         rm -f $DIR/d27/f27q
1081
1082         $MCREATE $DIR/d27/f27q || error "mcreate $DIR/d27/f27q failed"
1083         $TRUNCATE $DIR/d27/f27q 80000000 ||error "truncate $DIR/d27/f27q failed"
1084         $CHECKSTAT -s 80000000 $DIR/d27/f27q || error "checkstat failed"
1085
1086         exhaust_all_precreations 0x215
1087
1088         echo foo >> $DIR/d27/f27q && error "append succeeded"
1089         $CHECKSTAT -s 80000000 $DIR/d27/f27q || error "checkstat 2 failed"
1090
1091         reset_enospc
1092 }
1093 run_test 27q "append to truncated file with all OSTs full (should error) ==="
1094
1095 test_27r() {
1096         [ "$OSTCOUNT" -lt "2" -o -z "$MDS" ] && echo "skipping $TESTNAME" && return
1097
1098         reset_enospc
1099         rm -f $DIR/d27/f27r
1100         exhaust_precreations 0 0x80000215
1101
1102         $SETSTRIPE $DIR/d27/f27r 0 0 2 # && error
1103
1104         reset_enospc
1105 }
1106 run_test 27r "stripe file with some full OSTs (shouldn't LBUG) ="
1107
1108 test_27s() { # bug 10725
1109         mkdir -p $DIR/$tdir
1110         $LSTRIPE $DIR/$tdir $((2048 * 1024 * 1024)) -1 2 && \
1111                 error "stripe width >= 2^32 succeeded" || true
1112 }
1113 run_test 27s "lsm_xfersize overflow (should error) (bug 10725)"
1114
1115 test_27t() { # bug 10864
1116         WDIR=`pwd`
1117         WLFS=`which lfs`
1118         cd $DIR
1119         touch $tfile
1120         $WLFS getstripe $tfile
1121         cd $WDIR
1122 }
1123 run_test 27t "check that utils parse path correctly"
1124
1125 test_28() {
1126         mkdir $DIR/d28
1127         $CREATETEST $DIR/d28/ct || error
1128 }
1129 run_test 28 "create/mknod/mkdir with bad file types ============"
1130
1131 test_29() {
1132         cancel_lru_locks mdc
1133         mkdir $DIR/d29
1134         touch $DIR/d29/foo
1135         log 'first d29'
1136         ls -l $DIR/d29
1137         MDCDIR=${MDCDIR:-`find $LPROC/ldlm/namespaces | grep mdc | head -1`}
1138         LOCKCOUNTORIG=`cat $MDCDIR/lock_count`
1139         LOCKUNUSEDCOUNTORIG=`cat $MDCDIR/lock_unused_count`
1140         [ -z $"LOCKCOUNTORIG" ] && echo "No mdc lock count" && return 1
1141         log 'second d29'
1142         ls -l $DIR/d29
1143         log 'done'
1144         LOCKCOUNTCURRENT=`cat $MDCDIR/lock_count`
1145         LOCKUNUSEDCOUNTCURRENT=`cat $MDCDIR/lock_unused_count`
1146         if [ "$LOCKCOUNTCURRENT" -gt "$LOCKCOUNTORIG" ]; then
1147                 echo > $LPROC/ldlm/dump_namespaces
1148                 error "CURRENT: $LOCKCOUNTCURRENT > $LOCKCOUNTORIG"
1149                 $LCTL dk | sort -k4 -t: > $TMP/test_29.dk
1150                 log "dumped log to $TMP/test_29.dk (bug 5793)"
1151                 return 2
1152         fi
1153         if [ "$LOCKUNUSEDCOUNTCURRENT" -gt "$LOCKUNUSEDCOUNTORIG" ]; then
1154                 error "UNUSED: $LOCKUNUSEDCOUNTCURRENT > $LOCKUNUSEDCOUNTORIG"
1155                 $LCTL dk | sort -k4 -t: > $TMP/test_29.dk
1156                 log "dumped log to $TMP/test_29.dk (bug 5793)"
1157                 return 3
1158         fi
1159 }
1160 run_test 29 "IT_GETATTR regression  ============================"
1161
1162 test_30() {
1163         cp `which ls` $DIR
1164         $DIR/ls /
1165         rm $DIR/ls
1166 }
1167 run_test 30 "run binary from Lustre (execve) ==================="
1168
1169 test_31a() {
1170         $OPENUNLINK $DIR/f31 $DIR/f31 || error
1171         $CHECKSTAT -a $DIR/f31 || error
1172 }
1173 run_test 31a "open-unlink file =================================="
1174
1175 test_31b() {
1176         touch $DIR/f31 || error
1177         ln $DIR/f31 $DIR/f31b || error
1178         multiop $DIR/f31b Ouc || error
1179         $CHECKSTAT -t file $DIR/f31 || error
1180 }
1181 run_test 31b "unlink file with multiple links while open ======="
1182
1183 test_31c() {
1184         touch $DIR/f31 || error
1185         ln $DIR/f31 $DIR/f31c || error
1186         multiop $DIR/f31 O_uc &
1187         MULTIPID=$!
1188         multiop $DIR/f31c Ouc
1189         usleep 500
1190         kill -USR1 $MULTIPID
1191         wait $MULTIPID
1192 }
1193 run_test 31c "open-unlink file with multiple links ============="
1194
1195 test_31d() {
1196         opendirunlink $DIR/d31d $DIR/d31d || error
1197         $CHECKSTAT -a $DIR/d31d || error
1198 }
1199 run_test 31d "remove of open directory ========================="
1200
1201 test_31e() { # bug 2904
1202         check_kernel_version 34 || return 0
1203         openfilleddirunlink $DIR/d31e || error
1204 }
1205 run_test 31e "remove of open non-empty directory ==============="
1206
1207 test_31f() { # bug 4554
1208         set -vx
1209         mkdir $DIR/d31f
1210         lfs setstripe $DIR/d31f 1048576 -1 1
1211         cp /etc/hosts $DIR/d31f
1212         ls -l $DIR/d31f
1213         lfs getstripe $DIR/d31f/hosts
1214         multiop $DIR/d31f D_c &
1215         MULTIPID=$!
1216
1217         sleep 1
1218
1219         rm -rv $DIR/d31f || error "first of $DIR/d31f"
1220         mkdir $DIR/d31f
1221         lfs setstripe $DIR/d31f 1048576 -1 1
1222         cp /etc/hosts $DIR/d31f
1223         ls -l $DIR/d31f
1224         lfs getstripe $DIR/d31f/hosts
1225         multiop $DIR/d31f D_c &
1226         MULTIPID2=$!
1227
1228         sleep 6
1229
1230         kill -USR1 $MULTIPID || error "first opendir $MULTIPID not running"
1231         wait $MULTIPID || error "first opendir $MULTIPID failed"
1232
1233         sleep 6
1234
1235         kill -USR1 $MULTIPID2 || error "second opendir $MULTIPID not running"
1236         wait $MULTIPID2 || error "second opendir $MULTIPID2 failed"
1237         set +vx
1238 }
1239 run_test 31f "remove of open directory with open-unlink file ==="
1240
1241 test_32a() {
1242         echo "== more mountpoints and symlinks ================="
1243         [ -e $DIR/d32a ] && rm -fr $DIR/d32a
1244         mkdir -p $DIR/d32a/ext2-mountpoint
1245         mount -t ext2 -o loop $EXT2_DEV $DIR/d32a/ext2-mountpoint || error
1246         $CHECKSTAT -t dir $DIR/d32a/ext2-mountpoint/.. || error
1247         $UMOUNT $DIR/d32a/ext2-mountpoint || error
1248 }
1249 run_test 32a "stat d32a/ext2-mountpoint/.. ====================="
1250
1251 test_32b() {
1252         [ -e $DIR/d32b ] && rm -fr $DIR/d32b
1253         mkdir -p $DIR/d32b/ext2-mountpoint
1254         mount -t ext2 -o loop $EXT2_DEV $DIR/d32b/ext2-mountpoint || error
1255         ls -al $DIR/d32b/ext2-mountpoint/.. || error
1256         $UMOUNT $DIR/d32b/ext2-mountpoint || error
1257 }
1258 run_test 32b "open d32b/ext2-mountpoint/.. ====================="
1259
1260 test_32c() {
1261         [ -e $DIR/d32c ] && rm -fr $DIR/d32c
1262         mkdir -p $DIR/d32c/ext2-mountpoint
1263         mount -t ext2 -o loop $EXT2_DEV $DIR/d32c/ext2-mountpoint || error
1264         mkdir -p $DIR/d32c/d2/test_dir
1265         $CHECKSTAT -t dir $DIR/d32c/ext2-mountpoint/../d2/test_dir || error
1266         $UMOUNT $DIR/d32c/ext2-mountpoint || error
1267 }
1268 run_test 32c "stat d32c/ext2-mountpoint/../d2/test_dir ========="
1269
1270 test_32d() {
1271         [ -e $DIR/d32d ] && rm -fr $DIR/d32d
1272         mkdir -p $DIR/d32d/ext2-mountpoint
1273         mount -t ext2 -o loop $EXT2_DEV $DIR/d32d/ext2-mountpoint || error
1274         mkdir -p $DIR/d32d/d2/test_dir
1275         ls -al $DIR/d32d/ext2-mountpoint/../d2/test_dir || error
1276         $UMOUNT $DIR/d32d/ext2-mountpoint || error
1277 }
1278 run_test 32d "open d32d/ext2-mountpoint/../d2/test_dir ========="
1279
1280 test_32e() {
1281         [ -e $DIR/d32e ] && rm -fr $DIR/d32e
1282         mkdir -p $DIR/d32e/tmp
1283         TMP_DIR=$DIR/d32e/tmp
1284         ln -s $DIR/d32e $TMP_DIR/symlink11
1285         ln -s $TMP_DIR/symlink11 $TMP_DIR/../symlink01
1286         $CHECKSTAT -t link $DIR/d32e/tmp/symlink11 || error
1287         $CHECKSTAT -t link $DIR/d32e/symlink01 || error
1288 }
1289 run_test 32e "stat d32e/symlink->tmp/symlink->lustre-subdir ===="
1290
1291 test_32f() {
1292         [ -e $DIR/d32f ] && rm -fr $DIR/d32f
1293         mkdir -p $DIR/d32f/tmp
1294         TMP_DIR=$DIR/d32f/tmp
1295         ln -s $DIR/d32f $TMP_DIR/symlink11
1296         ln -s $TMP_DIR/symlink11 $TMP_DIR/../symlink01
1297         ls $DIR/d32f/tmp/symlink11  || error
1298         ls $DIR/d32f/symlink01 || error
1299 }
1300 run_test 32f "open d32f/symlink->tmp/symlink->lustre-subdir ===="
1301
1302 test_32g() {
1303         TMP_DIR=$DIR/$tdir/tmp
1304         mkdir -p $TMP_DIR $DIR/${tdir}2
1305         ln -s $DIR/${tdir}2 $TMP_DIR/symlink12
1306         ln -s $TMP_DIR/symlink12 $TMP_DIR/../symlink02
1307         $CHECKSTAT -t link $TMP_DIR/symlink12 || error
1308         $CHECKSTAT -t link $DIR/$tdir/symlink02 || error
1309         $CHECKSTAT -t dir -f $TMP_DIR/symlink12 || error
1310         $CHECKSTAT -t dir -f $DIR/$tdir/symlink02 || error
1311 }
1312 run_test 32g "stat d32g/symlink->tmp/symlink->lustre-subdir/${tdir}2"
1313
1314 test_32h() {
1315         rm -fr $DIR/$tdir $DIR/${tdir}2
1316         TMP_DIR=$DIR/$tdir/tmp
1317         mkdir -p $TMP_DIR $DIR/${tdir}2
1318         ln -s $DIR/${tdir}2 $TMP_DIR/symlink12
1319         ln -s $TMP_DIR/symlink12 $TMP_DIR/../symlink02
1320         ls $TMP_DIR/symlink12 || error
1321         ls $DIR/$tdir/symlink02  || error
1322 }
1323 run_test 32h "open d32h/symlink->tmp/symlink->lustre-subdir/${tdir}2"
1324
1325 test_32i() {
1326         [ -e $DIR/d32i ] && rm -fr $DIR/d32i
1327         mkdir -p $DIR/d32i/ext2-mountpoint
1328         mount -t ext2 -o loop $EXT2_DEV $DIR/d32i/ext2-mountpoint || error
1329         touch $DIR/d32i/test_file
1330         $CHECKSTAT -t file $DIR/d32i/ext2-mountpoint/../test_file || error
1331         $UMOUNT $DIR/d32i/ext2-mountpoint || error
1332 }
1333 run_test 32i "stat d32i/ext2-mountpoint/../test_file ==========="
1334
1335 test_32j() {
1336         [ -e $DIR/d32j ] && rm -fr $DIR/d32j
1337         mkdir -p $DIR/d32j/ext2-mountpoint
1338         mount -t ext2 -o loop $EXT2_DEV $DIR/d32j/ext2-mountpoint || error
1339         touch $DIR/d32j/test_file
1340         cat $DIR/d32j/ext2-mountpoint/../test_file || error
1341         $UMOUNT $DIR/d32j/ext2-mountpoint || error
1342 }
1343 run_test 32j "open d32j/ext2-mountpoint/../test_file ==========="
1344
1345 test_32k() {
1346         rm -fr $DIR/d32k
1347         mkdir -p $DIR/d32k/ext2-mountpoint
1348         mount -t ext2 -o loop $EXT2_DEV $DIR/d32k/ext2-mountpoint
1349         mkdir -p $DIR/d32k/d2
1350         touch $DIR/d32k/d2/test_file || error
1351         $CHECKSTAT -t file $DIR/d32k/ext2-mountpoint/../d2/test_file || error
1352         $UMOUNT $DIR/d32k/ext2-mountpoint || error
1353 }
1354 run_test 32k "stat d32k/ext2-mountpoint/../d2/test_file ========"
1355
1356 test_32l() {
1357         rm -fr $DIR/d32l
1358         mkdir -p $DIR/d32l/ext2-mountpoint
1359         mount -t ext2 -o loop $EXT2_DEV $DIR/d32l/ext2-mountpoint || error
1360         mkdir -p $DIR/d32l/d2
1361         touch $DIR/d32l/d2/test_file
1362         cat  $DIR/d32l/ext2-mountpoint/../d2/test_file || error
1363         $UMOUNT $DIR/d32l/ext2-mountpoint || error
1364 }
1365 run_test 32l "open d32l/ext2-mountpoint/../d2/test_file ========"
1366
1367 test_32m() {
1368         rm -fr $DIR/d32m
1369         mkdir -p $DIR/d32m/tmp
1370         TMP_DIR=$DIR/d32m/tmp
1371         ln -s $DIR $TMP_DIR/symlink11
1372         ln -s $TMP_DIR/symlink11 $TMP_DIR/../symlink01
1373         $CHECKSTAT -t link $DIR/d32m/tmp/symlink11 || error
1374         $CHECKSTAT -t link $DIR/d32m/symlink01 || error
1375 }
1376 run_test 32m "stat d32m/symlink->tmp/symlink->lustre-root ======"
1377
1378 test_32n() {
1379         rm -fr $DIR/d32n
1380         mkdir -p $DIR/d32n/tmp
1381         TMP_DIR=$DIR/d32n/tmp
1382         ln -s $DIR $TMP_DIR/symlink11
1383         ln -s $TMP_DIR/symlink11 $TMP_DIR/../symlink01
1384         ls -l $DIR/d32n/tmp/symlink11  || error
1385         ls -l $DIR/d32n/symlink01 || error
1386 }
1387 run_test 32n "open d32n/symlink->tmp/symlink->lustre-root ======"
1388
1389 test_32o() {
1390         rm -fr $DIR/d32o $DIR/$tfile
1391         touch $DIR/$tfile
1392         mkdir -p $DIR/d32o/tmp
1393         TMP_DIR=$DIR/d32o/tmp
1394         ln -s $DIR/$tfile $TMP_DIR/symlink12
1395         ln -s $TMP_DIR/symlink12 $TMP_DIR/../symlink02
1396         $CHECKSTAT -t link $DIR/d32o/tmp/symlink12 || error
1397         $CHECKSTAT -t link $DIR/d32o/symlink02 || error
1398         $CHECKSTAT -t file -f $DIR/d32o/tmp/symlink12 || error
1399         $CHECKSTAT -t file -f $DIR/d32o/symlink02 || error
1400 }
1401 run_test 32o "stat d32o/symlink->tmp/symlink->lustre-root/$tfile"
1402
1403 test_32p() {
1404     log 32p_1
1405         rm -fr $DIR/d32p
1406     log 32p_2
1407         rm -f $DIR/$tfile
1408     log 32p_3
1409         touch $DIR/$tfile
1410     log 32p_4
1411         mkdir -p $DIR/d32p/tmp
1412     log 32p_5
1413         TMP_DIR=$DIR/d32p/tmp
1414     log 32p_6
1415         ln -s $DIR/$tfile $TMP_DIR/symlink12
1416     log 32p_7
1417         ln -s $TMP_DIR/symlink12 $TMP_DIR/../symlink02
1418     log 32p_8
1419         cat $DIR/d32p/tmp/symlink12 || error
1420     log 32p_9
1421         cat $DIR/d32p/symlink02 || error
1422     log 32p_10
1423 }
1424 run_test 32p "open d32p/symlink->tmp/symlink->lustre-root/$tfile"
1425
1426 test_32q() {
1427         [ -e $DIR/d32q ] && rm -fr $DIR/d32q
1428         mkdir -p $DIR/d32q
1429         touch $DIR/d32q/under_the_mount
1430         mount -t ext2 -o loop $EXT2_DEV $DIR/d32q
1431         ls $DIR/d32q/under_the_mount && error || true
1432         $UMOUNT $DIR/d32q || error
1433 }
1434 run_test 32q "stat follows mountpoints in Lustre (should return error)"
1435
1436 test_32r() {
1437         [ -e $DIR/d32r ] && rm -fr $DIR/d32r
1438         mkdir -p $DIR/d32r
1439         touch $DIR/d32r/under_the_mount
1440         mount -t ext2 -o loop $EXT2_DEV $DIR/d32r
1441         ls $DIR/d32r | grep -q under_the_mount && error || true
1442         $UMOUNT $DIR/d32r || error
1443 }
1444 run_test 32r "opendir follows mountpoints in Lustre (should return error)"
1445
1446 test_33() {
1447         rm -f $DIR/$tfile
1448         touch $DIR/$tfile
1449         chmod 444 $DIR/$tfile
1450         chown $RUNAS_ID $DIR/$tfile
1451         log 33_1
1452         $RUNAS $OPENFILE -f O_RDWR $DIR/$tfile && error || true
1453         log 33_2
1454 }
1455 run_test 33 "write file with mode 444 (should return error) ===="
1456
1457 test_33a() {
1458         rm -fr $DIR/d33
1459         mkdir -p $DIR/d33
1460         chown $RUNAS_ID $DIR/d33
1461         $RUNAS $OPENFILE -f O_RDWR:O_CREAT -m 0444 $DIR/d33/f33|| error "create"
1462         $RUNAS $OPENFILE -f O_RDWR:O_CREAT -m 0444 $DIR/d33/f33 && \
1463                 error "open RDWR" || true
1464 }
1465 run_test 33a "test open file(mode=0444) with O_RDWR (should return error)"
1466
1467 TEST_34_SIZE=${TEST_34_SIZE:-2000000000000}
1468 test_34a() {
1469         rm -f $DIR/f34
1470         $MCREATE $DIR/f34 || error
1471         $GETSTRIPE $DIR/f34 2>&1 | grep -q "no stripe info" || error
1472         $TRUNCATE $DIR/f34 $TEST_34_SIZE || error
1473         $GETSTRIPE $DIR/f34 2>&1 | grep -q "no stripe info" || error
1474         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1475 }
1476 run_test 34a "truncate file that has not been opened ==========="
1477
1478 test_34b() {
1479         [ ! -f $DIR/f34 ] && test_34a
1480         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1481         $OPENFILE -f O_RDONLY $DIR/f34
1482         $GETSTRIPE $DIR/f34 2>&1 | grep -q "no stripe info" || error
1483         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1484 }
1485 run_test 34b "O_RDONLY opening file doesn't create objects ====="
1486
1487 test_34c() {
1488         [ ! -f $DIR/f34 ] && test_34a
1489         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1490         $OPENFILE -f O_RDWR $DIR/f34
1491         $GETSTRIPE $DIR/f34 2>&1 | grep -q "no stripe info" && error
1492         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1493 }
1494 run_test 34c "O_RDWR opening file-with-size works =============="
1495
1496 test_34d() {
1497         [ ! -f $DIR/f34 ] && test_34a
1498         dd if=/dev/zero of=$DIR/f34 conv=notrunc bs=4k count=1 || error
1499         $CHECKSTAT -s $TEST_34_SIZE $DIR/f34 || error
1500         rm $DIR/f34
1501 }
1502 run_test 34d "write to sparse file ============================="
1503
1504 test_34e() {
1505         rm -f $DIR/f34e
1506         $MCREATE $DIR/f34e || error
1507         $TRUNCATE $DIR/f34e 1000 || error
1508         $CHECKSTAT -s 1000 $DIR/f34e || error
1509         $OPENFILE -f O_RDWR $DIR/f34e
1510         $CHECKSTAT -s 1000 $DIR/f34e || error
1511 }
1512 run_test 34e "create objects, some with size and some without =="
1513
1514 test_34f() { # bug 6242, 6243
1515         SIZE34F=48000
1516         rm -f $DIR/f34f
1517         $MCREATE $DIR/f34f || error
1518         $TRUNCATE $DIR/f34f $SIZE34F || error "truncating $DIR/f3f to $SIZE34F"
1519         dd if=$DIR/f34f of=$TMP/f34f
1520         $CHECKSTAT -s $SIZE34F $TMP/f34f || error "$TMP/f34f not $SIZE34F bytes"
1521         dd if=/dev/zero of=$TMP/f34fzero bs=$SIZE34F count=1
1522         cmp $DIR/f34f $TMP/f34fzero || error "$DIR/f34f not all zero"
1523         cmp $TMP/f34f $TMP/f34fzero || error "$TMP/f34f not all zero"
1524         rm $TMP/f34f $TMP/f34fzero $DIR/f34f
1525 }
1526 run_test 34f "read from a file with no objects until EOF ======="
1527
1528 test_35a() {
1529         cp /bin/sh $DIR/f35a
1530         chmod 444 $DIR/f35a
1531         chown $RUNAS_ID $DIR/f35a
1532         $RUNAS $DIR/f35a && error || true
1533         rm $DIR/f35a
1534 }
1535 run_test 35a "exec file with mode 444 (should return and not leak) ====="
1536
1537 test_36a() {
1538         rm -f $DIR/f36
1539         utime $DIR/f36 || error
1540 }
1541 run_test 36a "MDS utime check (mknod, utime) ==================="
1542
1543 test_36b() {
1544         echo "" > $DIR/f36
1545         utime $DIR/f36 || error
1546 }
1547 run_test 36b "OST utime check (open, utime) ===================="
1548
1549 test_36c() {
1550         rm -f $DIR/d36/f36
1551         mkdir $DIR/d36
1552         chown $RUNAS_ID $DIR/d36
1553         $RUNAS utime $DIR/d36/f36 || error
1554 }
1555 run_test 36c "non-root MDS utime check (mknod, utime) =========="
1556
1557 test_36d() {
1558         [ ! -d $DIR/d36 ] && test_36c
1559         echo "" > $DIR/d36/f36
1560         $RUNAS utime $DIR/d36/f36 || error
1561 }
1562 run_test 36d "non-root OST utime check (open, utime) ==========="
1563
1564 test_36e() {
1565         [ $RUNAS_ID -eq $UID ] && echo "skipping $TESTNAME" && return
1566         mkdir -p $DIR/$tdir
1567         touch $DIR/$tdir/$tfile
1568         $RUNAS utime $DIR/$tdir/$tfile && \
1569                 error "utime worked, expected failure" || true
1570 }
1571 run_test 36e "utime on non-owned file (should return error) ===="
1572
1573 test_36f() {
1574         export LANG=C LC_LANG=C # for date language
1575
1576         DATESTR="Dec 20  2000"
1577         mkdir -p $DIR/$tdir
1578         #define OBD_FAIL_OST_BRW_PAUSE_BULK 0x214
1579         sysctl -w lustre.fail_loc=0x80000214
1580         date; date +%s
1581         cp /etc/hosts $DIR/$tdir/$tfile
1582         sync & # write RPC generated with "current" inode timestamp, but delayed
1583         sleep 1
1584         touch --date="$DATESTR" $DIR/$tdir/$tfile # setattr timestamp in past
1585         LS_BEFORE="`ls -l $DIR/$tdir/$tfile`" # old timestamp from client cache
1586         cancel_lru_locks osc
1587         LS_AFTER="`ls -l $DIR/$tdir/$tfile`"  # timestamp from OST object
1588         date; date +%s
1589         [ "$LS_BEFORE" != "$LS_AFTER" ] && \
1590                 echo "BEFORE: $LS_BEFORE" && \
1591                 echo "AFTER : $LS_AFTER" && \
1592                 echo "WANT  : $DATESTR" && \
1593                 error "$DIR/$tdir/$tfile timestamps changed" || true
1594 }
1595 run_test 36f "utime on file racing with OST BRW write =========="
1596
1597 export FMD_MAX_AGE=`cat $LPROC/obdfilter/*/client_cache_seconds 2> /dev/null | head -n 1`
1598 test_36g() {
1599         [ -z "$FMD_MAX_AGE" ] && echo "skip $TESTNAME for remote OST" && return
1600         FMD_BEFORE="`awk '/ll_fmd_cache/ { print $2 }' /proc/slabinfo`"
1601         touch $DIR/d36/$tfile
1602         sleep $((FMD_MAX_AGE + 12))
1603         FMD_AFTER="`awk '/ll_fmd_cache/ { print $2 }' /proc/slabinfo`"
1604         [ "$FMD_AFTER" -gt "$FMD_BEFORE" ] && \
1605                 echo "AFTER : $FMD_AFTER > BEFORE $FMD_BEFORE" && \
1606                 error "fmd didn't expire after ping" || true
1607 }
1608 run_test 36g "filter mod data cache expiry ====================="
1609
1610 test_37() {
1611         mkdir -p $DIR/$tdir
1612         echo f > $DIR/$tdir/fbugfile
1613         mount -t ext2 -o loop $EXT2_DEV $DIR/$tdir
1614         ls $DIR/$tdir | grep "\<fbugfile\>" && error
1615         $UMOUNT $DIR/$tdir || error
1616         rm -f $DIR/$tdir/fbugfile || error
1617 }
1618 run_test 37 "ls a mounted file system to check old content ====="
1619
1620 test_38() {
1621         o_directory $DIR/$tfile
1622 }
1623 run_test 38 "open a regular file with O_DIRECTORY =============="
1624
1625 test_39() {
1626         touch $DIR/$tfile
1627         touch $DIR/${tfile}2
1628 #       ls -l  $DIR/$tfile $DIR/${tfile}2
1629 #       ls -lu  $DIR/$tfile $DIR/${tfile}2
1630 #       ls -lc  $DIR/$tfile $DIR/${tfile}2
1631         sleep 2
1632         $OPENFILE -f O_CREAT:O_TRUNC:O_WRONLY $DIR/${tfile}2
1633         if [ ! $DIR/${tfile}2 -nt $DIR/$tfile ]; then
1634                 echo "mtime"
1635                 ls -l  $DIR/$tfile $DIR/${tfile}2
1636                 echo "atime"
1637                 ls -lu  $DIR/$tfile $DIR/${tfile}2
1638                 echo "ctime"
1639                 ls -lc  $DIR/$tfile $DIR/${tfile}2
1640                 error "O_TRUNC didn't change timestamps"
1641         fi
1642 }
1643 run_test 39 "mtime changed on create ==========================="
1644
1645 test_40() {
1646         dd if=/dev/zero of=$DIR/f40 bs=4096 count=1
1647         $RUNAS $OPENFILE -f O_WRONLY:O_TRUNC $DIR/f40 && error
1648         $CHECKSTAT -t file -s 4096 $DIR/f40 || error
1649 }
1650 run_test 40 "failed open(O_TRUNC) doesn't truncate ============="
1651
1652 test_41() {
1653         # bug 1553
1654         small_write $DIR/f41 18
1655 }
1656 run_test 41 "test small file write + fstat ====================="
1657
1658 count_ost_writes() {
1659         cat $LPROC/osc/*/stats |
1660             awk -vwrites=0 '/ost_write/ { writes += $2 } END { print writes; }'
1661 }
1662
1663 # decent default
1664 WRITEBACK_SAVE=500
1665
1666 start_writeback() {
1667         trap 0
1668         # in 2.6, restore /proc/sys/vm/dirty_writeback_centisecs
1669         if [ -f /proc/sys/vm/dirty_writeback_centisecs ]; then
1670                 echo $WRITEBACK_SAVE > /proc/sys/vm/dirty_writeback_centisecs
1671         else
1672                 # if file not here, we are a 2.4 kernel
1673                 kill -CONT `pidof kupdated`
1674         fi
1675 }
1676 stop_writeback() {
1677         # setup the trap first, so someone cannot exit the test at the
1678         # exact wrong time and mess up a machine
1679         trap start_writeback EXIT
1680         # in 2.6, save and 0 /proc/sys/vm/dirty_writeback_centisecs
1681         if [ -f /proc/sys/vm/dirty_writeback_centisecs ]; then
1682                 WRITEBACK_SAVE=`cat /proc/sys/vm/dirty_writeback_centisecs`
1683                 echo 0 > /proc/sys/vm/dirty_writeback_centisecs
1684         else
1685                 # if file not here, we are a 2.4 kernel
1686                 kill -STOP `pidof kupdated`
1687         fi
1688 }
1689
1690 # ensure that all stripes have some grant before we test client-side cache
1691 setup_test42() {
1692         [ "$SETUP_TEST42" ] && return
1693         for i in `seq -f $DIR/f42-%g 1 $OSTCOUNT`; do
1694                 dd if=/dev/zero of=$i bs=4k count=1
1695                 rm $i
1696         done
1697         SETUP_TEST42=DONE
1698 }
1699
1700 # Tests 42* verify that our behaviour is correct WRT caching, file closure,
1701 # file truncation, and file removal.
1702 test_42a() {
1703         setup_test42
1704         cancel_lru_locks osc
1705         stop_writeback
1706         sync; sleep 1; sync # just to be safe
1707         BEFOREWRITES=`count_ost_writes`
1708         grep "[0-9]" $LPROC/osc/*[oO][sS][cC]*/cur_grant_bytes
1709         dd if=/dev/zero of=$DIR/f42a bs=1024 count=100
1710         AFTERWRITES=`count_ost_writes`
1711         [ $BEFOREWRITES -eq $AFTERWRITES ] || \
1712                 error "$BEFOREWRITES < $AFTERWRITES"
1713         start_writeback
1714 }
1715 run_test 42a "ensure that we don't flush on close =============="
1716
1717 test_42b() {
1718         setup_test42
1719         cancel_lru_locks osc
1720         stop_writeback
1721         sync
1722         dd if=/dev/zero of=$DIR/f42b bs=1024 count=100
1723         BEFOREWRITES=`count_ost_writes`
1724         $MUNLINK $DIR/f42b || error "$MUNLINK $DIR/f42b: $?"
1725         AFTERWRITES=`count_ost_writes`
1726         if [ $BEFOREWRITES -lt $AFTERWRITES ]; then
1727                 error "$BEFOREWRITES < $AFTERWRITES on unlink"
1728         fi
1729         BEFOREWRITES=`count_ost_writes`
1730         sync || error "sync: $?"
1731         AFTERWRITES=`count_ost_writes`
1732         if [ $BEFOREWRITES -lt $AFTERWRITES ]; then
1733                 error "$BEFOREWRITES < $AFTERWRITES on sync"
1734         fi
1735         dmesg | grep 'error from obd_brw_async' && error 'error writing back'
1736         start_writeback
1737         return 0
1738 }
1739 run_test 42b "test destroy of file with cached dirty data ======"
1740
1741 # if these tests just want to test the effect of truncation,
1742 # they have to be very careful.  consider:
1743 # - the first open gets a {0,EOF}PR lock
1744 # - the first write conflicts and gets a {0, count-1}PW
1745 # - the rest of the writes are under {count,EOF}PW
1746 # - the open for truncate tries to match a {0,EOF}PR
1747 #   for the filesize and cancels the PWs.
1748 # any number of fixes (don't get {0,EOF} on open, match
1749 # composite locks, do smarter file size management) fix
1750 # this, but for now we want these tests to verify that
1751 # the cancellation with truncate intent works, so we
1752 # start the file with a full-file pw lock to match against
1753 # until the truncate.
1754 trunc_test() {
1755         test=$1
1756         file=$DIR/$test
1757         offset=$2
1758         cancel_lru_locks osc
1759         stop_writeback
1760         # prime the file with 0,EOF PW to match
1761         touch $file
1762         $TRUNCATE $file 0
1763         sync; sync
1764         # now the real test..
1765         dd if=/dev/zero of=$file bs=1024 count=100
1766         BEFOREWRITES=`count_ost_writes`
1767         $TRUNCATE $file $offset
1768         cancel_lru_locks osc
1769         AFTERWRITES=`count_ost_writes`
1770         start_writeback
1771 }
1772
1773 test_42c() {
1774         trunc_test 42c 1024
1775         [ $BEFOREWRITES -eq $AFTERWRITES ] && \
1776             error "beforewrites $BEFOREWRITES == afterwrites $AFTERWRITES on truncate"
1777         rm $file
1778 }
1779 run_test 42c "test partial truncate of file with cached dirty data"
1780
1781 test_42d() {
1782         trunc_test 42d 0
1783         [ $BEFOREWRITES -eq $AFTERWRITES ] || \
1784             error "beforewrites $BEFOREWRITES != afterwrites $AFTERWRITES on truncate"
1785         rm $file
1786 }
1787 run_test 42d "test complete truncate of file with cached dirty data"
1788
1789 test_43() {
1790         mkdir $DIR/$tdir
1791         cp -p /bin/ls $DIR/$tdir/$tfile
1792         exec 100>> $DIR/$tdir/$tfile
1793         $DIR/$tdir/$tfile && error || true
1794         exec 100<&-
1795 }
1796 run_test 43 "execution of file opened for write should return -ETXTBSY"
1797
1798 test_43a() {
1799         mkdir -p $DIR/d43
1800         cp -p `which multiop` $DIR/d43/multiop
1801         $DIR/d43/multiop $TMP/test43.junk O_c &
1802         MULTIPID=$!
1803         sleep 1
1804         multiop $DIR/d43/multiop Oc && error "expected error, got success"
1805         kill -USR1 $MULTIPID || return 2
1806         wait $MULTIPID || return 3
1807         rm $TMP/test43.junk
1808 }
1809 run_test 43a "open(RDWR) of file being executed should return -ETXTBSY"
1810
1811 test_43b() {
1812         mkdir -p $DIR/d43
1813         cp -p `which multiop` $DIR/d43/multiop
1814         $DIR/d43/multiop $TMP/test43.junk O_c &
1815         MULTIPID=$!
1816         sleep 1
1817         truncate $DIR/d43/multiop 0 && error "expected error, got success"
1818         kill -USR1 $MULTIPID || return 2
1819         wait $MULTIPID || return 3
1820         rm $TMP/test43.junk
1821 }
1822 run_test 43b "truncate of file being executed should return -ETXTBSY"
1823
1824 test_43c() {
1825         local testdir="$DIR/d43c"
1826         mkdir -p $testdir
1827         cp $SHELL $testdir/
1828         ( cd $(dirname $SHELL) && md5sum $(basename $SHELL) ) | \
1829                 ( cd $testdir && md5sum -c)
1830 }
1831 run_test 43c "md5sum of copy into lustre========================"
1832
1833 test_44() {
1834         [  "$OSTCOUNT" -lt "2" ] && echo "skipping 2-stripe test" && return
1835         dd if=/dev/zero of=$DIR/f1 bs=4k count=1 seek=1023
1836         dd if=$DIR/f1 bs=4k count=1
1837 }
1838 run_test 44 "zero length read from a sparse stripe ============="
1839
1840 test_44a() {
1841     local nstripe=`$LCTL lov_getconfig $DIR | grep default_stripe_count: | \
1842                          awk '{print $2}'`
1843     local stride=`$LCTL lov_getconfig $DIR | grep default_stripe_size: | \
1844                       awk '{print $2}'`
1845     if [ $nstripe -eq 0 ] ; then
1846         nstripe=`$LCTL lov_getconfig $DIR | grep obd_count: | awk '{print $2}'`
1847     fi
1848     [ -z "$nstripe" ] && error "can't get stripe info"
1849
1850     OFFSETS="0 $((stride/2)) $((stride-1))"
1851     for offset in $OFFSETS ; do
1852       for i in `seq 0 $((nstripe-1))`; do
1853         rm -f $DIR/d44a
1854         local GLOBALOFFSETS=""
1855         local size=$((((i + 2 * $nstripe )*$stride + $offset)))  # Bytes
1856         ll_sparseness_write $DIR/d44a $size  || error "ll_sparseness_write"
1857         GLOBALOFFSETS="$GLOBALOFFSETS $size"
1858         ll_sparseness_verify $DIR/d44a $GLOBALOFFSETS \
1859                             || error "ll_sparseness_verify $GLOBALOFFSETS"
1860
1861         for j in `seq 0 $((nstripe-1))`; do
1862             size=$((((j + $nstripe )*$stride + $offset)))  # Bytes
1863             ll_sparseness_write $DIR/d44a $size || error "ll_sparseness_write"
1864             GLOBALOFFSETS="$GLOBALOFFSETS $size"
1865         done
1866         ll_sparseness_verify $DIR/d44a $GLOBALOFFSETS \
1867                             || error "ll_sparseness_verify $GLOBALOFFSETS"
1868       done
1869     done
1870 }
1871 run_test 44a "test sparse pwrite ==============================="
1872
1873 dirty_osc_total() {
1874         tot=0
1875         for d in $LPROC/osc/*/cur_dirty_bytes; do
1876                 tot=$(($tot + `cat $d`))
1877         done
1878         echo $tot
1879 }
1880 do_dirty_record() {
1881         before=`dirty_osc_total`
1882         echo executing "\"$*\""
1883         eval $*
1884         after=`dirty_osc_total`
1885         echo before $before, after $after
1886 }
1887 test_45() {
1888         f="$DIR/f45"
1889         # Obtain grants from OST if it supports it
1890         echo blah > ${f}_grant
1891         stop_writeback
1892         sync
1893         do_dirty_record "echo blah > $f"
1894         [ $before -eq $after ] && error "write wasn't cached"
1895         do_dirty_record "> $f"
1896         [ $before -gt $after ] || error "truncate didn't lower dirty count"
1897         do_dirty_record "echo blah > $f"
1898         [ $before -eq $after ] && error "write wasn't cached"
1899         do_dirty_record "sync"
1900         [ $before -gt $after ] || error "writeback didn't lower dirty count"
1901         do_dirty_record "echo blah > $f"
1902         [ $before -eq $after ] && error "write wasn't cached"
1903         do_dirty_record "cancel_lru_locks osc"
1904         [ $before -gt $after ] || error "lock cancellation didn't lower dirty count"
1905         start_writeback
1906 }
1907 run_test 45 "osc io page accounting ============================"
1908
1909 page_size() {
1910         getconf PAGE_SIZE
1911 }
1912
1913 # in a 2 stripe file (lov.sh), page 1023 maps to page 511 in its object.  this
1914 # test tickles a bug where re-dirtying a page was failing to be mapped to the
1915 # objects offset and an assert hit when an rpc was built with 1023's mapped
1916 # offset 511 and 511's raw 511 offset. it also found general redirtying bugs.
1917 test_46() {
1918         f="$DIR/f46"
1919         stop_writeback
1920         sync
1921         dd if=/dev/zero of=$f bs=`page_size` seek=511 count=1
1922         sync
1923         dd conv=notrunc if=/dev/zero of=$f bs=`page_size` seek=1023 count=1
1924         dd conv=notrunc if=/dev/zero of=$f bs=`page_size` seek=511 count=1
1925         sync
1926         start_writeback
1927 }
1928 run_test 46 "dirtying a previously written page ================"
1929
1930 # Check that device nodes are created and then visible correctly (#2091)
1931 test_47() {
1932         cmknod $DIR/test_47_node || error
1933 }
1934 run_test 47 "Device nodes check ================================"
1935
1936 test_48a() { # bug 2399
1937         check_kernel_version 34 || return 0
1938         mkdir -p $DIR/d48a
1939         cd $DIR/d48a
1940         mv $DIR/d48a $DIR/d48.new || error "move directory failed"
1941         mkdir $DIR/d48a || error "recreate directory failed"
1942         touch foo || error "'touch foo' failed after recreating cwd"
1943         mkdir bar || error "'mkdir foo' failed after recreating cwd"
1944         if check_kernel_version 44; then
1945                 touch .foo || error "'touch .foo' failed after recreating cwd"
1946                 mkdir .bar || error "'mkdir .foo' failed after recreating cwd"
1947         fi
1948         ls . || error "'ls .' failed after recreating cwd"
1949         ls .. || error "'ls ..' failed after removing cwd"
1950         cd . || error "'cd .' failed after recreating cwd"
1951         mkdir . && error "'mkdir .' worked after recreating cwd"
1952         rmdir . && error "'rmdir .' worked after recreating cwd"
1953         ln -s . baz || error "'ln -s .' failed after recreating cwd"
1954         cd .. || error "'cd ..' failed after recreating cwd"
1955 }
1956 run_test 48a "Access renamed working dir (should return errors)="
1957
1958 test_48b() { # bug 2399
1959         check_kernel_version 34 || return 0
1960         mkdir -p $DIR/d48b
1961         cd $DIR/d48b
1962         rmdir $DIR/d48b || error "remove cwd $DIR/d48b failed"
1963         touch foo && error "'touch foo' worked after removing cwd"
1964         mkdir foo && error "'mkdir foo' worked after removing cwd"
1965         if check_kernel_version 44; then
1966                 touch .foo && error "'touch .foo' worked after removing cwd"
1967                 mkdir .foo && error "'mkdir .foo' worked after removing cwd"
1968         fi
1969         ls . && error "'ls .' worked after removing cwd"
1970         ls .. || error "'ls ..' failed after removing cwd"
1971         cd . && error "'cd .' worked after removing cwd"
1972         mkdir . && error "'mkdir .' worked after removing cwd"
1973         rmdir . && error "'rmdir .' worked after removing cwd"
1974         ln -s . foo && error "'ln -s .' worked after removing cwd"
1975         cd .. || echo "'cd ..' failed after removing cwd `pwd`"  #bug 3517
1976 }
1977 run_test 48b "Access removed working dir (should return errors)="
1978
1979 test_48c() { # bug 2350
1980         check_kernel_version 36 || return 0
1981         #sysctl -w lnet.debug=-1
1982         #set -vx
1983         mkdir -p $DIR/d48c/dir
1984         cd $DIR/d48c/dir
1985         $TRACE rmdir $DIR/d48c/dir || error "remove cwd $DIR/d48c/dir failed"
1986         $TRACE touch foo && error "'touch foo' worked after removing cwd"
1987         $TRACE mkdir foo && error "'mkdir foo' worked after removing cwd"
1988         if check_kernel_version 44; then
1989                 touch .foo && error "'touch .foo' worked after removing cwd"
1990                 mkdir .foo && error "'mkdir .foo' worked after removing cwd"
1991         fi
1992         $TRACE ls . && error "'ls .' worked after removing cwd"
1993         $TRACE ls .. || error "'ls ..' failed after removing cwd"
1994         $TRACE cd . && error "'cd .' worked after removing cwd"
1995         $TRACE mkdir . && error "'mkdir .' worked after removing cwd"
1996         $TRACE rmdir . && error "'rmdir .' worked after removing cwd"
1997         $TRACE ln -s . foo && error "'ln -s .' worked after removing cwd"
1998         $TRACE cd .. || echo "'cd ..' failed after removing cwd `pwd`" #bug 3415
1999 }
2000 run_test 48c "Access removed working subdir (should return errors)"
2001
2002 test_48d() { # bug 2350
2003         check_kernel_version 36 || return 0
2004         #sysctl -w lnet.debug=-1
2005         #set -vx
2006         mkdir -p $DIR/d48d/dir
2007         cd $DIR/d48d/dir
2008         $TRACE rmdir $DIR/d48d/dir || error "remove cwd $DIR/d48d/dir failed"
2009         $TRACE rmdir $DIR/d48d || error "remove parent $DIR/d48d failed"
2010         $TRACE touch foo && error "'touch foo' worked after removing parent"
2011         $TRACE mkdir foo && error "'mkdir foo' worked after removing parent"
2012         if check_kernel_version 44; then
2013                 touch .foo && error "'touch .foo' worked after removing parent"
2014                 mkdir .foo && error "'mkdir .foo' worked after removing parent"
2015         fi
2016         $TRACE ls . && error "'ls .' worked after removing parent"
2017         $TRACE ls .. && error "'ls ..' worked after removing parent"
2018         $TRACE cd . && error "'cd .' worked after recreate parent"
2019         $TRACE mkdir . && error "'mkdir .' worked after removing parent"
2020         $TRACE rmdir . && error "'rmdir .' worked after removing parent"
2021         $TRACE ln -s . foo && error "'ln -s .' worked after removing parent"
2022         $TRACE cd .. && error "'cd ..' worked after removing parent" || true
2023 }
2024 run_test 48d "Access removed parent subdir (should return errors)"
2025
2026 test_48e() { # bug 4134
2027         check_kernel_version 41 || return 0
2028         #sysctl -w lnet.debug=-1
2029         #set -vx
2030         mkdir -p $DIR/d48e/dir
2031         cd $DIR/d48e/dir
2032         $TRACE rmdir $DIR/d48e/dir || error "remove cwd $DIR/d48e/dir failed"
2033         $TRACE rmdir $DIR/d48e || error "remove parent $DIR/d48e failed"
2034         $TRACE touch $DIR/d48e || error "'touch $DIR/d48e' failed"
2035         $TRACE chmod +x $DIR/d48e || error "'chmod +x $DIR/d48e' failed"
2036         # On a buggy kernel addition of "touch foo" after cd .. will
2037         # produce kernel oops in lookup_hash_it
2038         touch ../foo && error "'cd ..' worked after recreate parent"
2039         cd $DIR
2040         $TRACE rm $DIR/d48e || error "rm '$DIR/d48e' failed"
2041 }
2042 run_test 48e "Access to recreated parent subdir (should return errors)"
2043
2044 test_50() {
2045         # bug 1485
2046         mkdir $DIR/d50
2047         cd $DIR/d50
2048         ls /proc/$$/cwd || error
2049 }
2050 run_test 50 "special situations: /proc symlinks  ==============="
2051
2052 test_51() {
2053         # bug 1516 - create an empty entry right after ".." then split dir
2054         mkdir $DIR/d51
2055         touch $DIR/d51/foo
2056         $MCREATE $DIR/d51/bar
2057         rm $DIR/d51/foo
2058         createmany -m $DIR/d51/longfile 201
2059         FNUM=202
2060         while [ `ls -sd $DIR/d51 | awk '{ print $1 }'` -eq 4 ]; do
2061                 $MCREATE $DIR/d51/longfile$FNUM
2062                 FNUM=$(($FNUM + 1))
2063                 echo -n "+"
2064         done
2065         ls -l $DIR/d51 > /dev/null || error
2066 }
2067 run_test 51 "special situations: split htree with empty entry =="
2068
2069 export NUMTEST=70000
2070 test_51b() {
2071         NUMFREE=`df -i -P $DIR | tail -n 1 | awk '{ print $4 }'`
2072         [ $NUMFREE -lt 21000 ] && \
2073                 echo "skipping $TESTNAME, not enough free inodes ($NUMFREE)" && \
2074                 return
2075
2076         check_kernel_version 40 || NUMTEST=31000
2077         [ $NUMFREE -lt $NUMTEST ] && NUMTEST=$(($NUMFREE - 50))
2078
2079         mkdir -p $DIR/d51b
2080         createmany -d $DIR/d51b/t- $NUMTEST
2081 }
2082 run_test 51b "mkdir .../t-0 --- .../t-$NUMTEST ===================="
2083
2084 test_51c() {
2085         [ ! -d $DIR/d51b ] && echo "skipping $TESTNAME: $DIR/51b missing" && \
2086                 return
2087
2088         unlinkmany -d $DIR/d51b/t- $NUMTEST
2089 }
2090 run_test 51c "rmdir .../t-0 --- .../t-$NUMTEST ===================="
2091
2092 test_51d() {
2093         [  "$OSTCOUNT" -lt "3" ] && echo "skipping test with few OSTs" && return
2094         mkdir -p $DIR/d51d
2095         createmany -o $DIR/d51d/t- 1000
2096         $LFS getstripe $DIR/d51d > $TMP/files
2097         for N in `seq 0 $((OSTCOUNT - 1))`; do
2098             OBJS[$N]=`awk -vobjs=0 '($1 == '$N') { objs += 1 } END { print objs;}' $TMP/files`
2099             OBJS0[$N]=`grep -A 1 idx $TMP/files | awk -vobjs=0 '($1 == '$N') { objs += 1 } END { print objs;}'`
2100             log "OST$N has ${OBJS[$N]} objects, ${OBJS0[$N]} are index 0"
2101         done
2102         unlinkmany $DIR/d51d/t- 1000
2103
2104         NLAST=0
2105         for N in `seq 1 $((OSTCOUNT - 1))`; do
2106             [ ${OBJS[$N]} -lt $((${OBJS[$NLAST]} - 20)) ] && \
2107                 error "OST $N has less objects vs OST $NLAST (${OBJS[$N]} < ${OBJS[$NLAST]}"
2108             [ ${OBJS[$N]} -gt $((${OBJS[$NLAST]} + 20)) ] && \
2109                 error "OST $N has less objects vs OST $NLAST (${OBJS[$N]} < ${OBJS[$NLAST]}"
2110
2111             [ ${OBJS0[$N]} -lt $((${OBJS0[$NLAST]} - 20)) ] && \
2112                 error "OST $N has less #0 objects vs OST $NLAST (${OBJS0[$N]} < ${OBJS0[$NLAST]}"
2113             [ ${OBJS0[$N]} -gt $((${OBJS0[$NLAST]} + 20)) ] && \
2114                 error "OST $N has less #0 objects vs OST $NLAST (${OBJS0[$N]} < ${OBJS0[$NLAST]}"
2115             NLAST=$N
2116         done
2117 }
2118 run_test 51d "check object distribution ===================="
2119
2120 test_52a() {
2121         [ -f $DIR/d52a/foo ] && chattr -a $DIR/d52a/foo
2122         mkdir -p $DIR/d52a
2123         touch $DIR/d52a/foo
2124         chattr =a $DIR/d52a/foo || error "chattr =a failed"
2125         echo bar >> $DIR/d52a/foo || error "append bar failed"
2126         cp /etc/hosts $DIR/d52a/foo && error "cp worked"
2127         rm -f $DIR/d52a/foo 2>/dev/null && error "rm worked"
2128         link $DIR/d52a/foo $DIR/d52a/foo_link 2>/dev/null && error "link worked"
2129         echo foo >> $DIR/d52a/foo || error "append foo failed"
2130         mrename $DIR/d52a/foo $DIR/d52a/foo_ren && error "rename worked"
2131         lsattr $DIR/d52a/foo | egrep -q "^-+a-+ $DIR/d52a/foo" || error "lsattr"
2132         chattr -a $DIR/d52a/foo || error "chattr -a failed"
2133
2134         rm -fr $DIR/d52a || error "cleanup rm failed"
2135 }
2136 run_test 52a "append-only flag test (should return errors) ====="
2137
2138 test_52b() {
2139         [ -f $DIR/d52b/foo ] && chattr -i $DIR/d52b/foo
2140         mkdir -p $DIR/d52b
2141         touch $DIR/d52b/foo
2142         chattr =i $DIR/d52b/foo || error
2143         cat test > $DIR/d52b/foo && error
2144         cp /etc/hosts $DIR/d52b/foo && error
2145         rm -f $DIR/d52b/foo 2>/dev/null && error
2146         link $DIR/d52b/foo $DIR/d52b/foo_link 2>/dev/null && error
2147         echo foo >> $DIR/d52b/foo && error
2148         mrename $DIR/d52b/foo $DIR/d52b/foo_ren && error
2149         [ -f $DIR/d52b/foo ] || error
2150         [ -f $DIR/d52b/foo_ren ] && error
2151         lsattr $DIR/d52b/foo | egrep -q "^-+i-+ $DIR/d52b/foo" || error
2152         chattr -i $DIR/d52b/foo || error
2153
2154         rm -fr $DIR/d52b || error
2155 }
2156 run_test 52b "immutable flag test (should return errors) ======="
2157
2158 test_53() {
2159         [ -z "$MDS" ] && echo "skipping $TESTNAME with remote MDS" && return
2160
2161         for i in `ls -d $LPROC/osc/*-osc 2> /dev/null` ; do
2162                 ostname=`basename $i | cut -d - -f 1-2`
2163                 ost_last=`cat $LPROC/obdfilter/$ostname/last_id`
2164                 mds_last=`cat $i/prealloc_last_id`
2165                 echo "$ostname.last_id=$ost_last ; MDS.last_id=$mds_last"
2166                 if [ $ost_last != $mds_last ]; then
2167                     error "$ostname.last_id=$ost_last ; MDS.last_id=$mds_last"
2168                 fi
2169         done
2170 }
2171 run_test 53 "verify that MDS and OSTs agree on pre-creation ===="
2172
2173 test_54a() {
2174         $SOCKETSERVER $DIR/socket
2175         $SOCKETCLIENT $DIR/socket || error
2176         $MUNLINK $DIR/socket
2177 }
2178 run_test 54a "unix domain socket test =========================="
2179
2180 test_54b() {
2181         f="$DIR/f54b"
2182         mknod $f c 1 3
2183         chmod 0666 $f
2184         dd if=/dev/zero of=$f bs=`page_size` count=1
2185 }
2186 run_test 54b "char device works in lustre ======================"
2187
2188 find_loop_dev() {
2189         [ -b /dev/loop/0 ] && LOOPBASE=/dev/loop/
2190         [ -b /dev/loop0 ] && LOOPBASE=/dev/loop
2191         [ -z "$LOOPBASE" ] && echo "/dev/loop/0 and /dev/loop0 gone?" && return
2192
2193         for i in `seq 3 7`; do
2194                 losetup $LOOPBASE$i > /dev/null 2>&1 && continue
2195                 LOOPDEV=$LOOPBASE$i
2196                 LOOPNUM=$i
2197                 break
2198         done
2199 }
2200
2201 test_54c() {
2202         tfile="$DIR/f54c"
2203         tdir="$DIR/d54c"
2204         loopdev="$DIR/loop54c"
2205
2206         find_loop_dev
2207         [ -z "$LOOPNUM" ] && echo "couldn't find empty loop device" && return
2208         mknod $loopdev b 7 $LOOPNUM
2209         echo "make a loop file system with $tfile on $loopdev ($LOOPNUM)..."
2210         dd if=/dev/zero of=$tfile bs=`page_size` seek=1024 count=1 > /dev/null
2211         losetup $loopdev $tfile || error "can't set up $loopdev for $tfile"
2212         mkfs.ext2 $loopdev || error "mke2fs on $loopdev"
2213         mkdir -p $tdir
2214         mount -t ext2 $loopdev $tdir || error "error mounting $loopdev on $tdir"
2215         dd if=/dev/zero of=$tdir/tmp bs=`page_size` count=30 || error "dd write"
2216         df $tdir
2217         dd if=$tdir/tmp of=/dev/zero bs=`page_size` count=30 || error "dd read"
2218         $UMOUNT $tdir
2219         losetup -d $loopdev
2220         rm $loopdev
2221 }
2222 run_test 54c "block device works in lustre ====================="
2223
2224 test_54d() {
2225         f="$DIR/f54d"
2226         string="aaaaaa"
2227         mknod $f p
2228         [ "$string" = `echo $string > $f | cat $f` ] || error
2229 }
2230 run_test 54d "fifo device works in lustre ======================"
2231
2232 test_54e() {
2233         check_kernel_version 46 || return 0
2234         f="$DIR/f54e"
2235         string="aaaaaa"
2236         mknod $f c 4 0
2237         echo $string > $f || error
2238 }
2239 run_test 54e "console/tty device works in lustre ======================"
2240
2241 check_fstype() {
2242         grep -q $FSTYPE /proc/filesystems && return 1
2243         modprobe $FSTYPE
2244         grep -q $FSTYPE /proc/filesystems && return 1
2245         insmod ../$FSTYPE/$FSTYPE.o
2246         grep -q $FSTYPE /proc/filesystems && return 1
2247         insmod ../$FSTYPE/$FSTYPE.ko
2248         grep -q $FSTYPE /proc/filesystems && return 1
2249         return 0
2250 }
2251
2252 test_55() {
2253         rm -rf $DIR/d55
2254         mkdir $DIR/d55
2255         check_fstype && echo "can't find fs $FSTYPE, skipping $TESTNAME" && return
2256         mount -t $FSTYPE -o loop,iopen $EXT2_DEV $DIR/d55 || error "mounting"
2257         touch $DIR/d55/foo
2258         $IOPENTEST1 $DIR/d55/foo $DIR/d55 || error "running $IOPENTEST1"
2259         $IOPENTEST2 $DIR/d55 || error "running $IOPENTEST2"
2260         echo "check for $EXT2_DEV. Please wait..."
2261         rm -rf $DIR/d55/*
2262         $UMOUNT $DIR/d55 || error "unmounting"
2263 }
2264 run_test 55 "check iopen_connect_dentry() ======================"
2265
2266 test_56() {
2267         rm -rf $DIR/d56
2268         $SETSTRIPE -d $DIR
2269         mkdir $DIR/d56
2270         mkdir $DIR/d56/dir
2271         NUMFILES=3
2272         NUMFILESx2=$(($NUMFILES * 2))
2273         for i in `seq 1 $NUMFILES` ; do
2274                 touch $DIR/d56/file$i
2275                 touch $DIR/d56/dir/file$i
2276         done
2277
2278         # test lfs getstripe with --recursive
2279         FILENUM=`$GETSTRIPE --recursive $DIR/d56 | grep -c obdidx`
2280         [ $FILENUM -eq $NUMFILESx2 ] || error \
2281                 "lfs getstripe --recursive $DIR/d56 wrong: found $FILENUM, expected $NUMFILESx2"
2282         FILENUM=`$GETSTRIPE $DIR/d56 | grep -c obdidx`
2283         [ $FILENUM -eq $NUMFILES ] || error \
2284                 "lfs getstripe $DIR/d56 without --recursive wrong: found $FILENUM, expected $NUMFILES"
2285         echo "lfs getstripe --recursive passed."
2286
2287         # test lfs getstripe with file instead of dir
2288         FILENUM=`$GETSTRIPE $DIR/d56/file1 | grep -c obdidx`
2289         [ $FILENUM  -eq 1 ] || error \
2290                  "lfs getstripe $DIR/d56/file1 wrong:found $FILENUM, expected 1"
2291         echo "lfs getstripe file passed."
2292
2293         #test lfs getstripe with --verbose
2294         [ `$GETSTRIPE --verbose $DIR/d56 | grep -c lmm_magic` -eq $NUMFILES ] ||\
2295                 error "lfs getstripe --verbose $DIR/d56 wrong: should find $NUMFILES lmm_magic info"
2296         [ `$GETSTRIPE $DIR/d56 | grep -c lmm_magic` -eq 0 ] || error \
2297                 "lfs getstripe $DIR/d56 without --verbose wrong: should not show lmm_magic info"
2298         echo "lfs getstripe --verbose passed."
2299
2300         #test lfs getstripe with --obd
2301         $GETSTRIPE --obd wrong_uuid $DIR/d56 2>&1 | grep -q "unknown obduuid" || \
2302                 error "lfs getstripe --obd wrong_uuid should return error message"
2303
2304         [  "$OSTCOUNT" -lt 2 ] && \
2305                 echo "skipping other lfs getstripe --obd test" && return
2306         FILENUM=`$GETSTRIPE --recursive $DIR/d56 | sed -n '/^[   ]*1[    ]/p' | wc -l`
2307         OBDUUID=`$GETSTRIPE --recursive $DIR/d56 | sed -n '/^[   ]*1:/p' | awk '{print $2}'`
2308         FOUND=`$GETSTRIPE -r --obd $OBDUUID $DIR/d56 | wc -l`
2309         [ $FOUND -eq $FILENUM ] || \
2310                 error "lfs getstripe --obd wrong: found $FOUND, expected $FILENUM"
2311         [ `$GETSTRIPE -r -v --obd $OBDUUID $DIR/d56 | sed '/^[   ]*1[    ]/d' |\
2312                 sed -n '/^[      ]*[0-9][0-9]*[  ]/p' | wc -l` -eq 0 ] || \
2313                 error "lfs getstripe --obd wrong: should not show file on other obd"
2314         echo "lfs getstripe --obd passed."
2315 }
2316 run_test 56 "check lfs getstripe ===================================="
2317
2318 NUMFILES=3
2319 NUMDIRS=3
2320 setup_56() {
2321         LOCAL_NUMFILES=$1
2322         LOCAL_NUMDIRS=$2
2323         if [ ! -d "$DIR/${tdir}g" ] ; then
2324                 mkdir -p $DIR/${tdir}g
2325                 for i in `seq 1 $LOCAL_NUMFILES` ; do
2326                         touch $DIR/${tdir}g/file$i
2327                 done
2328                 for i in `seq 1 $LOCAL_NUMDIRS` ; do
2329                         mkdir $DIR/${tdir}g/dir$i
2330                         for j in `seq 1 $LOCAL_NUMFILES` ; do
2331                                 touch $DIR/${tdir}g/dir$i/file$j
2332                         done
2333                 done
2334         fi
2335 }
2336
2337 test_56g() {
2338         $LSTRIPE -d $DIR
2339
2340         setup_56 $NUMFILES $NUMDIRS
2341
2342         EXPECTED=$(($NUMDIRS + 2))
2343         # test lfs find with -name
2344         for i in `seq 1 $NUMFILES` ; do
2345                 NUMS=`$LFIND -name "*$i" $DIR/${tdir}g | wc -l`
2346                 [ $NUMS -eq $EXPECTED ] || error \
2347                         "lfs find -name \"*$i\" $DIR/${tdir}g wrong: found $NUMS, expected $EXPECTED"
2348         done
2349         echo "lfs find -name passed."
2350 }
2351 run_test 56g "check lfs find -name ============================="
2352
2353 test_56h() {
2354         $LSTRIPE -d $DIR
2355
2356         setup_56 $NUMFILES $NUMDIRS
2357
2358         EXPECTED=$((($NUMDIRS+1)*($NUMFILES-1)+$NUMFILES))
2359         # test lfs find with ! -name
2360         for i in `seq 1 $NUMFILES` ; do
2361                 NUMS=`$LFIND ! -name "*$i" $DIR/${tdir}g | wc -l`
2362                 [ $NUMS -eq $EXPECTED ] || error \
2363                         "lfs find ! -name \"*$i\" $DIR/${tdir}g wrong: found $NUMS, expected $EXPECTED"
2364         done
2365         echo "lfs find ! -name passed."
2366 }
2367 run_test 56h "check lfs find ! -name ============================="
2368
2369 test_57a() {
2370         [ -z "$MDS" ] && echo "skipping $TESTNAME for remote MDS" && return
2371         for DEV in `cat $LPROC/mds/*/mntdev`; do
2372                 dumpe2fs -h $DEV > $TMP/t57a.dump || error "can't access $DEV"
2373                 DEVISIZE=`awk '/Inode size:/ { print $3 }' $TMP/t57a.dump`
2374                 [ "$DEVISIZE" -gt 128 ] || error "inode size $DEVISIZE"
2375                 rm $TMP/t57a.dump
2376         done
2377 }
2378 run_test 57a "verify MDS filesystem created with large inodes =="
2379
2380 test_57b() {
2381         FILECOUNT=100
2382         FILE1=$DIR/d57b/f1
2383         FILEN=$DIR/d57b/f$FILECOUNT
2384         rm -rf $DIR/d57b || error "removing $DIR/d57b"
2385         mkdir -p $DIR/d57b || error "creating $DIR/d57b"
2386         echo "mcreating $FILECOUNT files"
2387         createmany -m $DIR/d57b/f 1 $FILECOUNT || \
2388                 error "creating files in $DIR/d57b"
2389
2390         # verify that files do not have EAs yet
2391         $GETSTRIPE $FILE1 2>&1 | grep -q "no stripe" || error "$FILE1 has an EA"
2392         $GETSTRIPE $FILEN 2>&1 | grep -q "no stripe" || error "$FILEN has an EA"
2393
2394         MDSFREE="`cat $LPROC/mds/*/kbytesfree 2> /dev/null`"
2395         MDCFREE="`cat $LPROC/mdc/*/kbytesfree | head -n 1`"
2396         echo "opening files to create objects/EAs"
2397         for FILE in `seq -f $DIR/d57b/f%g 1 $FILECOUNT`; do
2398                 $OPENFILE -f O_RDWR $FILE > /dev/null || error "opening $FILE"
2399         done
2400
2401         # verify that files have EAs now
2402         $GETSTRIPE $FILE1 | grep -q "obdidx" || error "$FILE1 missing EA"
2403         $GETSTRIPE $FILEN | grep -q "obdidx" || error "$FILEN missing EA"
2404
2405         sleep 1 # make sure we get new statfs data
2406         MDSFREE2="`cat $LPROC/mds/*/kbytesfree 2> /dev/null`"
2407         MDCFREE2="`cat $LPROC/mdc/*/kbytesfree | head -n 1`"
2408         if [ "$MDCFREE2" -lt "$((MDCFREE - 8))" ]; then
2409                 if [ "$MDSFREE" != "$MDSFREE2" ]; then
2410                         error "MDC before $MDCFREE != after $MDCFREE2"
2411                 else
2412                         echo "MDC before $MDCFREE != after $MDCFREE2"
2413                         echo "unable to confirm if MDS has large inodes"
2414                 fi
2415         fi
2416         rm -rf $DIR/d57b
2417 }
2418 run_test 57b "default LOV EAs are stored inside large inodes ==="
2419
2420 test_58() {
2421     [ -z "$(which wiretest 2>/dev/null)" ] && echo "skipping $TESTNAME (could not find wiretest)" && return
2422     wiretest
2423 }
2424 run_test 58 "verify cross-platform wire constants =============="
2425
2426 test_59() {
2427         echo "touch 130 files"
2428         createmany -o $DIR/f59- 130
2429         echo "rm 130 files"
2430         unlinkmany $DIR/f59- 130
2431         sync
2432         sleep 2
2433         # wait for commitment of removal
2434 }
2435 run_test 59 "verify cancellation of llog records async ========="
2436
2437 TEST60_HEAD="test_60 run $RANDOM"
2438 test_60() {
2439         log "$TEST60_HEAD - from kernel mode"
2440         sh run-llog.sh
2441 }
2442 run_test 60 "llog sanity tests run from kernel module =========="
2443
2444 test_60b() { # bug 6411
2445         dmesg > $DIR/$tfile
2446         LLOG_COUNT=`dmesg | grep -A 1000 "$TEST60_HEAD" | grep -c llog_test`
2447         [ $LLOG_COUNT -gt 50 ] && error "CDEBUG_LIMIT not limiting messages"|| true
2448 }
2449 run_test 60b "limit repeated messages from CERROR/CWARN ========"
2450
2451 test_61() {
2452         f="$DIR/f61"
2453         dd if=/dev/zero of=$f bs=`page_size` count=1
2454         cancel_lru_locks osc
2455         multiop $f OSMWUc || error
2456         sync
2457 }
2458 run_test 61 "mmap() writes don't make sync hang ================"
2459
2460 # bug 2330 - insufficient obd_match error checking causes LBUG
2461 test_62() {
2462         f="$DIR/f62"
2463         echo foo > $f
2464         cancel_lru_locks osc
2465         sysctl -w lustre.fail_loc=0x405
2466         cat $f && error "cat succeeded, expect -EIO"
2467         sysctl -w lustre.fail_loc=0
2468 }
2469 run_test 62 "verify obd_match failure doesn't LBUG (should -EIO)"
2470
2471 # bug 2319 - oig_wait() interrupted causes crash because of invalid waitq.
2472 test_63() {
2473         MAX_DIRTY_MB=`cat $LPROC/osc/*/max_dirty_mb | head -n 1`
2474         for i in $LPROC/osc/*/max_dirty_mb ; do
2475                 echo 0 > $i
2476         done
2477         for i in `seq 10` ; do
2478                 dd if=/dev/zero of=$DIR/f63 bs=8k &
2479                 sleep 5
2480                 kill $!
2481                 sleep 1
2482         done
2483
2484         for i in $LPROC/osc/*/max_dirty_mb ; do
2485                 echo $MAX_DIRTY_MB > $i
2486         done
2487         rm -f $DIR/f63 || true
2488 }
2489 run_test 63 "Verify oig_wait interruption does not crash ======="
2490
2491 # bug 2248 - async write errors didn't return to application on sync
2492 # bug 3677 - async write errors left page locked
2493 test_63b() {
2494         DBG_SAVE="`sysctl -n lnet.debug`"
2495         sysctl -w lnet.debug=-1
2496
2497         # ensure we have a grant to do async writes
2498         dd if=/dev/zero of=$DIR/$tfile bs=4k count=1
2499         rm $DIR/$tfile
2500
2501         #define OBD_FAIL_OSC_BRW_PREP_REQ        0x406
2502         sysctl -w lustre.fail_loc=0x80000406
2503         multiop $DIR/$tfile Owy && \
2504                 $LCTL dk /tmp/test63b.debug && \
2505                 sysctl -w lnet.debug="$DBG_SAVE" && \
2506                 error "sync didn't return ENOMEM"
2507         sync; sleep 2; sync     # do a real sync this time to flush page
2508         grep locked $LPROC/llite/*/dump_page_cache && \
2509                 $LCTL dk /tmp/test63b.debug && \
2510                 sysctl -w lnet.debug="$DBG_SAVE" && \
2511                 error "locked page left in cache after async error" || true
2512         sysctl -w lnet.debug="$DBG_SAVE"
2513 }
2514 run_test 63b "async write errors should be returned to fsync ==="
2515
2516 test_64a () {
2517         df $DIR
2518         grep "[0-9]" $LPROC/osc/*[oO][sS][cC]*/cur*
2519 }
2520 run_test 64a "verify filter grant calculations (in kernel) ====="
2521
2522 test_64b () {
2523         sh oos.sh $MOUNT
2524 }
2525 run_test 64b "check out-of-space detection on client ==========="
2526
2527 # bug 1414 - set/get directories' stripe info
2528 test_65a() {
2529         mkdir -p $DIR/d65
2530         touch $DIR/d65/f1
2531         $LVERIFY $DIR/d65 $DIR/d65/f1 || error "lverify failed"
2532 }
2533 run_test 65a "directory with no stripe info ===================="
2534
2535 test_65b() {
2536         mkdir -p $DIR/d65
2537         $SETSTRIPE $DIR/d65 $(($STRIPESIZE * 2)) 0 1 || error "setstripe"
2538         touch $DIR/d65/f2
2539         $LVERIFY $DIR/d65 $DIR/d65/f2 || error "lverify failed"
2540 }
2541 run_test 65b "directory setstripe $(($STRIPESIZE * 2)) 0 1 ==============="
2542
2543 test_65c() {
2544         if [ $OSTCOUNT -gt 1 ]; then
2545                 mkdir -p $DIR/d65
2546                 $SETSTRIPE $DIR/d65 $(($STRIPESIZE * 4)) 1 \
2547                         $(($OSTCOUNT - 1)) || error "setstripe"
2548                 touch $DIR/d65/f3
2549                 $LVERIFY $DIR/d65 $DIR/d65/f3 || error "lverify failed"
2550         fi
2551 }
2552 run_test 65c "directory setstripe $(($STRIPESIZE * 4)) 1 $(($OSTCOUNT - 1))"
2553
2554 [ $STRIPECOUNT -eq 0 ] && sc=1 || sc=$(($STRIPECOUNT - 1))
2555
2556 test_65d() {
2557         mkdir -p $DIR/d65
2558         $SETSTRIPE $DIR/d65 $STRIPESIZE -1 $sc || error "setstripe"
2559         touch $DIR/d65/f4 $DIR/d65/f5
2560         $LVERIFY $DIR/d65 $DIR/d65/f4 $DIR/d65/f5 || error "lverify failed"
2561 }
2562 run_test 65d "directory setstripe $STRIPESIZE -1 $sc =============="
2563
2564 test_65e() {
2565         mkdir -p $DIR/d65
2566
2567         $SETSTRIPE $DIR/d65 0 -1 0 || error "setstripe"
2568         $GETSTRIPE -v $DIR/d65 | grep "has no stripe info" || error "no stripe info failed"
2569         touch $DIR/d65/f6
2570         $LVERIFY $DIR/d65 $DIR/d65/f6 || error "lverify failed"
2571 }
2572 run_test 65e "directory setstripe 0 -1 0 ======================="
2573
2574 test_65f() {
2575         mkdir -p $DIR/d65f
2576         $RUNAS $SETSTRIPE $DIR/d65f 0 -1 0 && error "setstripe succeeded" || true
2577 }
2578 run_test 65f "dir setstripe permission (should return error) ==="
2579
2580 test_65g() {
2581         mkdir -p $DIR/d65
2582         $SETSTRIPE $DIR/d65 $(($STRIPESIZE * 2)) 0 1 || error "setstripe"
2583         $SETSTRIPE -d $DIR/d65 || error "setstripe"
2584         $GETSTRIPE -v $DIR/d65 | grep "has no stripe info" || \
2585                 error "delete default stripe failed"
2586 }
2587 run_test 65g "directory setstripe -d ==========================="
2588
2589 test_65h() {
2590         mkdir -p $DIR/d65
2591         $SETSTRIPE $DIR/d65 $(($STRIPESIZE * 2)) 0 1 || error "setstripe"
2592         mkdir -p $DIR/d65/dd1
2593         [ "`$GETSTRIPE -v $DIR/d65 | grep "^count"`" == \
2594           "`$GETSTRIPE -v $DIR/d65/dd1 | grep "^count"`" ] || error "stripe info inherit failed"
2595 }
2596 run_test 65h "directory stripe info inherit ===================="
2597
2598 test_65i() { # bug6367
2599         $SETSTRIPE $MOUNT 65536 -1 -1
2600 }
2601 run_test 65i "set non-default striping on root directory (bug 6367)="
2602
2603 test_65j() { # bug6367
2604         # if we aren't already remounting for each test, do so for this test
2605         if [ "$CLEANUP" = ":" -a "$I_MOUNTED" = "yes" ]; then
2606                 cleanup -f || error "failed to unmount"
2607                 setup
2608         fi
2609         $SETSTRIPE -d $MOUNT
2610 }
2611 run_test 65j "set default striping on root directory (bug 6367)="
2612
2613 # bug 2543 - update blocks count on client
2614 test_66() {
2615         COUNT=${COUNT:-8}
2616         dd if=/dev/zero of=$DIR/f66 bs=1k count=$COUNT
2617         sync; sleep 1; sync
2618         BLOCKS=`ls -s $DIR/f66 | awk '{ print $1 }'`
2619         [ $BLOCKS -ge $COUNT ] || error "$DIR/f66 blocks $BLOCKS < $COUNT"
2620 }
2621 run_test 66 "update inode blocks count on client ==============="
2622
2623 test_67() { # bug 3285 - supplementary group fails on MDS, passes on client
2624         [ "$RUNAS_ID" = "$UID" ] && echo "skipping $TESTNAME" && return
2625         check_kernel_version 35 || return 0
2626         mkdir $DIR/$tdir
2627         chmod 771 $DIR/$tdir
2628         chgrp $RUNAS_ID $DIR/$tdir
2629         $RUNAS -u $RUNAS_ID -g $(($RUNAS_ID + 1)) -G1,2,$RUNAS_ID ls $DIR/$tdir
2630         RC=$?
2631         if [ "$MDS" ]; then
2632                 # can't tell which is correct otherwise
2633                 GROUP_UPCALL=`cat $LPROC/mds/$MDS/group_upcall`
2634                 [ "$GROUP_UPCALL" = "NONE" -a $RC -eq 0 ] && \
2635                         error "no-upcall passed" || true
2636                 [ "$GROUP_UPCALL" != "NONE" -a $RC -ne 0 ] && \
2637                         error "upcall failed" || true
2638         fi
2639 }
2640 run_test 67 "supplementary group failure (should return error) ="
2641
2642 cleanup_67b() {
2643         trap 0
2644         echo NONE > $LPROC/mds/$MDS/group_upcall
2645         set +vx
2646 }
2647
2648 test_67b() { # bug 3285 - supplementary group fails on MDS, passes on client
2649         T67_UID=${T67_UID:-1}   # needs to be in /etc/groups on MDS, gid == uid
2650         [ "$UID" = "$T67_UID" ] && echo "skipping $TESTNAME" && return
2651         check_kernel_version 35 || return 0
2652         [ -z "$MDS" ] && echo "skipping $TESTNAME - no MDS" && return
2653         GROUP_UPCALL=`cat $LPROC/mds/$MDS/group_upcall`
2654         [ "$GROUP_UPCALL" != "NONE" ] && echo "skip $TESTNAME - upcall" &&return
2655         set -vx
2656         trap cleanup_67b EXIT
2657         mkdir -p $DIR/$tdir
2658         chmod 771 $DIR/$tdir
2659         chgrp $T67_UID $DIR/$tdir
2660         echo `which l_getgroups` > $LPROC/mds/$MDS/group_upcall
2661         l_getgroups -d $T67_UID
2662         $RUNAS -u $T67_UID -g $((T67_UID + 1)) -G8,9 id
2663         $RUNAS -u $T67_UID -g 999 -G8,9,$T67_UID touch $DIR/$tdir/$tfile || \
2664                 error "'touch $DIR/$tdir/$tfile' failed"
2665         [ -f $DIR/$tdir/$tfile ] || error "$DIR/$tdir/$tfile create error"
2666         cleanup_67b
2667 }
2668 run_test 67b "supplementary group test ========================="
2669
2670 cleanup_68() {
2671         trap 0
2672         if [ "$LOOPDEV" ]; then
2673                 swapoff $LOOPDEV || error "swapoff failed"
2674                 losetup -d $LOOPDEV || error "losetup -d failed"
2675                 unset LOOPDEV LOOPNUM
2676         fi
2677         rm -f $DIR/f68
2678 }
2679
2680 meminfo() {
2681         awk '($1 == "'$1':") { print $2 }' /proc/meminfo
2682 }
2683
2684 swap_used() {
2685         swapon -s | awk '($1 == "'$1'") { print $4 }'
2686 }
2687
2688 # excercise swapping to lustre by adding a high priority swapfile entry
2689 # and then consuming memory until it is used.
2690 test_68() {
2691         [ "$UID" != 0 ] && echo "skipping $TESTNAME (must run as root)" && return
2692         [ "`lsmod|grep obdfilter`" ] && echo "skipping $TESTNAME (local OST)" && \
2693                 return
2694
2695         find_loop_dev
2696         dd if=/dev/zero of=$DIR/f68 bs=64k count=1024
2697
2698         trap cleanup_68 EXIT
2699
2700         losetup $LOOPDEV $DIR/f68 || error "losetup $LOOPDEV failed"
2701         mkswap $LOOPDEV
2702         swapon -p 32767 $LOOPDEV || error "swapon $LOOPDEV failed"
2703
2704         echo "before: `swapon -s | grep $LOOPDEV`"
2705         KBFREE=`meminfo MemTotal`
2706         $MEMHOG $KBFREE || error "error allocating $KBFREE kB"
2707         echo "after: `swapon -s | grep $LOOPDEV`"
2708         SWAPUSED=`swap_used $LOOPDEV`
2709
2710         cleanup_68
2711
2712         [ $SWAPUSED -eq 0 ] && echo "no swap used???" || true
2713 }
2714 run_test 68 "support swapping to Lustre ========================"
2715
2716 # bug5265, obdfilter oa2dentry return -ENOENT
2717 # #define OBD_FAIL_OST_ENOENT 0x217
2718 test_69() {
2719         [ $(grep -c obdfilter $LPROC/devices) -eq 0 ] &&
2720                 echo "skipping $TESTNAME for remote OST" && return
2721
2722         f="$DIR/$tfile"
2723         touch $f
2724
2725         if ! $DIRECTIO write ${f}.2 0 1; then
2726                 echo "skipping $TESTNAME - O_DIRECT not implemented"
2727                 return 0
2728         fi
2729
2730         sysctl -w lustre.fail_loc=0x217
2731         truncate $f 1 # vmtruncate() will ignore truncate() error.
2732         $DIRECTIO write $f 0 2 && error "write succeeded, expect -ENOENT"
2733
2734         sysctl -w lustre.fail_loc=0
2735         $DIRECTIO write $f 0 2 || error "write error"
2736
2737         cancel_lru_locks osc
2738         $DIRECTIO read $f 0 1 || error "read error"
2739
2740         sysctl -w lustre.fail_loc=0x217
2741         $DIRECTIO read $f 1 1 && error "read succeeded, expect -ENOENT"
2742
2743         sysctl -w lustre.fail_loc=0
2744         rm -f $f
2745 }
2746 run_test 69 "verify oa2dentry return -ENOENT doesn't LBUG ======"
2747
2748 test_71() {
2749         which dbench > /dev/null 2>&1 || echo "dbench not installed, skip this test" && return 0
2750         DBENCH_LIB=${DBENCH_LIB:-/usr/lib/dbench}
2751         PATH=${DBENCH_LIB}:${PATH}
2752         cp `which dbench` $DIR
2753
2754         TGT=$DIR/client.txt
2755         SRC=${SRC:-$DBENCH_LIB/client.txt}
2756         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
2757         SRC=$DBENCH_LIB/client_plain.txt
2758         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
2759
2760         echo "copying necessary lib to $DIR"
2761         [ -d /lib64 ] && LIB71=/lib64 || LIB71=/lib
2762         mkdir -p $DIR$LIB71 || error "can't create $DIR$LIB71"
2763         cp $LIB71/libc* $DIR$LIB71 || error "can't copy $LIB71/libc*"
2764         cp $LIB71/ld-* $DIR$LIB71 || error "can't create $LIB71/ld-*"
2765
2766         echo "chroot $DIR /dbench -c client.txt 2"
2767         chroot $DIR /dbench -c client.txt 2
2768         RC=$?
2769
2770         rm -rf $DIR/dbench $TGT $DIR$LIB71
2771
2772         return $RC
2773 }
2774 run_test 71 "Running dbench on lustre (don't segment fault) ===="
2775
2776 test_72() { # bug 5695 - Test that on 2.6 remove_suid works properly
2777         check_kernel_version 43 || return 0
2778         [ "$RUNAS_ID" = "$UID" ] && echo "skipping $TESTNAME" && return
2779         touch $DIR/f72
2780         chmod 777 $DIR/f72
2781         chmod ug+s $DIR/f72
2782         $RUNAS -u $(($RUNAS_ID + 1)) dd if=/dev/zero of=$DIR/f72 bs=512 count=1 || error
2783         # See if we are still setuid/sgid
2784         test -u $DIR/f72 -o -g $DIR/f72 && error "S/gid is not dropped on write"
2785         # Now test that MDS is updated too
2786         cancel_lru_locks mdc
2787         test -u $DIR/f72 -o -g $DIR/f72 && error "S/gid is not dropped on MDS"
2788         true
2789 }
2790 run_test 72 "Test that remove suid works properly (bug5695) ===="
2791
2792 # bug 3462 - multiple simultaneous MDC requests
2793 test_73() {
2794         mkdir $DIR/d73-1
2795         mkdir $DIR/d73-2
2796         multiop $DIR/d73-1/f73-1 O_c &
2797         pid1=$!
2798         #give multiop a chance to open
2799         usleep 500
2800
2801         echo 0x80000129 > /proc/sys/lustre/fail_loc
2802         multiop $DIR/d73-1/f73-2 Oc &
2803         sleep 1
2804         echo 0 > /proc/sys/lustre/fail_loc
2805
2806         multiop $DIR/d73-2/f73-3 Oc &
2807         pid3=$!
2808
2809         kill -USR1 $pid1
2810         wait $pid1 || return 1
2811
2812         sleep 25
2813
2814         $CHECKSTAT -t file $DIR/d73-1/f73-1 || return 4
2815         $CHECKSTAT -t file $DIR/d73-1/f73-2 || return 5
2816         $CHECKSTAT -t file $DIR/d73-2/f73-3 || return 6
2817
2818         rm -rf $DIR/d73-*
2819 }
2820 run_test 73 "multiple MDC requests (should not deadlock)"
2821
2822 test_74() { # bug 6149, 6184
2823         #define OBD_FAIL_LDLM_ENQUEUE_OLD_EXPORT 0x30e
2824         #
2825         # very important to OR with OBD_FAIL_ONCE (0x80000000) -- otherwise it
2826         # will spin in a tight reconnection loop
2827         sysctl -w lustre.fail_loc=0x8000030e
2828         # get any lock
2829         touch $DIR/f74
2830         sysctl -w lustre.fail_loc=0
2831         true
2832 }
2833 run_test 74 "ldlm_enqueue freed-export error path (shouldn't LBUG)"
2834
2835 JOIN=${JOIN:-"lfs join"}
2836 F75=$DIR/f75
2837 F128k=${F75}_128k
2838 FHEAD=${F75}_head
2839 FTAIL=${F75}_tail
2840 export T75_PREP=no
2841 test75_prep() {
2842         [ $T75_PREP = "yes" ] && return
2843         echo "using F75=$F75, F128k=$F128k, FHEAD=$FHEAD, FTAIL=$FTAIL"
2844
2845         dd if=/dev/urandom of=${F75}_128k bs=128k count=1 || error "dd failed"
2846         log "finished dd"
2847         chmod 777 ${F128k}
2848         T75_PREP=yes
2849 }
2850
2851 test_75a() {
2852         test75_prep
2853
2854         cp -p ${F128k} ${FHEAD}
2855         log "finished cp to $FHEAD"
2856         cp -p ${F128k} ${FTAIL}
2857         log "finished cp to $FTAIL"
2858         cat ${F128k} ${F128k} > ${F75}_sim_sim
2859
2860         $JOIN ${FHEAD} ${FTAIL} || error "join ${FHEAD} ${FTAIL} error"
2861         log "finished join $FHEAD to ${F75}_sim_sim"
2862         cmp ${FHEAD} ${F75}_sim_sim || error "${FHEAD} ${F75}_sim_sim differ"
2863         log "finished cmp $FHEAD to ${F75}_sim_sim"
2864         $CHECKSTAT -a ${FTAIL} || error "tail ${FTAIL} still exist after join"
2865 }
2866 run_test 75a "TEST join file ===================================="
2867
2868 test_75b() {
2869         test75_prep
2870
2871         cp -p ${F128k} ${FTAIL}
2872         cat ${F75}_sim_sim >> ${F75}_join_sim
2873         cat ${F128k} >> ${F75}_join_sim
2874         $JOIN ${FHEAD} ${FTAIL} || error "join ${FHEAD} ${FTAIL} error"
2875         cmp ${FHEAD} ${F75}_join_sim || \
2876                 error "${FHEAD} ${F75}_join_sim are different"
2877         $CHECKSTAT -a ${FTAIL} || error "tail ${FTAIL} exist after join"
2878 }
2879 run_test 75b "TEST join file 2 =================================="
2880
2881 test_75c() {
2882         test75_prep
2883
2884         cp -p ${F128k} ${FTAIL}
2885         cat ${F128k} >> ${F75}_sim_join
2886         cat ${F75}_join_sim >> ${F75}_sim_join
2887         $JOIN ${FTAIL} ${FHEAD} || error "join error"
2888         cmp ${FTAIL} ${F75}_sim_join || \
2889                 error "${FTAIL} ${F75}_sim_join are different"
2890         $CHECKSTAT -a ${FHEAD} || error "tail ${FHEAD} exist after join"
2891 }
2892 run_test 75c "TEST join file 3 =================================="
2893
2894 test_75d() {
2895         test75_prep
2896
2897         cp -p ${F128k} ${FHEAD}
2898         cp -p ${F128k} ${FHEAD}_tmp
2899         cat ${F75}_sim_sim >> ${F75}_join_join
2900         cat ${F75}_sim_join >> ${F75}_join_join
2901         $JOIN ${FHEAD} ${FHEAD}_tmp || error "join ${FHEAD} ${FHEAD}_tmp error"
2902         $JOIN ${FHEAD} ${FTAIL} || error "join ${FHEAD} ${FTAIL} error"
2903         cmp ${FHEAD} ${F75}_join_join ||error "${FHEAD} ${F75}_join_join differ"        $CHECKSTAT -a ${FHEAD}_tmp || error "${FHEAD}_tmp exist after join"
2904         $CHECKSTAT -a ${FTAIL} || error "tail ${FTAIL} exist after join (2)"
2905 }
2906 run_test 75d "TEST join file 4 =================================="
2907
2908 test_75e() {
2909         test75_prep
2910
2911         rm -rf ${FHEAD} || "delete join file error"
2912 }
2913 run_test 75e "TEST join file 5 (remove joined file) ============="
2914
2915 test_75f() {
2916         test75_prep
2917
2918         cp -p ${F128k} ${F75}_join_10_compare
2919         cp -p ${F128k} ${F75}_join_10
2920         for ((i = 0; i < 10; i++)); do
2921                 cat ${F128k} >> ${F75}_join_10_compare
2922                 cp -p ${F128k} ${FTAIL}
2923                 $JOIN ${F75}_join_10 ${FTAIL} || \
2924                         error "join ${F75}_join_10 ${FTAIL} error"
2925                 $CHECKSTAT -a ${FTAIL} || error "tail file exist after join"
2926         done
2927         cmp ${F75}_join_10 ${F75}_join_10_compare || \
2928                 error "files ${F75}_join_10 ${F75}_join_10_compare differ"
2929 }
2930 run_test 75f "TEST join file 6 (join 10 files) =================="
2931
2932 test_75g() {
2933         [ ! -f ${F75}_join_10 ] && echo "${F75}_join_10 missing" && return
2934         $LFS getstripe ${F75}_join_10
2935
2936         $OPENUNLINK ${F75}_join_10 ${F75}_join_10 || error "files unlink open"
2937
2938         ls -l $F75*
2939 }
2940 run_test 75g "TEST join file 7 (open unlink) ===================="
2941
2942 num_inodes() {
2943         awk '/lustre_inode_cache/ {print $2; exit}' /proc/slabinfo
2944 }
2945
2946 test_76() { # bug 1443
2947         BEFORE_INODES=`num_inodes`
2948         echo "before inodes: $BEFORE_INODES"
2949         for i in `seq 1000`; do
2950                 touch $DIR/$tfile
2951                 rm -f $DIR/$tfile
2952         done
2953         AFTER_INODES=`num_inodes`
2954         echo "after inodes: $AFTER_INODES"
2955         [ $AFTER_INODES -gt $((BEFORE_INODES + 32)) ] && \
2956                 error "inode slab grew from $BEFORE_INODES to $AFTER_INODES"
2957         true
2958 }
2959 run_test 76 "destroy duplicate inodes in client inode cache ===="
2960
2961 F77_TMP=$TMP/f77-temp
2962 test_77a() { # bug 10889
2963         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
2964         if [ ! -f $F77_TMP ]; then
2965                 dd if=/dev/urandom of=$F77_TMP bs=1M count=8 || \
2966                         error "error writing to $F77_TMP"
2967         fi
2968         dd if=$F77_TMP of=$DIR/$tfile bs=1M count=8 || error "dd error"
2969         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
2970 }
2971 run_test 77a "normal checksum read/write operation ============="
2972
2973 test_77b() { # bug 10889
2974         [ ! -f $F77_TMP ] && echo "requires 77a" && return
2975         #define OBD_FAIL_OSC_CHECKSUM_SEND       0x409
2976         sysctl -w lustre.fail_loc=0x80000409
2977         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
2978         dd if=$F77_TMP of=$DIR/f77b bs=8M count=1 conv=sync || \
2979                 error "write error: rc=$?"
2980         sysctl -w lustre.fail_loc=0
2981         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
2982 }
2983 run_test 77b "checksum error on client write ===================="
2984
2985 test_77c() { # bug 10889
2986         [ ! -f $F77_TMP ] && echo "requires 77a" && return
2987         cancel_lru_locks osc
2988         #define OBD_FAIL_OSC_CHECKSUM_RECEIVE    0x408
2989         sysctl -w lustre.fail_loc=0x80000408
2990         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
2991         cmp $F77_TMP $DIR/f77b || error "file compare failed"
2992         sysctl -w lustre.fail_loc=0
2993         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
2994 }
2995 run_test 77c "checksum error on client read ==================="
2996
2997 test_77d() { # bug 10889
2998         #define OBD_FAIL_OSC_CHECKSUM_SEND       0x409
2999         sysctl -w lustre.fail_loc=0x80000409
3000         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
3001         directio write $DIR/f77  0 1 || error "direct write: rc=$?"
3002         sysctl -w lustre.fail_loc=0
3003         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
3004 }
3005 run_test 77d "checksum error on OST direct write ==============="
3006
3007 test_77e() { # bug 10889
3008         #define OBD_FAIL_OSC_CHECKSUM_RECEIVE    0x408
3009         sysctl -w lustre.fail_loc=0x80000408
3010         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
3011         cancel_lru_locks osc
3012         directio read $DIR/f77 0 1 || error "direct read: rc=$?"
3013         sysctl -w lustre.fail_loc=0
3014         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
3015 }
3016 run_test 77e "checksum error on OST direct read ================"
3017
3018 test_77f() { # bug 10889
3019         #define OBD_FAIL_OSC_CHECKSUM_SEND       0x409
3020         sysctl -w lustre.fail_loc=0x409
3021         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
3022         directio write $DIR/f77 0 1 && error "direct write succeeded"
3023         sysctl -w lustre.fail_loc=0
3024         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
3025 }
3026 run_test 77f "repeat checksum error on write (expect error) ===="
3027
3028 test_77g() { # bug 10889
3029         [ ! -f $F77_TMP ] && echo "requires 77a" && return
3030         [ -z "`lsmod|grep obdfilter`" ] &&
3031                 echo "skipping $TESTNAME (remote OST)" && return
3032         #define OBD_FAIL_OST_CHECKSUM_RECEIVE       0x21a
3033         sysctl -w lustre.fail_loc=0x8000021a
3034         for f in  $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
3035         dd if=$F77_TMP of=$DIR/f77 bs=8M count=1 || error "write error: rc=$?"
3036         sysctl -w lustre.fail_loc=0
3037         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
3038 }
3039 run_test 77g "checksum error on OST write ======================"
3040
3041 test_77h() { # bug 10889
3042         [ ! -f $DIR/f77 ] && echo "requires 77a,g" && return
3043         [ -z "`lsmod|grep obdfilter`" ] &&
3044                 echo "skipping $TESTNAME (remote OST)" && return
3045         cancel_lru_locks osc
3046         #define OBD_FAIL_OST_CHECKSUM_SEND          0x21b
3047         sysctl -w lustre.fail_loc=0x8000021b
3048         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 1 >> $f ; done
3049         cmp $F77_TMP $DIR/f77 || error "file compare failed"
3050         sysctl -w lustre.fail_loc=0
3051         for f in $LPROC/llite/${FSNAME}-*/checksum_pages ; do echo 0 >> $f ; done
3052 }
3053 run_test 77h "checksum error on OST read ======================="
3054
3055 rm -f $F77_TMP
3056 unset F77_TMP
3057
3058 # on the LLNL clusters, runas will still pick up root's $TMP settings,
3059 # which will not be writable for the runas user, and then you get a CVS
3060 # error message with a corrupt path string (CVS bug) and panic.
3061 # We're not using much space, so just stick it in /tmp, which is safe.
3062 OLDTMPDIR=$TMPDIR
3063 OLDTMP=$TMP
3064 TMPDIR=/tmp
3065 TMP=/tmp
3066 OLDHOME=$HOME
3067 [ $RUNAS_ID -ne $UID ] && HOME=/tmp
3068
3069 test_99a() {
3070         mkdir -p $DIR/d99cvsroot
3071         chown $RUNAS_ID $DIR/d99cvsroot
3072         $RUNAS cvs -d $DIR/d99cvsroot init || error
3073 }
3074 run_test 99a "cvs init ========================================="
3075
3076 test_99b() {
3077         [ ! -d $DIR/d99cvsroot ] && test_99a
3078         cd /etc/init.d
3079         # some versions of cvs import exit(1) when asked to import links or
3080         # files they can't read.  ignore those files.
3081         TOIGNORE=$(find . -type l -printf '-I %f\n' -o \
3082                         ! -perm +4 -printf '-I %f\n')
3083         $RUNAS cvs -d $DIR/d99cvsroot import -m "nomesg" $TOIGNORE \
3084                 d99reposname vtag rtag
3085 }
3086 run_test 99b "cvs import ======================================="
3087
3088 test_99c() {
3089         [ ! -d $DIR/d99cvsroot ] && test_99b
3090         cd $DIR
3091         mkdir -p $DIR/d99reposname
3092         chown $RUNAS_ID $DIR/d99reposname
3093         $RUNAS cvs -d $DIR/d99cvsroot co d99reposname
3094 }
3095 run_test 99c "cvs checkout ====================================="
3096
3097 test_99d() {
3098         [ ! -d $DIR/d99cvsroot ] && test_99c
3099         cd $DIR/d99reposname
3100         $RUNAS touch foo99
3101         $RUNAS cvs add -m 'addmsg' foo99
3102 }
3103 run_test 99d "cvs add =========================================="
3104
3105 test_99e() {
3106         [ ! -d $DIR/d99cvsroot ] && test_99c
3107         cd $DIR/d99reposname
3108         $RUNAS cvs update
3109 }
3110 run_test 99e "cvs update ======================================="
3111
3112 test_99f() {
3113         [ ! -d $DIR/d99cvsroot ] && test_99d
3114         cd $DIR/d99reposname
3115         $RUNAS cvs commit -m 'nomsg' foo99
3116 }
3117 run_test 99f "cvs commit ======================================="
3118
3119 test_100() {
3120         netstat -tna | while read PROT SND RCV LOCAL REMOTE STAT; do
3121                 [ "$PROT" != "tcp" ] && continue
3122                 RPORT=`echo $REMOTE | cut -d: -f2`
3123                 [ "$RPORT" != "$ACCEPTOR_PORT" ] && continue
3124                 LPORT=`echo $LOCAL | cut -d: -f2`
3125                 if [ $LPORT -ge 1024 ]; then
3126                         echo "bad: $PROT $SND $RCV $LOCAL $REMOTE $STAT"
3127                         netstat -tna
3128                         error "local: $LPORT > 1024, remote: $RPORT"
3129                 fi
3130         done
3131         true
3132 }
3133 run_test 100 "check local port using privileged port ==========="
3134
3135 function get_named_value()
3136 {
3137     local tag
3138
3139     tag=$1
3140     while read ;do
3141         line=$REPLY
3142         case $line in
3143         $tag*)
3144             echo $line | sed "s/^$tag//"
3145             break
3146             ;;
3147         esac
3148     done
3149 }
3150
3151 export CACHE_MAX=`cat /proc/fs/lustre/llite/*/max_cached_mb | head -n 1`
3152 cleanup_101() {
3153         for s in $LPROC/llite/*/max_cached_mb; do
3154                 echo $CACHE_MAX > $s
3155         done
3156         trap 0
3157 }
3158
3159 test_101() {
3160         local s
3161         local discard
3162         local nreads=10000
3163         [ "$CPU" = "UML" ] && nreads=1000
3164         local cache_limit=32
3165
3166         for s in $LPROC/osc/*/rpc_stats; do
3167                 echo 0 > $s
3168         done
3169         trap cleanup_101 EXIT
3170         for s in $LPROC/llite/*; do
3171                 echo 0 > $s/read_ahead_stats
3172                 echo $cache_limit > $s/max_cached_mb
3173         done
3174
3175         #
3176         # randomly read 10000 of 64K chunks from file 3x 32MB in size
3177         #
3178         echo "nreads: $nreads file size: $((cache_limit * 3))MB"
3179         $RANDOM_READS -f $DIR/$tfile -s$((cache_limit * 3192 * 1024)) -b65536 -C -n$nreads -t 180
3180
3181         discard=0
3182         for s in $LPROC/llite/*; do
3183                 discard=$(($discard + $(cat $s/read_ahead_stats | get_named_value 'read but discarded')))
3184         done
3185         cleanup_101
3186
3187         if [ $(($discard * 10)) -gt $nreads ] ;then
3188                 for s in $LPROC/osc/*/rpc_stats; do
3189                         echo $s; cat $s
3190                 done
3191                 for s in $LPROC/llite/*/read_ahead_stats; do
3192                         echo $s; cat $s
3193                 done
3194                 error "too many ($discard) discarded pages"
3195         fi
3196         rm -f $DIR/$tfile || true
3197 }
3198 run_test 101 "check read-ahead for random reads ================"
3199
3200 export SETUP_TEST102=no
3201 setup_test102() {
3202         [ "$SETUP_TEST102" = "yes" ] && return
3203         mkdir -p $DIR/$tdir
3204         STRIPE_SIZE=65536
3205         STRIPE_COUNT=4
3206         STRIPE_OFFSET=2
3207
3208         trap cleanup_test102 EXIT
3209         cd $DIR
3210         $SETSTRIPE $tdir $STRIPE_SIZE  $STRIPE_OFFSET $STRIPE_COUNT
3211         cd $DIR/$tdir
3212         for num in 1 2 3 4
3213         do
3214                 for count in 1 2 3 4
3215                 do
3216                         for offset in 0 1 2 3
3217                         do
3218                                 local stripe_size=`expr $STRIPE_SIZE \* $num`
3219                                 local file=file"$num-$offset-$count"
3220                                 $SETSTRIPE $file $stripe_size  $offset $count
3221                         done
3222                 done
3223         done
3224
3225         cd ..
3226         star -c  f=$TMP/f102.tar $tdir
3227         SETUP_TEST102=yes
3228 }
3229
3230 cleanup_test102() {
3231         [ "SETUP_TEST102" = "YES" ] || return
3232         trap 0
3233         rm -f $TMP/f102.tar
3234         rm -rf $DIR/$tdir
3235         SETUP_TEST102=no
3236 }
3237
3238 test_102a() {
3239         local testfile=$DIR/xattr_testfile
3240
3241         rm -f $testfile
3242         touch $testfile
3243
3244         [ "$UID" != 0 ] && echo "skipping $TESTNAME (must run as root)" && return
3245         [ -z "`grep xattr $LPROC/mdc/*[mM][dD][cC]*/connect_flags`" ] && echo "skipping $TESTNAME (must have user_xattr)" && return
3246         [ -z "$(which setfattr 2>/dev/null)" ] && echo "skipping $TESTNAME (could not find setfattr)" && return
3247
3248         echo "set/get xattr..."
3249         setfattr -n trusted.name1 -v value1 $testfile || error
3250         [ "`getfattr -n trusted.name1 $testfile 2> /dev/null | \
3251         grep "trusted.name1"`" == "trusted.name1=\"value1\"" ] || error
3252
3253         setfattr -n user.author1 -v author1 $testfile || error
3254         [ "`getfattr -n user.author1 $testfile 2> /dev/null | \
3255         grep "user.author1"`" == "user.author1=\"author1\"" ] || error
3256
3257         echo "listxattr..."
3258         setfattr -n trusted.name2 -v value2 $testfile || error
3259         setfattr -n trusted.name3 -v value3 $testfile || error
3260         [ `getfattr -d -m "^trusted" $testfile 2> /dev/null | \
3261         grep "trusted.name" | wc -l` -eq 3 ] || error
3262
3263
3264         setfattr -n user.author2 -v author2 $testfile || error
3265         setfattr -n user.author3 -v author3 $testfile || error
3266         [ `getfattr -d -m "^user" $testfile 2> /dev/null | \
3267         grep "user" | wc -l` -eq 3 ] || error
3268
3269         echo "remove xattr..."
3270         setfattr -x trusted.name1 $testfile || error
3271         getfattr -d -m trusted $testfile 2> /dev/null | \
3272         grep "trusted.name1" && error || true
3273
3274         setfattr -x user.author1 $testfile || error
3275         getfattr -d -m user $testfile 2> /dev/null | \
3276         grep "user.author1" && error || true
3277
3278         # b10667: setting lustre special xattr be silently discarded
3279         echo "set lustre special xattr ..."
3280         setfattr -n "trusted.lov" -v "invalid value" $testfile || error
3281
3282         rm -f $testfile
3283 }
3284 run_test 102a "user xattr test =================================="
3285
3286 test_102b() {
3287         # b10930: get/set/list trusted.lov xattr
3288         echo "get/set/list trusted.lov xattr ..."
3289         [ "$OSTCOUNT" -lt "2" ] && echo "skipping 2-stripe test" && return
3290         local testfile=$DIR/$tfile
3291         $SETSTRIPE $testfile 65536 1 2
3292         getfattr -d -m "^trusted" $testfile 2> /dev/null | \
3293         grep "trusted.lov" || error
3294
3295         local testfile2=${testfile}2
3296         local value=`getfattr -n trusted.lov $testfile 2> /dev/null | \
3297                      grep "trusted.lov" |sed -e 's/[^=]\+=//'`
3298
3299         $MCREATE $testfile2
3300         setfattr -n trusted.lov -v $value $testfile2
3301         local tmp_file=${testfile}3
3302         $GETSTRIPE -v $testfile2 > $tmp_file
3303         local stripe_size=`grep "size"  $tmp_file| awk '{print $2}'`
3304         local stripe_count=`grep "count"  $tmp_file| awk '{print $2}'`
3305         [ $stripe_size -eq 65536 ] || error "different stripe size"
3306         [ $stripe_count -eq 2 ] || error "different stripe count"
3307 }
3308 run_test 102b "getfattr/setfattr for trusted.lov EAs ============"
3309
3310 test_102c() {
3311         # b10930: get/set/list trusted.lov xattr
3312         echo "get/set/list trusted.lov xattr ..."
3313         [ "$OSTCOUNT" -lt "2" ] && echo "skipping 2-stripe test" && return
3314         mkdir -p $DIR/$tdir
3315         chown $RUNAS_ID $DIR/$tdir
3316         local testfile=$DIR/$tdir/$tfile
3317         $RUNAS $SETSTRIPE $testfile 65536 1 2
3318         $RUNAS getfattr -d -m "^trusted" $testfile 2> /dev/null | \
3319         grep "trusted.lov" || error
3320
3321         local testfile2=${testfile}2
3322         local value=`getfattr -n trusted.lov $testfile 2> /dev/null | \
3323                      grep "trusted.lov" |sed -e 's/[^=]\+=//'  `
3324
3325         $RUNAS $MCREATE $testfile2
3326         $RUNAS setfattr -n trusted.lov -v $value $testfile2
3327         local tmp_file=${testfile}3
3328         $RUNAS $GETSTRIPE -v $testfile2 > $tmp_file
3329         local stripe_size=`grep "size"  $tmp_file| awk '{print $2}'`
3330         local stripe_count=`grep "count"  $tmp_file| awk '{print $2}'`
3331         [ $stripe_size -eq 65536 ] || error "different stripe size"
3332         [ $stripe_count -eq 2 ] || error "different stripe count"
3333 }
3334 run_test 102c "non-root getfattr/setfattr for trusted.lov EAs ==========="
3335
3336 get_stripe_info() {
3337         stripe_size=0
3338         stripe_count=0
3339         stripe_offset=0
3340         local lines=`sed -n '/obdidx/=' $1`
3341         stripe_size=`awk '{if($1~/size/) print $2}' $1`
3342         stripe_count=`awk '{if($1~/count/) print $2}' $1`
3343         lines=`expr $lines + 1`
3344         stripe_offset=`sed -n ${lines}p $1 |awk '{print $1}'`
3345 }
3346
3347 compare_stripe_info1() {
3348         for num in 1 2 3 4
3349         do
3350                 for count in 1 2 3 4
3351                 do
3352                         for offset in 0 1 2 3
3353                         do
3354                                 local size=`expr $STRIPE_SIZE \* $num`
3355                                 local file=file"$num-$offset-$count"
3356                                 local tmp_file=out
3357                                 $GETSTRIPE -v $file > $tmp_file
3358                                 get_stripe_info  $tmp_file
3359                                 if test $stripe_size -ne $size
3360                                 then
3361                                         error "$file: different stripe size" && return
3362                                 fi
3363                                 if test $stripe_count -ne $count
3364                                 then
3365                                         error "$file: different stripe count" && return
3366                                 fi
3367                                 if test $stripe_offset -ne 0
3368                                 then
3369                                         error "$file: different stripe offset" && return
3370                                 fi
3371                                 rm -f $tmp_file
3372                         done
3373                 done
3374         done
3375 }
3376
3377 compare_stripe_info2() {
3378         for num in 1 2 3 4
3379         do
3380                 for count in 1 2 3 4
3381                 do
3382                         for offset in 0 1 2 3
3383                         do
3384                                 local size=`expr $STRIPE_SIZE \* $num`
3385                                 local file=file"$num-$offset-$count"
3386                                 local tmp_file=out
3387                                 $GETSTRIPE -v $file > $tmp_file
3388                                 get_stripe_info  $tmp_file
3389                                 if test $stripe_size -ne $size
3390                                 then
3391                                         error "$file: different stripe size" && return
3392                                 fi
3393                                 if test $stripe_count -ne $count
3394                                 then
3395                                         error "$file: different stripe count" && return
3396                                 fi
3397                                 if test $stripe_offset -ne $offset
3398                                 then
3399                                         error "$file: different stripe offset" && return
3400                                 fi
3401                                 rm -f $tmp_file
3402                         done
3403                 done
3404         done
3405 }
3406
3407 test_102d() {
3408         # b10930: star test for trusted.lov xattr
3409         star --xhelp 2>&1 | grep -q nolustre
3410         if [ $? -ne 0 ]
3411         then
3412                 echo "$TESTNUM being skipped because a lustre-aware star is not installed." && return
3413         fi
3414         [ "$OSTCOUNT" -lt "4" ] && echo "skipping 4-stripe test" && return
3415         setup_test102
3416         mkdir -p $DIR/d102d
3417         star -x  f=$TMP/f102.tar -C $DIR/d102d
3418         cd $DIR/d102d/$tdir
3419         compare_stripe_info1
3420
3421 }
3422 run_test 102d "star restore stripe info from tarfile,not keep osts ==========="
3423
3424 test_102e() {
3425         # b10930: star test for trusted.lov xattr
3426         star --xhelp 2>&1 | grep -q nolustre
3427         if [ $? -ne 0 ]
3428         then
3429                 echo "$TESTNUM being skipped because a lustre-aware star is not installed." && return
3430         fi
3431         [ "$OSTCOUNT" -lt "4" ] && echo "skipping 4-stripe test" && return
3432         setup_test102
3433         mkdir -p $DIR/d102e
3434         star -x  -preserve-osts f=$TMP/f102.tar -C $DIR/d102e
3435         cd $DIR/d102e/$tdir
3436         compare_stripe_info2
3437 }
3438 run_test 102e "star restore stripe info from tarfile, keep osts ==========="
3439
3440 test_102f() {
3441         # b10930: star test for trusted.lov xattr
3442         star --xhelp 2>&1 | grep -q nolustre
3443         if [ $? -ne 0 ]
3444         then
3445                 echo "$TESTNUM being skipped because a lustre-aware star is not installed." && return
3446         fi
3447         [ "$OSTCOUNT" -lt "4" ] && echo "skipping 4-stripe test" && return
3448         setup_test102
3449         mkdir -p $DIR/d102f
3450         cd $DIR
3451         star -copy  $tdir $DIR/d102f
3452         cd $DIR/d102f/$tdir
3453         compare_stripe_info1
3454 }
3455 run_test 102f "star copy files, not keep osts ==========="
3456
3457 test_102g() {
3458         # b10930: star test for trusted.lov xattr
3459         star --xhelp 2>&1 | grep -q nolustre
3460         if [ $? -ne 0 ]
3461         then
3462                 echo "$TESTNUM being skipped because a lustre-aware star is not installed." && return
3463         fi
3464         [ "$OSTCOUNT" -lt "4" ] && echo "skipping 4-stripe test" && return
3465         setup_test102
3466         mkdir -p $DIR/d102g
3467         cd $DIR
3468         star -copy -preserve-osts $tdir $DIR/d102g
3469         cd $DIR/d102g/$tdir
3470         compare_stripe_info2
3471         cleanup_test102
3472 }
3473 run_test 102g "star copy files, keep osts ==========="
3474
3475 run_acl_subtest()
3476 {
3477     $SAVE_PWD/acl/run $SAVE_PWD/acl/$1.test
3478     return $?
3479 }
3480
3481 test_103 () {
3482     [ "$UID" != 0 ] && echo "skipping $TESTNAME (must run as root)" && return
3483     [ -z "$(grep acl $LPROC/mdc/*[mM][dD][cC]*/connect_flags)" ] && echo "skipping $TESTNAME (must have acl enabled)" && return
3484     [ -z "$(which setfacl 2>/dev/null)" ] && echo "skipping $TESTNAME (could not find setfacl)" && return
3485
3486     SAVE_UMASK=`umask`
3487     umask 0022
3488     cd $DIR
3489
3490     echo "performing cp ..."
3491     run_acl_subtest cp || error
3492     echo "performing getfacl-noacl..."
3493     run_acl_subtest getfacl-noacl || error
3494     echo "performing misc..."
3495     run_acl_subtest misc || error
3496 #    XXX add back permission test when we support supplementary groups.
3497 #    echo "performing permissions..."
3498 #    run_acl_subtest permissions || error
3499     echo "performing setfacl..."
3500     run_acl_subtest setfacl || error
3501
3502     # inheritance test got from HP
3503     echo "performing inheritance..."
3504     cp $SAVE_PWD/acl/make-tree . || error
3505     chmod +x make-tree || error
3506     run_acl_subtest inheritance || error
3507     rm -f make-tree
3508
3509     cd $SAVE_PWD
3510     umask $SAVE_UMASK
3511 }
3512 run_test 103 "acl test ========================================="
3513
3514 test_104() {
3515         touch $DIR/$tfile
3516         lfs df || error "lfs df failed"
3517         lfs df -ih || error "lfs df -ih failed"
3518         lfs df -h $DIR || error "lfs df -h $DIR failed"
3519         lfs df -i $DIR || error "lfs df -i $DIR failed"
3520         lfs df $DIR/$tfile || error "lfs df $DIR/$tfile failed"
3521         lfs df -ih $DIR/$tfile || error "lfs df -ih $DIR/$tfile failed"
3522
3523         OSC=`awk '/-osc-|OSC.*MNT/ {print $4}' $LPROC/devices | head -n 1`
3524         lctl --device %$OSC deactivate
3525         lfs df || error "lfs df with deactivated OSC failed"
3526         lctl --device %$OSC recover
3527         lfs df || error "lfs df with reactivated OSC failed"
3528 }
3529 run_test 104 "lfs df [-ih] [path] test ========================="
3530
3531 test_105a() {
3532         # doesn't work on 2.4 kernels
3533         touch $DIR/$tfile
3534         if [ -n "`mount | grep \"$DIR.*flock\" | grep -v noflock`" ];
3535         then
3536                 flocks_test on -f $DIR/$tfile || error "fail flock on"
3537         else
3538                 flocks_test off -f $DIR/$tfile || error "fail flock off"
3539         fi
3540 }
3541 run_test 105a "flock when mounted without -o flock test ========"
3542
3543 test_105b() {
3544         touch $DIR/$tfile
3545         if [ -n "`mount | grep \"$DIR.*flock\" | grep -v noflock`" ];
3546         then
3547                 flocks_test on -c $DIR/$tfile || error "fail flock on"
3548         else
3549                 flocks_test off -c $DIR/$tfile || error "fail flock off"
3550         fi
3551 }
3552 run_test 105b "fcntl when mounted without -o flock test ========"
3553
3554 test_105c() {
3555         touch $DIR/$tfile
3556         if [ -n "`mount | grep \"$DIR.*flock\" | grep -v noflock`" ];
3557         then
3558                 flocks_test on -l $DIR/$tfile || error "fail flock on"
3559         else
3560                 flocks_test off -l $DIR/$tfile || error "fail flock off"
3561         fi
3562 }
3563 run_test 105c "lockf when mounted without -o flock test ========"
3564
3565 test_106() { #10921
3566         mkdir $DIR/d106
3567         $DIR/d106 && error
3568         chmod 777 $DIR/d106 || error
3569 }
3570 run_test 106 "attempt exec of dir followed by chown of that dir"
3571
3572 test_107() {
3573         CDIR=`pwd`
3574         cd $DIR
3575         ulimit -c unlimited
3576         sleep 60 &
3577         SLEEPPID=$!
3578
3579         file=`cat /proc/sys/kernel/core_pattern`
3580         core_pid=`cat /proc/sys/kernel/core_uses_pid`
3581         [ $core_pid -eq 1 ] && file=$file.$SLEEPPID
3582         rm -f $file
3583         sleep 1
3584
3585         kill -s 11 $SLEEPPID
3586         wait $SLEEPPID
3587         if [ -e $file ]; then
3588                 size=`stat -c%s $file`
3589                 [ $size -eq 0 ] && error "Fail to create core file $file"
3590         else
3591                 error "Fail to create core file $file"
3592         fi
3593         rm -f $file
3594         cd $CDIR
3595 }
3596 run_test 107 "Coredump on SIG"
3597
3598 test_115() {
3599         OSTIO_pre=$(ps -e|grep ll_ost_io|awk '{print $4}'|sort -n|tail -1|\
3600             cut -c11-20)
3601         [ -z "$OSTIO_pre" ] && echo "skipping $TESTNAME: no OSS threads" && \
3602             return
3603         echo "Starting with $OSTIO_pre threads"
3604
3605         NUMTEST=20000
3606         NUMFREE=`df -i -P $DIR | tail -n 1 | awk '{ print $4 }'`
3607         [ $NUMFREE -lt $NUMTEST ] && NUMTEST=$(($NUMFREE - 1000))
3608         echo "$NUMTEST creates/unlinks"
3609         mkdir -p $DIR/$tdir
3610         createmany -o $DIR/$tdir/$tfile $NUMTEST
3611         unlinkmany $DIR/$tdir/$tfile $NUMTEST
3612
3613         OSTIO_post=$(ps -e|grep ll_ost_io|awk '{print $4}'|sort -n|tail -1|\
3614             cut -c11-20)
3615
3616         # don't return an error
3617         [ $OSTIO_post -eq $OSTIO_pre ] && echo \
3618             "FAIL: No addition ll_ost_io threads were created ($OSTIO_pre)" &&\
3619             echo "This may be fine, depending on what ran before this test" &&\
3620             echo "and how fast this system is." && return
3621
3622         echo "Started with $OSTIO_pre threads, ended with $OSTIO_post"
3623 }
3624 run_test 115 "verify dynamic thread creation===================="
3625
3626 free_min_max () {
3627         AVAIL=($(cat $LPROC/osc/*[oO][sS][cC]-*/kbytesavail))
3628         echo OST kbytes available: ${AVAIL[@]}
3629         MAXI=0; MAXV=${AVAIL[0]}
3630         MINI=0; MINV=${AVAIL[0]}
3631         for ((i = 0; i < ${#AVAIL[@]}; i++)); do
3632             #echo OST $i: ${AVAIL[i]}kb
3633             if [ ${AVAIL[i]} -gt $MAXV ]; then
3634                 MAXV=${AVAIL[i]}; MAXI=$i
3635             fi
3636             if [ ${AVAIL[i]} -lt $MINV ]; then
3637                 MINV=${AVAIL[i]}; MINI=$i
3638             fi
3639         done
3640         echo Min free space: OST $MINI: $MINV
3641         echo Max free space: OST $MAXI: $MAXV
3642 }
3643
3644 test_116() {
3645         [ "$OSTCOUNT" -lt "2" ] && echo "not enough OSTs" && return
3646
3647         echo -n "Free space priority "
3648         cat $LPROC/lov/*/qos_prio_free
3649         DELAY=$(cat $LPROC/lov/*/qos_maxage | head -1 | awk '{print $1}')
3650         declare -a AVAIL
3651         free_min_max
3652         [ $MINV -gt 960000 ] && echo "too much free space in OST$MINI, skip" &&\
3653                 return
3654
3655         # generate uneven OSTs
3656         mkdir -p $DIR/$tdir/OST${MINI}
3657         declare -i FILL
3658         FILL=$(($MINV / 4))
3659         echo "Filling 25% remaining space in OST${MINI} with ${FILL}Kb"
3660         $SETSTRIPE $DIR/$tdir/OST${MINI} 0 $MINI 1
3661         i=1
3662         while [ $FILL -gt 0 ]; do
3663             dd if=/dev/zero of=$DIR/$tdir/OST${MINI}/$tfile-$i bs=2M count=1 2>/dev/null
3664             FILL=$(($FILL - 2048))
3665             echo -n .
3666             i=$(($i + 1))
3667         done
3668         FILL=$(($MINV / 4))
3669         sync
3670         sleep $DELAY
3671
3672         free_min_max
3673         DIFF=$(($MAXV - $MINV))
3674         DIFF2=$(($MINV * 2 / 10))
3675         echo -n "diff=$DIFF must be > 20%=$DIFF2 for QOS mode..."
3676         if [ $DIFF -gt $DIFF2 ]; then
3677             echo "ok"
3678         else
3679             echo "failed - QOS mode won't be used"
3680             error "QOS imbalance criteria not met"
3681             return
3682         fi
3683
3684         MINI1=$MINI; MINV1=$MINV
3685         MAXI1=$MAXI; MAXV1=$MAXV
3686
3687         # now fill using QOS
3688         echo writing a bunch of files to QOS-assigned OSTs
3689         i=1
3690         while [ $FILL -gt 0 ]; do
3691             dd if=/dev/zero of=$DIR/$tdir/$tfile-$i bs=1024 count=200 2>/dev/null
3692             FILL=$(($FILL - 200))
3693             echo -n .
3694             i=$(($i + 1))
3695         done
3696         echo "wrote $i 200k files"
3697         sync
3698         sleep $DELAY
3699
3700         echo "Note: free space may not be updated, so measurements might be off"
3701         free_min_max
3702         DIFF2=$(($MAXV - $MINV))
3703         echo "free space delta: orig $DIFF final $DIFF2"
3704         [ $DIFF2 -gt $DIFF ] && echo "delta got worse!"
3705         DIFF=$(($MINV1 - ${AVAIL[$MINI1]}))
3706         echo "Wrote $DIFF to OST $MINI1"
3707         DIFF2=$(($MAXV1 - ${AVAIL[$MAXI1]}))
3708         echo "Wrote $DIFF2 to OST $MAXI1"
3709         echo "Wrote $(($DIFF2 * 100 / $DIFF - 100))% more to OST $MAXI1"
3710
3711         # Figure out which files were written where
3712         UUID=$(awk '/'$MINI1': / {print $2; exit}' $LPROC/lov/${FSNAME}-clilov-*/target_obd)
3713         echo $UUID
3714         MINC=$($LFS getstripe --obd $UUID $DIR/$tdir | wc -l)
3715         echo "$MINC files created on smaller OST $MINI1"
3716         UUID=$(awk '/'$MAXI1': / {print $2; exit}' $LPROC/lov/${FSNAME}-clilov-*/target_obd)
3717         MAXC=$($LFS getstripe --obd $UUID $DIR/$tdir | wc -l)
3718         echo "$MAXC files created on larger OST $MAXI1"
3719         echo "Wrote $(($MAXC * 100 / $MINC - 100))% more files to OST $MAXI1"
3720         [ $MAXC -gt $MINC ] || error "stripe QOS didn't balance free space"
3721 }
3722 run_test 116 "stripe QOS: free space balance ==================="
3723
3724 test_117() # bug 10891
3725 {
3726         dd if=/dev/zero of=$DIR/$tfile bs=1M count=1
3727         #define OBD_FAIL_OST_SETATTR_CREDITS 0x21e
3728         sysctl -w lustre.fail_loc=0x21e
3729         > $DIR/$tfile || error "truncate failed"
3730         sysctl -w lustre.fail_loc=0
3731         echo "Truncate succeeded."
3732 }
3733 run_test 117 "verify fsfilt_extend =========="
3734
3735 TMPDIR=$OLDTMPDIR
3736 TMP=$OLDTMP
3737 HOME=$OLDHOME
3738
3739 log "cleanup: ======================================================"
3740 if [ "`mount | grep $MOUNT`" ]; then
3741     rm -rf $DIR/[Rdfs][1-9]*
3742 fi
3743 if [ "$I_MOUNTED" = "yes" ]; then
3744     cleanupall -f || error "cleanup failed"
3745 fi
3746
3747
3748 echo '=========================== finished ==============================='
3749 [ -f "$SANITYLOG" ] && cat $SANITYLOG && exit 1 || true
3750 echo "$0: completed"