lustre/tests/sanity-quota.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6 # Run test by setting NOSETUP=true when ltest has setup env for us
   7 set -e
   8
   9 #kernel 2.4.x doesn't support quota
  10 K_VER=`uname --kernel-release | cut -b 1-3`
  11 if [ $K_VER = "2.4" ]; then
  12     echo "Kernel 2.4 doesn't support quota"
  13     exit 0
  14 fi
  15
  16 SRCDIR=`dirname $0`
  17 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
  18
  19 if [ "$1" == "9_10" ]; then
  20         echo "only run for test9 and test10"
  21         shift
  22         TEST_9_10=1
  23         ONLY="9 10"
  24 else
  25         TEST_9_10=0
  26 fi
  27 ONLY=${ONLY:-"$*"}
  28 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-""}
  29 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  30
  31 case `uname -r` in
  32 2.6*) FSTYPE=${FSTYPE:-ldiskfs};;
  33 *) error "unsupported kernel" ;;
  34 esac
  35
  36 [ "$ALWAYS_EXCEPT$EXCEPT" ] && \
  37         echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT`"
  38
  39 TMP=${TMP:-/tmp}
  40
  41 ORIG_PWD=${PWD}
  42 LFS=${LFS:-lfs}
  43 LCTL=${LCTL:-lctl}
  44 SETSTRIPE=${SETSTRIPE:-"$LFS setstripe"}
  45 TSTID=${TSTID:-60000}
  46 TSTID2=${TSTID2:-60001}
  47 RUNAS=${RUNAS:-"runas -u $TSTID"}
  48 RUNAS2=${RUNAS2:-"runas -u $TSTID2"}
  49 TSTUSR=${TSTUSR:-"quota_usr"}
  50 TSTUSR2=${TSTUSR2:-"quota_2usr"}
  51 BLK_SZ=1024
  52 BUNIT_SZ=${BUNIT_SZ:-1000}      # default 1000 quota blocks
  53 BTUNE_SZ=${BTUNE_SZ:-500}       # default 50% of BUNIT_SZ
  54 IUNIT_SZ=${IUNIT_SZ:-10}        # default 10 files
  55 ITUNE_SZ=${ITUNE_SZ:-5}         # default 50% of IUNIT_SZ
  56 MAX_DQ_TIME=604800
  57 MAX_IQ_TIME=604800
  58
  59 log() {
  60         echo "$*"
  61         $LCTL mark "$*" 2> /dev/null || true
  62 }
  63
  64 trace() {
  65         log "STARTING: $*"
  66         strace -o $TMP/$1.strace -ttt $*
  67         RC=$?
  68         log "FINISHED: $*: rc $RC"
  69         return 1
  70 }
  71 TRACE=${TRACE:-""}
  72
  73 run_one() {
  74         BEFORE=`date +%s`
  75         log "== test $1: $2= `date +%H:%M:%S` ($BEFORE)"
  76         export TESTNAME=test_$1
  77         test_$1 || error "exit with rc=$?"
  78         unset TESTNAME
  79         pass "($((`date +%s` - $BEFORE))s)"
  80         cd $SAVE_PWD
  81 }
  82
  83 build_test_filter() {
  84         [ "$ALWAYS_EXCEPT$EXCEPT$SANITY_EXCEPT" ] && \
  85             echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT $SANITY_QUOTA_EXCEPT`"
  86
  87         for O in $ONLY; do
  88             eval ONLY_${O}=true
  89         done
  90         for E in $EXCEPT $ALWAYS_EXCEPT $SANITY_QUOTA_EXCEPT; do
  91             eval EXCEPT_${E}=true
  92         done
  93         # turn on/off quota tests must be included
  94         eval ONLY_0=true
  95         eval ONLY_99=true
  96 }
  97
  98 _basetest() {
  99         echo $*
 100 }
 101
 102 basetest() {
 103         IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 104 }
 105
 106 run_test() {
 107          base=`basetest $1`
 108          if [ "$ONLY" ]; then
 109                  testname=ONLY_$1
 110                  if [ ${!testname}x != x ]; then
 111                         run_one $1 "$2"
 112                         return $?
 113                  fi
 114                  testname=ONLY_$base
 115                  if [ ${!testname}x != x ]; then
 116                          run_one $1 "$2"
 117                          return $?
 118                  fi
 119                  echo -n "."
 120                  return 0
 121         fi
 122         testname=EXCEPT_$1
 123         if [ ${!testname}x != x ]; then
 124                  echo "skipping excluded test $1"
 125                  return 0
 126         fi
 127         testname=EXCEPT_$base
 128         if [ ${!testname}x != x ]; then
 129                  echo "skipping excluded test $1 (base $base)"
 130                  return 0
 131         fi
 132         run_one $1 "$2"
 133         return $?
 134 }
 135
 136 [ "$QUOTALOG" ] && rm -f $QUOTALOG || true
 137
 138 error() {
 139         sysctl -w lustre.fail_loc=0
 140         log "FAIL: $TESTNAME $@"
 141         if [ "$QUOTALOG" ]; then
 142                 echo "FAIL: $TESTNAME $@" >> $QUOTALOG
 143         else
 144                 exit 1
 145         fi
 146 }
 147
 148 pass() {
 149         echo PASS $@
 150 }
 151
 152 mounted_lustre_filesystems() {
 153         awk '($3 ~ "lustre" && $1 ~ ":") { print $2 }' /proc/mounts | sed -n ${1}p
 154 }
 155
 156 # Remember where our caller has hinted that we should mount lustre
 157 MOUNT_HINT=$MOUNT
 158 MOUNT_HINT2=$MOUNT2
 159 MOUNT="`mounted_lustre_filesystems 1`"
 160 MOUNT2="`mounted_lustre_filesystems 2`"
 161 if [ $TEST_9_10 -eq 1 -a "$MOUNT" ]; then
 162         echo "test9 and test10 will run on $MOUNT"
 163 elif [ "$MOUNT" -a "$MOUNT2" ]; then
 164         echo "testing on $MOUNT and $MOUNT2"
 165 elif [ "$MOUNT" -o "$MOUNT2" ]; then
 166         error "test needs two mounts, only found $MOUNT $MOUNT2!"
 167 else
 168         export QUOTA_OPTS="quotaon=ug"
 169         export MOUNT=$MOUNT_HINT
 170         export MOUNT2=$MOUNT_HINT2
 171         MOUNT2=${MOUNT2:-/mnt/lustre2}
 172         sh llmount.sh
 173         MOUNT="`mounted_lustre_filesystems 1`"
 174         MOUNT2="`mounted_lustre_filesystems 2`"
 175         [ -z "$MOUNT" ] && error "NAME=$MOUNT not mounted"
 176         [ -z "$MOUNT2" ] && error "NAME=$MOUNT2 not mounted"
 177         I_MOUNTED=yes
 178 fi
 179
 180 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
 181
 182 DIR=${DIR:-$MOUNT}
 183 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
 184 DIR2=${DIR2:-$MOUNT2}
 185
 186 LPROC=/proc/fs/lustre
 187 LOVNAME=`cat $LPROC/llite/*/lov/common_name | tail -n 1`
 188 if [ $TEST_9_10 -eq 1 ]; then
 189     OSTCOUNT=2
 190 else
 191     OSTCOUNT=`cat $LPROC/lov/$LOVNAME/numobd`
 192 fi
 193 STRIPECOUNT=`cat $LPROC/lov/$LOVNAME/stripecount`
 194 STRIPESIZE=`cat $LPROC/lov/$LOVNAME/stripesize`
 195 ORIGFREE=`cat $LPROC/lov/$LOVNAME/kbytesavail`
 196 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
 197 MDS=$(\ls $LPROC/mds 2> /dev/null | grep -v num_refs | tail -n 1)
 198 TSTDIR=$DIR/quota_test_dir
 199 TSTDIR2=$DIR2/quota_test_dir
 200 SHOW_QUOTA_USER="$LFS quota -u $TSTUSR $MOUNT"
 201 SHOW_QUOTA_GROUP="$LFS quota -g $TSTUSR $MOUNT"
 202 SHOW_QUOTA_INFO="$LFS quota -t $MOUNT"
 203
 204 build_test_filter
 205
 206
 207 # set_blk_tunables(btune_sz)
 208 set_blk_tunesz() {
 209         # set btune size on all obdfilters
 210         for i in /proc/fs/lustre/obdfilter/*/quota_btune_sz; do
 211                 echo $(($1 * $BLK_SZ)) > $i
 212         done
 213         # set btune size on mds
 214         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_btune_sz; do
 215                 echo $(($1 * $BLK_SZ)) > $i
 216         done
 217 }
 218
 219 # set_blk_unitsz(bunit_sz)
 220 set_blk_unitsz() {
 221         for i in /proc/fs/lustre/obdfilter/*/quota_bunit_sz; do
 222                 echo $(($1 * $BLK_SZ)) > $i
 223         done
 224         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_bunit_sz; do
 225                 echo $(($1 * $BLK_SZ)) > $i
 226         done
 227 }
 228
 229 # set_file_tunesz(itune_sz)
 230 set_file_tunesz() {
 231         # set iunit and itune size on all obdfilters
 232         for i in /proc/fs/lustre/obdfilter/*/quota_itune_sz; do
 233                 echo $1 > $i
 234         done
 235         # set iunit and itune size on mds
 236         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_itune_sz; do
 237                 echo $1 > $i
 238         done
 239 }
 240
 241 # set_file_unitsz(iunit_sz)
 242 set_file_unitsz() {
 243         for i in `ls /proc/fs/lustre/obdfilter/*/quota_iunit_sz`; do
 244                 echo $1 > $i
 245         done;
 246         for i in `ls /proc/fs/lustre/mds/lustre-MDT*/quota_iunit_sz`; do
 247                 echo $1 > $i
 248         done
 249 }
 250
 251 # These are for test on local machine,if run sanity-quota.sh on
 252 # real cluster, ltest should have setup the test environment:
 253 #
 254 # - create test user/group on all servers with same id.
 255 # - set unit size/tune on all servers size to reasonable value.
 256 pre_test() {
 257         if [ -z "$NOSETUP" ]; then
 258                 # set block tunables
 259                 set_blk_tunesz $BTUNE_SZ
 260                 set_blk_unitsz $BUNIT_SZ
 261                 # set file tunables
 262                 set_file_tunesz $ITUNE_SZ
 263                 set_file_unitsz $IUNIT_SZ
 264         fi
 265 }
 266 if [ $TEST_9_10 -eq 0 ]; then
 267     pre_test
 268 fi
 269
 270 post_test() {
 271         if [ -z "$NOSETUP" ]; then
 272                 # restore block tunables to default size
 273                 set_blk_unitsz $((1024 * 100))
 274                 set_blk_tunesz $((1024 * 50))
 275                 # restore file tunables to default size
 276                 set_file_unitsz 5000
 277                 set_file_tunesz 2500
 278         fi
 279 }
 280
 281 setup() {
 282         # create local test group
 283         GRP="`cat /etc/group | grep "$TSTUSR" | awk -F: '{print $1}'`"
 284         if [ -z "$GRP" ]; then
 285                 groupadd -g $TSTID "$TSTUSR"
 286         fi
 287         TSTID="`cat /etc/group | grep "$TSTUSR" | awk -F: '{print $3}'`"
 288
 289         GRP2="`cat /etc/group | grep "$TSTUSR2" | awk -F: '{print $1}'`"
 290         if [ -z "$GRP2" ]; then
 291                 groupadd -g $TSTID2 "$TSTUSR2"
 292         fi
 293         TSTID2="`cat /etc/group | grep "$TSTUSR2" | awk -F: '{print $3}'`"
 294
 295         # create test user
 296         USR="`cat /etc/passwd | grep "$TSTUSR" | awk -F: '{print $1}'`"
 297         if [ -z "$USR" ]; then
 298                 useradd -u $TSTID -g $TSTID -d /tmp "$TSTUSR"
 299         fi
 300
 301         RUNAS="runas -u $TSTID"
 302
 303         USR2="`cat /etc/passwd | grep "$TSTUSR2" | awk -F: '{print $1}'`"
 304         if [ -z "$USR2" ]; then
 305                 useradd -u $TSTID2 -g $TSTID2 -d /tmp "$TSTUSR2"
 306         fi
 307
 308         RUNAS2="runas -u $TSTID2"
 309
 310         # create test directory
 311         rm -fr $TSTDIR
 312
 313         mkdir -p $TSTDIR
 314         chmod 777 $TSTDIR
 315 }
 316 setup
 317
 318 # set quota
 319 test_0() {
 320         $LFS quotaoff -ug $MOUNT
 321         $LFS quotacheck -ug $MOUNT
 322
 323         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 324         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 325 }
 326 run_test 0 "Set quota ============================="
 327
 328 # block hard limit (normal use and out of quota)
 329 test_1() {
 330         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits each sever
 331         TESTFILE="$TSTDIR/quota_tst10"
 332
 333         echo "  User quota (limit: $LIMIT kbytes)"
 334         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 335         $SHOW_QUOTA_USER
 336
 337         $LFS setstripe $TESTFILE 65536 0 1
 338         chown $TSTUSR.$TSTUSR $TESTFILE
 339
 340         echo "    Write ..."
 341         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(usr) write failure, but expect success"
 342         echo "    Done"
 343         echo "    Write out of block quota ..."
 344         # this time maybe cache write,  ignore it's failure
 345         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 346         # flush cache, ensure noquota flag is setted on client
 347         sync; sleep 1; sync;
 348         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(usr) write success, but expect EDQUOT"
 349
 350         rm -f $TESTFILE
 351
 352         echo "  Group quota (limit: $LIMIT kbytes)"
 353         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 354         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 355         $SHOW_QUOTA_GROUP
 356         TESTFILE="$TSTDIR/quota_tst11"
 357
 358         $LFS setstripe $TESTFILE 65536 0 1
 359         chown $TSTUSR.$TSTUSR $TESTFILE
 360
 361         echo "    Write ..."
 362         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(grp) write failure, but expect success"
 363         echo "    Done"
 364         echo "    Write out of block quota ..."
 365         # this time maybe cache write, ignore it's failure
 366         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 367         sync; sleep 1; sync;
 368         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(grp) write success, but expect EDQUOT"
 369
 370         # cleanup
 371         rm -f $TESTFILE
 372         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 373 }
 374 run_test 1 "Block hard limit (normal use and out of quota) ==="
 375
 376 # file hard limit (normal use and out of quota)
 377 test_2() {
 378         LIMIT=$(($IUNIT_SZ * 10)) # 10 iunits on mds
 379         TESTFILE="$TSTDIR/quota_tstr20"
 380
 381         echo "  User quota (limit: $LIMIT files)"
 382         $LFS setquota -u $TSTUSR 0 0 0 $LIMIT $MOUNT
 383         $SHOW_QUOTA_USER
 384
 385         echo "    Create $LIMIT files ..."
 386         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 387             error "(usr) create failure, but except success"
 388         echo "    Done"
 389         echo "    Create out of file quota ..."
 390         $RUNAS touch ${TESTFILE}_xxx && \
 391                 error "(usr) touch success, but expect EDQUOT"
 392
 393         unlinkmany ${TESTFILE} $LIMIT
 394         rm ${TESTFILE}_xxx
 395
 396         echo "  Group quota (limit: $LIMIT files)"
 397         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 398         $LFS setquota -g $TSTUSR 0 0 0 $LIMIT $MOUNT
 399         $SHOW_QUOTA_GROUP
 400         TESTFILE="$TSTDIR/quota_tst21"
 401
 402         echo "    Create $LIMIT files ..."
 403         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 404                 error "(grp) create failure, but expect success"
 405
 406         echo "    Done"
 407         echo "    Create out of file quota ..."
 408         $RUNAS touch ${TESTFILE}_xxx && \
 409                 error "(grp) touch success, but expect EDQUOT"
 410
 411         $RUNAS touch ${TESTFILE}_xxx > /dev/null 2>&1 && error "(grp) touch success, but expect EDQUOT"
 412
 413         # cleanup
 414         unlinkmany ${TESTFILE} $LIMIT
 415         rm ${TESTFILE}_xxx
 416
 417         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 418 }
 419 run_test 2 "File hard limit (normal use and out of quota) ==="
 420
 421 test_block_soft() {
 422         TESTFILE=$1
 423         TIMER=$(($2 * 3 / 2))
 424         OFFSET=0
 425
 426         echo "    Write to exceed soft limit"
 427         RUNDD="$RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ"
 428         $RUNDD count=$((BUNIT_SZ+1)) || \
 429                 error "write failure, but expect success"
 430         OFFSET=$((OFFSET + BUNIT_SZ + 1))
 431         sync; sleep 1; sync;
 432
 433         $SHOW_QUOTA_USER
 434         $SHOW_QUOTA_GROUP
 435         $SHOW_QUOTA_INFO
 436
 437         echo "    Write before timer goes off"
 438         $RUNDD count=$BUNIT_SZ seek=$OFFSET || \
 439                 error "write failure, but expect success"
 440         OFFSET=$((OFFSET + BUNIT_SZ))
 441         sync; sleep 1; sync;
 442         echo "    Done"
 443
 444         echo "    Sleep $TIMER seconds ..."
 445         sleep $TIMER
 446
 447         $SHOW_QUOTA_USER
 448         $SHOW_QUOTA_GROUP
 449         $SHOW_QUOTA_INFO
 450
 451         echo "    Write after timer goes off"
 452         # maybe cache write, ignore.
 453         sync; sleep 1; sync;
 454         $RUNDD count=$BUNIT_SZ seek=$OFFSET || true
 455         OFFSET=$((OFFSET + BUNIT_SZ))
 456         sync; sleep 1; sync;
 457         $RUNDD count=$BUNIT_SZ seek=$OFFSET && \
 458                 error "write success, but expect EDQUOT"
 459
 460         $SHOW_QUOTA_USER
 461         $SHOW_QUOTA_GROUP
 462         $SHOW_QUOTA_INFO
 463
 464         echo "    Unlink file to stop timer"
 465         rm -f $TESTFILE
 466         echo "    Done"
 467
 468         $SHOW_QUOTA_USER
 469         $SHOW_QUOTA_GROUP
 470         $SHOW_QUOTA_INFO
 471
 472         echo "    Write ..."
 473         $RUNDD count=$BUNIT_SZ || error "write failure, but expect success"
 474         echo "    Done"
 475
 476         # cleanup
 477         rm -f $TESTFILE
 478 }
 479
 480 # block soft limit (start timer, timer goes off, stop timer)
 481 test_3() {
 482         LIMIT=$(( $BUNIT_SZ * 2 )) # 1 bunit on mds and 1 bunit on the ost
 483         GRACE=10
 484
 485         echo "  User quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 486         TESTFILE="$TSTDIR/quota_tst30"
 487         $LFS setstripe $TESTFILE 65536 0 1
 488         chown $TSTUSR.$TSTUSR $TESTFILE
 489
 490         $LFS setquota -t -u $GRACE $MAX_IQ_TIME $MOUNT
 491         $LFS setquota -u $TSTUSR $LIMIT 0 0 0 $MOUNT
 492
 493         test_block_soft $TESTFILE $GRACE
 494         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 495
 496         echo "  Group quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 497         TESTFILE="$TSTDIR/quota_tst31"
 498         $LFS setstripe $TESTFILE 65536 0 1
 499         chown $TSTUSR.$TSTUSR $TESTFILE
 500
 501         $LFS setquota -t -g $GRACE $MAX_IQ_TIME $MOUNT
 502         $LFS setquota -g $TSTUSR $LIMIT 0 0 0 $MOUNT
 503
 504         test_block_soft $TESTFILE $GRACE
 505         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 506 }
 507 run_test 3 "Block soft limit (start timer, timer goes off, stop timer) ==="
 508
 509 test_file_soft() {
 510         TESTFILE=$1
 511         LIMIT=$2
 512         TIMER=$(($3 * 3 / 2))
 513
 514         echo "    Create files to exceed soft limit"
 515         $RUNAS createmany -m ${TESTFILE}_ $((LIMIT + 1)) || \
 516                 error "create failure, but expect success"
 517         echo "    Done"
 518
 519         echo "    Create file before timer goes off"
 520         $RUNAS touch ${TESTFILE}_before || \
 521                 error "failed create before timer expired, but expect success"
 522         echo "    Done"
 523
 524         echo "    Sleep $TIMER seconds ..."
 525         sleep $TIMER
 526
 527         $SHOW_QUOTA_USER
 528         $SHOW_QUOTA_GROUP
 529         $SHOW_QUOTA_INFO
 530
 531         echo "    Create file after timer goes off"
 532         $RUNAS createmany -m ${TESTFILE}_after_ $((IUNIT_SZ - 2)) || \
 533                 error "create ${TESTFILE}_after failure, but expect success"
 534         $RUNAS touch ${TESTFILE}_after && \
 535                 error "create after timer expired, but expect EDQUOT"
 536
 537         $SHOW_QUOTA_USER
 538         $SHOW_QUOTA_GROUP
 539         $SHOW_QUOTA_INFO
 540
 541         echo "    Unlink files to stop timer"
 542         find `dirname $TESTFILE` -name "`basename ${TESTFILE}`*" | xargs rm -f
 543         echo "    Done"
 544
 545         echo "    Create file"
 546         $RUNAS touch ${TESTFILE}_xxx || \
 547                 error "touch after timer stop failure, but expect success"
 548         echo "    Done"
 549
 550         # cleanup
 551         rm -f ${TESTFILE}_xxx
 552 }
 553
 554 # file soft limit (start timer, timer goes off, stop timer)
 555 test_4() {
 556         LIMIT=$(($IUNIT_SZ * 10))       # 10 iunits on mds
 557         TESTFILE="$TSTDIR/quota_tst40"
 558         GRACE=5
 559
 560         echo "  User quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 561         $LFS setquota -t -u $MAX_DQ_TIME $GRACE $MOUNT
 562         $LFS setquota -u $TSTUSR 0 0 $LIMIT 0 $MOUNT
 563         $SHOW_QUOTA_USER
 564
 565         test_file_soft $TESTFILE $LIMIT $GRACE
 566         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 567
 568         echo "  Group quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 569         $LFS setquota -t -g $MAX_DQ_TIME $GRACE $MOUNT
 570         $LFS setquota -g $TSTUSR 0 0 $LIMIT 0 $MOUNT
 571         $SHOW_QUOTA_GROUP
 572         TESTFILE="$TSTDIR/quota_tst41"
 573
 574         test_file_soft $TESTFILE $LIMIT $GRACE
 575         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 576
 577         # cleanup
 578         $LFS setquota -t -u $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 579         $LFS setquota -t -g $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 580 }
 581 run_test 4 "File soft limit (start timer, timer goes off, stop timer) ==="
 582
 583 # chown & chgrp (chown & chgrp successfully even out of block/file quota)
 584 test_5() {
 585         BLIMIT=$(( $BUNIT_SZ * $((OSTCOUNT + 1)) * 10)) # 10 bunits on each server
 586         ILIMIT=$(( $IUNIT_SZ * 10 )) # 10 iunits on mds
 587
 588         echo "  Set quota limit (0 $BLIMIT 0 $ILIMIT) for $TSTUSR.$TSTUSR"
 589         $LFS setquota -u $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 590         $LFS setquota -g $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 591         $SHOW_QUOTA_USER
 592         $SHOW_QUOTA_GROUP
 593
 594         echo "  Create more than $ILIMIT files and more than $BLIMIT kbytes ..."
 595         createmany -m $TSTDIR/quota_tst50_ $((ILIMIT + 1)) || \
 596                 error "touch failure, expect success"
 597         dd if=/dev/zero of=$TSTDIR/quota_tst50_1 bs=$BLK_SZ count=$((BLIMIT+1)) || error "write failure, expect success"
 598
 599         echo "  Chown files to $TSTUSR.$TSTUSR ..."
 600         for i in `seq 0 ILIMIT`; do
 601                 chown $TSTUSR.$TSTUSR $TSTDIR/quota_tst50_$i || \
 602                         error "chown failure, but expect success"
 603         done
 604
 605         # cleanup
 606         unlinkmany $TSTDIR/quota_tst50_ $((ILIMIT + 1))
 607
 608         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 609         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 610 }
 611 run_test 5 "Chown & chgrp successfully even out of block/file quota ==="
 612
 613 # block quota acquire & release
 614 test_6() {
 615         if [ $OSTCOUNT -lt 2 ]; then
 616                 echo "WARN: too few osts, skip this test."
 617                 return 0;
 618         fi
 619
 620         LIMIT=$((BUNIT_SZ * (OSTCOUNT + 1) * 5)) # 5 bunits per server
 621         FILEA="$TSTDIR/quota_tst60_a"
 622         FILEB="$TSTDIR/quota_tst60_b"
 623
 624         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 625         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 626         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 627         $SHOW_QUOTA_USER
 628         $SHOW_QUOTA_GROUP
 629
 630         echo "  Create filea on OST0 and fileb on OST1"
 631         $LFS setstripe $FILEA 65536 0 1
 632         $LFS setstripe $FILEB 65536 1 1
 633         chown $TSTUSR.$TSTUSR $FILEA
 634         chown $TSTUSR.$TSTUSR $FILEB
 635
 636         echo "  Exceed quota limit ..."
 637         RUNDD="$RUNAS dd if=/dev/zero of=$FILEB bs=$BLK_SZ"
 638         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 639                 error "write fileb failure, but expect success"
 640
 641         sync; sleep 1; sync;
 642         $SHOW_QUOTA_USER
 643         $SHOW_QUOTA_GROUP
 644         $RUNDD seek=$LIMIT count=$((BUNIT_SZ * OSTCOUNT)) && \
 645                 error "write fileb success, but expect EDQUOT"
 646         sync; sleep 1; sync;
 647         echo "  Write to OST0 return EDQUOT"
 648         # this write maybe cache write, ignore it's failure
 649         RUNDD="$RUNAS dd if=/dev/zero of=$FILEA bs=$BLK_SZ"
 650         $RUNDD count=$(($BUNIT_SZ * 2)) || true
 651         sync; sleep 1; sync;
 652         $SHOW_QUOTA_USER
 653         $SHOW_QUOTA_GROUP
 654         $RUNDD count=$((BUNIT_SZ * 2)) seek=$((BUNIT_SZ *2)) && \
 655                 error "write filea success, but expect EDQUOT"
 656
 657         echo "  Remove fileb to let OST1 release quota"
 658         rm -f $FILEB
 659         sync; sleep 10; sync; # need to allow journal commit for small fs
 660
 661         echo "  Write to OST0"
 662         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 663                 error "write filea failure, expect success"
 664         echo "  Done"
 665
 666         # cleanup
 667         rm -f $FILEA
 668         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 669         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 670         return 0
 671 }
 672 run_test 6 "Block quota acquire & release ========="
 673
 674 # quota recovery (block quota only by now)
 675 test_7()
 676 {
 677         if [ -z "`lsmod|grep mds`" ]; then
 678                 echo "WARN: no local mds, skip this test"
 679                 return 0
 680         fi
 681
 682         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 683         TESTFILE="$TSTDIR/quota_tst70"
 684
 685         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 686
 687         $LFS setstripe $TESTFILE 65536 0 1
 688         chown $TSTUSR.$TSTUSR $TESTFILE
 689
 690         echo "  Write to OST0..."
 691         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ || \
 692                 error "write failure, but expect success"
 693
 694         #define OBD_FAIL_OBD_DQACQ               0x604
 695         echo 0x604 > /proc/sys/lustre/fail_loc
 696         echo "  Remove files on OST0"
 697         rm -f $TESTFILE
 698         echo 0 > /proc/sys/lustre/fail_loc
 699
 700         echo "  Trigger recovery..."
 701         OSC0_UUID="`$LCTL dl | awk '$3 ~ /osc/ { print $1 }'`"
 702         for i in $OSC0_UUID; do
 703                 $LCTL --device $i activate || error "activate osc failed!"
 704         done
 705
 706         # sleep a while to wait for recovery done
 707         sleep 20
 708
 709         # check limits
 710         PATTERN="`echo $MOUNT | sed 's/\//\\\\\//g'`"
 711         TOTAL_LIMIT="`$LFS quota -u $TSTUSR $MOUNT | awk '/^.*'$PATTERN'.*[[:digit:]+][[:space:]+]/ { print $4 }'`"
 712         [ $TOTAL_LIMIT -eq $LIMIT ] || error "total limits not recovery!"
 713         echo "  total limits = $TOTAL_LIMIT"
 714
 715         OST0_UUID=`$LCTL dl | awk '$3 ~ /obdfilter/ { print $5 }'| head -n1`
 716         [ -z "$OST0_UUID" ] && OST0_UUID=`$LCTL dl | awk '$3 ~ /obdfilter/ { print $5 }'|head -n1`
 717         OST0_LIMIT="`$LFS quota -o $OST0_UUID -u $TSTUSR $MOUNT | awk '/^.*[[:digit:]+][[:space:]+]/ { print $3 }'`"
 718         [ $OST0_LIMIT -eq $BUNIT_SZ ] || error "high limits not released!"
 719         echo "  limits on $OST0_UUID = $OST0_LIMIT"
 720
 721         # cleanup
 722         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 723 }
 724 run_test 7 "Quota recovery (only block limit) ======"
 725
 726 # run dbench with quota enabled
 727 test_8() {
 728         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 729         FILE_LIMIT=1000000
 730         DBENCH_LIB=${DBENCH_LIB:-/usr/lib/dbench}
 731
 732         [ ! -d $DBENCH_LIB ] && echo "dbench not installed, skip this test" && return 0
 733
 734         echo "  Set enough high limit for user: $TSTUSR"
 735         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 736         echo "  Set enough high limit for group: $TSTUSR"
 737         $LFS setquota -g $USER 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 738
 739
 740         TGT=$TSTDIR/client.txt
 741         SRC=${SRC:-$DBENCH_LIB/client.txt}
 742         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 743         SRC=$DBENCH_LIB/client_plain.txt
 744         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 745
 746         SAVE_PWD=$PWD
 747         cd $TSTDIR
 748         $RUNAS dbench -c client.txt 3
 749         RC=$?
 750
 751         rm -f client.txt
 752         cd $SAVE_PWD
 753         return $RC
 754 }
 755 run_test 8 "Run dbench with quota enabled ==========="
 756
 757 # run for fixing bug10707, it needs a big room. test for 64bit
 758 test_9() {
 759         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 760         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 761         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 762         if [ $lustrefs_size -lt $size_file ]; then
 763             echo "WARN: less than $size_file free, skip this test."
 764             return 0;
 765         fi
 766
 767         # set the D_QUOTA flag
 768         DBG_SAVE="`sysctl -n lnet.debug`"
 769         sysctl -w lnet.debug="$DBG_SAVE quota"
 770
 771         TESTFILE="$TSTDIR/quota_tst90"
 772
 773         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 774         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 775         FILE_LIMIT=1000000
 776
 777         echo "  Set enough high limit for user: $TSTUSR"
 778         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 779         echo "  Set enough high limit for group: $TSTUSR"
 780         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 781
 782         echo "  Set stripe"
 783         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 784         touch $TESTFILE
 785         chown $TSTUSR.$TSTUSR $TESTFILE
 786
 787         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 788         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 789
 790         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 791         $RUNAS rm -f $TESTFILE
 792
 793         echo "    write the big file of 2G..."
 794         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect seccess"
 795
 796         echo "    delete the big file of 2G..."
 797         $RUNAS rm -f $TESTFILE
 798         RC=$?
 799
 800         sysctl -w lnet.debug="$DBG_SAVE"
 801         return $RC
 802 }
 803 run_test 9 "run for fixing bug10707(64bit) ==========="
 804
 805 # run for fixing bug10707, it need a big room. test for 32bit
 806 test_10() {
 807         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 808         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 809         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 810         if [ $lustrefs_size -lt $size_file ]; then
 811                 echo "WARN: less than $size_file free, skip this test."
 812                 return 0;
 813         fi
 814
 815         if [ ! -d /proc/fs/lustre/ost/ -o ! -d /proc/fs/lustre/mds ]; then
 816                 echo "WARN: mds or ost isn't local, skip this test."
 817                 return 0;
 818         fi
 819
 820         sync; sleep 10; sync;
 821
 822         # set the D_QUOTA flag
 823         set_flag=0
 824         if [ -z "`sysctl lnet.debug | grep quota`" ]; then
 825                 sysctl -w lnet.debug="+quota"
 826                 set_flag=1
 827         fi
 828
 829         # make qd_count 32 bit
 830         sysctl -w lustre.fail_loc=0xA00
 831
 832         TESTFILE="$TSTDIR/quota_tst100"
 833
 834         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 835         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 836         FILE_LIMIT=1000000
 837
 838         echo "  Set enough high limit for user: $TSTUSR"
 839         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 840         echo "  Set enough high limit for group: $TSTUSR"
 841         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 842
 843         echo "  Set stripe"
 844         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 845         touch $TESTFILE
 846         chown $TSTUSR.$TSTUSR $TESTFILE
 847
 848         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 849         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 850
 851         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 852         $RUNAS rm -f $TESTFILE
 853
 854         echo "    write the big file of 2G..."
 855         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 856
 857         echo "    delete the big file of 2G..."
 858         $RUNAS rm -f $TESTFILE
 859
 860         RC=$?
 861
 862         # clear the flage
 863         if [ $set_flag -eq 1 ]; then
 864                 sysctl -w lnet.debug="-quota"
 865         fi
 866
 867         # make qd_count 64 bit
 868         sysctl -w lustre.fail_loc=0
 869
 870         return $RC
 871 }
 872 run_test 10 "run for fixing bug10707(32bit) ==========="
 873
 874 test_11() {
 875        #prepare the test
 876        block_limit=`(echo 0; df -t lustre -P | awk '{print $(NF - 4)}') | tail -n 1`
 877        echo $block_limit
 878        orig_dbr=`cat /proc/sys/vm/dirty_background_ratio`
 879        orig_dec=`cat /proc/sys/vm/dirty_expire_centisecs`
 880        orig_dr=`cat /proc/sys/vm/dirty_ratio`
 881        orig_dwc=`cat /proc/sys/vm/dirty_writeback_centisecs`
 882        echo 1  > /proc/sys/vm/dirty_background_ratio
 883        echo 30 > /proc/sys/vm/dirty_expire_centisecs
 884        echo 1  > /proc/sys/vm/dirty_ratio
 885        echo 50 > /proc/sys/vm/dirty_writeback_centisecs
 886        TESTDIR="$TSTDIR/quota_tst110"
 887        local RV=0
 888
 889        #do the test
 890        MINS=0
 891        REPS=3
 892        i=1
 893        while [ $i -le $REPS ]; do
 894            echo "test: cycle($i of $REPS) start at $(date)"
 895            mkdir -p $TESTDIR && chmod 777 $TESTDIR
 896            echo -n "    create a file for uid "
 897            for j in `seq 1 30`; do
 898                echo -n "$j "
 899                runas -u $j dd if=/dev/zero of=$TESTDIR/$j  bs=$BLK_SZ > /dev/null 2>&1 &
 900            done
 901            echo ""
 902            PROCS=$(ps -e | grep dd | wc -l)
 903            while [ $PROCS -gt 0 ]; do
 904              sleep 60
 905              MINS=$(($MINS+1))
 906              PROCS=$(ps -e | grep dd | wc -l)
 907              USED=$(du -s $TESTDIR | awk '{print $1}')
 908              PCT=$(($USED * 100 / $block_limit))
 909              echo "${i}/${REPS} ${PCT}% p${PROCS} t${MINS}  "
 910              if [ $MINS -gt 30 ]; then
 911                  error "Aborting after $MINS minutes"
 912                  kill -9 $(ps -ef | grep $TESTDIR | grep -v grep | awk '{ print $2 }')
 913                  i=$REPS
 914                  RV=2
 915                  break
 916              fi
 917            done
 918            echo "    removing the test files..."
 919            rm -rf $TESTDIR
 920            echo "cycle $i done at $(date)"
 921            i=$[$i+1]
 922        done
 923        echo "Test took $MINS minutes"
 924
 925        #clean
 926        echo $orig_dbr > /proc/sys/vm/dirty_background_ratio
 927        echo $orig_dec > /proc/sys/vm/dirty_expire_centisecs
 928        echo $orig_dr  > /proc/sys/vm/dirty_ratio
 929        echo $orig_dwc > /proc/sys/vm/dirty_writeback_centisecs
 930        return $RV
 931 }
 932 run_test 11 "run for fixing bug10912 ==========="
 933
 934
 935 # test a deadlock between quota and journal b=11693
 936 test_12() {
 937         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 938         TESTFILE="$TSTDIR/quota_tst120"
 939         TESTFILE2="$TSTDIR2/quota_tst121"
 940
 941         echo "   User quota (limit: $LIMIT kbytes)"
 942         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 943
 944         $LFS setstripe $TESTFILE 65536 0 1
 945         chown $TSTUSR.$TSTUSR $TESTFILE
 946         $LFS setstripe $TESTFILE2 65536 0 1
 947         chown $TSTUSR2.$TSTUSR2 $TESTFILE2
 948
 949         #define OBD_FAIL_OST_HOLD_WRITE_RPC      0x21f
 950         sysctl -w lustre.fail_loc=0x0000021f
 951
 952         echo "   step1: write out of block quota ..."
 953         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT*2)) &
 954         DDPID=$!
 955         sleep 5
 956         $RUNAS2 dd if=/dev/zero of=$TESTFILE2 bs=$BLK_SZ count=102400 &
 957         DDPID1=$!
 958
 959         echo  "   step2: testing ......"
 960         count=0
 961         while [ true ]; do
 962             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
 963             count=$[count+1]
 964             if [ $count -gt 64 ]; then
 965                 sysctl -w lustre.fail_loc=0
 966                 error "dd should be finished!"
 967             fi
 968             sleep 1
 969         done
 970         echo "(dd_pid=$DDPID1, time=$count)successful"
 971
 972         #Recover fail_loc and dd will finish soon
 973         sysctl -w lustre.fail_loc=0
 974
 975         echo  "   step3: testing ......"
 976         count=0
 977         while [ true ]; do
 978             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
 979             count=$[count+1]
 980             if [ $count -gt 100 ]; then
 981                 error "dd should be finished!"
 982             fi
 983             sleep 1
 984         done
 985         echo "(dd_pid=$DDPID, time=$count)successful"
 986
 987         rm -f $TESTFILE $TESTFILE2
 988
 989         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 990 }
 991 run_test 12 "test a deadlock between quota and journal ==="
 992
 993 # test multiple clients write block quota b=11693
 994 test_13() {
 995         # one OST * 10 + (mds + other OSTs)
 996         LIMIT=$((BUNIT_SZ * 10 + (BUNIT_SZ * OSTCOUNT)))
 997         TESTFILE="$TSTDIR/quota_tst13"
 998
 999         echo "   User quota (limit: $LIMIT kbytes)"
1000         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
1001         $SHOW_QUOTA_USER
1002
1003         $LFS setstripe $TESTFILE 65536 0 1
1004         chown $TSTUSR.$TSTUSR $TESTFILE
1005         $LFS setstripe $TESTFILE.2 65536 0 1
1006         chown $TSTUSR.$TSTUSR $TESTFILE.2
1007
1008         echo "   step1: write out of block quota ..."
1009         # one bunit will give mds
1010         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
1011         DDPID=$!
1012         $RUNAS dd if=/dev/zero of=$TESTFILE.2 bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
1013         DDPID1=$!
1014
1015         echo  "   step2: testing ......"
1016         count=0
1017         while [ true ]; do
1018             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
1019             count=$[count+1]
1020             if [ $count -gt 64 ]; then
1021                 error "dd should be finished!"
1022             fi
1023             sleep 1
1024         done
1025         echo "(dd_pid=$DDPID, time=$count)successful"
1026
1027         count=0
1028         while [ true ]; do
1029             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
1030             count=$[count+1]
1031             if [ $count -gt 64 ]; then
1032                 error "dd should be finished!"
1033             fi
1034             sleep 1
1035         done
1036         echo "(dd_pid=$DDPID1, time=$count)successful"
1037
1038         sync; sleep 5; sync;
1039
1040         echo  "   step3: checking ......"
1041         fz=`stat -c %s $TESTFILE`
1042         fz2=`stat -c %s $TESTFILE.2`
1043         $SHOW_QUOTA_USER
1044         [ $((fz + fz2)) -lt $((BUNIT_SZ * BLK_SZ * 10)) ] && \
1045                 error "files too small $fz + $fz < $((BUNIT_SZ * BLK_SZ * 10))"
1046         [ $((fz + fz2)) -gt $((BUNIT_SZ * BLK_SZ * 11)) ] && \
1047                 error "files too large $fz + $fz > $((BUNIT_SZ * BLK_SZ * 11))"
1048
1049         rm -f $TESTFILE $TESTFILE.2
1050
1051         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
1052 }
1053 run_test 13 "test multiple clients write block quota ==="
1054
1055 # turn off quota
1056 test_99()
1057 {
1058         $LFS quotaoff $MOUNT
1059         return 0
1060 }
1061 run_test 99 "Quota off ==============================="
1062
1063
1064 log "cleanup: ======================================================"
1065 if [ "`mount | grep ^$NAME`" ]; then
1066         rm -fr $TSTDIR
1067         if [ $TEST_9_10 -eq 0 ]; then
1068             post_test
1069         fi
1070         # delete test user and group
1071         userdel "$TSTUSR"
1072         userdel "$TSTUSR2"
1073         if [ "$I_MOUNTED" = "yes" ]; then
1074                 cd $ORIG_PWD && (sh llmountcleanup.sh || error "llmountcleanup failed")
1075         fi
1076 fi
1077
1078 echo '=========================== finished ==============================='
1079 [ -f "$QUOTALOG" ] && cat $QUOTALOG && exit 1
1080 echo "$0: completed"