lustre/tests/sanity-quota.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6 # Run test by setting NOSETUP=true when ltest has setup env for us
   7 set -e
   8
   9 #kernel 2.4.x doesn't support quota
  10 K_VER=`uname --kernel-release | cut -b 1-3`
  11 if [ $K_VER = "2.4" ]; then
  12     echo "Kernel 2.4 doesn't support quota"
  13     exit 0
  14 fi
  15
  16 SRCDIR=`dirname $0`
  17 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
  18
  19 ONLY=${ONLY:-"$*"}
  20 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-""}
  21 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  22
  23 case `uname -r` in
  24 2.6*) FSTYPE=${FSTYPE:-ldiskfs};;
  25 *) error "unsupported kernel" ;;
  26 esac
  27
  28 [ "$ALWAYS_EXCEPT$EXCEPT" ] && \
  29         echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT`"
  30
  31 TMP=${TMP:-/tmp}
  32
  33 ORIG_PWD=${PWD}
  34 LFS=${LFS:-lfs}
  35 LCTL=${LCTL:-lctl}
  36 SETSTRIPE=${SETSTRIPE:-"$LFS setstripe"}
  37 TSTID=${TSTID:-60000}
  38 TSTID2=${TSTID2:-60001}
  39 RUNAS=${RUNAS:-"runas -u $TSTID"}
  40 RUNAS2=${RUNAS2:-"runas -u $TSTID2"}
  41 TSTUSR=${TSTUSR:-"quota_usr"}
  42 TSTUSR2=${TSTUSR2:-"quota_2usr"}
  43 BLK_SZ=1024
  44 BUNIT_SZ=${BUNIT_SZ:-1000}      # default 1000 quota blocks
  45 BTUNE_SZ=${BTUNE_SZ:-500}       # default 50% of BUNIT_SZ
  46 IUNIT_SZ=${IUNIT_SZ:-10}        # default 10 files
  47 ITUNE_SZ=${ITUNE_SZ:-5}         # default 50% of IUNIT_SZ
  48 MAX_DQ_TIME=604800
  49 MAX_IQ_TIME=604800
  50
  51 QUOTALOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
  52 FAIL_ON_ERROR=false
  53
  54 log() {
  55         echo "$*"
  56         $LCTL mark "$*" 2> /dev/null || true
  57 }
  58
  59 trace() {
  60         log "STARTING: $*"
  61         strace -o $TMP/$1.strace -ttt $*
  62         RC=$?
  63         log "FINISHED: $*: rc $RC"
  64         return 1
  65 }
  66 TRACE=${TRACE:-""}
  67
  68 run_one() {
  69         BEFORE=`date +%s`
  70         log "== test $1: $2= `date +%H:%M:%S` ($BEFORE)"
  71         export TESTNAME=test_$1
  72         test_$1 || error "exit with rc=$?"
  73         unset TESTNAME
  74         pass "($((`date +%s` - $BEFORE))s)"
  75         cd $SAVE_PWD
  76 }
  77
  78 build_test_filter() {
  79         [ "$ALWAYS_EXCEPT$EXCEPT$SANITY_EXCEPT" ] && \
  80             echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT $SANITY_QUOTA_EXCEPT`"
  81
  82         for O in $ONLY; do
  83             eval ONLY_${O}=true
  84         done
  85         for E in $EXCEPT $ALWAYS_EXCEPT $SANITY_QUOTA_EXCEPT; do
  86             eval EXCEPT_${E}=true
  87         done
  88         # turn on/off quota tests must be included
  89         eval ONLY_0=true
  90         eval ONLY_99=true
  91 }
  92
  93 _basetest() {
  94         echo $*
  95 }
  96
  97 basetest() {
  98         IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
  99 }
 100
 101 run_test() {
 102          base=`basetest $1`
 103          if [ "$ONLY" ]; then
 104                  testname=ONLY_$1
 105                  if [ ${!testname}x != x ]; then
 106                         run_one $1 "$2"
 107                         return $?
 108                  fi
 109                  testname=ONLY_$base
 110                  if [ ${!testname}x != x ]; then
 111                          run_one $1 "$2"
 112                          return $?
 113                  fi
 114                  echo -n "."
 115                  return 0
 116         fi
 117         testname=EXCEPT_$1
 118         if [ ${!testname}x != x ]; then
 119                  TESTNAME=test_$1 skip "skipping excluded test $1"
 120                  return 0
 121         fi
 122         testname=EXCEPT_$base
 123         if [ ${!testname}x != x ]; then
 124                  TESTNAME=test_$1 skip "skipping excluded test $1 (base $base)"
 125                  return 0
 126         fi
 127         run_one $1 "$2"
 128         return $?
 129 }
 130
 131 [ "$QUOTALOG" ] && rm -f $QUOTALOG || true
 132
 133 mounted_lustre_filesystems() {
 134         awk '($3 ~ "lustre" && $1 ~ ":") { print $2 }' /proc/mounts | sed -n ${1}p
 135 }
 136
 137 # Remember where our caller has hinted that we should mount lustre
 138 MOUNT_HINT=$MOUNT
 139 MOUNT_HINT2=$MOUNT_2
 140 MOUNT="`mounted_lustre_filesystems 1`"
 141 MOUNT_2="`mounted_lustre_filesystems 2`"
 142 if [ "$MOUNT" -a "$MOUNT_2" ]; then
 143         echo "testing on $MOUNT and $MOUNT_2"
 144 elif [ "$MOUNT" -o "$MOUNT_2" ]; then
 145         error "test needs two mounts, only found $MOUNT $MOUNT_2!"
 146 else
 147         export QUOTA_OPTS="quotaon=ug"
 148         export MOUNT=$MOUNT_HINT
 149         export MOUNT_2=$MOUNT_HINT2
 150         MOUNT_2=${MOUNT_2:-/mnt/lustre_2}
 151         sh llmount.sh
 152         MOUNT="`mounted_lustre_filesystems 1`"
 153         MOUNT_2="`mounted_lustre_filesystems 2`"
 154         [ -z "$MOUNT" ] && error "NAME=$MOUNT not mounted"
 155         [ -z "$MOUNT_2" ] && error "NAME=$MOUNT_2 not mounted"
 156         I_MOUNTED=yes
 157 fi
 158
 159 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
 160
 161 DIR=${DIR:-$MOUNT}
 162 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
 163 DIR2=${DIR2:-$MOUNT_2}
 164
 165 LPROC=/proc/fs/lustre
 166 LOVNAME=`cat $LPROC/llite/*/lov/common_name | tail -n 1`
 167 OSTCOUNT=`cat $LPROC/lov/$LOVNAME/numobd`
 168 STRIPECOUNT=`cat $LPROC/lov/$LOVNAME/stripecount`
 169 STRIPESIZE=`cat $LPROC/lov/$LOVNAME/stripesize`
 170 ORIGFREE=`cat $LPROC/lov/$LOVNAME/kbytesavail`
 171 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
 172 MDS=$(\ls $LPROC/mdt 2> /dev/null | grep -v num_refs | tail -n 1)
 173 TSTDIR=$DIR/quota_test_dir
 174 TSTDIR2=$DIR2/quota_test_dir
 175 SHOW_QUOTA_USER="$LFS quota -u $TSTUSR $MOUNT"
 176 SHOW_QUOTA_GROUP="$LFS quota -g $TSTUSR $MOUNT"
 177 SHOW_QUOTA_INFO="$LFS quota -t $MOUNT"
 178
 179 build_test_filter
 180
 181
 182 # set_blk_tunables(btune_sz)
 183 set_blk_tunesz() {
 184         # set btune size on all obdfilters
 185         for i in /proc/fs/lustre/obdfilter/*/quota_btune_sz; do
 186                 echo $(($1 * $BLK_SZ)) > $i
 187         done
 188         # set btune size on mds
 189         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_btune_sz; do
 190                 echo $(($1 * $BLK_SZ)) > $i
 191         done
 192 }
 193
 194 # set_blk_unitsz(bunit_sz)
 195 set_blk_unitsz() {
 196         for i in /proc/fs/lustre/obdfilter/*/quota_bunit_sz; do
 197                 echo $(($1 * $BLK_SZ)) > $i
 198         done
 199         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_bunit_sz; do
 200                 echo $(($1 * $BLK_SZ)) > $i
 201         done
 202 }
 203
 204 # set_file_tunesz(itune_sz)
 205 set_file_tunesz() {
 206         # set iunit and itune size on all obdfilters
 207         for i in /proc/fs/lustre/obdfilter/*/quota_itune_sz; do
 208                 echo $1 > $i
 209         done
 210         # set iunit and itune size on mds
 211         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_itune_sz; do
 212                 echo $1 > $i
 213         done
 214 }
 215
 216 # set_file_unitsz(iunit_sz)
 217 set_file_unitsz() {
 218         for i in `ls /proc/fs/lustre/obdfilter/*/quota_iunit_sz`; do
 219                 echo $1 > $i
 220         done;
 221         for i in `ls /proc/fs/lustre/mds/lustre-MDT*/quota_iunit_sz`; do
 222                 echo $1 > $i
 223         done
 224 }
 225
 226 # These are for test on local machine,if run sanity-quota.sh on
 227 # real cluster, ltest should have setup the test environment:
 228 #
 229 # - create test user/group on all servers with same id.
 230 # - set unit size/tune on all servers size to reasonable value.
 231 pre_test() {
 232         if [ -z "$NOSETUP" ]; then
 233                 # set block tunables
 234                 set_blk_tunesz $BTUNE_SZ
 235                 set_blk_unitsz $BUNIT_SZ
 236                 # set file tunables
 237                 set_file_tunesz $ITUNE_SZ
 238                 set_file_unitsz $IUNIT_SZ
 239         fi
 240 }
 241 pre_test
 242
 243 post_test() {
 244         if [ -z "$NOSETUP" ]; then
 245                 # restore block tunables to default size
 246                 set_blk_unitsz $((1024 * 100))
 247                 set_blk_tunesz $((1024 * 50))
 248                 # restore file tunables to default size
 249                 set_file_unitsz 5000
 250                 set_file_tunesz 2500
 251         fi
 252 }
 253
 254 setup() {
 255         # create local test group
 256         GRP="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
 257         if [ -z "$GRP" ]; then
 258                 groupadd -g $TSTID "$TSTUSR"
 259         fi
 260         TSTID="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $3}'`"
 261
 262         GRP2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
 263         if [ -z "$GRP2" ]; then
 264                 groupadd -g $TSTID2 "$TSTUSR2"
 265         fi
 266         TSTID2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $3}'`"
 267
 268         # create test user
 269         USR="`cat /etc/passwd | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
 270         if [ -z "$USR" ]; then
 271                 useradd -u $TSTID -g $TSTID -d /tmp "$TSTUSR"
 272         fi
 273
 274         RUNAS="runas -u $TSTID"
 275
 276         USR2="`cat /etc/passwd | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
 277         if [ -z "$USR2" ]; then
 278                 useradd -u $TSTID2 -g $TSTID2 -d /tmp "$TSTUSR2"
 279         fi
 280
 281         RUNAS2="runas -u $TSTID2"
 282
 283         # create test directory
 284         rm -fr $TSTDIR
 285
 286         mkdir -p $TSTDIR
 287         chmod 777 $TSTDIR
 288 }
 289 setup
 290
 291 # set quota
 292 test_0() {
 293         $LFS quotaoff -ug $MOUNT
 294         $LFS quotacheck -ug $MOUNT
 295
 296         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 297         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 298 }
 299 run_test 0 "Set quota ============================="
 300
 301 # block hard limit (normal use and out of quota)
 302 test_1() {
 303         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits each sever
 304         TESTFILE="$TSTDIR/quota_tst10"
 305
 306         echo "  User quota (limit: $LIMIT kbytes)"
 307         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 308         $SHOW_QUOTA_USER
 309
 310         $LFS setstripe $TESTFILE 65536 0 1
 311         chown $TSTUSR.$TSTUSR $TESTFILE
 312
 313         echo "    Write ..."
 314         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(usr) write failure, but expect success"
 315         echo "    Done"
 316         echo "    Write out of block quota ..."
 317         # this time maybe cache write,  ignore it's failure
 318         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 319         # flush cache, ensure noquota flag is setted on client
 320         sync; sleep 1; sync;
 321         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(usr) write success, but expect EDQUOT"
 322
 323         rm -f $TESTFILE
 324
 325         echo "  Group quota (limit: $LIMIT kbytes)"
 326         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 327         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 328         $SHOW_QUOTA_GROUP
 329         TESTFILE="$TSTDIR/quota_tst11"
 330
 331         $LFS setstripe $TESTFILE 65536 0 1
 332         chown $TSTUSR.$TSTUSR $TESTFILE
 333
 334         echo "    Write ..."
 335         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(grp) write failure, but expect success"
 336         echo "    Done"
 337         echo "    Write out of block quota ..."
 338         # this time maybe cache write, ignore it's failure
 339         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 340         sync; sleep 1; sync;
 341         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(grp) write success, but expect EDQUOT"
 342
 343         # cleanup
 344         rm -f $TESTFILE
 345         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 346 }
 347 run_test 1 "Block hard limit (normal use and out of quota) ==="
 348
 349 # file hard limit (normal use and out of quota)
 350 test_2() {
 351         LIMIT=$(($IUNIT_SZ * 10)) # 10 iunits on mds
 352         TESTFILE="$TSTDIR/quota_tstr20"
 353
 354         echo "  User quota (limit: $LIMIT files)"
 355         $LFS setquota -u $TSTUSR 0 0 0 $LIMIT $MOUNT
 356         $SHOW_QUOTA_USER
 357
 358         echo "    Create $LIMIT files ..."
 359         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 360             error "(usr) create failure, but except success"
 361         echo "    Done"
 362         echo "    Create out of file quota ..."
 363         $RUNAS touch ${TESTFILE}_xxx && \
 364                 error "(usr) touch success, but expect EDQUOT"
 365
 366         unlinkmany ${TESTFILE} $LIMIT
 367         rm ${TESTFILE}_xxx
 368
 369         echo "  Group quota (limit: $LIMIT files)"
 370         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 371         $LFS setquota -g $TSTUSR 0 0 0 $LIMIT $MOUNT
 372         $SHOW_QUOTA_GROUP
 373         TESTFILE="$TSTDIR/quota_tst21"
 374
 375         echo "    Create $LIMIT files ..."
 376         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 377                 error "(grp) create failure, but expect success"
 378
 379         echo "    Done"
 380         echo "    Create out of file quota ..."
 381         $RUNAS touch ${TESTFILE}_xxx && \
 382                 error "(grp) touch success, but expect EDQUOT"
 383
 384         $RUNAS touch ${TESTFILE}_xxx > /dev/null 2>&1 && error "(grp) touch success, but expect EDQUOT"
 385
 386         # cleanup
 387         unlinkmany ${TESTFILE} $LIMIT
 388         rm ${TESTFILE}_xxx
 389
 390         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 391 }
 392 run_test 2 "File hard limit (normal use and out of quota) ==="
 393
 394 test_block_soft() {
 395         TESTFILE=$1
 396         TIMER=$(($2 * 3 / 2))
 397         OFFSET=0
 398
 399         echo "    Write to exceed soft limit"
 400         RUNDD="$RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ"
 401         $RUNDD count=$((BUNIT_SZ+1)) || \
 402                 error "write failure, but expect success"
 403         OFFSET=$((OFFSET + BUNIT_SZ + 1))
 404         sync; sleep 1; sync;
 405
 406         $SHOW_QUOTA_USER
 407         $SHOW_QUOTA_GROUP
 408         $SHOW_QUOTA_INFO
 409
 410         echo "    Write before timer goes off"
 411         $RUNDD count=$BUNIT_SZ seek=$OFFSET || \
 412                 error "write failure, but expect success"
 413         OFFSET=$((OFFSET + BUNIT_SZ))
 414         sync; sleep 1; sync;
 415         echo "    Done"
 416
 417         echo "    Sleep $TIMER seconds ..."
 418         sleep $TIMER
 419
 420         $SHOW_QUOTA_USER
 421         $SHOW_QUOTA_GROUP
 422         $SHOW_QUOTA_INFO
 423
 424         echo "    Write after timer goes off"
 425         # maybe cache write, ignore.
 426         sync; sleep 1; sync;
 427         $RUNDD count=$BUNIT_SZ seek=$OFFSET || true
 428         OFFSET=$((OFFSET + BUNIT_SZ))
 429         sync; sleep 1; sync;
 430         $RUNDD count=$BUNIT_SZ seek=$OFFSET && \
 431                 error "write success, but expect EDQUOT"
 432
 433         $SHOW_QUOTA_USER
 434         $SHOW_QUOTA_GROUP
 435         $SHOW_QUOTA_INFO
 436
 437         echo "    Unlink file to stop timer"
 438         rm -f $TESTFILE
 439         echo "    Done"
 440
 441         $SHOW_QUOTA_USER
 442         $SHOW_QUOTA_GROUP
 443         $SHOW_QUOTA_INFO
 444
 445         echo "    Write ..."
 446         $RUNDD count=$BUNIT_SZ || error "write failure, but expect success"
 447         echo "    Done"
 448
 449         # cleanup
 450         rm -f $TESTFILE
 451 }
 452
 453 # block soft limit (start timer, timer goes off, stop timer)
 454 test_3() {
 455         LIMIT=$(( $BUNIT_SZ * 2 )) # 1 bunit on mds and 1 bunit on the ost
 456         GRACE=10
 457
 458         echo "  User quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 459         TESTFILE="$TSTDIR/quota_tst30"
 460         $LFS setstripe $TESTFILE 65536 0 1
 461         chown $TSTUSR.$TSTUSR $TESTFILE
 462
 463         $LFS setquota -t -u $GRACE $MAX_IQ_TIME $MOUNT
 464         $LFS setquota -u $TSTUSR $LIMIT 0 0 0 $MOUNT
 465
 466         test_block_soft $TESTFILE $GRACE
 467         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 468
 469         echo "  Group quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 470         TESTFILE="$TSTDIR/quota_tst31"
 471         $LFS setstripe $TESTFILE 65536 0 1
 472         chown $TSTUSR.$TSTUSR $TESTFILE
 473
 474         $LFS setquota -t -g $GRACE $MAX_IQ_TIME $MOUNT
 475         $LFS setquota -g $TSTUSR $LIMIT 0 0 0 $MOUNT
 476
 477         test_block_soft $TESTFILE $GRACE
 478         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 479 }
 480 run_test 3 "Block soft limit (start timer, timer goes off, stop timer) ==="
 481
 482 test_file_soft() {
 483         TESTFILE=$1
 484         LIMIT=$2
 485         TIMER=$(($3 * 3 / 2))
 486
 487         echo "    Create files to exceed soft limit"
 488         $RUNAS createmany -m ${TESTFILE}_ $((LIMIT + 1)) || \
 489                 error "create failure, but expect success"
 490         echo "    Done"
 491
 492         echo "    Create file before timer goes off"
 493         $RUNAS touch ${TESTFILE}_before || \
 494                 error "failed create before timer expired, but expect success"
 495         echo "    Done"
 496
 497         echo "    Sleep $TIMER seconds ..."
 498         sleep $TIMER
 499
 500         $SHOW_QUOTA_USER
 501         $SHOW_QUOTA_GROUP
 502         $SHOW_QUOTA_INFO
 503
 504         echo "    Create file after timer goes off"
 505         $RUNAS createmany -m ${TESTFILE}_after_ $((IUNIT_SZ - 2)) || \
 506                 error "create ${TESTFILE}_after failure, but expect success"
 507         $RUNAS touch ${TESTFILE}_after && \
 508                 error "create after timer expired, but expect EDQUOT"
 509
 510         $SHOW_QUOTA_USER
 511         $SHOW_QUOTA_GROUP
 512         $SHOW_QUOTA_INFO
 513
 514         echo "    Unlink files to stop timer"
 515         find `dirname $TESTFILE` -name "`basename ${TESTFILE}`*" | xargs rm -f
 516         echo "    Done"
 517
 518         echo "    Create file"
 519         $RUNAS touch ${TESTFILE}_xxx || \
 520                 error "touch after timer stop failure, but expect success"
 521         echo "    Done"
 522
 523         # cleanup
 524         rm -f ${TESTFILE}_xxx
 525 }
 526
 527 # file soft limit (start timer, timer goes off, stop timer)
 528 test_4() {
 529         LIMIT=$(($IUNIT_SZ * 10))       # 10 iunits on mds
 530         TESTFILE="$TSTDIR/quota_tst40"
 531         GRACE=5
 532
 533         echo "  User quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 534         $LFS setquota -t -u $MAX_DQ_TIME $GRACE $MOUNT
 535         $LFS setquota -u $TSTUSR 0 0 $LIMIT 0 $MOUNT
 536         $SHOW_QUOTA_USER
 537
 538         test_file_soft $TESTFILE $LIMIT $GRACE
 539         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 540
 541         echo "  Group quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 542         $LFS setquota -t -g $MAX_DQ_TIME $GRACE $MOUNT
 543         $LFS setquota -g $TSTUSR 0 0 $LIMIT 0 $MOUNT
 544         $SHOW_QUOTA_GROUP
 545         TESTFILE="$TSTDIR/quota_tst41"
 546
 547         test_file_soft $TESTFILE $LIMIT $GRACE
 548         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 549
 550         # cleanup
 551         $LFS setquota -t -u $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 552         $LFS setquota -t -g $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 553 }
 554 run_test 4 "File soft limit (start timer, timer goes off, stop timer) ==="
 555
 556 # chown & chgrp (chown & chgrp successfully even out of block/file quota)
 557 test_5() {
 558         BLIMIT=$(( $BUNIT_SZ * $((OSTCOUNT + 1)) * 10)) # 10 bunits on each server
 559         ILIMIT=$(( $IUNIT_SZ * 10 )) # 10 iunits on mds
 560
 561         echo "  Set quota limit (0 $BLIMIT 0 $ILIMIT) for $TSTUSR.$TSTUSR"
 562         $LFS setquota -u $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 563         $LFS setquota -g $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 564         $SHOW_QUOTA_USER
 565         $SHOW_QUOTA_GROUP
 566
 567         echo "  Create more than $ILIMIT files and more than $BLIMIT kbytes ..."
 568         createmany -m $TSTDIR/quota_tst50_ $((ILIMIT + 1)) || \
 569                 error "touch failure, expect success"
 570         dd if=/dev/zero of=$TSTDIR/quota_tst50_1 bs=$BLK_SZ count=$((BLIMIT+1)) || error "write failure, expect success"
 571
 572         echo "  Chown files to $TSTUSR.$TSTUSR ..."
 573         for i in `seq 0 ILIMIT`; do
 574                 chown $TSTUSR.$TSTUSR $TSTDIR/quota_tst50_$i || \
 575                         error "chown failure, but expect success"
 576         done
 577
 578         # cleanup
 579         unlinkmany $TSTDIR/quota_tst50_ $((ILIMIT + 1))
 580
 581         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 582         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 583 }
 584 run_test 5 "Chown & chgrp successfully even out of block/file quota ==="
 585
 586 # block quota acquire & release
 587 test_6() {
 588         if [ $OSTCOUNT -lt 2 ]; then
 589                 skip "$OSTCOUNT < 2, too few osts"
 590                 return 0;
 591         fi
 592
 593         LIMIT=$(($BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits per server
 594         FILEA="$TSTDIR/quota_tst60_a"
 595         FILEB="$TSTDIR/quota_tst60_b"
 596
 597         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 598         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 599         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 600         $SHOW_QUOTA_USER
 601         $SHOW_QUOTA_GROUP
 602
 603         echo "  Create filea on OST0 and fileb on OST1"
 604         $LFS setstripe $FILEA 65536 0 1
 605         $LFS setstripe $FILEB 65536 1 1
 606         chown $TSTUSR.$TSTUSR $FILEA
 607         chown $TSTUSR.$TSTUSR $FILEB
 608
 609         echo "  Exceed quota limit ..."
 610         RUNDD="$RUNAS dd if=/dev/zero of=$FILEB bs=$BLK_SZ"
 611         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 612                 error "write fileb failure, but expect success"
 613
 614         sync; sleep 1; sync;
 615         $SHOW_QUOTA_USER
 616         $SHOW_QUOTA_GROUP
 617         $RUNDD seek=$LIMIT count=$((BUNIT_SZ * OSTCOUNT)) && \
 618                 error "write fileb success, but expect EDQUOT"
 619         sync; sleep 1; sync;
 620         echo "  Write to OST0 return EDQUOT"
 621         # this write maybe cache write, ignore it's failure
 622         RUNDD="$RUNAS dd if=/dev/zero of=$FILEA bs=$BLK_SZ"
 623         $RUNDD count=$(($BUNIT_SZ * 2)) || true
 624         sync; sleep 1; sync;
 625         $SHOW_QUOTA_USER
 626         $SHOW_QUOTA_GROUP
 627         $RUNDD count=$((BUNIT_SZ * 2)) seek=$((BUNIT_SZ *2)) && \
 628                 error "write filea success, but expect EDQUOT"
 629
 630         echo "  Remove fileb to let OST1 release quota"
 631         rm -f $FILEB
 632         sync; sleep 10; sync; # need to allow journal commit for small fs
 633
 634         echo "  Write to OST0"
 635         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 636                 error "write filea failure, expect success"
 637         echo "  Done"
 638
 639         # cleanup
 640         rm -f $FILEA
 641         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 642         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 643         return 0
 644 }
 645 run_test 6 "Block quota acquire & release ========="
 646
 647 # quota recovery (block quota only by now)
 648 test_7()
 649 {
 650         remote_mds && skip "remote mds"
 651
 652         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 653         TESTFILE="$TSTDIR/quota_tst70"
 654
 655         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 656
 657         $LFS setstripe $TESTFILE 65536 0 1
 658         chown $TSTUSR.$TSTUSR $TESTFILE
 659
 660         echo "  Write to OST0..."
 661         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ || \
 662                 error "write failure, but expect success"
 663
 664         #define OBD_FAIL_OBD_DQACQ               0x604
 665         echo 0x604 > /proc/sys/lustre/fail_loc
 666         echo "  Remove files on OST0"
 667         rm -f $TESTFILE
 668         echo 0 > /proc/sys/lustre/fail_loc
 669
 670         echo "  Trigger recovery..."
 671         OSC0_UUID="`$LCTL dl | awk '$3 ~ /osc/ { print $1 }'`"
 672         for i in $OSC0_UUID; do
 673                 $LCTL --device $i activate || error "activate osc failed!"
 674         done
 675
 676         # sleep a while to wait for recovery done
 677         sleep 20
 678
 679         # check limits
 680         PATTERN="`echo $MOUNT | sed 's/\//\\\\\//g'`"
 681         TOTAL_LIMIT="`$LFS quota -u $TSTUSR $MOUNT | awk '/^.*'$PATTERN'.*[[:digit:]+][[:space:]+]/ { print $4 }'`"
 682         [ $TOTAL_LIMIT -eq $LIMIT ] || error "total limits not recovery!"
 683         echo "  total limits = $TOTAL_LIMIT"
 684
 685         OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
 686         [ -z "$OST0_UUID" ] && OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
 687         OST0_LIMIT="`$LFS quota -o $OST0_UUID -u $TSTUSR $MOUNT | awk '/^.*[[:digit:]+][[:space:]+]/ { print $3 }'`"
 688         [ $OST0_LIMIT -eq $BUNIT_SZ ] || error "high limits not released!"
 689         echo "  limits on $OST0_UUID = $OST0_LIMIT"
 690
 691         # cleanup
 692         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 693 }
 694 run_test 7 "Quota recovery (only block limit) ======"
 695
 696 # run dbench with quota enabled
 697 test_8() {
 698         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 699         FILE_LIMIT=1000000
 700         DBENCH_LIB=${DBENCH_LIB:-/usr/lib/dbench}
 701
 702         [ ! -d $DBENCH_LIB ] && skip "dbench not installed" && return 0
 703
 704         echo "  Set enough high limit for user: $TSTUSR"
 705         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 706         echo "  Set enough high limit for group: $TSTUSR"
 707         $LFS setquota -g $USER 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 708
 709
 710         TGT=$TSTDIR/client.txt
 711         SRC=${SRC:-$DBENCH_LIB/client.txt}
 712         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 713         SRC=$DBENCH_LIB/client_plain.txt
 714         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 715
 716         SAVE_PWD=$PWD
 717         cd $TSTDIR
 718         $RUNAS dbench -c client.txt 3
 719         RC=$?
 720
 721         rm -f client.txt
 722         cd $SAVE_PWD
 723         return $RC
 724 }
 725 run_test 8 "Run dbench with quota enabled ==========="
 726
 727 # run for fixing bug10707, it needs a big room. test for 64bit
 728 test_9() {
 729         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 730         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 731         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 732         if [ $lustrefs_size -lt $size_file ]; then
 733             skip "less than $size_file free"
 734             return 0;
 735         fi
 736
 737         set_blk_unitsz $((1024 * 100))
 738         set_blk_tunesz $((1024 * 50))
 739
 740         # set the D_QUOTA flag
 741         DBG_SAVE="`sysctl -n lnet.debug`"
 742         sysctl -w lnet.debug="$DBG_SAVE quota"
 743
 744         TESTFILE="$TSTDIR/quota_tst90"
 745
 746         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 747         FILE_LIMIT=1000000
 748
 749         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for user: $TSTUSR"
 750         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 751         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for group: $TSTUSR"
 752         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 753
 754         echo "  Set stripe"
 755         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 756         touch $TESTFILE
 757         chown $TSTUSR.$TSTUSR $TESTFILE
 758
 759         $SHOW_QUOTA_USER
 760         $SHOW_QUOTA_GROUP
 761
 762         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 763         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 764
 765         $SHOW_QUOTA_USER
 766         $SHOW_QUOTA_GROUP
 767
 768         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 769         $RUNAS rm -f $TESTFILE
 770
 771         $SHOW_QUOTA_USER
 772         $SHOW_QUOTA_GROUP
 773
 774         echo "    write the big file of 2G..."
 775         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect seccess"
 776
 777         echo "    delete the big file of 2G..."
 778         $RUNAS rm -f $TESTFILE
 779         RC=$?
 780
 781         set_blk_tunesz $BTUNE_SZ
 782         set_blk_unitsz $BUNIT_SZ
 783
 784         sysctl -w lnet.debug="$DBG_SAVE"
 785         return $RC
 786 }
 787 run_test 9 "run for fixing bug10707(64bit) ==========="
 788
 789 # run for fixing bug10707, it need a big room. test for 32bit
 790 test_10() {
 791         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 792         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 793         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 794         if [ $lustrefs_size -lt $size_file ]; then
 795                 skip "less than $size_file free"
 796                 return 0;
 797         fi
 798
 799         if [ ! -d /proc/fs/lustre/ost/ -o ! -d /proc/fs/lustre/mds ]; then
 800                 skip "mds or ost isn't local"
 801                 return 0;
 802         fi
 803
 804         sync; sleep 10; sync;
 805
 806         set_blk_unitsz $((1024 * 100))
 807         set_blk_tunesz $((1024 * 50))
 808
 809         # set the D_QUOTA flag
 810         set_flag=0
 811         if [ -z "`sysctl lnet.debug | grep quota`" ]; then
 812                 sysctl -w lnet.debug="+quota"
 813                 set_flag=1
 814         fi
 815
 816         # make qd_count 32 bit
 817         sysctl -w lustre.fail_loc=0xA00
 818
 819         TESTFILE="$TSTDIR/quota_tst100"
 820
 821         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 822         FILE_LIMIT=1000000
 823
 824         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for user: $TSTUSR"
 825         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 826         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for group: $TSTUSR"
 827         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 828
 829         echo "  Set stripe"
 830         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 831         touch $TESTFILE
 832         chown $TSTUSR.$TSTUSR $TESTFILE
 833
 834         $SHOW_QUOTA_USER
 835         $SHOW_QUOTA_GROUP
 836
 837         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 838         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 839
 840         $SHOW_QUOTA_USER
 841         $SHOW_QUOTA_GROUP
 842
 843         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 844         $RUNAS rm -f $TESTFILE
 845
 846         $SHOW_QUOTA_USER
 847         $SHOW_QUOTA_GROUP
 848
 849         echo "    write the big file of 2G..."
 850         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 851
 852         echo "    delete the big file of 2G..."
 853         $RUNAS rm -f $TESTFILE
 854
 855         RC=$?
 856
 857         # clear the flage
 858         if [ $set_flag -eq 1 ]; then
 859                 sysctl -w lnet.debug="-quota"
 860         fi
 861
 862         # make qd_count 64 bit
 863         sysctl -w lustre.fail_loc=0
 864
 865         set_blk_tunesz $BTUNE_SZ
 866         set_blk_unitsz $BUNIT_SZ
 867
 868         return $RC
 869 }
 870 run_test 10 "run for fixing bug10707(32bit) ==========="
 871
 872 test_11() {
 873        #prepare the test
 874        block_limit=`(echo 0; df -t lustre -P | awk '{print $(NF - 4)}') | tail -n 1`
 875        echo $block_limit
 876        orig_dbr=`cat /proc/sys/vm/dirty_background_ratio`
 877        orig_dec=`cat /proc/sys/vm/dirty_expire_centisecs`
 878        orig_dr=`cat /proc/sys/vm/dirty_ratio`
 879        orig_dwc=`cat /proc/sys/vm/dirty_writeback_centisecs`
 880        echo 1  > /proc/sys/vm/dirty_background_ratio
 881        echo 30 > /proc/sys/vm/dirty_expire_centisecs
 882        echo 1  > /proc/sys/vm/dirty_ratio
 883        echo 50 > /proc/sys/vm/dirty_writeback_centisecs
 884        TESTDIR="$TSTDIR/quota_tst110"
 885        local RV=0
 886
 887        #do the test
 888        MINS=0
 889        REPS=3
 890        i=1
 891        while [ $i -le $REPS ]; do
 892            echo "test: cycle($i of $REPS) start at $(date)"
 893            mkdir -p $TESTDIR && chmod 777 $TESTDIR
 894            echo -n "    create a file for uid "
 895            for j in `seq 1 30`; do
 896                echo -n "$j "
 897                runas -u $j dd if=/dev/zero of=$TESTDIR/$j  bs=$BLK_SZ > /dev/null 2>&1 &
 898            done
 899            echo ""
 900            PROCS=$(ps -e | grep dd | wc -l)
 901            while [ $PROCS -gt 0 ]; do
 902              sleep 60
 903              MINS=$(($MINS+1))
 904              PROCS=$(ps -e | grep dd | wc -l)
 905              USED=$(du -s $TESTDIR | awk '{print $1}')
 906              PCT=$(($USED * 100 / $block_limit))
 907              echo "${i}/${REPS} ${PCT}% p${PROCS} t${MINS}  "
 908              if [ $MINS -gt 30 ]; then
 909                  error "Aborting after $MINS minutes"
 910                  kill -9 $(ps -ef | grep $TESTDIR | grep -v grep | awk '{ print $2 }')
 911                  i=$REPS
 912                  RV=2
 913                  break
 914              fi
 915            done
 916            echo "    removing the test files..."
 917            rm -rf $TESTDIR
 918            echo "cycle $i done at $(date)"
 919            i=$[$i+1]
 920        done
 921        echo "Test took $MINS minutes"
 922
 923        #clean
 924        echo $orig_dbr > /proc/sys/vm/dirty_background_ratio
 925        echo $orig_dec > /proc/sys/vm/dirty_expire_centisecs
 926        echo $orig_dr  > /proc/sys/vm/dirty_ratio
 927        echo $orig_dwc > /proc/sys/vm/dirty_writeback_centisecs
 928        return $RV
 929 }
 930 run_test 11 "run for fixing bug10912 ==========="
 931
 932
 933 # test a deadlock between quota and journal b=11693
 934 test_12() {
 935         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 936         TESTFILE="$TSTDIR/quota_tst120"
 937         TESTFILE2="$TSTDIR2/quota_tst121"
 938
 939         echo "   User quota (limit: $LIMIT kbytes)"
 940         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 941
 942         $LFS setstripe $TESTFILE 65536 0 1
 943         chown $TSTUSR.$TSTUSR $TESTFILE
 944         $LFS setstripe $TESTFILE2 65536 0 1
 945         chown $TSTUSR2.$TSTUSR2 $TESTFILE2
 946
 947         #define OBD_FAIL_OST_HOLD_WRITE_RPC      0x21f
 948         sysctl -w lustre.fail_loc=0x0000021f
 949
 950         echo "   step1: write out of block quota ..."
 951         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT*2)) &
 952         DDPID=$!
 953         sleep 5
 954         $RUNAS2 dd if=/dev/zero of=$TESTFILE2 bs=$BLK_SZ count=102400 &
 955         DDPID1=$!
 956
 957         echo  "   step2: testing ......"
 958         count=0
 959         while [ true ]; do
 960             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
 961             count=$[count+1]
 962             if [ $count -gt 64 ]; then
 963                 sysctl -w lustre.fail_loc=0
 964                 error "dd should be finished!"
 965             fi
 966             sleep 1
 967         done
 968         echo "(dd_pid=$DDPID1, time=$count)successful"
 969
 970         #Recover fail_loc and dd will finish soon
 971         sysctl -w lustre.fail_loc=0
 972
 973         echo  "   step3: testing ......"
 974         count=0
 975         while [ true ]; do
 976             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
 977             count=$[count+1]
 978             if [ $count -gt 100 ]; then
 979                 error "dd should be finished!"
 980             fi
 981             sleep 1
 982         done
 983         echo "(dd_pid=$DDPID, time=$count)successful"
 984
 985         rm -f $TESTFILE $TESTFILE2
 986
 987         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 988 }
 989 run_test 12 "test a deadlock between quota and journal ==="
 990
 991 # test multiple clients write block quota b=11693
 992 test_13() {
 993         # one OST * 10 + (mds + other OSTs)
 994         LIMIT=$((BUNIT_SZ * 10 + (BUNIT_SZ * OSTCOUNT)))
 995         TESTFILE="$TSTDIR/quota_tst13"
 996
 997         echo "   User quota (limit: $LIMIT kbytes)"
 998         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 999         $SHOW_QUOTA_USER
1000
1001         $LFS setstripe $TESTFILE 65536 0 1
1002         chown $TSTUSR.$TSTUSR $TESTFILE
1003         $LFS setstripe $TESTFILE.2 65536 0 1
1004         chown $TSTUSR.$TSTUSR $TESTFILE.2
1005
1006         echo "   step1: write out of block quota ..."
1007         # one bunit will give mds
1008         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
1009         DDPID=$!
1010         $RUNAS dd if=/dev/zero of=$TESTFILE.2 bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
1011         DDPID1=$!
1012
1013         echo  "   step2: testing ......"
1014         count=0
1015         while [ true ]; do
1016             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
1017             count=$[count+1]
1018             if [ $count -gt 64 ]; then
1019                 error "dd should be finished!"
1020             fi
1021             sleep 1
1022         done
1023         echo "(dd_pid=$DDPID, time=$count)successful"
1024
1025         count=0
1026         while [ true ]; do
1027             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
1028             count=$[count+1]
1029             if [ $count -gt 64 ]; then
1030                 error "dd should be finished!"
1031             fi
1032             sleep 1
1033         done
1034         echo "(dd_pid=$DDPID1, time=$count)successful"
1035
1036         sync; sleep 5; sync;
1037
1038         echo  "   step3: checking ......"
1039         fz=`stat -c %s $TESTFILE`
1040         fz2=`stat -c %s $TESTFILE.2`
1041         $SHOW_QUOTA_USER
1042         [ $((fz + fz2)) -lt $((BUNIT_SZ * BLK_SZ * 10)) ] && \
1043                 error "files too small $fz + $fz < $((BUNIT_SZ * BLK_SZ * 10))"
1044
1045         rm -f $TESTFILE $TESTFILE.2
1046
1047         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
1048 }
1049 run_test 13 "test multiple clients write block quota ==="
1050
1051 check_if_quota_zero(){
1052         line=`$LFS quota -$1 $2 $MOUNT | wc -l`
1053         for i in `seq 3 $line`; do
1054             for j in 3 4 6 7; do
1055                 tmp=`$LFS quota -$1 $2 $MOUNT | sed -n ${i}p |
1056                      awk  '{print $'"$j"'}'`
1057                 [ -n "$tmp" ] && [ $tmp -ne 0 ] && $LFS quota -$1 $2 $MOUNT && \
1058                     error "quota on $1 isn't clean"
1059             done
1060         done
1061         echo "pass check_if_quota_zero"
1062 }
1063
1064 # test setting quota on root, b=12223
1065 test_13(){
1066         TESTFILE="$TSTDIR/quota_tst13"
1067
1068         # reboot the lustre
1069         cd $T_PWD; sh llmountcleanup.sh || error "llmountcleanup failed"
1070         sh llmount.sh
1071         pre_test
1072         setup
1073         run_test 0 "reboot lustre"
1074
1075         # out of root's file and block quota
1076         $LFS setquota -u root 10 10 10 10 $MOUNT
1077         createmany -m ${TESTFILE} 20 || \
1078             error "unexpected: user(root) create files failly!"
1079         dd if=/dev/zero of=$TESTFILE bs=4k count=4096 || \
1080             error "unexpected: user(root) write files failly!"
1081         chmod 666 $TESTFILE
1082         $RUNAS dd if=/dev/zero of=${TESTFILE} seek=4096 bs=4k count=4096 && \
1083             error "unexpected: user(quota_usr) write a file successfully!"
1084
1085         # trigger the llog
1086         chmod 777 $MOUNT
1087         for i in `seq 1 10`; do $RUNAS touch ${TESTFILE}a_$i; done
1088         for i in `seq 1 10`; do $RUNAS rm -f ${TESTFILE}a_$i; done
1089
1090         # do the check
1091         dmesg | tail | grep "\-122" |grep llog_obd_origin_add && error "test_13 failed."
1092         $LFS setquota -u root 0 0 0 0 $MOUNT
1093         #check_if_quota_zero u root
1094
1095         # clean
1096         unlinkmany ${TESTFILE} 15
1097         rm -f $TESTFILE
1098 }
1099 run_test 13 "test setting quota on root ==="
1100
1101 # turn off quota
1102 test_99()
1103 {
1104         $LFS quotaoff $MOUNT
1105         return 0
1106 }
1107 run_test 99 "Quota off ==============================="
1108
1109
1110 log "cleanup: ======================================================"
1111 if [ "`mount | grep ^$NAME`" ]; then
1112         rm -fr $TSTDIR
1113             post_test
1114         # delete test user and group
1115         userdel "$TSTUSR"
1116         userdel "$TSTUSR2"
1117         if [ "$I_MOUNTED" = "yes" ]; then
1118                 cd $ORIG_PWD && (sh llmountcleanup.sh || error "llmountcleanup failed")
1119         fi
1120 fi
1121
1122 echo '=========================== finished ==============================='
1123 [ -f "$QUOTALOG" ] && cat $QUOTALOG && grep -q FAIL $QUOTALOG && exit 1 || true
1124 echo "$0: completed"