lustre/tests/sanity-quota.sh

   1 #!/bin/bash
   2 #
   3 # Run select tests by setting ONLY, or as arguments to the script.
   4 # Skip specific tests by setting EXCEPT.
   5 #
   6 # Run test by setting NOSETUP=true when ltest has setup env for us
   7 set -e
   8
   9 #kernel 2.4.x doesn't support quota
  10 K_VER=`uname --kernel-release | cut -b 1-3`
  11 if [ $K_VER = "2.4" ]; then
  12     echo "Kernel 2.4 doesn't support quota"
  13     exit 0
  14 fi
  15
  16 SRCDIR=`dirname $0`
  17 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
  18
  19 if [ "$1" == "9_10" ]; then
  20         echo "only run for test9 and test10"
  21         shift
  22         TEST_9_10=1
  23         ONLY="9 10"
  24 else
  25         TEST_9_10=0
  26 fi
  27 ONLY=${ONLY:-"$*"}
  28 ALWAYS_EXCEPT=${ALWAYS_EXCEPT:-""}
  29 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  30
  31 case `uname -r` in
  32 2.6*) FSTYPE=${FSTYPE:-ldiskfs};;
  33 *) error "unsupported kernel" ;;
  34 esac
  35
  36 [ "$ALWAYS_EXCEPT$EXCEPT" ] && \
  37         echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT`"
  38
  39 TMP=${TMP:-/tmp}
  40
  41 ORIG_PWD=${PWD}
  42 LFS=${LFS:-lfs}
  43 LCTL=${LCTL:-lctl}
  44 SETSTRIPE=${SETSTRIPE:-"$LFS setstripe"}
  45 TSTID=${TSTID:-60000}
  46 TSTID2=${TSTID2:-60001}
  47 RUNAS=${RUNAS:-"runas -u $TSTID"}
  48 RUNAS2=${RUNAS2:-"runas -u $TSTID2"}
  49 TSTUSR=${TSTUSR:-"quota_usr"}
  50 TSTUSR2=${TSTUSR2:-"quota_2usr"}
  51 BLK_SZ=1024
  52 BUNIT_SZ=${BUNIT_SZ:-1000}      # default 1000 quota blocks
  53 BTUNE_SZ=${BTUNE_SZ:-500}       # default 50% of BUNIT_SZ
  54 IUNIT_SZ=${IUNIT_SZ:-10}        # default 10 files
  55 ITUNE_SZ=${ITUNE_SZ:-5}         # default 50% of IUNIT_SZ
  56 MAX_DQ_TIME=604800
  57 MAX_IQ_TIME=604800
  58
  59 QUOTALOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
  60 FAIL_ON_ERROR=false
  61
  62 log() {
  63         echo "$*"
  64         $LCTL mark "$*" 2> /dev/null || true
  65 }
  66
  67 trace() {
  68         log "STARTING: $*"
  69         strace -o $TMP/$1.strace -ttt $*
  70         RC=$?
  71         log "FINISHED: $*: rc $RC"
  72         return 1
  73 }
  74 TRACE=${TRACE:-""}
  75
  76 run_one() {
  77         BEFORE=`date +%s`
  78         log "== test $1: $2= `date +%H:%M:%S` ($BEFORE)"
  79         export TESTNAME=test_$1
  80         test_$1 || error "exit with rc=$?"
  81         unset TESTNAME
  82         pass "($((`date +%s` - $BEFORE))s)"
  83         cd $SAVE_PWD
  84 }
  85
  86 build_test_filter() {
  87         [ "$ALWAYS_EXCEPT$EXCEPT$SANITY_EXCEPT" ] && \
  88             echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT $SANITY_QUOTA_EXCEPT`"
  89
  90         for O in $ONLY; do
  91             eval ONLY_${O}=true
  92         done
  93         for E in $EXCEPT $ALWAYS_EXCEPT $SANITY_QUOTA_EXCEPT; do
  94             eval EXCEPT_${E}=true
  95         done
  96         # turn on/off quota tests must be included
  97         eval ONLY_0=true
  98         eval ONLY_99=true
  99 }
 100
 101 _basetest() {
 102         echo $*
 103 }
 104
 105 basetest() {
 106         IFS=abcdefghijklmnopqrstuvwxyz _basetest $1
 107 }
 108
 109 run_test() {
 110          base=`basetest $1`
 111          if [ "$ONLY" ]; then
 112                  testname=ONLY_$1
 113                  if [ ${!testname}x != x ]; then
 114                         run_one $1 "$2"
 115                         return $?
 116                  fi
 117                  testname=ONLY_$base
 118                  if [ ${!testname}x != x ]; then
 119                          run_one $1 "$2"
 120                          return $?
 121                  fi
 122                  echo -n "."
 123                  return 0
 124         fi
 125         testname=EXCEPT_$1
 126         if [ ${!testname}x != x ]; then
 127                  TESTNAME=test_$1 skip "skipping excluded test $1"
 128                  return 0
 129         fi
 130         testname=EXCEPT_$base
 131         if [ ${!testname}x != x ]; then
 132                  TESTNAME=test_$1 skip "skipping excluded test $1 (base $base)"
 133                  return 0
 134         fi
 135         run_one $1 "$2"
 136         return $?
 137 }
 138
 139 [ "$QUOTALOG" ] && rm -f $QUOTALOG || true
 140
 141 mounted_lustre_filesystems() {
 142         awk '($3 ~ "lustre" && $1 ~ ":") { print $2 }' /proc/mounts | sed -n ${1}p
 143 }
 144
 145 # Remember where our caller has hinted that we should mount lustre
 146 MOUNT_HINT=$MOUNT
 147 MOUNT_HINT2=$MOUNT_2
 148 MOUNT="`mounted_lustre_filesystems 1`"
 149 MOUNT_2="`mounted_lustre_filesystems 2`"
 150 if [ $TEST_9_10 -eq 1 -a "$MOUNT" ]; then
 151         echo "test9 and test10 will run on $MOUNT"
 152 elif [ "$MOUNT" -a "$MOUNT_2" ]; then
 153         echo "testing on $MOUNT and $MOUNT_2"
 154 elif [ "$MOUNT" -o "$MOUNT_2" ]; then
 155         error "test needs two mounts, only found $MOUNT $MOUNT_2!"
 156 else
 157         export QUOTA_OPTS="quotaon=ug"
 158         export MOUNT=$MOUNT_HINT
 159         export MOUNT_2=$MOUNT_HINT2
 160         MOUNT_2=${MOUNT_2:-/mnt/lustre_2}
 161         sh llmount.sh
 162         MOUNT="`mounted_lustre_filesystems 1`"
 163         MOUNT_2="`mounted_lustre_filesystems 2`"
 164         [ -z "$MOUNT" ] && error "NAME=$MOUNT not mounted"
 165         [ -z "$MOUNT_2" ] && error "NAME=$MOUNT_2 not mounted"
 166         I_MOUNTED=yes
 167 fi
 168
 169 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
 170
 171 DIR=${DIR:-$MOUNT}
 172 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
 173 DIR2=${DIR2:-$MOUNT_2}
 174
 175 LPROC=/proc/fs/lustre
 176 LOVNAME=`cat $LPROC/llite/*/lov/common_name | tail -n 1`
 177 if [ $TEST_9_10 -eq 1 ]; then
 178     OSTCOUNT=2
 179 else
 180     OSTCOUNT=`cat $LPROC/lov/$LOVNAME/numobd`
 181 fi
 182 STRIPECOUNT=`cat $LPROC/lov/$LOVNAME/stripecount`
 183 STRIPESIZE=`cat $LPROC/lov/$LOVNAME/stripesize`
 184 ORIGFREE=`cat $LPROC/lov/$LOVNAME/kbytesavail`
 185 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
 186 MDS=$(\ls $LPROC/mdt 2> /dev/null | grep -v num_refs | tail -n 1)
 187 TSTDIR=$DIR/quota_test_dir
 188 TSTDIR2=$DIR2/quota_test_dir
 189 SHOW_QUOTA_USER="$LFS quota -u $TSTUSR $MOUNT"
 190 SHOW_QUOTA_GROUP="$LFS quota -g $TSTUSR $MOUNT"
 191 SHOW_QUOTA_INFO="$LFS quota -t $MOUNT"
 192
 193 build_test_filter
 194
 195
 196 # set_blk_tunables(btune_sz)
 197 set_blk_tunesz() {
 198         # set btune size on all obdfilters
 199         for i in /proc/fs/lustre/obdfilter/*/quota_btune_sz; do
 200                 echo $(($1 * $BLK_SZ)) > $i
 201         done
 202         # set btune size on mds
 203         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_btune_sz; do
 204                 echo $(($1 * $BLK_SZ)) > $i
 205         done
 206 }
 207
 208 # set_blk_unitsz(bunit_sz)
 209 set_blk_unitsz() {
 210         for i in /proc/fs/lustre/obdfilter/*/quota_bunit_sz; do
 211                 echo $(($1 * $BLK_SZ)) > $i
 212         done
 213         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_bunit_sz; do
 214                 echo $(($1 * $BLK_SZ)) > $i
 215         done
 216 }
 217
 218 # set_file_tunesz(itune_sz)
 219 set_file_tunesz() {
 220         # set iunit and itune size on all obdfilters
 221         for i in /proc/fs/lustre/obdfilter/*/quota_itune_sz; do
 222                 echo $1 > $i
 223         done
 224         # set iunit and itune size on mds
 225         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_itune_sz; do
 226                 echo $1 > $i
 227         done
 228 }
 229
 230 # set_file_unitsz(iunit_sz)
 231 set_file_unitsz() {
 232         for i in `ls /proc/fs/lustre/obdfilter/*/quota_iunit_sz`; do
 233                 echo $1 > $i
 234         done;
 235         for i in `ls /proc/fs/lustre/mds/lustre-MDT*/quota_iunit_sz`; do
 236                 echo $1 > $i
 237         done
 238 }
 239
 240 # These are for test on local machine,if run sanity-quota.sh on
 241 # real cluster, ltest should have setup the test environment:
 242 #
 243 # - create test user/group on all servers with same id.
 244 # - set unit size/tune on all servers size to reasonable value.
 245 pre_test() {
 246         if [ -z "$NOSETUP" ]; then
 247                 # set block tunables
 248                 set_blk_tunesz $BTUNE_SZ
 249                 set_blk_unitsz $BUNIT_SZ
 250                 # set file tunables
 251                 set_file_tunesz $ITUNE_SZ
 252                 set_file_unitsz $IUNIT_SZ
 253         fi
 254 }
 255 if [ $TEST_9_10 -eq 0 ]; then
 256     pre_test
 257 fi
 258
 259 post_test() {
 260         if [ -z "$NOSETUP" ]; then
 261                 # restore block tunables to default size
 262                 set_blk_unitsz $((1024 * 100))
 263                 set_blk_tunesz $((1024 * 50))
 264                 # restore file tunables to default size
 265                 set_file_unitsz 5000
 266                 set_file_tunesz 2500
 267         fi
 268 }
 269
 270 setup() {
 271         # create local test group
 272         GRP="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
 273         if [ -z "$GRP" ]; then
 274                 groupadd -g $TSTID "$TSTUSR"
 275         fi
 276         TSTID="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $3}'`"
 277
 278         GRP2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
 279         if [ -z "$GRP2" ]; then
 280                 groupadd -g $TSTID2 "$TSTUSR2"
 281         fi
 282         TSTID2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $3}'`"
 283
 284         # create test user
 285         USR="`cat /etc/passwd | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
 286         if [ -z "$USR" ]; then
 287                 useradd -u $TSTID -g $TSTID -d /tmp "$TSTUSR"
 288         fi
 289
 290         RUNAS="runas -u $TSTID"
 291
 292         USR2="`cat /etc/passwd | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
 293         if [ -z "$USR2" ]; then
 294                 useradd -u $TSTID2 -g $TSTID2 -d /tmp "$TSTUSR2"
 295         fi
 296
 297         RUNAS2="runas -u $TSTID2"
 298
 299         # create test directory
 300         rm -fr $TSTDIR
 301
 302         mkdir -p $TSTDIR
 303         chmod 777 $TSTDIR
 304 }
 305 setup
 306
 307 # set quota
 308 test_0() {
 309         $LFS quotaoff -ug $MOUNT
 310         $LFS quotacheck -ug $MOUNT
 311
 312         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 313         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 314 }
 315 run_test 0 "Set quota ============================="
 316
 317 # block hard limit (normal use and out of quota)
 318 test_1() {
 319         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits each sever
 320         TESTFILE="$TSTDIR/quota_tst10"
 321
 322         echo "  User quota (limit: $LIMIT kbytes)"
 323         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 324         $SHOW_QUOTA_USER
 325
 326         $LFS setstripe $TESTFILE 65536 0 1
 327         chown $TSTUSR.$TSTUSR $TESTFILE
 328
 329         echo "    Write ..."
 330         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(usr) write failure, but expect success"
 331         echo "    Done"
 332         echo "    Write out of block quota ..."
 333         # this time maybe cache write,  ignore it's failure
 334         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 335         # flush cache, ensure noquota flag is setted on client
 336         sync; sleep 1; sync;
 337         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(usr) write success, but expect EDQUOT"
 338
 339         rm -f $TESTFILE
 340
 341         echo "  Group quota (limit: $LIMIT kbytes)"
 342         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 343         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 344         $SHOW_QUOTA_GROUP
 345         TESTFILE="$TSTDIR/quota_tst11"
 346
 347         $LFS setstripe $TESTFILE 65536 0 1
 348         chown $TSTUSR.$TSTUSR $TESTFILE
 349
 350         echo "    Write ..."
 351         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(grp) write failure, but expect success"
 352         echo "    Done"
 353         echo "    Write out of block quota ..."
 354         # this time maybe cache write, ignore it's failure
 355         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
 356         sync; sleep 1; sync;
 357         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(grp) write success, but expect EDQUOT"
 358
 359         # cleanup
 360         rm -f $TESTFILE
 361         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 362 }
 363 run_test 1 "Block hard limit (normal use and out of quota) ==="
 364
 365 # file hard limit (normal use and out of quota)
 366 test_2() {
 367         LIMIT=$(($IUNIT_SZ * 10)) # 10 iunits on mds
 368         TESTFILE="$TSTDIR/quota_tstr20"
 369
 370         echo "  User quota (limit: $LIMIT files)"
 371         $LFS setquota -u $TSTUSR 0 0 0 $LIMIT $MOUNT
 372         $SHOW_QUOTA_USER
 373
 374         echo "    Create $LIMIT files ..."
 375         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 376             error "(usr) create failure, but except success"
 377         echo "    Done"
 378         echo "    Create out of file quota ..."
 379         $RUNAS touch ${TESTFILE}_xxx && \
 380                 error "(usr) touch success, but expect EDQUOT"
 381
 382         unlinkmany ${TESTFILE} $LIMIT
 383         rm ${TESTFILE}_xxx
 384
 385         echo "  Group quota (limit: $LIMIT files)"
 386         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 387         $LFS setquota -g $TSTUSR 0 0 0 $LIMIT $MOUNT
 388         $SHOW_QUOTA_GROUP
 389         TESTFILE="$TSTDIR/quota_tst21"
 390
 391         echo "    Create $LIMIT files ..."
 392         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
 393                 error "(grp) create failure, but expect success"
 394
 395         echo "    Done"
 396         echo "    Create out of file quota ..."
 397         $RUNAS touch ${TESTFILE}_xxx && \
 398                 error "(grp) touch success, but expect EDQUOT"
 399
 400         $RUNAS touch ${TESTFILE}_xxx > /dev/null 2>&1 && error "(grp) touch success, but expect EDQUOT"
 401
 402         # cleanup
 403         unlinkmany ${TESTFILE} $LIMIT
 404         rm ${TESTFILE}_xxx
 405
 406         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 407 }
 408 run_test 2 "File hard limit (normal use and out of quota) ==="
 409
 410 test_block_soft() {
 411         TESTFILE=$1
 412         TIMER=$(($2 * 3 / 2))
 413         OFFSET=0
 414
 415         echo "    Write to exceed soft limit"
 416         RUNDD="$RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ"
 417         $RUNDD count=$((BUNIT_SZ+1)) || \
 418                 error "write failure, but expect success"
 419         OFFSET=$((OFFSET + BUNIT_SZ + 1))
 420         sync; sleep 1; sync;
 421
 422         $SHOW_QUOTA_USER
 423         $SHOW_QUOTA_GROUP
 424         $SHOW_QUOTA_INFO
 425
 426         echo "    Write before timer goes off"
 427         $RUNDD count=$BUNIT_SZ seek=$OFFSET || \
 428                 error "write failure, but expect success"
 429         OFFSET=$((OFFSET + BUNIT_SZ))
 430         sync; sleep 1; sync;
 431         echo "    Done"
 432
 433         echo "    Sleep $TIMER seconds ..."
 434         sleep $TIMER
 435
 436         $SHOW_QUOTA_USER
 437         $SHOW_QUOTA_GROUP
 438         $SHOW_QUOTA_INFO
 439
 440         echo "    Write after timer goes off"
 441         # maybe cache write, ignore.
 442         sync; sleep 1; sync;
 443         $RUNDD count=$BUNIT_SZ seek=$OFFSET || true
 444         OFFSET=$((OFFSET + BUNIT_SZ))
 445         sync; sleep 1; sync;
 446         $RUNDD count=$BUNIT_SZ seek=$OFFSET && \
 447                 error "write success, but expect EDQUOT"
 448
 449         $SHOW_QUOTA_USER
 450         $SHOW_QUOTA_GROUP
 451         $SHOW_QUOTA_INFO
 452
 453         echo "    Unlink file to stop timer"
 454         rm -f $TESTFILE
 455         echo "    Done"
 456
 457         $SHOW_QUOTA_USER
 458         $SHOW_QUOTA_GROUP
 459         $SHOW_QUOTA_INFO
 460
 461         echo "    Write ..."
 462         $RUNDD count=$BUNIT_SZ || error "write failure, but expect success"
 463         echo "    Done"
 464
 465         # cleanup
 466         rm -f $TESTFILE
 467 }
 468
 469 # block soft limit (start timer, timer goes off, stop timer)
 470 test_3() {
 471         LIMIT=$(( $BUNIT_SZ * 2 )) # 1 bunit on mds and 1 bunit on the ost
 472         GRACE=10
 473
 474         echo "  User quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 475         TESTFILE="$TSTDIR/quota_tst30"
 476         $LFS setstripe $TESTFILE 65536 0 1
 477         chown $TSTUSR.$TSTUSR $TESTFILE
 478
 479         $LFS setquota -t -u $GRACE $MAX_IQ_TIME $MOUNT
 480         $LFS setquota -u $TSTUSR $LIMIT 0 0 0 $MOUNT
 481
 482         test_block_soft $TESTFILE $GRACE
 483         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 484
 485         echo "  Group quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
 486         TESTFILE="$TSTDIR/quota_tst31"
 487         $LFS setstripe $TESTFILE 65536 0 1
 488         chown $TSTUSR.$TSTUSR $TESTFILE
 489
 490         $LFS setquota -t -g $GRACE $MAX_IQ_TIME $MOUNT
 491         $LFS setquota -g $TSTUSR $LIMIT 0 0 0 $MOUNT
 492
 493         test_block_soft $TESTFILE $GRACE
 494         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 495 }
 496 run_test 3 "Block soft limit (start timer, timer goes off, stop timer) ==="
 497
 498 test_file_soft() {
 499         TESTFILE=$1
 500         LIMIT=$2
 501         TIMER=$(($3 * 3 / 2))
 502
 503         echo "    Create files to exceed soft limit"
 504         $RUNAS createmany -m ${TESTFILE}_ $((LIMIT + 1)) || \
 505                 error "create failure, but expect success"
 506         echo "    Done"
 507
 508         echo "    Create file before timer goes off"
 509         $RUNAS touch ${TESTFILE}_before || \
 510                 error "failed create before timer expired, but expect success"
 511         echo "    Done"
 512
 513         echo "    Sleep $TIMER seconds ..."
 514         sleep $TIMER
 515
 516         $SHOW_QUOTA_USER
 517         $SHOW_QUOTA_GROUP
 518         $SHOW_QUOTA_INFO
 519
 520         echo "    Create file after timer goes off"
 521         $RUNAS createmany -m ${TESTFILE}_after_ $((IUNIT_SZ - 2)) || \
 522                 error "create ${TESTFILE}_after failure, but expect success"
 523         $RUNAS touch ${TESTFILE}_after && \
 524                 error "create after timer expired, but expect EDQUOT"
 525
 526         $SHOW_QUOTA_USER
 527         $SHOW_QUOTA_GROUP
 528         $SHOW_QUOTA_INFO
 529
 530         echo "    Unlink files to stop timer"
 531         find `dirname $TESTFILE` -name "`basename ${TESTFILE}`*" | xargs rm -f
 532         echo "    Done"
 533
 534         echo "    Create file"
 535         $RUNAS touch ${TESTFILE}_xxx || \
 536                 error "touch after timer stop failure, but expect success"
 537         echo "    Done"
 538
 539         # cleanup
 540         rm -f ${TESTFILE}_xxx
 541 }
 542
 543 # file soft limit (start timer, timer goes off, stop timer)
 544 test_4() {
 545         LIMIT=$(($IUNIT_SZ * 10))       # 10 iunits on mds
 546         TESTFILE="$TSTDIR/quota_tst40"
 547         GRACE=5
 548
 549         echo "  User quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 550         $LFS setquota -t -u $MAX_DQ_TIME $GRACE $MOUNT
 551         $LFS setquota -u $TSTUSR 0 0 $LIMIT 0 $MOUNT
 552         $SHOW_QUOTA_USER
 553
 554         test_file_soft $TESTFILE $LIMIT $GRACE
 555         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 556
 557         echo "  Group quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
 558         $LFS setquota -t -g $MAX_DQ_TIME $GRACE $MOUNT
 559         $LFS setquota -g $TSTUSR 0 0 $LIMIT 0 $MOUNT
 560         $SHOW_QUOTA_GROUP
 561         TESTFILE="$TSTDIR/quota_tst41"
 562
 563         test_file_soft $TESTFILE $LIMIT $GRACE
 564         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 565
 566         # cleanup
 567         $LFS setquota -t -u $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 568         $LFS setquota -t -g $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
 569 }
 570 run_test 4 "File soft limit (start timer, timer goes off, stop timer) ==="
 571
 572 # chown & chgrp (chown & chgrp successfully even out of block/file quota)
 573 test_5() {
 574         BLIMIT=$(( $BUNIT_SZ * $((OSTCOUNT + 1)) * 10)) # 10 bunits on each server
 575         ILIMIT=$(( $IUNIT_SZ * 10 )) # 10 iunits on mds
 576
 577         echo "  Set quota limit (0 $BLIMIT 0 $ILIMIT) for $TSTUSR.$TSTUSR"
 578         $LFS setquota -u $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 579         $LFS setquota -g $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
 580         $SHOW_QUOTA_USER
 581         $SHOW_QUOTA_GROUP
 582
 583         echo "  Create more than $ILIMIT files and more than $BLIMIT kbytes ..."
 584         createmany -m $TSTDIR/quota_tst50_ $((ILIMIT + 1)) || \
 585                 error "touch failure, expect success"
 586         dd if=/dev/zero of=$TSTDIR/quota_tst50_1 bs=$BLK_SZ count=$((BLIMIT+1)) || error "write failure, expect success"
 587
 588         echo "  Chown files to $TSTUSR.$TSTUSR ..."
 589         for i in `seq 0 ILIMIT`; do
 590                 chown $TSTUSR.$TSTUSR $TSTDIR/quota_tst50_$i || \
 591                         error "chown failure, but expect success"
 592         done
 593
 594         # cleanup
 595         unlinkmany $TSTDIR/quota_tst50_ $((ILIMIT + 1))
 596
 597         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 598         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 599 }
 600 run_test 5 "Chown & chgrp successfully even out of block/file quota ==="
 601
 602 # block quota acquire & release
 603 test_6() {
 604         if [ $OSTCOUNT -lt 2 ]; then
 605                 skip "$OSTCOUNT < 2, too few osts"
 606                 return 0;
 607         fi
 608
 609         LIMIT=$(($BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits per server
 610         FILEA="$TSTDIR/quota_tst60_a"
 611         FILEB="$TSTDIR/quota_tst60_b"
 612
 613         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 614         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 615         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
 616         $SHOW_QUOTA_USER
 617         $SHOW_QUOTA_GROUP
 618
 619         echo "  Create filea on OST0 and fileb on OST1"
 620         $LFS setstripe $FILEA 65536 0 1
 621         $LFS setstripe $FILEB 65536 1 1
 622         chown $TSTUSR.$TSTUSR $FILEA
 623         chown $TSTUSR.$TSTUSR $FILEB
 624
 625         echo "  Exceed quota limit ..."
 626         RUNDD="$RUNAS dd if=/dev/zero of=$FILEB bs=$BLK_SZ"
 627         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 628                 error "write fileb failure, but expect success"
 629
 630         sync; sleep 1; sync;
 631         $SHOW_QUOTA_USER
 632         $SHOW_QUOTA_GROUP
 633         $RUNDD seek=$LIMIT count=$((BUNIT_SZ * OSTCOUNT)) && \
 634                 error "write fileb success, but expect EDQUOT"
 635         sync; sleep 1; sync;
 636         echo "  Write to OST0 return EDQUOT"
 637         # this write maybe cache write, ignore it's failure
 638         RUNDD="$RUNAS dd if=/dev/zero of=$FILEA bs=$BLK_SZ"
 639         $RUNDD count=$(($BUNIT_SZ * 2)) || true
 640         sync; sleep 1; sync;
 641         $SHOW_QUOTA_USER
 642         $SHOW_QUOTA_GROUP
 643         $RUNDD count=$((BUNIT_SZ * 2)) seek=$((BUNIT_SZ *2)) && \
 644                 error "write filea success, but expect EDQUOT"
 645
 646         echo "  Remove fileb to let OST1 release quota"
 647         rm -f $FILEB
 648         sync; sleep 10; sync; # need to allow journal commit for small fs
 649
 650         echo "  Write to OST0"
 651         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
 652                 error "write filea failure, expect success"
 653         echo "  Done"
 654
 655         # cleanup
 656         rm -f $FILEA
 657         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 658         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
 659         return 0
 660 }
 661 run_test 6 "Block quota acquire & release ========="
 662
 663 # quota recovery (block quota only by now)
 664 test_7()
 665 {
 666         remote_mds && skip "remote mds"
 667
 668         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 669         TESTFILE="$TSTDIR/quota_tst70"
 670
 671         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 672
 673         $LFS setstripe $TESTFILE 65536 0 1
 674         chown $TSTUSR.$TSTUSR $TESTFILE
 675
 676         echo "  Write to OST0..."
 677         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ || \
 678                 error "write failure, but expect success"
 679
 680         #define OBD_FAIL_OBD_DQACQ               0x604
 681         echo 0x604 > /proc/sys/lustre/fail_loc
 682         echo "  Remove files on OST0"
 683         rm -f $TESTFILE
 684         echo 0 > /proc/sys/lustre/fail_loc
 685
 686         echo "  Trigger recovery..."
 687         OSC0_UUID="`$LCTL dl | awk '$3 ~ /osc/ { print $1 }'`"
 688         for i in $OSC0_UUID; do
 689                 $LCTL --device $i activate || error "activate osc failed!"
 690         done
 691
 692         # sleep a while to wait for recovery done
 693         sleep 20
 694
 695         # check limits
 696         PATTERN="`echo $MOUNT | sed 's/\//\\\\\//g'`"
 697         TOTAL_LIMIT="`$LFS quota -u $TSTUSR $MOUNT | awk '/^.*'$PATTERN'.*[[:digit:]+][[:space:]+]/ { print $4 }'`"
 698         [ $TOTAL_LIMIT -eq $LIMIT ] || error "total limits not recovery!"
 699         echo "  total limits = $TOTAL_LIMIT"
 700
 701         OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
 702         [ -z "$OST0_UUID" ] && OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
 703         OST0_LIMIT="`$LFS quota -o $OST0_UUID -u $TSTUSR $MOUNT | awk '/^.*[[:digit:]+][[:space:]+]/ { print $3 }'`"
 704         [ $OST0_LIMIT -eq $BUNIT_SZ ] || error "high limits not released!"
 705         echo "  limits on $OST0_UUID = $OST0_LIMIT"
 706
 707         # cleanup
 708         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
 709 }
 710 run_test 7 "Quota recovery (only block limit) ======"
 711
 712 # run dbench with quota enabled
 713 test_8() {
 714         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 715         FILE_LIMIT=1000000
 716         DBENCH_LIB=${DBENCH_LIB:-/usr/lib/dbench}
 717
 718         [ ! -d $DBENCH_LIB ] && skip "dbench not installed" && return 0
 719
 720         echo "  Set enough high limit for user: $TSTUSR"
 721         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 722         echo "  Set enough high limit for group: $TSTUSR"
 723         $LFS setquota -g $USER 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 724
 725
 726         TGT=$TSTDIR/client.txt
 727         SRC=${SRC:-$DBENCH_LIB/client.txt}
 728         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 729         SRC=$DBENCH_LIB/client_plain.txt
 730         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
 731
 732         SAVE_PWD=$PWD
 733         cd $TSTDIR
 734         $RUNAS dbench -c client.txt 3
 735         RC=$?
 736
 737         rm -f client.txt
 738         cd $SAVE_PWD
 739         return $RC
 740 }
 741 run_test 8 "Run dbench with quota enabled ==========="
 742
 743 # run for fixing bug10707, it needs a big room. test for 64bit
 744 test_9() {
 745         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 746         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 747         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 748         if [ $lustrefs_size -lt $size_file ]; then
 749             skip "less than $size_file free"
 750             return 0;
 751         fi
 752
 753         # set the D_QUOTA flag
 754         DBG_SAVE="`sysctl -n lnet.debug`"
 755         sysctl -w lnet.debug="$DBG_SAVE quota"
 756
 757         TESTFILE="$TSTDIR/quota_tst90"
 758
 759         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 760         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 761         FILE_LIMIT=1000000
 762
 763         echo "  Set enough high limit for user: $TSTUSR"
 764         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 765         echo "  Set enough high limit for group: $TSTUSR"
 766         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 767
 768         echo "  Set stripe"
 769         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 770         touch $TESTFILE
 771         chown $TSTUSR.$TSTUSR $TESTFILE
 772
 773         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 774         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 775
 776         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 777         $RUNAS rm -f $TESTFILE
 778
 779         echo "    write the big file of 2G..."
 780         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect seccess"
 781
 782         echo "    delete the big file of 2G..."
 783         $RUNAS rm -f $TESTFILE
 784         RC=$?
 785
 786         sysctl -w lnet.debug="$DBG_SAVE"
 787         return $RC
 788 }
 789 run_test 9 "run for fixing bug10707(64bit) ==========="
 790
 791 # run for fixing bug10707, it need a big room. test for 32bit
 792 test_10() {
 793         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
 794         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
 795         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
 796         if [ $lustrefs_size -lt $size_file ]; then
 797                 skip "less than $size_file free"
 798                 return 0;
 799         fi
 800
 801         if [ ! -d /proc/fs/lustre/ost/ -o ! -d /proc/fs/lustre/mds ]; then
 802                 skip "mds or ost isn't local"
 803                 return 0;
 804         fi
 805
 806         sync; sleep 10; sync;
 807
 808         # set the D_QUOTA flag
 809         set_flag=0
 810         if [ -z "`sysctl lnet.debug | grep quota`" ]; then
 811                 sysctl -w lnet.debug="+quota"
 812                 set_flag=1
 813         fi
 814
 815         # make qd_count 32 bit
 816         sysctl -w lustre.fail_loc=0xA00
 817
 818         TESTFILE="$TSTDIR/quota_tst100"
 819
 820         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
 821         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
 822         FILE_LIMIT=1000000
 823
 824         echo "  Set enough high limit for user: $TSTUSR"
 825         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 826         echo "  Set enough high limit for group: $TSTUSR"
 827         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
 828
 829         echo "  Set stripe"
 830         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
 831         touch $TESTFILE
 832         chown $TSTUSR.$TSTUSR $TESTFILE
 833
 834         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
 835         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 836
 837         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
 838         $RUNAS rm -f $TESTFILE
 839
 840         echo "    write the big file of 2G..."
 841         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
 842
 843         echo "    delete the big file of 2G..."
 844         $RUNAS rm -f $TESTFILE
 845
 846         RC=$?
 847
 848         # clear the flage
 849         if [ $set_flag -eq 1 ]; then
 850                 sysctl -w lnet.debug="-quota"
 851         fi
 852
 853         # make qd_count 64 bit
 854         sysctl -w lustre.fail_loc=0
 855
 856         return $RC
 857 }
 858 run_test 10 "run for fixing bug10707(32bit) ==========="
 859
 860 test_11() {
 861        #prepare the test
 862        block_limit=`(echo 0; df -t lustre -P | awk '{print $(NF - 4)}') | tail -n 1`
 863        echo $block_limit
 864        orig_dbr=`cat /proc/sys/vm/dirty_background_ratio`
 865        orig_dec=`cat /proc/sys/vm/dirty_expire_centisecs`
 866        orig_dr=`cat /proc/sys/vm/dirty_ratio`
 867        orig_dwc=`cat /proc/sys/vm/dirty_writeback_centisecs`
 868        echo 1  > /proc/sys/vm/dirty_background_ratio
 869        echo 30 > /proc/sys/vm/dirty_expire_centisecs
 870        echo 1  > /proc/sys/vm/dirty_ratio
 871        echo 50 > /proc/sys/vm/dirty_writeback_centisecs
 872        TESTDIR="$TSTDIR/quota_tst110"
 873        local RV=0
 874
 875        #do the test
 876        MINS=0
 877        REPS=3
 878        i=1
 879        while [ $i -le $REPS ]; do
 880            echo "test: cycle($i of $REPS) start at $(date)"
 881            mkdir -p $TESTDIR && chmod 777 $TESTDIR
 882            echo -n "    create a file for uid "
 883            for j in `seq 1 30`; do
 884                echo -n "$j "
 885                runas -u $j dd if=/dev/zero of=$TESTDIR/$j  bs=$BLK_SZ > /dev/null 2>&1 &
 886            done
 887            echo ""
 888            PROCS=$(ps -e | grep dd | wc -l)
 889            while [ $PROCS -gt 0 ]; do
 890              sleep 60
 891              MINS=$(($MINS+1))
 892              PROCS=$(ps -e | grep dd | wc -l)
 893              USED=$(du -s $TESTDIR | awk '{print $1}')
 894              PCT=$(($USED * 100 / $block_limit))
 895              echo "${i}/${REPS} ${PCT}% p${PROCS} t${MINS}  "
 896              if [ $MINS -gt 30 ]; then
 897                  error "Aborting after $MINS minutes"
 898                  kill -9 $(ps -ef | grep $TESTDIR | grep -v grep | awk '{ print $2 }')
 899                  i=$REPS
 900                  RV=2
 901                  break
 902              fi
 903            done
 904            echo "    removing the test files..."
 905            rm -rf $TESTDIR
 906            echo "cycle $i done at $(date)"
 907            i=$[$i+1]
 908        done
 909        echo "Test took $MINS minutes"
 910
 911        #clean
 912        echo $orig_dbr > /proc/sys/vm/dirty_background_ratio
 913        echo $orig_dec > /proc/sys/vm/dirty_expire_centisecs
 914        echo $orig_dr  > /proc/sys/vm/dirty_ratio
 915        echo $orig_dwc > /proc/sys/vm/dirty_writeback_centisecs
 916        return $RV
 917 }
 918 run_test 11 "run for fixing bug10912 ==========="
 919
 920
 921 # test a deadlock between quota and journal b=11693
 922 test_12() {
 923         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
 924         TESTFILE="$TSTDIR/quota_tst120"
 925         TESTFILE2="$TSTDIR2/quota_tst121"
 926
 927         echo "   User quota (limit: $LIMIT kbytes)"
 928         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 929
 930         $LFS setstripe $TESTFILE 65536 0 1
 931         chown $TSTUSR.$TSTUSR $TESTFILE
 932         $LFS setstripe $TESTFILE2 65536 0 1
 933         chown $TSTUSR2.$TSTUSR2 $TESTFILE2
 934
 935         #define OBD_FAIL_OST_HOLD_WRITE_RPC      0x21f
 936         sysctl -w lustre.fail_loc=0x0000021f
 937
 938         echo "   step1: write out of block quota ..."
 939         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT*2)) &
 940         DDPID=$!
 941         sleep 5
 942         $RUNAS2 dd if=/dev/zero of=$TESTFILE2 bs=$BLK_SZ count=102400 &
 943         DDPID1=$!
 944
 945         echo  "   step2: testing ......"
 946         count=0
 947         while [ true ]; do
 948             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
 949             count=$[count+1]
 950             if [ $count -gt 64 ]; then
 951                 sysctl -w lustre.fail_loc=0
 952                 error "dd should be finished!"
 953             fi
 954             sleep 1
 955         done
 956         echo "(dd_pid=$DDPID1, time=$count)successful"
 957
 958         #Recover fail_loc and dd will finish soon
 959         sysctl -w lustre.fail_loc=0
 960
 961         echo  "   step3: testing ......"
 962         count=0
 963         while [ true ]; do
 964             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
 965             count=$[count+1]
 966             if [ $count -gt 100 ]; then
 967                 error "dd should be finished!"
 968             fi
 969             sleep 1
 970         done
 971         echo "(dd_pid=$DDPID, time=$count)successful"
 972
 973         rm -f $TESTFILE $TESTFILE2
 974
 975         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
 976 }
 977 run_test 12 "test a deadlock between quota and journal ==="
 978
 979 # test multiple clients write block quota b=11693
 980 test_13() {
 981         # one OST * 10 + (mds + other OSTs)
 982         LIMIT=$((BUNIT_SZ * 10 + (BUNIT_SZ * OSTCOUNT)))
 983         TESTFILE="$TSTDIR/quota_tst13"
 984
 985         echo "   User quota (limit: $LIMIT kbytes)"
 986         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
 987         $SHOW_QUOTA_USER
 988
 989         $LFS setstripe $TESTFILE 65536 0 1
 990         chown $TSTUSR.$TSTUSR $TESTFILE
 991         $LFS setstripe $TESTFILE.2 65536 0 1
 992         chown $TSTUSR.$TSTUSR $TESTFILE.2
 993
 994         echo "   step1: write out of block quota ..."
 995         # one bunit will give mds
 996         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
 997         DDPID=$!
 998         $RUNAS dd if=/dev/zero of=$TESTFILE.2 bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] &
 999         DDPID1=$!
1000
1001         echo  "   step2: testing ......"
1002         count=0
1003         while [ true ]; do
1004             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
1005             count=$[count+1]
1006             if [ $count -gt 64 ]; then
1007                 error "dd should be finished!"
1008             fi
1009             sleep 1
1010         done
1011         echo "(dd_pid=$DDPID, time=$count)successful"
1012
1013         count=0
1014         while [ true ]; do
1015             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
1016             count=$[count+1]
1017             if [ $count -gt 64 ]; then
1018                 error "dd should be finished!"
1019             fi
1020             sleep 1
1021         done
1022         echo "(dd_pid=$DDPID1, time=$count)successful"
1023
1024         sync; sleep 5; sync;
1025
1026         echo  "   step3: checking ......"
1027         fz=`stat -c %s $TESTFILE`
1028         fz2=`stat -c %s $TESTFILE.2`
1029         $SHOW_QUOTA_USER
1030         [ $((fz + fz2)) -lt $((BUNIT_SZ * BLK_SZ * 10)) ] && \
1031                 error "files too small $fz + $fz < $((BUNIT_SZ * BLK_SZ * 10))"
1032
1033         rm -f $TESTFILE $TESTFILE.2
1034
1035         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
1036 }
1037 run_test 13 "test multiple clients write block quota ==="
1038
1039 check_if_quota_zero(){
1040         line=`$LFS quota -$1 $2 $MOUNT | wc -l`
1041         for i in `seq 3 $line`; do
1042             for j in 3 4 6 7; do
1043                 tmp=`$LFS quota -$1 $2 $MOUNT | sed -n ${i}p |
1044                      awk  '{print $'"$j"'}'`
1045                 [ -n "$tmp" ] && [ $tmp -ne 0 ] && $LFS quota -$1 $2 $MOUNT && \
1046                     error "quota on $1 isn't clean"
1047             done
1048         done
1049         echo "pass check_if_quota_zero"
1050 }
1051
1052 # test setting quota on root, b=12223
1053 test_13(){
1054         TESTFILE="$TSTDIR/quota_tst13"
1055
1056         # reboot the lustre
1057         cd $T_PWD; sh llmountcleanup.sh || error "llmountcleanup failed"
1058         sh llmount.sh
1059         pre_test
1060         setup
1061         run_test 0 "reboot lustre"
1062
1063         # out of root's file and block quota
1064         $LFS setquota -u root 10 10 10 10 $MOUNT
1065         createmany -m ${TESTFILE} 20 || \
1066             error "unexpected: user(root) create files failly!"
1067         dd if=/dev/zero of=$TESTFILE bs=4k count=4096 || \
1068             error "unexpected: user(root) write files failly!"
1069         chmod 666 $TESTFILE
1070         $RUNAS dd if=/dev/zero of=${TESTFILE} seek=4096 bs=4k count=4096 && \
1071             error "unexpected: user(quota_usr) write a file successfully!"
1072
1073         # trigger the llog
1074         chmod 777 $MOUNT
1075         for i in `seq 1 10`; do $RUNAS touch ${TESTFILE}a_$i; done
1076         for i in `seq 1 10`; do $RUNAS rm -f ${TESTFILE}a_$i; done
1077
1078         # do the check
1079         dmesg | tail | grep "\-122" |grep llog_obd_origin_add && error "test_13 failed."
1080         $LFS setquota -u root 0 0 0 0 $MOUNT
1081         #check_if_quota_zero u root
1082
1083         # clean
1084         unlinkmany ${TESTFILE} 15
1085         rm -f $TESTFILE
1086 }
1087 run_test 13 "test setting quota on root ==="
1088
1089 # turn off quota
1090 test_99()
1091 {
1092         $LFS quotaoff $MOUNT
1093         return 0
1094 }
1095 run_test 99 "Quota off ==============================="
1096
1097
1098 log "cleanup: ======================================================"
1099 if [ "`mount | grep ^$NAME`" ]; then
1100         rm -fr $TSTDIR
1101         if [ $TEST_9_10 -eq 0 ]; then
1102             post_test
1103         fi
1104         # delete test user and group
1105         userdel "$TSTUSR"
1106         userdel "$TSTUSR2"
1107         if [ "$I_MOUNTED" = "yes" ]; then
1108                 cd $ORIG_PWD && (sh llmountcleanup.sh || error "llmountcleanup failed")
1109         fi
1110 fi
1111
1112 echo '=========================== finished ==============================='
1113 [ -f "$QUOTALOG" ] && cat $QUOTALOG && grep -q FAIL $QUOTALOG && exit 1 || true
1114 echo "$0: completed"