Whamcloud - gitweb
b=10825
[fs/lustre-release.git] / lustre / tests / sanity-quota.sh
1 #!/bin/bash
2 #
3 # Run select tests by setting ONLY, or as arguments to the script.
4 # Skip specific tests by setting EXCEPT.
5 #
6 # Run test by setting NOSETUP=true when ltest has setup env for us
7 set -e
8
9 #kernel 2.4.x doesn't support quota
10 K_VER=`uname --kernel-release | cut -b 1-3`
11 if [ $K_VER = "2.4" ]; then
12     echo "Kernel 2.4 doesn't support quota"
13     exit 0
14 fi
15
16 SRCDIR=`dirname $0`
17 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
18
19 ONLY=${ONLY:-"$*"}
20 ALWAYS_EXCEPT="$SANITY_QUOTA_EXCEPT"
21 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
22
23 case `uname -r` in
24 2.6*) FSTYPE=${FSTYPE:-ldiskfs};;
25 *) error "unsupported kernel" ;;
26 esac
27
28 [ "$ALWAYS_EXCEPT$EXCEPT" ] && \
29         echo "Skipping tests: `echo $ALWAYS_EXCEPT $EXCEPT`"
30
31 TMP=${TMP:-/tmp}
32
33 ORIG_PWD=${PWD}
34 LFS=${LFS:-lfs}
35 LCTL=${LCTL:-lctl}
36 SETSTRIPE=${SETSTRIPE:-"$LFS setstripe"}
37 TSTID=${TSTID:-60000}
38 TSTID2=${TSTID2:-60001}
39 RUNAS=${RUNAS:-"runas -u $TSTID"}
40 RUNAS2=${RUNAS2:-"runas -u $TSTID2"}
41 TSTUSR=${TSTUSR:-"quota_usr"}
42 TSTUSR2=${TSTUSR2:-"quota_2usr"}
43 BLK_SZ=1024
44 BUNIT_SZ=${BUNIT_SZ:-1000}      # default 1000 quota blocks
45 BTUNE_SZ=${BTUNE_SZ:-500}       # default 50% of BUNIT_SZ
46 IUNIT_SZ=${IUNIT_SZ:-10}        # default 10 files
47 ITUNE_SZ=${ITUNE_SZ:-5}         # default 50% of IUNIT_SZ
48 MAX_DQ_TIME=604800
49 MAX_IQ_TIME=604800
50
51 TRACE=${TRACE:-""}
52 LUSTRE=${LUSTRE:-`dirname $0`/..}
53 . $LUSTRE/tests/test-framework.sh
54 init_test_env $@
55 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
56
57 QUOTALOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
58 FAIL_ON_ERROR=false
59
60 [ "$QUOTALOG" ] && rm -f $QUOTALOG || true
61
62 mounted_lustre_filesystems() {
63         awk '($3 ~ "lustre" && $1 ~ ":") { print $2 }' /proc/mounts | sed -n ${1}p
64 }
65
66 # Remember where our caller has hinted that we should mount lustre
67 MOUNT_HINT=$MOUNT
68 MOUNT_HINT2=$MOUNT_2
69 MOUNT="`mounted_lustre_filesystems 1`"
70 MOUNT_2="`mounted_lustre_filesystems 2`"
71 if [ "$MOUNT" -a "$MOUNT_2" ]; then
72         echo "testing on $MOUNT and $MOUNT_2"
73 elif [ "$MOUNT" -o "$MOUNT_2" ]; then
74         error "test needs two mounts, only found $MOUNT $MOUNT_2!"
75 else
76         export QUOTA_OPTS="quotaon=ug"
77         export MOUNT=$MOUNT_HINT 
78         export MOUNT_2=$MOUNT_HINT2
79         MOUNT_2=${MOUNT_2:-/mnt/lustre_2}
80         sh llmount.sh 
81         MOUNT="`mounted_lustre_filesystems 1`"
82         MOUNT_2="`mounted_lustre_filesystems 2`"
83         [ -z "$MOUNT" ] && error "NAME=$MOUNT not mounted"
84         [ -z "$MOUNT_2" ] && error "NAME=$MOUNT_2 not mounted"
85         I_MOUNTED=yes
86 fi
87
88 [ `echo $MOUNT | wc -w` -gt 1 ] && error "NAME=$NAME mounted more than once"
89
90 DIR=${DIR:-$MOUNT}
91 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 99
92 DIR2=${DIR2:-$MOUNT_2}
93
94 LOVNAME=`cat $LPROC/llite/*/lov/common_name | tail -n 1`
95 OSTCOUNT=`cat $LPROC/lov/$LOVNAME/numobd`
96 STRIPECOUNT=`cat $LPROC/lov/$LOVNAME/stripecount`
97 STRIPESIZE=`cat $LPROC/lov/$LOVNAME/stripesize`
98 ORIGFREE=`cat $LPROC/lov/$LOVNAME/kbytesavail`
99 MAXFREE=${MAXFREE:-$((200000 * $OSTCOUNT))}
100 MDS=$(\ls $LPROC/mdt 2> /dev/null | grep -v num_refs | tail -n 1)
101 TSTDIR=$DIR/quota_test_dir
102 TSTDIR2=$DIR2/quota_test_dir
103 SHOW_QUOTA_USER="$LFS quota -u $TSTUSR $MOUNT"
104 SHOW_QUOTA_GROUP="$LFS quota -g $TSTUSR $MOUNT"
105 SHOW_QUOTA_INFO="$LFS quota -t $MOUNT"
106
107 build_test_filter
108
109 eval ONLY_0=true
110 eval ONLY_99=true
111
112 # set_blk_tunables(btune_sz)
113 set_blk_tunesz() {
114         # set btune size on all obdfilters
115         for i in /proc/fs/lustre/obdfilter/*/quota_btune_sz; do
116                 echo $(($1 * $BLK_SZ)) > $i
117         done
118         # set btune size on mds
119         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_btune_sz; do
120                 echo $(($1 * $BLK_SZ)) > $i
121         done
122 }
123
124 # set_blk_unitsz(bunit_sz)
125 set_blk_unitsz() {
126         for i in /proc/fs/lustre/obdfilter/*/quota_bunit_sz; do
127                 echo $(($1 * $BLK_SZ)) > $i
128         done
129         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_bunit_sz; do
130                 echo $(($1 * $BLK_SZ)) > $i
131         done
132 }
133
134 # set_file_tunesz(itune_sz)
135 set_file_tunesz() {
136         # set iunit and itune size on all obdfilters
137         for i in /proc/fs/lustre/obdfilter/*/quota_itune_sz; do
138                 echo $1 > $i
139         done
140         # set iunit and itune size on mds
141         for i in /proc/fs/lustre/mds/lustre-MDT*/quota_itune_sz; do
142                 echo $1 > $i
143         done
144 }
145
146 # set_file_unitsz(iunit_sz)
147 set_file_unitsz() {
148         for i in `ls /proc/fs/lustre/obdfilter/*/quota_iunit_sz`; do
149                 echo $1 > $i
150         done;
151         for i in `ls /proc/fs/lustre/mds/lustre-MDT*/quota_iunit_sz`; do
152                 echo $1 > $i
153         done
154 }
155
156 # These are for test on local machine,if run sanity-quota.sh on 
157 # real cluster, ltest should have setup the test environment: 
158 #
159 # - create test user/group on all servers with same id.
160 # - set unit size/tune on all servers size to reasonable value.
161 pre_test() {
162         if [ -z "$NOSETUP" ]; then
163                 # set block tunables
164                 set_blk_tunesz $BTUNE_SZ
165                 set_blk_unitsz $BUNIT_SZ
166                 # set file tunables
167                 set_file_tunesz $ITUNE_SZ
168                 set_file_unitsz $IUNIT_SZ
169         fi
170 }
171 pre_test
172
173 post_test() {
174         if [ -z "$NOSETUP" ]; then
175                 # restore block tunables to default size
176                 set_blk_unitsz $((1024 * 100))
177                 set_blk_tunesz $((1024 * 50))
178                 # restore file tunables to default size
179                 set_file_unitsz 5000
180                 set_file_tunesz 2500
181         fi
182 }
183
184 setup() {
185         # create local test group
186         GRP="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
187         if [ -z "$GRP" ]; then
188                 groupadd -g $TSTID "$TSTUSR"
189         fi
190         TSTID="`cat /etc/group | grep "^${TSTUSR}:" | awk -F: '{print $3}'`"
191
192         GRP2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
193         if [ -z "$GRP2" ]; then
194                 groupadd -g $TSTID2 "$TSTUSR2"
195         fi
196         TSTID2="`cat /etc/group | grep "^${TSTUSR2}:" | awk -F: '{print $3}'`"
197
198         # create test user
199         USR="`cat /etc/passwd | grep "^${TSTUSR}:" | awk -F: '{print $1}'`"
200         if [ -z "$USR" ]; then
201                 useradd -u $TSTID -g $TSTID -d /tmp "$TSTUSR"
202         fi
203         
204         RUNAS="runas -u $TSTID"
205
206         USR2="`cat /etc/passwd | grep "^${TSTUSR2}:" | awk -F: '{print $1}'`"
207         if [ -z "$USR2" ]; then
208                 useradd -u $TSTID2 -g $TSTID2 -d /tmp "$TSTUSR2"
209         fi
210
211         RUNAS2="runas -u $TSTID2"
212         
213         # create test directory
214         rm -fr $TSTDIR
215
216         mkdir -p $TSTDIR 
217         chmod 777 $TSTDIR
218 }
219 setup
220
221 # set quota
222 test_0() {
223         $LFS quotaoff -ug $MOUNT
224         $LFS quotacheck -ug $MOUNT
225
226         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
227         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
228 }
229 run_test 0 "Set quota ============================="
230
231 # block hard limit (normal use and out of quota)
232 test_1() {
233         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits each sever
234         TESTFILE="$TSTDIR/quota_tst10"
235         
236         echo "  User quota (limit: $LIMIT kbytes)"
237         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
238         $SHOW_QUOTA_USER
239         
240         $LFS setstripe $TESTFILE 65536 0 1
241         chown $TSTUSR.$TSTUSR $TESTFILE
242
243         echo "    Write ..."
244         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(usr) write failure, but expect success"
245         echo "    Done"
246         echo "    Write out of block quota ..."
247         # this time maybe cache write,  ignore it's failure
248         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
249         # flush cache, ensure noquota flag is setted on client
250         sync; sleep 1; sync;
251         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(usr) write success, but expect EDQUOT"
252
253         rm -f $TESTFILE
254         
255         echo "  Group quota (limit: $LIMIT kbytes)"
256         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
257         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
258         $SHOW_QUOTA_GROUP
259         TESTFILE="$TSTDIR/quota_tst11"
260
261         $LFS setstripe $TESTFILE 65536 0 1
262         chown $TSTUSR.$TSTUSR $TESTFILE
263
264         echo "    Write ..."
265         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) || error "(grp) write failure, but expect success"
266         echo "    Done"
267         echo "    Write out of block quota ..."
268         # this time maybe cache write, ignore it's failure
269         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT/2)) seek=$(($LIMIT/2)) || true
270         sync; sleep 1; sync;
271         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ seek=$LIMIT && error "(grp) write success, but expect EDQUOT"
272
273         # cleanup
274         rm -f $TESTFILE
275         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
276 }
277 run_test 1 "Block hard limit (normal use and out of quota) ==="
278
279 # file hard limit (normal use and out of quota)
280 test_2() {
281         LIMIT=$(($IUNIT_SZ * 10)) # 10 iunits on mds
282         TESTFILE="$TSTDIR/quota_tstr20"
283
284         echo "  User quota (limit: $LIMIT files)"
285         $LFS setquota -u $TSTUSR 0 0 0 $LIMIT $MOUNT
286         $SHOW_QUOTA_USER
287
288         echo "    Create $LIMIT files ..."
289         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
290             error "(usr) create failure, but except success"
291         echo "    Done"
292         echo "    Create out of file quota ..."
293         $RUNAS touch ${TESTFILE}_xxx && \
294                 error "(usr) touch success, but expect EDQUOT"
295
296         unlinkmany ${TESTFILE} $LIMIT
297         rm ${TESTFILE}_xxx
298
299         echo "  Group quota (limit: $LIMIT files)"
300         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
301         $LFS setquota -g $TSTUSR 0 0 0 $LIMIT $MOUNT
302         $SHOW_QUOTA_GROUP
303         TESTFILE="$TSTDIR/quota_tst21"
304
305         echo "    Create $LIMIT files ..."
306         $RUNAS createmany -m ${TESTFILE} $LIMIT || \
307                 error "(grp) create failure, but expect success"
308
309         echo "    Done"
310         echo "    Create out of file quota ..."
311         $RUNAS touch ${TESTFILE}_xxx && \
312                 error "(grp) touch success, but expect EDQUOT"
313
314         $RUNAS touch ${TESTFILE}_xxx > /dev/null 2>&1 && error "(grp) touch success, but expect EDQUOT"
315
316         # cleanup
317         unlinkmany ${TESTFILE} $LIMIT
318         rm ${TESTFILE}_xxx
319
320         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
321 }
322 run_test 2 "File hard limit (normal use and out of quota) ==="
323
324 test_block_soft() {
325         TESTFILE=$1
326         TIMER=$(($2 * 3 / 2))
327         OFFSET=0
328
329         echo "    Write to exceed soft limit"
330         RUNDD="$RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ"
331         $RUNDD count=$((BUNIT_SZ+1)) || \
332                 error "write failure, but expect success"
333         OFFSET=$((OFFSET + BUNIT_SZ + 1))
334         sync; sleep 1; sync;
335
336         $SHOW_QUOTA_USER
337         $SHOW_QUOTA_GROUP
338         $SHOW_QUOTA_INFO
339
340         echo "    Write before timer goes off"
341         $RUNDD count=$BUNIT_SZ seek=$OFFSET || \
342                 error "write failure, but expect success"
343         OFFSET=$((OFFSET + BUNIT_SZ))
344         sync; sleep 1; sync;
345         echo "    Done"
346         
347         echo "    Sleep $TIMER seconds ..."
348         sleep $TIMER
349
350         $SHOW_QUOTA_USER
351         $SHOW_QUOTA_GROUP
352         $SHOW_QUOTA_INFO
353
354         echo "    Write after timer goes off"
355         # maybe cache write, ignore.
356         sync; sleep 1; sync;
357         $RUNDD count=$BUNIT_SZ seek=$OFFSET || true
358         OFFSET=$((OFFSET + BUNIT_SZ))
359         sync; sleep 1; sync;
360         $RUNDD count=$BUNIT_SZ seek=$OFFSET && \
361                 error "write success, but expect EDQUOT"
362
363         $SHOW_QUOTA_USER
364         $SHOW_QUOTA_GROUP
365         $SHOW_QUOTA_INFO
366
367         echo "    Unlink file to stop timer"
368         rm -f $TESTFILE
369         echo "    Done"
370
371         $SHOW_QUOTA_USER
372         $SHOW_QUOTA_GROUP
373         $SHOW_QUOTA_INFO
374
375         echo "    Write ..."
376         $RUNDD count=$BUNIT_SZ || error "write failure, but expect success"
377         echo "    Done"
378
379         # cleanup
380         rm -f $TESTFILE
381 }
382
383 # block soft limit (start timer, timer goes off, stop timer)
384 test_3() {
385         LIMIT=$(( $BUNIT_SZ * 2 )) # 1 bunit on mds and 1 bunit on the ost
386         GRACE=10
387
388         echo "  User quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
389         TESTFILE="$TSTDIR/quota_tst30"
390         $LFS setstripe $TESTFILE 65536 0 1
391         chown $TSTUSR.$TSTUSR $TESTFILE
392
393         $LFS setquota -t -u $GRACE $MAX_IQ_TIME $MOUNT
394         $LFS setquota -u $TSTUSR $LIMIT 0 0 0 $MOUNT
395
396         test_block_soft $TESTFILE $GRACE
397         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
398
399         echo "  Group quota (soft limit: $LIMIT kbytes  grace: $GRACE seconds)"
400         TESTFILE="$TSTDIR/quota_tst31"
401         $LFS setstripe $TESTFILE 65536 0 1
402         chown $TSTUSR.$TSTUSR $TESTFILE
403
404         $LFS setquota -t -g $GRACE $MAX_IQ_TIME $MOUNT
405         $LFS setquota -g $TSTUSR $LIMIT 0 0 0 $MOUNT
406
407         test_block_soft $TESTFILE $GRACE
408         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
409 }
410 run_test 3 "Block soft limit (start timer, timer goes off, stop timer) ==="
411
412 test_file_soft() {
413         TESTFILE=$1
414         LIMIT=$2
415         TIMER=$(($3 * 3 / 2))
416
417         echo "    Create files to exceed soft limit"
418         $RUNAS createmany -m ${TESTFILE}_ $((LIMIT + 1)) || \
419                 error "create failure, but expect success"
420         echo "    Done"
421
422         echo "    Create file before timer goes off"
423         $RUNAS touch ${TESTFILE}_before || \
424                 error "failed create before timer expired, but expect success"
425         echo "    Done"
426
427         echo "    Sleep $TIMER seconds ..."
428         sleep $TIMER
429         
430         $SHOW_QUOTA_USER
431         $SHOW_QUOTA_GROUP
432         $SHOW_QUOTA_INFO
433         
434         echo "    Create file after timer goes off"
435         $RUNAS createmany -m ${TESTFILE}_after_ $((IUNIT_SZ - 2)) || \
436                 error "create ${TESTFILE}_after failure, but expect success"
437         $RUNAS touch ${TESTFILE}_after && \
438                 error "create after timer expired, but expect EDQUOT"
439
440         $SHOW_QUOTA_USER
441         $SHOW_QUOTA_GROUP
442         $SHOW_QUOTA_INFO
443         
444         echo "    Unlink files to stop timer"
445         find `dirname $TESTFILE` -name "`basename ${TESTFILE}`*" | xargs rm -f
446         echo "    Done"
447
448         echo "    Create file"
449         $RUNAS touch ${TESTFILE}_xxx || \
450                 error "touch after timer stop failure, but expect success"
451         echo "    Done"
452
453         # cleanup
454         rm -f ${TESTFILE}_xxx
455 }
456
457 # file soft limit (start timer, timer goes off, stop timer)
458 test_4() {
459         LIMIT=$(($IUNIT_SZ * 10))       # 10 iunits on mds
460         TESTFILE="$TSTDIR/quota_tst40"
461         GRACE=5
462
463         echo "  User quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
464         $LFS setquota -t -u $MAX_DQ_TIME $GRACE $MOUNT
465         $LFS setquota -u $TSTUSR 0 0 $LIMIT 0 $MOUNT
466         $SHOW_QUOTA_USER
467
468         test_file_soft $TESTFILE $LIMIT $GRACE
469         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
470
471         echo "  Group quota (soft limit: $LIMIT files  grace: $GRACE seconds)"
472         $LFS setquota -t -g $MAX_DQ_TIME $GRACE $MOUNT
473         $LFS setquota -g $TSTUSR 0 0 $LIMIT 0 $MOUNT
474         $SHOW_QUOTA_GROUP
475         TESTFILE="$TSTDIR/quota_tst41"
476
477         test_file_soft $TESTFILE $LIMIT $GRACE
478         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
479         
480         # cleanup
481         $LFS setquota -t -u $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
482         $LFS setquota -t -g $MAX_DQ_TIME $MAX_IQ_TIME $MOUNT
483 }
484 run_test 4 "File soft limit (start timer, timer goes off, stop timer) ==="
485
486 # chown & chgrp (chown & chgrp successfully even out of block/file quota)
487 test_5() {
488         BLIMIT=$(( $BUNIT_SZ * $((OSTCOUNT + 1)) * 10)) # 10 bunits on each server
489         ILIMIT=$(( $IUNIT_SZ * 10 )) # 10 iunits on mds
490         
491         echo "  Set quota limit (0 $BLIMIT 0 $ILIMIT) for $TSTUSR.$TSTUSR"
492         $LFS setquota -u $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
493         $LFS setquota -g $TSTUSR 0 $BLIMIT 0 $ILIMIT $MOUNT
494         $SHOW_QUOTA_USER
495         $SHOW_QUOTA_GROUP
496         
497         echo "  Create more than $ILIMIT files and more than $BLIMIT kbytes ..."
498         createmany -m $TSTDIR/quota_tst50_ $((ILIMIT + 1)) || \
499                 error "touch failure, expect success"
500         dd if=/dev/zero of=$TSTDIR/quota_tst50_1 bs=$BLK_SZ count=$((BLIMIT+1)) || error "write failure, expect success"
501
502         echo "  Chown files to $TSTUSR.$TSTUSR ..."
503         for i in `seq 0 ILIMIT`; do
504                 chown $TSTUSR.$TSTUSR $TSTDIR/quota_tst50_$i || \
505                         error "chown failure, but expect success"
506         done
507
508         # cleanup
509         unlinkmany $TSTDIR/quota_tst50_ $((ILIMIT + 1))
510
511         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
512         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
513 }
514 run_test 5 "Chown & chgrp successfully even out of block/file quota ==="
515
516 # block quota acquire & release
517 test_6() {
518         if [ $OSTCOUNT -lt 2 ]; then
519                 skip "$OSTCOUNT < 2, too few osts"
520                 return 0;
521         fi
522
523         LIMIT=$(($BUNIT_SZ * $(($OSTCOUNT + 1)) * 5)) # 5 bunits per server
524         FILEA="$TSTDIR/quota_tst60_a"
525         FILEB="$TSTDIR/quota_tst60_b"
526         
527         echo "  Set block limit $LIMIT kbytes to $TSTUSR.$TSTUSR"
528         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
529         $LFS setquota -g $TSTUSR 0 $LIMIT 0 0 $MOUNT
530         $SHOW_QUOTA_USER
531         $SHOW_QUOTA_GROUP
532
533         echo "  Create filea on OST0 and fileb on OST1"
534         $LFS setstripe $FILEA 65536 0 1
535         $LFS setstripe $FILEB 65536 1 1
536         chown $TSTUSR.$TSTUSR $FILEA
537         chown $TSTUSR.$TSTUSR $FILEB
538
539         echo "  Exceed quota limit ..."
540         RUNDD="$RUNAS dd if=/dev/zero of=$FILEB bs=$BLK_SZ"
541         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
542                 error "write fileb failure, but expect success"
543
544         sync; sleep 1; sync;
545         $SHOW_QUOTA_USER
546         $SHOW_QUOTA_GROUP
547         $RUNDD seek=$LIMIT count=$((BUNIT_SZ * OSTCOUNT)) && \
548                 error "write fileb success, but expect EDQUOT"
549         sync; sleep 1; sync;
550         echo "  Write to OST0 return EDQUOT"
551         # this write maybe cache write, ignore it's failure
552         RUNDD="$RUNAS dd if=/dev/zero of=$FILEA bs=$BLK_SZ"
553         $RUNDD count=$(($BUNIT_SZ * 2)) || true
554         sync; sleep 1; sync;
555         $SHOW_QUOTA_USER
556         $SHOW_QUOTA_GROUP
557         $RUNDD count=$((BUNIT_SZ * 2)) seek=$((BUNIT_SZ *2)) && \
558                 error "write filea success, but expect EDQUOT"
559
560         echo "  Remove fileb to let OST1 release quota"
561         rm -f $FILEB
562         sync; sleep 10; sync; # need to allow journal commit for small fs
563
564         echo "  Write to OST0"
565         $RUNDD count=$((LIMIT - BUNIT_SZ * OSTCOUNT)) || \
566                 error "write filea failure, expect success"
567         echo "  Done"
568
569         # cleanup
570         rm -f $FILEA
571         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
572         $LFS setquota -g $TSTUSR 0 0 0 0 $MOUNT
573         return 0
574 }
575 run_test 6 "Block quota acquire & release ========="
576
577 # quota recovery (block quota only by now)
578 test_7()
579 {
580         remote_mds && skip "remote mds"
581
582         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
583         TESTFILE="$TSTDIR/quota_tst70"
584         
585         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
586         
587         $LFS setstripe $TESTFILE 65536 0 1
588         chown $TSTUSR.$TSTUSR $TESTFILE
589
590         echo "  Write to OST0..."
591         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$BUNIT_SZ || \
592                 error "write failure, but expect success"
593         
594         #define OBD_FAIL_OBD_DQACQ               0x604
595         echo 0x604 > /proc/sys/lustre/fail_loc
596         echo "  Remove files on OST0"
597         rm -f $TESTFILE
598         echo 0 > /proc/sys/lustre/fail_loc
599
600         echo "  Trigger recovery..."
601         OSC0_UUID="`$LCTL dl | awk '$3 ~ /osc/ { print $1 }'`"
602         for i in $OSC0_UUID; do
603                 $LCTL --device $i activate || error "activate osc failed!"
604         done
605
606         # sleep a while to wait for recovery done
607         sleep 20
608
609         # check limits
610         PATTERN="`echo $MOUNT | sed 's/\//\\\\\//g'`"
611         TOTAL_LIMIT="`$LFS quota -u $TSTUSR $MOUNT | awk '/^.*'$PATTERN'.*[[:digit:]+][[:space:]+]/ { print $4 }'`"
612         [ $TOTAL_LIMIT -eq $LIMIT ] || error "total limits not recovery!"
613         echo "  total limits = $TOTAL_LIMIT"
614         
615         OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
616         [ -z "$OST0_UUID" ] && OST0_UUID=`do_facet ost1 "$LCTL dl | grep -m1 obdfilter" | awk '{print $((NF-1))}'`
617         OST0_LIMIT="`$LFS quota -o $OST0_UUID -u $TSTUSR $MOUNT | awk '/^.*[[:digit:]+][[:space:]+]/ { print $3 }'`"
618         [ $OST0_LIMIT -eq $BUNIT_SZ ] || error "high limits not released!"
619         echo "  limits on $OST0_UUID = $OST0_LIMIT"
620
621         # cleanup
622         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT
623 }
624 run_test 7 "Quota recovery (only block limit) ======"
625
626 # run dbench with quota enabled
627 test_8() {
628         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
629         FILE_LIMIT=1000000
630         DBENCH_LIB=${DBENCH_LIB:-/usr/lib/dbench}
631         
632         [ ! -d $DBENCH_LIB ] && skip "dbench not installed" && return 0
633         
634         echo "  Set enough high limit for user: $TSTUSR"
635         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
636         echo "  Set enough high limit for group: $TSTUSR"
637         $LFS setquota -g $USER 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
638         
639
640         TGT=$TSTDIR/client.txt
641         SRC=${SRC:-$DBENCH_LIB/client.txt}
642         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
643         SRC=$DBENCH_LIB/client_plain.txt
644         [ ! -e $TGT -a -e $SRC ] && echo "copying $SRC to $TGT" && cp $SRC $TGT
645
646         SAVE_PWD=$PWD
647         cd $TSTDIR
648         $RUNAS dbench -c client.txt 3
649         RC=$?
650         
651         rm -f client.txt
652         cd $SAVE_PWD
653         return $RC
654 }
655 run_test 8 "Run dbench with quota enabled ==========="
656
657 # run for fixing bug10707, it needs a big room. test for 64bit
658 test_9() {
659         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
660         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
661         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
662         if [ $lustrefs_size -lt $size_file ]; then
663             skip "less than $size_file free"
664             return 0;
665         fi
666
667         set_blk_unitsz $((1024 * 100))
668         set_blk_tunesz $((1024 * 50))
669
670         # set the D_QUOTA flag
671         debugsave
672         sysctl -w lnet.debug="+quota"
673
674         TESTFILE="$TSTDIR/quota_tst90"
675
676         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
677         FILE_LIMIT=1000000
678
679         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for user: $TSTUSR"
680         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
681         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for group: $TSTUSR"
682         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
683
684         echo "  Set stripe"
685         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
686         touch $TESTFILE
687         chown $TSTUSR.$TSTUSR $TESTFILE
688
689         $SHOW_QUOTA_USER
690         $SHOW_QUOTA_GROUP
691
692         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
693         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
694         
695         $SHOW_QUOTA_USER
696         $SHOW_QUOTA_GROUP
697
698         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..." 
699         $RUNAS rm -f $TESTFILE
700
701         $SHOW_QUOTA_USER
702         $SHOW_QUOTA_GROUP
703
704         echo "    write the big file of 2G..."
705         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect seccess"
706
707         echo "    delete the big file of 2G..."
708         $RUNAS rm -f $TESTFILE 
709         RC=$?
710
711         set_blk_tunesz $BTUNE_SZ
712         set_blk_unitsz $BUNIT_SZ
713
714         debugrestore
715         return $RC
716 }
717 run_test 9 "run for fixing bug10707(64bit) ==========="
718
719 # run for fixing bug10707, it need a big room. test for 32bit
720 test_10() {
721         lustrefs_size=`(echo 0; df -t lustre -P | awk '{print $4}') | tail -n 1`
722         size_file=$((1024 * 1024 * 9 / 2 * $OSTCOUNT))
723         echo "lustrefs_size:$lustrefs_size  size_file:$size_file"
724         if [ $lustrefs_size -lt $size_file ]; then
725                 skip "less than $size_file free"
726                 return 0;
727         fi
728
729         if [ ! -d /proc/fs/lustre/ost/ -o ! -d /proc/fs/lustre/mds ]; then
730                 skip "mds or ost isn't local"
731                 return 0;
732         fi
733
734         sync; sleep 10; sync;
735
736         set_blk_unitsz $((1024 * 100))
737         set_blk_tunesz $((1024 * 50))
738
739         # set the D_QUOTA flag
740         debugsave
741         sysctl -w lnet.debug="+quota"
742         
743         # make qd_count 32 bit
744         sysctl -w lustre.fail_loc=0xA00
745
746         TESTFILE="$TSTDIR/quota_tst100"
747
748         BLK_LIMIT=$((100 * 1024 * 1024)) # 100G
749         FILE_LIMIT=1000000
750
751         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for user: $TSTUSR"
752         $LFS setquota -u $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
753         echo "  Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT) for group: $TSTUSR"
754         $LFS setquota -g $TSTUSR 0 $BLK_LIMIT 0 $FILE_LIMIT $MOUNT
755        
756         echo "  Set stripe"
757         [ $OSTCOUNT -ge 2 ] && $LFS setstripe $TESTFILE 65536 0 $OSTCOUNT
758         touch $TESTFILE
759         chown $TSTUSR.$TSTUSR $TESTFILE
760
761         $SHOW_QUOTA_USER
762         $SHOW_QUOTA_GROUP
763
764         echo "    Write the big file of $(($OSTCOUNT * 9 / 2 ))G ..."
765         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$size_file || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success"
766
767         $SHOW_QUOTA_USER
768         $SHOW_QUOTA_GROUP
769
770         echo "    delete the big file of $(($OSTCOUNT * 9 / 2))G..."
771         $RUNAS rm -f $TESTFILE 
772
773         $SHOW_QUOTA_USER
774         $SHOW_QUOTA_GROUP
775
776         echo "    write the big file of 2G..."
777         $RUNAS dd if=/dev/zero of=$TESTFILE  bs=$BLK_SZ count=$((1024 * 1024 * 2)) || error "(usr) write $((9 / 2 * $OSTCOUNT))G file failure, but expect success" 
778
779         echo "    delete the big file of 2G..."
780         $RUNAS rm -f $TESTFILE 
781
782         RC=$?
783
784         # clear the flage
785         debugrestore
786
787         # make qd_count 64 bit
788         sysctl -w lustre.fail_loc=0
789
790         set_blk_tunesz $BTUNE_SZ
791         set_blk_unitsz $BUNIT_SZ
792
793         return $RC
794 }
795 run_test 10 "run for fixing bug10707(32bit) ==========="
796
797 test_11() {
798        #prepare the test
799        block_limit=`(echo 0; df -t lustre -P | awk '{print $(NF - 4)}') | tail -n 1`
800        echo $block_limit
801        orig_dbr=`cat /proc/sys/vm/dirty_background_ratio`
802        orig_dec=`cat /proc/sys/vm/dirty_expire_centisecs`
803        orig_dr=`cat /proc/sys/vm/dirty_ratio`
804        orig_dwc=`cat /proc/sys/vm/dirty_writeback_centisecs`
805        echo 1  > /proc/sys/vm/dirty_background_ratio
806        echo 30 > /proc/sys/vm/dirty_expire_centisecs
807        echo 1  > /proc/sys/vm/dirty_ratio
808        echo 50 > /proc/sys/vm/dirty_writeback_centisecs
809        TESTDIR="$TSTDIR/quota_tst110"
810        local RV=0
811
812        #do the test
813        MINS=0
814        REPS=3
815        i=1
816        while [ $i -le $REPS ]; do
817            echo "test: cycle($i of $REPS) start at $(date)"
818            mkdir -p $TESTDIR && chmod 777 $TESTDIR
819            echo -n "    create a file for uid "
820            for j in `seq 1 30`; do
821                echo -n "$j "
822                runas -u $j dd if=/dev/zero of=$TESTDIR/$j  bs=$BLK_SZ > /dev/null 2>&1 &
823            done
824            echo ""
825            PROCS=$(ps -e | grep dd | wc -l)
826            while [ $PROCS -gt 0 ]; do 
827              sleep 60
828              MINS=$(($MINS+1))
829              PROCS=$(ps -e | grep dd | wc -l)
830              USED=$(du -s $TESTDIR | awk '{print $1}')
831              PCT=$(($USED * 100 / $block_limit))
832              echo "${i}/${REPS} ${PCT}% p${PROCS} t${MINS}  "
833              if [ $MINS -gt 30 ]; then
834                  error "Aborting after $MINS minutes"
835                  kill -9 $(ps -ef | grep $TESTDIR | grep -v grep | awk '{ print $2 }')
836                  i=$REPS
837                  RV=2
838                  break
839              fi
840            done
841            echo "    removing the test files..."
842            rm -rf $TESTDIR
843            echo "cycle $i done at $(date)"
844            i=$[$i+1]
845        done
846        echo "Test took $MINS minutes"
847
848        #clean
849        echo $orig_dbr > /proc/sys/vm/dirty_background_ratio
850        echo $orig_dec > /proc/sys/vm/dirty_expire_centisecs
851        echo $orig_dr  > /proc/sys/vm/dirty_ratio
852        echo $orig_dwc > /proc/sys/vm/dirty_writeback_centisecs
853        return $RV
854 }
855 run_test 11 "run for fixing bug10912 ==========="
856
857
858 # test a deadlock between quota and journal b=11693
859 test_12() {
860         LIMIT=$(( $BUNIT_SZ * $(($OSTCOUNT + 1)) * 10)) # 10 bunits each sever
861         TESTFILE="$TSTDIR/quota_tst120"
862         TESTFILE2="$TSTDIR2/quota_tst121"
863         
864         echo "   User quota (limit: $LIMIT kbytes)"
865         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
866         
867         $LFS setstripe $TESTFILE 65536 0 1
868         chown $TSTUSR.$TSTUSR $TESTFILE
869         $LFS setstripe $TESTFILE2 65536 0 1
870         chown $TSTUSR2.$TSTUSR2 $TESTFILE2
871
872         #define OBD_FAIL_OST_HOLD_WRITE_RPC      0x21f
873         sysctl -w lustre.fail_loc=0x0000021f        
874
875         echo "   step1: write out of block quota ..."
876         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$(($LIMIT*2)) & 
877         DDPID=$!
878         sleep 5
879         $RUNAS2 dd if=/dev/zero of=$TESTFILE2 bs=$BLK_SZ count=102400 & 
880         DDPID1=$!
881
882         echo  "   step2: testing ......"
883         count=0
884         while [ true ]; do
885             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
886             count=$[count+1]
887             if [ $count -gt 64 ]; then
888                 sysctl -w lustre.fail_loc=0
889                 error "dd should be finished!"
890             fi
891             sleep 1
892         done    
893         echo "(dd_pid=$DDPID1, time=$count)successful"
894
895         #Recover fail_loc and dd will finish soon
896         sysctl -w lustre.fail_loc=0
897
898         echo  "   step3: testing ......"
899         count=0
900         while [ true ]; do
901             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
902             count=$[count+1]
903             if [ $count -gt 100 ]; then
904                 error "dd should be finished!"
905             fi
906             sleep 1
907         done    
908         echo "(dd_pid=$DDPID, time=$count)successful"
909
910         rm -f $TESTFILE $TESTFILE2
911         
912         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
913 }
914 run_test 12 "test a deadlock between quota and journal ==="
915
916 # test multiple clients write block quota b=11693
917 test_13() {
918         # one OST * 10 + (mds + other OSTs)
919         LIMIT=$((BUNIT_SZ * 10 + (BUNIT_SZ * OSTCOUNT)))
920         TESTFILE="$TSTDIR/quota_tst13"
921         
922         echo "   User quota (limit: $LIMIT kbytes)"
923         $LFS setquota -u $TSTUSR 0 $LIMIT 0 0 $MOUNT
924         $SHOW_QUOTA_USER
925         
926         $LFS setstripe $TESTFILE 65536 0 1
927         chown $TSTUSR.$TSTUSR $TESTFILE
928         $LFS setstripe $TESTFILE.2 65536 0 1
929         chown $TSTUSR.$TSTUSR $TESTFILE.2
930
931         echo "   step1: write out of block quota ..."
932         # one bunit will give mds
933         $RUNAS dd if=/dev/zero of=$TESTFILE bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] & 
934         DDPID=$!
935         $RUNAS dd if=/dev/zero of=$TESTFILE.2 bs=$BLK_SZ count=$[($LIMIT - $BUNIT_SZ) / 2] & 
936         DDPID1=$!
937
938         echo  "   step2: testing ......"
939         count=0
940         while [ true ]; do
941             if [ -z `ps -ef | awk '$2 == '${DDPID}' { print $8 }'` ]; then break; fi
942             count=$[count+1]
943             if [ $count -gt 64 ]; then
944                 error "dd should be finished!"
945             fi
946             sleep 1
947         done    
948         echo "(dd_pid=$DDPID, time=$count)successful"
949
950         count=0
951         while [ true ]; do
952             if [ -z `ps -ef | awk '$2 == '${DDPID1}' { print $8 }'` ]; then break; fi
953             count=$[count+1]
954             if [ $count -gt 64 ]; then
955                 error "dd should be finished!"
956             fi
957             sleep 1
958         done    
959         echo "(dd_pid=$DDPID1, time=$count)successful"
960
961         sync; sleep 5; sync;
962
963         echo  "   step3: checking ......"
964         fz=`stat -c %s $TESTFILE`
965         fz2=`stat -c %s $TESTFILE.2`
966         $SHOW_QUOTA_USER
967         [ $((fz + fz2)) -lt $((BUNIT_SZ * BLK_SZ * 10)) ] && \
968                 error "files too small $fz + $fz < $((BUNIT_SZ * BLK_SZ * 10))"
969
970         rm -f $TESTFILE $TESTFILE.2
971         
972         $LFS setquota -u $TSTUSR 0 0 0 0 $MOUNT         # clear user limit
973 }
974 run_test 13 "test multiple clients write block quota ==="
975
976 check_if_quota_zero(){
977         line=`$LFS quota -$1 $2 $MOUNT | wc -l`
978         for i in `seq 3 $line`; do
979             for j in 3 4 6 7; do
980                 tmp=`$LFS quota -$1 $2 $MOUNT | sed -n ${i}p | 
981                      awk  '{print $'"$j"'}'`
982                 [ -n "$tmp" ] && [ $tmp -ne 0 ] && $LFS quota -$1 $2 $MOUNT && \
983                     error "quota on $1 isn't clean"
984             done
985         done
986         echo "pass check_if_quota_zero"
987 }
988
989 # test setting quota on root, b=12223
990 test_13(){
991         TESTFILE="$TSTDIR/quota_tst13"
992
993         # reboot the lustre
994         cd $T_PWD; sh llmountcleanup.sh || error "llmountcleanup failed"
995         sh llmount.sh 
996         pre_test
997         setup
998         run_test 0 "reboot lustre"
999
1000         # out of root's file and block quota
1001         $LFS setquota -u root 10 10 10 10 $MOUNT
1002         createmany -m ${TESTFILE} 20 || \
1003             error "unexpected: user(root) create files failly!"
1004         dd if=/dev/zero of=$TESTFILE bs=4k count=4096 || \
1005             error "unexpected: user(root) write files failly!"
1006         chmod 666 $TESTFILE
1007         $RUNAS dd if=/dev/zero of=${TESTFILE} seek=4096 bs=4k count=4096 && \
1008             error "unexpected: user(quota_usr) write a file successfully!"      
1009
1010         # trigger the llog
1011         chmod 777 $MOUNT
1012         for i in `seq 1 10`; do $RUNAS touch ${TESTFILE}a_$i; done 
1013         for i in `seq 1 10`; do $RUNAS rm -f ${TESTFILE}a_$i; done 
1014
1015         # do the check
1016         dmesg | tail | grep "\-122" |grep llog_obd_origin_add && error "test_13 failed."
1017         $LFS setquota -u root 0 0 0 0 $MOUNT
1018         #check_if_quota_zero u root
1019
1020         # clean 
1021         unlinkmany ${TESTFILE} 15
1022         rm -f $TESTFILE
1023 }
1024 run_test 13 "test setting quota on root ==="
1025
1026 # turn off quota
1027 test_99()
1028 {
1029         $LFS quotaoff $MOUNT
1030         return 0
1031 }
1032 run_test 99 "Quota off ==============================="
1033
1034
1035 log "cleanup: ======================================================"
1036 if [ "`mount | grep ^$NAME`" ]; then
1037         rm -fr $TSTDIR
1038             post_test
1039         # delete test user and group
1040         userdel "$TSTUSR"
1041         userdel "$TSTUSR2"
1042         if [ "$I_MOUNTED" = "yes" ]; then
1043                 cd $ORIG_PWD && (sh llmountcleanup.sh || error "llmountcleanup failed")
1044         fi
1045 fi
1046
1047 echo '=========================== finished ==============================='
1048 [ -f "$QUOTALOG" ] && cat $QUOTALOG && grep -q FAIL $QUOTALOG && exit 1 || true
1049 echo "$0: completed"