Whamcloud - gitweb
LU-6155 osd-zfs: dbuf_hold_impl() called without the lock
[fs/lustre-release.git] / lustre / tests / sanity-quota.sh
index dd82d99..f8d7413 100644 (file)
@@ -50,12 +50,11 @@ if [ $(facet_fstype $SINGLEMDS) == ldiskfs ] &&
        skip "e2fsprogs doesn't support quota" && exit 0
 fi
 
-# bug number for skipped test: LU-4515
-ALWAYS_EXCEPT="$ALWAYS_EXCEPT  34"
-
 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
-# bug number for skipped test:        LU-2872 LU-2836 LU-2836 LU-2059
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 1       3       6       7d"
+# bug number for skipped test:        LU-2836 LU-6836 LU-2836 LU-2059
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 3       4a      6       7d"
+# bug number for skipped test:        LU-5638
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 11 33 34 35"
 # bug number:     LU-2887
        ZFS_SLOW="12a"
 fi
@@ -141,7 +140,7 @@ quota_scan() {
        fi
 
        if [ "$LOCAL_UG" == "a" -o "$LOCAL_UG" == "g" ]; then
-               $LFS quota -v -u $LOCAL_ID $DIR
+               $LFS quota -v -g $LOCAL_ID $DIR
                log "Files for group ($LOCAL_ID):"
                ($LFS find -group $LOCAL_ID $DIR | head -n 4 |
                        xargs stat 2>/dev/null)
@@ -681,7 +680,8 @@ run_test 3 "Block soft limit (start timer, timer goes off, stop timer)"
 test_file_soft() {
        local TESTFILE=$1
        local LIMIT=$2
-       local TIMER=$(($3 * 3 / 2))
+       local grace=$3
+       local TIMER=$(($grace * 3 / 2))
 
        setup_quota_test
        trap cleanup_quota_test EXIT
@@ -689,13 +689,19 @@ test_file_soft() {
        echo "Create files to exceed soft limit"
        $RUNAS createmany -m ${TESTFILE}_ $((LIMIT + 1)) ||
                quota_error a $TSTUSR "create failure, but expect success"
-       sync; sleep 1; sync
+       local trigger_time=$(date +%s)
+
+       sync_all_data || true
+
+       local cur_time=$(date +%s)
+       [ $(($cur_time - $trigger_time)) -ge $grace ] &&
+               error "Passed grace time $grace, $trigger_time, $cur_time"
 
        echo "Create file before timer goes off"
        $RUNAS touch ${TESTFILE}_before ||
                quota_error a $TSTUSR "failed create before timer expired," \
-                       "but expect success"
-       sync; sleep 1; sync
+                       "but expect success. $trigger_time, $cur_time"
+       sync_all_data || true
 
        echo "Sleep $TIMER seconds ..."
        sleep $TIMER
@@ -710,11 +716,11 @@ test_file_soft() {
        # hasn't been decreased from the pending write, if we acquire quota
        # in this window, we'll acquire more than we needed.
        $RUNAS touch ${TESTFILE}_after_1 ${TESTFILE}_after_2 || true
-       sync; sleep 1; sync
+       sync_all_data || true
        $RUNAS touch ${TESTFILE}_after_3 &&
                quota_error a $TSTUSR "create after timer expired," \
                        "but expect EDQUOT"
-       sync; sleep 1; sync
+       sync_all_data || true
 
        $SHOW_QUOTA_USER
        $SHOW_QUOTA_GROUP
@@ -729,7 +735,7 @@ test_file_soft() {
        $RUNAS touch ${TESTFILE}_xxx ||
                quota_error a $TSTUSR "touch after timer stop failure," \
                        "but expect success"
-       sync; sleep 1; sync
+       sync_all_data || true
 
        # cleanup
        cleanup_quota_test
@@ -739,7 +745,7 @@ test_file_soft() {
 test_4a() {
        local LIMIT=10 # inodes
        local TESTFILE=$DIR/$tdir/$tfile-0
-       local GRACE=5
+       local GRACE=12
 
        set_mdt_qtype "ug" || error "enable mdt quota failed"
 
@@ -860,9 +866,6 @@ run_test 5 "Chown & chgrp successfully even out of block/file quota"
 
 # test dropping acquire request on master
 test_6() {
-       # LU-4422
-       [ $MDSCOUNT -ge 2 ] && skip "disable test_6 for DNE temporary" && return
-
        local LIMIT=3 # 3M
 
        # Clear dmesg so watchdog is not triggered by previous
@@ -933,9 +936,8 @@ test_6() {
 
        rm -f $TMP/lustre-log-${TESTNAME}.log
 
-       # write should continue & succeed
+       # write should continue then fail with EDQUOT
        local count=0
-       local o_size=$(stat -c %s $TESTFILE)
        local c_size
        while [ true ]; do
                if ! ps -p ${DDPID} > /dev/null 2>&1; then break; fi
@@ -945,13 +947,8 @@ test_6() {
                count=$((count + 1))
                if [ $((count % 30)) -eq 0 ]; then
                        c_size=$(stat -c %s $TESTFILE)
-                       if [ $c_size -eq $o_size ]; then
-                               quota_error u $TSTUSR "file not growed" \
-                               "in 30 seconds $o_size/$c_size"
-                       else
-                               echo "Waiting $count secs. $o_size/$c_size"
-                               o_size=$c_size
-                       fi
+                       echo "Waiting $count secs. $c_size"
+                       $SHOW_QUOTA_USER
                fi
                sleep 1
        done
@@ -1955,6 +1952,10 @@ test_23_sub() {
 }
 
 test_23() {
+       [ $(facet_fstype ost1) == "zfs" ] &&
+               skip "Overwrite in place is not guaranteed to be " \
+               "space neutral on ZFS" && return
+
        local OST0_MIN=$((6 * 1024)) # 6MB, extra space for meta blocks.
        check_whether_skip && return 0
        log "run for 4MB test file"
@@ -2026,9 +2027,17 @@ test_27c() {
                error "lfs setquota failed"
 
        limit=$($LFS quota -u $TSTID -v -h $DIR | grep $DIR | awk '{print $3}')
-       [ $limit != "30M" ] && error "softlimit isn't human-readable"
+       [ $limit != "30M" ] && error "softlimit $limit isn't human-readable"
+       limit=$($LFS quota -u $TSTID -v -h $DIR | grep $DIR | awk '{print $4}')
+       [ $limit != "3T" ] && error "hardlimit $limit isn't human-readable"
+
+       $LFS setquota -u $TSTID -b 1500M -B 18500G $DIR ||
+               error "lfs setquota for $TSTID failed"
+
+       limit=$($LFS quota -u $TSTID -v -h $DIR | grep $DIR | awk '{print $3}')
+       [ $limit != "1.465G" ] && error "wrong softlimit $limit"
        limit=$($LFS quota -u $TSTID -v -h $DIR | grep $DIR | awk '{print $4}')
-       [ $limit != "3T" ] && error "hardlimit isn't human-readable"
+       [ $limit != "18.07T" ] && error "wrong hardlimit $limit"
 
        $LFS quota -u $TSTID -v -h $DIR | grep -q "Total allocated" ||
                error "total allocated inode/block limit not printed"
@@ -2145,6 +2154,9 @@ test_34() {
        USED=$(getquota -g $TSTID global curspace)
        [ $USED -ne 0 ] && error "Used space ($USED) for group $TSTID isn't 0."
 
+       local USED=$(getquota -u $TSTID2 global curspace)
+       [ $USED -ne 0 ] && error "Used space ($USED) for user $TSTID2 isn't 0."
+
        echo "Write file..."
        $DD of=$DIR/$tdir/$tfile count=$BLK_CNT 2>/dev/null ||
                error "write failed"
@@ -2181,6 +2193,24 @@ test_34() {
        [ $USED -eq 1 ] ||
                error "Used inodes for group $TSTID is $USED, expected 1"
 
+       # chown won't change the ost object group. LU-4345 */
+       echo "chown the file to user $TSTID2"
+       chown $TSTID2 $DIR/$tdir/$tfile || error "chown to $TSTID2 failed"
+
+       echo "Wait for setattr on objects finished..."
+       wait_delete_completed
+
+       echo "Verify disk usage for user $TSTID2/$TSTID and group $TSTID"
+       USED=$(getquota -u $TSTID2 global curspace)
+       [ $USED -lt $BLK_CNT ] &&
+               error "Used space for user $TSTID2 is $USED, expected $BLK_CNT"
+       USED=$(getquota -u $TSTID global curspace)
+       [ $USED -ne 0 ] &&
+               error "Used space for user $TSTID is $USED, expected 0"
+       USED=$(getquota -g $TSTID global curspace)
+       [ $USED -lt $BLK_CNT ] &&
+               error "Used space for group $TSTID is $USED, expected $BLK_CNT"
+
        cleanup_quota_test
 }
 run_test 34 "Usage transfer for user & group"
@@ -2260,77 +2290,35 @@ test_35() {
 }
 run_test 35 "Usage is still accessible across reboot"
 
-# test migrating old amdin quota files (in Linux quota file format v2) into new
-# quota global index (in IAM format)
-test_36() {
-       [ $(facet_fstype $SINGLEMDS) != ldiskfs ] && \
-               skip "skipping migration test" && return
-
-       # get the mdt0 device name
-       local mdt0_node=$(facet_active_host $SINGLEMDS)
-       local mdt0_dev=$(mdsdevname ${SINGLEMDS//mds/})
-
-       echo "Reformat..."
-       formatall
-
-       echo "Copy admin quota files into MDT0..."
-       local mntpt=$(facet_mntpt $SINGLEMDS)
-       local mdt0_fstype=$(facet_fstype $SINGLEMDS)
-       local opt
-       if ! do_node $mdt0_node test -b $mdt0_fstype; then
-               opt="-o loop"
-       fi
-       echo "$mdt0_node, $mdt0_dev, $mntpt, $opt"
-       do_node $mdt0_node mount -t $mdt0_fstype $opt $mdt0_dev $mntpt
-       do_node $mdt0_node mkdir $mntpt/OBJECTS
-       do_node $mdt0_node cp $LUSTRE/tests/admin_quotafile_v2.usr $mntpt/OBJECTS
-       do_node $mdt0_node cp $LUSTRE/tests/admin_quotafile_v2.grp $mntpt/OBJECTS
-       do_node $mdt0_node umount -d -f $mntpt
-
-       echo "Setup all..."
-       setupall
+# chown/chgrp to the file created with MDS_OPEN_DELAY_CREATE
+# LU-5006
+test_37() {
+       setup_quota_test
+       trap cleanup_quota_test EXIT
 
-       echo "Verify global limits..."
-       local id_cnt
-       local limit
+       # make sure the system is clean
+       local USED=$(getquota -u $TSTID global curspace)
+       [ $USED -ne 0 ] &&
+               error "Used space ($USED) for user $TSTID isn't 0."
 
-       local proc="qmt.*.md-0x0.glb-usr"
-       id_cnt=$(do_node $mdt0_node $LCTL get_param -n $proc | wc -l)
-       [ $id_cnt -eq 403 ] || error "Migrate inode user limit failed: $id_cnt"
-       limit=$(getquota -u 1 global isoftlimit)
-       [ $limit -eq 1024 ] || error "User inode softlimit: $limit"
-       limit=$(getquota -u 1 global ihardlimit)
-       [ $limit -eq 2048 ] || error "User inode hardlimit: $limit"
-
-       proc="qmt.*.md-0x0.glb-grp"
-       id_cnt=$(do_node $mdt0_node $LCTL get_param -n $proc | wc -l)
-       [ $id_cnt -eq 403 ] || error "Migrate inode group limit failed: $id_cnt"
-       limit=$(getquota -g 1 global isoftlimit)
-       [ $limit -eq 1024 ] || error "Group inode softlimit: $limit"
-       limit=$(getquota -g 1 global ihardlimit)
-       [ $limit -eq 2048 ] || error "Group inode hardlimit: $limit"
-
-       proc=" qmt.*.dt-0x0.glb-usr"
-       id_cnt=$(do_node $mdt0_node $LCTL get_param -n $proc | wc -l)
-       [ $id_cnt -eq 403 ] || error "Migrate block user limit failed: $id_cnt"
-       limit=$(getquota -u 60001 global bsoftlimit)
-       [ $limit -eq 10485760 ] || error "User block softlimit: $limit"
-       limit=$(getquota -u 60001 global bhardlimit)
-       [ $limit -eq 20971520 ] || error "User block hardlimit: $limit"
-
-       proc="qmt.*.dt-0x0.glb-grp"
-       id_cnt=$(do_node $mdt0_node $LCTL get_param -n $proc | wc -l)
-       [ $id_cnt -eq 403 ] || error "Migrate block user limit failed: $id_cnt"
-       limit=$(getquota -g 60001 global bsoftlimit)
-       [ $limit -eq 10485760 ] || error "Group block softlimit: $limit"
-       limit=$(getquota -g 60001 global bhardlimit)
-       [ $limit -eq 20971520 ] || error "Group block hardlimit: $limit"
-
-       echo "Cleanup..."
-       formatall
-       setupall
+       # create file with MDS_OPEN_DELAY_CREATE flag
+       $LFS setstripe -c 1 -i 0 $DIR/$tdir/$tfile ||
+               error "Create file failed"
+       # write to file
+       dd if=/dev/zero of=$DIR/$tdir/$tfile bs=1M count=1 conv=notrunc \
+               oflag=sync || error "Write file failed"
+       # chown to the file
+       chown $TSTID $DIR/$tdir/$tfile || error "Chown to file failed"
+
+       # wait for setattr on objects finished..."
+       wait_delete_completed
+
+       USED=$(getquota -u $TSTID global curspace)
+       [ $USED -ne 0 ] || quota_error u $TSTUSR "Used space is 0"
+
+       cleanup_quota_test
 }
-run_test 36 "Migrate old admin files into new global indexes"
+run_test 37 "Quota accounted properly for file created by 'lfs setstripe'"
 
 quota_fini()
 {