Whamcloud - gitweb
LU-2469 test: Skip failing ZFS tests
[fs/lustre-release.git] / lustre / tests / sanity-quota.sh
index 7ac5f48..1029b52 100644 (file)
@@ -34,8 +34,6 @@ init_test_env $@
 init_logging
 DIRECTIO=${DIRECTIO:-$LUSTRE/tests/directio}
 
-[ $MDSCOUNT -gt 1 ] && skip "CMD case" && exit 0
-
 require_dsh_mds || exit 0
 require_dsh_ost || exit 0
 
@@ -51,6 +49,10 @@ if [ $(facet_fstype $SINGLEMDS) == ldiskfs ] && \
        skip "e2fsprogs doesn't support quota" && exit 0
 fi
 
+[ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
+# bug number for skipped test:        LU-2836 LU-2837 LU-2059
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 3       6       7d"
+
 [ "$SLOW" = "no" ] && EXCEPT_SLOW="9 18 21"
 
 QUOTALOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
@@ -117,7 +119,8 @@ resetquota() {
        [ "$1" != "-u" -a "$1" != "-g" ] &&
                error "resetquota: wrong specifier $1 passed"
 
-       $LFS setquota "$1" "$2" -b 0 -B 0 -i 0 -I 0 $MOUNT
+       $LFS setquota "$1" "$2" -b 0 -B 0 -i 0 -I 0 $MOUNT ||
+               error "clear quota for [type:$1 name:$2] failed"
        # give a chance to slave to release space
        sleep 1
 }
@@ -191,30 +194,41 @@ getquota() {
 # usage: set_mdt_qtype ug|u|g|none
 set_mdt_qtype() {
        local qtype=$1
-       local varsvc=${SINGLEMDS}_svc
+       local varsvc
+       local mdts=$(get_facets MDS)
+       local cmd
        do_facet mgs $LCTL conf_param $FSNAME.quota.mdt=$qtype
-       if $(facet_up $SINGLEMDS); then
-               wait_update_facet $SINGLEMDS "$LCTL get_param -n \
-                       osd-$FSTYPE.${!varsvc}.quota_slave.enabled" "$qtype" ||
-                               return 1
-       fi
+       # we have to make sure each MDT received config changes
+       for mdt in ${mdts//,/ }; do
+               varsvc=${mdt}_svc
+               cmd="$LCTL get_param -n "
+               cmd=${cmd}osd-$(facet_fstype $mdt).${!varsvc}
+               cmd=${cmd}.quota_slave.enabled
+
+               if $(facet_up $mdt); then
+                       wait_update_facet $mdt "$cmd" "$qtype" || return 1
+               fi
+       done
        return 0
 }
 
 # set ost quota type
-# usage: set_ost_quota_type ug|u|g|none
+# usage: set_ost_qtype ug|u|g|none
 set_ost_qtype() {
        local qtype=$1
        local varsvc
        local osts=$(get_facets OST)
+       local cmd
        do_facet mgs $LCTL conf_param $FSNAME.quota.ost=$qtype
        # we have to make sure each OST received config changes
        for ost in ${osts//,/ }; do
                varsvc=${ost}_svc
+               cmd="$LCTL get_param -n "
+               cmd=${cmd}osd-$(facet_fstype $ost).${!varsvc}
+               cmd=${cmd}.quota_slave.enabled
+
                if $(facet_up $ost); then
-                       wait_update_facet $ost "$LCTL get_param -n \
-                               osd-$FSTYPE.${!varsvc}.quota_slave.enabled" \
-                                       "$qtype" || return 1
+                       wait_update_facet $ost "$cmd" "$qtype" || return 1
                fi
        done
        return 0
@@ -223,54 +237,57 @@ set_ost_qtype() {
 wait_reintegration() {
        local ntype=$1
        local qtype=$2
+       local max=$3
        local result="glb[1],slv[1],reint[0]"
        local varsvc
+       local cmd
+       local tgts
 
        if [ $ntype == "mdt" ]; then
-               varsvc=${SINGLEMDS}_svc
-               if $(facet_up $SINGLEMDS); then
-                       wait_update_facet $SINGLEMDS "$LCTL get_param -n \
-                       osd-$FSTYPE.${!varsvc}.quota_slave.info |
-                       grep "$qtype" | awk '{ print \\\$3 }'" "$result" ||
-                               return 1
-               fi
+               tgts=$(get_facets MDS)
        else
-               local osts=$(get_facets OST)
-               for ost in ${osts//,/ }; do
-                       varsvc=${ost}_svc
-                       if $(facet_up $ost); then
-                               wait_update_facet $ost "$LCTL get_param -n \
-                               osd-$FSTYPE.${!varsvc}.quota_slave.info |
-                               grep "$qtype" | awk '{ print \\\$3 }'" \
-                                       "$result" || return 1
-                       fi
-               done
+               tgts=$(get_facets OST)
        fi
+
+       for tgt in ${tgts//,/ }; do
+               varsvc=${tgt}_svc
+               cmd="$LCTL get_param -n "
+               cmd=${cmd}osd-$(facet_fstype $tgt).${!varsvc}
+               cmd=${cmd}.quota_slave.info
+
+               if $(facet_up $tgt); then
+                       wait_update_facet $tgt "$cmd |
+                               grep "$qtype" | awk '{ print \\\$3 }'" \
+                                       "$result" $max || return 1
+               fi
+       done
        return 0
 }
 
 wait_mdt_reint() {
        local qtype=$1
+       local max=${2:-90}
 
        if [ $qtype == "u" ] || [ $qtype == "ug" ]; then
-               wait_reintegration "mdt" "user" || return 1
+               wait_reintegration "mdt" "user" $max || return 1
        fi
 
        if [ $qtype == "g" ] || [ $qtype == "ug" ]; then
-               wait_reintegration "mdt" "group" || return 1
+               wait_reintegration "mdt" "group" $max || return 1
        fi
        return 0
 }
 
 wait_ost_reint() {
        local qtype=$1
+       local max=${2:-90}
 
        if [ $qtype == "u" ] || [ $qtype == "ug" ]; then
-               wait_reintegration "ost" "user" || return 1
+               wait_reintegration "ost" "user" $max || return 1
        fi
 
        if [ $qtype == "g" ] || [ $qtype == "ug" ]; then
-               wait_reintegration "ost" "group" || return 1
+               wait_reintegration "ost" "group" $max || return 1
        fi
        return 0
 }
@@ -280,7 +297,7 @@ setup_quota_test() {
        wait_delete_completed
        echo "Creating test directory"
        mkdir -p $DIR/$tdir
-       chmod 077 $DIR/$tdir
+       chmod 0777 $DIR/$tdir
        # always clear fail_loc in case of fail_loc isn't cleared
        # properly when previous test failed
        lustre_fail mds_ost 0
@@ -332,6 +349,11 @@ quota_init() {
 }
 quota_init
 
+resetquota -u $TSTUSR
+resetquota -g $TSTUSR
+resetquota -u $TSTUSR2
+resetquota -g $TSTUSR2
+
 test_quota_performance() {
        local TESTFILE="$DIR/$tdir/$tfile-0"
        local size=$1 # in MB
@@ -353,8 +375,7 @@ test_0() {
        local MB=100 # 100M
        [ "$SLOW" = "no" ] && MB=10
 
-       local free_space=$(lfs df | grep "filesystem summary" | \
-                               awk '{print $5}')
+       local free_space=$(lfs_df | grep "summary" | awk '{print $4}')
        [ $free_space -le $((MB * 1024)) ] &&
                skip "not enough space ${free_space} KB, " \
                        "required $((MB * 1024)) KB" && return
@@ -365,7 +386,8 @@ test_0() {
        test_quota_performance $MB
 
        set_ost_qtype "ug" || error "enable ost quota failed"
-       $LFS setquota -u $TSTUSR -b 0 -B 10G -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 10G -i 0 -I 0 $DIR ||
+               error "set quota failed"
        test_quota_performance $MB
 
        cleanup_quota_test
@@ -386,7 +408,8 @@ test_1() {
 
        # test for user
        log "User quota (block hardlimit:$LIMIT MB)"
-       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR ||
+               error "set user quota failed"
 
        # make sure the system is clean
        local USED=$(getquota -u $TSTUSR global curspace)
@@ -417,7 +440,8 @@ test_1() {
        # test for group
        log "--------------------------------------"
        log "Group quota (block hardlimit:$LIMIT MB)"
-       $LFS setquota -g $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR
+       $LFS setquota -g $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR ||
+               error "set group quota failed"
 
        TESTFILE="$DIR/$tdir/$tfile-1"
        # make sure the system is clean
@@ -455,6 +479,11 @@ test_2() {
 
        [ "$SLOW" = "no" ] && LIMIT=1024 # 1k inodes
 
+       local FREE_INODES=$(lfs_df -i | grep "summary" | awk '{print $4}')
+       [ $FREE_INODES -lt $LIMIT ] &&
+               skip "not enough free inodes $FREE_INODES required $LIMIT" &&
+               return
+
        setup_quota_test
        trap cleanup_quota_test EXIT
 
@@ -463,7 +492,8 @@ test_2() {
 
        # test for user
        log "User quota (inode hardlimit:$LIMIT files)"
-       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I $LIMIT $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I $LIMIT $DIR ||
+               error "set user quota failed"
 
        # make sure the system is clean
        local USED=$(getquota -u $TSTUSR global curinodes)
@@ -489,7 +519,8 @@ test_2() {
        # test for group
        log "--------------------------------------"
        log "Group quota (inode hardlimit:$LIMIT files)"
-       $LFS setquota -g $TSTUSR -b 0 -B 0 -i 0 -I $LIMIT $DIR
+       $LFS setquota -g $TSTUSR -b 0 -B 0 -i 0 -I $LIMIT $DIR ||
+               error "set group quota failed"
 
         TESTFILE=$DIR/$tdir/$tfile-1
        # make sure the system is clean
@@ -606,8 +637,10 @@ test_3() {
        local USED=$(getquota -u $TSTUSR global curspace)
        [ $USED -ne 0 ] && error "Used space($USED) for user $TSTUSR isn't 0."
 
-       $LFS setquota -t -u --block-grace $GRACE --inode-grace $MAX_IQ_TIME $DIR
-       $LFS setquota -u $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR
+       $LFS setquota -t -u --block-grace $GRACE --inode-grace \
+               $MAX_IQ_TIME $DIR || error "set user grace time failed"
+       $LFS setquota -u $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR ||
+               error "set user quota failed"
 
        test_block_soft $TESTFILE $GRACE $LIMIT
        resetquota -u $TSTUSR
@@ -618,17 +651,19 @@ test_3() {
        USED=$(getquota -g $TSTUSR global curspace)
        [ $USED -ne 0 ] && error "Used space($USED) for group $TSTUSR isn't 0."
 
-       $LFS setquota -t -g --block-grace $GRACE --inode-grace $MAX_IQ_TIME $DIR
-       $LFS setquota -g $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR
+       $LFS setquota -t -g --block-grace $GRACE --inode-grace \
+               $MAX_IQ_TIME $DIR || error "set group grace time failed"
+       $LFS setquota -g $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR ||
+               error "set group quota failed"
 
        test_block_soft $TESTFILE $GRACE $LIMIT
        resetquota -g $TSTUSR
 
        # cleanup
        $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore user grace time failed"
        $LFS setquota -t -g --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore group grace time failed"
 }
 run_test 3 "Block soft limit (start timer, timer goes off, stop timer)"
 
@@ -702,8 +737,10 @@ test_4a() {
        local USED=$(getquota -u $TSTUSR global curinodes)
        [ $USED -ne 0 ] && error "Used space($USED) for user $TSTUSR isn't 0."
 
-       $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace $GRACE $DIR
-       $LFS setquota -u $TSTUSR -b 0 -B 0 -i $LIMIT -I 0 $DIR
+       $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace \
+               $GRACE $DIR || error "set user grace time failed"
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i $LIMIT -I 0 $DIR ||
+               error "set user quota failed"
 
        test_file_soft $TESTFILE $LIMIT $GRACE
        resetquota -u $TSTUSR
@@ -713,8 +750,10 @@ test_4a() {
        USED=$(getquota -g $TSTUSR global curinodes)
        [ $USED -ne 0 ] && error "Used space($USED) for group $TSTUSR isn't 0."
 
-       $LFS setquota -t -g --block-grace $MAX_DQ_TIME --inode-grace $GRACE $DIR
-       $LFS setquota -g $TSTUSR -b 0 -B 0 -i $LIMIT -I 0 $DIR
+       $LFS setquota -t -g --block-grace $MAX_DQ_TIME --inode-grace \
+               $GRACE $DIR || error "set group grace time failed"
+       $LFS setquota -g $TSTUSR -b 0 -B 0 -i $LIMIT -I 0 $DIR ||
+               error "set group quota failed"
        TESTFILE=$DIR/$tdir/$tfile-1
 
        test_file_soft $TESTFILE $LIMIT $GRACE
@@ -722,9 +761,9 @@ test_4a() {
 
        # cleanup
        $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore user grace time failed"
        $LFS setquota -t -g --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore group grace time failed"
 }
 run_test 4a "File soft limit (start timer, timer goes off, stop timer)"
 
@@ -740,9 +779,11 @@ test_4b() {
 
        # test of valid grace strings handling
        echo "Valid grace strings test"
-       $LFS setquota -t -u --block-grace $GR_STR1 --inode-grace $GR_STR2 $DIR
+       $LFS setquota -t -u --block-grace $GR_STR1 --inode-grace \
+               $GR_STR2 $DIR || error "set user grace time failed"
        $LFS quota -u -t $DIR | grep "Block grace time: $GR_STR1"
-       $LFS setquota -t -g --block-grace $GR_STR3 --inode-grace $GR_STR4 $DIR
+       $LFS setquota -t -g --block-grace $GR_STR3 --inode-grace \
+               $GR_STR4 $DIR || error "set group grace time quota failed"
        $LFS quota -g -t $DIR | grep "Inode grace time: $GR_STR4"
 
        # test of invalid grace strings handling
@@ -752,9 +793,9 @@ test_4b() {
 
        # cleanup
        $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore user grace time failed"
        $LFS setquota -t -g --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore group grace time failed"
 }
 run_test 4b "Grace time strings handling"
 
@@ -770,8 +811,10 @@ test_5() {
        set_ost_qtype "ug" || error "enable ost quota failed"
 
        echo "Set quota limit (0 ${BLIMIT}M 0 $ILIMIT) for $TSTUSR.$TSTUSR"
-       $LFS setquota -u $TSTUSR -b 0 -B ${BLIMIT}M -i 0 -I $ILIMIT $DIR
-       $LFS setquota -g $TSTUSR -b 0 -B ${BLIMIT}M -i 0 -I $ILIMIT $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B ${BLIMIT}M -i 0 -I $ILIMIT $DIR ||
+               error "set user quota failed"
+       $LFS setquota -g $TSTUSR -b 0 -B ${BLIMIT}M -i 0 -I $ILIMIT $DIR ||
+               error "set group quota failed"
 
        # make sure the system is clean
        local USED=$(getquota -u $TSTUSR global curinodes)
@@ -830,7 +873,8 @@ test_6() {
        chown $TSTUSR2.$TSTUSR2 $TESTFILE2
 
        # cache per-ID lock for $TSTUSR on slave
-       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR ||
+               error "set quota failed"
        $RUNAS $DD of=$TESTFILE count=1 ||
                error "write $TESTFILE failure, expect success"
        $RUNAS2 $DD of=$TESTFILE2 count=1 ||
@@ -925,10 +969,12 @@ test_7a() {
 
        echo "Enable quota & set quota limit for $TSTUSR"
        set_ost_qtype "ug" || error "enable ost quota failed"
-       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR ||
+               error "set quota failed"
 
        echo "Start ost1..."
        start ost1 $(ostdevname 1) $OST_MOUNT_OPTS
+       quota_init
 
        wait_ost_reint "ug" || error "reintegration failed"
 
@@ -937,6 +983,27 @@ test_7a() {
        $RUNAS $DD of=$TESTFILE count=$((LIMIT + 1)) oflag=sync &&
                quota_error u $TSTUSR "write success, but expect EDQUOT"
 
+       rm -f $TESTFILE
+       wait_delete_completed
+       sync_all_data || true
+       sleep 3
+
+       echo "Stop ost1..."
+       stop ost1
+
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I 0 $DIR ||
+               error "clear quota failed"
+
+       echo "Start ost1..."
+       start ost1 $(ostdevname 1) $OST_MOUNT_OPTS
+       quota_init
+
+       wait_ost_reint "ug" || error "reintegration failed"
+
+       # hardlimit should be cleared on slave during reintegration
+       $RUNAS $DD of=$TESTFILE count=$((LIMIT + 1)) oflag=sync ||
+               quota_error u $TSTUSR "write error, but expect success"
+
        cleanup_quota_test
        resetquota -u $TSTUSR
 }
@@ -977,7 +1044,8 @@ test_7b() {
        lustre_fail mds 0xa02
 
        set_ost_qtype "ug" || error "enable ost quota failed"
-       $LFS setquota -u $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR ||
+               error "set quota failed"
 
        # ignore the write error
        $RUNAS $DD of=$TESTFILE count=1 seek=1 oflag=sync conv=notrunc
@@ -989,6 +1057,7 @@ test_7b() {
        echo "Restart ost to trigger reintegration..."
        stop ost1
        start ost1 $(ostdevname 1) $OST_MOUNT_OPTS
+       quota_init
 
        wait_ost_reint "ug" || error "reintegration failed"
 
@@ -1016,13 +1085,18 @@ test_7c() {
        [ $USED -ne 0 ] && error "Used space($USED) for user $TSTUSR isn't 0."
 
        set_ost_qtype "none" || error "disable ost quota failed"
-       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B ${LIMIT}M -i 0 -I 0 $DIR ||
+               error "set quota failed"
 
        # define OBD_FAIL_QUOTA_DELAY_REINT 0xa03
        lustre_fail ost 0xa03
 
-       # enable ost quota to trigger reintegration
+       # enable ost quota
        set_ost_qtype "ug" || error "enable ost quota failed"
+       # trigger reintegration
+       local procf="osd-$(facet_fstype ost1).$FSNAME-OST*."
+       procf=${procf}quota_slave.force_reint
+       $LCTL set_param $procf=1 || "force reintegration failed"
 
        echo "Stop mds..."
        stop mds1
@@ -1031,8 +1105,11 @@ test_7c() {
 
        echo "Start mds..."
        start mds1 $(mdsdevname 1) $MDS_MOUNT_OPTS
+       quota_init
 
-       wait_ost_reint "ug" || error "reintegration failed"
+       # wait longer than usual to make sure the reintegration
+       # is triggered by quota wb thread.
+       wait_ost_reint "ug" 200 || error "reintegration failed"
 
        # hardlimit should have been fetched by slave during global
        # reintegration, write will exceed quota
@@ -1054,8 +1131,10 @@ test_7d(){
        trap cleanup_quota_test EXIT
 
        set_ost_qtype "none" || error "disable ost quota failed"
-       $LFS setquota -u $TSTUSR -B ${limit}M $DIR
-       $LFS setquota -u $TSTUSR2 -B ${limit}M $DIR
+       $LFS setquota -u $TSTUSR -B ${limit}M $DIR ||
+               error "set quota for $TSTUSR failed"
+       $LFS setquota -u $TSTUSR2 -B ${limit}M $DIR ||
+               error "set quota for $TSTUSR2 failed"
 
        #define OBD_FAIL_OBD_IDX_READ_BREAK 0x608
        lustre_fail mds 0x608 0
@@ -1080,6 +1159,82 @@ test_7d(){
 }
 run_test 7d "Quota reintegration (Transfer index in multiple bulks)"
 
+# quota reintegration (inode limits)
+test_7e() {
+       [ "$MDSCOUNT" -lt "2" ] && skip "Required more MDTs" && return
+
+       local ilimit=$((1024 * 2)) # 2k inodes
+       local TESTFILE=$DIR/${tdir}-1/$tfile
+
+       setup_quota_test
+       trap cleanup_quota_test EXIT
+
+       # make sure the system is clean
+       local USED=$(getquota -u $TSTUSR global curinodes)
+       [ $USED -ne 0 ] && error "Used inode($USED) for user $TSTUSR isn't 0."
+
+       # make sure no granted quota on mdt1
+       set_mdt_qtype "ug" || error "enable mdt quota failed"
+       resetquota -u $TSTUSR
+       set_mdt_qtype "none" || error "disable mdt quota failed"
+
+       local MDTUUID=$(mdtuuid_from_index $((MDSCOUNT - 1)))
+       USED=$(getquota -u $TSTUSR $MDTUUID ihardlimit)
+       [ $USED -ne 0 ] && error "limit($USED) on $MDTUUID for user" \
+               "$TSTUSR isn't 0."
+
+       echo "Stop mds${MDSCOUNT}..."
+       stop mds${MDSCOUNT}
+
+       echo "Enable quota & set quota limit for $TSTUSR"
+       set_mdt_qtype "ug" || error "enable mdt quota failed"
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I $ilimit  $DIR ||
+               error "set quota failed"
+
+       echo "Start mds${MDSCOUNT}..."
+       start mds${MDSCOUNT} $(mdsdevname $MDSCOUNT) $MDS_MOUNT_OPTS
+       quota_init
+
+       wait_mdt_reint "ug" || error "reintegration failed"
+
+       echo "create remote dir"
+       $LFS mkdir -i $((MDSCOUNT - 1)) $DIR/${tdir}-1 ||
+               error "create remote dir failed"
+       chmod 0777 $DIR/${tdir}-1
+
+       # hardlimit should have been fetched by slave during global
+       # reintegration, create will exceed quota
+       $RUNAS createmany -m $TESTFILE $((ilimit + 1)) &&
+               quota_error u $TSTUSR "create succeeded, expect EDQUOT"
+
+       $RUNAS unlinkmany $TESTFILE $ilimit || "unlink files failed"
+       wait_delete_completed
+       sync_all_data || true
+
+       echo "Stop mds${MDSCOUNT}..."
+       stop mds${MDSCOUNT}
+
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I 0 $DIR ||
+               error "clear quota failed"
+
+       echo "Start mds${MDSCOUNT}..."
+       start mds${MDSCOUNT} $(mdsdevname $MDSCOUNT) $MDS_MOUNT_OPTS
+       quota_init
+
+       wait_mdt_reint "ug" || error "reintegration failed"
+
+       # hardlimit should be cleared on slave during reintegration
+       $RUNAS createmany -m $TESTFILE $((ilimit + 1)) ||
+               quota_error -u $TSTUSR "create failed, expect success"
+
+       $RUNAS unlinkmany $TESTFILE $((ilimit + 1)) || "unlink failed"
+       $LFS rmdir $DIR/${tdir}-1 || "unlink remote dir failed"
+
+       cleanup_quota_test
+       resetquota -u $TSTUSR
+}
+run_test 7e "Quota reintegration (inode limits)"
+
 # run dbench with quota enabled
 test_8() {
        local BLK_LIMIT="100g" #100G
@@ -1092,9 +1247,11 @@ test_8() {
        set_ost_qtype "ug" || error "enable ost quota failed"
 
        echo "Set enough high limit for user: $TSTUSR"
-       $LFS setquota -u $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR ||
+               error "set user quota failed"
        echo "Set enough high limit for group: $TSTUSR"
-       $LFS setquota -g $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR
+       $LFS setquota -g $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR ||
+               error "set group quota failed"
 
        local duration=""
        [ "$SLOW" = "no" ] && duration=" -t 120"
@@ -1123,7 +1280,7 @@ check_whether_skip () {
 
 # run for fixing bug10707, it needs a big room. test for 64bit
 test_9() {
-       local filesize=$((1024 * 1024 * 1024 * 9 / 2)) # 4.5G
+       local filesize=$((1024 * 9 / 2)) # 4.5G
 
        check_whether_skip && return 0
 
@@ -1140,11 +1297,13 @@ test_9() {
 
        log "Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT)" \
                "for user: $TSTUSR"
-       $LFS setquota -u $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR ||
+               error "set user quota failed"
 
        log "Set enough high limit(block:$BLK_LIMIT; file: $FILE_LIMIT)" \
                "for group: $TSTUSR"
-       $LFS setquota -g $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR
+       $LFS setquota -g $TSTUSR -b 0 -B $BLK_LIMIT -i 0 -I $FILE_LIMIT $DIR ||
+               error "set group quota failed"
 
        quota_show_check a u $TSTUSR
        quota_show_check a g $TSTUSR
@@ -1184,7 +1343,8 @@ test_10() {
        # root user can overrun quota
        set_ost_qtype "ug" || "enable ost quota failed"
 
-       $LFS setquota -u $TSTUSR -b 0 -B 2M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 2M -i 0 -I 0 $DIR ||
+               error "set quota failed"
        quota_show_check b u $TSTUSR
 
        $LFS setstripe $TESTFILE -c 1
@@ -1204,7 +1364,8 @@ test_11() {
        trap cleanup_quota_test EXIT
 
        set_mdt_qtype "ug" || "enable mdt quota failed"
-       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I 1 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I 1 $DIR ||
+               error "set quota failed"
 
        touch "$TESTFILE"-0
        touch "$TESTFILE"-1
@@ -1221,7 +1382,7 @@ test_11() {
 }
 run_test 11 "Chown/chgrp ignores quota"
 
-test_12() {
+test_12a() {
        [ "$OSTCOUNT" -lt "2" ] && skip "skipping rebalancing test" && return
 
        local blimit=22 # 22M
@@ -1235,7 +1396,8 @@ test_12() {
        set_ost_qtype "u" || "enable ost quota failed"
        quota_show_check b u $TSTUSR
 
-       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $DIR ||
+               error "set quota failed"
 
        $LFS setstripe $TESTFILE0 -c 1 -i 0
        $LFS setstripe $TESTFILE1 -c 1 -i 1
@@ -1262,12 +1424,57 @@ test_12() {
        cleanup_quota_test
        resetquota -u $TSTUSR
 }
-run_test 12 "Block quota rebalancing"
+run_test 12a "Block quota rebalancing"
+
+test_12b() {
+       [ "$MDSCOUNT" -lt "2" ] && skip "skipping rebalancing test" && return
+
+       local ilimit=$((1024 * 2)) # 2k inodes
+       local TESTFILE0=$DIR/$tdir/$tfile
+       local TESTFILE1=$DIR/${tdir}-1/$tfile
+
+       setup_quota_test
+       trap cleanup_quota_test EXIT
+
+       $LFS mkdir -i 1 $DIR/${tdir}-1 || error "create remote dir failed"
+       chmod 0777 $DIR/${tdir}-1
+
+       set_mdt_qtype "u" || "enable mdt quota failed"
+       quota_show_check f u $TSTUSR
+
+       $LFS setquota -u $TSTUSR -b 0 -B 0 -i 0 -I $ilimit $DIR ||
+               error "set quota failed"
+
+       echo "Create $ilimit files on mdt0..."
+       $RUNAS createmany -m $TESTFILE0 $ilimit ||
+               quota_error u $TSTUSR "create failed, but expect success"
+
+       echo "Create files on mdt1..."
+       $RUNAS createmany -m $TESTFILE1 1 &&
+               quota_error a $TSTUSR "create succeeded, expect EDQUOT"
+
+       echo "Free space from mdt0..."
+       $RUNAS unlinkmany $TESTFILE0 $ilimit || error "unlink mdt0 files failed"
+       wait_delete_completed
+       sync_all_data || true
+
+       echo "Create files on mdt1 after space freed from mdt0..."
+       $RUNAS createmany -m $TESTFILE1 $((ilimit / 2)) ||
+               quota_error a $TSTUSR "rebalancing failed"
+
+       $RUNAS unlinkmany $TESTFILE1 $((ilimit / 2)) ||
+               error "unlink mdt1 files failed"
+       $LFS rmdir $DIR/${tdir}-1 || error "unlink remote dir failed"
+
+       cleanup_quota_test
+       resetquota -u $TSTUSR
+}
+run_test 12b "Inode quota rebalancing"
 
 test_13(){
        local TESTFILE=$DIR/$tdir/$tfile
-       # the name of osp on ost1 name is MDT0000-osp-OST0000
-       local procf="ldlm.namespaces.*MDT0000-osp-OST0000.lru_size"
+       # the name of lwp on ost1 name is MDT0000-lwp-OST0000
+       local procf="ldlm.namespaces.*MDT0000-lwp-OST0000.lru_size"
 
        setup_quota_test
        trap cleanup_quota_test EXIT
@@ -1275,7 +1482,8 @@ test_13(){
        set_ost_qtype "u" || "enable ost quota failed"
        quota_show_check b u $TSTUSR
 
-       $LFS setquota -u $TSTUSR -b 0 -B 10M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 10M -i 0 -I 0 $DIR ||
+               error "set quota failed"
        $LFS setstripe $TESTFILE -c 1 -i 0
        chown $TSTUSR.$TSTUSR $TESTFILE
 
@@ -1319,14 +1527,16 @@ test_15(){
        sync_all_data || true
 
         # test for user
-       $LFS setquota -u $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR ||
+               error "set user quota failed"
        local TOTAL_LIMIT=$(getquota -u $TSTUSR global bhardlimit)
        [ $TOTAL_LIMIT -eq $LIMIT ] ||
                error "(user) limit:$TOTAL_LIMIT, expect:$LIMIT, failed!"
        resetquota -u $TSTUSR
 
        # test for group
-       $LFS setquota -g $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR
+       $LFS setquota -g $TSTUSR -b 0 -B $LIMIT -i 0 -I 0 $DIR ||
+               error "set group quota failed"
        TOTAL_LIMIT=$(getquota -g $TSTUSR global bhardlimit)
        [ $TOTAL_LIMIT -eq $LIMIT ] ||
                error "(group) limits:$TOTAL_LIMIT, expect:$LIMIT, failed!"
@@ -1349,7 +1559,8 @@ test_17sub() {
        set_ost_qtype "ug" || error "enable ost quota failed"
        # make sure no granted quota on ost
        resetquota -u $TSTUSR
-       $LFS setquota -u $TSTUSR -b 0 -B 10M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B 10M -i 0 -I 0 $DIR ||
+               error "set quota failed"
 
        quota_show_check b u $TSTUSR
 
@@ -1421,7 +1632,8 @@ test_18_sub () {
 
        set_ost_qtype "u" || error "enable ost quota failed"
        log "User quota (limit: $blimit)"
-       $LFS setquota -u $TSTUSR -b 0 -B $blimit -i 0 -I 0 $MOUNT
+       $LFS setquota -u $TSTUSR -b 0 -B $blimit -i 0 -I 0 $MOUNT ||
+               error "set quota failed"
        quota_show_check b u $TSTUSR
 
        $LFS setstripe $TESTFILE -i 0 -c 1
@@ -1480,7 +1692,7 @@ test_18() {
 
        # check if watchdog is triggered
        do_facet ost1 dmesg > $TMP/lustre-log-${TESTNAME}.log
-       local watchdog=$(awk '/test 18b/ {start = 1;}
+       local watchdog=$(awk '/sanity-quota test 18/ {start = 1;}
                       /Service thread pid/ && /was inactive/ {
                               if (start) {
                                       print;
@@ -1505,10 +1717,12 @@ test_19() {
        chown $TSTUSR.$TSTUSR $TESTFILE
 
        echo "Set user quota (limit: "$blimit"M)"
-       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT
+       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT ||
+               error "set user quota failed"
        quota_show_check b u $TSTUSR
        echo "Update quota limits"
-       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT
+       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT ||
+               error "set group quota failed"
        quota_show_check b u $TSTUSR
 
        # first wirte might be cached
@@ -1575,9 +1789,11 @@ test_21() {
        set_ost_qtype "ug" || error "Enable ost quota failed"
 
        log "Set limit(block:${BLIMIT}G; file:$ILIMIT) for user: $TSTUSR"
-       $LFS setquota -u $TSTUSR -b 0 -B ${BLIMIT}G -i 0 -I $ILIMIT $MOUNT
+       $LFS setquota -u $TSTUSR -b 0 -B ${BLIMIT}G -i 0 -I $ILIMIT $MOUNT ||
+               error "set user quota failed"
        log "Set limit(block:${BLIMIT}G; file:$ILIMIT) for group: $TSTUSR"
-       $LFS setquota -g $TSTUSR -b 0 -B $BLIMIT -i 0 -I $ILIMIT $MOUNT
+       $LFS setquota -g $TSTUSR -b 0 -B $BLIMIT -i 0 -I $ILIMIT $MOUNT ||
+               error "set group quota failed"
 
        # repeat writing on a 1M file
        test_21_sub ${TESTFILE}_1 1 30 &
@@ -1653,6 +1869,7 @@ test_22() {
        stopall
        mount
        setupall
+       quota_init
 
        echo "Verify if quota is disabled"
        qtype=$(mdt_quota_type)
@@ -1660,7 +1877,7 @@ test_22() {
        qtype=$(ost_quota_type)
        [ $qtype != "none" ] && error "ost quota setting is lost"
 
-       quota_init
+       return 0
 }
 run_test 22 "enable/disable quota by 'lctl conf_param'"
 
@@ -1675,7 +1892,8 @@ test_23_sub() {
 
        # test for user
        log "User quota (limit: $LIMIT MB)"
-       $LFS setquota -u $TSTUSR -b 0 -B "$LIMIT"M -i 0 -I 0 $DIR
+       $LFS setquota -u $TSTUSR -b 0 -B "$LIMIT"M -i 0 -I 0 $DIR ||
+               error "set quota failed"
        quota_show_check b u $TSTUSR
 
        $LFS setstripe $TESTFILE -c 1 -i 0
@@ -1737,7 +1955,8 @@ test_24() {
        chown $TSTUSR.$TSTUSR $TESTFILE
 
        echo "Set user quota (limit: "$blimit"M)"
-       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT
+       $LFS setquota -u $TSTUSR -b 0 -B "$blimit"M -i 0 -I 0 $MOUNT ||
+               error "set quota failed"
 
        # overrun quota by root user
        runas -u 0 -g 0 $DD of=$TESTFILE count=$((blimit + 1)) ||
@@ -1788,12 +2007,14 @@ test_30() {
        $LFS setstripe $TESTFILE -i 0 -c 1
        chown $TSTUSR.$TSTUSR $TESTFILE
 
-       $LFS setquota -t -u --block-grace $GRACE --inode-grace $MAX_IQ_TIME $DIR
-       $LFS setquota -u $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR
+       $LFS setquota -t -u --block-grace $GRACE --inode-grace \
+               $MAX_IQ_TIME $DIR || error "set grace time failed"
+       $LFS setquota -u $TSTUSR -b ${LIMIT}M -B 0 -i 0 -I 0 $DIR ||
+               error "set quota failed"
        $RUNAS $DD of=$TESTFILE count=$((LIMIT * 2)) || true
        cancel_lru_locks osc
        sleep $GRACE
-       $LFS setquota -u $TSTUSR -B 0 $DIR
+       $LFS setquota -u $TSTUSR -B 0 $DIR || error "clear quota failed"
        # over-quota flag has not yet settled since we do not trigger async
        # events based on grace time period expiration
        $SHOW_QUOTA_USER
@@ -1807,7 +2028,7 @@ test_30() {
        cleanup_quota_test
        resetquota -u $TSTUSR
        $LFS setquota -t -u --block-grace $MAX_DQ_TIME --inode-grace \
-               $MAX_IQ_TIME $DIR
+               $MAX_IQ_TIME $DIR || error "restore grace time failed"
 }
 run_test 30 "Hard limit updates should not reset grace times"