Whamcloud - gitweb
LU-2093 lod: fall back to RR allocation when QoS fails
[fs/lustre-release.git] / lustre / tests / sanity.sh
index e37c7f3..27970e0 100644 (file)
@@ -11,6 +11,11 @@ ONLY=${ONLY:-"$*"}
 ALWAYS_EXCEPT="                27u   42a  42b  42c  42d  45   51d   68b   $SANITY_EXCEPT"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
+# with LOD/OSP landing
+# bug number for skipped tests: LU2036
+ALWAYS_EXCEPT="                 76     $ALWAYS_EXCEPT"
+
+
 # Tests that fail on uml
 CPU=`awk '/model/ {print $4}' /proc/cpuinfo`
 #                                    buffer i/o errs             sock spc runas
@@ -498,6 +503,13 @@ test_17m() {
        local i
        local rc=0
 
+       [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.0) ] &&
+       [ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.2.93) ] &&
+               skip "MDS 2.2.0-2.2.93 do not NUL-terminate symlinks" && return
+
+       [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
+               skip "only for ldiskfs MDT" && return 0
+
        mkdir -p $WDIR
        long_sym=$short_sym
        # create a long symlink file
@@ -1082,6 +1094,7 @@ reset_enospc() {
        [ "$OSTIDX" ] && list=$(facet_host ost$((OSTIDX + 1)))
 
        do_nodes $list lctl set_param fail_loc=0
+       sync    # initiate all OST_DESTROYs from MDS to OST
        sleep_maxage
 }
 
@@ -2533,7 +2546,23 @@ run_test 39k "write, utime, close, stat ========================"
 # this should be set to future
 TEST_39_ATIME=`date -d "1 year" +%s`
 
+is_sles11()                                            # LU-1783
+{
+       if [ -r /etc/SuSE-release ]
+       then
+               local vers=`grep VERSION /etc/SuSE-release | awk '{print $3}'`
+               local patchlev=`grep PATCHLEVEL /etc/SuSE-release \
+                       | awk '{print $3}'`
+               if [ $vers -eq 11 ] && [ $patchlev -eq 1 ]
+               then
+                       return 0
+               fi
+       fi
+       return 1
+}
+
 test_39l() {
+       is_sles11 && skip "SLES 11 SP1" && return       # LU-1783
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        local atime_diff=$(do_facet $SINGLEMDS lctl get_param -n mdd.*.atime_diff)
 
@@ -3137,45 +3166,72 @@ run_test 51a "special situations: split htree with empty entry =="
 
 export NUMTEST=70000
 test_51b() {
-       NUMFREE=`df -i -P $DIR | tail -n 1 | awk '{ print $4 }'`
-       [ $NUMFREE -lt 21000 ] && \
-               skip "not enough free inodes ($NUMFREE)" && \
+       local BASE=$DIR/$tdir
+       mkdir -p $BASE
+
+       local mdtidx=$(printf "%04x" $($LFS getstripe -M $BASE))
+       local numfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.filesfree)
+       [ $numfree -lt 21000 ] && skip "not enough free inodes ($numfree)" &&
                return
 
-       [ $NUMFREE -lt $NUMTEST ] && NUMTEST=$(($NUMFREE - 50))
+       [ $numfree -lt $NUMTEST ] && NUMTEST=$(($numfree - 50)) &&
+               echo "reduced count to $NUMTEST due to inodes"
 
-       mkdir -p $DIR/d51b
-       createmany -d $DIR/d51b/t- $NUMTEST
+       # need to check free space for the directories as well
+       local blkfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.kbytesavail)
+       numfree=$((blkfree / 4))
+       [ $numfree -lt $NUMTEST ] && NUMTEST=$(($numfree - 50)) &&
+               echo "reduced count to $NUMTEST due to blocks"
+
+       createmany -d $BASE/d $NUMTEST && echo $NUMTEST > $BASE/fnum ||
+               echo "failed" > $BASE/fnum
 }
-run_test 51b "mkdir .../t-0 --- .../t-$NUMTEST ===================="
+run_test 51b "exceed 64k subdirectory nlink limit"
 
 test_51ba() { # LU-993
-       local BASE=$DIR/d51b
+       local BASE=$DIR/$tdir
        # unlink all but 100 subdirectories, then check it still works
        local LEFT=100
+       [ -f $BASE/fnum ] && local NUMPREV=$(cat $BASE/fnum) && rm $BASE/fnum
+
+       [ "$NUMPREV" != "failed" ] && NUMTEST=$NUMPREV
        local DELETE=$((NUMTEST - LEFT))
 
        # continue on to run this test even if 51b didn't finish,
        # just to delete the many subdirectories created.
-       ! [ -d "${BASE}/t-1" ] && skip "test_51b() not run" && return 0
+       [ ! -d "${BASE}/d1" ] && skip "test_51b() not run" && return 0
 
        # for ldiskfs the nlink count should be 1, but this is OSD specific
        # and so this is listed for informational purposes only
-       log "nlink before: $(stat -c %h $BASE)"
-       unlinkmany -d $BASE/t- $DELETE ||
-               error "unlink of first $DELETE subdirs failed"
+       echo "nlink before: $(stat -c %h $BASE), created before: $NUMTEST"
+       unlinkmany -d $BASE/d $DELETE
+       RC=$?
+
+       if [ $RC -ne 0 ]; then
+               if [ "$NUMPREV" == "failed" ]; then
+                       skip "previous setup failed"
+                       return 0
+               else
+                       error "unlink of first $DELETE subdirs failed"
+                       return $RC
+               fi
+       fi
 
-       log "nlink between: $(stat -c %h $BASE)"
-       local FOUND=$(ls -l ${BASE} | wc -l)
-       FOUND=$((FOUND - 1))  # trim the first line of ls output
+       echo "nlink between: $(stat -c %h $BASE)"
+       # trim the first line of ls output
+       local FOUND=$(($(ls -l ${BASE} | wc -l) - 1))
        [ $FOUND -ne $LEFT ] &&
                error "can't find subdirs: found only $FOUND/$LEFT"
 
-       unlinkmany -d $BASE/t- $DELETE $LEFT ||
+       unlinkmany -d $BASE/d $DELETE $LEFT ||
                error "unlink of second $LEFT subdirs failed"
-       log "nlink after: $(stat -c %h $BASE)"
+       # regardless of whether the backing filesystem tracks nlink accurately
+       # or not, the nlink count shouldn't be more than "." and ".." here
+       local AFTER=$(stat -c %h $BASE)
+       [ $AFTER -gt 2 ] && error "nlink after: $AFTER > 2" ||
+               echo "nlink after: $AFTER"
 }
-run_test 51ba "rmdir .../t-0 --- .../t-$NUMTEST"
+run_test 51ba "verify nlink for many subdirectory cleanup"
 
 test_51bb() {
        [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return
@@ -3956,6 +4012,11 @@ run_test 56w "check lfs_migrate -c stripe_count works"
 
 test_57a() {
        # note test will not do anything if MDS is not local
+       if [ "$(facet_type_fstype MDS)" != ldiskfs ]; then
+               skip "Only applicable to ldiskfs-based MDTs"
+               return
+       fi
+
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        local MNTDEV="osd*.*MDT*.mntdev"
        DEV=$(do_facet $SINGLEMDS lctl get_param -n $MNTDEV)
@@ -3971,6 +4032,11 @@ test_57a() {
 run_test 57a "verify MDS filesystem created with large inodes =="
 
 test_57b() {
+       if [ "$(facet_type_fstype MDS)" != ldiskfs ]; then
+               skip "Only applicable to ldiskfs-based MDTs"
+               return
+       fi
+
        remote_mds_nodsh && skip "remote MDS with nodsh" && return
        local dir=$DIR/d57b
 
@@ -4876,6 +4942,16 @@ test_79() { # bug 12743
 run_test 79 "df report consistency check ======================="
 
 test_80() { # bug 10718
+        # relax strong synchronous semantics for slow backends like ZFS
+        local soc="obdfilter.*.sync_on_lock_cancel"
+        local soc_old=$(do_facet ost1 lctl get_param -n $soc | head -n1)
+        local hosts=
+        if [ "$soc_old" != "never" -a "$FSTYPE" != "ldiskfs" ]; then
+                hosts=$(for host in $(seq -f "ost%g" 1 $OSTCOUNT); do
+                          facet_active_host $host; done | sort -u)
+                do_nodes $hosts lctl set_param $soc=never
+        fi
+
         dd if=/dev/zero of=$DIR/$tfile bs=1M count=1 seek=1M
         sync; sleep 1; sync
         local BEFORE=`date +%s`
@@ -4885,6 +4961,9 @@ test_80() { # bug 10718
         if [ $DIFF -gt 1 ] ; then
                 error "elapsed for 1M@1T = $DIFF"
         fi
+
+        [ -n "$hosts" ] && do_nodes $hosts lctl set_param $soc=$soc_old
+
         true
         rm -f $DIR/$tfile
 }
@@ -4894,7 +4973,7 @@ test_81a() { # LU-456
         remote_ost_nodsh && skip "remote OST with nodsh" && return
         # define OBD_FAIL_OST_MAPBLK_ENOSPC    0x228
         # MUST OR with the OBD_FAIL_ONCE (0x80000000)
-        do_facet ost0 lctl set_param fail_loc=0x80000228
+        do_facet ost1 lctl set_param fail_loc=0x80000228
 
         # write should trigger a retry and success
         $SETSTRIPE -i 0 -c 1 $DIR/$tfile
@@ -4910,7 +4989,7 @@ test_81b() { # LU-456
         remote_ost_nodsh && skip "remote OST with nodsh" && return
         # define OBD_FAIL_OST_MAPBLK_ENOSPC    0x228
         # Don't OR with the OBD_FAIL_ONCE (0x80000000)
-        do_facet ost0 lctl set_param fail_loc=0x228
+        do_facet ost1 lctl set_param fail_loc=0x228
 
         # write should retry several times and return -ENOSPC finally
         $SETSTRIPE -i 0 -c 1 $DIR/$tfile
@@ -5243,8 +5322,9 @@ test_101d() {
     echo read-ahead disabled time read $time_ra_OFF
     echo read-ahead enabled  time read $time_ra_ON
 
-    set_read_ahead $old_READAHEAD
-    rm -f $file
+       set_read_ahead $old_READAHEAD
+       rm -f $file
+       wait_delete_completed
 
     [ $time_ra_ON -lt $time_ra_OFF ] ||
         error "read-ahead enabled  time read (${time_ra_ON}s) is more than
@@ -5855,9 +5935,9 @@ test_115() {
            cut -c11-20)
 
        # don't return an error
-        [ $OSTIO_post -eq $OSTIO_pre ] && echo \
-           "WARNING: No new ll_ost_io threads were created ($OSTIO_pre)" &&\
-           echo "This may be fine, depending on what ran before this test" &&\
+        [ $OSTIO_post == $OSTIO_pre ] && echo \
+           "WARNING: No new ll_ost_io threads were created ($OSTIO_pre)" &&
+           echo "This may be fine, depending on what ran before this test" &&
            echo "and how fast this system is." && return
 
         echo "Started with $OSTIO_pre threads, ended with $OSTIO_post"
@@ -5883,7 +5963,7 @@ free_min_max () {
        echo Max free space: OST $MAXI: $MAXV
 }
 
-test_116() {
+test_116a() { # was previously test_116()
        [ "$OSTCOUNT" -lt "2" ] && skip_env "$OSTCOUNT < 2 OSTs" && return
 
        echo -n "Free space priority "
@@ -5966,7 +6046,21 @@ test_116() {
 
        rm -rf $DIR/$tdir
 }
-run_test 116 "stripe QOS: free space balance ==================="
+run_test 116a "stripe QOS: free space balance ==================="
+
+test_116b() { # LU-2093
+#define OBD_FAIL_MDS_OSC_CREATE_FAIL     0x147
+       local old_rr
+       old_rr=$(do_facet $SINGLEMDS lctl get_param -n lov.*mdtlov*.qos_threshold_rr)
+       do_facet $SINGLEMDS lctl set_param lov.*mdtlov*.qos_threshold_rr 0
+       mkdir -p $DIR/$tdir
+       do_facet $SINGLEMDS lctl set_param fail_loc=0x147
+       createmany -o $DIR/$tdir/f- 20 || error "can't create"
+       do_facet $SINGLEMDS lctl set_param fail_loc=0
+       rm -rf $DIR/$tdir
+       do_facet $SINGLEMDS lctl set_param lov.*mdtlov*.qos_threshold_rr $old_rr
+}
+run_test 116b "QoS shouldn't LBUG if not enough OSTs found on the 2nd pass"
 
 test_117() # bug 10891
 {
@@ -6241,6 +6335,8 @@ test_118h() {
 }
 run_test 118h "Verify timeout in handling recoverables errors  =========="
 
+[ "$SLOW" = "no" ] && [ -n "$OLD_RESENDCOUNT" ] && set_resend_count $OLD_RESENDCOUNT
+
 test_118i() {
        remote_ost_nodsh && skip "remote OST with nodsh" && return
 
@@ -6279,6 +6375,8 @@ test_118i() {
 }
 run_test 118i "Fix error before timeout in recoverable error  =========="
 
+[ "$SLOW" = "no" ] && set_resend_count 4
+
 test_118j() {
        remote_ost_nodsh && skip "remote OST with nodsh" && return
 
@@ -7037,18 +7135,26 @@ cleanup_130() {
 }
 
 test_130a() {
-       filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
-       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" && return
+       local filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
+       [ -n "$filefrag_op" ] && skip_env "filefrag does not support FIEMAP" &&
+               return
 
        trap cleanup_130 EXIT RETURN
 
        local fm_file=$DIR/$tfile
        $SETSTRIPE -S 65536 -c 1 $fm_file || error "setstripe on $fm_file"
-       dd if=/dev/zero of=$fm_file bs=65536 count=1 || error "dd failed for $fm_file"
+       dd if=/dev/zero of=$fm_file bs=65536 count=1 ||
+               error "dd failed for $fm_file"
 
-       filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=`filefrag -ve $fm_file | grep -A 100 "ext:" | grep -v "ext:" | grep -v "found"`
+       # LU-1795: test filefrag/FIEMAP once, even if unsupported
+       filefrag -ves $fm_file
+       RC=$?
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
+               skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
+       [ $RC != 0 ] && error "filefrag $fm_file failed"
 
+       filefrag_op=$(filefrag -ve $fm_file | grep -A 100 "ext:" |
+                     grep -v "ext:" | grep -v "found")
        lun=$($GETSTRIPE -i $fm_file)
 
        start_blk=`echo $filefrag_op | cut -d: -f2 | cut -d. -f1`
@@ -7079,21 +7185,28 @@ test_130a() {
 run_test 130a "FIEMAP (1-stripe file)"
 
 test_130b() {
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "skipping FIEMAP on 2-stripe file test" && return
+       [ "$OSTCOUNT" -lt "2" ] &&
+               skip_env "skipping FIEMAP on 2-stripe file test" && return
 
-       filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
-       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" && return
+       local filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
+       [ -n "$filefrag_op" ] && skip_env "filefrag does not support FIEMAP" &&
+               return
 
        trap cleanup_130 EXIT RETURN
 
        local fm_file=$DIR/$tfile
        $SETSTRIPE -S 65536 -c 2 $fm_file || error "setstripe on $fm_file"
-       dd if=/dev/zero of=$fm_file bs=1M count=2 || error "dd failed on $fm_file"
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
+               skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
+
+       dd if=/dev/zero of=$fm_file bs=1M count=2 ||
+               error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
-       filefrag_op=`filefrag -ve $fm_file | grep -A 100 "ext:" | grep -v "ext:" | grep -v "found"`
+       filefrag_op=$(filefrag -ve $fm_file | grep -A 100 "ext:" |
+                     grep -v "ext:" | grep -v "found")
 
-       last_lun=`echo $filefrag_op | cut -d: -f5`
+       last_lun=$(echo $filefrag_op | cut -d: -f5)
 
        IFS=$'\n'
        tot_len=0
@@ -7128,15 +7241,20 @@ test_130b() {
 run_test 130b "FIEMAP (2-stripe file)"
 
 test_130c() {
-       [ "$OSTCOUNT" -lt "2" ] && skip_env "skipping FIEMAP on 2-stripe file with hole test" && return
+       [ "$OSTCOUNT" -lt "2" ] &&
+               skip_env "skipping FIEMAP on 2-stripe file" && return
 
        filefrag_op=$(filefrag -e 2>&1 | grep "invalid option")
-       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" && return
+       [ -n "$filefrag_op" ] && skip "filefrag does not support FIEMAP" &&
+               return
 
        trap cleanup_130 EXIT RETURN
 
        local fm_file=$DIR/$tfile
        $SETSTRIPE -S 65536 -c 2 $fm_file || error "setstripe on $fm_file"
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
+               skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
+
        dd if=/dev/zero of=$fm_file seek=1 bs=1M count=1 || error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
@@ -7192,6 +7310,8 @@ test_130d() {
 
        local fm_file=$DIR/$tfile
        $SETSTRIPE -S 65536 -c $OSTCOUNT $fm_file||error "setstripe on $fm_file"
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
+               skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
        dd if=/dev/zero of=$fm_file bs=1M count=$OSTCOUNT || error "dd failed on $fm_file"
 
        filefrag -ves $fm_file || error "filefrag $fm_file failed"
@@ -7241,6 +7361,9 @@ test_130e() {
 
        local fm_file=$DIR/$tfile
        $SETSTRIPE -S 131072 -c 2 $fm_file || error "setstripe on $fm_file"
+       [ "$(facet_fstype ost$(($($GETSTRIPE -i $fm_file) + 1)))" = "zfs" ] &&
+               skip "ORI-366/LU-1941: FIEMAP unimplemented on ZFS" && return
+
        NUM_BLKS=512
        EXPECTED_LEN=$(( (NUM_BLKS / 2) * 64 ))
        for ((i = 0; i < $NUM_BLKS; i++))
@@ -7480,8 +7603,11 @@ test_133b() {
        chmod 444 ${testdir}/${tfile} || error "chmod failed"
        check_stats $SINGLEMDS "setattr" 1
        do_facet $SINGLEMDS $LCTL set_param mdt.*.md_stats=clear
-       ls -l ${testdir}/${tfile} > /dev/null|| error "ls failed"
-       check_stats $SINGLEMDS "getattr" 1
+       if [ $(lustre_version_code $SINGLEMDS) -ne $(version_code 2.2.0) ]
+       then            # LU-1740
+               ls -l ${testdir}/${tfile} > /dev/null|| error "ls failed"
+               check_stats $SINGLEMDS "getattr" 1
+       fi
        $LFS df || error "lfs failed"
        check_stats $SINGLEMDS "statfs" 1
 
@@ -7499,6 +7625,7 @@ test_133c() {
        $SETSTRIPE -c 1 -i 0 ${testdir}/${tfile}
        sync
        cancel_lru_locks osc
+       wait_delete_completed
 
        # clear stats.
        do_facet $SINGLEMDS $LCTL set_param mdt.*.md_stats=clear
@@ -7516,6 +7643,7 @@ test_133c() {
        check_stats ost "punch" 1
 
        rm -f ${testdir}/${tfile} || error "file remove failed"
+       wait_delete_completed
        check_stats ost "destroy" 1
 
        rm -rf $DIR/${tdir}
@@ -7799,6 +7927,9 @@ test_153() {
 run_test 153 "test if fdatasync does not crash ======================="
 
 test_154() {
+       [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.51) ]] ||
+               { skip "Need MDS version at least 2.2.51"; return 0; }
+
        cp /etc/hosts $DIR/$tfile
 
        fid=$($LFS path2fid $DIR/$tfile)
@@ -7864,6 +7995,46 @@ test_154() {
        touch $DIR/.lustre/fid/$tfile && \
                error "touch $DIR/.lustre/fid/$tfile should fail."
 
+       echo "setxattr to $DIR/.lustre/fid"
+       setfattr -n trusted.name1 -v value1 $DIR/.lustre/fid &&
+               error "setxattr should fail."
+
+       echo "listxattr for $DIR/.lustre/fid"
+       getfattr -d -m "^trusted" $DIR/.lustre/fid &&
+               error "listxattr should fail."
+
+       echo "delxattr from $DIR/.lustre/fid"
+       setfattr -x trusted.name1 $DIR/.lustre/fid &&
+               error "delxattr should fail."
+
+       echo "touch invalid fid: $DIR/.lustre/fid/[0x200000400:0x2:0x3]"
+       touch $DIR/.lustre/fid/[0x200000400:0x2:0x3] &&
+               error "touch invalid fid should fail."
+
+       echo "touch non-normal fid: $DIR/.lustre/fid/[0x1:0x2:0x0]"
+       touch $DIR/.lustre/fid/[0x1:0x2:0x0] &&
+               error "touch non-normal fid should fail."
+
+       echo "rename $tdir to $DIR/.lustre/fid"
+       mrename $DIR/$tdir $DIR/.lustre/fid &&
+               error "rename to $DIR/.lustre/fid should fail."
+
+       echo "rename .lustre to itself"
+       fid=$($LFS path2fid $DIR)
+       mrename $DIR/.lustre $DIR/.lustre/fid/$fid/.lustre &&
+               error "rename .lustre to itself should fail."
+
+       $OPENFILE -f O_LOV_DELAY_CREATE:O_CREAT $DIR/$tfile-2
+       fid=$($LFS path2fid $DIR/$tfile-2)
+       echo "cp /etc/passwd $DIR/.lustre/fid/$fid"
+       cp /etc/passwd $DIR/.lustre/fid/$fid &&
+               error "create lov data thru .lustre should fail."
+       echo "cp /etc/passwd $DIR/$tfile-2"
+       cp /etc/passwd $DIR/$tfile-2 || error "copy to $DIR/$tfile-2 failed."
+       echo "diff /etc/passwd $DIR/.lustre/fid/$fid"
+       diff /etc/passwd $DIR/.lustre/fid/$fid ||
+               error "diff /etc/passwd $DIR/.lustre/fid/$fid failed."
+
        echo "Open-by-FID succeeded"
 }
 run_test 154 "Open-by-FID"
@@ -8993,7 +9164,7 @@ verify_jobstats() {
 
        # clear old jobstats
        do_facet $SINGLEMDS lctl set_param mdt.*.job_stats="clear"
-       do_facet ost0 lctl set_param obdfilter.*.job_stats="clear"
+       do_facet ost1 lctl set_param obdfilter.*.job_stats="clear"
 
        # use a new JobID for this test, or we might see an old one
        [ "$JOBENV" = "FAKE_JOBID" ] && FAKE_JOBID=test_id.$testnum.$RANDOM
@@ -9014,13 +9185,16 @@ verify_jobstats() {
                        grep $JOBVAL || error "No job stats found on MDT $FACET"
        fi
        if [ "$target" = "ost" -o "$target" = "both" ]; then
-               FACET=ost0
+               FACET=ost1
                do_facet $FACET lctl get_param obdfilter.*.job_stats |
                        grep $JOBVAL || error "No job stats found on OST $FACET"
        fi
 }
 
 test_205() { # Job stats
+       [ -z "$(lctl get_param -n mdc.*.connect_flags | grep jobstats)" ] &&
+               skip "Server doesn't support jobstats" && return 0
+
        local cmd
        OLD_JOBENV=`$LCTL get_param -n jobid_var`
        if [ $OLD_JOBENV != $JOBENV ]; then
@@ -9566,7 +9740,7 @@ test_227() {
 run_test 227 "running truncated executable does not cause OOM"
 
 # LU-1512 try to reuse idle OI blocks
-test_228() {
+test_228a() {
        [ "$FSTYPE" != "ldiskfs" ] && skip "non-ldiskfs backend" && return
 
        local MDT_DEV=$(mdsdevname ${SINGLEMDS//mds/})
@@ -9603,7 +9777,97 @@ test_228() {
 
        [ $blk1 == $blk2 ] || error "old blk1=$blk1, new blk2=$blk2, unmatched!"
 }
-run_test 228 "try to reuse idle OI blocks"
+run_test 228a "try to reuse idle OI blocks"
+
+test_228b() {
+       [ "$FSTYPE" != "ldiskfs" ] && skip "non-ldiskfs backend" && return
+
+       local MDT_DEV=$(mdsdevname ${SINGLEMDS//mds/})
+       local myDIR=$DIR/$tdir
+
+       mkdir -p $myDIR
+       #define OBD_FAIL_SEQ_EXHAUST             0x1002
+       $LCTL set_param fail_loc=0x80001002
+       createmany -o $myDIR/t- 10000
+       $LCTL set_param fail_loc=0
+       # The guard is current the largest FID holder
+       touch $myDIR/guard
+       local SEQ=$($LFS path2fid $myDIR/guard | awk -F ':' '{print $1}' |
+                   tr -d '[')
+       local IDX=$(($SEQ % 64))
+
+       do_facet $SINGLEMDS sync
+       # Make sure journal flushed.
+       sleep 6
+       local blk1=$(do_facet $SINGLEMDS \
+                    "$DEBUGFS -c -R \\\"stat oi.16.${IDX}\\\" $MDT_DEV" |
+                    grep Blockcount | awk '{print $4}')
+
+       # Remove old files, some OI blocks will become idle.
+       unlinkmany $myDIR/t- 10000
+
+       # stop the MDT
+       stop $SINGLEMDS || error "Fail to stop MDT."
+       # remount the MDT
+       start $SINGLEMDS $MDT_DEV $MDS_MOUNT_OPTS || error "Fail to start MDT."
+
+       df $MOUNT || error "Fail to df."
+       # Create new files, idle OI blocks should be reused.
+       createmany -o $myDIR/t- 2000
+       do_facet $SINGLEMDS sync
+       # Make sure journal flushed.
+       sleep 6
+       local blk2=$(do_facet $SINGLEMDS \
+                    "$DEBUGFS -c -R \\\"stat oi.16.${IDX}\\\" $MDT_DEV" |
+                    grep Blockcount | awk '{print $4}')
+
+       [ $blk1 == $blk2 ] || error "old blk1=$blk1, new blk2=$blk2, unmatched!"
+}
+run_test 228b "idle OI blocks can be reused after MDT restart"
+
+#LU-1881
+test_228c() {
+       [ "$FSTYPE" != "ldiskfs" ] && skip "non-ldiskfs backend" && return
+
+       local MDT_DEV=$(mdsdevname ${SINGLEMDS//mds/})
+       local myDIR=$DIR/$tdir
+
+       mkdir -p $myDIR
+       #define OBD_FAIL_SEQ_EXHAUST             0x1002
+       $LCTL set_param fail_loc=0x80001002
+       # 20000 files can guarantee there are index nodes in the OI file
+       createmany -o $myDIR/t- 20000
+       $LCTL set_param fail_loc=0
+       # The guard is current the largest FID holder
+       touch $myDIR/guard
+       local SEQ=$($LFS path2fid $myDIR/guard | awk -F ':' '{print $1}' |
+                   tr -d '[')
+       local IDX=$(($SEQ % 64))
+
+       do_facet $SINGLEMDS sync
+       # Make sure journal flushed.
+       sleep 6
+       local blk1=$(do_facet $SINGLEMDS \
+                    "$DEBUGFS -c -R \\\"stat oi.16.${IDX}\\\" $MDT_DEV" |
+                    grep Blockcount | awk '{print $4}')
+
+       # Remove old files, some OI blocks will become idle.
+       unlinkmany $myDIR/t- 20000
+       rm -f $myDIR/guard
+       # The OI file should become empty now
+
+       # Create new files, idle OI blocks should be reused.
+       createmany -o $myDIR/t- 2000
+       do_facet $SINGLEMDS sync
+       # Make sure journal flushed.
+       sleep 6
+       local blk2=$(do_facet $SINGLEMDS \
+                    "$DEBUGFS -c -R \\\"stat oi.16.${IDX}\\\" $MDT_DEV" |
+                    grep Blockcount | awk '{print $4}')
+
+       [ $blk1 == $blk2 ] || error "old blk1=$blk1, new blk2=$blk2, unmatched!"
+}
+run_test 228c "NOT shrink the last entry in OI index node to recycle idle leaf"
 
 #
 # tests that do cleanup/setup should be run at the end