Whamcloud - gitweb
LU-4239 mdt: Optimize fid2path
[fs/lustre-release.git] / lustre / tests / sanity.sh
index d13d7b4..cd2f4da 100644 (file)
@@ -60,9 +60,11 @@ init_logging
 
 [ "$SLOW" = "no" ] && EXCEPT_SLOW="24o 27m 64b 68 71 77f 78 115 124b 230d"
 
-[ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
-# bug number for skipped test:        LU-1593 LU-2610 LU-2833 LU-1957 LU-2805
-       ALWAYS_EXCEPT="$ALWAYS_EXCEPT 34h     40      48a     180     184c"
+if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
+       # bug number for skipped test: LU-1593  LU-4536 LU-5242 LU-1957 LU-2805
+       ALWAYS_EXCEPT="$ALWAYS_EXCEPT  34h      65ic    132     180     184c"
+       [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 51b 51ba"
+fi
 
 FAIL_ON_ERROR=false
 
@@ -558,6 +560,7 @@ test_17m() {
        local i
        local rc=0
 
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.0) ] &&
        [ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.2.93) ] &&
                skip "MDS 2.2.0-2.2.93 do not NUL-terminate symlinks" && return
@@ -602,7 +605,7 @@ test_17m() {
        stop mds${mds_index}
        do_facet mds${mds_index} $cmd || rc=$?
 
-       start mds${mds_index} $devname $MDS_MOUNT_OPTS
+       start mds${mds_index} $devname $MDS_MOUNT_OPTS || error "start failed"
        df $MOUNT > /dev/null 2>&1
        [ $rc -ne 0 ] && error "e2fsck should not report error upon "\
                "short/long symlink MDT: rc=$rc"
@@ -627,7 +630,8 @@ check_fs_consistency_17n() {
                stop mds${mdt_index}
                do_facet mds${mdt_index} $cmd || rc=$?
 
-               start mds${mdt_index} $devname $MDS_MOUNT_OPTS
+               start mds${mdt_index} $devname $MDS_MOUNT_OPTS ||
+                       error "mount mds${mdt_index} failed"
                df $MOUNT > /dev/null 2>&1
                [ $rc -ne 0 ] && break
        done
@@ -637,6 +641,7 @@ check_fs_consistency_17n() {
 test_17n() {
        local i
 
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.2.0) ] &&
        [ $(lustre_version_code $SINGLEMDS) -le $(version_code 2.2.93) ] &&
                skip "MDS 2.2.0-2.2.93 do not NUL-terminate symlinks" && return
@@ -689,6 +694,7 @@ test_17n() {
 run_test 17n "run e2fsck against master/slave MDT which contains remote dir"
 
 test_17o() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.64) ] &&
                skip "Need MDS version at least 2.3.64" && return
 
@@ -704,7 +710,8 @@ test_17o() {
 
        touch $WDIR/$tfile
        stop mds${mdt_index}
-       start mds${mdt_index} $mdtdevname $MDS_MOUNT_OPTS
+       start mds${mdt_index} $mdtdevname $MDS_MOUNT_OPTS ||
+               error "mount mds${mdt_index} failed"
 
        #define OBD_FAIL_OSD_LMA_INCOMPAT 0x194
        do_facet mds${mdt_index} lctl set_param fail_loc=0x194
@@ -1354,10 +1361,13 @@ test_27e() {
 run_test 27e "setstripe existing file (should return error) ======"
 
 test_27f() {
-       test_mkdir -p $DIR/d27
-       $SETSTRIPE -S 100 -i 0 -c 1 $DIR/d27/fbad && error "setstripe failed"
-       dd if=/dev/zero of=$DIR/d27/fbad bs=4k count=4 || error "dd failed"
-       $GETSTRIPE $DIR/d27/fbad || error "$GETSTRIPE failed"
+       test_mkdir $DIR/$tdir
+       $SETSTRIPE -S 100 -i 0 -c 1 $DIR/$tdir/$tfile &&
+               error "$SETSTRIPE $DIR/$tdir/$tfile failed"
+       $CHECKSTAT -t file $DIR/$tdir/$tfile &&
+               error "$CHECKSTAT -t file $DIR/$tdir/$tfile should fail"
+       dd if=/dev/zero of=$DIR/$tdir/$tfile bs=4k count=4 || error "dd failed"
+       $GETSTRIPE $DIR/$tdir/$tfile || error "$GETSTRIPE failed"
 }
 run_test 27f "setstripe with bad stripe size (should return error)"
 
@@ -2561,7 +2571,7 @@ test_33b() {
         rm -fr $DIR/d33
         test_mkdir -p $DIR/d33
         chown $RUNAS_ID $DIR/d33
-        $RUNAS $OPENFILE -f 1286739555 $DIR/d33/f33
+        $RUNAS $OPENFILE -f 1286739555 $DIR/d33/f33 || true
 }
 run_test 33b "test open file with malformed flags (No panic)"
 
@@ -3786,6 +3796,10 @@ run_test 46 "dirtying a previously written page ================"
 # test_47 is removed "Device nodes check" is moved to test_28
 
 test_48a() { # bug 2399
+       [ $(facet_fstype $SINGLEMDS) = "zfs" ] &&
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.63) ] &&
+               skip "MDS prior to 2.3.63 handle ZFS dir .. incorrectly" &&
+               return
        check_kernel_version 34 || return 0
        test_mkdir -p $DIR/$tdir
        cd $DIR/$tdir
@@ -3968,22 +3982,30 @@ test_51b() {
 
        test_mkdir -p -c1 $BASE
 
+       $LFS df
+       $LFS df -i
        local mdtidx=$(printf "%04x" $($LFS getstripe -M $BASE))
        local numfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.filesfree)
-       [[ $numfree -lt 21000 ]] && skip "not enough free inodes ($numfree)" &&
+       [[ $numfree -lt 21000 ]] &&
+               skip "not enough free inodes ($numfree) on MDT$mdtidx" &&
                return
 
        [[ $numfree -lt $NUMTEST ]] && NUMTEST=$(($numfree - 50)) &&
-               echo "reduced count to $NUMTEST due to inodes"
+               echo "reduced count to $NUMTEST due to inodes on MDT$mdtidx"
 
        # need to check free space for the directories as well
        local blkfree=$(lctl get_param -n mdc.$FSNAME-MDT$mdtidx*.kbytesavail)
        numfree=$((blkfree / 4))
-       [[ $numfree -lt $NUMTEST ]] && NUMTEST=$(($numfree - 50)) &&
-               echo "reduced count to $NUMTEST due to blocks"
+       [[ $numfree -lt $NUMTEST ]] && NUMTEST=$((numfree - 50)) &&
+               echo "reduced count to $NUMTEST due to blocks on MDT$mdtidx"
 
        createmany -d $BASE/d $NUMTEST && echo $NUMTEST > $BASE/fnum ||
+       {
+               $LFS df
+               $LFS df -i
                echo "failed" > $BASE/fnum
+               error "failed to create $NUMTEST subdirs in MDT$mdtidx:$BASE"
+       }
 }
 run_test 51b "exceed 64k subdirectory nlink limit"
 
@@ -4757,29 +4779,9 @@ test_56v() {
 }
 run_test 56v "check 'lfs find -mdt match with lfs getstripe -M' ======="
 
-# Get and check the actual stripe count of one file.
-# Usage: check_stripe_count <file> <expected_stripe_count>
-check_stripe_count() {
-    local file=$1
-    local expected=$2
-    local actual
-
-    [[ -z "$file" || -z "$expected" ]] &&
-        error "check_stripe_count: invalid argument!"
-
-    local cmd="$GETSTRIPE -c $file"
-    actual=$($cmd) || error "$cmd failed"
-    actual=${actual%% *}
-
-    if [[ $actual -ne $expected ]]; then
-        [[ $expected -eq -1 ]] ||
-            error "$cmd wrong: found $actual, expected $expected"
-        [[ $actual -eq $OSTCOUNT ]] ||
-            error "$cmd wrong: found $actual, expected $OSTCOUNT"
-    fi
-}
-
 test_56w() {
+       [[ $OSTCOUNT -lt 2 ]] && skip_env "$OSTCOUNT < 2 OSTs -- skipping" &&
+               return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        TDIR=$DIR/${tdir}w
 
@@ -4830,6 +4832,29 @@ test_56w() {
 
     check_stripe_count $TDIR/file1 $expected
 
+       if [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.90) ];
+       then
+               # lfs_migrate file onto OST 0 if it is on OST 1, or onto
+               # OST 1 if it is on OST 0. This file is small enough to
+               # be on only one stripe.
+               file=$TDIR/migr_1_ost
+               dd bs=$dd_bs count=1 if=/dev/urandom of=$file >/dev/null 2>&1 ||
+                       error "write data into $file failed"
+               local obdidx=$($LFS getstripe -i $file)
+               local oldmd5=$(md5sum $file)
+               local newobdidx=0
+               [[ $obdidx -eq 0 ]] && newobdidx=1
+               cmd="$LFS migrate -i $newobdidx $file"
+               echo $cmd
+               eval $cmd || error "$cmd failed"
+               local realobdix=$($LFS getstripe -i $file)
+               local newmd5=$(md5sum $file)
+               [[ $newobdidx -ne $realobdix ]] &&
+                       error "new OST is different (was=$obdidx, wanted=$newobdidx, got=$realobdix)"
+               [[ "$oldmd5" != "$newmd5" ]] &&
+                       error "md5sum differ: $oldmd5, $newmd5"
+       fi
+
     # lfs_migrate dir
     cmd="$LFS_MIGRATE -y -c $expected $TDIR/dir1"
     echo "$cmd"
@@ -5914,6 +5939,7 @@ test_79() { # bug 12743
 run_test 79 "df report consistency check ======================="
 
 test_80() { # bug 10718
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
         # relax strong synchronous semantics for slow backends like ZFS
         local soc="obdfilter.*.sync_on_lock_cancel"
@@ -6802,6 +6828,27 @@ test_102n() { # LU-4101 mdt: protect internal xattrs
                setfattr --remove=$trusted.$name $file1 2> /dev/null
        done
 
+       if [ $(lustre_version_code $SINGLEMDS) -gt $(version_code 2.6.50) ]
+       then
+               name="lfsck_ns"
+               # Try to copy xattr from $file0 to $file1.
+               value=$(getxattr $file0 trusted.$name 2> /dev/null)
+
+               setfattr --name=trusted.$name --value="$value" $file1 ||
+                       error "setxattr 'trusted.$name' failed"
+
+               # Try to set a garbage xattr.
+               value=0sVGhlIHF1aWNrIGJyb3duIGZveCBqdW1wcyBvdmVyIGl0c2VsZi4=
+
+               setfattr --name=trusted.$name --value="$value" $file1 ||
+                       error "setxattr 'trusted.$name' failed"
+
+               # Try to remove the xattr from $file1. We don't care if this
+               # appears to succeed or fail, we just don't want there to be
+               # any changes or crashes.
+               setfattr --remove=$trusted.$name $file1 2> /dev/null
+       fi
+
        # Get 'after' xattrs of file1.
        getfattr --absolute-names --dump --match=- $file1 > $xattr1
 
@@ -6848,6 +6895,9 @@ test_103a() {
                skip_env "could not find setfacl" && return
        $GSS && skip "could not run under gss" && return
 
+       gpasswd -a daemon bin                           # LU-5641
+       do_facet $SINGLEMDS gpasswd -a daemon bin       # LU-5641
+
        declare -a identity_old
 
        for num in $(seq $MDSCOUNT); do
@@ -9137,11 +9187,12 @@ test_133d() {
 run_test 133d "Verifying rename_stats ========================================"
 
 test_133e() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        local testdir=$DIR/${tdir}/stats_testdir
        local ctr f0 f1 bs=32768 count=42 sum
 
-       remote_ost_nodsh && skip "remote OST with nodsh" && return
        mkdir -p ${testdir} || error "mkdir failed"
 
        $SETSTRIPE -c 1 -i 0 ${testdir}/${tfile}
@@ -9182,9 +9233,21 @@ test_133e() {
 run_test 133e "Verifying OST {read,write}_bytes nid stats ================="
 
 test_133f() {
-       local proc_dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/"
+       local proc_dirs
+
+       local dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/ \
+/sys/fs/lustre/ /sys/fs/lnet/"
+       local dir
+       for dir in $dirs; do
+               if [ -d $dir ]; then
+                       proc_dirs="$proc_dirs $dir"
+               fi
+       done
+
        local facet
 
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
        # First without trusting modes.
        find $proc_dirs -exec cat '{}' \; &> /dev/null
 
@@ -9209,7 +9272,17 @@ test_133f() {
 run_test 133f "Check for LBUGs/Oopses/unreadable files in /proc"
 
 test_133g() {
-       local proc_dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/"
+       local proc_dirs
+
+       local dirs="/proc/fs/lustre/ /proc/sys/lnet/ /proc/sys/lustre/ \
+/sys/fs/lustre/ /sys/fs/lnet/"
+       local dir
+       for dir in $dirs; do
+               if [ -d $dir ]; then
+                       proc_dirs="$proc_dirs $dir"
+               fi
+       done
+
        local facet
 
        # Second verifying readability.
@@ -9734,6 +9807,82 @@ test_154e()
 }
 run_test 154e ".lustre is not returned by readdir"
 
+test_154f() {
+       # create parent directory on a single MDT to avoid cross-MDT hardlinks
+       test_mkdir -p -c1 $DIR/$tdir/d
+       # test dirs inherit from its stripe
+       mkdir -p $DIR/$tdir/d/foo1 || error "mkdir error"
+       mkdir -p $DIR/$tdir/d/foo2 || error "mkdir error"
+       cp /etc/hosts $DIR/$tdir/d/foo1/$tfile
+       ln $DIR/$tdir/d/foo1/$tfile $DIR/$tdir/d/foo2/link
+       touch $DIR/f
+
+       # get fid of parents
+       local FID0=$($LFS path2fid $DIR/$tdir/d)
+       local FID1=$($LFS path2fid $DIR/$tdir/d/foo1)
+       local FID2=$($LFS path2fid $DIR/$tdir/d/foo2)
+       local FID3=$($LFS path2fid $DIR)
+
+       # check that path2fid --parents returns expected <parent_fid>/name
+       # 1) test for a directory (single parent)
+       local parent=$($LFS path2fid --parents $DIR/$tdir/d/foo1)
+       [ "$parent" == "$FID0/foo1" ] ||
+               error "expected parent: $FID0/foo1, got: $parent"
+
+       # 2) test for a file with nlink > 1 (multiple parents)
+       parent=$($LFS path2fid --parents $DIR/$tdir/d/foo1/$tfile)
+       echo "$parent" | grep -F "$FID1/$tfile" ||
+               error "$FID1/$tfile not returned in parent list"
+       echo "$parent" | grep -F "$FID2/link" ||
+               error "$FID2/link not returned in parent list"
+
+       # 3) get parent by fid
+       local file_fid=$($LFS path2fid $DIR/$tdir/d/foo1/$tfile)
+       parent=$($LFS path2fid --parents $MOUNT/.lustre/fid/$file_fid)
+       echo "$parent" | grep -F "$FID1/$tfile" ||
+               error "$FID1/$tfile not returned in parent list (by fid)"
+       echo "$parent" | grep -F "$FID2/link" ||
+               error "$FID2/link not returned in parent list (by fid)"
+
+       # 4) test for entry in root directory
+       parent=$($LFS path2fid --parents $DIR/f)
+       echo "$parent" | grep -F "$FID3/f" ||
+               error "$FID3/f not returned in parent list"
+
+       # 5) test it on root directory
+       [ -z "$($LFS path2fid --parents $MOUNT 2>/dev/null)" ] ||
+               error "$MOUNT should not have parents"
+
+       # enable xattr caching and check that linkea is correctly updated
+       local save="$TMP/$TESTSUITE-$TESTNAME.parameters"
+       save_lustre_params client "llite.*.xattr_cache" > $save
+       lctl set_param llite.*.xattr_cache 1
+
+       # 6.1) linkea update on rename
+       mv $DIR/$tdir/d/foo1/$tfile $DIR/$tdir/d/foo2/$tfile.moved
+
+       # get parents by fid
+       parent=$($LFS path2fid --parents $MOUNT/.lustre/fid/$file_fid)
+       # foo1 should no longer be returned in parent list
+       echo "$parent" | grep -F "$FID1" &&
+               error "$FID1 should no longer be in parent list"
+       # the new path should appear
+       echo "$parent" | grep -F "$FID2/$tfile.moved" ||
+               error "$FID2/$tfile.moved is not in parent list"
+
+       # 6.2) linkea update on unlink
+       rm -f $DIR/$tdir/d/foo2/link
+       parent=$($LFS path2fid --parents $MOUNT/.lustre/fid/$file_fid)
+       # foo2/link should no longer be returned in parent list
+       echo "$parent" | grep -F "$FID2/link" &&
+               error "$FID2/link should no longer be in parent list"
+       true
+
+       rm -f $DIR/f
+       restore_lustre_params < $save
+}
+run_test 154f "get parent fids by reading link ea"
+
 test_155_small_load() {
     local temp=$TMP/$tfile
     local file=$DIR/$tfile
@@ -9855,6 +10004,7 @@ test_155h() {
 run_test 155h "Verify big file correctness: read cache:off write_cache:off"
 
 test_156() {
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        local CPAGES=3
        local BEFORE
@@ -10289,6 +10439,7 @@ test_161b() {
 run_test 161b "link ea sanity under remote directory"
 
 test_161c() {
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
        [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.1.5) ]] &&
                skip "Need MDS version at least 2.1.5" && return
@@ -10381,6 +10532,8 @@ check_path() {
     local fid=$2
 
     local path=$(${LFS} fid2path $*)
+    # Remove the '//' indicating a remote directory
+    path=$(echo $path | sed 's#//#/#g')
     RC=$?
 
     if [ $RC -ne 0 ]; then
@@ -10475,6 +10628,33 @@ test_162b() {
 }
 run_test 162b "striped directory path lookup sanity"
 
+# LU-4239: Verify fid2path works with paths 100 or more directories deep
+test_162c() {
+       test_mkdir $DIR/$tdir.local
+       test_mkdir $DIR/$tdir.remote
+       local lpath=$tdir.local
+       local rpath=$tdir.remote
+
+       for ((i = 0; i <= 101; i++)); do
+               lpath="$lpath/$i"
+               mkdir $DIR/$lpath
+               FID=$($LFS path2fid $DIR/$lpath | tr -d '[]') ||
+                       error "get fid for local directory $DIR/$lpath failed"
+               check_path "$DIR/$lpath" $MOUNT $FID --link 0 ||
+                       error "check path for local directory $DIR/$lpath failed"
+
+               rpath="$rpath/$i"
+               test_mkdir $DIR/$rpath
+               FID=$($LFS path2fid $DIR/$rpath | tr -d '[]') ||
+                       error "get fid for remote directory $DIR/$rpath failed"
+               check_path "$DIR/$rpath" $MOUNT $FID --link 0 ||
+                       error "check path for remote directory $DIR/$rpath failed"
+       done
+
+       return 0
+}
+run_test 162c "fid2path works with paths 100 or more directories deep"
+
 test_169() {
        # do directio so as not to populate the page cache
        log "creating a 10 Mb file"
@@ -10669,6 +10849,7 @@ run_test 180b "test obdecho directly on obdfilter"
 
 test_180c() { # LU-2598
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_ost_nodsh && skip "remote OST with nodsh" && return
        [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.0) ]] &&
                skip "Need MDS version at least 2.4.0" && return
 
@@ -10740,6 +10921,7 @@ test_182() {
 run_test 182 "Disable MDC RPCs semaphore wouldn't crash client ================"
 
 test_183() { # LU-2275
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.3.56) ]] &&
                skip "Need MDS version at least 2.3.56" && return
 
@@ -10984,6 +11166,7 @@ test_200() {
        local ost_range="$first_ost $last_ost $ost_step"
        local test_path=$POOL_ROOT/$POOL_DIR_NAME
        local file_dir=$POOL_ROOT/file_tst
+       local subdir=$test_path/subdir
 
        local rc=0
        while : ; do
@@ -10994,6 +11177,8 @@ test_200() {
                mkdir -p $test_path
                pool_set_dir      $POOL $test_path      || { rc=$? ; break; }
                pool_check_dir    $POOL $test_path      || { rc=$? ; break; }
+               mkdir -p $subdir
+               pool_check_dir    $POOL $subdir         || { rc=$? ; break; }
                pool_dir_rel_path $POOL $POOL_DIR_NAME $POOL_ROOT \
                                                        || { rc=$? ; break; }
                # former test_200e test_200f
@@ -11191,6 +11376,7 @@ jobstats_set() {
 
 test_205() { # Job stats
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mgs_nodsh && skip "remote MGS with nodsh" && return
        [ -z "$(lctl get_param -n mdc.*.connect_flags | grep jobstats)" ] &&
                skip "Server doesn't support jobstats" && return 0
        [[ $JOBID_VAR = disable ]] && skip "jobstats is disabled" && return
@@ -11202,6 +11388,10 @@ test_205() { # Job stats
                trap jobstats_set EXIT
        fi
 
+       local user=$(do_facet $SINGLEMDS $LCTL --device $MDT0 \
+                    changelog_register -n)
+       echo "Registered as changelog user $user"
+
        # mkdir
        cmd="mkdir $DIR/$tfile"
        verify_jobstats "$cmd" "mdt"
@@ -11233,6 +11423,24 @@ test_205() { # Job stats
        cmd="mv -f $DIR/$tfile $DIR/jobstats_test_rename"
        verify_jobstats "$cmd" "mdt"
 
+       # Ensure that jobid are present in changelog (if supported by MDS)
+       if [ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.6.52) ]
+       then
+               $LFS changelog $MDT0 | tail -9
+               jobids=$($LFS changelog $MDT0 | tail -9 | grep -c "j=")
+               [ $jobids -eq 9 ] ||
+                       error "Wrong changelog jobid count $jobids != 9"
+
+               # LU-5862
+               JOBENV="disable"
+               jobstats_set $JOBENV
+               touch $DIR/$tfile
+               $LFS changelog $MDT0 | tail -1
+               jobids=$($LFS changelog $MDT0 | tail -1 | grep -c "j=")
+               [ $jobids -eq 0 ] ||
+                       error "Unexpected jobids when jobid_var=$JOBENV"
+       fi
+
        # cleanup
        rm -f $DIR/jobstats_test_rename
 
@@ -11293,6 +11501,7 @@ test_208() {
 
        [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.4.52) ]] ||
                { skip "Need MDS version at least 2.4.52"; return 0; }
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
 
        echo "==== test 1: verify get lease work"
        $MULTIOP $DIR/$tfile oO_CREAT:O_RDWR:eRE+eU || error "get lease error"
@@ -11398,7 +11607,7 @@ run_test 214 "hash-indexed directory test - bug 20133"
 
 # having "abc" as 1st arg, creates $TMP/lnet_abc.out and $TMP/lnet_abc.sys
 create_lnet_proc_files() {
-       cat /proc/sys/lnet/$1 >$TMP/lnet_$1.out || error "cannot read /proc/sys/lnet/$1"
+       lctl get_param -n $1 >$TMP/lnet_$1.out || error "cannot read lnet.$1"
        sysctl lnet.$1 >$TMP/lnet_$1.sys_tmp || error "cannot read lnet.$1"
 
        sed "s/^lnet.$1\ =\ //g" "$TMP/lnet_$1.sys_tmp" >$TMP/lnet_$1.sys
@@ -11454,14 +11663,13 @@ test_215() { # for bugs 18102, 21079, 21517
        local L2 # regexp for 2nd line (optional)
        local BR # regexp for the rest (body)
 
-       # /proc/sys/lnet/stats should look as 11 space-separated non-negative numerics
+       # lnet.stats should look as 11 space-separated non-negative numerics
        BR="^$N $N $N $N $N $N $N $N $N $N $N$"
        create_lnet_proc_files "stats"
-       check_lnet_proc_stats "stats.out" "/proc/sys/lnet/stats" "$BR"
        check_lnet_proc_stats "stats.sys" "lnet.stats" "$BR"
        remove_lnet_proc_files "stats"
 
-       # /proc/sys/lnet/routes should look like this:
+       # lnet.routes should look like this:
        # Routing disabled/enabled
        # net hops priority state router
        # where net is a string like tcp0, hops > 0, priority >= 0,
@@ -11471,11 +11679,10 @@ test_215() { # for bugs 18102, 21079, 21517
        L2="^net +hops +priority +state +router$"
        BR="^$NET +$N +(0|1) +(up|down) +$NID$"
        create_lnet_proc_files "routes"
-       check_lnet_proc_entry "routes.out" "/proc/sys/lnet/routes" "$BR" "$L1" "$L2"
        check_lnet_proc_entry "routes.sys" "lnet.routes" "$BR" "$L1" "$L2"
        remove_lnet_proc_files "routes"
 
-       # /proc/sys/lnet/routers should look like this:
+       # lnet.routers should look like this:
        # ref rtr_ref alive_cnt state last_ping ping_sent deadline down_ni router
        # where ref > 0, rtr_ref > 0, alive_cnt >= 0, state is up/down,
        # last_ping >= 0, ping_sent is boolean (0/1), deadline and down_ni are
@@ -11483,11 +11690,10 @@ test_215() { # for bugs 18102, 21079, 21517
        L1="^ref +rtr_ref +alive_cnt +state +last_ping +ping_sent +deadline +down_ni +router$"
        BR="^$P +$P +$N +(up|down) +$N +(0|1) +$I +$I +$NID$"
        create_lnet_proc_files "routers"
-       check_lnet_proc_entry "routers.out" "/proc/sys/lnet/routers" "$BR" "$L1"
        check_lnet_proc_entry "routers.sys" "lnet.routers" "$BR" "$L1"
        remove_lnet_proc_files "routers"
 
-       # /proc/sys/lnet/peers should look like this:
+       # lnet.peers should look like this:
        # nid refs state last max rtr min tx min queue
        # where nid is a string like 192.168.1.1@tcp2, refs > 0,
        # state is up/down/NA, max >= 0. last, rtr, min, tx, min are
@@ -11495,21 +11701,19 @@ test_215() { # for bugs 18102, 21079, 21517
        L1="^nid +refs +state +last +max +rtr +min +tx +min +queue$"
        BR="^$NID +$P +(up|down|NA) +$I +$N +$I +$I +$I +$I +$N$"
        create_lnet_proc_files "peers"
-       check_lnet_proc_entry "peers.out" "/proc/sys/lnet/peers" "$BR" "$L1"
        check_lnet_proc_entry "peers.sys" "lnet.peers" "$BR" "$L1"
        remove_lnet_proc_files "peers"
 
-       # /proc/sys/lnet/buffers  should look like this:
+       # lnet.buffers  should look like this:
        # pages count credits min
        # where pages >=0, count >=0, credits and min are numeric (0 or >0 or <0)
        L1="^pages +count +credits +min$"
        BR="^ +$N +$N +$I +$I$"
        create_lnet_proc_files "buffers"
-       check_lnet_proc_entry "buffers.out" "/proc/sys/lnet/buffers" "$BR" "$L1"
        check_lnet_proc_entry "buffers.sys" "lnet.buffers" "$BR" "$L1"
        remove_lnet_proc_files "buffers"
 
-       # /proc/sys/lnet/nis should look like this:
+       # lnet.nis should look like this:
        # nid status alive refs peer rtr max tx min
        # where nid is a string like 192.168.1.1@tcp2, status is up/down,
        # alive is numeric (0 or >0 or <0), refs >= 0, peer >= 0,
@@ -11517,15 +11721,14 @@ test_215() { # for bugs 18102, 21079, 21517
        L1="^nid +status +alive +refs +peer +rtr +max +tx +min$"
        BR="^$NID +(up|down) +$I +$N +$N +$N +$N +$I +$I$"
        create_lnet_proc_files "nis"
-       check_lnet_proc_entry "nis.out" "/proc/sys/lnet/nis" "$BR" "$L1"
        check_lnet_proc_entry "nis.sys" "lnet.nis" "$BR" "$L1"
        remove_lnet_proc_files "nis"
 
-       # can we successfully write to /proc/sys/lnet/stats?
-       echo "0" >/proc/sys/lnet/stats || error "cannot write to /proc/sys/lnet/stats"
+       # can we successfully write to lnet.stats?
+       lctl set_param -n stats=0 || error "cannot write to lnet.stats"
        sysctl -w lnet.stats=0 || error "cannot write to lnet.stats"
 }
-run_test 215 "/proc/sys/lnet exists and has proper content - bugs 18102, 21079, 21517"
+run_test 215 "lnet exists and has proper content - bugs 18102, 21079, 21517"
 
 test_216() { # bug 20317
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
@@ -11904,6 +12107,7 @@ run_test 227 "running truncated executable does not cause OOM"
 # LU-1512 try to reuse idle OI blocks
 test_228a() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
                skip "non-ldiskfs backend" && return
 
@@ -11945,6 +12149,7 @@ run_test 228a "try to reuse idle OI blocks"
 
 test_228b() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
                skip "non-ldiskfs backend" && return
 
@@ -11994,6 +12199,7 @@ run_test 228b "idle OI blocks can be reused after MDT restart"
 #LU-1881
 test_228c() {
        [ $PARALLEL == "yes" ] && skip "skip parallel run" && return
+       remote_mds_nodsh && skip "remote MDS with nodsh" && return
        [ "$(facet_fstype $SINGLEMDS)" != "ldiskfs" ] &&
                skip "non-ldiskfs backend" && return
 
@@ -12428,11 +12634,16 @@ test_234() {
        touch $DIR/$tdir/$tfile || error "touch failed"
        # OBD_FAIL_LLITE_XATTR_ENOMEM
        $LCTL set_param fail_loc=0x1405
-       if [ ! -f /etc/SuSE-release ]; then
+       # output of the form: attr 2 4 44 3 fc13 x86_64
+       V=($(IFS=".-" rpm -q attr))
+       if [[ ${V[1]} > 2 || ${V[2]} > 4 || ${V[3]} > 44 ||
+             ${V[1]} = 2 && ${V[2]} = 4 && ${V[3]} = 44 && ${V[4]} > 6 ]]; then
                # attr pre-2.4.44-7 had a bug with rc
-               # LU-3703 - SLES clients have older attr
+               # LU-3703 - SLES 11 and FC13 clients have older attr
                getfattr -n user.attr $DIR/$tdir/$tfile &&
                        error "getfattr should have failed with ENOMEM"
+       else
+               skip "LU-3703: attr version $(getfattr --version) too old"
        fi
        $LCTL set_param fail_loc=0x0
        rm -rf $DIR/$tdir
@@ -12524,6 +12735,8 @@ test_238() {
 run_test 238 "Verify linkea consistency"
 
 test_239() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.5.60) ] &&
+               skip "Need MDS version at least 2.5.60" && return
        local list=$(comma_list $(mdts_nodes))
 
        mkdir -p $DIR/$tdir
@@ -12556,6 +12769,44 @@ test_240() {
 }
 run_test 240 "race between ldlm enqueue and the connection RPC (no ASSERT)"
 
+test_241_bio() {
+       for LOOP in $(seq $1); do
+               dd if=$DIR/$tfile of=/dev/null bs=40960 count=1 2>/dev/null
+               cancel_lru_locks osc
+       done
+}
+
+test_241_dio() {
+       for LOOP in $(seq $1); do
+               dd if=$DIR/$tfile of=/dev/null bs=40960 count=1 \
+                                               iflag=direct 2>/dev/null
+       done
+}
+
+test_241() {
+       dd if=/dev/zero of=$DIR/$tfile count=1 bs=40960
+       ls -la $DIR/$tfile
+       cancel_lru_locks osc
+       test_241_bio 1000 &
+       PID=$!
+       test_241_dio 1000
+       wait $PID
+}
+run_test 241 "bio vs dio"
+
+test_242() {
+       mkdir -p $DIR/$tdir
+       touch $DIR/$tdir/$tfile
+
+       #define OBD_FAIL_MDS_READPAGE_PACK      0x105
+       do_facet mds1 lctl set_param fail_loc=0x105
+       /bin/ls $DIR/$tdir && error "ls $DIR/$tdir should fail"
+
+       do_facet mds1 lctl set_param fail_loc=0
+       /bin/ls $DIR/$tdir || error "ls $DIR/$tdir failed"
+}
+run_test 242 "mdt_readpage failure should not cause directory unreadable"
+
 cleanup_test_300() {
        trap 0
        umask $SAVE_UMASK
@@ -12955,10 +13206,9 @@ test_900() {
         local ls
         #define OBD_FAIL_MGC_PAUSE_PROCESS_LOG   0x903
         $LCTL set_param fail_loc=0x903
-        # cancel_lru_locks mgc - does not work due to lctl set_param syntax
-        for ls in /proc/fs/lustre/ldlm/namespaces/MGC*/lru_size; do
-                echo "clear" > $ls
-        done
+
+        cancel_lru_locks MGC
+
        FAIL_ON_ERROR=true cleanup
        FAIL_ON_ERROR=true setup
 }