Whamcloud - gitweb
LU-3817 llite: Truncate to restore file
[fs/lustre-release.git] / lustre / tests / sanity-hsm.sh
index 62164fb..527d3f0 100644 (file)
@@ -14,7 +14,8 @@ ONLY=${ONLY:-"$*"}
 # bug number for skipped test:
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 # skip test cases failed before landing - Jinshan
-ALWAYS_EXCEPT="$SANITY_HSM_EXCEPT 12a 12b 12n 13 24 30a 31a 34 35 36 58 59"
+
+ALWAYS_EXCEPT="$SANITY_HSM_EXCEPT 12a 12b 12n 13 30a 31a 34 35 36"
 ALWAYS_EXCEPT="$ALWAYS_EXCEPT 110a 200 201 221 222a 223a 223b 225"
 
 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
@@ -30,7 +31,7 @@ MCREATE=${MCREATE:-mcreate}
 MOUNT_2=${MOUNT_2:-"yes"}
 FAIL_ON_ERROR=false
 
-if [ $MDSCOUNT -ge 2 ]; then
+if [[ $MDSCOUNT -ge 2 ]]; then
        skip_env "Only run with single MDT for now" && exit
 fi
 
@@ -41,77 +42,138 @@ if [[ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.4.53) ]]; then
 fi
 
 # $RUNAS_ID may get set incorrectly somewhere else
-[ $UID -eq 0 -a $RUNAS_ID -eq 0 ] &&
-       error "\$RUNAS_ID set to 0, but \$UID is also 0!"
-
+if [[ $UID -eq 0 && $RUNAS_ID -eq 0 ]]; then
+       skip_env "\$RUNAS_ID set to 0, but \$UID is also 0!" && exit
+fi
 check_runas_id $RUNAS_ID $RUNAS_GID $RUNAS
 
 build_test_filter
 
-# the standard state when starting a test is
-# - no copytool
-# - MOUNT2 done
-# as some test changes the default, we need to re-make it
-cleanup() {
-       copytool_cleanup
-       if ! is_mounted $MOUNT2
-       then
-               mount_client $MOUNT2
+#
+# In order to test multiple remote HSM agents, a new facet type named "AGT" and
+# the following associated variables are added:
+#
+# AGTCOUNT: number of agents
+# AGTDEV{N}: target HSM mount point (root path of the backend)
+# agt{N}_HOST: hostname of the agent agt{N}
+# SINGLEAGT: facet of the single agent
+#
+# The number of agents is initialized as the number of remote client nodes.
+# By default, only single copytool is started on a remote client/agent. If there
+# was no remote client, then the copytool will be started on the local client.
+#
+init_agt_vars() {
+       local n
+       local agent
+
+       export AGTCOUNT=${AGTCOUNT:-$((CLIENTCOUNT - 1))}
+       [[ $AGTCOUNT -gt 0 ]] || AGTCOUNT=1
+
+       export SHARED_DIRECTORY=${SHARED_DIRECTORY:-$TMP}
+       if [[ $CLIENTCOUNT -gt 1 ]] &&
+               ! check_shared_dir $SHARED_DIRECTORY $CLIENTS; then
+               skip_env "SHARED_DIRECTORY should be accessible"\
+                        "on all client nodes"
+               exit 0
        fi
-       changelog_cleanup
+
+       for n in $(seq $AGTCOUNT); do
+               eval export AGTDEV$n=\$\{AGTDEV$n:-"$SHARED_DIRECTORY/arc$n"\}
+               agent=CLIENT$((n + 1))
+               if [[ -z "${!agent}" ]]; then
+                       [[ $CLIENTCOUNT -eq 1 ]] && agent=CLIENT1 ||
+                               agent=CLIENT2
+               fi
+               eval export agt${n}_HOST=\$\{agt${n}_HOST:-${!agent}\}
+       done
+
+       export SINGLEAGT=${SINGLEAGT:-agt1}
+
+       export HSMTOOL=${HSMTOOL:-"lhsmtool_posix"}
+       export HSMTOOL_VERBOSE=${HSMTOOL_VERBOSE:-""}
+       export HSMTOOL_BASE=$(basename "$HSMTOOL" | cut -f1 -d" ")
+       HSM_ARCHIVE=$(copytool_device $SINGLEAGT)
+       HSM_ARCHIVE_NUMBER=2
+
+       MDT_PARAM="mdt.$FSNAME-MDT0000"
+       HSM_PARAM="$MDT_PARAM.hsm"
+
+       # archive is purged at copytool setup
+       HSM_ARCHIVE_PURGE=true
 }
 
-export HSMTOOL=${HSMTOOL:-"lhsmtool_posix"}
-export HSMTOOL_VERBOSE=${HSMTOOL_VERBOSE:-""}
-export HSMTOOL_BASE=$(basename "$HSMTOOL" | cut -f1 -d" ")
-HSM_ARCHIVE=${HSM_ARCHIVE:-$TMP/arc}
-HSM_ARCHIVE_NUMBER=2
+# Get the backend root path for the given agent facet.
+copytool_device() {
+       local facet=$1
+       local dev=AGTDEV$(facet_number $facet)
 
-MDT_PARAM="mdt.$FSNAME-MDT0000"
-HSM_PARAM="$MDT_PARAM.hsm"
+       echo -n ${!dev}
+}
 
-# archive is purged at copytool setup
-HSM_ARCHIVE_PURGE=true
+# Stop copytool and unregister an existing changelog user.
+cleanup() {
+       copytool_cleanup
+       changelog_cleanup
+}
 
 search_and_kill_copytool() {
-       echo "Killing existing copy tools"
-       killall -q $HSMTOOL_BASE || true
+       local agents=${1:-$(facet_active_host $SINGLEAGT)}
+
+       echo "Killing existing copytools on $agents"
+       do_nodesv $agents "killall -q $HSMTOOL_BASE" || true
 }
 
 copytool_setup() {
-       if pkill -CONT -x $HSMTOOL_BASE; then
-               echo "Wakeup copytool"
-               return
+       local facet=${1:-$SINGLEAGT}
+       local lustre_mntpnt=${2:-$MOUNT}
+       local arc_id=$3
+       local hsm_root=$(copytool_device $facet)
+       local agent=$(facet_active_host $facet)
+
+       if [[ -z "$arc_id" ]] &&
+               do_facet $facet "pkill -CONT -x $HSMTOOL_BASE"; then
+                       echo "Wakeup copytool $facet on $agent"
+                       return 0
        fi
 
        if $HSM_ARCHIVE_PURGE; then
-               echo "Purging archive"
-               rm -rf $HSM_ARCHIVE/*
+               echo "Purging archive on $agent"
+               do_facet $facet "rm -rf $hsm_root/*"
        fi
 
-       echo "Starting copytool"
-       mkdir -p $HSM_ARCHIVE
+       echo "Starting copytool $facet on $agent"
+       do_facet $facet "mkdir -p $hsm_root" || error "mkdir '$hsm_root' failed"
        # bandwidth is limited to 1MB/s so the copy time is known and
        # independent of hardware
-       local CMD="$HSMTOOL $HSMTOOL_VERBOSE --hsm-root $HSM_ARCHIVE"
-       CMD=$CMD" --daemon --bandwidth 1 $MOUNT"
-       [[ -z "$1" ]] || CMD+=" --archive $1"
-
-       echo "$CMD"
-       $CMD  &
+       local cmd="$HSMTOOL $HSMTOOL_VERBOSE --daemon --hsm-root $hsm_root"
+       [[ -z "$arc_id" ]] || cmd+=" --archive $arc_id"
+       cmd+=" --bandwidth 1 $lustre_mntpnt"
+
+       # Redirect the standard output and error to a log file which
+       # can be uploaded to Maloo.
+       local prefix=$TESTLOG_PREFIX
+       [[ -z "$TESTNAME" ]] || prefix=$prefix.$TESTNAME
+       local copytool_log=$prefix.copytool${arc_id}_log.$agent.log
+
+       do_facet $facet "$cmd < /dev/null > $copytool_log 2>&1" ||
+               error "start copytool $facet on $agent failed"
        trap cleanup EXIT
 }
 
 copytool_cleanup() {
        trap - EXIT
-       pkill -INT -x $HSMTOOL_BASE || return 0
+       local agents=${1:-$(facet_active_host $SINGLEAGT)}
+
+       do_nodesv $agents "pkill -INT -x $HSMTOOL_BASE" || return 0
        sleep 1
-       echo "Copytool is stopped"
+       echo "Copytool is stopped on $agents"
 }
 
 copytool_suspend() {
-       pkill -STOP -x $HSMTOOL_BASE || return 0
-       echo "Copytool is suspended"
+       local agents=${1:-$(facet_active_host $SINGLEAGT)}
+
+       do_nodesv $agents "pkill -STOP -x $HSMTOOL_BASE" || return 0
+       echo "Copytool is suspended on $agents"
 }
 
 copytool_remove_backend() {
@@ -122,8 +184,10 @@ copytool_remove_backend() {
 }
 
 import_file() {
-       $HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root $HSM_ARCHIVE \
-               --import $1 $2 $MOUNT || error "import of $1 to $2 failed"
+       do_facet $SINGLEAGT \
+               "$HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root $HSM_ARCHIVE\
+               --import $1 $2 $MOUNT" ||
+               error "import of $1 to $2 failed"
 }
 
 make_archive() {
@@ -324,9 +388,17 @@ make_small() {
         path2fid $1 || error "cannot get fid on $1"
 }
 
+cleanup_large_files() {
+       local ratio=$(df $MOUNT |awk '{print $5}' |sed 's/%//g' |grep -v Use)
+       [ $ratio -gt 50 ] && find $MOUNT -size +10M -exec rm -f {} \;
+}
+
 make_large_for_striping() {
        local file2=${1/$DIR/$DIR2}
        local sz=$($LCTL get_param -n lov.*-clilov-*.stripesize | head -1)
+
+       cleanup_large_files
+
        dd if=/dev/urandom of=$file2 count=5 bs=$sz conv=fsync ||
                error "cannot create $file2"
        path2fid $1 || error "cannot get fid on $1"
@@ -334,6 +406,9 @@ make_large_for_striping() {
 
 make_large_for_progress() {
        local file2=${1/$DIR/$DIR2}
+
+       cleanup_large_files
+
        # big file is large enough, so copy time is > 30s
        # so copytool make 1 progress
        # size is not a multiple of 1M to avoid stripe
@@ -345,6 +420,9 @@ make_large_for_progress() {
 
 make_large_for_progress_aligned() {
        local file2=${1/$DIR/$DIR2}
+
+       cleanup_large_files
+
        # big file is large enough, so copy time is > 30s
        # so copytool make 1 progress
        # size is a multiple of 1M to have stripe
@@ -356,6 +434,9 @@ make_large_for_progress_aligned() {
 
 make_large_for_cancel() {
        local file2=${1/$DIR/$DIR2}
+
+       cleanup_large_files
+
        # Copy timeout is 100s. 105MB => 105s
        dd if=/dev/urandom of=$file2 count=103 bs=1M conv=fsync ||
                error "cannot create $file2"
@@ -368,55 +449,55 @@ wait_result() {
        wait_update --verbose $(facet_active_host $facet) "$@"
 }
 
-wait_request_state()
-{
+wait_request_state() {
        local fid=$1
        local request=$2
        local state=$3
-       wait_result $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |\
-                               grep $fid | grep action=$request |\
-                               cut -f 13 -d ' ' | cut -f 2 -d =" $state 100 ||
+
+       local cmd="$LCTL get_param -n $HSM_PARAM.agent_actions"
+       cmd+=" | awk '/'$fid'.*action='$request'/ {print \\\$13}' | cut -f2 -d="
+
+       wait_result $SINGLEMDS "$cmd" $state 100 ||
                error "request on $fid is not $state"
 }
 
-get_request_state()
-{
+get_request_state() {
        local fid=$1
        local request=$2
-       do_facet $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |\
-                               grep $fid | grep action=$request |\
-                               cut -f 13 -d ' ' | cut -f 2 -d ="
+
+       do_facet $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |"\
+               "awk '/'$fid'.*action='$request'/ {print \\\$13}' | cut -f2 -d="
 }
 
-get_request_count()
-{
+get_request_count() {
        local fid=$1
        local request=$2
-       do_facet $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |\
-                               grep $fid | grep action=$request | wc -l"
+
+       do_facet $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |"\
+               "awk -vn=0 '/'$fid'.*action='$request'/ {n++}; END {print n}'"
 }
 
-wait_all_done()
-{
+wait_all_done() {
        local timeout=$1
-       wait_result $SINGLEMDS "$LCTL get_param -n $HSM_PARAM.agent_actions |\
-               egrep 'WAITING|STARTED' " "" $timeout ||
-       error "requests did not complete"
+
+       local cmd="$LCTL get_param -n $HSM_PARAM.agent_actions"
+       cmd+=" | egrep 'WAITING|STARTED'"
+
+       wait_result $SINGLEMDS "$cmd" "" $timeout ||
+               error "requests did not complete"
 }
 
-wait_for_grace_delay()
-{
+wait_for_grace_delay() {
        local val=$(get_hsm_param grace_delay)
        sleep $val
 }
 
-my_uuid() {
-       $LCTL get_param -n llite.$FSNAME-*.uuid
-}
-
 MDT0=$($LCTL get_param -n mdc.*.mds_server_uuid |
        awk '{gsub(/_UUID/,""); print $1}' | head -1)
 
+# initiate variables
+init_agt_vars
+
 # cleanup from previous bad setup
 search_and_kill_copytool
 
@@ -583,9 +664,9 @@ test_9() {
        local f=$DIR/$tdir/$tfile
        local fid=$(copy_file /etc/passwd $f)
        # we do not use the default one to be sure
-       local new_an=$((HSM_ARCHIVE_NUMBER+ 1))
+       local new_an=$((HSM_ARCHIVE_NUMBER + 1))
        copytool_cleanup
-       copytool_setup $new_an
+       copytool_setup $SINGLEAGT $MOUNT $new_an
        $LFS hsm_archive --archive $new_an $f
        wait_request_state $fid ARCHIVE SUCCEED
 
@@ -595,6 +676,38 @@ test_9() {
 }
 run_test 9 "Use of explict archive number, with dedicated copytool"
 
+test_9a() {
+       [[ $CLIENTCOUNT -ge 3 ]] ||
+               { skip "Need three or more clients"; return 0; }
+
+       local n
+       local file
+       local fid
+
+       copytool_cleanup $(comma_list $(agts_nodes))
+
+       # start all of the copytools
+       for n in $(seq $AGTCOUNT); do
+               copytool_setup agt$n
+       done
+
+       trap "copytool_cleanup $(comma_list $(agts_nodes))" EXIT
+       # archive files
+       mkdir -p $DIR/$tdir
+       for n in $(seq $AGTCOUNT); do
+               file=$DIR/$tdir/$tfile.$n
+               fid=$(make_small $file)
+
+               $LFS hsm_archive $file || error "could not archive file $file"
+               wait_request_state $fid ARCHIVE SUCCEED
+               check_hsm_flags $file "0x00000001"
+       done
+
+       trap - EXIT
+       copytool_cleanup $(comma_list $(agts_nodes))
+}
+run_test 9a "Multiple remote agents"
+
 test_10a() {
        # test needs a running copytool
        copytool_setup
@@ -656,6 +769,25 @@ test_10c() {
 }
 run_test 10c "Check forbidden archive"
 
+test_10d() {
+       # test needs a running copytool
+       copytool_setup
+
+       mkdir -p $DIR/$tdir
+       local f=$DIR/$tdir/$tfile
+       local fid=$(copy_file /etc/hosts $f)
+       $LFS hsm_archive $f || error "cannot archive $f"
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       local ar=$(get_hsm_archive_id $f)
+       local dflt=$(get_hsm_param archive_id)
+       [[ $ar == $dflt ]] ||
+               error "archived file is not on default archive: $ar != $dflt"
+
+       copytool_cleanup
+}
+run_test 10d "Archive a file on the default archive id"
+
 test_11() {
        mkdir -p $DIR/$tdir $HSM_ARCHIVE/$tdir
        cp /etc/hosts $HSM_ARCHIVE/$tdir/$tfile
@@ -976,9 +1108,10 @@ test_14() {
 
        # rebind the archive to the newly created file
        echo "rebind $fid to $fid2"
-       $HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root="$HSM_ARCHIVE"\
-        --rebind $fid $fid2 $DIR ||
-               error "could not rebind file"
+
+       do_facet $SINGLEAGT \
+               "$HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root $HSM_ARCHIVE\
+                --rebind $fid $fid2 $DIR" || error "could not rebind file"
 
        # restore file and compare md5sum
        local sum2=$(md5sum $f | awk '{print $1}')
@@ -997,7 +1130,7 @@ test_15() {
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
        local count=5
-       local tmpfile=$TMP/tmp.$$
+       local tmpfile=$SHARED_DIRECTORY/tmp.$$
 
        local fids=()
        local sums=()
@@ -1026,9 +1159,9 @@ test_15() {
        [[ $nl == $count ]] || error "$nl files in list, $count expected"
 
        echo "rebind list of files"
-       $HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root="$HSM_ARCHIVE"\
-        --rebind $tmpfile $DIR ||
-               error "could not rebind file list"
+       do_facet $SINGLEAGT \
+               "$HSMTOOL --archive $HSM_ARCHIVE_NUMBER --hsm-root $HSM_ARCHIVE\
+                --rebind $tmpfile $DIR" || error "could not rebind file list"
 
        # restore files and compare md5sum
        for i in $(seq 1 $count); do
@@ -1202,40 +1335,161 @@ test_23() {
 }
 run_test 23 "Release does not change a/mtime (utime)"
 
-test_24() {
+test_24a() {
+       local file=$DIR/$tdir/$tfile
+       local fid
+       local atime0
+       local atime1
+       local mtime0
+       local mtime1
+       local ctime0
+       local ctime1
+
        # test needs a running copytool
        copytool_setup
 
        mkdir -p $DIR/$tdir
-
-       local f=$DIR/$tdir/test_mtime
+       rm -f $file
+       fid=$(make_small $file)
 
        # Create a file and check its states
-       local fid=$(make_small $f)
-       check_hsm_flags $f "0x00000000"
+       check_hsm_flags $file "0x00000000"
 
-       # make mtime is different
+       # Ensure atime is less than mtime and ctime.
        sleep 1
-       echo "append" >> $f
-       local MTIME=$(stat -c "%Y" $f)
-       local ATIME=$(stat -c "%X" $f)
+       echo >> $file
 
-       $LFS hsm_archive $f || error "could not archive file"
+       atime0=$(stat -c "%X" $file)
+       mtime0=$(stat -c "%Y" $file)
+       ctime0=$(stat -c "%Z" $file)
+
+       [ $atime0 -lt $mtime0 ] ||
+               error "atime $atime0 is not less than mtime $mtime0"
+
+       [ $atime0 -lt $ctime0 ] ||
+               error "atime $atime0 is not less than ctime $ctime0"
+
+       # Archive should not change any timestamps.
+       $LFS hsm_archive $file || error "cannot archive '$file'"
        wait_request_state $fid ARCHIVE SUCCEED
 
-       # Release and check states
-       $LFS hsm_release $f || error "could not release file"
-       check_hsm_flags $f "0x0000000d"
+       atime1=$(stat -c "%X" $file)
+       mtime1=$(stat -c "%Y" $file)
+       ctime1=$(stat -c "%Z" $file)
+
+       [ $atime0 -eq $atime1 ] ||
+               error "archive changed atime from $atime0 to $atime1"
+
+       [ $mtime0 -eq $mtime1 ] ||
+               error "archive changed mtime from $mtime0 to $mtime1"
 
-       [ "$(stat -c "%Y" $f)" -eq "$MTIME" ] ||
-               error "mtime should be $MTIME"
+       [ $ctime0 -eq $ctime1 ] ||
+               error "archive changed ctime from $ctime0 to $ctime1"
 
-       [ "$(stat -c "%X" $f)" -eq "$ATIME" ] ||
-               error "atime should be $ATIME"
+       # Release should not change any timestamps.
+       $LFS hsm_release $file || error "cannot release '$file'"
+       check_hsm_flags $file "0x0000000d"
+
+       atime1=$(stat -c "%X" $file)
+       mtime1=$(stat -c "%Y" $file)
+       ctime1=$(stat -c "%Z" $file)
+
+       [ $atime0 -eq $atime1 ] ||
+               error "release changed atime from $atime0 to $atime1"
+
+       [ $mtime0 -eq $mtime1 ] ||
+               error "release changed mtime from $mtime0 to $mtime1"
+
+       [ $ctime0 -eq $ctime1 ] ||
+               error "release changed ctime from $ctime0 to $ctime1"
+
+       # Restore should not change atime or mtime and should not
+       # decrease ctime.
+       $LFS hsm_restore $file
+       wait_request_state $fid RESTORE SUCCEED
+
+       atime1=$(stat -c "%X" $file)
+       mtime1=$(stat -c "%Y" $file)
+       ctime1=$(stat -c "%Z" $file)
+
+       [ $atime0 -eq $atime1 ] ||
+               error "restore changed atime from $atime0 to $atime1"
+
+       [ $mtime0 -eq $mtime1 ] ||
+               error "restore changed mtime from $mtime0 to $mtime1"
+
+       [ $ctime0 -le $ctime1 ] ||
+               error "restore changed ctime from $ctime0 to $ctime1"
 
        copytool_cleanup
+
+       # Once more, after unmount and mount.
+       umount_client $MOUNT || error "cannot unmount '$MOUNT'"
+       mount_client $MOUNT || error "cannot mount '$MOUNT'"
+
+       atime1=$(stat -c "%X" $file)
+       mtime1=$(stat -c "%Y" $file)
+       ctime1=$(stat -c "%Z" $file)
+
+       [ $atime0 -eq $atime1 ] ||
+               error "remount changed atime from $atime0 to $atime1"
+
+       [ $mtime0 -eq $mtime1 ] ||
+               error "remount changed mtime from $mtime0 to $mtime1"
+
+       [ $ctime0 -le $ctime1 ] ||
+               error "remount changed ctime from $ctime0 to $ctime1"
 }
-run_test 24 "Release does not change a/mtime (i/o)"
+run_test 24a "Archive, release, and restore does not change a/mtime (i/o)"
+
+test_24b() {
+       local file=$DIR/$tdir/$tfile
+       local fid
+       local sum0
+       local sum1
+       # LU-3811
+
+       # Test needs a running copytool.
+       copytool_setup
+       mkdir -p $DIR/$tdir
+
+       # Check that root can do HSM actions on a ordinary user's file.
+       rm -f $file
+       fid=$(make_small $file)
+       sum0=$(md5sum $file)
+
+       chown $RUNAS_ID:$RUNAS_GID $file ||
+               error "cannot chown '$file' to '$RUNAS_ID'"
+
+       chmod ugo-w $DIR/$tdir ||
+               error "cannot chmod '$DIR/$tdir'"
+
+       $LFS hsm_archive $file
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       $LFS hsm_release $file ||
+               check_hsm_flags $file "0x0000000d"
+
+       $LFS hsm_restore $file
+       wait_request_state $fid RESTORE SUCCEED
+
+       # Check that ordinary user can get HSM state.
+       $RUNAS $LFS hsm_state $file ||
+               error "user '$RUNAS_ID' cannot get HSM state of '$file'"
+
+       $LFS hsm_release $file ||
+               check_hsm_flags $file "0x0000000d"
+
+       # Check that ordinary user can accessed released file.
+       sum1=$($RUNAS md5sum $file) ||
+               error "user '$RUNAS_ID' cannot read '$file'"
+
+       [ "$sum0" == "$sum1" ] ||
+               error "md5sum mismatch for '$file'"
+
+       copytool_cleanup
+}
+run_test 24b "root can archive, release, and restore user files"
 
 test_25a() {
        # test needs a running copytool
@@ -1425,8 +1679,7 @@ test_30b() {
 }
 run_test 30b "Restore at exec (release case)"
 
-restore_and_check_size()
-{
+restore_and_check_size() {
        local f=$1
        local fid=$2
        local s=$(stat -c "%s" $f)
@@ -1709,9 +1962,6 @@ test_52() {
        # test needs a running copytool
        copytool_setup
 
-       # Test behave badly if 2 mount points are present
-       umount_client $MOUNT2
-
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
        local fid=$(copy_file /etc/motd $f 1)
@@ -1731,9 +1981,6 @@ test_52() {
 
        check_hsm_flags $f "0x0000000b"
 
-       # Restore test environment
-       mount_client $MOUNT2
-
        copytool_cleanup
 }
 run_test 52 "Opened for write file on an evicted client should be set dirty"
@@ -1742,9 +1989,6 @@ test_53() {
        # test needs a running copytool
        copytool_setup
 
-       # Checks are wrong with 2 mount points
-       umount_client $MOUNT2
-
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
        local fid=$(copy_file /etc/motd $f 1)
@@ -1765,8 +2009,6 @@ test_53() {
 
        check_hsm_flags $f "0x00000009"
 
-       mount_client $MOUNT2
-
        copytool_cleanup
 }
 run_test 53 "Opened for read file on an evicted client should not be set dirty"
@@ -1885,13 +2127,15 @@ test_57() {
 }
 run_test 57 "Archive a file with dirty cache on another node"
 
-test_58() {
-       # test needs a running copytool
-       copytool_setup
+truncate_released_file() {
+       local src_file=$1
+       local trunc_to=$2
 
-       mkdir -p $DIR/$tdir
+       local sz=$(stat -c %s $src_file)
        local f=$DIR/$tdir/$tfile
-       local fid=$(make_small $f)
+       local fid=$(copy_file $1 $f)
+       local ref=$f-ref
+       cp $f $f-ref
 
        $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f ||
                error "could not archive file"
@@ -1899,63 +2143,46 @@ test_58() {
 
        $LFS hsm_release $f || error "could not release file"
 
-       $TRUNCATE $f 0 || error "truncate failed"
+       $TRUNCATE $f $trunc_to || error "truncate failed"
        sync
 
-       local sz=$(stat -c %s $f)
-       [[ $sz == 0 ]] || error "size after truncate is $sz != 0"
+       local sz1=$(stat -c %s $f)
+       [[ $sz1 == $trunc_to ]] ||
+               error "size after trunc: $sz1 expect $trunc_to, original $sz"
 
        $LFS hsm_state $f
-
        check_hsm_flags $f "0x0000000b"
 
        local state=$(get_request_state $fid RESTORE)
-       [[ "$state" == "" ]] ||
-               error "truncate 0 trigs a restore, state = $state"
+       [[ "$state" == "SUCCEED" ]] ||
+               error "truncate $sz does not trig restore, state = $state"
 
-       copytool_cleanup
+       $TRUNCATE $ref $trunc_to
+       cmp $ref $f || error "file data wrong after truncate"
+
+       rm -f $f $f-ref
 }
-run_test 58 "Truncate 0 on a released file must not trigger restore"
 
-test_59() {
+test_58() {
        # test needs a running copytool
        copytool_setup
 
        mkdir -p $DIR/$tdir
-       local f=$DIR/$tdir/$tfile
-       local fid=$(copy_file /etc/passwd $f)
-       local ref=$f-ref
-       cp $f $ref
-       local sz=$(stat -c %s $ref)
-       sz=$((sz / 2))
-       $TRUNCATE $ref $sz
-
-       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f ||
-               error "could not archive file"
-       wait_request_state $fid ARCHIVE SUCCEED
-
-       $LFS hsm_release $f || error "could not release file"
 
-       $TRUNCATE $f $sz || error "truncate failed"
-       sync
+       local sz=$(stat -c %s /etc/passwd)
 
-       local sz1=$(stat -c %s $f)
-       [[ $sz1 == $sz ]] || error "size after truncate is $sz1 != $sz"
+       echo "truncate up from $sz to $((sz*2))"
+       truncate_released_file /etc/passwd $((sz*2))
 
-       $LFS hsm_state $f
-
-       check_hsm_flags $f "0x0000000b"
-
-       local state=$(get_request_state $fid RESTORE)
-       [[ "$state" == "SUCCEED" ]] ||
-               error "truncate $sz does not trig a successfull restore,"\
-                     " state = $state"
+       echo "truncate down from $sz to $((sz/2))"
+       truncate_released_file /etc/passwd $((sz/2))
 
-       cmp $ref $f || error "file data wrong after truncate"
+       echo "truncate to 0"
+       truncate_released_file /etc/passwd 0
 
        copytool_cleanup
 }
-run_test 59 "Truncate != 0 on a released file"
+run_test 58 "Truncate a released file will trigger restore"
 
 test_90() {
        file_count=57
@@ -1985,7 +2212,7 @@ test_90() {
 }
 run_test 90 "Archive/restore a file list"
 
-double_verify_reset_ham_param() {
+double_verify_reset_hsm_param() {
        local p=$1
        echo "Testing $HSM_PARAM.$p"
        local val=$(get_hsm_param $p)
@@ -2008,10 +2235,11 @@ double_verify_reset_ham_param() {
 }
 
 test_100() {
-       double_verify_reset_ham_param loop_period
-       double_verify_reset_ham_param grace_delay
-       double_verify_reset_ham_param request_timeout
-       double_verify_reset_ham_param max_requests
+       double_verify_reset_hsm_param loop_period
+       double_verify_reset_hsm_param grace_delay
+       double_verify_reset_hsm_param request_timeout
+       double_verify_reset_hsm_param max_requests
+       double_verify_reset_hsm_param archive_id
 }
 run_test 100 "Set coordinator /proc tunables"
 
@@ -2098,13 +2326,11 @@ test_105() {
 run_test 105 "Restart of coordinator"
 
 test_106() {
-       # Test behave badly if 2 mount points are present
-       umount_client $MOUNT2
-
        # test needs a running copytool
        copytool_setup
 
-       local uuid=$(my_uuid)
+       local uuid=$(do_rpc_nodes $(facet_active_host $SINGLEAGT) \
+               get_client_uuid | cut -d' ' -f2)
        local agent=$(do_facet $SINGLEMDS $LCTL get_param -n $HSM_PARAM.agents |
                grep $uuid)
        copytool_cleanup
@@ -2121,9 +2347,6 @@ test_106() {
        [[ ! -z "$agent" ]] ||
                error "My uuid $uuid not found in agent list after"\
                      " copytool restart"
-
-       # Restore test environment
-       mount_client $MOUNT2
 }
 run_test 106 "Copytool register/unregister"
 
@@ -2392,8 +2615,7 @@ test_221() {
        local target=0x7d
        [[ $flags == $target ]] || error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 221 "Changelog for archive canceled"
 
@@ -2417,8 +2639,7 @@ test_222a() {
        local target=0x80
        [[ $flags == $target ]] || error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 222a "Changelog for explicit restore"
 
@@ -2444,8 +2665,7 @@ test_222b() {
        local target=0x80
        [[ $flags == $target ]] || error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 222b "Changelog for implicit restore"
 
@@ -2475,8 +2695,7 @@ test_223a() {
        [[ $flags == $target ]] ||
                error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 223a "Changelog for restore canceled (import case)"
 
@@ -2505,8 +2724,7 @@ test_223b() {
        [[ $flags == $target ]] ||
                error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 223b "Changelog for restore canceled (release case)"
 
@@ -2532,8 +2750,7 @@ test_224() {
        [[ $flags == $target ]] ||
                error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 224 "Changelog for remove"
 
@@ -2571,8 +2788,7 @@ test_225() {
        [[ $flags == $target ]] ||
                error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 225 "Changelog for remove canceled"
 
@@ -2612,8 +2828,7 @@ test_226() {
        [[ $flags == $target ]] ||
                error "Changelog flag is $flags not $target"
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 226 "changelog for last rm/mv with exiting archive"
 
@@ -2670,8 +2885,7 @@ test_227() {
        wait_request_state $fid ARCHIVE SUCCEED
        check_flags_changes $f $fid lost 3 1
 
-       changelog_cleanup
-       copytool_cleanup
+       cleanup
 }
 run_test 227 "changelog when explicit setting of HSM flags"