Whamcloud - gitweb
LU-7273 tests: dump stacks upon CT stop failure
[fs/lustre-release.git] / lustre / tests / sanity-hsm.sh
index 76a88ef..c9704e7 100755 (executable)
@@ -24,6 +24,7 @@ init_logging
 
 MULTIOP=${MULTIOP:-multiop}
 OPENFILE=${OPENFILE:-openfile}
+MMAP_CAT=${MMAP_CAT:-mmap_cat}
 MOUNT_2=${MOUNT_2:-"yes"}
 FAIL_ON_ERROR=false
 
@@ -45,6 +46,14 @@ check_runas_id $RUNAS_ID $RUNAS_GID $RUNAS
 
 build_test_filter
 
+# if there is no CLIENT1 defined, some tests can be ran on localhost
+CLIENT1=${CLIENT1:-$HOSTNAME}
+# if CLIENT2 doesn't exist then use CLIENT1 instead
+# All tests should use CLIENT2 with MOUNT2 only therefore it will work if
+# $CLIENT2 == CLIENT1
+# Exception is the test which need two separate nodes
+CLIENT2=${CLIENT2:-$CLIENT1}
+
 #
 # In order to test multiple remote HSM agents, a new facet type named "AGT" and
 # the following associated variables are added:
@@ -73,8 +82,11 @@ init_agt_vars() {
                exit 0
        fi
 
+       # We used to put the HSM archive in $SHARED_DIRECTORY but that
+       # meant NFS issues could hose sanity-hsm sessions. So now we
+       # use $TMP instead.
        for n in $(seq $AGTCOUNT); do
-               eval export AGTDEV$n=\$\{AGTDEV$n:-"$SHARED_DIRECTORY/arc$n"\}
+               eval export AGTDEV$n=\$\{AGTDEV$n:-"$TMP/arc$n"\}
                agent=CLIENT$((n + 1))
                if [[ -z "${!agent}" ]]; then
                        [[ $CLIENTCOUNT -eq 1 ]] && agent=CLIENT1 ||
@@ -133,15 +145,40 @@ get_mdt_devices() {
 }
 
 search_copytools() {
-       local agents=${1:-$(facet_active_host $SINGLEAGT)}
-       do_nodesv $agents "pgrep -x $HSMTOOL_BASE"
+       local hosts=${1:-$(facet_active_host $SINGLEAGT)}
+       do_nodesv $hosts "pgrep -x $HSMTOOL_BASE"
 }
 
-search_and_kill_copytool() {
-       local agents=${1:-$(facet_active_host $SINGLEAGT)}
+kill_copytools() {
+       local hosts=${1:-$(facet_active_host $SINGLEAGT)}
+
+       echo "Killing existing copytools on $hosts"
+       do_nodesv $hosts "killall -q $HSMTOOL_BASE" || true
+}
+
+wait_copytools() {
+       local hosts=${1:-$(facet_active_host $SINGLEAGT)}
+       local wait_timeout=200
+       local wait_start=$SECONDS
+       local wait_end=$((wait_start + wait_timeout))
+
+       while ((SECONDS < wait_end)); do
+               sleep 2
+               if ! search_copytools $hosts; then
+                       echo "copytools stopped in $((SECONDS - wait_start))s"
+                       return 0
+               fi
+
+               echo "copytools still running on $hosts"
+       done
+
+       # try to dump Copytool's stack
+       do_nodesv $hosts "echo 1 >/proc/sys/kernel/sysrq ; " \
+                        "echo t >/proc/sysrq-trigger"
+
+       echo "copytools failed to stop in ${wait_timeout}s"
 
-       echo "Killing existing copytools on $agents"
-       do_nodesv $agents "killall -q $HSMTOOL_BASE" || true
+       return 1
 }
 
 copytool_monitor_setup() {
@@ -170,7 +207,7 @@ copytool_monitor_setup() {
                # Slightly racy, but just making a best-effort to catch obvious
                # problems.
                sleep 1
-               ps -p $HSMTOOL_MONITOR_PDSH >&- ||
+               ps -p $HSMTOOL_MONITOR_PDSH > /dev/null ||
                        error "Failed to start copytool monitor on $agent"
        else
                do_node $agent "$cmd"
@@ -203,7 +240,8 @@ copytool_monitor_cleanup() {
 
 copytool_setup() {
        local facet=${1:-$SINGLEAGT}
-       local lustre_mntpnt=${2:-$MOUNT}
+       # Use MOUNT2 by default if defined
+       local lustre_mntpnt=${2:-${MOUNT2:-$MOUNT}}
        local arc_id=$3
        local hsm_root=${4:-$(copytool_device $facet)}
        local agent=$(facet_active_host $facet)
@@ -260,54 +298,58 @@ get_copytool_event_log() {
 
 copytool_cleanup() {
        trap - EXIT
-       local facet=$SINGLEAGT
-       local agents=${1:-$(facet_active_host $facet)}
-       local mdtno
-       local idx
-       local oldstate
-       local mdt_hsmctrl
-       local hsm_root=$(copytool_device $facet)
-       local end_wait=$(( SECONDS + TIMEOUT ))
+       local agt_facet=$SINGLEAGT
+       local agt_hosts=${1:-$(facet_active_host $agt_facet)}
+       local hsm_root=$(copytool_device $agt_facet)
+       local i
+       local facet
+       local param
+       local -a state
+
+       kill_copytools $agt_hosts
+       wait_copytools $agt_hosts || error "copytools failed to stop"
+
+       # Clean all CDTs orphans requests from previous tests that
+       # would otherwise need to timeout to clear.
+       for ((i = 0; i < MDSCOUNT; i++)); do
+               facet=mds$((i + 1))
+               param=$(printf 'mdt.%s-MDT%04x.hsm_control' $FSNAME $i)
+               state[$i]=$(do_facet $facet "$LCTL get_param -n $param")
+
+               # Skip already stopping or stopped CDTs.
+               [[ "${state[$i]}" =~ ^stop ]] && continue
+
+               do_facet $facet "$LCTL set_param $param=shutdown"
+       done
 
-       do_nodesv $agents "pkill -INT -x $HSMTOOL_BASE" || return 0
+       for ((i = 0; i < MDSCOUNT; i++)); do
+               # Only check and restore CDTs that we stopped in the first loop.
+               [[ "${state[$i]}" =~ ^stop ]] && continue
 
-       while (( SECONDS < end_wait )); do
-               sleep 2
-               do_nodesv $agents "pgrep -x $HSMTOOL_BASE"
-               if [ $? -ne 0 ]; then
-                       echo "Copytool is stopped on $agents"
-                       break
-               fi
-               echo "Copytool still running on $agents"
+               facet=mds$((i + 1))
+               param=$(printf 'mdt.%s-MDT%04x.hsm_control' $FSNAME $i)
+
+               wait_result $facet "$LCTL get_param -n $param" stopped 20 ||
+                       error "$facet CDT state is not stopped"
+
+               # Restore old CDT state.
+               do_facet $facet "$LCTL set_param $param=${state[$i]}"
        done
-       if do_nodesv $agents "pgrep -x $HSMTOOL_BASE"; then
-               error "Copytool failed to stop in ${TIMEOUT}s ..."
-       else
-               echo "Copytool has stopped in " \
-                    "$((TIMEOUT - (end_wait - SECONDS)))s."
-       fi
 
-       # clean all CDTs orphans requests from previous tests
-       # that would otherwise need to timeout to clear.
-       for mdtno in $(seq 1 $MDSCOUNT); do
-               idx=$(($mdtno - 1))
-               mdt_hsmctrl="mdt.$FSNAME-MDT000${idx}.hsm_control"
-               oldstate=$(do_facet mds${mdtno} "$LCTL get_param -n " \
-                                  "$mdt_hsmctrl")
-               # skip already stop[ed,ing] CDTs
-               echo $oldstate | grep stop && continue
-
-               do_facet mds${mdtno} "$LCTL set_param $mdt_hsmctrl=shutdown"
-               wait_result mds${mdtno} "$LCTL get_param -n $mdt_hsmctrl" \
-                       "stopped" 20 ||
-                       error "mds${mdtno} cdt state is not stopped"
-               do_facet mds${mdtno} "$LCTL set_param $mdt_hsmctrl=$oldstate"
-               wait_result mds${mdtno} "$LCTL get_param -n $mdt_hsmctrl" \
-                       "$oldstate" 20 ||
-                       error "mds${mdtno} cdt state is not $oldstate"
+       for ((i = 0; i < MDSCOUNT; i++)); do
+               # Only check CDTs that we stopped in the first loop.
+               [[ "${state[$i]}" =~ ^stop ]] && continue
+
+               facet=mds$((i + 1))
+               param=$(printf 'mdt.%s-MDT%04x.hsm_control' $FSNAME $i)
+
+               # Check that the old CDT state was restored.
+               wait_result $facet "$LCTL get_param -n $param" "${state[$i]}" \
+                       20 || error "$facet CDT state is not '${state[$i]}'"
        done
-       if do_facet $facet "df $hsm_root" >/dev/null 2>&1 ; then
-               do_facet $facet "rm -rf $hsm_root/*"
+
+       if do_facet $agt_facet "df $hsm_root" >/dev/null 2>&1 ; then
+               do_facet $agt_facet "rm -rf $hsm_root/*"
        fi
 }
 
@@ -472,6 +514,13 @@ cdt_clear_mount_state() {
 
 cdt_set_mount_state() {
        mdts_set_param "-P" hsm_control "$1"
+       # set_param -P is asynchronous operation and could race with set_param.
+       # In such case configs could be retrieved and applied at mgc after
+       # set_param -P completion. Sleep here to avoid race with set_param.
+       # We need at least 20 seconds. 10 for mgc_requeue_thread to wake up
+       # MGC_TIMEOUT_MIN_SECONDS + MGC_TIMEOUT_RAND_CENTISEC(5 + 5)
+       # and 10 seconds to retrieve config from server.
+       sleep 20
 }
 
 cdt_check_state() {
@@ -752,7 +801,7 @@ get_mdt_devices
 init_agt_vars
 
 # cleanup from previous bad setup
-search_and_kill_copytool
+kill_copytools
 
 # for recovery tests, coordinator needs to be started at mount
 # so force it
@@ -805,6 +854,23 @@ test_1() {
 }
 run_test 1 "lfs hsm flags root/non-root access"
 
+test_1a() {
+       mkdir -p $DIR/$tdir
+       local f=$DIR/$tdir/$tfile
+       local fid=$(make_small $f)
+
+       $LFS hsm_archive $f || error "could not archive file"
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       # Release and check states
+       $LFS hsm_release $f || error "could not release file"
+       echo -n "Verifying released state: "
+       check_hsm_flags $f "0x0000000d"
+
+       $MMAP_CAT $f > /dev/null || error "failed mmap & cat release file"
+}
+run_test 1a "mmap & cat a HSM released file"
+
 test_2() {
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
@@ -930,7 +996,7 @@ test_9() {
 
        copytool_cleanup
 }
-run_test 9 "Use of explict archive number, with dedicated copytool"
+run_test 9 "Use of explicit archive number, with dedicated copytool"
 
 test_9a() {
        needclients 3 || return 0
@@ -1405,6 +1471,77 @@ test_12p() {
 }
 run_test 12p "implicit restore of a file on copytool mount point"
 
+cleanup_test_12q() {
+       trap 0
+       zconf_umount $(facet_host $SINGLEAGT) $MOUNT3 ||
+               error "cannot umount $MOUNT3 on $SINGLEAGT"
+}
+
+test_12q() {
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.58) ] &&
+               skip "need MDS version at least 2.7.58" && return 0
+
+       zconf_mount $(facet_host $SINGLEAGT) $MOUNT3 ||
+               error "cannot mount $MOUNT3 on $SINGLEAGT"
+
+       trap cleanup_test_12q EXIT
+
+       # test needs a running copytool
+       copytool_setup $SINGLEAGT $MOUNT3
+
+       mkdir $DIR/$tdir
+       local f=$DIR/$tdir/$tfile
+       local f2=$DIR2/$tdir/$tfile
+       local fid=$(make_small $f)
+       local orig_size=$(stat -c "%s" $f)
+
+       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       $LFS hsm_release $f || error "could not release file"
+       check_hsm_flags $f "0x0000000d"
+
+       kill_copytools
+       wait_copytools || error "copytool failed to stop"
+
+       cat $f > /dev/null &
+
+       # wait a bit to allow implicit restore request to be handled.
+       # if not, next stat would also block on layout-lock.
+       sleep 5
+
+       local size=$(stat -c "%s" $f2)
+       [ $size -eq $orig_size ] ||
+               error "$f2: wrong size after archive: $size != $orig_size"
+
+       HSM_ARCHIVE_PURGE=false copytool_setup $SINGLEAGT /mnt/lustre3
+
+       wait
+
+       size=$(stat -c "%s" $f)
+       [ $size -eq $orig_size ] ||
+               error "$f: wrong size after restore: $size != $orig_size"
+
+       size=$(stat -c "%s" $f2)
+       [ $size -eq $orig_size ] ||
+               error "$f2: wrong size after restore: $size != $orig_size"
+
+       :>$f
+
+       size=$(stat -c "%s" $f)
+       [ $size -eq 0 ] ||
+               error "$f: wrong size after overwrite: $size != 0"
+
+       size=$(stat -c "%s" $f2)
+       [ $size -eq 0 ] ||
+               error "$f2: wrong size after overwrite: $size != 0"
+
+       copytool_cleanup
+       zconf_umount $(facet_host $SINGLEAGT) $MOUNT3 ||
+               error "cannot umount $MOUNT3 on $SINGLEAGT"
+}
+run_test 12q "file attributes are refreshed after restore"
+
 test_13() {
        # test needs a running copytool
        copytool_setup
@@ -1799,7 +1936,7 @@ test_24a() {
        [ $mtime0 -eq $mtime1 ] ||
                error "restore changed mtime from $mtime0 to $mtime1"
 
-       [ $ctime0 -le $ctime1 ] ||
+       [ $ctime0 -eq $ctime1 ] ||
                error "restore changed ctime from $ctime0 to $ctime1"
 
        copytool_cleanup
@@ -1818,7 +1955,7 @@ test_24a() {
        [ $mtime0 -eq $mtime1 ] ||
                error "remount changed mtime from $mtime0 to $mtime1"
 
-       [ $ctime0 -le $ctime1 ] ||
+       [ $ctime0 -eq $ctime1 ] ||
                error "remount changed ctime from $ctime0 to $ctime1"
 }
 run_test 24a "Archive, release, and restore does not change a/mtime (i/o)"
@@ -1834,7 +1971,7 @@ test_24b() {
        copytool_setup
        mkdir -p $DIR/$tdir
 
-       # Check that root can do HSM actions on a ordinary user's file.
+       # Check that root can do HSM actions on a regular user's file.
        rm -f $file
        fid=$(make_small $file)
        sum0=$(md5sum $file)
@@ -2000,6 +2137,55 @@ test_24d() {
 }
 run_test 24d "check that read-only mounts are respected"
 
+test_24e() {
+       copytool_setup
+
+       mkdir -p $DIR/$tdir
+
+       local f=$DIR/$tdir/$tfile
+       local fid
+
+       fid=$(make_small $f) || error "cannot create $f"
+       $LFS hsm_archive $f || error "cannot archive $f"
+       wait_request_state $fid ARCHIVE SUCCEED
+       $LFS hsm_release $f || error "cannot release $f"
+       while ! $LFS hsm_state $f | grep released; do
+               sleep 1
+       done
+
+       tar -cf $TMP/$tfile.tar $DIR/$tdir || error "cannot tar $DIR/$tdir"
+
+       copytool_cleanup
+}
+run_test 24e "tar succeeds on HSM released files" # LU-6213
+
+test_24f() {
+
+       # test needs a running copytool
+       copytool_setup
+
+       mkdir -p $DIR/$tdir/d1
+       local f=$DIR/$tdir/$tfile
+       local fid=$(copy_file /etc/hosts $f)
+       sum0=$(md5sum $f)
+       echo $sum0
+       $LFS hsm_archive -a $HSM_ARCHIVE_NUMBER $f ||
+               error "hsm_archive failed"
+       wait_request_state $fid ARCHIVE SUCCEED
+       $LFS hsm_release $f || error "cannot release $f"
+       tar --xattrs -cvf $f.tar -C $DIR/$tdir $tfile
+       rm -f $f
+       sync
+       tar --xattrs -xvf $f.tar -C $DIR/$tdir ||
+               error "Can not recover the tar contents"
+       sum1=$(md5sum $f)
+       echo "Sum0 = $sum0, sum1 = $sum1"
+       [ "$sum0" == "$sum1" ] || error "md5sum mismatch for '$tfile'"
+
+       copytool_cleanup
+}
+run_test 24f "root can archive, release, and restore tar files"
+
 test_25a() {
        # test needs a running copytool
        copytool_setup
@@ -2135,6 +2321,76 @@ test_28() {
 }
 run_test 28 "Concurrent archive/file remove"
 
+test_29a() {
+       # Tests --mntpath and --archive options
+
+       local archive_id=7
+       copytool_setup $SINGLEAGT $MOUNT $archive_id
+
+       # Bad archive number
+       $LFS hsm_remove -m $MOUNT -a 33 0x857765760:0x8:0x2 2>&1 |
+               grep "Invalid argument" ||
+               error "unexpected hsm_remove failure (1)"
+
+       # mntpath is present but file is given
+       $LFS hsm_remove --mntpath $MOUNT --archive 30 /qwerty/uyt 2>&1 |
+               grep "hsm: '/qwerty/uyt' is not a valid FID" ||
+               error "unexpected hsm_remove failure (2)"
+
+       copytool_cleanup
+}
+run_test 29a "Tests --mntpath and --archive options"
+
+test_29b() {
+       # test needs a running copytool
+       copytool_setup
+
+       mkdir -p $DIR/$tdir
+       local f=$DIR/$tdir/$tfile
+       local fid=$(make_small $f)
+
+       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       rm -f $f
+
+       $LFS hsm_remove -m $MOUNT -a $HSM_ARCHIVE_NUMBER $fid
+       wait_request_state $fid REMOVE SUCCEED
+
+       copytool_cleanup
+}
+run_test 29b "Archive/delete/remove by FID from the archive."
+
+test_29c() {
+       # test needs a running copytool
+       copytool_setup
+
+       mkdir -p $DIR/$tdir
+       local fid1=$(make_small $DIR/$tdir/$tfile-1)
+       local fid2=$(make_small $DIR/$tdir/$tfile-2)
+       local fid3=$(make_small $DIR/$tdir/$tfile-3)
+
+       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $DIR/$tdir/$tfile-[1-3]
+       wait_request_state $fid1 ARCHIVE SUCCEED
+       wait_request_state $fid2 ARCHIVE SUCCEED
+       wait_request_state $fid3 ARCHIVE SUCCEED
+
+       rm -f $DIR/$tdir/$tfile-[1-3]
+
+       echo $fid1 > $DIR/$tdir/list
+       echo $fid2 >> $DIR/$tdir/list
+       echo $fid3 >> $DIR/$tdir/list
+
+       $LFS hsm_remove -m $MOUNT -a $HSM_ARCHIVE_NUMBER \
+               --filelist $DIR/$tdir/list
+       wait_request_state $fid1 REMOVE SUCCEED
+       wait_request_state $fid2 REMOVE SUCCEED
+       wait_request_state $fid3 REMOVE SUCCEED
+
+       copytool_cleanup
+}
+run_test 29c "Archive/delete/remove by FID, using a file list."
+
 test_30a() {
        # restore at exec cannot work on agent node (because of Linux kernel
        # protection of executables)
@@ -2207,6 +2463,7 @@ test_30c() {
 
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/SLEEP
+       local slp_sum1=$(md5sum /bin/sleep)
        local fid=$(copy_file /bin/sleep $f)
        chmod 755 $f
        $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
@@ -2223,7 +2480,12 @@ test_30c() {
        wait $pid
        [[ $? == 0 ]] || error "Execution failed during run"
        cmp /bin/sleep $f
-       [[ $? == 0 ]] || error "Binary overwritten during exec"
+       if [[ $? != 0 ]]; then
+               local slp_sum2=$(md5sum /bin/sleep)
+               # in case sleep file is modified during the test
+               [[ $slp_sum1 == $slp_sum2 ]] &&
+                       error "Binary overwritten during exec"
+       fi
 
        # cleanup
        # remove no try action mode
@@ -2516,6 +2778,31 @@ test_36() {
 }
 run_test 36 "Move file during restore"
 
+test_37() {
+       # LU-5683: check that an archived dirty file can be rearchived.
+       copytool_cleanup
+       copytool_setup $SINGLEAGT $MOUNT2
+
+       mkdir -p $DIR/$tdir
+       local f=$DIR/$tdir/$tfile
+       local fid
+
+       fid=$(make_small $f) || error "cannot create small file"
+
+       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
+       wait_request_state $fid ARCHIVE SUCCEED
+       $LFS hsm_release $f || error "cannot release $f"
+
+       # Dirty file.
+       dd if=/dev/urandom of=$f bs=1M count=1 || error "cannot dirty file"
+
+       $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
+       wait_request_state $fid ARCHIVE SUCCEED
+
+       copytool_cleanup
+}
+run_test 37 "re-archive a dirty file"
+
 multi_archive() {
        local prefix=$1
        local count=$2
@@ -2626,7 +2913,7 @@ test_54() {
 
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
-       local fid=$(make_small $f)
+       local fid=$(make_large_for_progress $f)
 
        $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f ||
                error "could not archive file"
@@ -2654,7 +2941,7 @@ test_55() {
 
        mkdir -p $DIR/$tdir
        local f=$DIR/$tdir/$tfile
-       local fid=$(make_small $f)
+       local fid=$(make_large_for_progress $f)
 
        $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f ||
                error "could not archive file"
@@ -2793,6 +3080,23 @@ test_58() {
 }
 run_test 58 "Truncate a released file will trigger restore"
 
+test_59() {
+       local fid
+       local server_version=$(lustre_version_code $SINGLEMDS)
+       [[ $server_version -lt $(version_code 2.7.63) ]] &&
+               skip "Need MDS version at least 2.7.63" && return
+
+       copytool_setup
+       $MCREATE $DIR/$tfile || error "mcreate failed"
+       $TRUNCATE $DIR/$tfile 42 || error "truncate failed"
+       $LFS hsm_archive $DIR/$tfile || error "archive request failed"
+       fid=$(path2fid $DIR/$tfile)
+       wait_request_state $fid ARCHIVE SUCCEED
+       $LFS hsm_release $DIR/$tfile || error "release failed"
+       copytool_cleanup
+}
+run_test 59 "Release stripeless file with non-zero size"
+
 test_60() {
        # This test validates the fix for LU-4512. Ensure that the -u
        # option changes the progress reporting interval from the
@@ -3295,11 +3599,24 @@ check_agent_unregistered() {
        done
 }
 
-test_106() {
-       local uuid=$(do_rpc_nodes $(facet_active_host $SINGLEAGT) \
-               get_client_uuid $MOUNT | cut -d' ' -f2)
+get_agent_uuid() {
+       local agent=${1:-$(facet_active_host $SINGLEAGT)}
 
+       # Lustre mount-point is mandatory and last parameter on
+       # copytool cmd-line.
+       local mntpnt=$(do_rpc_nodes $agent pgrep -fl $HSMTOOL_BASE |
+                      grep -v pgrep | awk '{print $NF}')
+       [ -n "$mntpnt" ] || error "Found no Agent or with no mount-point "\
+                                 "parameter"
+       do_rpc_nodes $agent get_client_uuid $mntpnt | cut -d' ' -f2
+}
+
+test_106() {
+       # test needs a running copytool
        copytool_setup
+
+       local uuid=$(get_agent_uuid $(facet_active_host $SINGLEAGT))
+
        check_agent_registered $uuid
 
        search_copytools || error "No copytool found"
@@ -3308,6 +3625,7 @@ test_106() {
        check_agent_unregistered $uuid
 
        copytool_setup
+       uuid=$(get_agent_uuid $(facet_active_host $SINGLEAGT))
        check_agent_registered $uuid
 
        copytool_cleanup
@@ -3524,6 +3842,8 @@ test_200() {
        # test with cdt on is made in test_221
        cdt_disable
        $LFS hsm_archive --archive $HSM_ARCHIVE_NUMBER $f
+       # wait archive to register at CDT
+       wait_request_state $fid ARCHIVE WAITING
        $LFS hsm_cancel $f
        cdt_enable
        wait_request_state $fid ARCHIVE CANCELED
@@ -3546,6 +3866,8 @@ test_201() {
        # test with cdt on is made in test_222
        cdt_disable
        $LFS hsm_restore $f
+       # wait restore to register at CDT
+       wait_request_state $fid RESTORE WAITING
        $LFS hsm_cancel $f
        cdt_enable
        wait_request_state $fid RESTORE CANCELED
@@ -3570,6 +3892,8 @@ test_202() {
 
        cdt_disable
        $LFS hsm_remove $f
+       # wait remove to register at CDT
+       wait_request_state $fid REMOVE WAITING
        $LFS hsm_cancel $f
        cdt_enable
        wait_request_state $fid REMOVE CANCELED
@@ -4189,12 +4513,12 @@ test_403() {
        copytool_cleanup
 
         local agent=$(facet_active_host $SINGLEAGT)
-       local uuid=$(do_rpc_nodes $agent get_client_uuid | cut -d' ' -f2)
 
        # deactivate all mdc for MDT0001
        mdc_change_state $SINGLEAGT "$FSNAME-MDT0001" "deactivate"
 
        copytool_setup
+       local uuid=$(get_agent_uuid $agent)
        # check the agent is registered on MDT0000, and not on MDT0001
        check_agent_registered_by_mdt $uuid 0
        check_agent_unregistered_by_mdt $uuid 1
@@ -4295,6 +4619,66 @@ test_405() {
 }
 run_test 405 "archive and release under striped directory"
 
+test_406() {
+       [ $MDSCOUNT -lt 2 ] && skip "needs >= 2 MDTs" && return 0
+
+       [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.7.64) ] &&
+               skip "need MDS version at least 2.7.64" && return 0
+
+       local fid
+       local mdt_index
+
+       copytool_setup
+       mkdir -p $DIR/$tdir
+       fid=$(make_small $DIR/$tdir/$tfile)
+       echo "old fid $fid"
+
+       $LFS hsm_archive $DIR/$tdir/$tfile
+       wait_request_state "$fid" ARCHIVE SUCCEED
+       $LFS hsm_release $DIR/$tdir/$tfile
+
+       # Should migrate $tdir but not $tfile.
+       $LFS mv -M1 $DIR/$tdir &&
+               error "migrating HSM an archived file should fail"
+
+       $LFS hsm_restore $DIR/$tdir/$tfile
+       wait_request_state "$fid" RESTORE SUCCEED
+
+       $LFS hsm_remove $DIR/$tdir/$tfile
+       wait_request_state "$fid" REMOVE SUCCEED
+
+       cat $DIR/$tdir/$tfile > /dev/null ||
+               error "cannot read $DIR/$tdir/$tfile"
+
+       $LFS mv -M1 $DIR/$tdir ||
+               error "cannot complete migration after HSM remove"
+
+       mdt_index=$($LFS getstripe -M $DIR/$tdir)
+       if ((mdt_index != 1)); then
+               error "expected MDT index 1, got $mdt_index"
+       fi
+
+       # Refresh fid after migration.
+       fid=$(path2fid $DIR/$tdir/$tfile)
+       echo "new fid $fid"
+
+       $LFS hsm_archive $DIR/$tdir/$tfile
+       wait_request_state "$fid" ARCHIVE SUCCEED 1
+
+       lctl set_param debug=+trace
+       $LFS hsm_release $DIR/$tdir/$tfile ||
+               error "cannot release $DIR/$tdir/$tfile"
+
+       $LFS hsm_restore $DIR/$tdir/$tfile
+       wait_request_state "$fid" RESTORE SUCCEED 1
+
+       cat $DIR/$tdir/$tfile > /dev/null ||
+               error "cannot read $DIR/$tdir/$tfile"
+
+       copytool_cleanup
+}
+run_test 406 "attempting to migrate HSM archived files is safe"
+
 test_500()
 {
        [ $(lustre_version_code $SINGLEMDS) -lt $(version_code 2.6.92) ] &&