Whamcloud - gitweb
LU-7859 tests: Use getent instead of /etc/passwd
[fs/lustre-release.git] / lustre / tests / sanity-sec.sh
old mode 100644 (file)
new mode 100755 (executable)
index 3a478f2..7fc381d
@@ -7,14 +7,11 @@
 set -e
 
 ONLY=${ONLY:-"$*"}
-# bug number for skipped test: 19430 LU-5423 19967 19967
-ALWAYS_EXCEPT="                2     4       5     6    $SANITY_SEC_EXCEPT"
+# bug number for skipped test: 19430 19967 19967
+ALWAYS_EXCEPT="                2     5     6    $SANITY_SEC_EXCEPT"
 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
 
-[ "$ALWAYS_EXCEPT$EXCEPT" ] && \
-       echo "Skipping tests: $ALWAYS_EXCEPT $EXCEPT"
-
-SRCDIR=`dirname $0`
+SRCDIR=$(dirname $0)
 export PATH=$PWD/$SRCDIR:$SRCDIR:$PWD/$SRCDIR/../utils:$PATH:/sbin
 export NAME=${NAME:-local}
 
@@ -24,6 +21,11 @@ init_test_env $@
 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
 init_logging
 
+[ "$SLOW" = "no" ] && EXCEPT_SLOW="26"
+
+[ "$ALWAYS_EXCEPT$EXCEPT$EXCEPT_SLOW" ] &&
+       echo "Skipping tests: $ALWAYS_EXCEPT $EXCEPT $EXCEPT_SLOW"
+
 RUNAS_CMD=${RUNAS_CMD:-runas}
 
 WTL=${WTL:-"$LUSTRE/tests/write_time_limit"}
@@ -48,14 +50,14 @@ clients_arr=($clients)
 
 ID0=${ID0:-500}
 ID1=${ID1:-501}
-USER0=$(grep :$ID0:$ID0: /etc/passwd | cut -d: -f1)
-USER1=$(grep :$ID1:$ID1: /etc/passwd | cut -d: -f1)
+USER0=$(getent passwd | grep :$ID0:$ID0: | cut -d: -f1)
+USER1=$(getent passwd | grep :$ID1:$ID1: | cut -d: -f1)
 
 [ -z "$USER0" ] &&
-       skip "need to add user0 ($ID0:$ID0) to /etc/passwd" && exit 0
+       skip "need to add user0 ($ID0:$ID0)" && exit 0
 
 [ -z "$USER1" ] &&
-       skip "need to add user1 ($ID1:$ID1) to /etc/passwd" && exit 0
+       skip "need to add user1 ($ID1:$ID1)" && exit 0
 
 IDBASE=${IDBASE:-60000}
 
@@ -74,15 +76,12 @@ sec_cleanup() {
 }
 
 DIR=${DIR:-$MOUNT}
-[ -z "`echo $DIR | grep $MOUNT`" ] && \
+[ -z "$(echo $DIR | grep $MOUNT)" ] &&
        error "$DIR not in $MOUNT" && sec_cleanup && exit 1
 
-[ `echo $MOUNT | wc -w` -gt 1 ] && \
+[ $(echo $MOUNT | wc -w) -gt 1 ] &&
        echo "NAME=$MOUNT mounted more than once" && sec_cleanup && exit 0
 
-[ $MDSCOUNT -gt 1 ] && \
-       echo "skip multi-MDS test" && sec_cleanup && exit 0
-
 # for GSS_SUP
 GSS_REF=$(lsmod | grep ^ptlrpc_gss | awk '{print $3}')
 if [ ! -z "$GSS_REF" -a "$GSS_REF" != "0" ]; then
@@ -99,8 +98,6 @@ MDT=$(do_facet $SINGLEMDS lctl get_param -N "mdt.\*MDT0000" |
 do_facet $SINGLEMDS "mkdir -p $CONFDIR"
 IDENTITY_FLUSH=mdt.$MDT.identity_flush
 IDENTITY_UPCALL=mdt.$MDT.identity_upcall
-MDSCAPA=mdt.$MDT.capa
-CAPA_TIMEOUT=mdt.$MDT.capa_timeout
 MDSSECLEVEL=mdt.$MDT.sec_level
 
 # for CLIENT_TYPE
@@ -129,19 +126,19 @@ sec_login() {
        if ! $RUNAS_CMD -u $user -g $group ls $DIR > /dev/null 2>&1; then
                $RUNAS_CMD -u $user lfs flushctx -k
                $RUNAS_CMD -u $user krb5_login.sh
-                if ! $RUNAS_CMD -u$user -g$group ls $DIR > /dev/null 2>&1; then
-                        error "init $user $group failed."
-                        exit 2
-                fi
+               if ! $RUNAS_CMD -u$user -g$group ls $DIR > /dev/null 2>&1; then
+                       error "init $user $group failed."
+                       exit 2
+               fi
        fi
 }
 
 declare -a identity_old
 
 sec_setup() {
-               for num in `seq $MDSCOUNT`; do
-                       switch_identity $num true || identity_old[$num]=$?
-               done
+       for num in $(seq $MDSCOUNT); do
+               switch_identity $num true || identity_old[$num]=$?
+       done
 
        if ! $RUNAS_CMD -u $ID0 ls $DIR > /dev/null 2>&1; then
                sec_login $USER0 $USER0
@@ -163,16 +160,16 @@ test_0() {
 
        if [ "$CLIENT_TYPE" = "remote" ]; then
                do_facet $SINGLEMDS "echo '* 0 normtown' > $PERM_CONF"
-               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
+               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
                chown $USER0 $DIR/$tdir && error "chown (1)"
                do_facet $SINGLEMDS "echo '* 0 rmtown' > $PERM_CONF"
-               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
+               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
        else
                chown $USER0 $DIR/$tdir || error "chown (2)"
        fi
 
        $RUNAS_CMD -u $ID0 ls $DIR || error "ls (1)"
-        rm -f $DIR/f0 || error "rm (2)"
+       rm -f $DIR/f0 || error "rm (2)"
        $RUNAS_CMD -u $ID0 touch $DIR/f0 && error "touch (1)"
        $RUNAS_CMD -u $ID0 touch $DIR/$tdir/f1 || error "touch (2)"
        $RUNAS_CMD -u $ID1 touch $DIR/$tdir/f2 && error "touch (3)"
@@ -187,7 +184,7 @@ test_0() {
 
        if [ "$CLIENT_TYPE" = "remote" ]; then
                do_facet $SINGLEMDS "rm -f $PERM_CONF"
-               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
+               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
        fi
 }
 run_test 0 "uid permission ============================="
@@ -198,7 +195,7 @@ test_1() {
 
        if [ "$CLIENT_TYPE" = "remote" ]; then
                do_facet $SINGLEMDS "echo '* 0 rmtown' > $PERM_CONF"
-               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
+               do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
        fi
 
        rm -rf $DIR/$tdir
@@ -232,18 +229,18 @@ test_1() {
 run_test 1 "setuid/gid ============================="
 
 run_rmtacl_subtest() {
-    $SAVE_PWD/rmtacl/run $SAVE_PWD/rmtacl/$1.test
-    return $?
+       $SAVE_PWD/rmtacl/run $SAVE_PWD/rmtacl/$1.test
+       return $?
 }
 
 # remote_acl
 # for remote client only
 test_2 () {
-       [ "$CLIENT_TYPE" = "local" ] && \
+       [ "$CLIENT_TYPE" = "local" ] &&
                skip "remote_acl for remote client only" && return
-       [ -z "$(lctl get_param -n mdc.*-mdc-*.connect_flags | grep ^acl)" ] && \
+       [ -z "$(lctl get_param -n mdc.*-mdc-*.connect_flags | grep ^acl)" ] &&
                skip "must have acl enabled" && return
-       [ -z "$(which setfacl 2>/dev/null)" ] && \
+       [ -z "$(which setfacl 2>/dev/null)" ] &&
                skip "could not find setfacl" && return
        [ "$UID" != 0 ] && skip "must run as root" && return
 
@@ -255,57 +252,57 @@ test_2 () {
        sec_login daemon daemon
        sec_login games users
 
-       SAVE_UMASK=`umask`
-       umask 0022
-       cd $DIR
-
-        echo "performing cp ..."
-        run_rmtacl_subtest cp || error "cp"
-       echo "performing getfacl-noacl..."
-       run_rmtacl_subtest getfacl-noacl || error "getfacl-noacl"
-       echo "performing misc..."
-       run_rmtacl_subtest misc || error "misc"
-       echo "performing permissions..."
-       run_rmtacl_subtest permissions || error "permissions"
-       echo "performing setfacl..."
-       run_rmtacl_subtest setfacl || error "setfacl"
-
-       # inheritance test got from HP
-       echo "performing inheritance..."
-       cp $SAVE_PWD/rmtacl/make-tree .
-       chmod +x make-tree
-       run_rmtacl_subtest inheritance || error "inheritance"
-       rm -f make-tree
-
-       cd $SAVE_PWD
-       umask $SAVE_UMASK
+       SAVE_UMASK=$(umask)
+       umask 0022
+       cd $DIR
+
+       echo "performing cp ..."
+       run_rmtacl_subtest cp || error "cp"
+       echo "performing getfacl-noacl..."
+       run_rmtacl_subtest getfacl-noacl || error "getfacl-noacl"
+       echo "performing misc..."
+       run_rmtacl_subtest misc || error "misc"
+       echo "performing permissions..."
+       run_rmtacl_subtest permissions || error "permissions"
+       echo "performing setfacl..."
+       run_rmtacl_subtest setfacl || error "setfacl"
+
+       # inheritance test got from HP
+       echo "performing inheritance..."
+       cp $SAVE_PWD/rmtacl/make-tree .
+       chmod +x make-tree
+       run_rmtacl_subtest inheritance || error "inheritance"
+       rm -f make-tree
+
+       cd $SAVE_PWD
+       umask $SAVE_UMASK
 
        do_facet $SINGLEMDS "rm -f $PERM_CONF"
        do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
 }
 run_test 2 "rmtacl ============================="
 
-# rootsquash
-# root_squash will be redesigned in Lustre 1.7
-test_3() {
-        skip "root_squash will be redesigned in Lustre 1.7" && return
-}
-run_test 3 "rootsquash ============================="
-
 # bug 3285 - supplementary group should always succeed.
 # NB: the supplementary groups are set for local client only,
 # as for remote client, the groups of the specified uid on MDT
 # will be obtained by upcall /sbin/l_getidentity and used.
 test_4() {
+       local server_version=$(lustre_version_code $SINGLEMDS)
+
+       [[ $server_version -ge $(version_code 2.6.93) ]] ||
+       [[ $server_version -ge $(version_code 2.5.35) &&
+          $server_version -lt $(version_code 2.5.50) ]] ||
+               { skip "Need MDS version at least 2.6.93 or 2.5.35"; return; }
+
        if [ "$CLIENT_TYPE" = "remote" ]; then
                do_facet $SINGLEMDS "echo '* 0 rmtown' > $PERM_CONF"
                do_facet $SINGLEMDS "lctl set_param -n $IDENTITY_FLUSH=-1"
        fi
 
        rm -rf $DIR/$tdir
-        mkdir -p $DIR/$tdir
-        chmod 0771 $DIR/$tdir
-        chgrp $ID0 $DIR/$tdir
+       mkdir -p $DIR/$tdir
+       chmod 0771 $DIR/$tdir
+       chgrp $ID0 $DIR/$tdir
        $RUNAS_CMD -u $ID0 ls $DIR/$tdir || error "setgroups (1)"
        if [ "$CLIENT_TYPE" = "local" ]; then
                do_facet $SINGLEMDS "echo '* $ID1 setgrp' > $PERM_CONF"
@@ -321,266 +318,6 @@ test_4() {
 }
 run_test 4 "set supplementary group ==============="
 
-mds_capability_timeout() {
-        [ $# -lt 1 ] && echo "Miss mds capability timeout value" && return 1
-
-        echo "Set mds capability timeout as $1 seconds"
-       do_facet $SINGLEMDS "lctl set_param -n $CAPA_TIMEOUT=$1"
-        return 0
-}
-
-mds_sec_level_switch() {
-        [ $# -lt 1 ] && echo "Miss mds sec level switch value" && return 1
-
-        case $1 in
-                0) echo "Disable capa for all clients";;
-                1) echo "Enable capa for remote client";;
-               3) echo "Enable capa for all clients";;
-                *) echo "Invalid mds sec level switch value" && return 2;;
-        esac
-
-       do_facet $SINGLEMDS "lctl set_param -n $MDSSECLEVEL=$1"
-        return 0
-}
-
-oss_sec_level_switch() {
-        [ $# -lt 1 ] && echo "Miss oss sec level switch value" && return 1
-
-        case $1 in
-                0) echo "Disable capa for all clients";;
-                1) echo "Enable capa for remote client";;
-               3) echo "Enable capa for all clients";;
-                *) echo "Invalid oss sec level switch value" && return 2;;
-        esac
-
-       for i in `seq $OSTCOUNT`; do
-               local j=`expr $i - 1`
-               local OST="`do_facet ost$i "lctl get_param -N obdfilter.\*OST\*$j/stats 2>/dev/null | cut -d"." -f2" || true`"
-                [ -z "$OST" ] && return 3
-               do_facet ost$i "lctl set_param -n obdfilter.$OST.sec_level=$1"
-       done
-        return 0
-}
-
-mds_capability_switch() {
-        [ $# -lt 1 ] && echo "Miss mds capability switch value" && return 1
-
-        case $1 in
-                0) echo "Turn off mds capability";;
-                3) echo "Turn on mds capability";;
-                *) echo "Invalid mds capability switch value" && return 2;;
-        esac
-
-       do_facet $SINGLEMDS "lctl set_param -n $MDSCAPA=$1"
-        return 0
-}
-
-oss_capability_switch() {
-        [ $# -lt 1 ] && echo "Miss oss capability switch value" && return 1
-
-        case $1 in
-                0) echo "Turn off oss capability";;
-                1) echo "Turn on oss capability";;
-                *) echo "Invalid oss capability switch value" && return 2;;
-        esac
-
-       for i in `seq $OSTCOUNT`; do
-               local j=`expr $i - 1`
-               local OST="`do_facet ost$i "lctl get_param -N obdfilter.\*OST\*$j/stats 2>/dev/null | cut -d"." -f2" || true`"
-                [ -z "$OST" ] && return 3
-               do_facet ost$i "lctl set_param -n obdfilter.$OST.capa=$1"
-       done
-        return 0
-}
-
-turn_mds_capa_on() {
-        mds_capability_switch 3 || return 1
-       mds_sec_level_switch 3  || return 2
-        return 0
-}
-
-turn_oss_capa_on() {
-        oss_capability_switch 1 || return 1
-       oss_sec_level_switch 3  || return 2
-        return 0
-}
-
-turn_capability_on() {
-        local capa_timeout=${1:-"1800"}
-
-        # To turn on fid capability for the system,
-        # there is a requirement that fid capability
-        # is turned on on all MDS/OSS servers before
-        # client mount.
-
-       turn_mds_capa_on || return 1
-       turn_oss_capa_on || return 2
-        mds_capability_timeout $capa_timeout || return 3
-        remount_client $MOUNT || return 4
-        return 0
-}
-
-turn_mds_capa_off() {
-       mds_sec_level_switch 0  || return 1
-        mds_capability_switch 0 || return 2
-        return 0
-}
-
-turn_oss_capa_off() {
-       oss_sec_level_switch 0  || return 1
-        oss_capability_switch 0 || return 2
-        return 0
-}
-
-turn_capability_off() {
-        # to turn off fid capability, you can just do
-        # it in a live system. But, please turn off
-        # capability of all OSS servers before MDS servers.
-
-       turn_oss_capa_off || return 1
-       turn_mds_capa_off || return 2
-        return 0
-}
-
-# We demonstrate that access to the objects in the filesystem are not
-# accessible without supplying secrets from the MDS by disabling a
-# proc variable on the mds so that it does not supply secrets. We then
-# try and access objects which result in failure.
-test_5() {
-        local file=$DIR/f5
-
-       [ $GSS_SUP = 0 ] && skip "without GSS support." && return
-       if ! remote_mds; then
-                skip "client should be separated from server."
-                return
-        fi
-
-       rm -f $file
-
-       turn_capability_off
-       if [ $? != 0 ]; then
-               error "turn_capability_off"
-               return 1
-       fi
-
-        turn_oss_capa_on
-       if [ $? != 0 ]; then
-               error "turn_oss_capa_on"
-               return 2
-       fi
-
-       if [ "$CLIENT_TYPE" = "remote" ]; then
-               remount_client $MOUNT && return 3
-               turn_oss_capa_off
-               return 0
-       else
-               remount_client $MOUNT || return 4
-       fi
-
-        # proc variable disabled -- access to the objects in the filesystem
-        # is not allowed
-        echo "Should get Write error here : (proc variable are disabled "\
-            "-- access to the objects in the filesystem is denied."
-       $WTL $file 30
-       if [ $? == 0 ]; then
-               error "Write worked well even though secrets not supplied."
-               return 5
-        fi
-
-        turn_capability_on
-       if [ $? != 0 ]; then
-               error "turn_capability_on"
-               return 6
-       fi
-
-        sleep 5
-
-        # proc variable enabled, secrets supplied -- write should work now
-        echo "Should not fail here : (proc variable enabled, secrets supplied "\
-            "-- write should work now)."
-       $WTL $file 30
-       if [ $? != 0 ]; then
-               error "Write failed even though secrets supplied."
-               return 7
-        fi
-
-       turn_capability_off
-       if [ $? != 0 ]; then
-               error "turn_capability_off"
-               return 8
-       fi
-       rm -f $file
-}
-run_test 5 "capa secrets ========================="
-
-# Expiry: A test program is performing I/O on a file. It has credential
-# with an expiry half a minute later. While the program is running the
-# credentials expire and no automatic extensions or renewals are
-# enabled. The program will demonstrate an I/O failure.
-test_6() {
-        local file=$DIR/f6
-
-       [ $GSS_SUP = 0 ] && skip "without GSS support." && return
-       if ! remote_mds; then
-                skip "client should be separated from server."
-                return
-        fi
-
-       turn_capability_off
-       if [ $? != 0 ]; then
-               error "turn_capability_off"
-               return 1
-       fi
-
-       rm -f $file
-
-        turn_capability_on 30
-       if [ $? != 0 ]; then
-               error "turn_capability_on 30"
-               return 2
-       fi
-
-        # Token expiry
-       $WTL $file 60
-       if [ $? != 0 ]; then
-               error "$WTL $file 60"
-               return 3
-       fi
-
-       # Reset MDS capability timeout
-       mds_capability_timeout 30
-       if [ $? != 0 ]; then
-               error "mds_capability_timeout 30"
-               return 4
-       fi
-
-       $WTL $file 60 &
-       local PID=$!
-       sleep 5
-
-        # To disable automatic renew, only need turn capa off on MDS.
-       turn_mds_capa_off
-       if [ $? != 0 ]; then
-               error "turn_mds_capa_off"
-               return 5
-       fi
-
-       echo "We expect I/O failure."
-        wait $PID
-       if [ $? == 0 ]; then
-               echo "no I/O failure got."
-               return 6
-       fi
-
-       turn_capability_off
-       if [ $? != 0 ]; then
-               error "turn_capability_off"
-               return 7
-       fi
-       rm -f $file
-}
-run_test 6 "capa expiry ========================="
-
 create_nodemaps() {
        local i
        local out
@@ -589,15 +326,15 @@ create_nodemaps() {
        squash_id default 99 0
        squash_id default 99 1
        for (( i = 0; i < NODEMAP_COUNT; i++ )); do
-               if ! do_facet mgs $LCTL nodemap_add                     \
-                       ${HOSTNAME_CHECKSUM}_${i}; then
+               local csum=${HOSTNAME_CHECKSUM}_${i}
+
+               if ! do_facet mgs $LCTL nodemap_add $csum; then
                        return 1
                fi
-               out=$(do_facet mgs $LCTL get_param                      \
-                       nodemap.${HOSTNAME_CHECKSUM}_${i}.id)
+
+               out=$(do_facet mgs $LCTL get_param nodemap.$csum.id)
                ## This needs to return zero if the following statement is 1
-               rc=$(echo $out | grep -c ${HOSTNAME_CHECKSUM}_${i})
-               [[ $rc == 0 ]] && return 1
+               [[ $(echo $out | grep -c $csum) == 0 ]] && return 1
        done
        return 0
 }
@@ -605,19 +342,17 @@ create_nodemaps() {
 delete_nodemaps() {
        local i
        local out
-       local rc
 
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
-               if ! do_facet mgs $LCTL nodemap_del                     \
-                       ${HOSTNAME_CHECKSUM}_${i}; then
-                       error "nodemap_del ${HOSTNAME_CHECKSUM}_${i}    \
-                               failed with $rc"
+               local csum=${HOSTNAME_CHECKSUM}_${i}
+
+               if ! do_facet mgs $LCTL nodemap_del $csum; then
+                       error "nodemap_del $csum failed with $?"
                        return 3
                fi
-               out=$(do_facet mgs $LCTL get_param                      \
-                       nodemap.${HOSTNAME_CHECKSUM}_${i}.id)
-               rc=$(echo $out | grep -c ${HOSTNAME_CHECKSUM}_${i})
-               [[ $rc != 0 ]] && return 1
+
+               out=$(do_facet mgs $LCTL get_param nodemap.$csum.id)
+               [[ $(echo $out | grep -c $csum) != 0 ]] && return 1
        done
        return 0
 }
@@ -630,9 +365,8 @@ add_range() {
 
        for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
                range="$SUBNET_CHECKSUM.${2}.${j}.[1-253]@tcp"
-               if ! do_facet mgs $cmd --name $1        \
-                       --range $range; then
-                       rc=$(($rc + 1))
+               if ! do_facet mgs $cmd --name $1 --range $range; then
+                       rc=$((rc + 1))
                fi
        done
        return $rc
@@ -646,9 +380,8 @@ delete_range() {
 
        for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
                range="$SUBNET_CHECKSUM.${2}.${j}.[1-253]@tcp"
-               if ! do_facet mgs $cmd --name $1        \
-                       --range $range; then
-                       rc=$(($rc + 1))
+               if ! do_facet mgs $cmd --name $1 --range $range; then
+                       rc=$((rc + 1))
                fi
        done
 
@@ -657,25 +390,24 @@ delete_range() {
 
 add_idmaps() {
        local i
-       local j
-       local client_id
-       local fs_id
        local cmd="$LCTL nodemap_add_idmap"
        local rc=0
 
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
+               local j
+
                for ((j = 500; j < NODEMAP_MAX_ID; j++)); do
-                       client_id=$j
-                       fs_id=$(($j + 1))
-                       if ! do_facet mgs $cmd                          \
-                       --name ${HOSTNAME_CHECKSUM}_${i}                \
-                       --idtype uid --idmap $client_id:$fs_id; then
-                               rc=$(($rc + 1))
+                       local csum=${HOSTNAME_CHECKSUM}_${i}
+                       local client_id=$j
+                       local fs_id=$((j + 1))
+
+                       if ! do_facet mgs $cmd --name $csum --idtype uid \
+                            --idmap $client_id:$fs_id; then
+                               rc=$((rc + 1))
                        fi
-                       if ! do_facet mgs $cmd                          \
-                       --name ${HOSTNAME_CHECKSUM}_${i}                \
-                       --idtype gid --idmap $client_id:$fs_id; then
-                               rc=$(($rc + 1))
+                       if ! do_facet mgs $cmd --name $csum --idtype gid \
+                            --idmap $client_id:$fs_id; then
+                               rc=$((rc + 1))
                        fi
                done
        done
@@ -685,25 +417,24 @@ add_idmaps() {
 
 delete_idmaps() {
        local i
-       local j
-       local client_id
-       local fs_id
        local cmd="$LCTL nodemap_del_idmap"
        local rc=0
 
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
+               local j
+
                for ((j = 500; j < NODEMAP_MAX_ID; j++)); do
-                       client_id=$j
-                       fs_id=$(($j + 1))
-                       if ! do_facet mgs $cmd                          \
-                       --name ${HOSTNAME_CHECKSUM}_${i}                \
-                       --idtype uid --idmap $client_id:$fs_id; then
-                               rc=$(($rc + 1))
+                       local csum=${HOSTNAME_CHECKSUM}_${i}
+                       local client_id=$j
+                       local fs_id=$((j + 1))
+
+                       if ! do_facet mgs $cmd --name $csum --idtype uid \
+                            --idmap $client_id:$fs_id; then
+                               rc=$((rc + 1))
                        fi
-                       if ! do_facet mgs $cmd                          \
-                       --name ${HOSTNAME_CHECKSUM}_${i}                \
-                       --idtype gid --idmap $client_id:$fs_id; then
-                               rc=$(($rc + 1))
+                       if ! do_facet mgs $cmd --name $csum --idtype gid \
+                            --idmap $client_id:$fs_id; then
+                               rc=$((rc + 1))
                        fi
                done
        done
@@ -724,15 +455,13 @@ modify_flags() {
        option[1]="trusted"
 
        for ((idx = 0; idx < 2; idx++)); do
-               if ! do_facet mgs $cmd --name $1        \
-                       --property ${option[$idx]}      \
-                       --value 1; then
+               if ! do_facet mgs $cmd --name $1 --property ${option[$idx]} \
+                    --value 1; then
                        rc=$((rc + 1))
                fi
 
-               if ! do_facet mgs $cmd --name $1        \
-                       --property ${option[$idx]}      \
-                       --value 0; then
+               if ! do_facet mgs $cmd --name $1 --property ${option[$idx]} \
+                    --value 0; then
                        rc=$((rc + 1))
                fi
        done
@@ -741,6 +470,9 @@ modify_flags() {
 }
 
 squash_id() {
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
+               return
        local cmd
 
        cmd[0]="$LCTL nodemap_modify --property squash_uid"
@@ -771,20 +503,20 @@ test_nid() {
 
 test_idmap() {
        local i
-       local j
-       local fs_id
        local cmd="$LCTL nodemap_test_id"
        local rc=0
 
        ## nodemap deactivated
-       if ! do_facet mgs lctl nodemap_activate 0; then
+       if ! do_facet mgs $LCTL nodemap_activate 0; then
                return 1
        fi
        for ((id = 500; id < NODEMAP_MAX_ID; id++)); do
+               local j
+
                for ((j = 0; j < NODEMAP_RANGE_COUNT; j++)); do
-                       nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
-                       fs_id=$(do_facet mgs $cmd --nid $nid    \
-                               --idtype uid --id $id)
+                       local nid="$SUBNET_CHECKSUM.0.${j}.100@tcp"
+                       local fs_id=$(do_facet mgs $cmd --nid $nid      \
+                                     --idtype uid --id $id)
                        if [ $fs_id != $id ]; then
                                echo "expected $id, got $fs_id"
                                rc=$((rc + 1))
@@ -793,7 +525,7 @@ test_idmap() {
        done
 
        ## nodemap activated
-       if ! do_facet mgs lctl nodemap_activate 1; then
+       if ! do_facet mgs $LCTL nodemap_activate 1; then
                return 2
        fi
 
@@ -812,11 +544,11 @@ test_idmap() {
 
        ## trust client ids
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
-               if ! do_facet mgs $LCTL nodemap_modify                  \
-                               --name ${HOSTNAME_CHECKSUM}_${i}        \
-                               --property trusted --value 1; then
-                       error "nodemap_modify ${HOSTNAME_CHECKSUM}_${i} "
-                               "failed with $rc"
+               local csum=${HOSTNAME_CHECKSUM}_${i}
+
+               if ! do_facet mgs $LCTL nodemap_modify --name $csum \
+                    --property trusted --value 1; then
+                       error "nodemap_modify $csum failed with $?"
                        return 3
                fi
        done
@@ -835,11 +567,11 @@ test_idmap() {
 
        ## ensure allow_root_access is enabled
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
-               if ! do_facet mgs $LCTL nodemap_modify          \
-                       --name ${HOSTNAME_CHECKSUM}_${i}        \
-                       --property admin --value 1; then
-                       error "nodemap_modify ${HOSTNAME_CHECKSUM}_${i} "
-                               "failed with $rc"
+               local csum=${HOSTNAME_CHECKSUM}_${i}
+
+               if ! do_facet mgs $LCTL nodemap_modify --name $csum     \
+                    --property admin --value 1; then
+                       error "nodemap_modify $csum failed with $?"
                        return 3
                fi
        done
@@ -856,8 +588,9 @@ test_idmap() {
 
        ## ensure allow_root_access is disabled
        for ((i = 0; i < NODEMAP_COUNT; i++)); do
-               if ! do_facet mgs $LCTL nodemap_modify          \
-                               --name ${HOSTNAME_CHECKSUM}_${i}        \
+               local csum=${HOSTNAME_CHECKSUM}_${i}
+
+               if ! do_facet mgs $LCTL nodemap_modify --name $csum     \
                                --property admin --value 0; then
                        error "nodemap_modify ${HOSTNAME_CHECKSUM}_${i} "
                                "failed with $rc"
@@ -893,8 +626,8 @@ test_7() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        create_nodemaps
@@ -913,8 +646,8 @@ test_8() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        # Set up nodemaps
@@ -944,8 +677,8 @@ test_9() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -982,8 +715,8 @@ test_10() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1029,8 +762,8 @@ test_11() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1059,8 +792,8 @@ test_12() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1097,8 +830,8 @@ test_13() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1140,8 +873,8 @@ test_14() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1175,8 +908,8 @@ test_15() {
        local rc
 
        remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
                return
 
        rc=0
@@ -1216,28 +949,42 @@ test_15() {
 }
 run_test 15 "test id mapping"
 
+# Until nodemaps are distributed by MGS, they need to be distributed manually
+# This function and all calls to it should be removed once the MGS distributes
+# nodemaps to the MDS and OSS nodes directly.
+do_servers_not_mgs() {
+       local mgs_ip=$(host_nids_address $mgs_HOST $NETTYPE)
+       for node in $(all_server_nodes); do
+               local node_ip=$(host_nids_address $node $NETTYPE)
+               [ $node_ip == $mgs_ip ] && continue
+               do_node $node_ip $*
+       done
+}
+
 create_fops_nodemaps() {
        local i=0
        local client
        for client in $clients; do
-               local client_ip=$($LUSTRE/tests/resolveip $client)
+               local client_ip=$(host_nids_address $client $NETTYPE)
+               local client_nid=$(h2$NETTYPE $client_ip)
                do_facet mgs $LCTL nodemap_add c${i} || return 1
                do_facet mgs $LCTL nodemap_add_range    \
-                       --name c${i} --range $client_ip@tcp || return 1
-               do_facet ost0 $LCTL set_param nodemap.add_nodemap=c${i} ||
+                       --name c${i} --range $client_nid || return 1
+               do_servers_not_mgs $LCTL set_param nodemap.add_nodemap=c${i} ||
+                       return 1
+               do_servers_not_mgs "$LCTL set_param " \
+                       "nodemap.add_nodemap_range='c${i} $client_nid'" ||
                        return 1
-               do_facet ost0 "$LCTL set_param nodemap.add_nodemap_range='c$i \
-                       $client_ip@tcp'" || return 1
                for map in ${FOPS_IDMAPS[i]}; do
                        do_facet mgs $LCTL nodemap_add_idmap --name c${i} \
                                --idtype uid --idmap ${map} || return 1
-                       do_facet ost0 "$LCTL set_param \
-                               nodemap.add_nodemap_idmap='c$i uid ${map}'" ||
+                       do_servers_not_mgs "$LCTL set_param " \
+                               "nodemap.add_nodemap_idmap='c$i uid ${map}'" ||
                                return 1
                        do_facet mgs $LCTL nodemap_add_idmap --name c${i} \
                                --idtype gid --idmap ${map} || return 1
-                       do_facet ost0 "$LCTL set_param \
-                               nodemap.add_nodemap_idmap='c$i gid ${map}'" ||
+                       do_servers_not_mgs "$LCTL set_param " \
+                               nodemap.add_nodemap_idmap='c$i gid ${map}'" ||
                                return 1
                done
                out1=$(do_facet mgs $LCTL get_param nodemap.c${i}.idmap)
@@ -1253,13 +1000,26 @@ delete_fops_nodemaps() {
        local client
        for client in $clients; do
                do_facet mgs $LCTL nodemap_del c${i} || return 1
-               do_facet ost0 $LCTL set_param nodemap.remove_nodemap=c${i} ||
+               do_servers_not_mgs $LCTL set_param nodemap.remove_nodemap=c$i ||
                        return 1
                i=$((i + 1))
        done
        return 0
 }
 
+fops_mds_index=0
+nm_test_mkdir() {
+       if [ $MDSCOUNT -le 1 ]; then
+               do_node ${clients_arr[0]} mkdir -p $DIR/$tdir
+       else
+               # round-robin MDTs to test DNE nodemap support
+               [ ! -d $DIR ] && do_node ${clients_arr[0]} mkdir -p $DIR
+               do_node ${clients_arr[0]} $LFS setdirstripe -c 1 -i \
+                       $((fops_mds_index % MDSCOUNT)) $DIR/$tdir
+               ((fops_mds_index++))
+       fi
+}
+
 # acl test directory needs to be initialized on a privileged client
 fops_test_setup() {
        local admin=$(do_facet mgs $LCTL get_param -n nodemap.c0.admin_nodemap)
@@ -1268,20 +1028,23 @@ fops_test_setup() {
 
        do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
        do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=1
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=1
 
        do_node ${clients_arr[0]} rm -rf $DIR/$tdir
-       do_node ${clients_arr[0]} mkdir -p $DIR/$tdir
+       nm_test_mkdir
        do_node ${clients_arr[0]} chown $user $DIR/$tdir
 
        do_facet mgs $LCTL nodemap_modify --name c0 \
                --property admin --value $admin
        do_facet mgs $LCTL nodemap_modify --name c0 \
                --property trusted --value $trust
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=$admin
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=$trust
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=$admin
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=$trust
 
+       # flush MDT locks to make sure they are reacquired before test
+       do_node ${clients_arr[0]} $LCTL set_param \
+               ldlm.namespaces.$FSNAME-MDT*.lru_size=clear
 }
 
 do_create_delete() {
@@ -1298,8 +1061,8 @@ do_create_delete() {
 
        local res="$c $d"
        local expected=$(get_cr_del_expected $key)
-       [ "$res" != "$expected" ] && error "test $key expected " \
-               "$expected, got $res" && rc=$(($rc+1))
+       [ "$res" != "$expected" ] &&
+               error "test $key, wanted $expected, got $res" && rc=$((rc + 1))
        return $rc
 }
 
@@ -1310,28 +1073,29 @@ nodemap_check_quota() {
 
 do_fops_quota_test() {
        local run_u=$1
-       # define fuzz as 2x ost block size in K
-       local quota_fuzz=$(($(lctl get_param -n osc.lustre-OST0000-*.blocksize |
-               head -1) / 512))
+       # fuzz quota used to account for possible indirect blocks, etc
+       local quota_fuzz=$(fs_log_size)
        local qused_orig=$(nodemap_check_quota "$run_u")
-       local qused_low=$((qused_orig - quota_fuzz))
        local qused_high=$((qused_orig + quota_fuzz))
+       local qused_low=$((qused_orig - quota_fuzz))
        local testfile=$DIR/$tdir/$tfile
        chmod 777 $DIR/$tdir
        $run_u dd if=/dev/zero of=$testfile bs=1M count=1 >& /dev/null
        sync; sync_all_data || true
 
        local qused_new=$(nodemap_check_quota "$run_u")
-       [ $((qused_low + 1024)) -le $((qused_new)) \
-               -a $((qused_high + 1024)) -ge $((qused_new)) ] ||
-               error "$qused_new != $qused_orig + 1M after write"
+       [ $((qused_new)) -lt $((qused_low + 1024)) -o \
+         $((qused_new)) -gt $((qused_high + 1024)) ] &&
+               error "$qused_new != $qused_orig + 1M after write, " \
+                     "fuzz is $quota_fuzz"
        $run_u rm $testfile && d=1
        $NODEMAP_TEST_QUOTA && wait_delete_completed_mds
 
        qused_new=$(nodemap_check_quota "$run_u")
-       [ $((qused_low)) -le $((qused_new)) \
-               -a $((qused_high)) -ge $((qused_new)) ] ||
-               error "quota not reclaimed, expect $qused_orig got $qused_new"
+       [ $((qused_new)) -lt $((qused_low)) \
+               -o $((qused_new)) -gt $((qused_high)) ] &&
+               error "quota not reclaimed, expect $qused_orig, " \
+                     "got $qused_new, fuzz $quota_fuzz"
 }
 
 get_fops_mapped_user() {
@@ -1393,8 +1157,8 @@ get_cr_del_expected() {
        [ "$mapped_user" == "-1" ] &&
                error "unable to find mapping for client user $cli_user"
 
-       if [ "$mapped_user" == "$mds_user" -a  \
-                       $(((mode & 0300) == 0300)) -eq 1 ]; then
+       if [ "$mapped_user" == "$mds_user" -a \
+            $(((mode & 0300) == 0300)) -eq 1 ]; then
                echo $SUCCESS
                return
        fi
@@ -1413,7 +1177,10 @@ test_fops() {
        local mds_i
        local rc=0
        local perm_bit_list="0 3 $((0300)) $((0303))"
-       [ "$SLOW" == "yes" ] && perm_bit_list=$(seq 0 511)
+       # SLOW tests 000-007, 010-070, 100-700 (octal modes)
+       [ "$SLOW" == "yes" ] &&
+               perm_bit_list="0 $(seq 1 7) $(seq 8 8 63) $(seq 64 64 511) \
+                              $((0303))"
 
        # step through mds users. -1 means root
        for mds_i in -1 0 1 2; do
@@ -1429,24 +1196,29 @@ test_fops() {
                for client in $clients; do
                        local u
                        local admin=$(do_facet mgs $LCTL get_param -n \
-                               nodemap.c$cli_i.admin_nodemap)
+                                     nodemap.c$cli_i.admin_nodemap)
                        for u in ${client_user_list[$cli_i]}; do
                                local run_u="do_node $client \
                                             $RUNAS_CMD -u$u -g$u -G$u"
                                for perm_bits in $perm_bit_list; do
                                        local mode=$(printf %03o $perm_bits)
+                                       local key
+                                       key="$mapmode:$user:c$cli_i:$u:$mode"
                                        do_facet mgs $LCTL nodemap_modify \
-                                               --name c$cli_i \
-                                               --property admin \
+                                               --name c$cli_i            \
+                                               --property admin          \
                                                --value 1
-                                       do_node $client chmod $mode $DIR/$tdir
+                                       do_servers_not_mgs $LCTL set_param \
+                                               nodemap.c$cli_i.admin_nodemap=1
+                                       do_node $client chmod $mode $DIR/$tdir \
+                                               || error unable to chmod $key
                                        do_facet mgs $LCTL nodemap_modify \
-                                               --name c$cli_i \
-                                               --property admin \
+                                               --name c$cli_i            \
+                                               --property admin          \
                                                --value $admin
+                                       do_servers_not_mgs $LCTL set_param \
+                                           nodemap.c$cli_i.admin_nodemap=$admin
 
-                                       local key
-                                       key="$mapmode:$user:c$cli_i:$u:$mode"
                                        do_create_delete "$run_u" "$key"
                                done
 
@@ -1462,16 +1234,20 @@ test_fops() {
        return $rc
 }
 
+nodemap_version_check () {
+       remote_mgs_nodsh && skip "remote MGS with nodsh" && return 1
+       [ $(lustre_version_code mgs) -lt $(version_code 2.5.53) ] &&
+               skip "No nodemap on $(lustre_build_version mgs) MGS < 2.5.53" &&
+               return 1
+       return 0
+}
+
 nodemap_test_setup() {
        local rc
        local active_nodemap=$1
 
-       do_facet mgs $LCTL set_param $IDENTITY_UPCALL=NONE
-
-       remote_mgs_nodsh && skip "remote MGS with nodsh" && return
-       [ $(lustre_version_code $SINGLEMGS) -lt $(version_code 2.5.53) ] &&
-               skip "No nodemap on $(get_lustre_version) MGS, need 2.5.53+" &&
-               return
+       do_nodes $(comma_list $(all_mdts_nodes)) \
+               $LCTL set_param mdt.*.identity_upcall=NONE
 
        rc=0
        create_fops_nodemaps
@@ -1480,21 +1256,22 @@ nodemap_test_setup() {
 
        if [ "$active_nodemap" == "0" ]; then
                do_facet mgs $LCTL set_param nodemap.active=0
-               do_facet ost0 $LCTL set_param nodemap.active=0
+               do_servers_not_mgs $LCTL set_param nodemap.active=0
                return
        fi
 
        do_facet mgs $LCTL nodemap_activate 1
-       do_facet ost0 $LCTL set_param nodemap.active=1
+       do_servers_not_mgs $LCTL set_param nodemap.active=1
        do_facet mgs $LCTL nodemap_modify --name default \
                --property admin --value 1
        do_facet mgs $LCTL nodemap_modify --name default \
                --property trusted --value 1
-       do_facet ost0 $LCTL set_param nodemap.default.admin_nodemap=1
-       do_facet ost0 $LCTL set_param nodemap.default.trusted_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.default.admin_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.default.trusted_nodemap=1
 }
 
 nodemap_test_cleanup() {
+       trap 0
        delete_fops_nodemaps
        rc=$?
        [[ $rc != 0 ]] && error "removing fops nodemaps failed $rc"
@@ -1509,25 +1286,31 @@ nodemap_clients_admin_trusted() {
        for client in $clients; do
                do_facet mgs $LCTL nodemap_modify --name c0 \
                        --property admin --value $admin
-               do_facet ost0 $LCTL set_param nodemap.c${i}.admin_nodemap=$admin
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.admin_nodemap=$admin
                do_facet mgs $LCTL nodemap_modify --name c0 \
                        --property trusted --value $tr
-               do_facet ost0 $LCTL set_param nodemap.c${i}.trusted_nodemap=$tr
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.trusted_nodemap=$tr
                i=$((i + 1))
        done
 }
 
 test_16() {
+       nodemap_version_check || return 0
        nodemap_test_setup 0
 
+       trap nodemap_test_cleanup EXIT
        test_fops all_off
        nodemap_test_cleanup
 }
 run_test 16 "test nodemap all_off fileops"
 
 test_17() {
+       nodemap_version_check || return 0
        nodemap_test_setup
 
+       trap nodemap_test_cleanup EXIT
        nodemap_clients_admin_trusted 0 1
        test_fops trusted_noadmin 1
        nodemap_test_cleanup
@@ -1535,7 +1318,10 @@ test_17() {
 run_test 17 "test nodemap trusted_noadmin fileops"
 
 test_18() {
+       nodemap_version_check || return 0
        nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
        nodemap_clients_admin_trusted 0 0
        test_fops mapped_noadmin 1
        nodemap_test_cleanup
@@ -1543,7 +1329,10 @@ test_18() {
 run_test 18 "test nodemap mapped_noadmin fileops"
 
 test_19() {
+       nodemap_version_check || return 0
        nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
        nodemap_clients_admin_trusted 1 1
        test_fops trusted_admin 1
        nodemap_test_cleanup
@@ -1551,7 +1340,10 @@ test_19() {
 run_test 19 "test nodemap trusted_admin fileops"
 
 test_20() {
+       nodemap_version_check || return 0
        nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
        nodemap_clients_admin_trusted 1 0
        test_fops mapped_admin 1
        nodemap_test_cleanup
@@ -1559,7 +1351,10 @@ test_20() {
 run_test 20 "test nodemap mapped_admin fileops"
 
 test_21() {
+       nodemap_version_check || return 0
        nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
        local x=1
        local i=0
        for client in $clients; do
@@ -1567,8 +1362,10 @@ test_21() {
                        --property admin --value 0
                do_facet mgs $LCTL nodemap_modify --name c${i} \
                        --property trusted --value $x
-               do_facet ost0 $LCTL set_param nodemap.c${i}.admin_nodemap=0
-               do_facet ost0 $LCTL set_param nodemap.c${i}.trusted_nodemap=$x
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.admin_nodemap=0
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.trusted_nodemap=$x
                x=0
                i=$((i + 1))
        done
@@ -1578,7 +1375,10 @@ test_21() {
 run_test 21 "test nodemap mapped_trusted_noadmin fileops"
 
 test_22() {
+       nodemap_version_check || return 0
        nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
        local x=1
        local i=0
        for client in $clients; do
@@ -1586,8 +1386,10 @@ test_22() {
                        --property admin --value 1
                do_facet mgs $LCTL nodemap_modify --name c${i} \
                        --property trusted --value $x
-               do_facet ost0 $LCTL set_param nodemap.c${i}.admin_nodemap=1
-               do_facet ost0 $LCTL set_param nodemap.c${i}.trusted_nodemap=$x
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.admin_nodemap=1
+               do_servers_not_mgs $LCTL set_param \
+                       nodemap.c${i}.trusted_nodemap=$x
                x=0
                i=$((i + 1))
        done
@@ -1600,23 +1402,24 @@ run_test 22 "test nodemap mapped_trusted_admin fileops"
 nodemap_acl_test_setup() {
        local admin=$(do_facet mgs $LCTL get_param -n nodemap.c0.admin_nodemap)
        local trust=$(do_facet mgs $LCTL get_param -n \
-               nodemap.c0.trusted_nodemap)
+                     nodemap.c0.trusted_nodemap)
 
        do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
        do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=1
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=1
 
        do_node ${clients_arr[0]} rm -rf $DIR/$tdir
-       do_node ${clients_arr[0]} mkdir -p $DIR/$tdir
-       do_node ${clients_arr[0]} chmod a+rwx $DIR/$tdir
+       nm_test_mkdir
+       do_node ${clients_arr[0]} chmod a+rwx $DIR/$tdir ||
+               error unable to chmod a+rwx test dir $DIR/$tdir
 
        do_facet mgs $LCTL nodemap_modify --name c0 \
                --property admin --value $admin
        do_facet mgs $LCTL nodemap_modify --name c0 \
                --property trusted --value $trust
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=$admin
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=$trust
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=$admin
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=$trust
 
 }
 
@@ -1636,7 +1439,6 @@ nodemap_acl_test() {
        nodemap_acl_test_setup
        sleep 5
 
-       do_node $set_client $RUNAS_USER find $DIR/ -ls
        do_node $set_client $RUNAS_USER touch $testfile
 
        # ACL masks aren't filtered by nodemap code, so we ignore them
@@ -1659,8 +1461,10 @@ nodemap_acl_test() {
 }
 
 test_23() {
+       nodemap_version_check || return 0
        nodemap_test_setup
 
+       trap nodemap_test_cleanup EXIT
        # 1 trusted cluster, 1 mapped cluster
        local unmapped_fs=$((IDBASE+0))
        local unmapped_c1=$((IDBASE+5))
@@ -1670,13 +1474,13 @@ test_23() {
 
        do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 1
        do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 1
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=1
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=1
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=1
 
        do_facet mgs $LCTL nodemap_modify --name c1 --property admin --value 0
        do_facet mgs $LCTL nodemap_modify --name c1 --property trusted --value 0
-       do_facet ost0 $LCTL set_param nodemap.c1.admin_nodemap=0
-       do_facet ost0 $LCTL set_param nodemap.c1.trusted_nodemap=0
+       do_servers_not_mgs $LCTL set_param nodemap.c1.admin_nodemap=0
+       do_servers_not_mgs $LCTL set_param nodemap.c1.trusted_nodemap=0
 
        # setfacl on trusted cluster to unmapped user, verify it's not seen
        nodemap_acl_test $unmapped_fs ${clients_arr[0]} ${clients_arr[1]} ||
@@ -1697,8 +1501,8 @@ test_23() {
        # 2 mapped clusters
        do_facet mgs $LCTL nodemap_modify --name c0 --property admin --value 0
        do_facet mgs $LCTL nodemap_modify --name c0 --property trusted --value 0
-       do_facet ost0 $LCTL set_param nodemap.c0.admin_nodemap=0
-       do_facet ost0 $LCTL set_param nodemap.c0.trusted_nodemap=0
+       do_servers_not_mgs $LCTL set_param nodemap.c0.admin_nodemap=0
+       do_servers_not_mgs $LCTL set_param nodemap.c0.trusted_nodemap=0
 
        # setfacl to mapped user on c1, also mapped to c0, verify it's seen
        nodemap_acl_test $mapped_c1 ${clients_arr[1]} ${clients_arr[0]} &&
@@ -1712,11 +1516,57 @@ test_23() {
 }
 run_test 23 "test mapped ACLs"
 
+test_24() {
+       nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
+       do_nodes $(comma_list $(all_server_nodes)) $LCTL get_param -R nodemap ||
+               error "proc readable file read failed"
+
+       nodemap_test_cleanup
+}
+run_test 24 "check nodemap proc files for LBUGs and Oopses"
+
+test_25() {
+       nodemap_version_check || return 0
+       nodemap_test_setup
+
+       trap nodemap_test_cleanup EXIT
+       local tmpfile=$(mktemp)
+       do_facet mgs $LCTL nodemap_info > $tmpfile
+       cleanup_and_setup_lustre
+       diff -q <(do_facet mgs $LCTL nodemap_info) $tmpfile >& /dev/null ||
+               error "nodemap_info diff after remount"
+
+       nodemap_test_cleanup
+       rm -f $tmpfile
+}
+run_test 25 "test save and reload nodemap config"
+
+test_26() {
+       nodemap_version_check || return 0
+
+       local large_i=13000
+
+       for ((i = 0; i < large_i; i++)); do
+               ((i % 1000 == 0)) && echo $i
+               do_facet mgs $LCTL nodemap_add c$i ||
+                       error "cannot add nodemap $i to config"
+       done
+
+       for ((i = 0; i < large_i; i++)); do
+               ((i % 1000 == 0)) && echo $i
+               do_facet mgs $LCTL nodemap_del c$i ||
+                       error "cannot delete nodemap $i from config"
+       done
+}
+run_test 26 "test transferring very large nodemap"
+
 log "cleanup: ======================================================"
 
 sec_unsetup() {
        ## nodemap deactivated
-       do_facet mgs lctl nodemap_activate 0
+       do_facet mgs $LCTL nodemap_activate 0
 
        for num in $(seq $MDSCOUNT); do
                if [ "${identity_old[$num]}" = 1 ]; then