Whamcloud - gitweb
LU-1182 tests: run accounting tests when OFD is used
[fs/lustre-release.git] / lustre / tests / test-framework.sh
index d3a27c9..146746c 100644 (file)
@@ -1,6 +1,4 @@
 #!/bin/bash
-# -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
-# vim:shiftwidth=4:softtabstop=4:tabstop=4:
 
 trap 'print_summary && touch $TF_FAIL && \
     echo "test-framework exiting on error"' ERR
@@ -131,6 +129,10 @@ init_test_env() {
     export LFSCK_ALWAYS=${LFSCK_ALWAYS:-"no"} # check fs after each test suite
     export FSCK_MAX_ERR=4   # File system errors left uncorrected
 
+       export ZFS=${ZFS:-zfs}
+       export ZPOOL=${ZPOOL:-zpool}
+       export ZDB=${ZDB:-zdb}
+
     #[ -d /r ] && export ROOT=${ROOT:-/r}
     export TMP=${TMP:-$ROOT/tmp}
     export TESTSUITELOG=${TMP}/${TESTSUITE}.log
@@ -195,7 +197,6 @@ init_test_env() {
     export LFS_MIGRATE=${LFS_MIGRATE:-$LUSTRE/scripts/lfs_migrate}
     [ ! -f "$LFS_MIGRATE" ] &&
         export LFS_MIGRATE=$(which lfs_migrate 2> /dev/null)
-    export FSTYPE=${FSTYPE:-"ldiskfs"}
     export NAME=${NAME:-local}
     export LGSSD=${LGSSD:-"$LUSTRE/utils/gss/lgssd"}
     [ "$GSS_PIPEFS" = "true" ] && [ ! -f "$LGSSD" ] && \
@@ -274,12 +275,6 @@ version_code() {
 export LINUX_VERSION=$(uname -r | sed -e "s/[-.]/ /3" -e "s/ .*//")
 export LINUX_VERSION_CODE=$(version_code ${LINUX_VERSION//\./ })
 
-case `uname -r` in
-2.4.*) EXT=".o"; USE_QUOTA=no; [ ! "$CLIENTONLY" ] && FSTYPE=ext3;;
-    *) EXT=".ko"; USE_QUOTA=yes;;
-esac
-
-
 module_loaded () {
    /sbin/lsmod | grep -q "^\<$1\>"
 }
@@ -361,11 +356,27 @@ llite_lloop_enabled() {
 }
 
 load_modules_local() {
-    if [ -n "$MODPROBE" ]; then
-        # use modprobe
-        echo "Using modprobe to load modules"
-        return 0
-    fi
+       if [ "$USE_OFD" == yes ]; then
+               if module_loaded obdfilter; then
+                       if ! $LUSTRE_RMMOD ldiskfs; then
+                               echo "$HOSTNAME may still be using obdfilter.ko"
+                               return 1
+                       fi
+               fi
+       else
+               if module_loaded ofd; then
+                       if ! $LUSTRE_RMMOD ldiskfs; then
+                               echo "$HOSTNAME may still be using ofd.ko"
+                               return 1
+                       fi
+               fi
+       fi
+
+       if [ -n "$MODPROBE" ]; then
+               # use modprobe
+               echo "Using modprobe to load modules"
+               return 0
+       fi
 
     echo Loading modules from $LUSTRE
     load_module ../libcfs/libcfs/libcfs
@@ -390,21 +401,21 @@ load_modules_local() {
         grep -q crc16 $SYMLIST || { modprobe crc16 2>/dev/null || true; }
         grep -q -w jbd $SYMLIST || { modprobe jbd 2>/dev/null || true; }
         grep -q -w jbd2 $SYMLIST || { modprobe jbd2 2>/dev/null || true; }
-        if [ "$FSTYPE" = "ldiskfs" ]; then
-            grep -q exportfs_decode_fh $SYMLIST ||
-                { modprobe exportfs 2> /dev/null || true; }
-            load_module ../ldiskfs/ldiskfs/ldiskfs
-        fi
-        [ "$USE_QUOTA" = "yes" -a "$LQUOTA" != "no" ] && load_module quota/lquota $LQUOTAOPTS
-        load_module mgs/mgs
-        load_module mds/mds
-        load_module mdd/mdd
-        load_module mdt/mdt
-        load_module lvfs/fsfilt_$FSTYPE
-        load_module cmm/cmm
-        load_module osd-ldiskfs/osd_ldiskfs
-        load_module ost/ost
-               if [ "x$USE_OFD" = "xyes" ]; then
+               if [[ $(node_fstypes $HOSTNAME) == *ldiskfs* ]]; then
+                       grep -q exportfs_decode_fh $SYMLIST ||
+                       { modprobe exportfs 2> /dev/null || true; }
+                       load_module ../ldiskfs/ldiskfs/ldiskfs
+               fi
+               [ "$LQUOTA" != "no" ] && load_module quota/lquota $LQUOTAOPTS
+               load_module mgs/mgs
+               load_module mds/mds
+               load_module mdd/mdd
+               load_module mdt/mdt
+               load_module lvfs/fsfilt_ldiskfs
+               load_module cmm/cmm
+               load_module osd-ldiskfs/osd_ldiskfs
+               load_module ost/ost
+               if [ "$USE_OFD" == yes ]; then
                        load_module ofd/ofd
                else
                        load_module obdfilter/obdfilter
@@ -428,15 +439,15 @@ load_modules_local() {
 }
 
 load_modules () {
-    load_modules_local
-    # bug 19124
-    # load modules on remote nodes optionally
-    # lustre-tests have to be installed on these nodes
-    if $LOAD_MODULES_REMOTE ; then
-        local list=$(comma_list $(remote_nodes_list))
-        echo loading modules on $list
-        do_rpc_nodes $list load_modules 
-    fi
+       load_modules_local
+       # bug 19124
+       # load modules on remote nodes optionally
+       # lustre-tests have to be installed on these nodes
+       if $LOAD_MODULES_REMOTE ; then
+               local list=$(comma_list $(remote_nodes_list))
+               echo loading modules on $list
+               do_rpc_nodes $list load_modules_local
+       fi
 }
 
 check_mem_leak () {
@@ -453,18 +464,18 @@ check_mem_leak () {
 }
 
 unload_modules() {
-    wait_exit_ST client # bug 12845
+       wait_exit_ST client # bug 12845
 
-    $LUSTRE_RMMOD $FSTYPE || return 2
+       $LUSTRE_RMMOD ldiskfs || return 2
 
-    if $LOAD_MODULES_REMOTE ; then
-        local list=$(comma_list $(remote_nodes_list))
-        if [ ! -z $list ]; then
-            echo unloading modules on $list
-            do_rpc_nodes $list $LUSTRE_RMMOD $FSTYPE
-            do_rpc_nodes $list check_mem_leak
-        fi
-    fi
+       if $LOAD_MODULES_REMOTE ; then
+               local list=$(comma_list $(remote_nodes_list))
+               if [ ! -z $list ]; then
+                       echo unloading modules on $list
+                       do_rpc_nodes $list $LUSTRE_RMMOD ldiskfs
+                       do_rpc_nodes $list check_mem_leak
+               fi
+       fi
 
     if grep -qe "/sbin/mount\.lustre" /proc/mounts; then
         umount /sbin/mount.lustre || true
@@ -590,18 +601,97 @@ cleanup_gss() {
     fi
 }
 
+facet_type() {
+       local facet=$1
+
+       echo -n $facet | sed -e 's/^fs[0-9]\+//' -e 's/[0-9]\+//' |
+               tr '[:lower:]' '[:upper:]'
+}
+
+facet_number() {
+       local facet=$1
+
+       if [ $facet == mgs ]; then
+               return 1
+       fi
+
+       echo -n $facet | sed -e 's/^fs[0-9]\+//' | sed -e 's/^[a-z]\+//'
+}
+
+facet_fstype() {
+       local facet=$1
+       local var
+
+       var=${facet}_FSTYPE
+       if [ -n "${!var}" ]; then
+               echo -n ${!var}
+               return
+       fi
+
+       var=$(facet_type $facet)FSTYPE
+       if [ -n "${!var}" ]; then
+               echo -n ${!var}
+               return
+       fi
+
+       if [ -n "$FSTYPE" ]; then
+               echo -n $FSTYPE
+               return
+       fi
+
+       return 1
+}
+
+node_fstypes() {
+       local node=$1
+       local fstypes
+       local fstype
+       local facets=$(get_facets)
+       local facet
+
+       for facet in ${facets//,/ }; do
+               if [ $node == $(facet_host $facet) ] ||
+                  [ $node == "$(facet_failover_host $facet)" ]; then
+                       fstype=$(facet_fstype $facet)
+                       if [[ $fstypes != *$fstype* ]]; then
+                               fstypes+="${fstypes:+,}$fstype"
+                       fi
+               fi
+       done
+       echo -n $fstypes
+}
+
+devicelabel() {
+       local facet=$1
+       local dev=$2
+       local label
+       local fstype=$(facet_fstype $facet)
+
+       case $fstype in
+       ldiskfs)
+               label=$(do_facet ${facet} "$E2LABEL ${dev} 2>/dev/null");;
+       zfs)
+               label=$(do_facet ${facet} "$ZFS get -H -o value lustre:svname \
+                                          ${dev} 2>/dev/null");;
+       *)
+               error "unknown fstype!";;
+       esac
+
+       echo -n $label
+}
+
 mdsdevlabel() {
-    local num=$1
-    local device=`mdsdevname $num`
-    local label=`do_facet mds$num "e2label ${device}" | grep -v "CMD: "`
-    echo -n $label
+       local num=$1
+       local device=$(mdsdevname $num)
+       local label=$(devicelabel mds$num ${device} | grep -v "CMD: ")
+       echo -n $label
 }
 
 ostdevlabel() {
-    local num=$1
-    local device=`ostdevname $num`
-    local label=`do_facet ost$num "e2label ${device}" | grep -v "CMD: "`
-    echo -n $label
+       local num=$1
+       local device=$(ostdevname $num)
+       local label=$(devicelabel ost$num ${device} | grep -v "CMD: ")
+       echo -n $label
 }
 
 set_debug_size () {
@@ -671,25 +761,54 @@ mount_facets () {
        done
 }
 
-mount_facet() {
-    local facet=$1
-    shift
-    local dev=$(facet_active $facet)_dev
-    local opt=${facet}_opt
-    local mntpt=$(facet_mntpt $facet)
+#
+# Add argument "arg" (e.g., "loop") to the comma-separated list
+# of arguments for option "opt" (e.g., "-o") on command
+# line "opts" (e.g., "-o flock").
+#
+csa_add() {
+       local opts=$1
+       local opt=$2
+       local arg=$3
+       local opt_pattern="\([[:space:]]\+\|^\)$opt"
 
-    echo "Starting ${facet}: ${!opt} $@ ${!dev} $mntpt"
-    do_facet ${facet} "mkdir -p $mntpt; mount -t lustre ${!opt} $@ ${!dev} $mntpt"
-    RC=${PIPESTATUS[0]}
-    # to allow testing LU-482 error handling in mount_facets() and test_0a()
-    [ -f $TMP/test-lu482-trigger ] && RC=2
-    if [ $RC -ne 0 ]; then
-        echo "mount -t lustre $@ ${!dev} $mntpt"
-        echo "Start of ${!dev} on ${facet} failed ${RC}"
+       if echo "$opts" | grep -q $opt_pattern; then
+               opts=$(echo "$opts" | sed -e \
+                       "s/$opt_pattern[[:space:]]*[^[:space:]]\+/&,$arg/")
+       else
+               opts+="${opts:+ }$opt $arg"
+       fi
+       echo -n "$opts"
+}
+
+mount_facet() {
+       local facet=$1
+       shift
+       local dev=$(facet_active $facet)_dev
+       local opt=${facet}_opt
+       local mntpt=$(facet_mntpt $facet)
+       local opts="${!opt} $@"
+
+       if [ $(facet_fstype $facet) == ldiskfs ] &&
+          ! do_facet $facet test -b ${!dev}; then
+               opts=$(csa_add "$opts" -o loop)
+       fi
+
+       echo "Starting ${facet}: $opts ${!dev} $mntpt"
+       # for testing LU-482 error handling in mount_facets() and test_0a()
+       if [ -f $TMP/test-lu482-trigger ]; then
+               RC=2
+       else
+               do_facet ${facet} "mkdir -p $mntpt; mount -t lustre $opts \
+                                  ${!dev} $mntpt"
+               RC=${PIPESTATUS[0]}
+       fi
+       if [ $RC -ne 0 ]; then
+               echo "Start of ${!dev} on ${facet} failed ${RC}"
     else
         set_default_debug_facet $facet
 
-        label=$(do_facet ${facet} "$E2LABEL ${!dev}")
+               label=$(devicelabel ${facet} ${!dev})
         [ -z "$label" ] && echo no label for ${!dev} && exit 1
         eval export ${facet}_svc=${label}
         echo Started ${label}
@@ -783,6 +902,11 @@ restore_quota_type () {
 setup_quota(){
     local mntpt=$1
 
+       if [ "$USE_OFD" = "yes" ]; then
+               $LFS quotacheck $mntpt || error "quotacheck failed"
+               return
+       fi
+
     # We need save the original quota_type params, and restore them after testing
 
     # Suppose that quota type the same on mds and ost
@@ -1888,6 +2012,25 @@ facet_host() {
     echo -n ${!varname}
 }
 
+facet_failover_host() {
+       local facet=$1
+       local var
+
+       var=${facet}failover_HOST
+       if [ -n "${!var}" ]; then
+               echo ${!var}
+               return
+       fi
+
+       if [[ $facet == ost* ]]; then
+               var=ostfailover_HOST
+               if [ -n "${!var}" ]; then
+                       echo ${!var}
+                       return
+               fi
+       fi
+}
+
 facet_active() {
     local facet=$1
     local activevar=${facet}active
@@ -1997,13 +2140,15 @@ single_local_node () {
 
 # Outputs environment variable assignments that should be passed to remote nodes
 get_env_vars() {
-    local var
-    local value
+       local var
+       local value
 
-    for var in ${!MODOPTS_*}; do
-        value=${!var}
-        echo "${var}=\"$value\""
-    done
+       for var in ${!MODOPTS_*}; do
+               value=${!var}
+               echo -n " ${var}=\"$value\""
+       done
+
+       echo -n " USE_OFD=$USE_OFD"
 }
 
 do_nodes() {
@@ -2073,19 +2218,121 @@ add() {
 ostdevname() {
     num=$1
     DEVNAME=OSTDEV$num
-    #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
-    eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}}
+
+       local fstype=$(facet_fstype ost$num)
+
+       case $fstype in
+               ldiskfs )
+                       #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
+                       eval DEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}};;
+               zfs )
+                       #dataset name is independent of vdev device names
+                       eval DEVPTR=${FSNAME}-ost${num}/ost${num};;
+               * )
+                       error "unknown fstype!";;
+       esac
+
     echo -n $DEVPTR
 }
 
+ostvdevname() {
+       num=$1
+       DEVNAME=OSTDEV$num
+
+       local fstype=$(facet_fstype ost$num)
+
+       case $fstype in
+               ldiskfs )
+                       # vdevs are not supported by ldiskfs
+                       eval VDEVPTR="";;
+               zfs )
+                       #if $OSTDEVn isn't defined, default is $OSTDEVBASE + num
+                       eval VDEVPTR=${!DEVNAME:=${OSTDEVBASE}${num}};;
+               * )
+                       error "unknown fstype!";;
+       esac
+
+       echo -n $VDEVPTR
+}
+
 mdsdevname() {
     num=$1
     DEVNAME=MDSDEV$num
-    #if $MDSDEVn isn't defined, default is $MDSDEVBASE + num
-    eval DEVPTR=${!DEVNAME:=${MDSDEVBASE}${num}}
+
+       local fstype=$(facet_fstype mds$num)
+
+       case $fstype in
+               ldiskfs )
+                       #if $MDSDEVn isn't defined, default is $MDSDEVBASE + num
+                       eval DEVPTR=${!DEVNAME:=${MDSDEVBASE}${num}};;
+               zfs )
+                       #dataset name is independent of vdev device names
+                       eval DEVPTR=${FSNAME}-mdt${num}/mdt${num};;
+               * )
+                       error "unknown fstype!";;
+       esac
+
+       echo -n $DEVPTR
+}
+
+mdsvdevname() {
+       num=$1
+       DEVNAME=MDSDEV$num
+
+       local fstype=$(facet_fstype mds$num)
+
+       case $fstype in
+               ldiskfs )
+                       # vdevs are not supported by ldiskfs
+                       eval VDEVPTR="";;
+               zfs )
+                       #if $MDSDEVn isn't defined, default is $MDSDEVBASE + num
+                       eval VDEVPTR=${!DEVNAME:=${MDSDEVBASE}${num}};;
+               * )
+                       error "unknown fstype!";;
+       esac
+
+       echo -n $VDEVPTR
+}
+
+mgsdevname() {
+       DEVNAME=MGSDEV
+
+       local fstype=$(facet_fstype mds$num)
+
+       case $fstype in
+               ldiskfs )
+                       #if $MGSDEV isn't defined, default is $MDSDEV1
+                       eval DEVPTR=${!DEVNAME:=${MDSDEV1}};;
+               zfs )
+                       #dataset name is independent of vdev device names
+                       eval DEVPTR=${FSNAME}-mgs/mgs;;
+               * )
+                       error "unknown fstype!";;
+       esac
+
     echo -n $DEVPTR
 }
 
+mgsvdevname() {
+       DEVNAME=MGSDEV
+
+       local fstype=$(facet_fstype mds$num)
+
+       case $fstype in
+               ldiskfs )
+                       # vdevs are not supported by ldiskfs
+                       eval VDEVPTR="";;
+               zfs )
+                       #if $MGSDEV isn't defined, default is $MGSDEV1
+                       eval VDEVPTR=${!DEVNAME:=${MDSDEV1}};;
+               * )
+                       error "unknown fstype!";;
+       esac
+
+       echo -n $VDEVPTR
+}
+
 facet_mntpt () {
     local facet=$1
     [[ $facet = mgs ]] && combined_mgs_mds && facet="mds1"
@@ -2158,88 +2405,123 @@ combined_mgs_mds () {
     [[ $MDSDEV1 = $MGSDEV ]] && [[ $mds1_HOST = $mgs_HOST ]]
 }
 
-mkfs_opts () {
-    local facet=$1
+lower() {
+       echo -n "$1" | tr '[:upper:]' '[:lower:]'
+}
 
-    local tgt=$(echo $facet | tr -d [:digit:] | tr "[:lower:]" "[:upper:]")
-    local optvar=${tgt}_MKFS_OPTS
-    local opt=${!optvar}
+upper() {
+       echo -n "$1" | tr '[:lower:]' '[:upper:]'
+}
 
-    # FIXME: ! combo  mgs/mds + mgsfailover is not supported yet
-    [[ $facet = mgs ]] && echo $opt && return
+mkfs_opts() {
+       local facet=$1
+       local type=$(facet_type $facet)
+       local index=$(($(facet_number $facet) - 1))
+       local fstype=$(facet_fstype $facet)
+       local opts
+       local fs_mkfs_opts
+       local var
 
-    # 1.
-    # --failnode options 
-    local var=${facet}failover_HOST
-    if [ x"${!var}" != x ] && [ x"${!var}" != x$(facet_host $facet) ] ; then
-        local failnode=$(h2$NETTYPE ${!var})
-        failnode="--failnode=$failnode"
-        # options does not contain
-        # or contains wrong --failnode=
-        if [[ $opt != *${failnode}* ]]; then
-            opt=$(echo $opt | sed 's/--failnode=.* / /')
-            opt="$opt $failnode"
-        fi
-    fi
+       if [ $type == MGS ] && combined_mgs_mds; then
+               return 1
+       fi
 
-    # 2.
-    # --mgsnode options
-    # no additional mkfs mds "--mgsnode" option for this configuration
-    if [[ $facet = mds ]] && combined_mgs_mds; then
-        echo $opt
-        return
-    fi
+       if [ $type == MGS ] || ( [ $type == MDS ] && combined_mgs_mds ); then
+               opts="--mgs"
+       else
+               opts="--mgsnode=$MGSNID"
+       fi
 
-    # additional mkfs "--mgsnode"
-    local mgsnode="--mgsnode=$MGSNID"
-    opt=${opt//$mgsnode }
-    for nid in ${MGSNID//:/ }; do
-        local mgsnode="--mgsnode=$nid"
-        # options does not contain
-        # --mgsnode=$nid
-        if [[ $opt != *${mgsnode}" "* ]]; then
-            opt="$opt --mgsnode=$nid"
-        fi
-    done
+       if [ $type != MGS ]; then
+               opts+=" --fsname=$FSNAME --$(lower ${type/MDS/MDT}) --index=$index"
+       fi
 
-    echo $opt
-}
+       var=${facet}failover_HOST
+       if [ -n "${!var}" ] && [ ${!var} != $(facet_host $facet) ]; then
+               opts+=" --failnode=$(h2$NETTYPE ${!var})"
+       fi
 
-formatall() {
-    if [ "$IAMDIR" == "yes" ]; then
-        MDS_MKFS_OPTS="$MDS_MKFS_OPTS --iam-dir"
-    fi
+       opts+=${TIMEOUT:+" --param=sys.timeout=$TIMEOUT"}
+       opts+=${LDLM_TIMEOUT:+" --param=sys.ldlm_timeout=$LDLM_TIMEOUT"}
 
-    [ "$FSTYPE" ] && FSTYPE_OPT="--backfstype $FSTYPE"
+       if [ $type == MDS ]; then
+               opts+=${SECLEVEL:+" --param=mdt.sec_level"}
+               opts+=${MDSCAPA:+" --param-mdt.capa=$MDSCAPA"}
+               opts+=${STRIPE_BYTES:+" --param=lov.stripesize=$STRIPE_BYTES"}
+               opts+=${STRIPES_PER_OBJ:+" --param=lov.stripecount=$STRIPES_PER_OBJ"}
+               opts+=${L_GETIDENTITY:+" --param=mdt.identity_upcall=$L_GETIDENTITY"}
 
-    stopall
-    # We need ldiskfs here, may as well load them all
-    load_modules
-    [ "$CLIENTONLY" ] && return
-    echo Formatting mgs, mds, osts
-    if ! combined_mgs_mds ; then
-        add mgs $(mkfs_opts mgs) $FSTYPE_OPT --reformat $MGSDEV || exit 10
-    fi
+               if [ $fstype == ldiskfs ]; then
+                       opts+=${IAMDIR:+" --iam-dir"}
 
-    for num in `seq $MDSCOUNT`; do
-        echo "Format mds$num: $(mdsdevname $num)"
-        if $VERBOSE; then
-            add mds$num $(mkfs_opts mds) $FSTYPE_OPT --reformat $(mdsdevname $num) || exit 10
-        else
-            add mds$num $(mkfs_opts mds) $FSTYPE_OPT --reformat $(mdsdevname $num) > /dev/null || exit 10
-        fi
-    done
+                       fs_mkfs_opts+=${MDSJOURNALSIZE:+" -J size=$MDSJOURNALSIZE"}
+                       fs_mkfs_opts+=${MDSISIZE:+" -i $MDSISIZE"}
+               fi
+       fi
 
-    # the ost-s could have different OST_MKFS_OPTS
-    # because of different failnode-s
-    for num in `seq $OSTCOUNT`; do
-        echo "Format ost$num: $(ostdevname $num)"
-        if $VERBOSE; then
-            add ost$num $(mkfs_opts ost${num}) $FSTYPE_OPT --reformat `ostdevname $num` || exit 10
-        else
-            add ost$num $(mkfs_opts ost${num}) $FSTYPE_OPT --reformat `ostdevname $num` > /dev/null || exit 10
-        fi
-    done
+       if [ $type == OST ]; then
+               opts+=${SECLEVEL:+" --param=ost.sec_level"}
+               opts+=${OSSCAPA:+" --param=ost.capa=$OSSCAPA"}
+
+               if [ $fstype == ldiskfs ]; then
+                       fs_mkfs_opts+=${OSTJOURNALSIZE:+" -J size=$OSTJOURNALSIZE"}
+               fi
+       fi
+
+       opts+=" --backfstype=$fstype"
+
+       var=${type}SIZE
+       if [ -n "${!var}" ]; then
+               opts+=" --device-size=${!var}"
+       fi
+
+       var=$(upper $fstype)_MKFS_OPTS
+       fs_mkfs_opts+=${!var:+" ${!var}"}
+
+       var=${type}_FS_MKFS_OPTS
+       fs_mkfs_opts+=${!var:+" ${!var}"}
+
+       if [ -n "${fs_mkfs_opts## }" ]; then
+               opts+=" --mkfsoptions=\\\"${fs_mkfs_opts## }\\\""
+       fi
+
+       var=${type}OPT
+       opts+=${!var:+" ${!var}"}
+
+       echo -n "$opts"
+}
+
+formatall() {
+       local quiet
+
+       if ! $VERBOSE; then
+               quiet=yes
+       fi
+
+       stopall
+       # We need ldiskfs here, may as well load them all
+       load_modules
+       [ "$CLIENTONLY" ] && return
+       echo Formatting mgs, mds, osts
+       if ! combined_mgs_mds ; then
+               echo "Format mgs: $(mgsdevname)"
+               add mgs $(mkfs_opts mgs) --reformat $(mgsdevname) \
+                       $(mgsvdevname) ${quiet:+>/dev/null} || exit 10
+               fi
+
+               for num in `seq $MDSCOUNT`; do
+                       echo "Format mds$num: $(mdsdevname $num)"
+                       add mds$num $(mkfs_opts mds$num) --reformat \
+                       $(mdsdevname $num) $(mdsvdevname $num) \
+                       ${quiet:+>/dev/null} || exit 10
+               done
+
+               for num in `seq $OSTCOUNT`; do
+                       echo "Format ost$num: $(ostdevname $num)"
+                       add ost$num $(mkfs_opts ost$num) --reformat \
+                       $(ostdevname $num) $(ostvdevname ${num}) \
+                       ${quiet:+>/dev/null} || exit 10
+               done
 }
 
 mount_client() {
@@ -2319,7 +2601,7 @@ setupall() {
         echo $WRITECONF | grep -q "writeconf" && \
             writeconf_all
         if ! combined_mgs_mds ; then
-            start mgs $MGSDEV $MGS_MOUNT_OPTS
+                       start mgs $(mgsdevname) $MGS_MOUNT_OPTS
         fi
 
         for num in `seq $MDSCOUNT`; do
@@ -2400,7 +2682,7 @@ init_facet_vars () {
     eval export ${facet}_opt=\"$@\"
 
     local dev=${facet}_dev
-    local label=$(do_facet ${facet} "$E2LABEL ${!dev}")
+       local label=$(devicelabel ${facet} ${!dev})
     [ -z "$label" ] && echo no label for ${!dev} && exit 1
 
     eval export ${facet}_svc=${label}
@@ -2440,7 +2722,7 @@ init_facets_vars () {
         done
     fi
 
-    combined_mgs_mds || init_facet_vars mgs $MGSDEV $MGS_MOUNT_OPTS
+       combined_mgs_mds || init_facet_vars mgs $(mgsdevname) $MGS_MOUNT_OPTS
 
     remote_ost_nodsh && return
 
@@ -2478,7 +2760,7 @@ init_param_vars () {
     osc_ensure_active $SINGLEMDS $TIMEOUT
     osc_ensure_active client $TIMEOUT
 
-    if [ $QUOTA_AUTO -ne 0 ]; then
+       if [ $QUOTA_AUTO -ne 0 ]; then
         if [ "$ENABLE_QUOTA" ]; then
             echo "enable quota as required"
             setup_quota $MOUNT || return 2
@@ -2652,12 +2934,14 @@ check_and_setup_lustre() {
         set_default_debug_nodes $(comma_list $(nodes_list))
     fi
 
-    init_gss
-    set_flavor_all $SEC
+       init_gss
+       if $GSS; then
+               set_flavor_all $SEC
+       fi
 
-    if [ "$ONLY" == "setup" ]; then
-        exit 0
-    fi
+       if [ "$ONLY" == "setup" ]; then
+               exit 0
+       fi
 }
 
 restore_mount () {
@@ -3036,11 +3320,14 @@ pause_bulk() {
 
 drop_ldlm_cancel() {
 #define OBD_FAIL_LDLM_CANCEL             0x304
-    RC=0
-    do_facet client lctl set_param fail_loc=0x304
-    do_facet client "$@" || RC=$?
-    do_facet client lctl set_param fail_loc=0
-    return $RC
+       local RC=0
+       local list=$(comma_list $(mdts_nodes) $(osts_nodes))
+       do_nodes $list lctl set_param fail_loc=0x304
+
+       do_facet client "$@" || RC=$?
+
+       do_nodes $list lctl set_param fail_loc=0
+       return $RC
 }
 
 drop_bl_callback() {
@@ -3462,7 +3749,7 @@ run_one_logged() {
 
     umask $SAVE_UMASK
 
-    return 0
+    return $RC
 }
 
 #
@@ -3832,7 +4119,7 @@ fi"
 # Run multiop in the background, but wait for it to print
 # "PAUSING" to its stdout before returning from this function.
 multiop_bg_pause() {
-    MULTIOP_PROG=${MULTIOP_PROG:-multiop}
+    MULTIOP_PROG=${MULTIOP_PROG:-$MULTIOP}
     FILE=$1
     ARGS=$2
 
@@ -4786,32 +5073,44 @@ run_llverfs()
 }
 
 remove_mdt_files() {
-    local facet=$1
-    local mdtdev=$2
-    shift 2
-    local files="$@"
-    local mntpt=$(facet_mntpt $facet)
-
-    echo "removing files from $mdtdev on $facet: $files"
-    mount -t $FSTYPE $MDS_MOUNT_OPTS $mdtdev $mntpt || return $?
-    rc=0;
-    for f in $files; do
-        rm $mntpt/ROOT/$f || { rc=$?; break; }
-    done
-    umount -f $mntpt || return $?
-    return $rc
+       local facet=$1
+       local mdtdev=$2
+       shift 2
+       local files="$@"
+       local mntpt=$(facet_mntpt $facet)
+       local opts=$MDS_MOUNT_OPTS
+
+       echo "removing files from $mdtdev on $facet: $files"
+       if [ $(facet_fstype $facet) == ldiskfs ] &&
+          ! do_facet $facet test -b ${!dev}; then
+               opts=$(csa_add "$opts" -o loop)
+       fi
+       mount -t $(facet_fstype $facet) $opts $mdtdev $mntpt ||
+               return $?
+       rc=0;
+       for f in $files; do
+               rm $mntpt/ROOT/$f || { rc=$?; break; }
+       done
+       umount -f $mntpt || return $?
+       return $rc
 }
 
 duplicate_mdt_files() {
-    local facet=$1
-    local mdtdev=$2
-    shift 2
-    local files="$@"
-    local mntpt=$(facet_mntpt $facet)
-
-    echo "duplicating files on $mdtdev on $facet: $files"
-    mkdir -p $mntpt || return $?
-    mount -t $FSTYPE $MDS_MOUNT_OPTS $mdtdev $mntpt || return $?
+       local facet=$1
+       local mdtdev=$2
+       shift 2
+       local files="$@"
+       local mntpt=$(facet_mntpt $facet)
+       local opts=$MDS_MOUNT_OPTS
+
+       echo "duplicating files on $mdtdev on $facet: $files"
+       mkdir -p $mntpt || return $?
+       if [ $(facet_fstype $facet) == ldiskfs ] &&
+          ! do_facet $facet test -b ${!dev}; then
+               opts=$(csa_add "$opts" -o loop)
+       fi
+       mount -t $(facet_fstype $facet) $opts $mdtdev $mntpt ||
+               return $?
 
     do_umount() {
         trap 0