lustre/tests/mdsrate-create-large.sh

   1 #!/bin/bash
   2 #
   3 # This test was used in a set of CMD3 tests (cmd3-4 test).
   4
   5 LUSTRE=${LUSTRE:-$(dirname $0)/..}
   6 . $LUSTRE/tests/test-framework.sh
   7 init_test_env $@
   8
   9 assert_env CLIENTS MDSRATE SINGLECLIENT MPIRUN
  10
  11 BASEDIR=$MOUNT/mdsrate
  12
  13 # Requirements
  14 # set NUM_FILES=0 to force TIME_PERIOD work
  15 NUM_FILES=${NUM_FILES:-1000000}
  16 TIME_PERIOD=${TIME_PERIOD:-600}                        # seconds
  17
  18 # Local test variables
  19 TESTDIR_SINGLE="${BASEDIR}/single"
  20 TESTDIR_MULTI="${BASEDIR}/multi"
  21
  22 LOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
  23 CLIENT=$SINGLECLIENT
  24 NODES_TO_USE=${NODES_TO_USE:-$CLIENTS}
  25 NUM_CLIENTS=$(get_node_count ${NODES_TO_USE//,/ })
  26
  27 [ ! -x ${MDSRATE} ] && error "${MDSRATE} not built."
  28
  29 log "===== $0 ====== "
  30
  31 check_and_setup_lustre
  32
  33 MDSRATE_ENABLE_DNE=${MDSRATE_ENABLE_DNE:-false}
  34 if $MDSRATE_ENABLE_DNE; then
  35         test_mkdir $BASEDIR
  36         mdtcount_opt="--mdtcount $MDSCOUNT"
  37 else
  38         mkdir $BASEDIR
  39 fi
  40 if $VERBOSE; then
  41         debug_opt="--debug"
  42 fi
  43 chmod 0777 $BASEDIR
  44 mdsrate_STRIPEPARAMS=${mdsrate_STRIPEPARAMS:-${fs_STRIPEPARAMS:-"-c -1"}}
  45 setstripe_getstripe $BASEDIR $mdsrate_STRIPEPARAMS
  46
  47 IFree=$(mdsrate_inodes_available)
  48 if [ $IFree -lt $NUM_FILES ]; then
  49     NUM_FILES=$IFree
  50 fi
  51
  52 generate_machine_file $NODES_TO_USE $MACHINEFILE ||
  53         error "can not generate machinefile"
  54
  55 p="$TMP/$TESTSUITE-$TESTNAME.parameters"
  56 save_lustre_params $(get_facets MDS) mdt.*.enable_remote_dir_gid > $p
  57 do_nodes $(comma_list $(mdts_nodes)) \
  58         $LCTL set_param mdt.*.enable_remote_dir_gid=-1
  59
  60 # Make sure we start with a clean slate
  61 rm -f ${LOG}
  62
  63 if [ -n "$NOSINGLE" ]; then
  64     echo "NO Test for creates for a single client."
  65 else
  66     # We can use np = $NUM_CLIENTS to speed up the cleanup
  67     mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES $TESTDIR_SINGLE 'f%%d' --ignore
  68
  69     log "===== $0 ### 1 NODE CREATE ###"
  70
  71         COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --create --time ${TIME_PERIOD}
  72                 --nfiles ${NUM_FILES} --dir ${TESTDIR_SINGLE} --filefmt 'f%%d'
  73                 $mdtcount_opt $debug_opt"
  74         echo "+ ${COMMAND}"
  75         mpi_run ${MACHINEFILE_OPTION} ${MACHINEFILE} -np 1 ${COMMAND} |
  76                 tee ${LOG}
  77
  78         if [ ${PIPESTATUS[0]} != 0 ]; then
  79                 [ -f $LOG ] && sed -e "s/^/log: /" $LOG
  80                 error_noexit "mdsrate create on single client failed, aborting"
  81                 restore_lustre_params < $p
  82                 mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES \
  83                                 $TESTDIR_SINGLE 'f%%d' --ignore
  84                 exit 1
  85         fi
  86
  87     log "===== $0 ### 1 NODE UNLINK ###"
  88
  89     COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --unlink
  90                 --nfiles ${NUM_FILES} --dir ${TESTDIR_SINGLE} --filefmt 'f%%d'"
  91     echo "+ ${COMMAND}"
  92     mpi_run ${MACHINEFILE_OPTION} ${MACHINEFILE} -np 1 ${COMMAND} | tee ${LOG}
  93
  94     if [ ${PIPESTATUS[0]} != 0 ]; then
  95         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
  96         error "mdsrate unlink on a single client failed, aborting"
  97     fi
  98
  99     rmdir $TESTDIR_SINGLE
 100 fi
 101
 102 IFree=$(mdsrate_inodes_available)
 103 if [ $IFree -lt $NUM_FILES ]; then
 104     NUM_FILES=$IFree
 105 fi
 106
 107 [ $NUM_CLIENTS -eq 1 ] && NOMULTI=yes
 108 if [ -n "$NOMULTI" ]; then
 109     echo "NO test for create on multiple nodes."
 110 else
 111     mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES $TESTDIR_MULTI 'f%%d' --ignore
 112
 113     log "===== $0 ### $NUM_CLIENTS NODES CREATE ###"
 114
 115         COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --create --time ${TIME_PERIOD}
 116                 --nfiles $NUM_FILES --dir ${TESTDIR_MULTI} --filefmt 'f%%d'"
 117         echo "+ ${COMMAND}"
 118         mpi_run ${MACHINEFILE_OPTION} ${MACHINEFILE} -np ${NUM_CLIENTS} \
 119                 ${COMMAND} | tee ${LOG}
 120
 121         if [ ${PIPESTATUS[0]} != 0 ]; then
 122                 [ -f $LOG ] && sed -e "s/^/log: /" $LOG
 123                 error_noexit "mdsrate create on multiple nodes failed, aborting"
 124                 restore_lustre_params < $p
 125                 mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES \
 126                                 $TESTDIR_MULTI 'f%%d' --ignore
 127                 exit 1
 128         fi
 129
 130     log "===== $0 ### $NUM_CLIENTS NODES UNLINK ###"
 131
 132         COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --unlink
 133                 --nfiles ${NUM_FILES} --dir ${TESTDIR_MULTI} --filefmt 'f%%d'"
 134         echo "+ ${COMMAND}"
 135         mpi_run ${MACHINEFILE_OPTION} ${MACHINEFILE} -np ${NUM_CLIENTS} \
 136                 ${COMMAND} | tee ${LOG}
 137
 138     if [ ${PIPESTATUS[0]} != 0 ]; then
 139         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
 140         error "mdsrate unlink on multiple nodes failed, aborting"
 141     fi
 142
 143     rmdir $TESTDIR_MULTI
 144 fi
 145
 146 restore_lustre_params < $p
 147 rmdir $BASEDIR || true
 148 rm -f $MACHINEFILE
 149 check_and_cleanup_lustre
 150 #rm -f $LOG
 151
 152 exit 0