Whamcloud - gitweb
aa99a1cb6139d8f36d8ca9c628697d5e91a42d66
[fs/lustre-release.git] / lustre / tests / mdsrate-create-large.sh
1 #!/bin/bash
2 #
3 # This test was used in a set of CMD3 tests (cmd3-4 test).
4
5 LUSTRE=${LUSTRE:-`dirname $0`/..}
6 . $LUSTRE/tests/test-framework.sh
7 init_test_env $@
8 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
9
10 assert_env CLIENTS MDSRATE SINGLECLIENT MPIRUN
11
12 MACHINEFILE=${MACHINEFILE:-$TMP/$(basename $0 .sh).machines}
13 BASEDIR=$MOUNT/mdsrate
14
15 # Requirements
16 # set NUM_FILES=0 to force TIME_PERIOD work  
17 NUM_FILES=${NUM_FILES:-1000000}
18 TIME_PERIOD=${TIME_PERIOD:-600}                        # seconds
19
20 # Local test variables
21 TESTDIR_SINGLE="${BASEDIR}/single"
22 TESTDIR_MULTI="${BASEDIR}/multi"
23
24 LOG=${TESTSUITELOG:-$TMP/$(basename $0 .sh).log}
25 CLIENT=$SINGLECLIENT
26 NODES_TO_USE=${NODES_TO_USE:-$CLIENTS}
27 NUM_CLIENTS=$(get_node_count ${NODES_TO_USE//,/ })
28
29 [ ! -x ${MDSRATE} ] && error "${MDSRATE} not built."
30
31 log "===== $0 ====== " 
32
33 check_and_setup_lustre
34
35 mkdir -p $BASEDIR
36 chmod 0777 $BASEDIR
37 $LFS setstripe $BASEDIR -c -1
38 get_stripe $BASEDIR
39
40 IFree=$(mdsrate_inodes_available)
41 if [ $IFree -lt $NUM_FILES ]; then
42     NUM_FILES=$IFree
43 fi
44
45 generate_machine_file $NODES_TO_USE $MACHINEFILE || error "can not generate machinefile"
46
47 # Make sure we start with a clean slate
48 rm -f ${LOG}
49
50 if [ -n "$NOSINGLE" ]; then
51     echo "NO Test for creates for a single client."
52 else
53     # We can use np = $NUM_CLIENTS to speed up the cleanup
54     mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES $TESTDIR_SINGLE 'f%%d' --ignore
55
56     log "===== $0 ### 1 NODE CREATE ###"
57
58     COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --create --time ${TIME_PERIOD}
59                 --nfiles ${NUM_FILES} --dir ${TESTDIR_SINGLE} --filefmt 'f%%d'"
60     echo "+ ${COMMAND}"
61     mpi_run -np 1 -machinefile ${MACHINEFILE} ${COMMAND} | tee ${LOG}
62
63     if [ ${PIPESTATUS[0]} != 0 ]; then
64         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
65         error "mdsrate creates for a single client failed, aborting"
66     fi
67     
68     log "===== $0 ### 1 NODE UNLINK ###"
69
70     if [ -f "$LOG" ]; then
71         CREATED=$(awk '/total:/ { print $7 }' $LOG)
72         [ $CREATED -gt 0 ] && NUM_FILES=$CREATED
73     fi
74
75     COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --unlink
76                 --nfiles ${NUM_FILES} --dir ${TESTDIR_SINGLE} --filefmt 'f%%d'"
77     echo "+ ${COMMAND}"
78     mpi_run -np 1 -machinefile ${MACHINEFILE} ${COMMAND} | tee ${LOG}
79  
80     if [ ${PIPESTATUS[0]} != 0 ]; then
81         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
82         error "mdsrate unlink on a single client failed, aborting"
83     fi
84
85     rmdir $TESTDIR_SINGLE
86 fi
87
88 IFree=$(mdsrate_inodes_available)
89 if [ $IFree -lt $NUM_FILES ]; then
90     NUM_FILES=$IFree
91 fi
92
93 [ $NUM_CLIENTS -eq 1 ] && NOMULTI=yes
94 if [ -n "$NOMULTI" ]; then
95     echo "NO test for create on multiple nodes."
96 else
97     mdsrate_cleanup $NUM_CLIENTS $MACHINEFILE $NUM_FILES $TESTDIR_MULTI 'f%%d' --ignore
98
99     log "===== $0 ### $NUM_CLIENTS NODES CREATE ###"
100
101     COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --create --time ${TIME_PERIOD}
102                 --nfiles $NUM_FILES --dir ${TESTDIR_MULTI} --filefmt 'f%%d'"
103     echo "+ ${COMMAND}"
104     mpi_run -np ${NUM_CLIENTS} -machinefile ${MACHINEFILE} ${COMMAND} | tee ${LOG}
105
106     if [ ${PIPESTATUS[0]} != 0 ]; then
107         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
108         error "mdsrate create on multiple nodes failed, aborting"
109     fi
110
111     log "===== $0 ### $NUM_CLIENTS NODES UNLINK ###"
112
113     if [ -f "$LOG" ]; then
114         CREATED=$(awk '/total:/ { print $7 }' $LOG)
115         [ $CREATED -gt 0 ] && NUM_FILES=$CREATED
116     fi
117
118     COMMAND="${MDSRATE} ${MDSRATE_DEBUG} --unlink
119                 --nfiles ${NUM_FILES} --dir ${TESTDIR_MULTI} --filefmt 'f%%d'"
120     echo "+ ${COMMAND}"
121     mpi_run -np ${NUM_CLIENTS} -machinefile ${MACHINEFILE} ${COMMAND} | tee ${LOG}
122
123     if [ ${PIPESTATUS[0]} != 0 ]; then
124         [ -f $LOG ] && sed -e "s/^/log: /" $LOG
125         error "mdsrate unlink on multiple nodes failed, aborting"
126     fi
127
128     rmdir $TESTDIR_MULTI
129 fi
130
131 rmdir $BASEDIR || true
132 rm -f $MACHINEFILE
133 check_and_cleanup_lustre
134 #rm -f $LOG
135
136 exit 0