Whamcloud - gitweb
5f61e0dce4cb287819ab739beffcc36029d951a9
[fs/lustre-release.git] / lustre / tests / replay-ost-single.sh
1 #!/bin/bash
2 # -*- mode: Bash; tab-width: 4; indent-tabs-mode: t; -*-
3 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
4
5 set -e
6
7 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
8 SETUP=${SETUP:-""}
9 CLEANUP=${CLEANUP:-""}
10 . $LUSTRE/tests/test-framework.sh
11 init_test_env $@
12 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
13 init_logging
14
15 # While we do not use OSTCOUNT=1 setup anymore,
16 # ost1failover_HOST is used
17 #ostfailover_HOST=${ostfailover_HOST:-$ost_HOST}
18 #failover= must be defined in OST_MKFS_OPTIONS if ostfailover_HOST != ost_HOST
19
20 require_dsh_ost || exit 0
21
22 # Skip these tests
23 # BUG NUMBER: 
24 ALWAYS_EXCEPT="$REPLAY_OST_SINGLE_EXCEPT"
25
26 #                                       
27 [ "$SLOW" = "no" ] && EXCEPT_SLOW="5"
28
29 if [ $(facet_fstype $SINGLEMDS) = "zfs" ]; then
30 # bug number for skipped test:      LU-2285
31         ALWAYS_EXCEPT="$ALWAYS_EXCEPT 3"
32 # bug number for slowed tests:                          LU-2874
33         [ "$SLOW" = "no" ] && EXCEPT_SLOW="$EXCEPT_SLOW 8a"
34 fi
35
36 build_test_filter
37
38 check_and_setup_lustre
39 assert_DIR
40 rm -rf $DIR/[df][0-9]*
41
42 TDIR=$DIR/d0.${TESTSUITE}
43 mkdir -p $TDIR
44 $LFS setstripe $TDIR -i 0 -c 1
45 $LFS getstripe $TDIR
46
47 test_0a() {
48     zconf_umount `hostname` $MOUNT -f
49     # needs to run during initial client->OST connection
50     #define OBD_FAIL_OST_ALL_REPLY_NET       0x211
51     do_facet ost1 "lctl set_param fail_loc=0x80000211"
52     zconf_mount `hostname` $MOUNT && df $MOUNT || error "0a mount fail"
53 }
54 run_test 0a "target handle mismatch (bug 5317) `date +%H:%M:%S`"
55
56 test_0b() {
57     fail ost1
58     cp /etc/profile  $TDIR/$tfile
59     sync
60     diff /etc/profile $TDIR/$tfile
61     rm -f $TDIR/$tfile
62 }
63 run_test 0b "empty replay"
64
65 test_1() {
66     date > $TDIR/$tfile || error "error creating $TDIR/$tfile"
67     fail ost1
68     $CHECKSTAT -t file $TDIR/$tfile || return 1
69     rm -f $TDIR/$tfile
70 }
71 run_test 1 "touch"
72
73 test_2() {
74     for i in `seq 10`; do
75         echo "tag-$i" > $TDIR/$tfile-$i || error "create $TDIR/$tfile-$i"
76     done 
77     fail ost1
78     for i in `seq 10`; do
79       grep -q "tag-$i" $TDIR/$tfile-$i || error "grep $TDIR/$tfile-$i"
80     done 
81     rm -f $TDIR/$tfile-*
82 }
83 run_test 2 "|x| 10 open(O_CREAT)s"
84
85 test_3() {
86     verify=$ROOT/tmp/verify-$$
87     dd if=/dev/urandom bs=4096 count=1280 | tee $verify > $TDIR/$tfile &
88     ddpid=$!
89     sync &
90     fail ost1
91     wait $ddpid || return 1
92     cmp $verify $TDIR/$tfile || return 2
93     rm -f $verify $TDIR/$tfile
94 }
95 run_test 3 "Fail OST during write, with verification"
96
97 test_4() {
98     verify=$ROOT/tmp/verify-$$
99     dd if=/dev/urandom bs=4096 count=1280 | tee $verify > $TDIR/$tfile
100     # invalidate cache, so that we're reading over the wire
101     cancel_lru_locks osc
102     cmp $verify $TDIR/$tfile &
103     cmppid=$!
104     fail ost1
105     wait $cmppid || return 1
106     rm -f $verify $TDIR/$tfile
107 }
108 run_test 4 "Fail OST during read, with verification"
109
110 iozone_bg () {
111     local args=$@
112
113     local tmppipe=$TMP/${TESTSUITE}.${TESTNAME}.pipe
114     mkfifo $tmppipe
115
116     echo "+ iozone $args"
117     iozone $args > $tmppipe &
118
119     local pid=$!
120
121     echo "tmppipe=$tmppipe"
122     echo iozone pid=$pid
123
124     # iozone exit code is 0 even if iozone is not completed
125     # need to check iozone output  on "complete"
126     local iozonelog=$TMP/${TESTSUITE}.iozone.log
127     rm -f $iozonelog
128     cat $tmppipe | while read line ; do
129         echo "$line"
130         echo "$line" >>$iozonelog
131     done;
132
133     local rc=0
134     wait $pid
135     rc=$?
136     if ! $(tail -1 $iozonelog | grep -q complete); then
137         echo iozone failed!
138         rc=1
139     fi
140     rm -f $tmppipe
141     rm -f $iozonelog
142     return $rc
143 }
144
145 test_5() {
146     [ -z "`which iozone 2> /dev/null`" ] && skip_env "iozone missing" && return 0
147
148     # striping is -c 1, get min of available
149     local minavail=$(lctl get_param -n osc.*[oO][sS][cC][-_]*.kbytesavail | sort -n | head -1)
150     local size=$(( minavail * 3/4 ))
151     local GB=1048576  # 1048576KB == 1GB
152
153     if (( size > GB )); then
154         size=$GB
155     fi
156     local iozone_opts="-i 0 -i 1 -i 2 -+d -r 4 -s $size -f $TDIR/$tfile"
157
158     iozone_bg $iozone_opts &
159     local pid=$!
160
161     echo iozone bg pid=$pid
162
163     sleep 8
164     fail ost1
165     local rc=0
166     wait $pid
167     rc=$?
168     log "iozone rc=$rc"
169     rm -f $TDIR/$tfile
170     wait_delete_completed_mds
171     [ $rc -eq 0 ] || error "iozone failed"
172     return $rc
173 }
174 run_test 5 "Fail OST during iozone"
175
176 kbytesfree() {
177    calc_osc_kbytes kbytesfree
178 }
179
180 test_6() {
181     remote_mds_nodsh && skip "remote MDS with nodsh" && return 0
182
183     f=$TDIR/$tfile
184     rm -f $f
185     sync && sleep 2 && sync  # wait for delete thread
186
187     # wait till space is returned, following
188     # (( $before > $after_dd)) test counting on that
189     wait_mds_ost_sync || return 4
190     wait_destroy_complete || return 5
191
192     before=`kbytesfree`
193     dd if=/dev/urandom bs=4096 count=1280 of=$f || return 28
194     lfs getstripe $f
195     stripe_index=$(lfs getstripe -i $f)
196
197     sync
198     sleep 2 # ensure we have a fresh statfs
199     sync
200
201     #define OBD_FAIL_MDS_REINT_NET_REP       0x119
202     do_facet $SINGLEMDS "lctl set_param fail_loc=0x80000119"
203     after_dd=`kbytesfree`
204     log "before: $before after_dd: $after_dd"
205     (( $before > $after_dd )) || return 1
206     rm -f $f
207     fail ost$((stripe_index + 1))
208     wait_recovery_complete ost$((stripe_index + 1)) ||
209         error "OST$((stripe_index + 1)) recovery not completed"
210     $CHECKSTAT -t file $f && return 2 || true
211     sync
212     # let the delete happen
213     wait_mds_ost_sync || return 4
214         wait_delete_completed || return 5
215     after=`kbytesfree`
216     log "before: $before after: $after"
217     (( $before <= $after + 40 )) || return 3   # take OST logs into account
218 }
219 run_test 6 "Fail OST before obd_destroy"
220
221 test_7() {
222     f=$TDIR/$tfile
223     rm -f $f
224     sync && sleep 5 && sync     # wait for delete thread
225
226     # wait till space is returned, following
227     # (( $before > $after_dd)) test counting on that
228     wait_mds_ost_sync || return 4
229     wait_destroy_complete || return 5
230
231     before=`kbytesfree`
232     dd if=/dev/urandom bs=4096 count=1280 of=$f || return 4
233     sync
234     sleep 2 # ensure we have a fresh statfs
235     sync
236     after_dd=`kbytesfree`
237     log "before: $before after_dd: $after_dd"
238     (( $before > $after_dd )) || return 1
239     replay_barrier ost1
240     rm -f $f
241     fail ost1
242     wait_recovery_complete ost1 || error "OST recovery not done"
243     $CHECKSTAT -t file $f && return 2 || true
244     sync
245     # let the delete happen
246     wait_mds_ost_sync || return 4
247         wait_delete_completed || return 5
248     after=`kbytesfree`
249     log "before: $before after: $after"
250     (( $before <= $after + 40 )) || return 3    # take OST logs into account
251 }
252 run_test 7 "Fail OST before obd_destroy"
253
254 test_8a() {
255         [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.0) ]] ||
256                 { skip "Need MDS version at least 2.3.0"; return; }
257         verify=$ROOT/tmp/verify-$$
258         dd if=/dev/urandom of=$verify bs=4096 count=1280 ||
259                 error "Create verify file failed"
260 #define OBD_FAIL_OST_DQACQ_NET 0x230
261         do_facet ost1 "lctl set_param fail_loc=0x230"
262         dd if=$verify of=$TDIR/$tfile bs=4096 count=1280 oflag=sync &
263         ddpid=$!
264         sleep $TIMEOUT  # wait for the io to become redo io
265         if ! ps -p $ddpid  > /dev/null 2>&1; then
266                 error "redo io finished incorrectly"
267                 return 1
268         fi
269         do_facet ost1 "lctl set_param fail_loc=0"
270         wait $ddpid || true
271         cancel_lru_locks osc
272         cmp $verify $TDIR/$tfile || return 2
273         rm -f $verify $TDIR/$tfile
274         message=`dmesg | grep "redo for recoverable error -115"`
275         [ -z "$message" ] || error "redo error messages found in dmesg"
276 }
277 run_test 8a "Verify redo io: redo io when get -EINPROGRESS error"
278
279 test_8b() {
280         [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.0) ]] ||
281                 { skip "Need MDS version at least 2.3.0"; return; }
282         verify=$ROOT/tmp/verify-$$
283         dd if=/dev/urandom of=$verify bs=4096 count=1280 ||
284                 error "Create verify file failed"
285 #define OBD_FAIL_OST_DQACQ_NET 0x230
286         do_facet ost1 "lctl set_param fail_loc=0x230"
287         dd if=$verify of=$TDIR/$tfile bs=4096 count=1280 oflag=sync &
288         ddpid=$!
289         sleep $TIMEOUT  # wait for the io to become redo io
290         fail ost1
291         do_facet ost1 "lctl set_param fail_loc=0"
292         wait $ddpid || return 1
293         cancel_lru_locks osc
294         cmp $verify $TDIR/$tfile || return 2
295         rm -f $verify $TDIR/$tfile
296 }
297 run_test 8b "Verify redo io: redo io should success after recovery"
298
299 test_8c() {
300         [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.0) ]] ||
301                 { skip "Need MDS version at least 2.3.0"; return; }
302         verify=$ROOT/tmp/verify-$$
303         dd if=/dev/urandom of=$verify bs=4096 count=1280 ||
304                 error "Create verify file failed"
305 #define OBD_FAIL_OST_DQACQ_NET 0x230
306         do_facet ost1 "lctl set_param fail_loc=0x230"
307         dd if=$verify of=$TDIR/$tfile bs=4096 count=1280 oflag=sync &
308         ddpid=$!
309         sleep $TIMEOUT  # wait for the io to become redo io
310         ost_evict_client
311         # allow recovery to complete
312         sleep $((TIMEOUT + 2))
313         do_facet ost1 "lctl set_param fail_loc=0"
314         wait $ddpid
315         cancel_lru_locks osc
316         cmp $verify $TDIR/$tfile && return 2
317         rm -f $verify $TDIR/$tfile
318 }
319 run_test 8c "Verify redo io: redo io should fail after eviction"
320
321 test_8d() {
322         [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.0) ]] ||
323                 { skip "Need MDS version at least 2.3.0"; return; }
324 #define OBD_FAIL_MDS_DQACQ_NET 0x187
325         do_facet $SINGLEMDS "lctl set_param fail_loc=0x187"
326         # test the non-intent create path
327         mcreate $TDIR/$tfile &
328         cpid=$!
329         sleep $TIMEOUT
330         if ! ps -p $cpid  > /dev/null 2>&1; then
331                 error "mknod finished incorrectly"
332                 return 1
333         fi
334         do_facet $SINGLEMDS "lctl set_param fail_loc=0"
335         wait $cpid || return 2
336         stat $TDIR/$tfile || error "mknod failed"
337
338         rm $TDIR/$tfile
339
340 #define OBD_FAIL_MDS_DQACQ_NET 0x187
341         do_facet $SINGLEMDS "lctl set_param fail_loc=0x187"
342         # test the intent create path
343         openfile -f O_RDWR:O_CREAT $TDIR/$tfile &
344         cpid=$!
345         sleep $TIMEOUT
346         if ! ps -p $cpid > /dev/null 2>&1; then
347                 error "open finished incorrectly"
348                 return 3
349         fi
350         do_facet $SINGLEMDS "lctl set_param fail_loc=0"
351         wait $cpid || return 4
352         stat $TDIR/$tfile || error "open failed"
353 }
354 run_test 8d "Verify redo creation on -EINPROGRESS"
355
356 test_8e() {
357         [[ $(lustre_version_code $SINGLEMDS) -ge $(version_code 2.3.0) ]] ||
358                 { skip "Need MDS version at least 2.3.0"; return; }
359         sleep 1 # ensure we have a fresh statfs
360 #define OBD_FAIL_OST_STATFS_EINPROGRESS 0x231
361         do_facet ost1 "lctl set_param fail_loc=0x231"
362         df $MOUNT &
363         dfpid=$!
364         sleep $TIMEOUT
365         if ! ps -p $dfpid  > /dev/null 2>&1; then
366                         do_facet ost1 "lctl set_param fail_loc=0"
367                         error "df shouldn't have completed!"
368                         return 1
369         fi
370         do_facet ost1 "lctl set_param fail_loc=0"
371 }
372 run_test 8e "Verify that ptlrpc resends request on -EINPROGRESS"
373
374 complete $SECONDS
375 check_and_cleanup_lustre
376 exit_status