lustre/tests/recovery-cleanup.sh

   1 #!/bin/sh
   2
   3 set -ex
   4
   5 LUSTRE=${LUSTRE:-`dirname $0`/..}
   6 LTESTDIR=${LTESTDIR:-"$LUSTRE/../ltest"}
   7 PATH=$PATH:$LUSTRE/utils:$LUSTRE/tests
   8
   9 . $LTESTDIR/functional/llite/common/common.sh
  10
  11 # Allow us to override the setup if we already have a mounted system by
  12 # setting SETUP=" " and CLEANUP=" "
  13 SETUP=${SETUP:-"setup"}
  14 CLEANUP=${CLEANUP:-"cleanup"}
  15
  16 PDSH='pdsh -S -w'
  17
  18 # XXX I wish all this stuff was in some default-config.sh somewhere
  19 MDSNODE=${MDSNODE:-mdev6}
  20 OSTNODE=${OSTNODE:-mdev7}
  21 CLIENT=${CLIENT:-mdev8}
  22 NETWORKTYPE=${NETWORKTYPE:-tcp}
  23 MOUNTPT=${MOUNTPT:-/mnt/lustre}
  24 CONFIG=${CONFIG:-recovery-cleanup.xml}
  25 MDSDEV=${MDSDEV:-/tmp/mds1-`hostname`}
  26 MDSSIZE=${MDSSIZE:-100000}
  27 FSTYPE=${FSTYPE:-ext3}
  28 OSTDEV=${OSTDEV:-/tmp/ost1-`hostname`}
  29 OSTSIZE=${OSTSIZE:-100000}
  30 STRIPE_BYTES=${STRIPE_BYTES:-1048576}
  31
  32 do_mds() {
  33     $PDSH $MDSNODE "PATH=\$PATH:$LUSTRE/utils:$LUSTRE/tests; cd $PWD; $@" || exit $?
  34 }
  35
  36 do_client() {
  37     $PDSH $CLIENT "PATH=\$PATH:$LUSTRE/utils:$LUSTRE/tests; cd $PWD; $@" || exit $?
  38 }
  39
  40 do_ost() {
  41     $PDSH $OSTNODE "PATH=\$PATH:$LUSTRE/utils:$LUSTRE/tests; cd $PWD; $@" || exit $?
  42 }
  43
  44 drop_request() {
  45     do_mds "echo 0x121 > /proc/sys/lustre/fail_loc"
  46     do_client "$1 & sleep ${TIMEOUT:-5}; sleep 2; kill \$!"
  47     do_mds "echo 0 > /proc/sys/lustre/fail_loc"
  48 }
  49
  50 make_config() {
  51     rm -f $CONFIG
  52     for NODE in $CLIENT $MDSNODE $OSTNODE; do
  53        lmc -m $CONFIG --add net --node $NODE --nid `h2$NETWORKTYPE $NODE` \
  54            --nettype $NETWORKTYPE || exit 4
  55     done
  56     lmc -m $CONFIG --add mds --node $MDSNODE --mds mds1 --fstype $FSTYPE \
  57         --dev $MDSDEV --size $MDSSIZE || exit 5
  58     lmc -m $CONFIG --add lov --lov lov1 --mds mds1 --stripe_sz $STRIPE_BYTES \
  59         --stripe_cnt 0 --stripe_pattern 0 || exit 6
  60     lmc -m $CONFIG --add ost --nspath /mnt/ost_ns --node $OSTNODE \
  61         --lov lov1 --dev $OSTDEV --size $OSTSIZE --fstype $FSTYPE || exit 7
  62     lmc -m $CONFIG --add mtpt --node $CLIENT --path $MOUNTPT --mds mds1 \
  63         --lov lov1 || exit 8
  64 }
  65
  66 start_mds() {
  67     do_mds "lconf $@ $CONFIG"
  68 }
  69
  70 shutdown_mds() {
  71     do_mds "lconf $@ --cleanup $CONFIG"
  72 }
  73
  74 start_ost() {
  75     do_ost "lconf $@ $CONFIG"
  76 }
  77
  78 shutdown_ost() {
  79     do_ost "lconf $@ --cleanup $CONFIG"
  80 }
  81
  82 mount_client() {
  83     do_client "lconf $@ $CONFIG"
  84 }
  85
  86 unmount_client() {
  87     do_client "lconf $@ --cleanup $CONFIG"
  88 }
  89
  90 setup() {
  91     make_config
  92     start_mds ${REFORMAT:---reformat}
  93     start_ost ${REFORMAT:---reformat}
  94     mount_client --timeout=${TIMEOUT:-5} --lustre_upcall=/bin/true
  95 }
  96
  97 cleanup() {
  98     do_mds "echo 0 > /proc/sys/lustre/fail_loc"
  99     unmount_client $@ || exit 97
 100     shutdown_mds $@ || exit 98
 101     shutdown_ost $@ || exit 99
 102 }
 103
 104 wait_for_timeout() {
 105     # wait to make sure we enter recovery
 106     # it'd be better if the upcall notified us somehow, I think
 107     sleep $(( ${TIMEOUT:-5} + 2 ))
 108 }
 109
 110 try_to_cleanup() {
 111     kill -INT $!
 112     unmount_client --force --dump /tmp/client-cleanup-`date +%s`.log
 113     mount_client --timeout=${TIMEOUT:-5} --lustre_upcall=/bin/true
 114 }
 115
 116 if [ ! -z "$ONLY" ]; then
 117     eval "$ONLY"
 118     exit $?
 119 fi
 120
 121 $SETUP
 122
 123 drop_request "mcreate /mnt/lustre/1" & wait_for_timeout
 124 try_to_cleanup
 125
 126 drop_request "tchmod 111 /mnt/lustre/2" & wait_for_timeout
 127 try_to_cleanup
 128
 129 drop_request "statone /mnt/lustre/2" & wait_for_timeout
 130 try_to_cleanup
 131
 132 do_client "cp /etc/resolv.conf /mnt/lustre/resolv.conf"
 133 drop_request "cat /mnt/lustre/resolv.conf > /dev/null" & wait_for_timeout
 134 try_to_cleanup
 135
 136 drop_request "mv /mnt/lustre/resolv.conf /mnt/lustre/renamed" & wait_for_timeout
 137 try_to_cleanup
 138
 139 drop_request "mlink /mnt/lustre/renamed-again /mnt/lustre/link1" & wait_for_timeout
 140 try_to_cleanup
 141
 142 drop_request "munlink /mnt/lustre/link1" & wait_for_timeout
 143 try_to_cleanup
 144
 145 $CLEANUP '--dump /tmp/`hostname`-cleanup.log'