lustre/tests/recovery-small.sh

   1 #!/bin/sh
   2
   3 set -ex
   4
   5 LUSTRE=${LUSTRE:-`dirname $0`/..}
   6 LTESTDIR=${LTESTDIR:-$LUSTRE/../ltest}
   7 PATH=$PATH:$LUSTRE/utils:$LUSTRE/tests
   8
   9 RLUSTRE=${RLUSTRE:-$LUSTRE}
  10 RPWD=${RPWD:-$PWD}
  11
  12 . $LTESTDIR/functional/llite/common/common.sh
  13
  14 # Allow us to override the setup if we already have a mounted system by
  15 # setting SETUP=" " and CLEANUP=" "
  16 SETUP=${SETUP:-"setup"}
  17 CLEANUP=${CLEANUP:-"cleanup"}
  18
  19 PDSH=${PDSH:-'pdsh -S -w'}
  20
  21 # XXX I wish all this stuff was in some default-config.sh somewhere
  22 MDSNODE=${MDSNODE:-mdev6}
  23 OSTNODE=${OSTNODE:-mdev7}
  24 CLIENT=${CLIENT:-mdev8}
  25 NETWORKTYPE=${NETWORKTYPE:-tcp}
  26 MOUNTPT=${MOUNTPT:-/mnt/lustre}
  27 CONFIG=${CONFIG:-recovery-small.xml}
  28 MDSDEV=${MDSDEV:-/tmp/mds}
  29 OSTDEV=${OSTDEV:-/tmp/ost}
  30 MDSSIZE=${MDSSIZE:-100000}
  31 OSTSIZE=${OSTSIZE:-100000}
  32 UPCALL=${UPCALL:-$RPWD/recovery-small-upcall.sh}
  33 FSTYPE=${FSTYPE:-ext3}
  34
  35 do_mds() {
  36     $PDSH $MDSNODE "PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; $@" || exit $?
  37 }
  38
  39 do_client() {
  40     $PDSH $CLIENT "PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; $@"  || exit $?
  41 }
  42
  43 do_ost() {
  44     $PDSH $OSTNODE "PATH=\$PATH:$RLUSTRE/utils:$RLUSTRE/tests; cd $RPWD; $@" || exit $?
  45 }
  46
  47 drop_request() {
  48 # OBD_FAIL_MDS_ALL_REQUEST_NET
  49     do_mds "echo 0x121 > /proc/sys/lustre/fail_loc"
  50     do_client "$1"
  51     do_mds "echo 0 > /proc/sys/lustre/fail_loc"
  52 }
  53
  54 drop_reply() {
  55 # OBD_FAIL_MDS_ALL_REPLY_NET
  56     do_mds "echo 0x120 > /proc/sys/lustre/fail_loc"
  57     do_client "$@"
  58     do_mds "echo 0 > /proc/sys/lustre/fail_loc"
  59 }
  60
  61 make_config() {
  62     rm -f $CONFIG
  63     for NODE in $CLIENT $MDSNODE $OSTNODE; do
  64        lmc -m $CONFIG --add net --node $NODE --nid `h2$NETWORKTYPE $NODE` \
  65            --nettype $NETWORKTYPE || exit 4
  66     done
  67     lmc -m $CONFIG --add mds --node $MDSNODE --mds mds1 --dev $MDSDEV \
  68         --size $MDSSIZE --fstype $FSTYPE || exit 5
  69     lmc -m $CONFIG --add ost --node $OSTNODE --ost ost1 --dev $OSTDEV \
  70         --size $OSTSIZE --fstype $FSTYPE || exit 6
  71     lmc -m $CONFIG --add mtpt --node $CLIENT --path $MOUNTPT --mds mds1 \
  72         --ost ost1 || exit 7
  73 }
  74
  75 start_mds() {
  76     do_mds "lconf $@ $CONFIG"
  77 }
  78
  79 shutdown_mds() {
  80     do_mds "lconf $@ --cleanup $CONFIG"
  81 }
  82
  83 start_ost() {
  84     do_ost "lconf $@ $CONFIG"
  85 }
  86
  87 shutdown_ost() {
  88     do_ost "lconf $@ --cleanup $CONFIG"
  89 }
  90
  91 mount_client() {
  92     do_client "lconf $@ $CONFIG"
  93 }
  94
  95 unmount_client() {
  96     do_client "lconf $@ --cleanup $CONFIG"
  97 }
  98
  99 setup() {
 100     start_mds ${REFORMAT}
 101     start_ost ${REFORMAT}
 102     # XXX we should write our own upcall, when we move this somewhere better.
 103     mount_client --timeout=${TIMEOUT:-5} \
 104         --lustre_upcall=$UPCALL
 105 }
 106
 107 cleanup() {
 108     do_mds "echo 0 > /proc/sys/lustre/fail_loc"
 109     unmount_client $@ || true
 110     shutdown_mds $@ || true
 111     shutdown_ost $@ || true
 112 }
 113
 114 replay() {
 115     do_mds "sync"
 116     do_mds 'echo -e "device \$mds1\\nprobe\\nnotransno\\nreadonly" | lctl'
 117     do_client "$1" &
 118     shutdown_mds -f
 119     start_mds
 120     wait
 121     do_client "df -h $MOUNTPT" # trigger failover, if we haven't already
 122 }
 123
 124 if [ ! -z "$ONLY" ]; then
 125     eval "$ONLY"
 126     exit $?
 127 fi
 128
 129 make_config
 130
 131 REFORMAT=--reformat $SETUP
 132 unset REFORMAT
 133
 134 drop_request "mcreate /mnt/lustre/1"
 135 drop_reply "mcreate /mnt/lustre/2"
 136 # replay "mcreate /mnt/lustre/3"
 137
 138 drop_request "tchmod 111 /mnt/lustre/2"
 139 drop_reply "tchmod 666 /mnt/lustre/2"
 140 # replay "tchmod 444 /mnt/lustre/2"
 141
 142 drop_request "statone /mnt/lustre/2"
 143 drop_reply "statone /mnt/lustre/2"
 144 # replay "statone /mnt/lustre/2"
 145
 146 do_client "cp /etc/resolv.conf /mnt/lustre/resolv.conf"
 147 drop_request "cat /mnt/lustre/resolv.conf > /dev/null"
 148 drop_reply "cat /mnt/lustre/resolv.conf > /dev/null"
 149
 150 drop_request "mv /mnt/lustre/resolv.conf /mnt/lustre/renamed"
 151 drop_reply "mv /mnt/lustre/renamed /mnt/lustre/renamed-again"
 152
 153 drop_request "mlink /mnt/lustre/renamed-again /mnt/lustre/link1"
 154 drop_reply "mlink /mnt/lustre/renamed-again /mnt/lustre/link2"
 155
 156 drop_request "munlink /mnt/lustre/link1"
 157 drop_reply "munlink /mnt/lustre/link2"
 158
 159 $CLEANUP