lustre/tests/lfscktest.sh

   1 #!/bin/bash
   2 #set -vx
   3 set -e
   4
   5 TESTNAME="lfscktest"
   6 TMP=${TMP:-/tmp}
   7 MDSDB=${MDSDB:-$TMP/mdsdb}
   8 OSTDB=${OSTDB:-$TMP/ostdb}
   9 LOG=${LOG:-"$TMP/lfscktest.log"}
  10 L2FSCK_PATH=${L2FSCK_PATH:-""}
  11 NUMFILES=${NUMFILES:-10}
  12 NUMDIRS=${NUMDIRS:-4}
  13 GETSTRIPE=${GETSTRIPE:-"lfs getstripe"}
  14 GETFATTR=${GETFATTR:-getfattr}
  15 SETFATTR=${SETFATTR:-setfattr}
  16 MAX_ERR=1
  17
  18 export PATH=$LFSCK_PATH:`dirname $0`:`dirname $0`/../utils:$PATH
  19
  20 [ -z "`which $GETFATTR`" ] && echo "$0: $GETFATTR not found" && exit 5
  21 [ -z "`which $SETFATTR`" ] && echo "$0: $SETFATTR not found" && exit 6
  22
  23 LUSTRE=${LUSTRE:-`dirname $0`/..}
  24 . $LUSTRE/tests/test-framework.sh
  25 init_test_env $@
  26 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  27
  28 remote_mds && skip "remote MDS" && exit 0
  29 remote_ost && skip "remote OST" && exit 0
  30
  31 # if nothing mounted, don't nuke MOUNT variable needed in llmount.sh
  32 WAS_MOUNTED=$(mounted_lustre_filesystems | head -1)
  33 if [ -z "$WAS_MOUNTED" ]; then
  34        # This code doesn't handle multiple mounts well, so nuke MOUNT2 variable
  35         MOUNT2="" sh llmount.sh
  36         MOUNT=$(mounted_lustre_filesystems)
  37         [ -z "$MOUNT" ] && echo "NAME=$NAME not mounted" && exit 2
  38 else
  39         MOUNT=${WAS_MOUNTED}
  40 fi
  41
  42 DIR=$DIR/$TESTNAME
  43 [ -z "`echo $DIR | grep $MOUNT`" ] && echo "$DIR not in $MOUNT" && exit 3
  44
  45 if [ "$WAS_MOUNTED" ]; then
  46         LFSCK_SETUP=no
  47         MAX_ERR=4               # max expected error from e2fsck
  48 fi
  49
  50 get_mnt_devs() {
  51         DEVS=`lctl get_param -n $1.*.mntdev`
  52         for DEV in $DEVS; do
  53                 case $DEV in
  54                 *loop*) losetup $DEV | sed -e "s/.*(//" -e "s/).*//" ;;
  55                 *) echo $DEV ;;
  56                 esac
  57         done
  58 }
  59
  60 if [ "$LFSCK_SETUP" != "no" ]; then
  61         #Create test directory
  62         # -- can't remove the mountpoint...
  63         [ -z "$DIR" ] && rm -rf $DIR/*
  64         mkdir -p $DIR
  65         OSTCOUNT=`$GETSTRIPE $MOUNT | grep -c "^[0-9]*: " || true`
  66
  67         # Create some files on the filesystem
  68         for d in `seq -f d%g $NUMDIRS`; do
  69                 echo "creating files in $DIR/$d"
  70                 for e in `seq -f d%g $NUMDIRS`; do
  71                         mkdir -p  $DIR/$d/$e
  72                         for f in `seq -f test%g $NUMDIRS`; do
  73                                 cp /etc/fstab $DIR/$d/$e/$f ||exit 5
  74                         done
  75                 done
  76         done
  77
  78         # Create Files to be modified
  79         for f in `seq -f $DIR/testfile.%g $((NUMFILES * 3))`; do
  80                 echo "creating $f"
  81                 cp /etc/termcap $f || exit 10
  82         done
  83
  84         #Create some more files
  85         for d in `seq -f d%g $((NUMDIRS * 2 + 1)) $((NUMDIRS * 2 + 3))`; do
  86                 echo "creating files in $DIR/$d"
  87                 for e in `seq -f d%g $NUMDIRS`; do
  88                         mkdir -p  $DIR/$d/$e
  89                         for f in `seq -f test%g $NUMDIRS`; do
  90                                 cp /etc/hosts $DIR/$d/$e/$f ||exit 15
  91                         done
  92                 done
  93         done
  94
  95         # these should NOT be taken as duplicates
  96         for f in `seq -f $DIR/$d/linkfile.%g $NUMFILES`; do
  97                 echo "linking files in $DIR/$d"
  98                 cp /etc/hosts $f
  99                 ln $f $f.link
 100         done
 101
 102         # Get objids for a file on the OST
 103         OST_FILES=`seq -f $DIR/testfile.%g $NUMFILES`
 104         OST_REMOVE=`$GETSTRIPE $OST_FILES | awk '$1 == 0 { print $2 }' | head -n $NUMFILES`
 105
 106         export MDS_DUPE=""
 107         for f in `seq -f testfile.%g $((NUMFILES + 1)) $((NUMFILES * 2))`; do
 108                 TEST_FILE=$DIR/$f
 109                 echo "DUPLICATING MDS file $TEST_FILE"
 110                 $GETSTRIPE -v $TEST_FILE >> $LOG || exit 20
 111                 MDS_DUPE="$MDS_DUPE $TEST_FILE"
 112         done
 113         MDS_DUPE=`echo $MDS_DUPE | sed "s#$MOUNT/##g"`
 114
 115         export MDS_REMOVE=""
 116         for f in `seq -f testfile.%g $((NUMFILES * 2 + 1)) $((NUMFILES * 3))`; do
 117                 TEST_FILE=$DIR/$f
 118                 echo "REMOVING MDS file $TEST_FILE which has info:"
 119                 $GETSTRIPE -v $TEST_FILE >> $LOG || exit 30
 120                 MDS_REMOVE="$MDS_REMOVE $TEST_FILE"
 121         done
 122         MDS_REMOVE=`echo $MDS_REMOVE | sed "s#$MOUNT/##g"`
 123
 124         MDTDEVS=`get_mnt_devs mds`
 125         OSTDEVS=`get_mnt_devs obdfilter`
 126         OSTCOUNT=`echo $OSTDEVS | wc -w`
 127         sh llmountcleanup.sh || exit 40
 128
 129         # Remove objects associated with files
 130         echo "removing objects: `echo $OST_REMOVE`"
 131         DEBUGTMP=`mktemp $TMP/debugfs.XXXXXXXXXX`
 132         for i in $OST_REMOVE; do
 133                 echo "rm O/0/d$((i % 32))/$i" >> $DEBUGTMP
 134         done
 135         $DEBUGFS -w -f $DEBUGTMP `echo $OSTDEVS | cut -d' ' -f 1`
 136         RET=$?
 137         rm $DEBUGTMP
 138         [ $RET -ne 0 ] && exit 50
 139
 140         SAVE_PWD=$PWD
 141         [ "$FSTYPE" = "ldiskfs" ] && load_module ../ldiskfs/ldiskfs/ldiskfs
 142         mount -t $FSTYPE -o loop $MDSDEV $MOUNT || exit 60
 143         do_umount() {
 144                 trap 0
 145                 cd $SAVE_PWD
 146                 umount -f $MOUNT
 147         }
 148         trap do_umount EXIT
 149
 150         #Remove files from mds
 151         for f in $MDS_REMOVE; do
 152                 rm $MOUNT/ROOT/$f || exit 70
 153         done
 154
 155         #Create EAs on files so objects are referenced from different files
 156         ATTRTMP=`mktemp $TMP/setfattr.XXXXXXXXXX`
 157         cd $MOUNT/ROOT || exit 78
 158         for f in $MDS_DUPE; do
 159                 touch $f.bad || exit 74
 160                 getfattr -n trusted.lov $f | sed "s#$f#&.bad#" > $ATTRTMP
 161                 setfattr --restore $ATTRTMP || exit 80
 162         done
 163         cd $SAVE_PWD
 164         rm $ATTRTMP
 165
 166         do_umount
 167 else
 168         MDTDEVS=`get_mnt_devs mds`
 169         OSTDEVS=`get_mnt_devs obdfilter`
 170         OSTCOUNT=`echo $OSTDEVS | wc -w`
 171 fi # LFSCK_SETUP
 172
 173 # Run e2fsck to get mds and ost info
 174 # a return status of 1 indicates e2fsck successfuly fixed problems found
 175 set +e
 176
 177 echo "$E2FSCK -d -v -fn --mdsdb $MDSDB $MDSDEV"
 178 df > /dev/null  # update statfs data on disk
 179 $E2FSCK -d -v -fn --mdsdb $MDSDB $MDSDEV
 180 RET=$?
 181 [ $RET -gt $MAX_ERR ] && echo "$E2FSCK returned $RET" && exit 90 || true
 182
 183 export OSTDB_LIST=""
 184 i=0
 185 for OSTDEV in $OSTDEVS; do
 186         df > /dev/null  # update statfs data on disk
 187         $E2FSCK -d -v -fn --mdsdb $MDSDB --ostdb $OSTDB-$i $OSTDEV
 188         RET=$?
 189         [ $RET -gt $MAX_ERR ] && echo "$E2FSCK returned $RET" && exit 100
 190         OSTDB_LIST="$OSTDB_LIST $OSTDB-$i"
 191         i=$((i + 1))
 192 done
 193
 194 #Remount filesystem
 195 [ "`mount | grep $MOUNT`" ] || setupall
 196
 197 # need to turn off shell error detection to get proper error return
 198 # lfsck will return 1 if the filesystem had errors fixed
 199 echo "LFSCK TEST 1"
 200 echo "lfsck -c -l --mdsdb $MDSDB --ostdb $OSTDB_LIST $MOUNT"
 201 echo y | lfsck -c -l --mdsdb $MDSDB --ostdb $OSTDB_LIST $MOUNT
 202 RET=$?
 203 [ $RET -eq 0 ] && echo "clean after first check" && exit 0
 204 echo "LFSCK TEST 1 - finished with rc=$RET"
 205 [ $RET -gt $MAX_ERR ] && exit 110 || true
 206
 207 # make sure everything gets to the backing store
 208 sync; sleep 2; sync
 209
 210 echo "LFSCK TEST 2"
 211 echo "$E2FSCK -d -v -fn --mdsdb $MDSDB $MDSDEV"
 212 df > /dev/null  # update statfs data on disk
 213 $E2FSCK -d -v -fn --mdsdb $MDSDB $MDSDEV
 214 RET=$?
 215 [ $RET -gt $MAX_ERR ] && echo "$E2FSCK returned $RET" && exit 123 || true
 216
 217 i=0
 218 export OSTDB_LIST=""
 219 for OSTDEV in $OSTDEVS; do
 220         df > /dev/null  # update statfs data on disk
 221         $E2FSCK -d -v -fn --mdsdb $MDSDB --ostdb $OSTDB-$i $OSTDEV
 222         RET=$?
 223         [ $RET -gt $MAX_ERR ] && echo "$E2FSCK returned $RET" && exit 124
 224         OSTDB_LIST="$OSTDB_LIST $OSTDB-$i"
 225         i=$((i + 1))
 226 done
 227
 228 echo "LFSCK TEST 2"
 229 echo "lfsck -c -l --mdsdb $MDSDB --ostdb $OSTDB_LIST $MOUNT"
 230 lfsck -c -l --mdsdb $MDSDB --ostdb $OSTDB_LIST $MOUNT
 231 RET=$?
 232 echo "LFSCK TEST 2 - finished with rc=$RET"
 233 [ $RET -ne 0 ] && exit 125 || true
 234 if [ -z "$WAS_MOUNTED" ]; then
 235         sh llmountcleanup.sh || exit 120
 236 fi
 237
 238 #Cleanup
 239 rm -f $MDSDB $OSTDB-* || true
 240
 241 echo "$0: completed"