lustre/tests/oos.sh

   1 #!/bin/bash
   2
   3 set -e
   4 #set -vx
   5
   6 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
   7 . $LUSTRE/tests/test-framework.sh
   8
   9 export PATH=`dirname $0`/../utils:$PATH
  10 LFS=${LFS:-lfs}
  11 LCTL=${LCTL:-lctl}
  12 MOUNT=${MOUNT:-$1}
  13 MOUNT=${MOUNT:-/mnt/lustre}
  14 OOS=$MOUNT/oosfile
  15 TMP=${TMP:-/tmp}
  16 LOG=$TMP/$(basename $0 .sh).log
  17
  18 SUCCESS=1
  19
  20 rm -f $OOS $LOG
  21
  22 sync; sleep 1; sync     # to ensure we get up-to-date statfs info
  23
  24 #$LCTL set_param -n debug=-1
  25 #$LCTL set_param -n subsystem_debug=0x40a8
  26
  27 #$LCTL clear
  28 #$LCTL debug_daemon start /r/tmp/debug 1024
  29
  30 STRIPECOUNT=`$LCTL get_param -n lov.*.activeobd | head -n 1`
  31 ORIGFREE=`$LCTL get_param -n llite.*.kbytesavail | head -n 1`
  32 MAXFREE=${MAXFREE:-$((400000 * $STRIPECOUNT))}
  33 echo STRIPECOUNT=$STRIPECOUNT ORIGFREE=$ORIGFREE MAXFREE=$MAXFREE
  34 if [ $ORIGFREE -gt $MAXFREE ]; then
  35         skip "$0: ${ORIGFREE}kB free gt MAXFREE ${MAXFREE}kB, increase $MAXFREE (or reduce test fs size) to proceed"
  36         exit 0
  37 fi
  38
  39 export LANG=C LC_LANG=C # for "No space left on device" message
  40
  41 [ -f $LOG ] && error "log file wasn't removed?"
  42
  43 echo BEFORE dd started
  44 for OSC in `$LCTL get_param -N osc.*-osc-*.kbytesavail | cut -d"." -f1-2`; do
  45         AVAIL=`$LCTL get_param -n $OSC.kbytesavail`
  46         GRANT=$((`$LCTL get_param -n $OSC.cur_grant_bytes` / 1024))
  47         echo -n "$(echo $OSC | cut -d"." -f2) avl=$AVAIL grnt=$GRANT diff=$(($AVAIL - $GRANT))"
  48         echo " "
  49 done
  50
  51 # make sure we stripe over all OSTs to avoid OOS on only a subset of OSTs
  52 $LFS setstripe $OOS -c $STRIPECOUNT
  53 if dd if=/dev/zero of=$OOS count=$(($ORIGFREE + 100)) bs=1k 2> $LOG; then
  54         echo "ERROR: dd did not fail"
  55         SUCCESS=0
  56 fi
  57
  58 [ ! -s "$LOG" ] && error "LOG file is empty!"
  59
  60 if [ "`grep -c 'No space left on device' $LOG`" -ne 1 ]; then
  61         echo "ERROR: dd not return ENOSPC"
  62         sed "s/^/LOG: /" $LOG
  63         SUCCESS=0
  64 fi
  65
  66 # flush cache to OST(s) so avail numbers are correct
  67 sync; sleep 1 ; sync
  68
  69 echo AFTER dd
  70 for OSC in `$LCTL get_param -N osc.*-osc-*.kbytesavail | cut -d"." -f1-2`; do
  71         AVAIL=`$LCTL get_param -n $OSC.kbytesavail`
  72         GRANT=$((`$LCTL get_param -n $OSC.cur_grant_bytes` / 1024))
  73         echo -n "$(echo $OSC | cut -d"." -f2) avl=$AVAIL grnt=$GRANT diff=$(($AVAIL - $GRANT))"
  74         [ $(($AVAIL - $GRANT)) -lt 400 ] && OSCFULL=full && echo -n " FULL"
  75         echo " "
  76 done
  77
  78 if [ -z "$OSCFULL" ]; then
  79         echo "no OSTs are close to full"
  80         $LCTL get_param "osc.*-osc-*.kbytesavail"
  81         $LCTL get_param "osc.*-osc-*.cur*"
  82         SUCCESS=0
  83 fi
  84
  85 RECORDSOUT=`grep "records out" $LOG | cut -d + -f1`
  86 FILESIZE=`ls -l $OOS | awk '{ print $5 }'`
  87 if [ -z "$RECORDSOUT" ]; then
  88         echo "ERROR: no blocks written by dd?"
  89         sed "s/^/LOG: /" $LOG
  90         SUCCESS=0
  91 elif [ "$RECORDSOUT" -ne $((FILESIZE / 1024)) ]; then
  92         echo "ERROR: blocks written by dd not equal to the size of file"
  93         SUCCESS=0
  94 fi
  95
  96 #$LCTL debug_daemon stop
  97
  98 echo LOG file
  99 cat $LOG
 100 rm -f $OOS
 101 sync; sleep 1; sync
 102
 103 sync; sleep 3; sync
 104
 105 if [ $SUCCESS -eq 1 ]; then
 106         echo "Success!"
 107         rm -f $LOG
 108 else
 109         exit 1
 110 fi