lustre/tests/oos2.sh

   1 #!/bin/bash
   2
   3 set -e
   4
   5 LUSTRE=${LUSTRE:-$(dirname $0)/..}
   6 . $LUSTRE/tests/test-framework.sh
   7 init_test_env "$@"
   8
   9 MOUNT=${MOUNT:-$1}
  10 MOUNT=${MOUNT:-/mnt/lustre}
  11 MOUNT2=${MOUNT2:-$2}
  12 MOUNT2=${MOUNT2:-${MOUNT}2}
  13 OOS=$MOUNT/oosfile
  14 OOS2=$MOUNT2/oosfile2
  15 OOSFALLOCATE=$MOUNT/oosfile_fallocate
  16 LOG=$TMP/$(basename $0 .sh).log
  17 LOG2=${LOG}2
  18
  19 SUCCESS=1
  20
  21 rm -f $OOS $OOS2 $OOSFALLOCATE $LOG $LOG2
  22 wait_delete_completed
  23
  24 sync; sleep_maxage; sync        # to ensure we get up-to-date statfs info
  25
  26 STRIPECOUNT=$($LCTL get_param -n lov.*.activeobd | head -n 1)
  27 ORIGFREE=$($LCTL get_param -n llite.*.kbytesavail | head -n 1)
  28 NUMBER_OF_FREE_BLOCKS=4096  # for dd command keep only 4MB space
  29 FALLOCATE_SIZE=$(( $ORIGFREE - $NUMBER_OF_FREE_BLOCKS )) # space to fill FS
  30 if check_fallocate_supported; then
  31         MAXFREE=${MAXFREE:-$((1048576000 * $STRIPECOUNT))}
  32 else
  33         MAXFREE=${MAXFREE:-$((400000 * $STRIPECOUNT))}
  34 fi
  35 echo STRIPECOUNT=$STRIPECOUNT ORIGFREE=$ORIGFREE MAXFREE=$MAXFREE
  36
  37
  38 if (( $ORIGFREE > $MAXFREE )); then
  39         skip "$0: ${ORIGFREE}KB free > ${MAXFREE}KB, increase MAXFREE (or reduce fs size)"
  40         exit 0
  41 fi
  42
  43 export LANG=C LC_LANG=C # for "No space left on device" message
  44
  45 # make sure we stripe over all OSTs to avoid OOS on only a subset of OSTs
  46 $LFS setstripe $OOS -c $STRIPECOUNT
  47 $LFS setstripe $OOS2 -c $STRIPECOUNT
  48 $LFS setstripe $OOSFALLOCATE -c $STRIPECOUNT
  49
  50 stack_trap "rm -f $OOS $OOS2 $OOSFALLOCATE; wait_delete_completed"
  51
  52 # skip ZFS due to https://github.com/openzfs/zfs/issues/326
  53 # TODO: check support for zfs set reservation=10G to reduce free space
  54 if check_fallocate_supported; then
  55         if ! fallocate -l $FALLOCATE_SIZE $OOSFALLOCATE 2>> $LOG; then
  56                 echo "ERROR: fallocate -l $FALLOCATE_SIZE $OOSFALLOCATE failed"
  57                 SUCCESS=0
  58         fi
  59 fi
  60
  61 NUMBER_OF_IO_BLOCKS=$((3 * $ORIGFREE / 4 + 100)) # use 75% or 3/4 of free space
  62 dd if=/dev/zero of=$OOS count=$NUMBER_OF_IO_BLOCKS bs=1k 2>> $LOG &
  63 DDPID=$!
  64 if dd if=/dev/zero of=$OOS2 count=$NUMBER_OF_IO_BLOCKS bs=1k 2>> $LOG2; then
  65         echo "ERROR: dd2 did not fail"
  66         SUCCESS=0
  67 fi
  68 if wait $DDPID; then
  69         echo "ERROR: dd did not fail"
  70         SUCCESS=0
  71 fi
  72
  73 [[ -s "$LOG" ]] || error "LOG file is empty!"
  74 [[ -s "$LOG2" ]] || error "LOG2 file is empty!"
  75
  76 if (( $(cat $LOG $LOG2 | grep -c 'No space left on device') != 2 )); then
  77         echo "ERROR: dd not return ENOSPC"
  78         SUCCESS=0
  79 fi
  80
  81 # flush cache to OST(s) so avail numbers are correct
  82 sync; sleep 1 ; sync
  83
  84 if ! oos_full; then
  85         echo "no OSTs are close to full"
  86         SUCCESS=0
  87 fi
  88
  89 RECORDSOUT=$(($(grep "records out" $LOG | cut -d+ -f 1) +
  90               $(grep "records out" $LOG2 | cut -d+ -f 1)))
  91
  92 FILESIZE=$(($(stat -c '%b*%B' $OOS) + $(stat -c '%b*%B' $OOS2)))
  93 if (( $RECORDSOUT != $FILESIZE / 1024 )); then
  94         echo "ERROR: dd blocks $RECORDSOUT != file size $((FILESIZE/1024))"
  95         SUCCESS=0
  96 fi
  97
  98 if (( $RECORDSOUT < $ORIGFREE * 99 / 100 )); then
  99         echo "ERROR: dd blocks $RECORDSOUT != file size $((FILESIZE/1024))"
 100         SUCCESS=0
 101 fi
 102
 103 echo LOG LOG2 file
 104 grep . $LOG $LOG2
 105
 106 if [ $SUCCESS -eq 1 ]; then
 107         echo "Success!"
 108         rm -f $LOG $LOG2
 109 else
 110         exit 1
 111 fi