lustre/tests/large-lun.sh

   1 #!/bin/bash
   2 #
   3 # This script is used to test large size LUN support in Lustre.
   4 #
   5 ################################################################################
   6 set -e
   7
   8 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
   9 . $LUSTRE/tests/test-framework.sh
  10 init_test_env $@
  11 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  12 init_logging
  13
  14 if [ "$REFORMAT" != "yes" ]; then
  15         skip_env "$0 reformats all devices,\
  16                 please set REFORMAT to run this test"
  17 fi
  18
  19 # Variable to run mdsrate
  20 THREADS_PER_CLIENT=${THREADS_PER_CLIENT:-5}    # thread(s) per client node
  21 MACHINEFILE=${MACHINEFILE:-$TMP/$TESTSUITE.machines}
  22 NODES_TO_USE=${NODES_TO_USE:-$CLIENTS}
  23 NUM_CLIENTS=$(get_node_count ${NODES_TO_USE//,/ })
  24
  25 # bug number:
  26 ALWAYS_EXCEPT="$LARGE_LUN_EXCEPT"
  27
  28 build_test_filter
  29 LARGE_LUN_RESTORE_MOUNT=false
  30 if is_mounted $MOUNT || is_mounted $MOUNT2; then
  31         LARGE_LUN_RESTORE_MOUNT=true
  32 fi
  33 # Unmount and cleanup the Lustre filesystem
  34 cleanupall
  35 load_modules
  36
  37 FULL_MODE=${FULL_MODE:-false}
  38 RUN_FSCK=${RUN_FSCK:-true}
  39 # if SLOW=yes, enable the FULL_MODE
  40 [[ $SLOW = yes ]] && FULL_MODE=true
  41 #########################################################################
  42 # Dump the super block information for the filesystem present on device.
  43 run_dumpfs() {
  44         local facet=$1
  45         local dev=$2
  46         local cmd
  47
  48         log "dump the super block information on $facet device $dev"
  49         local fstype=$(facet_fstype $facet)
  50
  51         case $fstype in
  52                 ldiskfs )
  53                         cmd="$DUMPE2FS -h $dev" ;;
  54                 zfs )
  55                         cmd="$ZDB -l $(zpool_name $facet)" ;;
  56                 * )
  57                         error "unknown fstype!" ;;
  58         esac
  59
  60         do_facet $facet "$cmd"
  61 }
  62
  63 # Report Lustre filesystem disk space usage and inodes usage of each MDT/OST.
  64 client_df() {
  65         local mnt_pnt=$1
  66         local cmd
  67
  68         cmd="df -h"
  69         echo -e "\n# $cmd"
  70         eval $cmd
  71
  72         cmd="lfs df -h $mnt_pnt"
  73         echo -e "\n# $cmd"
  74         eval $cmd
  75
  76         cmd="lfs df -i $mnt_pnt"
  77         echo -e "\n# $cmd"
  78         eval $cmd
  79 }
  80
  81 # Cleanup the directories and files created by llverfs utility.
  82 cleanup_dirs() {
  83         local target=$1
  84         local mnt=${2:-$MOUNT}
  85         local cmd="rm -rf $mnt/{llverfs,dir}*"
  86         do_facet $target "$cmd"
  87 }
  88
  89 # Run mdsrate.
  90 run_mdsrate() {
  91         generate_machine_file $NODES_TO_USE $MACHINEFILE ||
  92                 error "can not generate machinefile"
  93
  94         # set the default stripe count for files in this test to one
  95         local testdir=$MOUNT/mdsrate
  96         mkdir -p $testdir
  97         chmod 0777 $testdir
  98         $LFS setstripe $testdir -i 0 -c 1
  99         get_stripe $testdir
 100
 101         local num_dirs=$THREADS_PER_CLIENT
 102         [[ $num_dirs -eq 0 ]] && num_dirs=1
 103         local free_inodes=$(lfs df -i $MOUNT | grep "OST:0" | awk '{print $4}')
 104         local num_files
 105         num_files=$((free_inodes / num_dirs))
 106
 107         local command="$MDSRATE $MDSRATE_DEBUG --create --verbose \
 108                 --ndirs $num_dirs --dirfmt '$testdir/dir%d' \
 109                 --nfiles $num_files --filefmt 'file%%d'"
 110
 111         echo "# $command"
 112         mpi_run -machinefile $MACHINEFILE \
 113                 -np $((NUM_CLIENTS * THREADS_PER_CLIENT)) $command
 114
 115         if [ ${PIPESTATUS[0]} != 0 ]; then
 116                 error "mdsrate create failed"
 117         fi
 118 }
 119
 120 check_fsfacet() {
 121         local facet=$1
 122         local fstype=$(facet_fstype $facet)
 123
 124         case $fstype in
 125             ldiskfs)
 126                 run_e2fsck $(facet_active_host $facet) $(facet_device $facet) \
 127                     "-y" || error "run e2fsck error"
 128                 ;;
 129             zfs)
 130                 # Could call fsck.zfs, but currently it does nothing,
 131                 # Could also call zpool scrub, but that could take a LONG time
 132                 # do_facet $facet "fsck.zfs $(facet_device $facet)"
 133                 ;;
 134         esac
 135 }
 136
 137 # Run e2fsck on MDS and OST
 138 do_fsck() {
 139         $RUN_FSCK || return
 140
 141         check_fsfacet $SINGLEMDS
 142
 143         for num in $(seq $OSTCOUNT); do
 144                 check_fsfacet ost${num}
 145         done
 146 }
 147 ################################## Main Flow ###################################
 148 trap cleanupall EXIT
 149
 150 test_1 () {
 151         [ "$mds1_FSTYPE" != ldiskfs ] && skip_env "ldiskfs only test"
 152
 153         local dev
 154
 155         for num in $(seq $OSTCOUNT); do
 156                 dev=$(ostdevname $num)
 157                 log "run llverdev on the OST $dev"
 158                 do_rpc_nodes $(facet_host ost${num}) run_llverdev $dev -vpf ||
 159                         error "llverdev on $dev failed!"
 160         done
 161         # restore format overwritten by llverdev
 162         formatall
 163 }
 164 run_test 1 "run llverdev on raw LUN"
 165
 166 test_2 () {
 167         local dev
 168         local ostmnt
 169         local fstype
 170         local zostsize_restore=${OSTSIZE}
 171         local zmin=$((30 << 30)) # 30GiB in bytes
 172         local skipped=1
 173
 174         stack_trap "export OSTSIZE=$zostsize_restore" EXIT
 175
 176         for num in $(seq $OSTCOUNT); do
 177                 dev=$(ostdevname $num)
 178                 ostmnt=$(facet_mntpt ost${num})
 179                 fstype=$(facet_fstype ost${num})
 180
 181                 if [[ $fstype == "zfs" ]] && [[ ${OSTSIZE} -lt ${zmin} ]]; then
 182                         local real_dev=$(ostvdevname $num)
 183                         local num_sectors=$(get_num_sectors $facet $real_dev)
 184                         local phy_bytes=$((num_sectors * 512))
 185
 186                         if [ ${phy_bytes} -lt ${zmin} ] ; then
 187                                 log "ost${num}: OSTSIZE ${OSTSIZE} less than 30GiB"
 188                                 log "ost${num}: Block device ${phy_bytes} too small"
 189                                 log " .. skipping this ost"
 190                                 continue
 191                         fi
 192                         # Backing block device is big enough
 193                         skipped=0
 194                         log "ost${num}: OSTSIZE ${OSTSIZE} too small, increasing to 30GiB [temporarily]"
 195                         format_ost ${num}
 196                         # NOTE: OSTSIZE is in KB
 197                         export OSTSIZE=$((zmin >> 10))
 198                 fi
 199
 200                 # Mount the OST as an ldiskfs or zfs filesystem.
 201                 log "mount the OST $dev as a $fstype filesystem"
 202                 add ost${num} $(mkfs_opts ost${num} $dev) $FSTYPE_OPT \
 203                         --reformat $(ostdevname $num) \
 204                         $(ostvdevname $num) > /dev/null ||
 205                         error "format ost${num} error"
 206                 if [ $fstype == zfs ]; then
 207                         import_zpool ost${num}
 208                         do_facet ost${num} \
 209                             "$ZFS set canmount=on $dev; " \
 210                             "$ZFS set mountpoint=legacy $dev; " \
 211                             "$ZFS list $dev"
 212                 fi
 213                 run_dumpfs ost${num} $dev
 214                 do_facet ost${num} mount -t $fstype $dev \
 215                         $ostmnt "$OST_MOUNT_OPTS"
 216
 217                 # Run llverfs on the mounted filesystem in partial mode
 218                 # to ensure that the kernel can perform filesystem operations
 219                 # on the complete device without any errors.
 220                 log "run llverfs in partial mode on the OST $fstype $ostmnt"
 221                 do_rpc_nodes $(facet_host ost${num}) run_llverfs $ostmnt -vpl \
 222                         "no" || error "run_llverfs error on $fstype"
 223
 224                 # Unmount the OST.
 225                 log "unmount the OST $dev"
 226                 stop ost${num}
 227
 228                 # After llverfs is run on the filesystem in partial
 229                 # mode, a full e2fsck should be run to catch any errors early.
 230                 $RUN_FSCK && check_fsfacet ost${num}
 231
 232                 if $FULL_MODE; then
 233                         log "full mode, mount the OST $dev as a $fstype again"
 234                         if [ $fstype == zfs ]; then
 235                                 import_zpool ost${num}
 236                         fi
 237                         do_facet ost${num} mount -t $(facet_fstype ost${num}) \
 238                                 $dev $ostmnt "$OST_MOUNT_OPTS"
 239                         cleanup_dirs ost${num} $ostmnt
 240                         do_facet ost${num} "sync"
 241
 242                         run_dumpfs ost${num} $dev
 243
 244                         # Run llverfs on the mounted ldiskfs filesystem in full
 245                         # mode to ensure that the kernel can perform filesystem
 246                         # operations on the complete device without any errors.
 247                         log "run llverfs in full mode on OST $fstype $ostmnt"
 248                         do_rpc_nodes $(facet_host ost${num}) run_llverfs \
 249                                 $ostmnt -vl "no" ||
 250                                 error "run_llverfs error on $fstype"
 251
 252                         # Unmount the OST.
 253                         log "unmount the OST $dev"
 254                         stop ost${num}
 255
 256                         # After llverfs is run on the ldiskfs filesystem in
 257                         # full mode, a full e2fsck should be run to catch any
 258                         #  errors early.
 259                         $RUN_FSCK && check_fsfacet ost${num}
 260                 fi
 261                 export OSTSIZE=${zostsize_restore}
 262         done
 263         [[ $skipped -ne 0 ]] && skip_env "No OST with enough space is available."
 264         # there is no reason to continue using ost devices
 265         # filled by llverfs as ldiskfs
 266         formatall
 267 }
 268 run_test 2 "run llverfs on OST ldiskfs/zfs filesystem"
 269
 270 test_3 () {
 271         [ -z "$CLIENTS" ] && skip_env "CLIENTS not defined, skipping"
 272         [ -z "$MPIRUN" ] && skip_env "MIPRUN not defined, skipping"
 273         [ -z "$MDSRATE" ] && skip_env "MDSRATE not defined, skipping"
 274         [ ! -x $MDSRATE ] && skip_env "$MDSRATE not built, skipping"
 275         # Setup the Lustre filesystem.
 276         log "setup the lustre filesystem"
 277         REFORMAT="yes" check_and_setup_lustre
 278
 279         log "run mdsrate to use up the free inodes."
 280         # Run the mdsrate test suite.
 281         run_mdsrate
 282         client_df $MOUNT
 283
 284         sync; sleep 5; sync
 285         stopall
 286         do_fsck
 287 }
 288 run_test 3 "use up free inodes on the OST with mdsrate"
 289
 290 test_4 () {
 291         # Setup the Lustre filesystem.
 292         log "setup the lustre filesystem"
 293         REFORMAT="yes" check_and_setup_lustre
 294         local dev
 295
 296         for num in $(seq $OSTCOUNT); do
 297                 dev=$(ostdevname $num)
 298                 run_dumpfs ost${num} $dev
 299         done
 300
 301         # Run llverfs on the mounted Lustre filesystem both in partial and
 302         # full mode to to fill the filesystem and verify the file contents.
 303         log "run llverfs in partial mode on the Lustre filesystem $MOUNT"
 304         run_llverfs $MOUNT -vp "no" || error "run_llverfs error on lustre"
 305         client_df $MOUNT
 306
 307         sync; sleep 5; sync
 308         stopall
 309         do_fsck
 310
 311         if $FULL_MODE; then
 312                 # Setup the Lustre filesystem again.
 313                 log "setup the lustre filesystem again"
 314                 setupall
 315
 316                 cleanup_dirs client $MOUNT
 317                 sync
 318                 client_df $MOUNT
 319
 320                 for num in $(seq $OSTCOUNT); do
 321                         dev=$(ostdevname $num)
 322                         run_dumpfs ost${num} $dev
 323                 done
 324
 325                 log "run llverfs in full mode on the Lustre filesystem $MOUNT"
 326                 run_llverfs $MOUNT -vl "no" ||
 327                         error "run_llverfs error on lustre"
 328                 client_df $MOUNT
 329
 330                 sync; sleep 5; sync
 331                 stopall
 332                 do_fsck
 333         fi
 334 }
 335 run_test 4 "run llverfs on lustre filesystem"
 336
 337 complete $SECONDS
 338 $LARGE_LUN_RESTORE_MOUNT && setupall
 339 check_and_cleanup_lustre
 340 exit_status