lustre/tests/recovery-random-scale.sh

   1 #!/bin/bash
   2 # vim:shiftwidth=4:softtabstop=4:tabstop=4:
   3
   4 # client failure does not affect other clients
   5
   6 # Start load on clients (each client works on it's own directory).
   7 # At defined (5-10 minutes) interval fail one random client and then fail mds.
   8 # Reintegrate failed client after recovery completed,
   9 # application errors are allowed for that client but not on other clients.
  10 # 10 minute intervals and verify that no application errors occur.
  11
  12 # Test runs one of CLIENT_LOAD progs on remote clients.
  13 set -e
  14
  15 ONLY=${ONLY:-"$*"}
  16
  17 # bug number for skipped test:
  18 ALWAYS_EXCEPT="$RECOVERY_RANDOM_SCALE_EXCEPT"
  19 # UPDATE THE COMMENT ABOVE WITH BUG NUMBERS WHEN CHANGING ALWAYS_EXCEPT!
  20
  21 LUSTRE=${LUSTRE:-$(cd $(dirname $0)/..; echo $PWD)}
  22 . $LUSTRE/tests/test-framework.sh
  23 init_test_env $@
  24 . ${CONFIG:=$LUSTRE/tests/cfg/$NAME.sh}
  25 init_logging
  26
  27 remote_mds_nodsh && skip_env "remote MDS with nodsh" && exit 0
  28 remote_ost_nodsh && skip_env "remote OST with nodsh" && exit 0
  29
  30 [ -z "$CLIENTS" -o $CLIENTCOUNT -lt 3 ] &&
  31     skip_env "need three or more clients" && exit 0
  32
  33 if [ -z "$SHARED_DIRECTORY" ] || ! check_shared_dir $SHARED_DIRECTORY; then
  34     skip_env "SHARED_DIRECTORY should be specified with a shared directory \
  35 which is accessable on all of the nodes"
  36     exit 0
  37 fi
  38
  39 [[ $FAILURE_MODE = SOFT ]] && \
  40     log "WARNING: $0 is not functional with FAILURE_MODE = SOFT, bz22797"
  41
  42 # Application failures are allowed for the failed client
  43 # but not for other clients.
  44 ERRORS_OK="yes"
  45
  46 if [ "$SLOW" = "no" ]; then
  47     DURATION=${DURATION:-$((60 * 30))}
  48 else
  49     DURATION=${DURATION:-$((60 * 60 * 24))}
  50 fi
  51 SERVER_FAILOVER_PERIOD=${SERVER_FAILOVER_PERIOD:-$((60 * 10))} # 10 minutes
  52
  53 MINSLEEP=${MINSLEEP:-120}
  54 REQFAIL_PERCENT=${REQFAIL_PERCENT:-3}    # bug17839 comment 62
  55 REQFAIL=${REQFAIL:-$((DURATION / SERVER_FAILOVER_PERIOD *
  56                       REQFAIL_PERCENT / 100))}
  57
  58 END_RUN_FILE=${END_RUN_FILE:-$SHARED_DIRECTORY/end_run_file}
  59 LOAD_PID_FILE=${LOAD_PID_FILE:-$TMP/client-load.pid}
  60 VMSTAT_PID_FILE=${VMSTAT_PID_FILE:-$TMP/vmstat.pid}
  61
  62 numfailovers () {
  63     local facet
  64     local var
  65
  66     for facet in $MDTS ${FAILED_CLIENTS//,/ }; do
  67         var=${facet}_nums
  68         val=${!var}
  69         if [ "$val" ] ; then
  70             echo "$facet failed over $val times"
  71         fi
  72     done
  73 }
  74
  75 summary_and_cleanup () {
  76     local rc=$?
  77     trap 0
  78
  79     # Having not empty END_RUN_FILE means the failed loads only
  80     if [ -s $END_RUN_FILE ]; then
  81         print_end_run_file $END_RUN_FILE
  82         rc=1
  83     fi
  84
  85     echo $(date +'%F %H:%M:%S') Terminating clients loads ...
  86     echo "$0" >> $END_RUN_FILE
  87     local result=PASS
  88     [ $rc -eq 0 ] || result=FAIL
  89
  90     log "Duration:               $DURATION
  91 Server failover period: $SERVER_FAILOVER_PERIOD seconds
  92 Exited after:           $ELAPSED seconds
  93 Number of failovers before exit:
  94 $(numfailovers)
  95 Status: $result: rc=$rc"
  96
  97     # stop vmstat on OSS nodes
  98     [ "$VMSTAT" ] && stop_process $(comma_list $(osts_nodes)) $VMSTAT_PID_FILE
  99
 100     # stop the client loads
 101     stop_client_loads $NODES_TO_USE $LOAD_PID_FILE
 102
 103         if [ $rc -ne 0 ]; then
 104                 # we are interested in only on failed clients and servers
 105                 local failedclients=$(cat $END_RUN_FILE | grep -v $0)
 106                 gather_logs $(comma_list $(all_server_nodes) $failedclients)
 107         fi
 108
 109     exit $rc
 110 }
 111
 112 ################################## Main Flow ###################################
 113 build_test_filter
 114
 115 check_and_setup_lustre
 116 rm -rf $DIR/[Rdfs][0-9]*
 117
 118 MAX_RECOV_TIME=$(max_recovery_time)
 119
 120 # The test node needs to be insulated from a lustre failure as much as possible,
 121 # so not even loading the lustre modules is ideal.
 122 # -- umount lustre
 123 # -- remove hostname from clients list
 124 zconf_umount $HOSTNAME $MOUNT
 125 NODES_TO_USE=${NODES_TO_USE:-$CLIENTS}
 126 NODES_TO_USE=$(exclude_items_from_list $NODES_TO_USE $HOSTNAME)
 127
 128 check_progs_installed $NODES_TO_USE ${CLIENT_LOADS[@]}
 129
 130 MDTS=$(get_facets MDS)
 131
 132 # Fail a random client and then failover a random MDS.
 133 test_fail_client_mds() {
 134     local fail_client
 135     local serverfacet
 136     local client_var
 137     local var
 138
 139     trap summary_and_cleanup EXIT INT
 140
 141     # start vmstat on OSS nodes
 142     [ "$VMSTAT" ] && start_vmstat $(comma_list $(osts_nodes)) $VMSTAT_PID_FILE
 143
 144     # start client loads
 145     rm -f $END_RUN_FILE
 146     start_client_loads $NODES_TO_USE
 147
 148     echo client loads pids:
 149     do_nodesv $NODES_TO_USE "cat $LOAD_PID_FILE" || exit 3
 150
 151     ELAPSED=0
 152     local sleep=0
 153     local reqfail=0
 154     local it_time_start
 155     local start_ts=$(date +%s)
 156     local current_ts=$start_ts
 157
 158     while [ $ELAPSED -lt $DURATION -a ! -e $END_RUN_FILE ]; do
 159         # In order to perform the
 160         # expected number of failovers, we need to account the following:
 161         # 1) the time that has elapsed during the client load checking
 162         # 2) time takes for failover
 163         it_time_start=$(date +%s)
 164
 165         fail_client=$(get_random_entry $NODES_TO_USE)
 166         client_var=$(node_var_name $fail_client)_nums
 167
 168         # store the list of failed clients
 169         # lists are comma separated
 170         FAILED_CLIENTS=$(expand_list $FAILED_CLIENTS $fail_client)
 171
 172         serverfacet=$(get_random_entry $MDTS)
 173         var=${serverfacet}_nums
 174
 175         # Check that our client loads are still running. If any have died,
 176         # that means they have died outside of recovery, which is unacceptable.
 177         log "==== Checking the clients loads BEFORE failover -- failure NOT OK \
 178              ELAPSED=$ELAPSED DURATION=$DURATION PERIOD=$SERVER_FAILOVER_PERIOD"
 179         check_client_loads $NODES_TO_USE || exit 4
 180
 181         log "FAIL CLIENT $fail_client..."
 182         shutdown_client $fail_client
 183
 184         log "Starting failover on $serverfacet"
 185         facet_failover "$serverfacet" || exit 1
 186
 187         if ! wait_recovery_complete $serverfacet; then
 188             echo "$serverfacet recovery is not completed!"
 189             exit 7
 190         fi
 191
 192         boot_node $fail_client
 193         echo "Reintegrating $fail_client"
 194         zconf_mount $fail_client $MOUNT || exit $?
 195         client_up $fail_client || exit $?
 196
 197         # Increment the number of failovers
 198         val=$((${!var} + 1))
 199         eval $var=$val
 200         val=$((${!client_var} + 1))
 201         eval $client_var=$val
 202
 203         # load script on failed clients could create END_RUN_FILE
 204         # We shuold remove it and ignore the failure if this
 205         # file contains the failed client only.
 206         # We can not use ERRORS_OK when start all loads at the start of
 207         # this script because the application errors allowed for random
 208         # failed client only, but not for all clients.
 209         if [ -e $END_RUN_FILE ]; then
 210             local end_run_node
 211             read end_run_node < $END_RUN_FILE
 212             [[ $end_run_node = $fail_client ]] &&
 213                 rm -f $END_RUN_FILE || exit 13
 214         fi
 215
 216         restart_client_loads $fail_client $ERRORS_OK || exit $?
 217
 218         # Check that not failed clients loads are still running.
 219         # No application failures should occur on clients that were not failed.
 220         log "==== Checking the clients loads AFTER failed client reintegrated \
 221 -- failure NOT OK"
 222         if ! ERRORS_OK= check_client_loads \
 223             $(exclude_items_from_list $NODES_TO_USE $fail_client); then
 224             log "Client load failed. Exiting..."
 225             exit 5
 226         fi
 227
 228         current_ts=$(date +%s)
 229         ELAPSED=$((current_ts - start_ts))
 230         sleep=$((SERVER_FAILOVER_PERIOD - (current_ts - it_time_start)))
 231
 232         # Keep counting the number of iterations when
 233         # time spent to failover and two client loads check exceeded
 234         # the value ( SERVER_FAILOVER_PERIOD - MINSLEEP ).
 235         if [ $sleep -lt $MINSLEEP ]; then
 236             reqfail=$((reqfail + 1))
 237             log "WARNING: failover, client reintegration and \
 238 check_client_loads time exceeded SERVER_FAILOVER_PERIOD - MINSLEEP!
 239 Failed to load the filesystem with I/O for a minimum period of \
 240 $MINSLEEP $reqfail times ( REQFAIL=$REQFAIL ).
 241 This iteration, the load was only applied for sleep=$sleep seconds.
 242 Estimated max recovery time : $MAX_RECOV_TIME
 243 Probably the hardware is taking excessively long time to boot.
 244 Try to increase SERVER_FAILOVER_PERIOD (current is $SERVER_FAILOVER_PERIOD), \
 245 bug 20918"
 246             [ $reqfail -gt $REQFAIL ] && exit 6
 247         fi
 248
 249         log "Number of failovers:
 250 $(numfailovers)                and counting..."
 251
 252         [ $((ELAPSED + sleep)) -ge $DURATION ] && break
 253
 254         if [ $sleep -gt 0 ]; then
 255             echo "sleeping $sleep seconds... "
 256             sleep $sleep
 257         fi
 258     done
 259     exit 0
 260 }
 261 run_test fail_client_mds "fail client, then failover MDS"
 262
 263 zconf_mount $HOSTNAME $MOUNT || error "mount $MOUNT on $HOSTNAME failed"
 264 client_up || error "start client on $HOSTNAME failed"
 265
 266 complete $SECONDS
 267 check_and_cleanup_lustre
 268 exit_status