Whamcloud - gitweb
LU-1187 tests: Fixes in test-framework for DNE
[fs/lustre-release.git] / lustre / scripts / lustre_start.in
1 #!/bin/bash
2
3 # vim:expandtab:shiftwidth=4:softtabstop=4:tabstop=4:
4
5 #
6 # lustre_start - start or stop multiple Lustre servers from a CSV file
7 #
8 # This script is used to parse each line of a CSV (Comma-Separated Value) file
9 # and execute remote command to start/stop the service on every Lustre server
10 # target that will be part of the Lustre cluster.
11 #
12 ################################################################################
13
14 # Usage
15 usage() {
16     cat <<EOF
17
18 Usage: $(basename $0) [options] <-a|-w|-x> <CSV file>
19
20     This script is used to start or stop multiple Lustre servers from a
21     CSV file.
22
23     Options:
24     -a          select all the nodes from the CSV file to operate on
25     -w hostname,hostname,...
26                 select the specified list of nodes (separated by commas) to
27                 operate on rather than all the nodes in the CSV file
28     -x hostname,hostname,...
29                 exclude the specified list of nodes (separated by commas)
30     -n          no net - don't verify network connectivity and hostnames
31                 in the cluster
32     -m          pass "mount options" item in the CSV file to mount command line
33     -k          stop the services on Lustre server targets
34     -v          verbose mode
35     -h          help
36     CSV file    a comma-separated value file that contains configuration
37                 parameters for each target in a Lustre cluster
38
39     Please refer to "lustre_config -h" for the description of CSV file formats.
40
41 EOF
42 }
43
44 # Get the library of functions
45 . @scriptlibdir@/lc_common
46
47 SPECIFY_MNTOPTS=false
48 STOP_SERVICE=false
49 # Get and check the positional parameters
50 while getopts "aw:x:nmkhv" OPTION; do
51     case $OPTION in
52     a)
53         [ -z "$SPECIFIED_NODELIST" ] && [ -z "$EXCLUDED_NODELIST" ] \
54         && USE_ALLNODES=true
55         NODELIST_OPT="$NODELIST_OPT -a"
56         ;;
57     w)
58         USE_ALLNODES=false
59         SPECIFIED_NODELIST=$OPTARG
60         NODELIST_OPT="$NODELIST_OPT -w $SPECIFIED_NODELIST"
61         ;;
62     x)
63         USE_ALLNODES=false
64         EXCLUDED_NODELIST=$OPTARG
65         NODELIST_OPT="$NODELIST_OPT -x $EXCLUDED_NODELIST"
66         ;;
67     n)
68         VERIFY_CONNECT=false
69         ;;
70     m)
71         SPECIFY_MNTOPTS=true
72         ;;
73     k)
74         STOP_SERVICE=true 
75         ;;
76     h)
77         usage
78         exit 0
79         ;;
80     v)
81         VERBOSE_OPT="-v"
82         VERBOSE_OUTPUT=true
83         ;;
84     ?)
85         usage 1>&2
86         exit 1
87         ;;
88     esac
89 done
90
91 # Toss out the parameters we've already processed
92 shift $((OPTIND - 1))
93
94 # Here we expect the CSV file
95 if [ $# -eq 0 ]; then
96     error_output "Missing CSV file!"
97     usage 1>&2
98     exit 1
99 fi
100
101 CSV_FILE=$1
102
103 # get_fstab_mntopts host_name device_name mount_point
104 # Get the mount options from the /etc/fstab file
105 get_fstab_mntopts() {
106     local host_name=$1
107     local dev_name=$2
108     local mnt_pnt=$3
109
110     local mnt_opts=""
111
112     if [ -z "$host_name" -o -z "$dev_name" -o -z "$mnt_pnt" ]; then
113         echo "get_fstab_mntopts(): Missing argument!"
114         return 1
115     fi
116
117     # Execute remote command to get the mount options from /etc/fstab file
118     mnt_opts=$($REMOTE $host_name "grep -w ^$dev_name /etc/fstab | \
119 grep -w $mnt_pnt | awk '{print \$4}'" 2>/dev/null)
120
121     mnt_opts=${mnt_opts//$host_name: /}
122
123     echo $mnt_opts
124     return 0
125 }
126
127 # Start the service on one Lustre server target
128 start_service() {
129     declare -i i=$1
130     shift
131     local extra_mntopts="$*"
132     local mntopts=""
133
134     # Get mount options
135     if $SPECIFY_MNTOPTS; then
136         # Use the "mount options" item from the CSV file
137         [ -n "${MOUNT_OPTIONS[i]}" ] && mntopts=${MOUNT_OPTIONS[i]}
138     else
139         # Do not use the "mount options" item from the CSV file
140         mntopts=$(get_fstab_mntopts ${HOST_NAME[i]} ${DEVICE_NAME[i]} \
141                 ${MOUNT_POINT[i]})
142         [ ${PIPESTATUS[0]} -ne 0 ] && error_output "$mntopts" && return 1
143     fi
144
145     [ -n "$mntopts" ] && mntopts="-o $mntopts"
146     [ -n "$extra_mntopts" ] && mntopts="$mntopts $extra_mntopts"
147     # Strip of any leading space
148     mntopts=${mntopts# }
149
150     # Execute remote command to start the service
151     verbose_output "Mounting Lustre ${DEVICE_TYPE[i]} target"\
152     "${DEVICE_NAME[i]} (opts: $mntopts) on ${HOST_NAME[i]}:${MOUNT_POINT[i]}..."
153     $REMOTE ${HOST_NAME[i]} "PATH=\$PATH:/sbin:/usr/sbin
154 error() { set +x; echo \"ERROR: \$2: \$1\"; echo \"XXRETCODE:\$1\"; exit \$1; }
155 mkdir -p ${MOUNT_POINT[i]} || \\
156     error \${PIPESTATUS[0]} \"failed to mkdir ${MOUNT_POINT[i]}\"
157 mount -t $FS_TYPE $mntopts ${DEVICE_NAME[i]} ${MOUNT_POINT[i]} || \\
158     error \${PIPESTATUS[0]} \\
159         \"failed to mount ${DEVICE_NAME[i]} on host ${HOST_NAME[i]}\""
160     return ${PIPESTATUS[0]}
161 }
162
163 # Stop the service on one Lustre server target
164 stop_service() {
165     declare -i i=$1
166
167     # Execute remote command to stop the service
168     verbose_output "Unmounting Lustre ${DEVICE_TYPE[i]} target"\
169     "${DEVICE_NAME[i]} on ${HOST_NAME[i]}:${MOUNT_POINT[i]}..."
170     $REMOTE ${HOST_NAME[i]} "PATH=\$PATH:/sbin:/usr/sbin
171 error() { set +x; echo \"ERROR: \$2: \$1\"; echo \"XXRETCODE:\$1\"; exit \$1; }
172 if grep -q \" ${MOUNT_POINT[i]} \" /proc/mounts; then
173     umount -d -f ${MOUNT_POINT[i]} || \\
174         error \${PIPESTATUS[0]} \\
175             \"failed to unmount ${DEVICE_NAME[i]} on host ${HOST_NAME[i]}\"
176 else
177     echo \"${DEVICE_NAME[i]} was not mounted on\"\\
178     \"${HOST_NAME[i]}:${MOUNT_POINT[i]}\"
179 fi"
180     return ${PIPESTATUS[0]}
181 }
182
183 # mass_op op_type target_type
184 # Start/stop the services on Lustre server targets in parallel
185 mass_op() {
186     local op_type=$1
187     local target_type=$2
188
189     local op_func
190     declare -i i
191     declare -i pid_num=0
192     declare -a REMOTE_PID
193     local RC=0
194
195     if [ -z "$op_type" -o -z "$target_type" ]; then
196         error_output "mass_op(): Missing argument!"
197         return 1
198     fi
199
200     case "$op_type" in
201     "start")  op_func=start_service;;
202     "stop")   op_func=stop_service;;
203     *)  error_output "mass_op(): Invalid op type \"$op_type\"!" && return 1;;
204     esac
205
206     for ((i = 0; i < ${#HOST_NAME[@]}; i++)); do
207         if [ "${DEVICE_TYPE[i]}" = "$target_type" ] \
208         && [[ "${FORMAT_OPTIONS[i]}" != *noformat* ]]; then
209             eval "$op_func $i &"
210             REMOTE_PID[$pid_num]=$!
211             let pid_num=$pid_num+1
212         fi
213     done
214
215     for ((pid_num = 0; pid_num < ${#REMOTE_PID[@]}; pid_num++)); do
216         wait ${REMOTE_PID[${pid_num}]}
217         local RC1=${PIPESTATUS[0]}
218         [ $RC1 -ne 0 ] && RC=$RC1
219     done
220
221     [ $RC -ne 0 ] && return $RC
222
223     return 0
224 }
225
226 # Unload the modules to make cleanup
227 unload_modules() {
228     local command
229     local host
230     local host_list
231
232     host_list=$(comma_list "${HOST_NAME[@]}")
233     [ -z "$host_list" ] && return 0
234
235     command="PATH=\$PATH:/sbin:/usr/sbin
236 if grep -q libcfs /proc/modules; then
237     lctl net down 1>/dev/null 2>&1
238     lustre_rmmod
239 fi"
240
241     if is_pdsh; then
242         $REMOTE $host_list "$command"
243     else
244         for host in ${host_list//,/ }; do
245             $REMOTE $host "$command"
246         done
247     fi
248 }
249
250 # Start the services on Lustre server targets
251 mass_start() {
252     declare -i i
253     local combo_mgs_mdt=false
254
255     if [ ${#HOST_NAME[@]} -eq 0 ]; then
256         verbose_output "There are no Lustre targets specified."
257         return 0
258     fi
259
260     # Start lnet network on the MGS node
261     start_mgs_lnet || return ${PIPESTATUS[0]}
262
263     local checked_hosts=""
264     for ((i = 0; i < ${#HOST_NAME[@]}; i++)); do
265         host_in_hostlist ${HOST_NAME[i]} $checked_hosts && continue
266         if ! is_mgs_node ${HOST_NAME[i]}; then
267             # Add module options to the module configuration file
268             add_module_options $i ${HOST_NAME[i]} || return ${PIPESTATUS[0]}
269
270             # Check lnet networks
271             check_lnet $i || return ${PIPESTATUS[0]}
272
273             checked_hosts="$checked_hosts,${HOST_NAME[i]}"
274         fi
275     done
276
277     # Start MGS or the MGS service on combo MGS/MDT (with "-o nosvc -n" options)
278     if [ -n "${MGS_NODENAME[0]}" ]; then
279         local idx=${MGS_IDX[0]}
280         if [ "${DEVICE_TYPE[idx]#*mdt*}" != "${DEVICE_TYPE[idx]}" ]; then
281             # Combo MGS/MDT
282             combo_mgs_mdt=true
283             start_service ${MGS_IDX[0]} "-o nosvc -n" || return ${PIPESTATUS[0]}
284         else
285             start_service ${MGS_IDX[0]} || return ${PIPESTATUS[0]}
286         fi
287     fi
288
289     # Start OST(s)
290     mass_op "start" "ost" || return ${PIPESTATUS[0]}
291
292     # Start the MDT service on combo MGS/MDT (with "-o nomgs" option)
293     if $combo_mgs_mdt; then
294         start_service ${MGS_IDX[0]} "-o nomgs" || return ${PIPESTATUS[0]}
295     fi
296
297     # Start MDT(s)
298     mass_op "start" "mdt" || return ${PIPESTATUS[0]}
299
300     verbose_output "Success on all Lustre targets!"
301     return 0
302 }
303
304 # Stop the services on Lustre server targets
305 mass_stop() {
306     declare -i i
307
308     if [ ${#HOST_NAME[@]} -eq 0 ]; then
309         verbose_output "There are no Lustre targets specified."
310         return 0
311     fi
312
313     # Stop MDT(s)
314     mass_op "stop" "mdt" || return ${PIPESTATUS[0]}
315
316     # Stop the MDT service on combo MGS/MDT
317     if [ -n "${MGS_NODENAME[0]}" ]; then
318         local idx=${MGS_IDX[0]}
319         if [ "${DEVICE_TYPE[idx]#*mdt*}" != "${DEVICE_TYPE[idx]}" ]; then
320             # Combo MGS/MDT
321             stop_service ${MGS_IDX[0]} || return ${PIPESTATUS[0]}
322         fi
323     fi
324
325     # Stop OST(s)
326     mass_op "stop" "ost" || return ${PIPESTATUS[0]}
327     
328     # Stop MGS or the MGS service on combo MGS/MDT
329     if [ -n "${MGS_NODENAME[0]}" ]; then
330         stop_service ${MGS_IDX[0]} || return ${PIPESTATUS[0]}
331     fi
332
333     unload_modules
334
335     return 0
336 }
337
338 #********************************* Main Flow **********************************#
339
340 # Check the CSV file
341 check_file $CSV_FILE || exit ${PIPESTATUS[0]}
342
343 # Get the list of nodes to be operated on
344 NODES_TO_USE=$(get_nodelist) || error_exit ${PIPESTATUS[0]} "$NODES_TO_USE"
345
346 # Check the node list
347 check_nodelist $NODES_TO_USE || exit ${PIPESTATUS[0]}
348
349 # Check the network connectivity and hostnames
350 if $VERIFY_CONNECT; then
351     verbose_output "Checking the cluster network connectivity and hostnames..."
352     $VERIFY_CLUSTER_NET $NODELIST_OPT $VERBOSE_OPT $CSV_FILE || \
353         exit ${PIPESTATUS[0]}
354     verbose_output "Check the cluster network connectivity and hostnames OK!"
355 fi
356
357 # Configure the Lustre cluster
358 echo "$(basename $0): ******** Lustre cluster configuration BEGIN ********"
359
360 get_lustre_items $CSV_FILE || exit ${PIPESTATUS[0]}
361
362 check_mgs || exit ${PIPESTATUS[0]}
363
364 if ! $STOP_SERVICE; then
365     mass_start || exit ${PIPESTATUS[0]}
366 else
367     mass_stop || exit ${PIPESTATUS[0]}
368 fi
369
370 echo "$(basename $0): ******** Lustre cluster configuration END **********"
371
372 exit 0