Whamcloud - gitweb
LU-8139 tests: skip sanity test 101g until fix is landed
[fs/lustre-release.git] / lustre / contrib / lustre_server.sh
1 #!/bin/bash
2 #
3 # License:      GNU General Public License (GPL)
4
5 # lustre_server
6 #      Description: Manages a lustre_server on a shared storage medium.
7 #  Original Author: Eric Z. Ayers (eric.ayers@compgen.com)
8 # Original Release: 25 Oct 2000
9 #
10 # Rewritten Filesystem agent to lustre_server agent by bschubert@ddn.com
11 #
12 # usage: ./lustre_server {start|stop|status|monitor|validate-all|meta-data}
13 #
14 #         OCF parameters are as below:
15 #               OCF_RESKEY_device
16 #               OCF_RESKEY_directory
17 #               OCF_RESKEY_options
18 #
19 #OCF_RESKEY_device    : name of block device for the filesystem. e.g. /dev/sda1, /dev/md0
20 #                       Or a -U or -L option for mount, or an NFS mount specification
21 #OCF_RESKEY_directory : the mount point for the filesystem
22 #OCF_RESKEY_options   : options to be given to the mount command via -o
23 #
24 #
25 # NOTE: There is no locking (such as a SCSI reservation) being done here.
26 #       I would if the SCSI driver could properly maintain the reservation,
27 #       which it cannot, even with the 'scsi reservation' patch submitted
28 #       earlier this year by James Bottomley.  The patch minimizes the
29 #       bus resets caused by a RESERVATION_CONFLICT return, and helps the
30 #       reservation stay when 2 nodes contend for a reservation,
31 #       but it does not attempt to recover the reservation in the
32 #       case of a bus reset.
33 #
34 #       What all this means is that if 2 nodes mount the same file system
35 #       read-write, the filesystem is going to become corrupted. However
36 #       Lustre provides the Multi-Mount-Protection feature (MMP).
37 #
38 #       As a result, you should use this together with the stonith option
39 #       and redundant, independent communications paths.
40 #
41 #       If you don't do this, don't blame us when you scramble your disk.
42 #
43 #       Note:  the ServeRAID controller does prohibit concurrent acess
44 #       In this case, you don't actually need STONITH, but redundant comm is
45 #       still an excellent idea.
46 #
47
48 #######################################################################
49 # Initialization:
50
51 . ${OCF_ROOT}/resource.d/heartbeat/.ocf-shellfuncs
52
53 #######################################################################
54 HOSTOS=`uname`
55 FSTYPE="lustre"
56
57 # FIXME: OCF_DEBUG officially supported in the the mean time?
58 #OCF_DEBUG=yes
59
60 usage() {
61         cat <<-EOT
62         usage: $0 {start|stop|status|monitor|validate-all|meta-data}
63         EOT
64 }
65
66 meta_data() {
67         cat <<END
68 <?xml version="1.0"?>
69 <!DOCTYPE resource-agent SYSTEM "ra-api-1.dtd">
70 <resource-agent name="lustre_server">
71 <version>1.0</version>
72
73
74 <longdesc lang="en">
75   Resource script for lustre_server. It manages a lustre_server on a shared storage medium. 
76 </longdesc>
77 <shortdesc lang="en">lustre_server resource agent</shortdesc>
78
79 <parameters>
80   <parameter name="device" required="1">
81     <longdesc lang="en">
82        The name of block device for the filesystem
83   </longdesc>
84   <shortdesc lang="en">block device</shortdesc>
85   <content type="string" default="" />
86 </parameter>
87
88 <parameter name="directory" required="1">
89  <longdesc lang="en">
90    The mount point for the filesystem.
91  </longdesc>
92  <shortdesc lang="en">mount point</shortdesc>
93  <content type="string" default="" />
94 </parameter>
95
96 <parameter name="options">
97  <longdesc lang="en">
98   Any extra options to be given as -o options to mount.
99  </longdesc>
100  <shortdesc lang="en">options</shortdesc>
101  <content type="string" default="" />
102 </parameter>
103 </parameters>
104
105 <actions>
106  <action name="start" timeout="300" />
107  <action name="stop" timeout="300" />
108  <action name="monitor" depth="0" timeout="300" interval="120" start-delay="10" />
109  <action name="validate-all" timeout="5" />
110  <action name="meta-data" timeout="5" />
111  </actions>
112 </resource-agent>
113 END
114 }
115
116 #
117 #       Make sure the kernel does the right thing with the FS buffers
118 #       This function should be called after unmounting and before mounting
119 #       It may not be necessary in 2.4 and later kernels, but it shouldn't hurt
120 #       anything either...
121 #
122 #       It's really a bug that you have to do this at all...
123 #
124 flushbufs() {
125     if have_binary $BLOCKDEV ; then
126        $BLOCKDEV --flushbufs $1
127     fi
128     return 0
129 }
130
131 # Figure out the real device number of external journals
132 # we need to provide as mount options, since the block
133 # device only know major/minor of the the journal device and it
134 # might/will change dynamically on reboots and between servers
135 # It would be MUCH better if 'mount' would do it on its own
136 # and in fact mount is already linked against libblkid to do
137 # this job
138 get_external_journal_device()
139 {
140         UUID=`dumpe2fs -h $DEVICE 2>/dev/null | awk '/^Journal UUID/{print $3}'`
141         if [ -z "$UUID" ]; then
142                 # device has internal journal, not need to proceed
143                 return
144         fi
145
146         # prefer /dev/mapper/
147         JDEV="`blkid -t UUID=$UUID /dev/mapper/* | awk -F: '{print $1}'`"
148         if [ -z "$JDEV" ]; then
149                 JDEV="`blkid -t UUID=$UUID | awk -F: '{print $1}'`"
150         fi
151
152         if [ -z "$JDEV" ]; then
153                 # know the journal is on an external device, but we can't find it
154                 ocf_log err "Cannot find device with journal UUID $UUID"
155                 return $OCF_ERR_GENERIC
156         fi
157
158         DEVNUM="`stat -c %02t%02T $JDEV`"
159         if [ -z "$DEVNUM" ]; then
160                 ocf_log err "Failed to retrieve device number of Journal device"
161                 return $OCF_ERR_GENERIC
162         fi
163
164         # add 0x only here, because we couldn't check for an empty string otherwise
165         DEVNUM="0x$DEVNUM"
166
167         echo $DEVNUM
168         return 0
169 }
170
171 # Take advantage of /proc/mounts if present, use portable mount command
172 # otherwise. Normalize format to "dev mountpoint fstype".
173 list_mounts() {
174         mtab=/proc/mounts
175         if [ ! -f $mtab ]; then
176                 ocf_log err "$mtab is missing!"
177                 exit $OCF_ERR_GENERIC
178         fi
179         cat $mtab | cut -d' ' -f1,2,3
180 }
181
182 lustre_health_check()
183 {
184         check=$(lctl get_param -n health_check 2>&1)
185         # on first check the lustre modules are not loaded yet
186         if [ $? != 0 ]; then
187                 return 0
188         fi
189
190         if [ "$check" = "healthy" ]; then
191                 return 0
192         else
193                 ocf_log err "health_check is $check"
194                 return 1
195         fi
196 }
197
198 #
199 # START: Start up the filesystem
200 #
201 lustre_server_start()
202 {
203         lustre_health_check
204         if [ $? -ne 0 ]; then
205                 return ${OCF_ERR_GENERIC}
206         fi
207
208         # See if the device is currently mounted
209         lustre_server_status >/dev/null 2>&1
210         rc=$?
211         if [ $rc -ne $OCF_NOT_RUNNING -a $rc -ne $OCF_SUCCESS ]; then
212                 ocf_log err "Unexpected status ($c) before mounting $DEVICE to $MOUNTPOINT"
213         elif [ $rc -eq $OCF_SUCCESS ]; then
214                 return $OCF_SUCCESS
215         fi
216
217         if [ ! -d "$MOUNTPOINT" ] ; then
218                 ocf_log err "Couldn't find directory  [$MOUNTPOINT] to use as a mount point"
219                 exit $OCF_ERR_ARGS
220         fi
221
222         flushbufs $DEVICE
223
224         jdev=`get_external_journal_device`
225         rc=$?
226         if [ $rc -ne 0 ]; then
227                 ocf_log err "Failure to get journal device"
228                 return $rc
229         fi
230
231         if [ -n "$jdev" ]; then
232                 if [ -n "$options" ]; then
233                         options="$options,journal_dev=$jdev"
234                 else
235                         options="-ojournal_dev=$jdev"
236                 fi
237         fi
238
239         # Mount the filesystem.
240         cmd="$MOUNT -t $FSTYPE $options $DEVICE $MOUNTPOINT"
241         ocf_log info "Running $cmd"
242         res=`eval $cmd 2>&1`
243         if [ $? -ne 0 ]; then
244                 ocf_log err "cmd \"$cmd\" failed: $res"
245                 return $OCF_ERR_GENERIC
246         fi
247
248         return 0
249 }
250 # end of lustre_server_start
251
252 #
253 # STOP: Unmount the filesystem
254 #
255 lustre_server_stop()
256 {
257         # See if the device is currently mounted
258         lustre_server_mounted >/dev/null 2>&1
259         if [ $? -eq $OCF_NOT_RUNNING ]; then
260                 # Already unmounted, wonderful.
261                 rc=$OCF_SUCCESS
262         else
263                 # Umount $MOUNTPOINT.
264                 ocf_log info "Trying to unmount $MOUNTPOINT"
265                 cmd="$UMOUNT $MOUNTPOINT"
266                 ocf_log info "Running $cmd"
267                 res=`eval $cmd 2>&1`
268                 rc=$?
269                 if [ $rc -eq 0 ] ; then
270                         rc=$OCF_SUCCESS
271                         ocf_log info "unmounted $MOUNTPOINT successfully"
272                 else
273                         rc=$OCF_ERR_GENERIC
274                         ocf_log err "\"$cmd\" failed ($rc): $res"
275                 fi
276         fi
277
278         flushbufs $DEVICE
279
280         return $rc
281 }
282 # end of lustre_server_stop
283
284 #
285 # MOUNTED: is the filesystem mounted or not?
286 #
287 lustre_server_mounted()
288 {
289         if list_mounts | grep -q " $MOUNTPOINT " >/dev/null 2>&1; then
290                 rc=$OCF_SUCCESS
291                 msg="$MOUNTPOINT is mounted (running)"
292         else
293                 rc=$OCF_NOT_RUNNING
294                 msg="$MOUNTPOINT is unmounted (stopped)"
295         fi
296
297         # check in all mntdevs if really not mounted
298         # lustre bug 21359 (https://bugzilla.lustre.org/show_bug.cgi?id=21359)
299         if [ $rc -eq $OCF_NOT_RUNNING ]; then
300                 dev=$(lctl get_param -n mds.*.mntdev 2>&1)
301                 if [ $? = 0 ]; then
302                         MNTDEVS=$dev
303                 fi
304                 dev=$(lctl get_param -n obdfilter.*.mntdev 2>&1)
305                 if [ $? = 0 ]; then
306                         MNTDEVS="$MNTDEVS $dev"
307                 fi
308                 dev=$(lctl get_param -n mgs.MGS.mntdev 2>&1)
309                 if [ $? = 0 ]; then
310                         MNTDEVS="$MNTDEVS $dev"
311                 fi
312                 for i in $MNTDEVS; do
313                         if [ "$i" = "$DEVICE" ]; then
314                                 ocf_log err "Bug21359, /proc/mounts claims device is not mounted, but $i proves this is wrong"
315                                 rc=$OCF_ERR_GENERIC
316                         fi
317                 done
318
319         fi
320
321         if [ "$OCF_DEBUG" = "yes" ]; then
322                 ocf_log info "$msg"
323         fi
324
325         case "$OP" in
326         status) ocf_log info "$msg"
327                 ;;
328         monitor)
329                 if [ $rc -ne $OCF_SUCCESS ]; then
330                         ocf_log err "$msg"
331                 fi
332         esac
333
334         return $rc
335 }
336 # end of lustre_server_mounted
337
338 #
339 # STATUS: is the filesystem mounted and healthy or not?
340 #
341 lustre_server_status()
342 {
343         lustre_health_check
344         if [ $? -ne 0 ]; then
345                 return ${OCF_ERR_GENERIC}
346         fi
347
348         lustre_server_mounted
349         rc=$?
350
351         return $rc
352 }
353 # end of lustre_server_status
354
355 #
356 #       Check if Lustre is available at all
357 #
358 lustre_server_validate_all()
359 {
360         var=$(lctl get_param -n version 2>&1)
361         if [ $? != 0 ]; then
362                 modprobe lustre
363
364                 for i in `seq 1 10`; do
365                         var=$(lctl get_param -n version 2>&1)
366                         if [ $? != 0 ]; then
367                                 sleep 1
368                         else
369                                 break
370                         fi
371                 done
372
373                 var=$(lctl get_param -n version 2>&1)
374                 if [ $? != 0 ]; then
375                         ocf_log err "Failed to load the lustre module"
376                         return $OCF_ERR_GENERIC
377                 fi
378         fi
379
380         return $OCF_SUCCESS
381 }
382
383 # Check the arguments passed to this script
384 if [ $# -ne 1 ]; then
385         usage
386         exit $OCF_ERR_ARGS
387 fi
388
389 # Check the OCF_RESKEY_ environment variables...
390 DEVICE=$OCF_RESKEY_device
391 if [ ! -z "$OCF_RESKEY_options" ]; then
392         options="-o $OCF_RESKEY_options"
393 fi
394
395 OP=$1
396
397 if [ "$OCF_DEBUG" = "yes" ]; then
398         ocf_log info "OP = $OP"
399 fi
400
401 # These operations do not require instance parameters
402 case $OP in
403 meta-data)      meta_data
404                 exit $OCF_SUCCESS
405                 ;;
406 usage)          usage
407                 exit $OCF_SUCCESS
408                 ;;
409 esac
410
411 # Normalize instance parameters:
412
413 # It is possible that OCF_RESKEY_directory has one or even multiple trailing "/".
414 # But the output of `mount` and /proc/mounts do not.
415 if [ -z "$OCF_RESKEY_directory" ]; then
416         ocf_log err "Please specify the directory"
417         exit $OCF_ERR_ARGS
418 else
419         MOUNTPOINT=$(echo $OCF_RESKEY_directory | sed 's/\/*$//')
420         : ${MOUNTPOINT:=/}
421         # At this stage, $MOUNTPOINT does not contain trailing "/" unless it is "/"
422         # TODO: / mounted via lustre_server sounds dangerous. On stop, we'll
423         # kill the whole system. Is that a good idea?
424 fi
425
426 MOUNTPOINT=`echo $MOUNTPOINT | sed -e 's/\s*//'`
427 if [ -z "$MOUNTPOINT" ]; then
428         ocf_log err "Empty mount point!"
429         ocf_log err "Please specify the directory"
430         exit $OCF_ERR_ARGS
431 fi
432
433 # Check to make sure the utilites are found
434 check_binary $MODPROBE
435 check_binary $FSCK
436 check_binary $MOUNT
437 check_binary $UMOUNT
438
439 if [ "$OP" != "monitor" ]; then
440         ocf_log info "Running $OP for $DEVICE on $MOUNTPOINT"
441 fi
442
443 # These operations do not require the clone checking + OCFS2
444 # initialization.
445 case $OP in
446 status|monitor) lustre_server_status
447                 exit $?
448                 ;;
449 validate-all)   lustre_server_validate_all
450                 exit $?
451                 ;;
452 stop)           lustre_server_stop
453                 exit $?
454                 ;;
455 esac
456
457 if [ -n "$OCF_RESKEY_CRM_meta_clone" ]; then
458         ocf_log err "DANGER! $FSTYPE on $DEVICE is NOT cluster-aware!"
459         ocf_log err "DO NOT RUN IT AS A CLONE!"
460         ocf_log err "Politely refusing to proceed to avoid data corruption."
461         exit $OCF_ERR_GENERIC
462 fi
463
464 case $OP in
465 start)  lustre_server_start
466         ;;
467 *)      usage
468         exit $OCF_ERR_UNIMPLEMENTED
469         ;;
470 esac
471 exit $?
472
473
474