Whamcloud - gitweb
b=20877 disable test_12 of sanity-quota.sh
[fs/lustre-release.git] / lustre / liblustre / llite_lib.c
1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
2  * vim:expandtab:shiftwidth=8:tabstop=8:
3  *
4  * GPL HEADER START
5  *
6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License version 2 only,
10  * as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope that it will be useful, but
13  * WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * General Public License version 2 for more details (a copy is included
16  * in the LICENSE file that accompanied this code).
17  *
18  * You should have received a copy of the GNU General Public License
19  * version 2 along with this program; If not, see
20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
21  *
22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
23  * CA 95054 USA or visit www.sun.com if you need additional information or
24  * have any questions.
25  *
26  * GPL HEADER END
27  */
28 /*
29  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
30  * Use is subject to license terms.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  *
36  * lustre/liblustre/llite_lib.c
37  *
38  * Lustre Light common routines
39  */
40
41 #include <stdlib.h>
42 #include <string.h>
43 #include <assert.h>
44 #include <signal.h>
45 #include <sys/types.h>
46 #include <sys/stat.h>
47 #include <sys/queue.h>
48
49 #include <liblustre.h>
50 #include <lnet/lnetctl.h>     /* needed for parse_dump */
51
52 #include "lutil.h"
53 #include "llite_lib.h"
54
55 int slp_global_init(void);
56
57 static int lllib_init(void)
58 {
59         if (liblustre_init_current("liblustre") ||
60             init_lib_portals() ||
61             init_obdclass() ||
62             ptlrpc_init() ||
63             mgc_init() ||
64             lmv_init() ||
65             mdc_init() ||
66             lov_init() ||
67             osc_init() ||
68             slp_global_init())
69                 return -1;
70
71         return _sysio_fssw_register("lustre", &llu_fssw_ops);
72 }
73
74 int liblustre_process_log(struct config_llog_instance *cfg,
75                           char *mgsnid, char *profile,
76                           int allow_recov)
77 {
78         struct lustre_cfg_bufs bufs;
79         struct lustre_cfg *lcfg;
80         char  *peer = "MGS_UUID";
81         struct obd_device *obd;
82         struct obd_export *exp;
83         char  *name = "mgc_dev";
84         class_uuid_t uuid;
85         struct obd_uuid mgc_uuid;
86         struct llog_ctxt *ctxt;
87         lnet_nid_t nid = 0;
88         char *mdsnid;
89         int err, rc = 0;
90         struct obd_connect_data *ocd = NULL;
91         ENTRY;
92
93         ll_generate_random_uuid(uuid);
94         class_uuid_unparse(uuid, &mgc_uuid);
95
96         nid = libcfs_str2nid(mgsnid);
97         if (nid == LNET_NID_ANY) {
98                 CERROR("Can't parse NID %s\n", mgsnid);
99                 RETURN(-EINVAL);
100         }
101
102         lustre_cfg_bufs_reset(&bufs, NULL);
103         lustre_cfg_bufs_set_string(&bufs, 1, peer);
104         lcfg = lustre_cfg_new(LCFG_ADD_UUID, &bufs);
105         lcfg->lcfg_nid = nid;
106         rc = class_process_config(lcfg);
107         lustre_cfg_free(lcfg);
108         if (rc < 0)
109                 GOTO(out, rc);
110
111         lustre_cfg_bufs_reset(&bufs, name);
112         lustre_cfg_bufs_set_string(&bufs, 1, LUSTRE_MGC_NAME);
113         lustre_cfg_bufs_set_string(&bufs, 2, mgc_uuid.uuid);
114         lcfg = lustre_cfg_new(LCFG_ATTACH, &bufs);
115         rc = class_process_config(lcfg);
116         lustre_cfg_free(lcfg);
117         if (rc < 0)
118                 GOTO(out_del_uuid, rc);
119
120         lustre_cfg_bufs_reset(&bufs, name);
121         lustre_cfg_bufs_set_string(&bufs, 1, LUSTRE_MGS_OBDNAME);
122         lustre_cfg_bufs_set_string(&bufs, 2, peer);
123         lcfg = lustre_cfg_new(LCFG_SETUP, &bufs);
124         rc = class_process_config(lcfg);
125         lustre_cfg_free(lcfg);
126         if (rc < 0)
127                 GOTO(out_detach, rc);
128
129         while ((mdsnid = strsep(&mgsnid, ","))) {
130                 nid = libcfs_str2nid(mdsnid);
131                 lustre_cfg_bufs_reset(&bufs, NULL);
132                 lustre_cfg_bufs_set_string(&bufs, 1, libcfs_nid2str(nid));
133                 lcfg = lustre_cfg_new(LCFG_ADD_UUID, &bufs);
134                 lcfg->lcfg_nid = nid;
135                 rc = class_process_config(lcfg);
136                 lustre_cfg_free(lcfg);
137                 if (rc) {
138                         CERROR("Add uuid for %s failed %d\n",
139                                libcfs_nid2str(nid), rc);
140                         continue;
141                 }
142
143                 lustre_cfg_bufs_reset(&bufs, name);
144                 lustre_cfg_bufs_set_string(&bufs, 1, libcfs_nid2str(nid));
145                 lcfg = lustre_cfg_new(LCFG_ADD_CONN, &bufs);
146                 lcfg->lcfg_nid = nid;
147                 rc = class_process_config(lcfg);
148                 lustre_cfg_free(lcfg);
149                 if (rc) {
150                         CERROR("Add conn for %s failed %d\n",
151                                libcfs_nid2str(nid), rc);
152                         continue;
153                 }
154         }
155
156         obd = class_name2obd(name);
157         if (obd == NULL)
158                 GOTO(out_cleanup, rc = -EINVAL);
159
160         OBD_ALLOC(ocd, sizeof(*ocd));
161         if (ocd == NULL)
162                 GOTO(out_cleanup, rc = -ENOMEM);
163
164         ocd->ocd_connect_flags = OBD_CONNECT_VERSION | OBD_CONNECT_FID |
165                                  OBD_CONNECT_AT | OBD_CONNECT_VBR |
166                                  OBD_CONNECT_FULL20;
167 #ifdef LIBLUSTRE_POSIX_ACL
168         ocd->ocd_connect_flags |= OBD_CONNECT_ACL;
169 #endif
170         ocd->ocd_version = LUSTRE_VERSION_CODE;
171
172         rc = obd_connect(NULL, &exp, obd, &mgc_uuid, ocd, NULL);
173         if (rc) {
174                 CERROR("cannot connect to %s at %s: rc = %d\n",
175                        LUSTRE_MGS_OBDNAME, mgsnid, rc);
176                 GOTO(out_cleanup, rc);
177         }
178
179         ctxt = llog_get_context(exp->exp_obd, LLOG_CONFIG_REPL_CTXT);
180         cfg->cfg_flags |= CFG_F_COMPAT146;
181         rc = class_config_parse_llog(ctxt, profile, cfg);
182         llog_ctxt_put(ctxt);
183         if (rc) {
184                 CERROR("class_config_parse_llog failed: rc = %d\n", rc);
185         }
186
187         /* We don't so much care about errors in cleaning up the config llog
188          * connection, as we have already read the config by this point. */
189         err = obd_disconnect(exp);
190         if (err)
191                 CERROR("obd_disconnect failed: rc = %d\n", err);
192
193 out_cleanup:
194         if (ocd)
195                 OBD_FREE(ocd, sizeof(*ocd));
196
197         lustre_cfg_bufs_reset(&bufs, name);
198         lcfg = lustre_cfg_new(LCFG_CLEANUP, &bufs);
199         err = class_process_config(lcfg);
200         lustre_cfg_free(lcfg);
201         if (err)
202                 CERROR("md_cleanup failed: rc = %d\n", err);
203
204 out_detach:
205         lustre_cfg_bufs_reset(&bufs, name);
206         lcfg = lustre_cfg_new(LCFG_DETACH, &bufs);
207         err = class_process_config(lcfg);
208         lustre_cfg_free(lcfg);
209         if (err)
210                 CERROR("md_detach failed: rc = %d\n", err);
211
212 out_del_uuid:
213         lustre_cfg_bufs_reset(&bufs, name);
214         lustre_cfg_bufs_set_string(&bufs, 1, peer);
215         lcfg = lustre_cfg_new(LCFG_DEL_UUID, &bufs);
216         err = class_process_config(lcfg);
217         if (err)
218                 CERROR("del MDC UUID failed: rc = %d\n", err);
219         lustre_cfg_free(lcfg);
220 out:
221
222         RETURN(rc);
223 }
224
225 /* parse host:/fsname string */
226 int ll_parse_mount_target(const char *target, char **mgsnid,
227                           char **fsname)
228 {
229         static char buf[256];
230         char *s;
231
232         buf[255] = 0;
233         strncpy(buf, target, 255);
234
235         if ((s = strchr(buf, ':'))) {
236                 *mgsnid = buf;
237                 *s = '\0';
238
239                 while (*++s == '/')
240                         ;
241                 sprintf(s + strlen(s), "-client");
242                 *fsname = s;
243
244                 return 0;
245         }
246
247         return -1;
248 }
249
250 /*
251  * early liblustre init
252  * called from C startup in catamount apps, before main()
253  *
254  * The following is a skeleton sysio startup sequence,
255  * as implemented in C startup (skipping error handling).
256  * In this framework none of these calls need be made here
257  * or in the apps themselves.  The NAMESPACE_STRING specifying
258  * the initial set of fs ops (creates, mounts, etc.) is passed
259  * as an environment variable.
260  *
261  *      _sysio_init();
262  *      _sysio_incore_init();
263  *      _sysio_native_init();
264  *      _sysio_lustre_init();
265  *      _sysio_boot(NAMESPACE_STRING);
266  *
267  * the name _sysio_lustre_init() follows the naming convention
268  * established in other fs drivers from libsysio:
269  *  _sysio_incore_init(), _sysio_native_init()
270  *
271  * _sysio_lustre_init() must be called before _sysio_boot()
272  * to enable libsysio's processing of namespace init strings containing
273  * lustre filesystem operations
274  */
275 int _sysio_lustre_init(void)
276 {
277         int err;
278         char *envstr;
279 #ifndef INIT_SYSIO
280         extern void __liblustre_cleanup_(void);
281 #endif
282
283         liblustre_init_random();
284
285         err = lllib_init();
286         if (err) {
287                 perror("init llite driver");
288                 return err;
289         }
290
291         envstr = getenv("LIBLUSTRE_TIMEOUT");
292         if (envstr != NULL) {
293                 obd_timeout = (unsigned int)strtol(envstr, NULL, 0);
294                 printf("LibLustre: obd timeout=%u seconds\n",
295                         obd_timeout);
296         }
297
298         /* debug peer on timeout? */
299         envstr = getenv("LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT");
300         if (envstr != NULL) {
301                 obd_debug_peer_on_timeout = 
302                         (unsigned int)strtol(envstr, NULL, 0);
303                 printf("LibLustre: debug peer on timeout=%d\n",
304                         obd_debug_peer_on_timeout ? 0 : 1);
305         }
306
307 #ifndef INIT_SYSIO
308         (void)atexit(__liblustre_cleanup_);
309 #endif
310         return err;
311 }
312
313 extern int _sysio_native_init();
314
315 static int mnt_retry = 0;
316
317 char *lustre_path = NULL;
318
319 void __liblustre_setup_(void)
320 {
321         char *target = NULL;
322         char *lustre_driver = "lustre";
323         unsigned mntflgs = 0;
324         int err, count;
325
326         lustre_path = getenv("LIBLUSTRE_MOUNT_POINT");
327         if (!lustre_path) {
328                 lustre_path = "/mnt/lustre";
329         }
330
331         target = getenv("LIBLUSTRE_MOUNT_RETRY");
332         if (target) {
333                 mnt_retry = atoi(target);
334                 if (mnt_retry < 0)
335                         mnt_retry = 0;
336         }
337
338         /* mount target */
339         target = getenv("LIBLUSTRE_MOUNT_TARGET");
340         if (!target) {
341                 printf("LibLustre: no mount target specified\n");
342                 exit(1);
343         }
344
345         CDEBUG(D_CONFIG, "LibLustre: mount point %s, target %s\n",
346                lustre_path, target);
347
348 #ifdef INIT_SYSIO
349         /* initialize libsysio & mount rootfs */
350         if (_sysio_init()) {
351                 perror("init sysio");
352                 exit(1);
353         }
354         _sysio_native_init();
355
356         err = _sysio_mount_root("/", "native", mntflgs, NULL);
357         if (err) {
358                 fprintf(stderr, "sysio mount failed: %s\n", strerror(errno));
359                 exit(1);
360         }
361
362         if (_sysio_lustre_init())
363                 exit(1);
364 #endif /* INIT_SYSIO */
365
366         count = mnt_retry;
367         do {
368                 err = mount(target, lustre_path, lustre_driver, mntflgs, NULL);
369                 if (err && mnt_retry && (-- count)) {
370                         fprintf(stderr, "Lustre mount failed: %s. "
371                                  "Will retry %d more times\n",
372                                 strerror(errno), mnt_retry - count );
373                         sleep(2);
374                 }
375         } while (err && count > 0);
376         if (err) {
377                 fprintf(stderr, "Lustre mount failed: %s\n", strerror(errno));
378                 exit(1);
379         }
380 }
381
382 void __liblustre_cleanup_(void)
383 {
384 #ifndef INIT_SYSIO
385         /* guard against being called multiple times */
386         static int cleaned = 0;
387
388         if (cleaned)
389                 return;
390         cleaned++;
391 #endif
392
393         /* user app might chdir to a lustre directory, and leave busy pnode
394          * during finaly libsysio cleanup. here we chdir back to "/".
395          * but it can't fix the situation that liblustre is mounted
396          * at "/".
397          */
398         if (!chdir("/")) {}
399 #if 0
400         umount(lustre_path);
401 #endif
402         /* we can't call umount here, because libsysio will not cleanup
403          * opening files for us. _sysio_shutdown() will cleanup fds at
404          * first but which will also close the sockets we need for umount
405          * liblutre. this dilema lead to another hack in
406          * libsysio/src/file_hack.c FIXME
407          */
408 #ifdef INIT_SYSIO
409         _sysio_shutdown();
410         cleanup_lib_portals();
411         LNetFini();
412 #endif
413 }