lustre/liblustre/llite_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * Lustre Light common routines
   5  *
   6  *  Copyright (c) 2002-2004 Cluster File Systems, Inc.
   7  *
   8  *   This file is part of Lustre, http://www.lustre.org.
   9  *
  10  *   Lustre is free software; you can redistribute it and/or
  11  *   modify it under the terms of version 2 of the GNU General Public
  12  *   License as published by the Free Software Foundation.
  13  *
  14  *   Lustre is distributed in the hope that it will be useful,
  15  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  *   GNU General Public License for more details.
  18  *
  19  *   You should have received a copy of the GNU General Public License
  20  *   along with Lustre; if not, write to the Free Software
  21  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  22  */
  23
  24 #include <stdlib.h>
  25 #include <string.h>
  26 #include <assert.h>
  27 #include <signal.h>
  28 #include <sys/types.h>
  29 #include <sys/stat.h>
  30 #include <sys/queue.h>
  31
  32 #include <sysio.h>
  33 #ifdef HAVE_XTIO_H
  34 #include <xtio.h>
  35 #endif
  36 #include <fs.h>
  37 #include <mount.h>
  38 #include <inode.h>
  39 #ifdef HAVE_FILE_H
  40 #include <file.h>
  41 #endif
  42
  43 /* both sys/queue.h (libsysio require it) and portals/lists.h have definition
  44  * of 'LIST_HEAD'. undef it to suppress warnings
  45  */
  46 #undef LIST_HEAD
  47 #include <liblustre.h>
  48 #include <lnet/lnetctl.h>     /* needed for parse_dump */
  49
  50 #include "lutil.h"
  51 #include "llite_lib.h"
  52
  53 static int lllib_init(void)
  54 {
  55         if (liblustre_init_current("liblustre") ||
  56             init_lib_portals() ||
  57             init_obdclass() ||
  58             ptlrpc_init() ||
  59             mgc_init() ||
  60             lmv_init() ||
  61             mdc_init() ||
  62             lov_init() ||
  63             osc_init())
  64                 return -1;
  65
  66         return _sysio_fssw_register("lustre", &llu_fssw_ops);
  67 }
  68
  69 int liblustre_process_log(struct config_llog_instance *cfg,
  70                           char *mgsnid, char *profile,
  71                           int allow_recov)
  72 {
  73         struct lustre_cfg_bufs bufs;
  74         struct lustre_cfg *lcfg;
  75         char  *peer = "MGS_UUID";
  76         struct obd_device *obd;
  77         struct lustre_handle mgc_conn = {0, };
  78         struct obd_export *exp;
  79         char  *name = "mgc_dev";
  80         class_uuid_t uuid;
  81         struct obd_uuid mgc_uuid;
  82         struct llog_ctxt *ctxt;
  83         lnet_nid_t nid = 0;
  84         char *mdsnid;
  85         int err, rc = 0;
  86         struct obd_connect_data *ocd = NULL;
  87         ENTRY;
  88
  89         ll_generate_random_uuid(uuid);
  90         class_uuid_unparse(uuid, &mgc_uuid);
  91
  92         nid = libcfs_str2nid(mgsnid);
  93         if (nid == LNET_NID_ANY) {
  94                 CERROR("Can't parse NID %s\n", mgsnid);
  95                 RETURN(-EINVAL);
  96         }
  97
  98         lustre_cfg_bufs_reset(&bufs, NULL);
  99         lustre_cfg_bufs_set_string(&bufs, 1, peer);
 100         lcfg = lustre_cfg_new(LCFG_ADD_UUID, &bufs);
 101         lcfg->lcfg_nid = nid;
 102         rc = class_process_config(lcfg);
 103         lustre_cfg_free(lcfg);
 104         if (rc < 0)
 105                 GOTO(out, rc);
 106
 107         lustre_cfg_bufs_reset(&bufs, name);
 108         lustre_cfg_bufs_set_string(&bufs, 1, LUSTRE_MGC_NAME);
 109         lustre_cfg_bufs_set_string(&bufs, 2, mgc_uuid.uuid);
 110         lcfg = lustre_cfg_new(LCFG_ATTACH, &bufs);
 111         rc = class_process_config(lcfg);
 112         lustre_cfg_free(lcfg);
 113         if (rc < 0)
 114                 GOTO(out_del_uuid, rc);
 115
 116         lustre_cfg_bufs_reset(&bufs, name);
 117         lustre_cfg_bufs_set_string(&bufs, 1, LUSTRE_MGS_OBDNAME);
 118         lustre_cfg_bufs_set_string(&bufs, 2, peer);
 119         lcfg = lustre_cfg_new(LCFG_SETUP, &bufs);
 120         rc = class_process_config(lcfg);
 121         lustre_cfg_free(lcfg);
 122         if (rc < 0)
 123                 GOTO(out_detach, rc);
 124
 125         while ((mdsnid = strsep(&mgsnid, ","))) {
 126                 nid = libcfs_str2nid(mdsnid);
 127                 lustre_cfg_bufs_reset(&bufs, NULL);
 128                 lustre_cfg_bufs_set_string(&bufs, 1, libcfs_nid2str(nid));
 129                 lcfg = lustre_cfg_new(LCFG_ADD_UUID, &bufs);
 130                 lcfg->lcfg_nid = nid;
 131                 rc = class_process_config(lcfg);
 132                 lustre_cfg_free(lcfg);
 133                 if (rc) {
 134                         CERROR("Add uuid for %s failed %d\n",
 135                                libcfs_nid2str(nid), rc);
 136                         continue;
 137                 }
 138
 139                 lustre_cfg_bufs_reset(&bufs, name);
 140                 lustre_cfg_bufs_set_string(&bufs, 1, libcfs_nid2str(nid));
 141                 lcfg = lustre_cfg_new(LCFG_ADD_CONN, &bufs);
 142                 lcfg->lcfg_nid = nid;
 143                 rc = class_process_config(lcfg);
 144                 lustre_cfg_free(lcfg);
 145                 if (rc) {
 146                         CERROR("Add conn for %s failed %d\n",
 147                                libcfs_nid2str(nid), rc);
 148                         continue;
 149                 }
 150         }
 151
 152         obd = class_name2obd(name);
 153         if (obd == NULL)
 154                 GOTO(out_cleanup, rc = -EINVAL);
 155
 156         OBD_ALLOC(ocd, sizeof(*ocd));
 157         if (ocd == NULL)
 158                 GOTO(out_cleanup, rc = -ENOMEM);
 159
 160         ocd->ocd_connect_flags = OBD_CONNECT_VERSION | OBD_CONNECT_FID;
 161 #ifdef LIBLUSTRE_POSIX_ACL
 162         ocd->ocd_connect_flags |= OBD_CONNECT_ACL;
 163 #endif
 164         ocd->ocd_version = LUSTRE_VERSION_CODE;
 165
 166         rc = obd_connect(NULL, &mgc_conn, obd, &mgc_uuid, ocd, NULL);
 167         if (rc) {
 168                 CERROR("cannot connect to %s at %s: rc = %d\n",
 169                        LUSTRE_MGS_OBDNAME, mgsnid, rc);
 170                 GOTO(out_cleanup, rc);
 171         }
 172
 173         exp = class_conn2export(&mgc_conn);
 174
 175         ctxt = llog_get_context(exp->exp_obd, LLOG_CONFIG_REPL_CTXT);
 176         cfg->cfg_flags |= CFG_F_COMPAT146;
 177         rc = class_config_parse_llog(ctxt, profile, cfg);
 178         llog_ctxt_put(ctxt);
 179         if (rc) {
 180                 CERROR("class_config_parse_llog failed: rc = %d\n", rc);
 181         }
 182
 183         /* We don't so much care about errors in cleaning up the config llog
 184          * connection, as we have already read the config by this point. */
 185         err = obd_disconnect(exp);
 186         if (err)
 187                 CERROR("obd_disconnect failed: rc = %d\n", err);
 188
 189 out_cleanup:
 190         if (ocd)
 191                 OBD_FREE(ocd, sizeof(*ocd));
 192
 193         lustre_cfg_bufs_reset(&bufs, name);
 194         lcfg = lustre_cfg_new(LCFG_CLEANUP, &bufs);
 195         err = class_process_config(lcfg);
 196         lustre_cfg_free(lcfg);
 197         if (err)
 198                 CERROR("md_cleanup failed: rc = %d\n", err);
 199
 200 out_detach:
 201         lustre_cfg_bufs_reset(&bufs, name);
 202         lcfg = lustre_cfg_new(LCFG_DETACH, &bufs);
 203         err = class_process_config(lcfg);
 204         lustre_cfg_free(lcfg);
 205         if (err)
 206                 CERROR("md_detach failed: rc = %d\n", err);
 207
 208 out_del_uuid:
 209         lustre_cfg_bufs_reset(&bufs, name);
 210         lustre_cfg_bufs_set_string(&bufs, 1, peer);
 211         lcfg = lustre_cfg_new(LCFG_DEL_UUID, &bufs);
 212         err = class_process_config(lcfg);
 213         if (err)
 214                 CERROR("del MDC UUID failed: rc = %d\n", err);
 215         lustre_cfg_free(lcfg);
 216 out:
 217
 218         RETURN(rc);
 219 }
 220
 221 /* parse host:/fsname string */
 222 int ll_parse_mount_target(const char *target, char **mgsnid,
 223                           char **fsname)
 224 {
 225         static char buf[256];
 226         char *s;
 227
 228         buf[255] = 0;
 229         strncpy(buf, target, 255);
 230
 231         if ((s = strchr(buf, ':'))) {
 232                 *mgsnid = buf;
 233                 *s = '\0';
 234
 235                 while (*++s == '/')
 236                         ;
 237                 sprintf(s + strlen(s), "-client");
 238                 *fsname = s;
 239
 240                 return 0;
 241         }
 242
 243         return -1;
 244 }
 245
 246 /*
 247  * early liblustre init
 248  * called from C startup in catamount apps, before main()
 249  *
 250  * The following is a skeleton sysio startup sequence,
 251  * as implemented in C startup (skipping error handling).
 252  * In this framework none of these calls need be made here
 253  * or in the apps themselves.  The NAMESPACE_STRING specifying
 254  * the initial set of fs ops (creates, mounts, etc.) is passed
 255  * as an environment variable.
 256  *
 257  *      _sysio_init();
 258  *      _sysio_incore_init();
 259  *      _sysio_native_init();
 260  *      _sysio_lustre_init();
 261  *      _sysio_boot(NAMESPACE_STRING);
 262  *
 263  * the name _sysio_lustre_init() follows the naming convention
 264  * established in other fs drivers from libsysio:
 265  *  _sysio_incore_init(), _sysio_native_init()
 266  *
 267  * _sysio_lustre_init() must be called before _sysio_boot()
 268  * to enable libsysio's processing of namespace init strings containing
 269  * lustre filesystem operations
 270  */
 271 int _sysio_lustre_init(void)
 272 {
 273         int err;
 274         char *envstr;
 275 #ifndef INIT_SYSIO
 276         extern void __liblustre_cleanup_(void);
 277 #endif
 278
 279         liblustre_init_random();
 280
 281         err = lllib_init();
 282         if (err) {
 283                 perror("init llite driver");
 284                 return err;
 285         }
 286
 287         envstr = getenv("LIBLUSTRE_TIMEOUT");
 288         if (envstr != NULL) {
 289                 obd_timeout = (unsigned int)strtol(envstr, NULL, 0);
 290                 printf("LibLustre: obd timeout=%u seconds\n",
 291                         obd_timeout);
 292         }
 293
 294         /* debug peer on timeout? */
 295         envstr = getenv("LIBLUSTRE_DEBUG_PEER_ON_TIMEOUT");
 296         if (envstr != NULL) {
 297                 obd_debug_peer_on_timeout =
 298                         (unsigned int)strtol(envstr, NULL, 0);
 299                 printf("LibLustre: debug peer on timeout=%d\n",
 300                         obd_debug_peer_on_timeout ? 0 : 1);
 301         }
 302
 303 #ifndef INIT_SYSIO
 304         (void)atexit(__liblustre_cleanup_);
 305 #endif
 306         return err;
 307 }
 308
 309 extern int _sysio_native_init();
 310
 311 char *lustre_path = NULL;
 312
 313 void __liblustre_setup_(void)
 314 {
 315         char *target = NULL;
 316         char *lustre_driver = "lustre";
 317         unsigned mntflgs = 0;
 318         int err;
 319
 320         lustre_path = getenv("LIBLUSTRE_MOUNT_POINT");
 321         if (!lustre_path) {
 322                 lustre_path = "/mnt/lustre";
 323         }
 324
 325         /* mount target */
 326         target = getenv("LIBLUSTRE_MOUNT_TARGET");
 327         if (!target) {
 328                 printf("LibLustre: no mount target specified\n");
 329                 exit(1);
 330         }
 331
 332         CDEBUG(D_CONFIG, "LibLustre: mount point %s, target %s\n",
 333                lustre_path, target);
 334
 335 #ifdef INIT_SYSIO
 336         /* initialize libsysio & mount rootfs */
 337         if (_sysio_init()) {
 338                 perror("init sysio");
 339                 exit(1);
 340         }
 341         _sysio_native_init();
 342
 343         err = _sysio_mount_root("/", "native", mntflgs, NULL);
 344         if (err) {
 345                 fprintf(stderr, "sysio mount failed: %s\n", strerror(errno));
 346                 exit(1);
 347         }
 348
 349         if (_sysio_lustre_init())
 350                 exit(1);
 351 #endif /* INIT_SYSIO */
 352
 353         err = mount(target, lustre_path, lustre_driver, mntflgs, NULL);
 354         if (err) {
 355                 fprintf(stderr, "Lustre mount failed: %s\n", strerror(errno));
 356                 exit(1);
 357         }
 358 }
 359
 360 void __liblustre_cleanup_(void)
 361 {
 362 #ifndef INIT_SYSIO
 363         /* guard against being called multiple times */
 364         static int cleaned = 0;
 365
 366         if (cleaned)
 367                 return;
 368         cleaned++;
 369 #endif
 370
 371         /* user app might chdir to a lustre directory, and leave busy pnode
 372          * during finaly libsysio cleanup. here we chdir back to "/".
 373          * but it can't fix the situation that liblustre is mounted
 374          * at "/".
 375          */
 376         chdir("/");
 377 #if 0
 378         umount(lustre_path);
 379 #endif
 380         /* we can't call umount here, because libsysio will not cleanup
 381          * opening files for us. _sysio_shutdown() will cleanup fds at
 382          * first but which will also close the sockets we need for umount
 383          * liblutre. this dilema lead to another hack in
 384          * libsysio/src/file_hack.c FIXME
 385          */
 386 #ifdef INIT_SYSIO
 387         _sysio_shutdown();
 388         cleanup_lib_portals();
 389         LNetFini();
 390 #endif
 391 }