lustre/obdclass/obd_mount.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2017, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  *
  32  * lustre/obdclass/obd_mount.c
  33  *
  34  * Client mount routines
  35  *
  36  * Author: Nathan Rutman <nathan@clusterfs.com>
  37  */
  38
  39
  40 #define DEBUG_SUBSYSTEM S_CLASS
  41 #define D_MOUNT (D_SUPER|D_CONFIG/*|D_WARNING */)
  42 #define PRINT_CMD CDEBUG
  43
  44 #include <obd.h>
  45 #include <obd_class.h>
  46 #include <linux/random.h>
  47 #include <libcfs/linux/linux-uuid.h>
  48 #include <linux/version.h>
  49 #include <lustre_log.h>
  50 #include <lustre_disk.h>
  51 #include <uapi/linux/lustre/lustre_param.h>
  52 #include <libcfs/crypto/llcrypt.h>
  53
  54 static DEFINE_SPINLOCK(client_lock);
  55 static struct module *client_mod;
  56 static int (*client_fill_super)(struct super_block *sb);
  57
  58 static void (*kill_super_cb)(struct super_block *sb);
  59
  60 /**************** config llog ********************/
  61
  62 /**
  63  * Get a config log from the MGS and process it.
  64  * This func is called for both clients and servers.
  65  * Continue to process new statements appended to the logs
  66  * (whenever the config lock is revoked) until lustre_end_log
  67  * is called.
  68  *
  69  * @param sb The superblock is used by the MGC to write to the local copy of
  70  *   the config log
  71  * @param logname The name of the llog to replicate from the MGS
  72  * @param cfg Since the same MGC may be used to follow multiple config logs
  73  *   (e.g. ost1, ost2, client), the config_llog_instance keeps the state for
  74  *   this log, and is added to the mgc's list of logs to follow.
  75  */
  76 int lustre_process_log(struct super_block *sb, char *logname,
  77                        struct config_llog_instance *cfg)
  78 {
  79         struct lustre_cfg *lcfg;
  80         struct lustre_cfg_bufs *bufs;
  81         struct lustre_sb_info *lsi = s2lsi(sb);
  82         struct obd_device *mgc = lsi->lsi_mgc;
  83         int rc;
  84
  85         ENTRY;
  86
  87         LASSERT(mgc);
  88         LASSERT(cfg);
  89
  90         OBD_ALLOC_PTR(bufs);
  91         if (bufs == NULL)
  92                 RETURN(-ENOMEM);
  93
  94         /* mgc_process_config */
  95         lustre_cfg_bufs_reset(bufs, mgc->obd_name);
  96         lustre_cfg_bufs_set_string(bufs, 1, logname);
  97         lustre_cfg_bufs_set(bufs, 2, cfg, sizeof(*cfg));
  98         lustre_cfg_bufs_set(bufs, 3, &sb, sizeof(sb));
  99         OBD_ALLOC(lcfg, lustre_cfg_len(bufs->lcfg_bufcount, bufs->lcfg_buflen));
 100         if (!lcfg)
 101                 GOTO(out, rc = -ENOMEM);
 102         lustre_cfg_init(lcfg, LCFG_LOG_START, bufs);
 103
 104         rc = obd_process_config(mgc, sizeof(*lcfg), lcfg);
 105         OBD_FREE(lcfg, lustre_cfg_len(lcfg->lcfg_bufcount, lcfg->lcfg_buflens));
 106 out:
 107         OBD_FREE_PTR(bufs);
 108
 109         if (rc == -EINVAL)
 110                 LCONSOLE_ERROR_MSG(0x15b,
 111                                    "%s: Configuration from log %s failed from MGS %d. Check client and MGS are on compatible version.\n",
 112                                    mgc->obd_name, logname, rc);
 113         else if (rc != 0)
 114                 LCONSOLE_ERROR_MSG(0x15c,
 115                                    "%s: Confguration from log %s failed from MGS %d. Communication error between node & MGS, a bad configuration, or other errors. See syslog for more info\n",
 116                                    mgc->obd_name, logname, rc);
 117
 118         /* class_obd_list(); */
 119         RETURN(rc);
 120 }
 121 EXPORT_SYMBOL(lustre_process_log);
 122
 123 /* Stop watching this config log for updates */
 124 int lustre_end_log(struct super_block *sb, char *logname,
 125                    struct config_llog_instance *cfg)
 126 {
 127         struct lustre_cfg *lcfg;
 128         struct lustre_cfg_bufs bufs;
 129         struct lustre_sb_info *lsi = s2lsi(sb);
 130         struct obd_device *mgc = lsi->lsi_mgc;
 131         int rc;
 132
 133         ENTRY;
 134
 135         if (!mgc)
 136                 RETURN(-ENOENT);
 137
 138         /* mgc_process_config */
 139         lustre_cfg_bufs_reset(&bufs, mgc->obd_name);
 140         lustre_cfg_bufs_set_string(&bufs, 1, logname);
 141         if (cfg)
 142                 lustre_cfg_bufs_set(&bufs, 2, cfg, sizeof(*cfg));
 143         OBD_ALLOC(lcfg, lustre_cfg_len(bufs.lcfg_bufcount, bufs.lcfg_buflen));
 144         if (!lcfg)
 145                 RETURN(-ENOMEM);
 146         lustre_cfg_init(lcfg, LCFG_LOG_END, &bufs);
 147         rc = obd_process_config(mgc, sizeof(*lcfg), lcfg);
 148         OBD_FREE(lcfg, lustre_cfg_len(lcfg->lcfg_bufcount, lcfg->lcfg_buflens));
 149         RETURN(rc);
 150 }
 151 EXPORT_SYMBOL(lustre_end_log);
 152
 153 /**************** OBD start *******************/
 154
 155 /**
 156  * lustre_cfg_bufs are a holdover from 1.4; we can still set these up from
 157  * lctl (and do for echo cli/srv.
 158  */
 159 static int do_lcfg(char *cfgname, lnet_nid_t nid, int cmd,
 160                    char *s1, char *s2, char *s3, char *s4)
 161 {
 162         struct lustre_cfg_bufs bufs;
 163         struct lustre_cfg *lcfg = NULL;
 164         int rc;
 165
 166         CDEBUG(D_TRACE, "lcfg %s %#x %s %s %s %s\n", cfgname,
 167                cmd, s1, s2, s3, s4);
 168
 169         lustre_cfg_bufs_reset(&bufs, cfgname);
 170         if (s1)
 171                 lustre_cfg_bufs_set_string(&bufs, 1, s1);
 172         if (s2)
 173                 lustre_cfg_bufs_set_string(&bufs, 2, s2);
 174         if (s3)
 175                 lustre_cfg_bufs_set_string(&bufs, 3, s3);
 176         if (s4)
 177                 lustre_cfg_bufs_set_string(&bufs, 4, s4);
 178
 179         OBD_ALLOC(lcfg, lustre_cfg_len(bufs.lcfg_bufcount, bufs.lcfg_buflen));
 180         if (!lcfg)
 181                 return -ENOMEM;
 182         lustre_cfg_init(lcfg, cmd, &bufs);
 183         lcfg->lcfg_nid = nid;
 184         rc = class_process_config(lcfg);
 185         OBD_FREE(lcfg, lustre_cfg_len(lcfg->lcfg_bufcount, lcfg->lcfg_buflens));
 186         return rc;
 187 }
 188
 189 /**
 190  * Call class_attach and class_setup.  These methods in turn call
 191  * OBD type-specific methods.
 192  */
 193 int lustre_start_simple(char *obdname, char *type, char *uuid,
 194                         char *s1, char *s2, char *s3, char *s4)
 195 {
 196         int rc;
 197
 198         CDEBUG(D_MOUNT, "Starting OBD %s (typ=%s)\n", obdname, type);
 199
 200         rc = do_lcfg(obdname, 0, LCFG_ATTACH, type, uuid, NULL, NULL);
 201         if (rc) {
 202                 CERROR("%s attach error %d\n", obdname, rc);
 203                 return rc;
 204         }
 205         rc = do_lcfg(obdname, 0, LCFG_SETUP, s1, s2, s3, s4);
 206         if (rc) {
 207                 CERROR("%s setup error %d\n", obdname, rc);
 208                 do_lcfg(obdname, 0, LCFG_DETACH, NULL, NULL, NULL, NULL);
 209         }
 210         return rc;
 211 }
 212
 213 static DEFINE_MUTEX(mgc_start_lock);
 214
 215 /**
 216  * Set up a MGC OBD to process startup logs
 217  *
 218  * \param sb [in] super block of the MGC OBD
 219  *
 220  * \retval 0 success, otherwise error code
 221  */
 222 int lustre_start_mgc(struct super_block *sb)
 223 {
 224         struct obd_connect_data *data = NULL;
 225         struct lustre_sb_info *lsi = s2lsi(sb);
 226         struct obd_device *obd;
 227         struct obd_export *exp;
 228         struct obd_uuid *uuid = NULL;
 229         uuid_t uuidc;
 230         lnet_nid_t nid;
 231         char nidstr[LNET_NIDSTR_SIZE];
 232         char *mgcname = NULL, *niduuid = NULL, *mgssec = NULL;
 233         char *ptr;
 234         int rc = 0, i = 0, j;
 235         size_t len;
 236
 237         ENTRY;
 238
 239         LASSERT(lsi->lsi_lmd);
 240
 241         /* Find the first non-lo MGS NID for our MGC name */
 242         if (IS_SERVER(lsi)) {
 243                 /* mount -o mgsnode=nid */
 244                 ptr = lsi->lsi_lmd->lmd_mgs;
 245                 if (lsi->lsi_lmd->lmd_mgs &&
 246                     (class_parse_nid(lsi->lsi_lmd->lmd_mgs, &nid, &ptr) == 0)) {
 247                         i++;
 248                 } else if (IS_MGS(lsi)) {
 249                         struct lnet_process_id id;
 250
 251                         while ((rc = LNetGetId(i++, &id)) != -ENOENT) {
 252                                 if (id.nid == LNET_NID_LO_0)
 253                                         continue;
 254                                 nid = id.nid;
 255                                 i++;
 256                                 break;
 257                         }
 258                 }
 259         } else { /* client */
 260                 /* Use NIDs from mount line: uml1,1@elan:uml2,2@elan:/lustre */
 261                 ptr = lsi->lsi_lmd->lmd_dev;
 262                 if (class_parse_nid(ptr, &nid, &ptr) == 0)
 263                         i++;
 264         }
 265         if (i == 0) {
 266                 CERROR("No valid MGS NIDs found.\n");
 267                 RETURN(-EINVAL);
 268         }
 269
 270         mutex_lock(&mgc_start_lock);
 271
 272         libcfs_nid2str_r(nid, nidstr, sizeof(nidstr));
 273         len = strlen(LUSTRE_MGC_OBDNAME) + strlen(nidstr) + 1;
 274         OBD_ALLOC(mgcname, len);
 275         OBD_ALLOC(niduuid, len + 2);
 276         if (mgcname == NULL || niduuid == NULL)
 277                 GOTO(out_free, rc = -ENOMEM);
 278         snprintf(mgcname, len, "%s%s", LUSTRE_MGC_OBDNAME, nidstr);
 279
 280         mgssec = lsi->lsi_lmd->lmd_mgssec ? lsi->lsi_lmd->lmd_mgssec : "";
 281
 282         OBD_ALLOC_PTR(data);
 283         if (data == NULL)
 284                 GOTO(out_free, rc = -ENOMEM);
 285
 286         obd = class_name2obd(mgcname);
 287         if (obd && !obd->obd_stopping) {
 288                 int recov_bk;
 289
 290                 rc = obd_set_info_async(NULL, obd->obd_self_export,
 291                                         strlen(KEY_MGSSEC), KEY_MGSSEC,
 292                                         strlen(mgssec), mgssec, NULL);
 293                 if (rc)
 294                         GOTO(out_free, rc);
 295
 296                 /* Re-using an existing MGC */
 297                 atomic_inc(&obd->u.cli.cl_mgc_refcount);
 298
 299                 /* IR compatibility check, only for clients */
 300                 if (lmd_is_client(lsi->lsi_lmd)) {
 301                         int has_ir;
 302                         int vallen = sizeof(*data);
 303                         __u32 *flags = &lsi->lsi_lmd->lmd_flags;
 304
 305                         rc = obd_get_info(NULL, obd->obd_self_export,
 306                                           strlen(KEY_CONN_DATA), KEY_CONN_DATA,
 307                                           &vallen, data);
 308                         LASSERT(rc == 0);
 309                         has_ir = OCD_HAS_FLAG(data, IMP_RECOV);
 310                         if (has_ir ^ !(*flags & LMD_FLG_NOIR)) {
 311                                 /* LMD_FLG_NOIR is for test purpose only */
 312                                 LCONSOLE_WARN(
 313                                               "Mounting client with IR setting not compatible with current MGC. Using MGC setting that is IR %s",
 314                                               has_ir ? "enabled" : "disabled");
 315                                 if (has_ir)
 316                                         *flags &= ~LMD_FLG_NOIR;
 317                                 else
 318                                         *flags |= LMD_FLG_NOIR;
 319                         }
 320                 }
 321
 322                 recov_bk = 0;
 323                 /*
 324                  * If we are restarting the MGS, don't try to keep the MGC's
 325                  * old connection, or registration will fail.
 326                  */
 327                 if (IS_MGS(lsi)) {
 328                         CDEBUG(D_MOUNT, "New MGS with live MGC\n");
 329                         recov_bk = 1;
 330                 }
 331
 332                 /*
 333                  * Try all connections, but only once (again).
 334                  * We don't want to block another target from starting
 335                  * (using its local copy of the log), but we do want to connect
 336                  * if at all possible.
 337                  */
 338                 recov_bk++;
 339                 CDEBUG(D_MOUNT, "%s:Set MGC reconnect %d\n", mgcname, recov_bk);
 340                 rc = obd_set_info_async(NULL, obd->obd_self_export,
 341                                         sizeof(KEY_INIT_RECOV_BACKUP),
 342                                         KEY_INIT_RECOV_BACKUP,
 343                                         sizeof(recov_bk), &recov_bk, NULL);
 344                 GOTO(out, rc = 0);
 345         }
 346
 347         CDEBUG(D_MOUNT, "Start MGC '%s'\n", mgcname);
 348
 349         /* Add the primary NIDs for the MGS */
 350         i = 0;
 351         snprintf(niduuid, len + 2, "%s_%x", mgcname, i);
 352         if (IS_SERVER(lsi)) {
 353                 ptr = lsi->lsi_lmd->lmd_mgs;
 354                 CDEBUG(D_MOUNT, "mgs NIDs %s.\n", ptr);
 355                 if (IS_MGS(lsi)) {
 356                         /* Use local NIDs (including LO) */
 357                         struct lnet_process_id id;
 358
 359                         while ((rc = LNetGetId(i++, &id)) != -ENOENT) {
 360                                 rc = do_lcfg(mgcname, id.nid, LCFG_ADD_UUID,
 361                                              niduuid, NULL, NULL, NULL);
 362                         }
 363                 } else {
 364                         /* Use mgsnode= nids */
 365                         /* mount -o mgsnode=nid */
 366                         if (lsi->lsi_lmd->lmd_mgs) {
 367                                 ptr = lsi->lsi_lmd->lmd_mgs;
 368                         } else if (class_find_param(ptr, PARAM_MGSNODE,
 369                                                     &ptr) != 0) {
 370                                 CERROR("No MGS NIDs given.\n");
 371                                 GOTO(out_free, rc = -EINVAL);
 372                         }
 373                         /*
 374                          * Add primary MGS NID(s).
 375                          * Multiple NIDs on one MGS node are separated
 376                          * by commas.
 377                          */
 378                         while (class_parse_nid(ptr, &nid, &ptr) == 0) {
 379                                 rc = do_lcfg(mgcname, nid, LCFG_ADD_UUID,
 380                                              niduuid, NULL, NULL, NULL);
 381                                 if (rc == 0)
 382                                         ++i;
 383                                 /* Stop at the first failover NID */
 384                                 if (*ptr == ':')
 385                                         break;
 386                         }
 387                 }
 388         } else { /* client */
 389                 /* Use NIDs from mount line: uml1,1@elan:uml2,2@elan:/lustre */
 390                 ptr = lsi->lsi_lmd->lmd_dev;
 391                 while (class_parse_nid(ptr, &nid, &ptr) == 0) {
 392                         rc = do_lcfg(mgcname, nid, LCFG_ADD_UUID,
 393                                      niduuid, NULL, NULL, NULL);
 394                         if (rc == 0)
 395                                 ++i;
 396                         /* Stop at the first failover NID */
 397                         if (*ptr == ':')
 398                                 break;
 399                 }
 400         }
 401         if (i == 0) {
 402                 CERROR("No valid MGS NIDs found.\n");
 403                 GOTO(out_free, rc = -EINVAL);
 404         }
 405         lsi->lsi_lmd->lmd_mgs_failnodes = 1;
 406
 407         /* Random uuid for MGC allows easier reconnects */
 408         OBD_ALLOC_PTR(uuid);
 409         if (uuid == NULL)
 410                 GOTO(out_free, rc = -ENOMEM);
 411
 412         generate_random_uuid(uuidc.b);
 413         snprintf(uuid->uuid, sizeof(*uuid), "%pU", uuidc.b);
 414
 415         /* Start the MGC */
 416         rc = lustre_start_simple(mgcname, LUSTRE_MGC_NAME,
 417                                  (char *)uuid->uuid, LUSTRE_MGS_OBDNAME,
 418                                  niduuid, NULL, NULL);
 419         if (rc)
 420                 GOTO(out_free, rc);
 421
 422         /* Add any failover MGS NIDs */
 423         i = 1;
 424         while (ptr && ((*ptr == ':' ||
 425                class_find_param(ptr, PARAM_MGSNODE, &ptr) == 0))) {
 426                 /* New failover node */
 427                 sprintf(niduuid, "%s_%x", mgcname, i);
 428                 j = 0;
 429                 while (class_parse_nid_quiet(ptr, &nid, &ptr) == 0) {
 430                         rc = do_lcfg(mgcname, nid, LCFG_ADD_UUID,
 431                                      niduuid, NULL, NULL, NULL);
 432                         if (rc == 0)
 433                                 ++j;
 434                         if (*ptr == ':')
 435                                 break;
 436                 }
 437                 if (j > 0) {
 438                         rc = do_lcfg(mgcname, 0, LCFG_ADD_CONN,
 439                                      niduuid, NULL, NULL, NULL);
 440                         if (rc == 0)
 441                                 ++i;
 442                 } else {
 443                         /* at ":/fsname" */
 444                         break;
 445                 }
 446         }
 447         lsi->lsi_lmd->lmd_mgs_failnodes = i;
 448
 449         obd = class_name2obd(mgcname);
 450         if (!obd) {
 451                 CERROR("Can't find mgcobd %s\n", mgcname);
 452                 GOTO(out_free, rc = -ENOTCONN);
 453         }
 454
 455         rc = obd_set_info_async(NULL, obd->obd_self_export,
 456                                 strlen(KEY_MGSSEC), KEY_MGSSEC,
 457                                 strlen(mgssec), mgssec, NULL);
 458         if (rc)
 459                 GOTO(out_free, rc);
 460
 461         /*
 462          * Keep a refcount of servers/clients who started with "mount",
 463          * so we know when we can get rid of the mgc.
 464          */
 465         atomic_set(&obd->u.cli.cl_mgc_refcount, 1);
 466
 467         /* We connect to the MGS at setup, and don't disconnect until cleanup */
 468         data->ocd_connect_flags = OBD_CONNECT_VERSION | OBD_CONNECT_AT |
 469                                   OBD_CONNECT_FULL20 | OBD_CONNECT_IMP_RECOV |
 470                                   OBD_CONNECT_LVB_TYPE |
 471                                   OBD_CONNECT_BULK_MBITS | OBD_CONNECT_BARRIER;
 472
 473         if (lmd_is_client(lsi->lsi_lmd) &&
 474             lsi->lsi_lmd->lmd_flags & LMD_FLG_NOIR)
 475                 data->ocd_connect_flags &= ~OBD_CONNECT_IMP_RECOV;
 476         data->ocd_version = LUSTRE_VERSION_CODE;
 477         rc = obd_connect(NULL, &exp, obd, uuid, data, NULL);
 478         if (rc) {
 479                 CERROR("connect failed %d\n", rc);
 480                 GOTO(out, rc);
 481         }
 482
 483         obd->u.cli.cl_mgc_mgsexp = exp;
 484
 485 out:
 486         /*
 487          * Keep the MGC info in the sb. Note that many lsi's can point
 488          * to the same mgc.
 489          */
 490         lsi->lsi_mgc = obd;
 491 out_free:
 492         mutex_unlock(&mgc_start_lock);
 493
 494         if (uuid)
 495                 OBD_FREE_PTR(uuid);
 496         if (data)
 497                 OBD_FREE_PTR(data);
 498         if (mgcname)
 499                 OBD_FREE(mgcname, len);
 500         if (niduuid)
 501                 OBD_FREE(niduuid, len + 2);
 502         RETURN(rc);
 503 }
 504
 505 static int lustre_stop_mgc(struct super_block *sb)
 506 {
 507         struct lustre_sb_info *lsi = s2lsi(sb);
 508         struct obd_device *obd;
 509         char *niduuid = NULL, *ptr = NULL;
 510         int i, rc = 0, len = 0;
 511
 512         ENTRY;
 513
 514         if (!lsi)
 515                 RETURN(-ENOENT);
 516         obd = lsi->lsi_mgc;
 517         if (!obd)
 518                 RETURN(-ENOENT);
 519         lsi->lsi_mgc = NULL;
 520
 521         mutex_lock(&mgc_start_lock);
 522         LASSERT(atomic_read(&obd->u.cli.cl_mgc_refcount) > 0);
 523         if (!atomic_dec_and_test(&obd->u.cli.cl_mgc_refcount)) {
 524                 /*
 525                  * This is not fatal, every client that stops
 526                  * will call in here.
 527                  */
 528                 CDEBUG(D_MOUNT, "MGC still has %d references.\n",
 529                        atomic_read(&obd->u.cli.cl_mgc_refcount));
 530                 GOTO(out, rc = -EBUSY);
 531         }
 532
 533         /*
 534          * The MGC has no recoverable data in any case.
 535          * force shotdown set in umount_begin
 536          */
 537         obd->obd_no_recov = 1;
 538
 539         if (obd->u.cli.cl_mgc_mgsexp) {
 540                 /*
 541                  * An error is not fatal, if we are unable to send the
 542                  * disconnect mgs ping evictor cleans up the export
 543                  */
 544                 rc = obd_disconnect(obd->u.cli.cl_mgc_mgsexp);
 545                 if (rc)
 546                         CDEBUG(D_MOUNT, "disconnect failed %d\n", rc);
 547         }
 548
 549         /*
 550          * Save the obdname for cleaning the nid uuids, which are
 551          * obdname_XX
 552          */
 553         len = strlen(obd->obd_name) + 6;
 554         OBD_ALLOC(niduuid, len);
 555         if (niduuid) {
 556                 strcpy(niduuid, obd->obd_name);
 557                 ptr = niduuid + strlen(niduuid);
 558         }
 559
 560         rc = class_manual_cleanup(obd);
 561         if (rc)
 562                 GOTO(out, rc);
 563
 564         /* Clean the nid uuids */
 565         if (!niduuid)
 566                 GOTO(out, rc = -ENOMEM);
 567
 568         for (i = 0; i < lsi->lsi_lmd->lmd_mgs_failnodes; i++) {
 569                 sprintf(ptr, "_%x", i);
 570                 rc = do_lcfg(LUSTRE_MGC_OBDNAME, 0, LCFG_DEL_UUID,
 571                              niduuid, NULL, NULL, NULL);
 572                 if (rc)
 573                         CERROR("del MDC UUID %s failed: rc = %d\n",
 574                                niduuid, rc);
 575         }
 576 out:
 577         if (niduuid)
 578                 OBD_FREE(niduuid, len);
 579
 580         /* class_import_put will get rid of the additional connections */
 581         mutex_unlock(&mgc_start_lock);
 582         RETURN(rc);
 583 }
 584
 585 /***************** lustre superblock **************/
 586
 587 static struct lustre_sb_info *lustre_init_lsi(struct super_block *sb)
 588 {
 589         struct lustre_sb_info *lsi;
 590
 591         ENTRY;
 592
 593         OBD_ALLOC_PTR(lsi);
 594         if (!lsi)
 595                 RETURN(NULL);
 596         OBD_ALLOC_PTR(lsi->lsi_lmd);
 597         if (!lsi->lsi_lmd) {
 598                 OBD_FREE_PTR(lsi);
 599                 RETURN(NULL);
 600         }
 601
 602         s2lsi_nocast(sb) = lsi;
 603         /* we take 1 extra ref for our setup */
 604         atomic_set(&lsi->lsi_mounts, 1);
 605
 606         /* Default umount style */
 607         lsi->lsi_flags = LSI_UMOUNT_FAILOVER;
 608         INIT_LIST_HEAD(&lsi->lsi_lwp_list);
 609         mutex_init(&lsi->lsi_lwp_mutex);
 610
 611         RETURN(lsi);
 612 }
 613
 614 static int lustre_free_lsi(struct super_block *sb)
 615 {
 616         struct lustre_sb_info *lsi = s2lsi(sb);
 617
 618         ENTRY;
 619
 620         LASSERT(lsi != NULL);
 621         CDEBUG(D_MOUNT, "Freeing lsi %p\n", lsi);
 622
 623         /* someone didn't call server_put_mount. */
 624         LASSERT(atomic_read(&lsi->lsi_mounts) == 0);
 625
 626         llcrypt_sb_free(sb);
 627         if (lsi->lsi_lmd != NULL) {
 628                 if (lsi->lsi_lmd->lmd_dev != NULL)
 629                         OBD_FREE(lsi->lsi_lmd->lmd_dev,
 630                                 strlen(lsi->lsi_lmd->lmd_dev) + 1);
 631                 if (lsi->lsi_lmd->lmd_profile != NULL)
 632                         OBD_FREE(lsi->lsi_lmd->lmd_profile,
 633                                 strlen(lsi->lsi_lmd->lmd_profile) + 1);
 634                 if (lsi->lsi_lmd->lmd_fileset != NULL)
 635                         OBD_FREE(lsi->lsi_lmd->lmd_fileset,
 636                                 strlen(lsi->lsi_lmd->lmd_fileset) + 1);
 637                 if (lsi->lsi_lmd->lmd_mgssec != NULL)
 638                         OBD_FREE(lsi->lsi_lmd->lmd_mgssec,
 639                                 strlen(lsi->lsi_lmd->lmd_mgssec) + 1);
 640                 if (lsi->lsi_lmd->lmd_opts != NULL)
 641                         OBD_FREE(lsi->lsi_lmd->lmd_opts,
 642                                 strlen(lsi->lsi_lmd->lmd_opts) + 1);
 643                 if (lsi->lsi_lmd->lmd_exclude_count)
 644                         OBD_FREE(lsi->lsi_lmd->lmd_exclude,
 645                                 sizeof(lsi->lsi_lmd->lmd_exclude[0]) *
 646                                 lsi->lsi_lmd->lmd_exclude_count);
 647                 if (lsi->lsi_lmd->lmd_mgs != NULL)
 648                         OBD_FREE(lsi->lsi_lmd->lmd_mgs,
 649                                  strlen(lsi->lsi_lmd->lmd_mgs) + 1);
 650                 if (lsi->lsi_lmd->lmd_osd_type != NULL)
 651                         OBD_FREE(lsi->lsi_lmd->lmd_osd_type,
 652                                  strlen(lsi->lsi_lmd->lmd_osd_type) + 1);
 653                 if (lsi->lsi_lmd->lmd_params != NULL)
 654                         OBD_FREE(lsi->lsi_lmd->lmd_params, 4096);
 655                 if (lsi->lsi_lmd->lmd_nidnet != NULL)
 656                         OBD_FREE(lsi->lsi_lmd->lmd_nidnet,
 657                                 strlen(lsi->lsi_lmd->lmd_nidnet) + 1);
 658
 659                 OBD_FREE_PTR(lsi->lsi_lmd);
 660         }
 661
 662         LASSERT(lsi->lsi_llsbi == NULL);
 663         OBD_FREE_PTR(lsi);
 664         s2lsi_nocast(sb) = NULL;
 665
 666         RETURN(0);
 667 }
 668
 669 /*
 670  * The lsi has one reference for every server that is using the disk -
 671  * e.g. MDT, MGS, and potentially MGC
 672  */
 673 int lustre_put_lsi(struct super_block *sb)
 674 {
 675         struct lustre_sb_info *lsi = s2lsi(sb);
 676
 677         ENTRY;
 678
 679         LASSERT(lsi != NULL);
 680
 681         CDEBUG(D_MOUNT, "put %p %d\n", sb, atomic_read(&lsi->lsi_mounts));
 682         if (atomic_dec_and_test(&lsi->lsi_mounts)) {
 683                 if (IS_SERVER(lsi) && lsi->lsi_osd_exp) {
 684                         lu_device_put(&lsi->lsi_dt_dev->dd_lu_dev);
 685                         lsi->lsi_osd_exp->exp_obd->obd_lvfs_ctxt.dt = NULL;
 686                         lsi->lsi_dt_dev = NULL;
 687                         obd_disconnect(lsi->lsi_osd_exp);
 688                         /* wait till OSD is gone */
 689                         obd_zombie_barrier();
 690                 }
 691                 lustre_free_lsi(sb);
 692                 RETURN(1);
 693         }
 694         RETURN(0);
 695 }
 696 EXPORT_SYMBOL(lustre_put_lsi);
 697
 698 /*
 699  * The goal of this function is to extract the file system name
 700  * from the OBD name. This can come in two flavors. One is
 701  * fsname-MDTXXXX or fsname-XXXXXXX were X is a hexadecimal
 702  * number. In both cases we should return fsname. If it is
 703  * not a valid OBD name it is assumed to be the file system
 704  * name itself.
 705  */
 706 void obdname2fsname(const char *tgt, char *fsname, size_t buflen)
 707 {
 708         const char *ptr;
 709         const char *tmp;
 710         size_t len = 0;
 711
 712         /*
 713          * First we have to see if the @tgt has '-' at all. It is
 714          * valid for the user to request something like
 715          * lctl set_param -P llite.lustre*.xattr_cache=0
 716          */
 717         ptr = strrchr(tgt, '-');
 718         if (!ptr) {
 719                 /* No '-' means it could end in '*' */
 720                 ptr = strchr(tgt, '*');
 721                 if (!ptr) {
 722                         /* No '*' either. Assume tgt = fsname */
 723                         len = strlen(tgt);
 724                         goto valid_obd_name;
 725                 }
 726                 len = ptr - tgt;
 727                 goto valid_obd_name;
 728         }
 729
 730         /* tgt format fsname-MDT0000-* */
 731         if ((!strncmp(ptr, "-MDT", 4) ||
 732              !strncmp(ptr, "-OST", 4)) &&
 733              (isxdigit(ptr[4]) && isxdigit(ptr[5]) &&
 734               isxdigit(ptr[6]) && isxdigit(ptr[7]))) {
 735                 len = ptr - tgt;
 736                 goto valid_obd_name;
 737         }
 738
 739         /*
 740          * tgt_format fsname-cli'dev'-'uuid' except for the llite case
 741          * which are named fsname-'uuid'. Examples:
 742          *
 743          * lustre-clilov-ffff88104db5b800
 744          * lustre-ffff88104db5b800  (for llite device)
 745          *
 746          * The length of the OBD uuid can vary on different platforms.
 747          * This test if any invalid characters are in string. Allow
 748          * wildcards with '*' character.
 749          */
 750         ptr++;
 751         if (!strspn(ptr, "0123456789abcdefABCDEF*")) {
 752                 len = 0;
 753                 goto no_fsname;
 754         }
 755
 756         /*
 757          * Now that we validated the device name lets extract the
 758          * file system name. Most of the names in this class will
 759          * have '-cli' in its name which needs to be dropped. If
 760          * it doesn't have '-cli' then its a llite device which
 761          * ptr already points to the start of the uuid string.
 762          */
 763         tmp = strstr(tgt, "-cli");
 764         if (tmp)
 765                 ptr = tmp;
 766         else
 767                 ptr--;
 768         len = ptr - tgt;
 769 valid_obd_name:
 770         len = min_t(size_t, len, LUSTRE_MAXFSNAME);
 771         snprintf(fsname, buflen, "%.*s", (int)len, tgt);
 772 no_fsname:
 773         fsname[len] = '\0';
 774 }
 775 EXPORT_SYMBOL(obdname2fsname);
 776
 777 /**
 778  * SERVER NAME ***
 779  * <FSNAME><SEPARATOR><TYPE><INDEX>
 780  * FSNAME is between 1 and 8 characters (inclusive).
 781  *      Excluded characters are '/' and ':'
 782  * SEPARATOR is either ':' or '-'
 783  * TYPE: "OST", "MDT", etc.
 784  * INDEX: Hex representation of the index
 785  */
 786
 787 /**
 788  * Get the fsname ("lustre") from the server name ("lustre-OST003F").
 789  * @param [in] svname server name including type and index
 790  * @param [out] fsname Buffer to copy filesystem name prefix into.
 791  *  Must have at least 'strlen(fsname) + 1' chars.
 792  * @param [out] endptr if endptr isn't NULL it is set to end of fsname
 793  * rc < 0  on error
 794  */
 795 int server_name2fsname(const char *svname, char *fsname, const char **endptr)
 796 {
 797         const char *dash;
 798
 799         dash = svname + strnlen(svname, LUSTRE_MAXFSNAME);
 800         for (; dash > svname && *dash != '-' && *dash != ':'; dash--)
 801                 ;
 802         if (dash == svname)
 803                 return -EINVAL;
 804
 805         if (fsname != NULL) {
 806                 strncpy(fsname, svname, dash - svname);
 807                 fsname[dash - svname] = '\0';
 808         }
 809
 810         if (endptr != NULL)
 811                 *endptr = dash;
 812
 813         return 0;
 814 }
 815 EXPORT_SYMBOL(server_name2fsname);
 816
 817 /**
 818  * Get service name (svname) from string
 819  * rc < 0 on error
 820  * if endptr isn't NULL it is set to end of fsname *
 821  */
 822 int server_name2svname(const char *label, char *svname, const char **endptr,
 823                        size_t svsize)
 824 {
 825         int rc;
 826         const char *dash;
 827
 828         /* We use server_name2fsname() just for parsing */
 829         rc = server_name2fsname(label, NULL, &dash);
 830         if (rc != 0)
 831                 return rc;
 832
 833         if (endptr != NULL)
 834                 *endptr = dash;
 835
 836         if (strlcpy(svname, dash + 1, svsize) >= svsize)
 837                 return -E2BIG;
 838
 839         return 0;
 840 }
 841 EXPORT_SYMBOL(server_name2svname);
 842
 843 /**
 844  * check server name is OST.
 845  **/
 846 int server_name_is_ost(const char *svname)
 847 {
 848         const char *dash;
 849         int rc;
 850
 851         /* We use server_name2fsname() just for parsing */
 852         rc = server_name2fsname(svname, NULL, &dash);
 853         if (rc != 0)
 854                 return rc;
 855
 856         dash++;
 857
 858         if (strncmp(dash, "OST", 3) == 0)
 859                 return 1;
 860         return 0;
 861 }
 862 EXPORT_SYMBOL(server_name_is_ost);
 863
 864 /**
 865  * Get the index from the target name MDTXXXX/OSTXXXX
 866  * rc = server type, or rc < 0  on error
 867  **/
 868 int target_name2index(const char *tgtname, __u32 *idx, const char **endptr)
 869 {
 870         const char *dash = tgtname;
 871         unsigned long index;
 872         int rc;
 873
 874         if (strncmp(dash, "MDT", 3) == 0)
 875                 rc = LDD_F_SV_TYPE_MDT;
 876         else if (strncmp(dash, "OST", 3) == 0)
 877                 rc = LDD_F_SV_TYPE_OST;
 878         else
 879                 return -EINVAL;
 880
 881         dash += 3;
 882
 883         if (strncmp(dash, "all", 3) == 0) {
 884                 if (endptr != NULL)
 885                         *endptr = dash + 3;
 886                 return rc | LDD_F_SV_ALL;
 887         }
 888
 889         index = simple_strtoul(dash, (char **)endptr, 16);
 890         if (idx != NULL)
 891                 *idx = index;
 892
 893         if (index > 0xffff)
 894                 return -ERANGE;
 895
 896         return rc;
 897 }
 898 EXPORT_SYMBOL(target_name2index);
 899
 900 /*
 901  * Get the index from the OBD name.
 902  * rc = server type, or
 903  * rc < 0  on error
 904  * if endptr isn't NULL it is set to end of name
 905  */
 906 int server_name2index(const char *svname, __u32 *idx, const char **endptr)
 907 {
 908         const char *dash;
 909         int rc;
 910
 911         /* We use server_name2fsname() just for parsing */
 912         rc = server_name2fsname(svname, NULL, &dash);
 913         if (rc != 0)
 914                 return rc;
 915
 916         dash++;
 917         rc = target_name2index(dash, idx, endptr);
 918         if (rc < 0)
 919                 return rc;
 920
 921         /* Account for -mdc after index that is possible when specifying mdt */
 922         if (endptr != NULL && strncmp(LUSTRE_MDC_NAME, *endptr + 1,
 923                                       sizeof(LUSTRE_MDC_NAME)-1) == 0)
 924                 *endptr += sizeof(LUSTRE_MDC_NAME);
 925
 926         return rc;
 927 }
 928 EXPORT_SYMBOL(server_name2index);
 929
 930 /*************** mount common betweeen server and client ***************/
 931
 932 /* Common umount */
 933 int lustre_common_put_super(struct super_block *sb)
 934 {
 935         int rc;
 936
 937         ENTRY;
 938
 939         CDEBUG(D_MOUNT, "dropping sb %p\n", sb);
 940
 941         /* Drop a ref to the MGC */
 942         rc = lustre_stop_mgc(sb);
 943         if (rc && (rc != -ENOENT)) {
 944                 if (rc != -EBUSY) {
 945                         CERROR("Can't stop MGC: %d\n", rc);
 946                         RETURN(rc);
 947                 }
 948                 /*
 949                  * BUSY just means that there's some other OBD that
 950                  * needs the mgc.  Let him clean it up.
 951                  */
 952                 CDEBUG(D_MOUNT, "MGC still in use\n");
 953         }
 954         /* Drop a ref to the mounted disk */
 955         lustre_put_lsi(sb);
 956
 957         RETURN(rc);
 958 }
 959 EXPORT_SYMBOL(lustre_common_put_super);
 960
 961 static void lmd_print(struct lustre_mount_data *lmd)
 962 {
 963         int i;
 964
 965         PRINT_CMD(D_MOUNT, "  mount data:\n");
 966         if (lmd_is_client(lmd))
 967                 PRINT_CMD(D_MOUNT, "profile: %s\n", lmd->lmd_profile);
 968         PRINT_CMD(D_MOUNT, "device:  %s\n", lmd->lmd_dev);
 969         PRINT_CMD(D_MOUNT, "flags:   %x\n", lmd->lmd_flags);
 970
 971         if (lmd->lmd_opts)
 972                 PRINT_CMD(D_MOUNT, "options: %s\n", lmd->lmd_opts);
 973
 974         if (lmd->lmd_recovery_time_soft)
 975                 PRINT_CMD(D_MOUNT, "recovery time soft: %d\n",
 976                           lmd->lmd_recovery_time_soft);
 977
 978         if (lmd->lmd_recovery_time_hard)
 979                 PRINT_CMD(D_MOUNT, "recovery time hard: %d\n",
 980                           lmd->lmd_recovery_time_hard);
 981
 982         for (i = 0; i < lmd->lmd_exclude_count; i++) {
 983                 PRINT_CMD(D_MOUNT, "exclude %d:  OST%04x\n", i,
 984                           lmd->lmd_exclude[i]);
 985         }
 986 }
 987
 988 /* Is this server on the exclusion list */
 989 int lustre_check_exclusion(struct super_block *sb, char *svname)
 990 {
 991         struct lustre_sb_info *lsi = s2lsi(sb);
 992         struct lustre_mount_data *lmd = lsi->lsi_lmd;
 993         __u32 index;
 994         int i, rc;
 995
 996         ENTRY;
 997
 998         rc = server_name2index(svname, &index, NULL);
 999         if (rc != LDD_F_SV_TYPE_OST)
1000                 /* Only exclude OSTs */
1001                 RETURN(0);
1002
1003         CDEBUG(D_MOUNT, "Check exclusion %s (%d) in %d of %s\n", svname,
1004                index, lmd->lmd_exclude_count, lmd->lmd_dev);
1005
1006         for (i = 0; i < lmd->lmd_exclude_count; i++) {
1007                 if (index == lmd->lmd_exclude[i]) {
1008                         CWARN("Excluding %s (on exclusion list)\n", svname);
1009                         RETURN(1);
1010                 }
1011         }
1012         RETURN(0);
1013 }
1014
1015 /* mount -v  -o exclude=lustre-OST0001:lustre-OST0002 -t lustre ... */
1016 static int lmd_make_exclusion(struct lustre_mount_data *lmd, const char *ptr)
1017 {
1018         const char *s1 = ptr, *s2;
1019         __u32 *exclude_list;
1020         __u32 index = 0;
1021         int rc = 0, devmax;
1022
1023         ENTRY;
1024
1025         /*
1026          * The shortest an ost name can be is 8 chars: -OST0000.
1027          * We don't actually know the fsname at this time, so in fact
1028          * a user could specify any fsname.
1029          */
1030         devmax = strlen(ptr) / 8 + 1;
1031
1032         /* temp storage until we figure out how many we have */
1033         OBD_ALLOC_PTR_ARRAY(exclude_list, devmax);
1034         if (!exclude_list)
1035                 RETURN(-ENOMEM);
1036
1037         /* we enter this fn pointing at the '=' */
1038         while (*s1 && *s1 != ' ' && *s1 != ',') {
1039                 s1++;
1040                 rc = server_name2index(s1, &index, &s2);
1041                 if (rc < 0) {
1042                         CERROR("Can't parse server name '%s': rc = %d\n",
1043                                s1, rc);
1044                         break;
1045                 }
1046                 if (rc == LDD_F_SV_TYPE_OST)
1047                         exclude_list[lmd->lmd_exclude_count++] = index;
1048                 else
1049                         CDEBUG(D_MOUNT, "ignoring exclude %.*s: type = %#x\n",
1050                                (uint)(s2-s1), s1, rc);
1051                 s1 = s2;
1052                 /*
1053                  * now we are pointing at ':' (next exclude)
1054                  * or ',' (end of excludes)
1055                  */
1056                 if (lmd->lmd_exclude_count >= devmax)
1057                         break;
1058         }
1059         if (rc >= 0) /* non-err */
1060                 rc = 0;
1061
1062         if (lmd->lmd_exclude_count) {
1063                 /* permanent, freed in lustre_free_lsi */
1064                 OBD_ALLOC_PTR_ARRAY(lmd->lmd_exclude,
1065                                     lmd->lmd_exclude_count);
1066                 if (lmd->lmd_exclude) {
1067                         memcpy(lmd->lmd_exclude, exclude_list,
1068                                sizeof(index) * lmd->lmd_exclude_count);
1069                 } else {
1070                         rc = -ENOMEM;
1071                         lmd->lmd_exclude_count = 0;
1072                 }
1073         }
1074         OBD_FREE_PTR_ARRAY(exclude_list, devmax);
1075         RETURN(rc);
1076 }
1077
1078 static int lmd_parse_mgssec(struct lustre_mount_data *lmd, char *ptr)
1079 {
1080         char *tail;
1081         int length;
1082
1083         if (lmd->lmd_mgssec != NULL) {
1084                 OBD_FREE(lmd->lmd_mgssec, strlen(lmd->lmd_mgssec) + 1);
1085                 lmd->lmd_mgssec = NULL;
1086         }
1087
1088         tail = strchr(ptr, ',');
1089         if (tail == NULL)
1090                 length = strlen(ptr);
1091         else
1092                 length = tail - ptr;
1093
1094         OBD_ALLOC(lmd->lmd_mgssec, length + 1);
1095         if (lmd->lmd_mgssec == NULL)
1096                 return -ENOMEM;
1097
1098         memcpy(lmd->lmd_mgssec, ptr, length);
1099         lmd->lmd_mgssec[length] = '\0';
1100         return 0;
1101 }
1102
1103 static int lmd_parse_network(struct lustre_mount_data *lmd, char *ptr)
1104 {
1105         char *tail;
1106         int length;
1107
1108         if (lmd->lmd_nidnet != NULL) {
1109                 OBD_FREE(lmd->lmd_nidnet, strlen(lmd->lmd_nidnet) + 1);
1110                 lmd->lmd_nidnet = NULL;
1111         }
1112
1113         tail = strchr(ptr, ',');
1114         if (tail == NULL)
1115                 length = strlen(ptr);
1116         else
1117                 length = tail - ptr;
1118
1119         OBD_ALLOC(lmd->lmd_nidnet, length + 1);
1120         if (lmd->lmd_nidnet == NULL)
1121                 return -ENOMEM;
1122
1123         memcpy(lmd->lmd_nidnet, ptr, length);
1124         lmd->lmd_nidnet[length] = '\0';
1125         return 0;
1126 }
1127
1128 static int lmd_parse_string(char **handle, char *ptr)
1129 {
1130         char *tail;
1131         int length;
1132
1133         if ((handle == NULL) || (ptr == NULL))
1134                 return -EINVAL;
1135
1136         if (*handle != NULL) {
1137                 OBD_FREE(*handle, strlen(*handle) + 1);
1138                 *handle = NULL;
1139         }
1140
1141         tail = strchr(ptr, ',');
1142         if (tail == NULL)
1143                 length = strlen(ptr);
1144         else
1145                 length = tail - ptr;
1146
1147         OBD_ALLOC(*handle, length + 1);
1148         if (*handle == NULL)
1149                 return -ENOMEM;
1150
1151         memcpy(*handle, ptr, length);
1152         (*handle)[length] = '\0';
1153
1154         return 0;
1155 }
1156
1157 /* Collect multiple values for mgsnid specifiers */
1158 static int lmd_parse_mgs(struct lustre_mount_data *lmd, char **ptr)
1159 {
1160         lnet_nid_t nid;
1161         char *tail = *ptr;
1162         char *mgsnid;
1163         int length;
1164         int oldlen = 0;
1165
1166         /* Find end of NID-list */
1167         while (class_parse_nid_quiet(tail, &nid, &tail) == 0)
1168                 ; /* do nothing */
1169
1170         length = tail - *ptr;
1171         if (length == 0) {
1172                 LCONSOLE_ERROR_MSG(0x159, "Can't parse NID '%s'\n", *ptr);
1173                 return -EINVAL;
1174         }
1175
1176         if (lmd->lmd_mgs != NULL)
1177                 oldlen = strlen(lmd->lmd_mgs) + 1;
1178
1179         OBD_ALLOC(mgsnid, oldlen + length + 1);
1180         if (mgsnid == NULL)
1181                 return -ENOMEM;
1182
1183         if (lmd->lmd_mgs != NULL) {
1184                 /* Multiple mgsnid= are taken to mean failover locations */
1185                 memcpy(mgsnid, lmd->lmd_mgs, oldlen);
1186                 mgsnid[oldlen - 1] = ':';
1187                 OBD_FREE(lmd->lmd_mgs, oldlen);
1188         }
1189         memcpy(mgsnid + oldlen, *ptr, length);
1190         mgsnid[oldlen + length] = '\0';
1191         lmd->lmd_mgs = mgsnid;
1192         *ptr = tail;
1193
1194         return 0;
1195 }
1196
1197 /**
1198  * Find the first delimiter (comma or colon) from the specified \a buf and
1199  * make \a *endh point to the string starting with the delimiter. The commas
1200  * in expression list [...] will be skipped.
1201  *
1202  * @buf         a delimiter-separated string
1203  * @endh        a pointer to a pointer that will point to the string
1204  *              starting with the delimiter
1205  *
1206  * RETURNS      true if delimiter is found, false if delimiter is not found
1207  */
1208 static bool lmd_find_delimiter(char *buf, char **endh)
1209 {
1210         char *c = buf;
1211         size_t pos;
1212         bool found;
1213
1214         if (!buf)
1215                 return false;
1216 try_again:
1217         if (*c == ',' || *c == ':')
1218                 return true;
1219
1220         pos = strcspn(c, "[:,]");
1221         if (!pos)
1222                 return false;
1223
1224         /* Not a valid mount string */
1225         if (*c == ']') {
1226                 CWARN("invalid mount string format\n");
1227                 return false;
1228         }
1229
1230         c += pos;
1231         if (*c == '[') {
1232                 c = strchr(c, ']');
1233
1234                 /* invalid mount string */
1235                 if (!c) {
1236                         CWARN("invalid mount string format\n");
1237                         return false;
1238                 }
1239                 c++;
1240                 goto try_again;
1241         }
1242
1243         found = *c != '\0';
1244         if (found && endh)
1245                 *endh = c;
1246
1247         return found;
1248 }
1249
1250 /**
1251  * Find the first valid string delimited by comma or colon from the specified
1252  * \a buf and parse it to see whether it's a valid NID list. If yes, \a *endh
1253  * will point to the next string starting with the delimiter.
1254  *
1255  * \param[in] buf       a delimiter-separated string
1256  * \param[in] endh      a pointer to a pointer that will point to the string
1257  *                      starting with the delimiter
1258  *
1259  * \retval 0            if the string is a valid NID list
1260  * \retval 1            if the string is not a valid NID list
1261  */
1262 static int lmd_parse_nidlist(char *buf, char **endh)
1263 {
1264         LIST_HEAD(nidlist);
1265         char *endp = buf;
1266         char tmp;
1267         int rc = 0;
1268
1269         if (buf == NULL)
1270                 return 1;
1271         while (*buf == ',' || *buf == ':')
1272                 buf++;
1273         if (*buf == ' ' || *buf == '/' || *buf == '\0')
1274                 return 1;
1275
1276         if (!lmd_find_delimiter(buf, &endp))
1277                 endp = buf + strlen(buf);
1278
1279         tmp = *endp;
1280         *endp = '\0';
1281
1282         if (cfs_parse_nidlist(buf, strlen(buf), &nidlist) <= 0)
1283                 rc = 1;
1284         cfs_free_nidlist(&nidlist);
1285
1286         *endp = tmp;
1287         if (rc != 0)
1288                 return rc;
1289         if (endh != NULL)
1290                 *endh = endp;
1291         return 0;
1292 }
1293
1294 /**
1295  * Parse mount line options
1296  * e.g. mount -v -t lustre -o abort_recov uml1:uml2:/lustre-client /mnt/lustre
1297  * dev is passed as device=uml1:/lustre by mount.lustre_tgt
1298  */
1299 static int lmd_parse(char *options, struct lustre_mount_data *lmd)
1300 {
1301         char *s1, *s2, *devname = NULL;
1302         struct lustre_mount_data *raw = (struct lustre_mount_data *)options;
1303         int rc = 0;
1304
1305         ENTRY;
1306
1307         LASSERT(lmd);
1308         if (!options) {
1309                 LCONSOLE_ERROR_MSG(0x162,
1310                                    "Missing mount data: check /sbin/mount.lustre_tgt is installed.\n");
1311                 RETURN(-EINVAL);
1312         }
1313
1314         /* Options should be a string - try to detect old lmd data */
1315         if ((raw->lmd_magic & 0xffffff00) == (LMD_MAGIC & 0xffffff00)) {
1316                 LCONSOLE_ERROR_MSG(0x163,
1317                                    "Using an old version of /sbin/mount.lustre. Please install version %s\n",
1318                                    LUSTRE_VERSION_STRING);
1319                 RETURN(-EINVAL);
1320         }
1321         lmd->lmd_magic = LMD_MAGIC;
1322
1323         OBD_ALLOC(lmd->lmd_params, LMD_PARAMS_MAXLEN);
1324         if (lmd->lmd_params == NULL)
1325                 RETURN(-ENOMEM);
1326         lmd->lmd_params[0] = '\0';
1327
1328         /* Set default flags here */
1329
1330         s1 = options;
1331         while (*s1) {
1332                 int clear = 0;
1333                 int time_min = OBD_RECOVERY_TIME_MIN;
1334                 char *s3;
1335
1336                 /* Skip whitespace and extra commas */
1337                 while (*s1 == ' ' || *s1 == ',')
1338                         s1++;
1339                 s3 = s1;
1340
1341                 /*
1342                  * Client options are parsed in ll_options: eg. flock,
1343                  * user_xattr, acl
1344                  */
1345
1346                 /*
1347                  * Parse non-ldiskfs options here. Rather than modifying
1348                  * ldiskfs, we just zero these out here
1349                  */
1350                 if (strncmp(s1, "abort_recov", 11) == 0) {
1351                         lmd->lmd_flags |= LMD_FLG_ABORT_RECOV;
1352                         clear++;
1353                 } else if (strncmp(s1, "abort_recov_mdt", 15) == 0) {
1354                         lmd->lmd_flags |= LMD_FLG_ABORT_RECOV_MDT;
1355                         clear++;
1356                 } else if (strncmp(s1, "recovery_time_soft=", 19) == 0) {
1357                         lmd->lmd_recovery_time_soft =
1358                                 max_t(int, simple_strtoul(s1 + 19, NULL, 10),
1359                                       time_min);
1360                         clear++;
1361                 } else if (strncmp(s1, "recovery_time_hard=", 19) == 0) {
1362                         lmd->lmd_recovery_time_hard =
1363                                 max_t(int, simple_strtoul(s1 + 19, NULL, 10),
1364                                       time_min);
1365                         clear++;
1366                 } else if (strncmp(s1, "no_precreate", 12) == 0) {
1367                         lmd->lmd_flags |= LMD_FLG_NO_PRECREATE;
1368                         clear++;
1369                 } else if (strncmp(s1, "noir", 4) == 0) {
1370                         lmd->lmd_flags |= LMD_FLG_NOIR; /* test purpose only. */
1371                         clear++;
1372                 } else if (strncmp(s1, "nosvc", 5) == 0) {
1373                         lmd->lmd_flags |= LMD_FLG_NOSVC;
1374                         clear++;
1375                 } else if (strncmp(s1, "nomgs", 5) == 0) {
1376                         lmd->lmd_flags |= LMD_FLG_NOMGS;
1377                         clear++;
1378                 } else if (strncmp(s1, "noscrub", 7) == 0) {
1379                         lmd->lmd_flags |= LMD_FLG_NOSCRUB;
1380                         clear++;
1381                 } else if (strncmp(s1, "skip_lfsck", 10) == 0) {
1382                         lmd->lmd_flags |= LMD_FLG_SKIP_LFSCK;
1383                         clear++;
1384                 } else if (strncmp(s1, "rdonly_dev", 10) == 0) {
1385                         lmd->lmd_flags |= LMD_FLG_DEV_RDONLY;
1386                         clear++;
1387                 } else if (strncmp(s1, PARAM_MGSNODE,
1388                                    sizeof(PARAM_MGSNODE) - 1) == 0) {
1389                         s2 = s1 + sizeof(PARAM_MGSNODE) - 1;
1390                         /*
1391                          * Assume the next mount opt is the first
1392                          * invalid NID we get to.
1393                          */
1394                         rc = lmd_parse_mgs(lmd, &s2);
1395                         if (rc)
1396                                 goto invalid;
1397                         s3 = s2;
1398                         clear++;
1399                 } else if (strncmp(s1, "writeconf", 9) == 0) {
1400                         lmd->lmd_flags |= LMD_FLG_WRITECONF;
1401                         clear++;
1402                 } else if (strncmp(s1, "update", 6) == 0) {
1403                         lmd->lmd_flags |= LMD_FLG_UPDATE;
1404                         clear++;
1405                 } else if (strncmp(s1, "virgin", 6) == 0) {
1406                         lmd->lmd_flags |= LMD_FLG_VIRGIN;
1407                         clear++;
1408                 } else if (strncmp(s1, "noprimnode", 10) == 0) {
1409                         lmd->lmd_flags |= LMD_FLG_NO_PRIMNODE;
1410                         clear++;
1411                 } else if (strncmp(s1, "mgssec=", 7) == 0) {
1412                         rc = lmd_parse_mgssec(lmd, s1 + 7);
1413                         if (rc)
1414                                 goto invalid;
1415                         clear++;
1416                         /* ost exclusion list */
1417                 } else if (strncmp(s1, "exclude=", 8) == 0) {
1418                         rc = lmd_make_exclusion(lmd, s1 + 7);
1419                         if (rc)
1420                                 goto invalid;
1421                         clear++;
1422                 } else if (strncmp(s1, "mgs", 3) == 0) {
1423                         /* We are an MGS */
1424                         lmd->lmd_flags |= LMD_FLG_MGS;
1425                         clear++;
1426                 } else if (strncmp(s1, "svname=", 7) == 0) {
1427                         rc = lmd_parse_string(&lmd->lmd_profile, s1 + 7);
1428                         if (rc)
1429                                 goto invalid;
1430                         clear++;
1431                 } else if (strncmp(s1, "param=", 6) == 0) {
1432                         size_t length, params_length;
1433                         char  *tail = s1;
1434
1435                         if (lmd_find_delimiter(s1 + 6, &tail)) {
1436                                 char *param_str = tail + 1;
1437                                 int   supplementary = 1;
1438
1439                                 while (lmd_parse_nidlist(param_str,
1440                                                          &param_str) == 0) {
1441                                         supplementary = 0;
1442                                 }
1443                                 length = param_str - s1 - supplementary;
1444                         } else {
1445                                 length = strlen(s1);
1446                         }
1447                         length -= 6;
1448                         params_length = strlen(lmd->lmd_params);
1449                         if (params_length + length + 1 >= LMD_PARAMS_MAXLEN)
1450                                 RETURN(-E2BIG);
1451                         strncat(lmd->lmd_params, s1 + 6, length);
1452                         lmd->lmd_params[params_length + length] = '\0';
1453                         strlcat(lmd->lmd_params, " ", LMD_PARAMS_MAXLEN);
1454                         s3 = s1 + 6 + length;
1455                         clear++;
1456                 } else if (strncmp(s1, "localrecov", 10) == 0) {
1457                         lmd->lmd_flags |= LMD_FLG_LOCAL_RECOV;
1458                         clear++;
1459                 } else if (strncmp(s1, "osd=", 4) == 0) {
1460                         rc = lmd_parse_string(&lmd->lmd_osd_type, s1 + 4);
1461                         if (rc)
1462                                 goto invalid;
1463                         clear++;
1464                 }
1465                 /*
1466                  * Linux 2.4 doesn't pass the device, so we stuck it at
1467                  * the end of the options.
1468                  */
1469                 else if (strncmp(s1, "device=", 7) == 0) {
1470                         devname = s1 + 7;
1471                         /*
1472                          * terminate options right before device.  device
1473                          * must be the last one.
1474                          */
1475                         *s1 = '\0';
1476                         break;
1477                 } else if (strncmp(s1, "network=", 8) == 0) {
1478                         rc = lmd_parse_network(lmd, s1 + 8);
1479                         if (rc)
1480                                 goto invalid;
1481
1482                         /* check if LNet dynamic peer discovery is activated */
1483                         if (LNetGetPeerDiscoveryStatus()) {
1484                                 CERROR("LNet Dynamic Peer Discovery is enabled "
1485                                        "on this node. 'network' mount option "
1486                                        "cannot be taken into account.\n");
1487                                 goto invalid;
1488                         }
1489
1490                         clear++;
1491                 }
1492
1493                 /* Find next opt */
1494                 s2 = strchr(s3, ',');
1495                 if (s2 == NULL) {
1496                         if (clear)
1497                                 *s1 = '\0';
1498                         break;
1499                 }
1500                 s2++;
1501                 if (clear)
1502                         memmove(s1, s2, strlen(s2) + 1);
1503                 else
1504                         s1 = s2;
1505         }
1506
1507         if (!devname) {
1508                 LCONSOLE_ERROR_MSG(0x164,
1509                                    "Can't find device name (need mount option 'device=...')\n");
1510                 goto invalid;
1511         }
1512
1513         s1 = strstr(devname, ":/");
1514         if (s1) {
1515                 ++s1;
1516                 lmd->lmd_flags |= LMD_FLG_CLIENT;
1517                 /* Remove leading /s from fsname */
1518                 while (*++s1 == '/')
1519                         ;
1520                 s2 = s1;
1521                 while (*s2 != '/' && *s2 != '\0')
1522                         s2++;
1523                 /* Freed in lustre_free_lsi */
1524                 OBD_ALLOC(lmd->lmd_profile, s2 - s1 + 8);
1525                 if (!lmd->lmd_profile)
1526                         RETURN(-ENOMEM);
1527
1528                 strncat(lmd->lmd_profile, s1, s2 - s1);
1529                 strncat(lmd->lmd_profile, "-client", 7);
1530
1531                 s1 = s2;
1532                 s2 = s1 + strlen(s1) - 1;
1533                 /* Remove padding /s from fileset */
1534                 while (*s2 == '/')
1535                         s2--;
1536                 if (s2 > s1) {
1537                         OBD_ALLOC(lmd->lmd_fileset, s2 - s1 + 2);
1538                         if (lmd->lmd_fileset == NULL) {
1539                                 OBD_FREE(lmd->lmd_profile,
1540                                          strlen(lmd->lmd_profile) + 1);
1541                                 RETURN(-ENOMEM);
1542                         }
1543                         strncat(lmd->lmd_fileset, s1, s2 - s1 + 1);
1544                 }
1545         } else {
1546                 /* server mount */
1547                 if (lmd->lmd_nidnet != NULL) {
1548                         /* 'network=' mount option forbidden for server */
1549                         OBD_FREE(lmd->lmd_nidnet, strlen(lmd->lmd_nidnet) + 1);
1550                         lmd->lmd_nidnet = NULL;
1551                         rc = -EINVAL;
1552                         CERROR(
1553                                "%s: option 'network=' not allowed for Lustre servers: rc = %d\n",
1554                                devname, rc);
1555                         RETURN(rc);
1556                 }
1557         }
1558
1559         /* Freed in lustre_free_lsi */
1560         OBD_ALLOC(lmd->lmd_dev, strlen(devname) + 1);
1561         if (!lmd->lmd_dev)
1562                 RETURN(-ENOMEM);
1563         strncpy(lmd->lmd_dev, devname, strlen(devname)+1);
1564
1565         /* Save mount options */
1566         s1 = options + strlen(options) - 1;
1567         while (s1 >= options && (*s1 == ',' || *s1 == ' '))
1568                 *s1-- = 0;
1569         while (*options && (*options == ',' || *options == ' '))
1570                 options++;
1571         if (*options != 0) {
1572                 /* Freed in lustre_free_lsi */
1573                 OBD_ALLOC(lmd->lmd_opts, strlen(options) + 1);
1574                 if (!lmd->lmd_opts)
1575                         RETURN(-ENOMEM);
1576                 strncpy(lmd->lmd_opts, options, strlen(options)+1);
1577         }
1578
1579         lmd_print(lmd);
1580         lmd->lmd_magic = LMD_MAGIC;
1581
1582         RETURN(rc);
1583
1584 invalid:
1585         CERROR("Bad mount options %s\n", options);
1586         RETURN(-EINVAL);
1587 }
1588
1589 /**
1590  * This is the entry point for the mount call into Lustre.
1591  * This is called when a server or client is mounted,
1592  * and this is where we start setting things up.
1593  * @param data Mount options (e.g. -o flock,abort_recov)
1594  */
1595 static int lustre_fill_super(struct super_block *sb, void *lmd2_data,
1596                              int silent)
1597 {
1598         struct lustre_mount_data *lmd;
1599         struct lustre_sb_info *lsi;
1600         int rc;
1601
1602         ENTRY;
1603
1604         CDEBUG(D_MOUNT|D_VFSTRACE, "VFS Op: sb %p\n", sb);
1605
1606         lsi = lustre_init_lsi(sb);
1607         if (!lsi)
1608                 RETURN(-ENOMEM);
1609         lmd = lsi->lsi_lmd;
1610
1611         /*
1612          * Disable lockdep during mount, because mount locking patterns are
1613          * 'special'.
1614          */
1615         lockdep_off();
1616
1617         /*
1618          * LU-639: the OBD cleanup of last mount may not finish yet, wait here.
1619          */
1620         obd_zombie_barrier();
1621
1622         /* Figure out the lmd from the mount options */
1623         if (lmd_parse(lmd2_data, lmd)) {
1624                 lustre_put_lsi(sb);
1625                 GOTO(out, rc = -EINVAL);
1626         }
1627
1628         if (lmd_is_client(lmd)) {
1629                 bool have_client = false;
1630
1631                 CDEBUG(D_MOUNT, "Mounting client %s\n", lmd->lmd_profile);
1632                 if (!client_fill_super)
1633                         request_module("lustre");
1634                 spin_lock(&client_lock);
1635                 if (client_fill_super && try_module_get(client_mod))
1636                         have_client = true;
1637                 spin_unlock(&client_lock);
1638                 if (!have_client) {
1639                         LCONSOLE_ERROR_MSG(0x165,
1640                                            "Nothing registered for client mount! Is the 'lustre' module loaded?\n");
1641                         lustre_put_lsi(sb);
1642                         rc = -ENODEV;
1643                 } else {
1644                         rc = lustre_start_mgc(sb);
1645                         if (rc) {
1646                                 lustre_common_put_super(sb);
1647                                 GOTO(out, rc);
1648                         }
1649                         /* Connect and start */
1650                         /* (should always be ll_fill_super) */
1651                         rc = (*client_fill_super)(sb);
1652                         /* c_f_s will call lustre_common_put_super on failure,
1653                          * which takes care of the module reference.
1654                          */
1655                 }
1656         } else {
1657 #ifdef HAVE_SERVER_SUPPORT
1658                 CDEBUG(D_MOUNT, "Mounting server from %s\n", lmd->lmd_dev);
1659                 rc = server_fill_super(sb);
1660                 /*
1661                  * s_f_s calls lustre_start_mgc after the mount because we need
1662                  * the MGS NIDs which are stored on disk.  Plus, we may
1663                  * need to start the MGS first.
1664                  */
1665                 /* s_f_s will call server_put_super on failure */
1666 #else
1667                 CERROR("client-side-only module, cannot handle server mount\n");
1668                 rc = -EINVAL;
1669 #endif
1670         }
1671
1672         /*
1673          * If error happens in fill_super() call, @lsi will be killed there.
1674          * This is why we do not put it here.
1675          */
1676         GOTO(out, rc);
1677 out:
1678         if (rc) {
1679                 CERROR("Unable to mount %s (%d)\n",
1680                        s2lsi(sb) ? lmd->lmd_dev : "", rc);
1681         } else {
1682                 CDEBUG(D_SUPER, "Mount %s complete\n",
1683                        lmd->lmd_dev);
1684         }
1685         lockdep_on();
1686         return rc;
1687 }
1688
1689
1690 /*
1691  * We can't call ll_fill_super by name because it lives in a module that
1692  * must be loaded after this one.
1693  */
1694 void lustre_register_super_ops(struct module *mod,
1695                                int (*cfs)(struct super_block *sb),
1696                                void (*ksc)(struct super_block *sb))
1697 {
1698         spin_lock(&client_lock);
1699         client_mod = mod;
1700         client_fill_super = cfs;
1701         kill_super_cb = ksc;
1702         spin_unlock(&client_lock);
1703 }
1704 EXPORT_SYMBOL(lustre_register_super_ops);
1705
1706 /***************** FS registration ******************/
1707 static struct dentry *lustre_mount(struct file_system_type *fs_type, int flags,
1708                                    const char *devname, void *data)
1709 {
1710         return mount_nodev(fs_type, flags, data, lustre_fill_super);
1711 }
1712
1713 static void lustre_kill_super(struct super_block *sb)
1714 {
1715         struct lustre_sb_info *lsi = s2lsi(sb);
1716
1717         if (kill_super_cb && lsi && !IS_SERVER(lsi))
1718                 (*kill_super_cb)(sb);
1719
1720         kill_anon_super(sb);
1721 }
1722
1723 #ifdef HAVE_SERVER_SUPPORT
1724 /* Register the "lustre_tgt" fs type.
1725  *
1726  * Right now this isn't any different than the normal "lustre" filesystem
1727  * type, but it is added so that there is some compatibility to allow
1728  * changing documentation and scripts to start using the "lustre_tgt" type
1729  * at mount time. That will simplify test interop, and in case of upgrades
1730  * that change to the new type and then need to roll back for some reason.
1731  *
1732  * The long-term goal is to disentangle the client and server mount code.
1733  */
1734 static struct file_system_type lustre_fs_type_tgt = {
1735         .owner          = THIS_MODULE,
1736         .name           = "lustre_tgt",
1737         .mount          = lustre_mount,
1738         .kill_sb        = lustre_kill_super,
1739         .fs_flags       = FS_REQUIRES_DEV | FS_RENAME_DOES_D_MOVE,
1740 };
1741 MODULE_ALIAS_FS("lustre_tgt");
1742
1743 #define register_filesystem_tgt(fstype)                                     \
1744 do {                                                                        \
1745         int _rc;                                                            \
1746                                                                             \
1747         _rc = register_filesystem(fstype);                                  \
1748         if (_rc && _rc != -EBUSY) {                                         \
1749                 /* Don't fail if server code also registers "lustre_tgt" */ \
1750                 CERROR("obdclass: register fstype '%s' failed: rc = %d\n",  \
1751                        (fstype)->name, _rc);                                \
1752                 return _rc;                                                 \
1753         }                                                                   \
1754 } while (0)
1755 #define unregister_filesystem_tgt(fstype) unregister_filesystem(fstype)
1756 #else
1757 #define register_filesystem_tgt(fstype)   do {} while (0)
1758 #define unregister_filesystem_tgt(fstype) do {} while (0)
1759 #endif
1760
1761 /* Register the "lustre" fs type */
1762 static struct file_system_type lustre_fs_type = {
1763         .owner          = THIS_MODULE,
1764         .name           = "lustre",
1765         .mount          = lustre_mount,
1766         .kill_sb        = lustre_kill_super,
1767         .fs_flags       = FS_RENAME_DOES_D_MOVE,
1768 };
1769 MODULE_ALIAS_FS("lustre");
1770
1771 int lustre_register_fs(void)
1772 {
1773         register_filesystem_tgt(&lustre_fs_type_tgt);
1774
1775         return register_filesystem(&lustre_fs_type);
1776 }
1777
1778 int lustre_unregister_fs(void)
1779 {
1780         unregister_filesystem_tgt(&lustre_fs_type_tgt);
1781
1782         return unregister_filesystem(&lustre_fs_type);
1783 }