lustre/mgs/mgs_llog.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2017, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  *
  32  * lustre/mgs/mgs_llog.c
  33  *
  34  * Lustre Management Server (mgs) config llog creation
  35  *
  36  * Author: Nathan Rutman <nathan@clusterfs.com>
  37  * Author: Alex Zhuravlev <bzzz@whamcloud.com>
  38  * Author: Mikhail Pershin <tappro@whamcloud.com>
  39  */
  40
  41 #define DEBUG_SUBSYSTEM S_MGS
  42 #define D_MGS D_CONFIG
  43
  44 #include <obd.h>
  45 #include <uapi/linux/lustre/lustre_ioctl.h>
  46 #include <uapi/linux/lustre/lustre_param.h>
  47 #include <lustre_sec.h>
  48 #include <lustre_quota.h>
  49 #include <lustre_sec.h>
  50
  51 #include "mgs_internal.h"
  52
  53 /********************** Class functions ********************/
  54
  55 /**
  56  * Find all logs in CONFIG directory and link then into list.
  57  *
  58  * \param[in] env       pointer to the thread context
  59  * \param[in] mgs       pointer to the mgs device
  60  * \param[out] log_list the list to hold the found llog name entry
  61  *
  62  * \retval              0 for success
  63  * \retval              negative error number on failure
  64  **/
  65 int class_dentry_readdir(const struct lu_env *env, struct mgs_device *mgs,
  66                          struct list_head *log_list)
  67 {
  68         struct dt_object *dir = mgs->mgs_configs_dir;
  69         const struct dt_it_ops *iops;
  70         struct dt_it *it;
  71         struct mgs_direntry *de;
  72         char *key;
  73         int rc, key_sz;
  74         size_t suffix_len = sizeof(".bak") - 1;
  75
  76         INIT_LIST_HEAD(log_list);
  77
  78         LASSERT(dir);
  79         LASSERT(dir->do_index_ops);
  80
  81         iops = &dir->do_index_ops->dio_it;
  82         it = iops->init(env, dir, LUDA_64BITHASH);
  83         if (IS_ERR(it))
  84                 RETURN(PTR_ERR(it));
  85
  86         rc = iops->load(env, it, 0);
  87         if (rc <= 0)
  88                 GOTO(fini, rc = 0);
  89
  90         /* main cycle */
  91         do {
  92                 key = (void *)iops->key(env, it);
  93                 if (IS_ERR(key)) {
  94                         CERROR("%s: key failed when listing %s: rc = %d\n",
  95                                mgs->mgs_obd->obd_name, MOUNT_CONFIGS_DIR,
  96                                (int) PTR_ERR(key));
  97                         goto next;
  98                 }
  99                 key_sz = iops->key_size(env, it);
 100                 LASSERT(key_sz > 0);
 101
 102                 /* filter out "." and ".." entries */
 103                 if (key[0] == '.') {
 104                         if (key_sz == 1)
 105                                 goto next;
 106                         if (key_sz == 2 && key[1] == '.')
 107                                 goto next;
 108                 }
 109
 110                 /* filter out ".bak" files */
 111                 if (key_sz >= suffix_len &&
 112                     !memcmp(".bak", key + key_sz - suffix_len, suffix_len)) {
 113                         CDEBUG(D_MGS, "Skipping backup file %.*s\n",
 114                                key_sz, key);
 115                         goto next;
 116                 }
 117
 118                 de = mgs_direntry_alloc(key_sz + 1);
 119                 if (de == NULL) {
 120                         rc = -ENOMEM;
 121                         break;
 122                 }
 123
 124                 memcpy(de->mde_name, key, key_sz);
 125                 de->mde_name[key_sz] = 0;
 126
 127                 list_add(&de->mde_list, log_list);
 128
 129 next:
 130                 rc = iops->next(env, it);
 131         } while (rc == 0);
 132         if (rc > 0)
 133                 rc = 0;
 134
 135         iops->put(env, it);
 136
 137 fini:
 138         iops->fini(env, it);
 139         if (rc) {
 140                 struct mgs_direntry *n;
 141
 142                 CERROR("%s: key failed when listing %s: rc = %d\n",
 143                        mgs->mgs_obd->obd_name, MOUNT_CONFIGS_DIR, rc);
 144
 145                 list_for_each_entry_safe(de, n, log_list, mde_list) {
 146                         list_del_init(&de->mde_list);
 147                         mgs_direntry_free(de);
 148                 }
 149         }
 150
 151         RETURN(rc);
 152 }
 153
 154 /******************** DB functions *********************/
 155
 156 static inline int name_create(char **newname, char *prefix, char *suffix)
 157 {
 158         LASSERT(newname);
 159         OBD_ALLOC(*newname, strlen(prefix) + strlen(suffix) + 1);
 160         if (!*newname)
 161                 return -ENOMEM;
 162         sprintf(*newname, "%s%s", prefix, suffix);
 163         return 0;
 164 }
 165
 166 static inline void name_destroy(char **name)
 167 {
 168         if (*name)
 169                 OBD_FREE(*name, strlen(*name) + 1);
 170         *name = NULL;
 171 }
 172
 173 struct mgs_fsdb_handler_data
 174 {
 175         struct fs_db   *fsdb;
 176         __u32           ver;
 177 };
 178
 179 /* from the (client) config log, figure out:
 180         1. which ost's/mdt's are configured (by index)
 181         2. what the last config step is
 182         3. COMPAT_18 osc name
 183 */
 184 /* It might be better to have a separate db file, instead of parsing the info
 185    out of the client log.  This is slow and potentially error-prone. */
 186 static int mgs_fsdb_handler(const struct lu_env *env, struct llog_handle *llh,
 187                             struct llog_rec_hdr *rec, void *data)
 188 {
 189         struct mgs_fsdb_handler_data *d = data;
 190         struct fs_db *fsdb = d->fsdb;
 191         int cfg_len = rec->lrh_len;
 192         char *cfg_buf = (char*) (rec + 1);
 193         struct lustre_cfg *lcfg;
 194         u32 index;
 195         int rc = 0;
 196         ENTRY;
 197
 198         if (rec->lrh_type != OBD_CFG_REC) {
 199                 CERROR("unhandled lrh_type: %#x\n", rec->lrh_type);
 200                 RETURN(-EINVAL);
 201         }
 202
 203         rc = lustre_cfg_sanity_check(cfg_buf, cfg_len);
 204         if (rc) {
 205                 CERROR("Insane cfg\n");
 206                 RETURN(rc);
 207         }
 208
 209         lcfg = (struct lustre_cfg *)cfg_buf;
 210
 211         CDEBUG(D_INFO, "cmd %x %s %s\n", lcfg->lcfg_command,
 212                lustre_cfg_string(lcfg, 0), lustre_cfg_string(lcfg, 1));
 213
 214         /* Figure out ost indicies */
 215         /* lov_modify_tgts add 0:lov1  1:ost1_UUID  2(index):0  3(gen):1 */
 216         if (lcfg->lcfg_command == LCFG_LOV_ADD_OBD ||
 217             lcfg->lcfg_command == LCFG_LOV_DEL_OBD) {
 218                 rc = kstrtouint(lustre_cfg_string(lcfg, 2), 10, &index);
 219                 if (rc)
 220                         RETURN(rc);
 221
 222                 CDEBUG(D_MGS, "OST index for %s is %u (%s)\n",
 223                        lustre_cfg_string(lcfg, 1), index,
 224                        lustre_cfg_string(lcfg, 2));
 225                 set_bit(index, fsdb->fsdb_ost_index_map);
 226         }
 227
 228         /* Figure out mdt indicies */
 229         /* attach   0:MDC_uml1_mdsA_MNT_client  1:mdc  2:1d834_MNT_client_03f */
 230         if ((lcfg->lcfg_command == LCFG_ATTACH) &&
 231             (strcmp(lustre_cfg_string(lcfg, 1), LUSTRE_MDC_NAME) == 0)) {
 232                 rc = server_name2index(lustre_cfg_string(lcfg, 0),
 233                                        &index, NULL);
 234                 if (rc != LDD_F_SV_TYPE_MDT) {
 235                         CWARN("Unparsable MDC name %s, assuming index 0\n",
 236                               lustre_cfg_string(lcfg, 0));
 237                         index = 0;
 238                 }
 239                 rc = 0;
 240                 CDEBUG(D_MGS, "MDT index is %u\n", index);
 241                 if (!test_bit(index, fsdb->fsdb_mdt_index_map)) {
 242                         set_bit(index, fsdb->fsdb_mdt_index_map);
 243                         fsdb->fsdb_mdt_count++;
 244                 }
 245         }
 246
 247         /**
 248          * figure out the old config. fsdb_gen = 0 means old log
 249          * It is obsoleted and not supported anymore
 250          */
 251         if (fsdb->fsdb_gen == 0) {
 252                 CERROR("Old config format is not supported\n");
 253                 RETURN(-EINVAL);
 254         }
 255
 256         /*
 257          * compat to 1.8, check osc name used by MDT0 to OSTs, bz18548.
 258          */
 259         if (!test_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags) &&
 260             lcfg->lcfg_command == LCFG_ATTACH &&
 261             strcmp(lustre_cfg_string(lcfg, 1), LUSTRE_OSC_NAME) == 0) {
 262                 if (OBD_OCD_VERSION_MAJOR(d->ver) == 1 &&
 263                     OBD_OCD_VERSION_MINOR(d->ver) <= 8) {
 264                         CWARN("MDT using 1.8 OSC name scheme\n");
 265                         set_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags);
 266                 }
 267         }
 268
 269         if (lcfg->lcfg_command == LCFG_MARKER) {
 270                 struct cfg_marker *marker;
 271                 marker = lustre_cfg_buf(lcfg, 1);
 272
 273                 d->ver = marker->cm_vers;
 274
 275                 /* Keep track of the latest marker step */
 276                 fsdb->fsdb_gen = max(fsdb->fsdb_gen, marker->cm_step);
 277         }
 278
 279         RETURN(rc);
 280 }
 281
 282 /* fsdb->fsdb_mutex is already held  in mgs_find_or_make_fsdb*/
 283 static int mgs_get_fsdb_from_llog(const struct lu_env *env,
 284                                   struct mgs_device *mgs,
 285                                   struct fs_db *fsdb)
 286 {
 287         char *logname;
 288         struct llog_handle *loghandle;
 289         struct llog_ctxt *ctxt;
 290         struct mgs_fsdb_handler_data d = {
 291                 .fsdb = fsdb,
 292         };
 293         int rc;
 294
 295         ENTRY;
 296
 297         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
 298         LASSERT(ctxt != NULL);
 299         rc = name_create(&logname, fsdb->fsdb_name, "-client");
 300         if (rc)
 301                 GOTO(out_put, rc);
 302         rc = llog_open_create(env, ctxt, &loghandle, NULL, logname);
 303         if (rc)
 304                 GOTO(out_pop, rc);
 305
 306         rc = llog_init_handle(env, loghandle, LLOG_F_IS_PLAIN, NULL);
 307         if (rc)
 308                 GOTO(out_close, rc);
 309
 310         if (llog_get_size(loghandle) <= 1)
 311                 set_bit(FSDB_LOG_EMPTY, &fsdb->fsdb_flags);
 312
 313         rc = llog_process(env, loghandle, mgs_fsdb_handler, (void *)&d, NULL);
 314         CDEBUG(D_INFO, "get_db = %d\n", rc);
 315 out_close:
 316         llog_close(env, loghandle);
 317 out_pop:
 318         name_destroy(&logname);
 319 out_put:
 320         llog_ctxt_put(ctxt);
 321
 322         RETURN(rc);
 323 }
 324
 325 static void mgs_free_fsdb_srpc(struct fs_db *fsdb)
 326 {
 327         struct mgs_tgt_srpc_conf *tgtconf;
 328
 329         /* free target-specific rules */
 330         while (fsdb->fsdb_srpc_tgt) {
 331                 tgtconf = fsdb->fsdb_srpc_tgt;
 332                 fsdb->fsdb_srpc_tgt = tgtconf->mtsc_next;
 333
 334                 LASSERT(tgtconf->mtsc_tgt);
 335
 336                 sptlrpc_rule_set_free(&tgtconf->mtsc_rset);
 337                 OBD_FREE(tgtconf->mtsc_tgt, strlen(tgtconf->mtsc_tgt) + 1);
 338                 OBD_FREE_PTR(tgtconf);
 339         }
 340
 341         /* free general rules */
 342         sptlrpc_rule_set_free(&fsdb->fsdb_srpc_gen);
 343 }
 344
 345 static void mgs_unlink_fsdb(struct mgs_device *mgs, struct fs_db *fsdb)
 346 {
 347         mutex_lock(&mgs->mgs_mutex);
 348         if (likely(!list_empty(&fsdb->fsdb_list))) {
 349                 LASSERTF(atomic_read(&fsdb->fsdb_ref) >= 2,
 350                          "Invalid ref %d on %s\n",
 351                          atomic_read(&fsdb->fsdb_ref),
 352                          fsdb->fsdb_name);
 353
 354                 list_del_init(&fsdb->fsdb_list);
 355                 /* Drop the reference on the list.*/
 356                 mgs_put_fsdb(mgs, fsdb);
 357         }
 358         mutex_unlock(&mgs->mgs_mutex);
 359 }
 360
 361 /* The caller must hold mgs->mgs_mutex. */
 362 static inline struct fs_db *
 363 mgs_find_fsdb_noref(struct mgs_device *mgs, const char *fsname)
 364 {
 365         struct fs_db *fsdb;
 366         struct list_head *tmp;
 367
 368         list_for_each(tmp, &mgs->mgs_fs_db_list) {
 369                 fsdb = list_entry(tmp, struct fs_db, fsdb_list);
 370                 if (strcmp(fsdb->fsdb_name, fsname) == 0)
 371                         return fsdb;
 372         }
 373
 374         return NULL;
 375 }
 376
 377 /* The caller must hold mgs->mgs_mutex. */
 378 static void mgs_remove_fsdb_by_name(struct mgs_device *mgs, const char *name)
 379 {
 380         struct fs_db *fsdb;
 381
 382         fsdb = mgs_find_fsdb_noref(mgs, name);
 383         if (fsdb) {
 384                 list_del_init(&fsdb->fsdb_list);
 385                 /* Drop the reference on the list.*/
 386                 mgs_put_fsdb(mgs, fsdb);
 387         }
 388 }
 389
 390 /* The caller must hold mgs->mgs_mutex. */
 391 struct fs_db *mgs_find_fsdb(struct mgs_device *mgs, const char *fsname)
 392 {
 393         struct fs_db *fsdb;
 394
 395         fsdb = mgs_find_fsdb_noref(mgs, fsname);
 396         if (fsdb)
 397                 atomic_inc(&fsdb->fsdb_ref);
 398
 399         return fsdb;
 400 }
 401
 402 /* The caller must hold mgs->mgs_mutex. */
 403 static struct fs_db *mgs_new_fsdb(const struct lu_env *env,
 404                                   struct mgs_device *mgs, char *fsname)
 405 {
 406         struct fs_db *fsdb;
 407         int rc;
 408         ENTRY;
 409
 410         if (strlen(fsname) >= sizeof(fsdb->fsdb_name)) {
 411                 CERROR("fsname %s is too long\n", fsname);
 412
 413                 RETURN(ERR_PTR(-EINVAL));
 414         }
 415
 416         OBD_ALLOC_PTR(fsdb);
 417         if (!fsdb)
 418                 RETURN(ERR_PTR(-ENOMEM));
 419
 420         strncpy(fsdb->fsdb_name, fsname, sizeof(fsdb->fsdb_name));
 421         mutex_init(&fsdb->fsdb_mutex);
 422         INIT_LIST_HEAD(&fsdb->fsdb_list);
 423         set_bit(FSDB_UDESC, &fsdb->fsdb_flags);
 424         fsdb->fsdb_gen = 1;
 425         INIT_LIST_HEAD(&fsdb->fsdb_clients);
 426         atomic_set(&fsdb->fsdb_notify_phase, 0);
 427         init_waitqueue_head(&fsdb->fsdb_notify_waitq);
 428         init_completion(&fsdb->fsdb_notify_comp);
 429
 430         if (strcmp(fsname, MGSSELF_NAME) == 0) {
 431                 set_bit(FSDB_MGS_SELF, &fsdb->fsdb_flags);
 432                 fsdb->fsdb_mgs = mgs;
 433                 if (logname_is_barrier(fsname))
 434                         goto add;
 435         } else {
 436                 OBD_ALLOC(fsdb->fsdb_mdt_index_map, INDEX_MAP_SIZE);
 437                 if (!fsdb->fsdb_mdt_index_map) {
 438                         CERROR("No memory for MDT index maps\n");
 439
 440                         GOTO(err, rc = -ENOMEM);
 441                 }
 442
 443                 OBD_ALLOC(fsdb->fsdb_ost_index_map, INDEX_MAP_SIZE);
 444                 if (!fsdb->fsdb_ost_index_map) {
 445                         CERROR("No memory for OST index maps\n");
 446
 447                         GOTO(err, rc = -ENOMEM);
 448                 }
 449
 450                 if (logname_is_barrier(fsname))
 451                         goto add;
 452
 453                 rc = name_create(&fsdb->fsdb_clilov, fsname, "-clilov");
 454                 if (rc)
 455                         GOTO(err, rc);
 456
 457                 rc = name_create(&fsdb->fsdb_clilmv, fsname, "-clilmv");
 458                 if (rc)
 459                         GOTO(err, rc);
 460
 461                 /* initialise data for NID table */
 462                 mgs_ir_init_fs(env, mgs, fsdb);
 463                 lproc_mgs_add_live(mgs, fsdb);
 464         }
 465
 466         if (!test_bit(FSDB_MGS_SELF, &fsdb->fsdb_flags) &&
 467             strcmp(PARAMS_FILENAME, fsname) != 0) {
 468                 /* populate the db from the client llog */
 469                 rc = mgs_get_fsdb_from_llog(env, mgs, fsdb);
 470                 if (rc) {
 471                         CERROR("Can't get db from client log %d\n", rc);
 472
 473                         GOTO(err, rc);
 474                 }
 475         }
 476
 477         /* populate srpc rules from params llog */
 478         rc = mgs_get_fsdb_srpc_from_llog(env, mgs, fsdb);
 479         if (rc) {
 480                 CERROR("Can't get db from params log %d\n", rc);
 481
 482                 GOTO(err, rc);
 483         }
 484
 485 add:
 486         /* One ref is for the fsdb on the list.
 487          * The other ref is for the caller. */
 488         atomic_set(&fsdb->fsdb_ref, 2);
 489         list_add(&fsdb->fsdb_list, &mgs->mgs_fs_db_list);
 490
 491         RETURN(fsdb);
 492
 493 err:
 494         atomic_set(&fsdb->fsdb_ref, 1);
 495         mgs_put_fsdb(mgs, fsdb);
 496
 497         RETURN(ERR_PTR(rc));
 498 }
 499
 500 static void mgs_free_fsdb(struct mgs_device *mgs, struct fs_db *fsdb)
 501 {
 502         LASSERT(list_empty(&fsdb->fsdb_list));
 503
 504         lproc_mgs_del_live(mgs, fsdb);
 505
 506         /* deinitialize fsr */
 507         if (fsdb->fsdb_mgs)
 508                 mgs_ir_fini_fs(mgs, fsdb);
 509
 510         if (fsdb->fsdb_ost_index_map)
 511                 OBD_FREE(fsdb->fsdb_ost_index_map, INDEX_MAP_SIZE);
 512         if (fsdb->fsdb_mdt_index_map)
 513                 OBD_FREE(fsdb->fsdb_mdt_index_map, INDEX_MAP_SIZE);
 514         name_destroy(&fsdb->fsdb_clilov);
 515         name_destroy(&fsdb->fsdb_clilmv);
 516         mgs_free_fsdb_srpc(fsdb);
 517         OBD_FREE_PTR(fsdb);
 518 }
 519
 520 void mgs_put_fsdb(struct mgs_device *mgs, struct fs_db *fsdb)
 521 {
 522         if (atomic_dec_and_test(&fsdb->fsdb_ref))
 523                 mgs_free_fsdb(mgs, fsdb);
 524 }
 525
 526 int mgs_init_fsdb_list(struct mgs_device *mgs)
 527 {
 528         INIT_LIST_HEAD(&mgs->mgs_fs_db_list);
 529         return 0;
 530 }
 531
 532 int mgs_cleanup_fsdb_list(struct mgs_device *mgs)
 533 {
 534         struct fs_db *fsdb;
 535         struct list_head *tmp, *tmp2;
 536
 537         mutex_lock(&mgs->mgs_mutex);
 538         list_for_each_safe(tmp, tmp2, &mgs->mgs_fs_db_list) {
 539                 fsdb = list_entry(tmp, struct fs_db, fsdb_list);
 540                 list_del_init(&fsdb->fsdb_list);
 541                 mgs_put_fsdb(mgs, fsdb);
 542         }
 543         mutex_unlock(&mgs->mgs_mutex);
 544         return 0;
 545 }
 546
 547 /* The caller must hold mgs->mgs_mutex. */
 548 int mgs_find_or_make_fsdb_nolock(const struct lu_env *env,
 549                                 struct mgs_device *mgs,
 550                                 char *name, struct fs_db **dbh)
 551 {
 552         struct fs_db *fsdb;
 553         int rc = 0;
 554         ENTRY;
 555
 556         fsdb = mgs_find_fsdb(mgs, name);
 557         if (!fsdb) {
 558                 fsdb = mgs_new_fsdb(env, mgs, name);
 559                 if (IS_ERR(fsdb))
 560                         rc = PTR_ERR(fsdb);
 561
 562                 CDEBUG(D_MGS, "Created new db: rc = %d\n", rc);
 563         }
 564
 565         if (!rc)
 566                 *dbh = fsdb;
 567
 568         RETURN(rc);
 569 }
 570
 571 int mgs_find_or_make_fsdb(const struct lu_env *env, struct mgs_device *mgs,
 572                           char *name, struct fs_db **dbh)
 573 {
 574         int rc;
 575         ENTRY;
 576
 577         mutex_lock(&mgs->mgs_mutex);
 578         rc = mgs_find_or_make_fsdb_nolock(env, mgs, name, dbh);
 579         mutex_unlock(&mgs->mgs_mutex);
 580
 581         RETURN(rc);
 582 }
 583
 584 /* 1 = index in use
 585    0 = index unused
 586    -1= empty client log */
 587 int mgs_check_index(const struct lu_env *env,
 588                     struct mgs_device *mgs,
 589                     struct mgs_target_info *mti)
 590 {
 591         struct fs_db *fsdb;
 592         void *imap;
 593         int rc = 0;
 594         ENTRY;
 595
 596         LASSERT(!(mti->mti_flags & LDD_F_NEED_INDEX));
 597
 598         rc = mgs_find_or_make_fsdb(env, mgs, mti->mti_fsname, &fsdb);
 599         if (rc) {
 600                 CERROR("Can't get db for %s\n", mti->mti_fsname);
 601                 RETURN(rc);
 602         }
 603
 604         if (test_bit(FSDB_LOG_EMPTY, &fsdb->fsdb_flags))
 605                 GOTO(out, rc = -1);
 606
 607         if (mti->mti_flags & LDD_F_SV_TYPE_OST)
 608                 imap = fsdb->fsdb_ost_index_map;
 609         else if (mti->mti_flags & LDD_F_SV_TYPE_MDT)
 610                 imap = fsdb->fsdb_mdt_index_map;
 611         else
 612                 GOTO(out, rc = -EINVAL);
 613
 614         if (test_bit(mti->mti_stripe_index, imap))
 615                 GOTO(out, rc = 1);
 616
 617         GOTO(out, rc = 0);
 618
 619 out:
 620         mgs_put_fsdb(mgs, fsdb);
 621         return rc;
 622 }
 623
 624 static __inline__ int next_index(void *index_map, int map_len)
 625 {
 626         int i;
 627         for (i = 0; i < map_len * 8; i++)
 628                 if (!test_bit(i, index_map)) {
 629                          return i;
 630                  }
 631         CERROR("max index %d exceeded.\n", i);
 632         return -1;
 633 }
 634
 635 /* Make the mdt/ost server obd name based on the filesystem name */
 636 static bool server_make_name(u32 flags, u16 index, const char *fs,
 637                              char *name_buf, size_t name_buf_size)
 638 {
 639         bool invalid_flag = false;
 640
 641         if (flags & (LDD_F_SV_TYPE_MDT | LDD_F_SV_TYPE_OST)) {
 642                 if (!(flags & LDD_F_SV_ALL))
 643                         snprintf(name_buf, name_buf_size, "%.8s%c%s%04x", fs,
 644                                 (flags & LDD_F_VIRGIN) ? ':' :
 645                                         ((flags & LDD_F_WRITECONF) ? '=' : '-'),
 646                                 (flags & LDD_F_SV_TYPE_MDT) ? "MDT" : "OST",
 647                                 index);
 648         } else if (flags & LDD_F_SV_TYPE_MGS) {
 649                 snprintf(name_buf, name_buf_size, "MGS");
 650         } else {
 651                 CERROR("unknown server type %#x\n", flags);
 652                 invalid_flag = true;
 653         }
 654         return invalid_flag;
 655 }
 656
 657 /* Return codes:
 658         0  newly marked as in use
 659         <0 err
 660         +EALREADY for update of an old index */
 661 static int mgs_set_index(const struct lu_env *env,
 662                          struct mgs_device *mgs,
 663                          struct mgs_target_info *mti)
 664 {
 665         struct fs_db *fsdb;
 666         void *imap;
 667         int rc = 0;
 668         ENTRY;
 669
 670         rc = mgs_find_or_make_fsdb(env, mgs, mti->mti_fsname, &fsdb);
 671         if (rc) {
 672                 CERROR("Can't get db for %s\n", mti->mti_fsname);
 673                 RETURN(rc);
 674         }
 675
 676         mutex_lock(&fsdb->fsdb_mutex);
 677         if (mti->mti_flags & LDD_F_SV_TYPE_OST) {
 678                 imap = fsdb->fsdb_ost_index_map;
 679         } else if (mti->mti_flags & LDD_F_SV_TYPE_MDT) {
 680                 imap = fsdb->fsdb_mdt_index_map;
 681         } else {
 682                 GOTO(out_up, rc = -EINVAL);
 683         }
 684
 685         if (mti->mti_flags & LDD_F_NEED_INDEX) {
 686                 rc = next_index(imap, INDEX_MAP_SIZE);
 687                 if (rc == -1)
 688                         GOTO(out_up, rc = -ERANGE);
 689                 mti->mti_stripe_index = rc;
 690         }
 691
 692         /* the last index(0xffff) is reserved for default value. */
 693         if (mti->mti_stripe_index >= INDEX_MAP_SIZE * 8 - 1) {
 694                 LCONSOLE_ERROR_MSG(0x13f, "Server %s requested index %u, "
 695                                    "but index must be less than %u.\n",
 696                                    mti->mti_svname, mti->mti_stripe_index,
 697                                    INDEX_MAP_SIZE * 8 - 1);
 698                 GOTO(out_up, rc = -ERANGE);
 699         }
 700
 701         if (test_bit(mti->mti_stripe_index, imap)) {
 702                 if ((mti->mti_flags & LDD_F_VIRGIN) &&
 703                     !(mti->mti_flags & LDD_F_WRITECONF)) {
 704                         LCONSOLE_ERROR_MSG(0x140, "Server %s requested index "
 705                                            "%d, but that index is already in "
 706                                            "use. Use --writeconf to force\n",
 707                                            mti->mti_svname,
 708                                            mti->mti_stripe_index);
 709                         GOTO(out_up, rc = -EADDRINUSE);
 710                 } else {
 711                         CDEBUG(D_MGS, "Server %s updating index %d\n",
 712                                mti->mti_svname, mti->mti_stripe_index);
 713                         GOTO(out_up, rc = EALREADY);
 714                 }
 715         } else {
 716                 set_bit(mti->mti_stripe_index, imap);
 717                 if (mti->mti_flags & LDD_F_SV_TYPE_MDT)
 718                         fsdb->fsdb_mdt_count++;
 719         }
 720
 721         set_bit(mti->mti_stripe_index, imap);
 722         clear_bit(FSDB_LOG_EMPTY, &fsdb->fsdb_flags);
 723         if (server_make_name(mti->mti_flags & ~(LDD_F_VIRGIN | LDD_F_WRITECONF),
 724                              mti->mti_stripe_index, mti->mti_fsname,
 725                              mti->mti_svname, sizeof(mti->mti_svname))) {
 726                 CERROR("unknown server type %#x\n", mti->mti_flags);
 727                 GOTO(out_up, rc = -EINVAL);
 728         }
 729
 730         CDEBUG(D_MGS, "Set index for %s to %d\n", mti->mti_svname,
 731                mti->mti_stripe_index);
 732
 733         GOTO(out_up, rc = 0);
 734
 735 out_up:
 736         mutex_unlock(&fsdb->fsdb_mutex);
 737         mgs_put_fsdb(mgs, fsdb);
 738         return rc;
 739 }
 740
 741 struct mgs_modify_lookup {
 742         struct cfg_marker mml_marker;
 743         int               mml_modified;
 744 };
 745
 746 static int mgs_check_record_match(const struct lu_env *env,
 747                                 struct llog_handle *llh,
 748                                 struct llog_rec_hdr *rec, void *data)
 749 {
 750         struct cfg_marker *mc_marker = data;
 751         struct cfg_marker *marker;
 752         struct lustre_cfg *lcfg = REC_DATA(rec);
 753         int cfg_len = REC_DATA_LEN(rec);
 754         int rc;
 755         ENTRY;
 756
 757
 758         if (rec->lrh_type != OBD_CFG_REC) {
 759                 CDEBUG(D_ERROR, "Unhandled lrh_type: %#x\n", rec->lrh_type);
 760                 RETURN(-EINVAL);
 761         }
 762
 763         rc = lustre_cfg_sanity_check(lcfg, cfg_len);
 764         if (rc) {
 765                 CDEBUG(D_ERROR, "Insane cfg\n");
 766                 RETURN(rc);
 767         }
 768
 769         /* We only care about markers */
 770         if (lcfg->lcfg_command != LCFG_MARKER)
 771                 RETURN(0);
 772
 773         marker = lustre_cfg_buf(lcfg, 1);
 774
 775         if (marker->cm_flags & CM_SKIP)
 776                 RETURN(0);
 777
 778         if ((strcmp(mc_marker->cm_comment, marker->cm_comment) == 0) &&
 779                 (strcmp(mc_marker->cm_tgtname, marker->cm_tgtname) == 0)) {
 780                 /* Found a non-skipped marker match */
 781                 CDEBUG(D_MGS, "Matched rec %u marker %d flag %x %s %s\n",
 782                         rec->lrh_index, marker->cm_step,
 783                         marker->cm_flags, marker->cm_tgtname,
 784                         marker->cm_comment);
 785                 rc = LLOG_PROC_BREAK;
 786         }
 787
 788         RETURN(rc);
 789 }
 790
 791 /**
 792  * Check an existing config log record with matching comment and device
 793  * Return code:
 794  * 0 - checked successfully,
 795  * LLOG_PROC_BREAK - record matches
 796  * negative - error
 797  */
 798 static int mgs_check_marker(const struct lu_env *env, struct mgs_device *mgs,
 799                 struct fs_db *fsdb, struct mgs_target_info *mti,
 800                 char *logname, char *devname, char *comment)
 801 {
 802         struct llog_handle *loghandle;
 803         struct llog_ctxt *ctxt;
 804         struct cfg_marker *mc_marker;
 805         int rc;
 806
 807         ENTRY;
 808
 809         LASSERT(mutex_is_locked(&fsdb->fsdb_mutex));
 810         CDEBUG(D_MGS, "mgs check %s/%s/%s\n", logname, devname, comment);
 811
 812         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
 813         LASSERT(ctxt != NULL);
 814         rc = llog_open(env, ctxt, &loghandle, NULL, logname, LLOG_OPEN_EXISTS);
 815         if (rc < 0) {
 816                 if (rc == -ENOENT)
 817                         rc = 0;
 818                 GOTO(out_pop, rc);
 819         }
 820
 821         rc = llog_init_handle(env, loghandle, LLOG_F_IS_PLAIN, NULL);
 822         if (rc)
 823                 GOTO(out_close, rc);
 824
 825         if (llog_get_size(loghandle) <= 1)
 826                 GOTO(out_close, rc = 0);
 827
 828         OBD_ALLOC_PTR(mc_marker);
 829         if (!mc_marker)
 830                 GOTO(out_close, rc = -ENOMEM);
 831         if (strlcpy(mc_marker->cm_comment, comment,
 832                 sizeof(mc_marker->cm_comment)) >=
 833                 sizeof(mc_marker->cm_comment))
 834                 GOTO(out_free, rc = -E2BIG);
 835         if (strlcpy(mc_marker->cm_tgtname, devname,
 836                 sizeof(mc_marker->cm_tgtname)) >=
 837                 sizeof(mc_marker->cm_tgtname))
 838                 GOTO(out_free, rc = -E2BIG);
 839
 840         rc = llog_process(env, loghandle, mgs_check_record_match,
 841                         (void *)mc_marker, NULL);
 842
 843 out_free:
 844         OBD_FREE_PTR(mc_marker);
 845
 846 out_close:
 847         llog_close(env, loghandle);
 848 out_pop:
 849         if (rc && rc != LLOG_PROC_BREAK)
 850                 CDEBUG(D_ERROR, "%s: mgs check %s/%s failed: rc = %d\n",
 851                         mgs->mgs_obd->obd_name, mti->mti_svname, comment, rc);
 852         llog_ctxt_put(ctxt);
 853         RETURN(rc);
 854 }
 855
 856 static int mgs_modify_handler(const struct lu_env *env,
 857                               struct llog_handle *llh,
 858                               struct llog_rec_hdr *rec, void *data)
 859 {
 860         struct mgs_modify_lookup *mml = data;
 861         struct cfg_marker *marker;
 862         struct lustre_cfg *lcfg = REC_DATA(rec);
 863         int cfg_len = REC_DATA_LEN(rec);
 864         int rc;
 865         ENTRY;
 866
 867         if (rec->lrh_type != OBD_CFG_REC) {
 868                 CERROR("unhandled lrh_type: %#x\n", rec->lrh_type);
 869                 RETURN(-EINVAL);
 870         }
 871
 872         rc = lustre_cfg_sanity_check(lcfg, cfg_len);
 873         if (rc) {
 874                 CERROR("Insane cfg\n");
 875                 RETURN(rc);
 876         }
 877
 878         /* We only care about markers */
 879         if (lcfg->lcfg_command != LCFG_MARKER)
 880                 RETURN(0);
 881
 882         marker = lustre_cfg_buf(lcfg, 1);
 883         if ((strcmp(mml->mml_marker.cm_comment, marker->cm_comment) == 0) &&
 884             (strcmp(mml->mml_marker.cm_tgtname, marker->cm_tgtname) == 0) &&
 885             !(marker->cm_flags & CM_SKIP)) {
 886                 /* Found a non-skipped marker match */
 887                 CDEBUG(D_MGS, "Changing rec %u marker %d %x->%x: %s %s\n",
 888                        rec->lrh_index, marker->cm_step,
 889                        marker->cm_flags, mml->mml_marker.cm_flags,
 890                        marker->cm_tgtname, marker->cm_comment);
 891                 /* Overwrite the old marker llog entry */
 892                 marker->cm_flags &= ~CM_EXCLUDE; /* in case we're unexcluding */
 893                 marker->cm_flags |= mml->mml_marker.cm_flags;
 894                 marker->cm_canceltime = mml->mml_marker.cm_canceltime;
 895                 rc = llog_write(env, llh, rec, rec->lrh_index);
 896                 if (!rc)
 897                          mml->mml_modified++;
 898         }
 899
 900         RETURN(rc);
 901 }
 902
 903 /**
 904  * Modify an existing config log record (for CM_SKIP or CM_EXCLUDE)
 905  * Return code:
 906  * 0 - modified successfully,
 907  * 1 - no modification was done
 908  * negative - error
 909  */
 910 static int mgs_modify(const struct lu_env *env, struct mgs_device *mgs,
 911                       struct fs_db *fsdb, struct mgs_target_info *mti,
 912                       char *logname, char *devname, char *comment, int flags)
 913 {
 914         struct llog_handle *loghandle;
 915         struct llog_ctxt *ctxt;
 916         struct mgs_modify_lookup *mml;
 917         int rc;
 918
 919         ENTRY;
 920
 921         LASSERT(mutex_is_locked(&fsdb->fsdb_mutex));
 922         CDEBUG(D_MGS, "modify %s/%s/%s fl=%x\n", logname, devname, comment,
 923                flags);
 924
 925         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
 926         LASSERT(ctxt != NULL);
 927         rc = llog_open(env, ctxt, &loghandle, NULL, logname, LLOG_OPEN_EXISTS);
 928         if (rc < 0) {
 929                 if (rc == -ENOENT)
 930                         rc = 0;
 931                 GOTO(out_pop, rc);
 932         }
 933
 934         rc = llog_init_handle(env, loghandle, LLOG_F_IS_PLAIN, NULL);
 935         if (rc)
 936                 GOTO(out_close, rc);
 937
 938         if (llog_get_size(loghandle) <= 1)
 939                 GOTO(out_close, rc = 0);
 940
 941         OBD_ALLOC_PTR(mml);
 942         if (!mml)
 943                 GOTO(out_close, rc = -ENOMEM);
 944         if (strlcpy(mml->mml_marker.cm_comment, comment,
 945                     sizeof(mml->mml_marker.cm_comment)) >=
 946             sizeof(mml->mml_marker.cm_comment))
 947                 GOTO(out_free, rc = -E2BIG);
 948         if (strlcpy(mml->mml_marker.cm_tgtname, devname,
 949                     sizeof(mml->mml_marker.cm_tgtname)) >=
 950             sizeof(mml->mml_marker.cm_tgtname))
 951                 GOTO(out_free, rc = -E2BIG);
 952         /* Modify mostly means cancel */
 953         mml->mml_marker.cm_flags = flags;
 954         mml->mml_marker.cm_canceltime = flags ? ktime_get_real_seconds() : 0;
 955         mml->mml_modified = 0;
 956         rc = llog_process(env, loghandle, mgs_modify_handler, (void *)mml,
 957                           NULL);
 958         if (!rc && !mml->mml_modified)
 959                 rc = 1;
 960
 961 out_free:
 962         OBD_FREE_PTR(mml);
 963
 964 out_close:
 965         llog_close(env, loghandle);
 966 out_pop:
 967         if (rc < 0)
 968                 CERROR("%s: modify %s/%s failed: rc = %d\n",
 969                        mgs->mgs_obd->obd_name, mti->mti_svname, comment, rc);
 970         llog_ctxt_put(ctxt);
 971         RETURN(rc);
 972 }
 973
 974 enum replace_state {
 975         REPLACE_COPY = 0,
 976         REPLACE_SKIP,
 977         REPLACE_DONE,
 978         REPLACE_UUID,
 979         REPLACE_SETUP
 980 };
 981
 982 /** This structure is passed to mgs_replace_handler */
 983 struct mgs_replace_data {
 984         /* Nids are replaced for this target device */
 985         struct mgs_target_info target;
 986         /* Temporary modified llog */
 987         struct llog_handle *temp_llh;
 988         enum replace_state state;
 989         char *failover;
 990         char *nodeuuid;
 991 };
 992
 993 /**
 994  * Check: a) if block should be skipped
 995  * b) is it target block
 996  *
 997  * \param[in] lcfg
 998  * \param[in] mrd
 999  *
1000  * \retval 0 should not to be skipped
1001  * \retval 1 should to be skipped
1002  */
1003 static int check_markers(struct lustre_cfg *lcfg,
1004                          struct mgs_replace_data *mrd)
1005 {
1006          struct cfg_marker *marker;
1007
1008         /* Track markers. Find given device */
1009         if (lcfg->lcfg_command == LCFG_MARKER) {
1010                 marker = lustre_cfg_buf(lcfg, 1);
1011                 /* Clean llog from records marked as CM_SKIP.
1012                    CM_EXCLUDE records are used for "active" command
1013                    and can be restored if needed */
1014                 if ((marker->cm_flags & (CM_SKIP | CM_START)) ==
1015                     (CM_SKIP | CM_START)) {
1016                         mrd->state = REPLACE_SKIP;
1017                         return 1;
1018                 }
1019
1020                 if ((marker->cm_flags & (CM_SKIP | CM_END)) ==
1021                     (CM_SKIP | CM_END)) {
1022                         mrd->state = REPLACE_COPY;
1023                         return 1;
1024                 }
1025
1026                 if (strcmp(mrd->target.mti_svname, marker->cm_tgtname) == 0) {
1027                         LASSERT(!(marker->cm_flags & CM_START) ||
1028                                 !(marker->cm_flags & CM_END));
1029                         if (marker->cm_flags & CM_START) {
1030                                 mrd->state = REPLACE_UUID;
1031                                 mrd->failover = NULL;
1032                         } else if (marker->cm_flags & CM_END)
1033                                 mrd->state = REPLACE_COPY;
1034                 }
1035         }
1036
1037         return 0;
1038 }
1039
1040 static int record_base(const struct lu_env *env, struct llog_handle *llh,
1041                      char *cfgname, lnet_nid_t nid, int cmd,
1042                      char *s1, char *s2, char *s3, char *s4)
1043 {
1044         struct mgs_thread_info  *mgi = mgs_env_info(env);
1045         struct llog_cfg_rec     *lcr;
1046         int rc;
1047
1048         CDEBUG(D_MGS, "lcfg %s %#x %s %s %s %s\n", cfgname,
1049                cmd, s1, s2, s3, s4);
1050
1051         lustre_cfg_bufs_reset(&mgi->mgi_bufs, cfgname);
1052         if (s1)
1053                 lustre_cfg_bufs_set_string(&mgi->mgi_bufs, 1, s1);
1054         if (s2)
1055                 lustre_cfg_bufs_set_string(&mgi->mgi_bufs, 2, s2);
1056         if (s3)
1057                 lustre_cfg_bufs_set_string(&mgi->mgi_bufs, 3, s3);
1058         if (s4)
1059                 lustre_cfg_bufs_set_string(&mgi->mgi_bufs, 4, s4);
1060
1061         lcr = lustre_cfg_rec_new(cmd, &mgi->mgi_bufs);
1062         if (lcr == NULL)
1063                 return -ENOMEM;
1064
1065         lcr->lcr_cfg.lcfg_nid = nid;
1066         rc = llog_write(env, llh, &lcr->lcr_hdr, LLOG_NEXT_IDX);
1067
1068         lustre_cfg_rec_free(lcr);
1069
1070         if (rc < 0)
1071                 CDEBUG(D_MGS,
1072                        "failed to write lcfg %s %#x %s %s %s %s: rc = %d\n",
1073                        cfgname, cmd, s1, s2, s3, s4, rc);
1074         return rc;
1075 }
1076
1077 static inline int record_add_uuid(const struct lu_env *env,
1078                                   struct llog_handle *llh,
1079                                   uint64_t nid, char *uuid)
1080 {
1081         return record_base(env, llh, NULL, nid, LCFG_ADD_UUID, uuid,
1082                            NULL, NULL, NULL);
1083 }
1084
1085 static inline int record_add_conn(const struct lu_env *env,
1086                                   struct llog_handle *llh,
1087                                   char *devname, char *uuid)
1088 {
1089         return record_base(env, llh, devname, 0, LCFG_ADD_CONN, uuid,
1090                            NULL, NULL, NULL);
1091 }
1092
1093 static inline int record_attach(const struct lu_env *env,
1094                                 struct llog_handle *llh, char *devname,
1095                                 char *type, char *uuid)
1096 {
1097         return record_base(env, llh, devname, 0, LCFG_ATTACH, type, uuid,
1098                            NULL, NULL);
1099 }
1100
1101 static inline int record_setup(const struct lu_env *env,
1102                                struct llog_handle *llh, char *devname,
1103                                char *s1, char *s2, char *s3, char *s4)
1104 {
1105         return record_base(env, llh, devname, 0, LCFG_SETUP, s1, s2, s3, s4);
1106 }
1107
1108 /**
1109  * \retval <0 record processing error
1110  * \retval n record is processed. No need copy original one.
1111  * \retval 0 record is not processed.
1112  */
1113 static int process_command(const struct lu_env *env, struct lustre_cfg *lcfg,
1114                            struct mgs_replace_data *mrd)
1115 {
1116         int nids_added = 0;
1117         lnet_nid_t nid;
1118         char *ptr;
1119         int rc = 0;
1120
1121         if (mrd->state == REPLACE_UUID &&
1122             lcfg->lcfg_command == LCFG_ADD_UUID) {
1123                 /* LCFG_ADD_UUID command found. Let's skip original command
1124                    and add passed nids */
1125                 ptr = mrd->target.mti_params;
1126                 while (class_parse_nid(ptr, &nid, &ptr) == 0) {
1127                         if (!mrd->nodeuuid) {
1128                                 rc = name_create(&mrd->nodeuuid,
1129                                                  libcfs_nid2str(nid), "");
1130                                 if (rc) {
1131                                         CERROR("Can't create uuid for "
1132                                                 "nid  %s, device %s\n",
1133                                                 libcfs_nid2str(nid),
1134                                                 mrd->target.mti_svname);
1135                                         return rc;
1136                                 }
1137                         }
1138                         CDEBUG(D_MGS, "add nid %s with uuid %s, "
1139                                "device %s\n", libcfs_nid2str(nid),
1140                                 mrd->target.mti_params,
1141                                 mrd->nodeuuid);
1142                         rc = record_add_uuid(env,
1143                                              mrd->temp_llh, nid,
1144                                              mrd->nodeuuid);
1145                         if (!rc)
1146                                 nids_added++;
1147
1148                         if (*ptr == ':') {
1149                                 mrd->failover = ptr;
1150                                 break;
1151                         }
1152                 }
1153
1154                 if (nids_added == 0) {
1155                         CERROR("No new nids were added, nid %s with uuid %s, "
1156                                "device %s\n", libcfs_nid2str(nid),
1157                                mrd->nodeuuid ? mrd->nodeuuid : "NULL",
1158                                mrd->target.mti_svname);
1159                         name_destroy(&mrd->nodeuuid);
1160                         return -ENXIO;
1161                 } else {
1162                         mrd->state = REPLACE_SETUP;
1163                 }
1164
1165                 return nids_added;
1166         }
1167
1168         if (mrd->state == REPLACE_SETUP && lcfg->lcfg_command == LCFG_SETUP) {
1169                 /* LCFG_SETUP command found. UUID should be changed */
1170                 rc = record_setup(env,
1171                                   mrd->temp_llh,
1172                                   /* devname the same */
1173                                   lustre_cfg_string(lcfg, 0),
1174                                   /* s1 is not changed */
1175                                   lustre_cfg_string(lcfg, 1),
1176                                   mrd->nodeuuid,
1177                                   /* s3 is not changed */
1178                                   lustre_cfg_string(lcfg, 3),
1179                                   /* s4 is not changed */
1180                                   lustre_cfg_string(lcfg, 4));
1181
1182                 name_destroy(&mrd->nodeuuid);
1183                 if (rc)
1184                         return rc;
1185
1186                 if (mrd->failover) {
1187                         ptr = mrd->failover;
1188                         while (class_parse_nid(ptr, &nid, &ptr) == 0) {
1189                                 if (mrd->nodeuuid == NULL) {
1190                                         rc =  name_create(&mrd->nodeuuid,
1191                                                           libcfs_nid2str(nid),
1192                                                           "");
1193                                         if (rc)
1194                                                 return rc;
1195                                 }
1196
1197                                 CDEBUG(D_MGS, "add nid %s for failover %s\n",
1198                                        libcfs_nid2str(nid), mrd->nodeuuid);
1199                                 rc = record_add_uuid(env, mrd->temp_llh, nid,
1200                                                      mrd->nodeuuid);
1201                                 if (rc) {
1202                                         name_destroy(&mrd->nodeuuid);
1203                                         return rc;
1204                                 }
1205                                 if (*ptr == ':') {
1206                                         rc = record_add_conn(env,
1207                                                 mrd->temp_llh,
1208                                                 lustre_cfg_string(lcfg, 0),
1209                                                 mrd->nodeuuid);
1210                                         name_destroy(&mrd->nodeuuid);
1211                                         if (rc)
1212                                                 return rc;
1213                                 }
1214                         }
1215                         if (mrd->nodeuuid) {
1216                                 rc = record_add_conn(env, mrd->temp_llh,
1217                                                      lustre_cfg_string(lcfg, 0),
1218                                                      mrd->nodeuuid);
1219                                 name_destroy(&mrd->nodeuuid);
1220                                 if (rc)
1221                                         return rc;
1222                         }
1223                 }
1224                 mrd->state = REPLACE_DONE;
1225                 return rc ? rc : 1;
1226         }
1227
1228         /* Another commands in target device block */
1229         return 0;
1230 }
1231
1232 /**
1233  * Handler that called for every record in llog.
1234  * Records are processed in order they placed in llog.
1235  *
1236  * \param[in] llh       log to be processed
1237  * \param[in] rec       current record
1238  * \param[in] data      mgs_replace_data structure
1239  *
1240  * \retval 0    success
1241  */
1242 static int mgs_replace_nids_handler(const struct lu_env *env,
1243                                     struct llog_handle *llh,
1244                                     struct llog_rec_hdr *rec,
1245                                     void *data)
1246 {
1247         struct mgs_replace_data *mrd;
1248         struct lustre_cfg *lcfg = REC_DATA(rec);
1249         int cfg_len = REC_DATA_LEN(rec);
1250         int rc;
1251         ENTRY;
1252
1253         mrd = (struct mgs_replace_data *)data;
1254
1255         if (rec->lrh_type != OBD_CFG_REC) {
1256                 CERROR("unhandled lrh_type: %#x, cmd %x %s %s\n",
1257                        rec->lrh_type, lcfg->lcfg_command,
1258                        lustre_cfg_string(lcfg, 0),
1259                        lustre_cfg_string(lcfg, 1));
1260                 RETURN(-EINVAL);
1261         }
1262
1263         rc = lustre_cfg_sanity_check(lcfg, cfg_len);
1264         if (rc) {
1265                 /* Do not copy any invalidated records */
1266                 GOTO(skip_out, rc = 0);
1267         }
1268
1269         rc = check_markers(lcfg, mrd);
1270         if (rc || mrd->state == REPLACE_SKIP)
1271                 GOTO(skip_out, rc = 0);
1272
1273         /* Write to new log all commands outside target device block */
1274         if (mrd->state == REPLACE_COPY)
1275                 GOTO(copy_out, rc = 0);
1276
1277         if (mrd->state == REPLACE_DONE &&
1278             (lcfg->lcfg_command == LCFG_ADD_UUID ||
1279              lcfg->lcfg_command == LCFG_ADD_CONN)) {
1280                 if (!mrd->failover)
1281                         CWARN("Previous failover is deleted, but new one is "
1282                               "not set. This means you configure system "
1283                               "without failover or passed wrong replace_nids "
1284                               "command parameters. Device %s, passed nids %s\n",
1285                               mrd->target.mti_svname, mrd->target.mti_params);
1286                 GOTO(skip_out, rc = 0);
1287         }
1288
1289         rc = process_command(env, lcfg, mrd);
1290         if (rc < 0)
1291                 RETURN(rc);
1292
1293         if (rc)
1294                 RETURN(0);
1295 copy_out:
1296         /* Record is placed in temporary llog as is */
1297         rc = llog_write(env, mrd->temp_llh, rec, LLOG_NEXT_IDX);
1298
1299         CDEBUG(D_MGS, "Copied idx=%d, rc=%d, len=%d, cmd %x %s %s\n",
1300                rec->lrh_index, rc, rec->lrh_len, lcfg->lcfg_command,
1301                lustre_cfg_string(lcfg, 0), lustre_cfg_string(lcfg, 1));
1302         RETURN(rc);
1303
1304 skip_out:
1305         CDEBUG(D_MGS, "Skipped idx=%d, rc=%d, len=%d, cmd %x %s %s\n",
1306                rec->lrh_index, rc, rec->lrh_len, lcfg->lcfg_command,
1307                lustre_cfg_string(lcfg, 0), lustre_cfg_string(lcfg, 1));
1308         RETURN(rc);
1309 }
1310
1311 static int mgs_log_is_empty(const struct lu_env *env,
1312                             struct mgs_device *mgs, char *name)
1313 {
1314         struct llog_ctxt        *ctxt;
1315         int                      rc;
1316
1317         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
1318         LASSERT(ctxt != NULL);
1319
1320         rc = llog_is_empty(env, ctxt, name);
1321         llog_ctxt_put(ctxt);
1322         return rc;
1323 }
1324
1325 static int mgs_replace_log(const struct lu_env *env,
1326                            struct obd_device *mgs,
1327                            char *logname, char *devname,
1328                            llog_cb_t replace_handler, void *data)
1329 {
1330         struct llog_handle *orig_llh, *backup_llh;
1331         struct llog_ctxt *ctxt;
1332         struct mgs_replace_data *mrd;
1333         struct mgs_device *mgs_dev = lu2mgs_dev(mgs->obd_lu_dev);
1334         static struct obd_uuid   cfg_uuid = { .uuid = "config_uuid" };
1335         char *backup;
1336         int rc, rc2, buf_size;
1337         time64_t now;
1338         ENTRY;
1339
1340         ctxt = llog_get_context(mgs, LLOG_CONFIG_ORIG_CTXT);
1341         LASSERT(ctxt != NULL);
1342
1343         if (mgs_log_is_empty(env, mgs_dev, logname)) {
1344                 /* Log is empty. Nothing to replace */
1345                 GOTO(out_put, rc = 0);
1346         }
1347
1348         now = ktime_get_real_seconds();
1349
1350         /* max time64_t in decimal fits into 20 bytes long string */
1351         buf_size = strlen(logname) + 1 + 20 + 1 + strlen(".bak") + 1;
1352         OBD_ALLOC(backup, buf_size);
1353         if (backup == NULL)
1354                 GOTO(out_put, rc = -ENOMEM);
1355
1356         snprintf(backup, buf_size, "%s.%llu.bak", logname, now);
1357
1358         rc = llog_backup(env, mgs, ctxt, ctxt, logname, backup);
1359         if (rc == 0) {
1360                 /* Now erase original log file. Connections are not allowed.
1361                    Backup is already saved */
1362                 rc = llog_erase(env, ctxt, NULL, logname);
1363                 if (rc < 0)
1364                         GOTO(out_free, rc);
1365         } else if (rc != -ENOENT) {
1366                 CERROR("%s: can't make backup for %s: rc = %d\n",
1367                        mgs->obd_name, logname, rc);
1368                 GOTO(out_free,rc);
1369         }
1370
1371         /* open local log */
1372         rc = llog_open_create(env, ctxt, &orig_llh, NULL, logname);
1373         if (rc)
1374                 GOTO(out_restore, rc);
1375
1376         rc = llog_init_handle(env, orig_llh, LLOG_F_IS_PLAIN, &cfg_uuid);
1377         if (rc)
1378                 GOTO(out_closel, rc);
1379
1380         /* open backup llog */
1381         rc = llog_open(env, ctxt, &backup_llh, NULL, backup,
1382                        LLOG_OPEN_EXISTS);
1383         if (rc)
1384                 GOTO(out_closel, rc);
1385
1386         rc = llog_init_handle(env, backup_llh, LLOG_F_IS_PLAIN, NULL);
1387         if (rc)
1388                 GOTO(out_close, rc);
1389
1390         if (llog_get_size(backup_llh) <= 1)
1391                 GOTO(out_close, rc = 0);
1392
1393         OBD_ALLOC_PTR(mrd);
1394         if (!mrd)
1395                 GOTO(out_close, rc = -ENOMEM);
1396         /* devname is only needed information to replace UUID records */
1397         if (devname)
1398                 strlcpy(mrd->target.mti_svname, devname,
1399                         sizeof(mrd->target.mti_svname));
1400         /* data is parsed in llog callback */
1401         if (data)
1402                 strlcpy(mrd->target.mti_params, data,
1403                         sizeof(mrd->target.mti_params));
1404         /* Copy records to this temporary llog */
1405         mrd->temp_llh = orig_llh;
1406
1407         rc = llog_process(env, backup_llh, replace_handler,
1408                           (void *)mrd, NULL);
1409         OBD_FREE_PTR(mrd);
1410 out_close:
1411         rc2 = llog_close(NULL, backup_llh);
1412         if (!rc)
1413                 rc = rc2;
1414 out_closel:
1415         rc2 = llog_close(NULL, orig_llh);
1416         if (!rc)
1417                 rc = rc2;
1418
1419 out_restore:
1420         if (rc) {
1421                 CERROR("%s: llog should be restored: rc = %d\n",
1422                        mgs->obd_name, rc);
1423                 rc2 = llog_backup(env, mgs, ctxt, ctxt, backup,
1424                                   logname);
1425                 if (rc2 < 0)
1426                         CERROR("%s: can't restore backup %s: rc = %d\n",
1427                                mgs->obd_name, logname, rc2);
1428         }
1429
1430 out_free:
1431         OBD_FREE(backup, buf_size);
1432
1433 out_put:
1434         llog_ctxt_put(ctxt);
1435
1436         if (rc)
1437                 CERROR("%s: failed to replace log %s: rc = %d\n",
1438                        mgs->obd_name, logname, rc);
1439
1440         RETURN(rc);
1441 }
1442
1443 static int mgs_replace_nids_log(const struct lu_env *env,
1444                                 struct obd_device *obd,
1445                                 char *logname, char *devname, char *nids)
1446 {
1447         CDEBUG(D_MGS, "Replace NIDs for %s in %s\n", devname, logname);
1448         return mgs_replace_log(env, obd, logname, devname,
1449                                mgs_replace_nids_handler, nids);
1450 }
1451
1452 /**
1453  * Parse device name and get file system name and/or device index
1454  *
1455  * @devname     device name (ex. lustre-MDT0000)
1456  * @fsname      file system name extracted from @devname and returned
1457  *              to the caller (optional)
1458  * @index       device index extracted from @devname and returned to
1459  *              the caller (optional)
1460  *
1461  * RETURN       0                       success if we are only interested in
1462  *                                      extracting fsname from devname.
1463  *                                      i.e index is NULL
1464  *
1465  *              LDD_F_SV_TYPE_*         Besides extracting the fsname the
1466  *                                      user also wants the index. Report to
1467  *                                      the user the type of obd device the
1468  *                                      returned index belongs too.
1469  *
1470  *              -EINVAL                 The obd device name is improper so
1471  *                                      fsname could not be extracted.
1472  *
1473  *              -ENXIO                  Failed to extract the index out of
1474  *                                      the obd device name. Most likely an
1475  *                                      invalid obd device name
1476  */
1477 static int mgs_parse_devname(char *devname, char *fsname, u32 *index)
1478 {
1479         int rc = 0;
1480         ENTRY;
1481
1482         /* Extract fsname */
1483         if (fsname) {
1484                 rc = server_name2fsname(devname, fsname, NULL);
1485                 if (rc < 0) {
1486                         CDEBUG(D_MGS, "Device name %s without fsname\n",
1487                                devname);
1488                         RETURN(-EINVAL);
1489                 }
1490         }
1491
1492         if (index) {
1493                 rc = server_name2index(devname, index, NULL);
1494                 if (rc < 0) {
1495                         CDEBUG(D_MGS, "Device name %s with wrong index\n",
1496                                devname);
1497                         RETURN(-ENXIO);
1498                 }
1499         }
1500
1501         /* server_name2index can return LDD_F_SV_TYPE_* so always return rc */
1502         RETURN(rc);
1503 }
1504
1505 /* This is only called during replace_nids */
1506 static int only_mgs_is_running(struct obd_device *mgs_obd)
1507 {
1508         /* TDB: Is global variable with devices count exists? */
1509         int num_devices = get_devices_count();
1510         int num_exports = 0;
1511         struct obd_export *exp;
1512
1513         spin_lock(&mgs_obd->obd_dev_lock);
1514         list_for_each_entry(exp, &mgs_obd->obd_exports, exp_obd_chain) {
1515                 /* skip self export */
1516                 if (exp == mgs_obd->obd_self_export)
1517                         continue;
1518                 if (exp_connect_flags(exp) & OBD_CONNECT_MDS_MDS)
1519                         continue;
1520
1521                 ++num_exports;
1522
1523                 CERROR("%s: node %s still connected during replace_nids "
1524                        "connect_flags:%llx\n",
1525                        mgs_obd->obd_name,
1526                        libcfs_nid2str(exp->exp_nid_stats->nid),
1527                        exp_connect_flags(exp));
1528
1529         }
1530         spin_unlock(&mgs_obd->obd_dev_lock);
1531
1532         /* osd, MGS and MGC + self_export
1533            (wc -l /proc/fs/lustre/devices <= 2) && (non self exports == 0) */
1534         return (num_devices <= 3) && (num_exports == 0);
1535 }
1536
1537 static int name_create_mdt(char **logname, char *fsname, int mdt_idx)
1538 {
1539         char postfix[9];
1540
1541         if (mdt_idx > INDEX_MAP_MAX_VALUE)
1542                 return -E2BIG;
1543
1544         snprintf(postfix, sizeof(postfix), "-MDT%04x", mdt_idx);
1545         return name_create(logname, fsname, postfix);
1546 }
1547
1548 /**
1549  * Replace nids for \a device to \a nids values
1550  *
1551  * \param obd           MGS obd device
1552  * \param devname       nids need to be replaced for this device
1553  * (ex. lustre-OST0000)
1554  * \param nids          nids list (ex. nid1,nid2,nid3)
1555  *
1556  * \retval 0    success
1557  */
1558 int mgs_replace_nids(const struct lu_env *env,
1559                      struct mgs_device *mgs,
1560                      char *devname, char *nids)
1561 {
1562         /* Assume fsname is part of device name */
1563         char fsname[MTI_NAME_MAXLEN];
1564         int rc;
1565         __u32 index;
1566         char *logname;
1567         struct fs_db *fsdb = NULL;
1568         unsigned int i;
1569         int conn_state;
1570         struct obd_device *mgs_obd = mgs->mgs_obd;
1571         ENTRY;
1572
1573         /* We can only change NIDs if no other nodes are connected */
1574         spin_lock(&mgs_obd->obd_dev_lock);
1575         conn_state = mgs_obd->obd_no_conn;
1576         mgs_obd->obd_no_conn = 1;
1577         spin_unlock(&mgs_obd->obd_dev_lock);
1578
1579         /* We can not change nids if not only MGS is started */
1580         if (!only_mgs_is_running(mgs_obd)) {
1581                 CERROR("Only MGS is allowed to be started\n");
1582                 GOTO(out, rc = -EINPROGRESS);
1583         }
1584
1585         /* Get fsname and index */
1586         rc = mgs_parse_devname(devname, fsname, &index);
1587         if (rc < 0)
1588                 GOTO(out, rc);
1589
1590         rc = mgs_find_or_make_fsdb(env, mgs, fsname, &fsdb);
1591         if (rc) {
1592                 CERROR("%s: can't find fsdb: rc = %d\n", fsname, rc);
1593                 GOTO(out, rc);
1594         }
1595
1596         /* Process client llogs */
1597         rc = name_create(&logname, fsname, "-client");
1598         if (rc)
1599                 GOTO(out, rc);
1600         rc = mgs_replace_nids_log(env, mgs_obd, logname, devname, nids);
1601         name_destroy(&logname);
1602         if (rc) {
1603                 CERROR("%s: error while replacing NIDs for %s: rc = %d\n",
1604                        fsname, devname, rc);
1605                 GOTO(out, rc);
1606         }
1607
1608         /* Process MDT llogs */
1609         for (i = 0; i < INDEX_MAP_SIZE * 8; i++) {
1610                 if (!test_bit(i, fsdb->fsdb_mdt_index_map))
1611                         continue;
1612                 rc = name_create_mdt(&logname, fsname, i);
1613                 if (rc)
1614                         GOTO(out, rc);
1615                 rc = mgs_replace_nids_log(env, mgs_obd, logname, devname, nids);
1616                 name_destroy(&logname);
1617                 if (rc)
1618                         GOTO(out, rc);
1619         }
1620
1621 out:
1622         spin_lock(&mgs_obd->obd_dev_lock);
1623         mgs_obd->obd_no_conn = conn_state;
1624         spin_unlock(&mgs_obd->obd_dev_lock);
1625
1626         if (fsdb)
1627                 mgs_put_fsdb(mgs, fsdb);
1628
1629         RETURN(rc);
1630 }
1631
1632 /**
1633  * This is called for every record in llog. Some of records are
1634  * skipped, others are copied to new log as is.
1635  * Records to be skipped are
1636  *  marker records marked SKIP
1637  *  records enclosed between SKIP markers
1638  *
1639  * \param[in] llh       log to be processed
1640  * \param[in] rec       current record
1641  * \param[in] data      mgs_replace_data structure
1642  *
1643  * \retval 0    success
1644  **/
1645 static int mgs_clear_config_handler(const struct lu_env *env,
1646                                     struct llog_handle *llh,
1647                                     struct llog_rec_hdr *rec, void *data)
1648 {
1649         struct mgs_replace_data *mrd;
1650         struct lustre_cfg *lcfg = REC_DATA(rec);
1651         int cfg_len = REC_DATA_LEN(rec);
1652         int rc;
1653
1654         ENTRY;
1655
1656         mrd = (struct mgs_replace_data *)data;
1657
1658         if (rec->lrh_type != OBD_CFG_REC) {
1659                 CDEBUG(D_MGS, "Config llog Name=%s, Record Index=%u, "
1660                        "Unhandled Record Type=%#x\n", llh->lgh_name,
1661                        rec->lrh_index, rec->lrh_type);
1662                 RETURN(-EINVAL);
1663         }
1664
1665         rc = lustre_cfg_sanity_check(lcfg, cfg_len);
1666         if (rc) {
1667                 CDEBUG(D_MGS, "Config llog Name=%s, Invalid config file.",
1668                        llh->lgh_name);
1669                 RETURN(-EINVAL);
1670         }
1671
1672         if (lcfg->lcfg_command == LCFG_MARKER) {
1673                 struct cfg_marker *marker;
1674
1675                 marker = lustre_cfg_buf(lcfg, 1);
1676                 if (marker->cm_flags & CM_SKIP) {
1677                         if (marker->cm_flags & CM_START)
1678                                 mrd->state = REPLACE_SKIP;
1679                         if (marker->cm_flags & CM_END)
1680                                 mrd->state = REPLACE_COPY;
1681                         /* SKIP section started or finished */
1682                         CDEBUG(D_MGS, "Skip idx=%d, rc=%d, len=%d, "
1683                                "cmd %x %s %s\n", rec->lrh_index, rc,
1684                                rec->lrh_len, lcfg->lcfg_command,
1685                                lustre_cfg_string(lcfg, 0),
1686                                lustre_cfg_string(lcfg, 1));
1687                         RETURN(0);
1688                 }
1689         } else {
1690                 if (mrd->state == REPLACE_SKIP) {
1691                         /* record enclosed between SKIP markers, skip it */
1692                         CDEBUG(D_MGS, "Skip idx=%d, rc=%d, len=%d, "
1693                                "cmd %x %s %s\n", rec->lrh_index, rc,
1694                                rec->lrh_len, lcfg->lcfg_command,
1695                                lustre_cfg_string(lcfg, 0),
1696                                lustre_cfg_string(lcfg, 1));
1697                         RETURN(0);
1698                 }
1699         }
1700
1701         /* Record is placed in temporary llog as is */
1702         rc = llog_write(env, mrd->temp_llh, rec, LLOG_NEXT_IDX);
1703
1704         CDEBUG(D_MGS, "Copied idx=%d, rc=%d, len=%d, cmd %x %s %s\n",
1705                rec->lrh_index, rc, rec->lrh_len, lcfg->lcfg_command,
1706                lustre_cfg_string(lcfg, 0), lustre_cfg_string(lcfg, 1));
1707         RETURN(rc);
1708 }
1709
1710 /*
1711  * Directory CONFIGS/ may contain files which are not config logs to
1712  * be cleared. Skip any llogs with a non-alphanumeric character after
1713  * the last '-'. For example, fsname-MDT0000.sav, fsname-MDT0000.bak,
1714  * fsname-MDT0000.orig, fsname-MDT0000~, fsname-MDT0000.20150516, etc.
1715  */
1716 static bool config_to_clear(const char *logname)
1717 {
1718         int i;
1719         char *str;
1720
1721         str = strrchr(logname, '-');
1722         if (!str)
1723                 return 0;
1724
1725         i = 0;
1726         while (isalnum(str[++i]));
1727         return str[i] == '\0';
1728 }
1729
1730 /**
1731  * Clear config logs for \a name
1732  *
1733  * \param env
1734  * \param mgs           MGS device
1735  * \param name          name of device or of filesystem
1736  *                      (ex. lustre-OST0000 or lustre) in later case all logs
1737  *                      will be cleared
1738  *
1739  * \retval 0            success
1740  */
1741 int mgs_clear_configs(const struct lu_env *env,
1742                      struct mgs_device *mgs, const char *name)
1743 {
1744         struct list_head dentry_list;
1745         struct mgs_direntry *dirent, *n;
1746         char *namedash;
1747         int conn_state;
1748         struct obd_device *mgs_obd = mgs->mgs_obd;
1749         int rc;
1750
1751         ENTRY;
1752
1753         /* Prevent clients and servers from connecting to mgs */
1754         spin_lock(&mgs_obd->obd_dev_lock);
1755         conn_state = mgs_obd->obd_no_conn;
1756         mgs_obd->obd_no_conn = 1;
1757         spin_unlock(&mgs_obd->obd_dev_lock);
1758
1759         /*
1760          * config logs cannot be cleaned if anything other than
1761          * MGS is started
1762          */
1763         if (!only_mgs_is_running(mgs_obd)) {
1764                 CERROR("Only MGS is allowed to be started\n");
1765                 GOTO(out, rc = -EBUSY);
1766         }
1767
1768         /* Find all the logs in the CONFIGS directory */
1769         rc = class_dentry_readdir(env, mgs, &dentry_list);
1770         if (rc) {
1771                 CERROR("%s: cannot read config directory '%s': rc = %d\n",
1772                        mgs_obd->obd_name, MOUNT_CONFIGS_DIR, rc);
1773                 GOTO(out, rc);
1774         }
1775
1776         if (list_empty(&dentry_list)) {
1777                 CERROR("%s: list empty reading config dir '%s': rc = %d\n",
1778                         mgs_obd->obd_name, MOUNT_CONFIGS_DIR, -ENOENT);
1779                 GOTO(out, rc = -ENOENT);
1780         }
1781
1782         OBD_ALLOC(namedash, strlen(name) + 2);
1783         if (namedash == NULL)
1784                 GOTO(out, rc = -ENOMEM);
1785         snprintf(namedash, strlen(name) + 2, "%s-", name);
1786
1787         list_for_each_entry(dirent, &dentry_list, mde_list) {
1788                 if (strcmp(name, dirent->mde_name) &&
1789                     strncmp(namedash, dirent->mde_name, strlen(namedash)))
1790                         continue;
1791                 if (!config_to_clear(dirent->mde_name))
1792                         continue;
1793                 CDEBUG(D_MGS, "%s: Clear config log %s\n",
1794                        mgs_obd->obd_name, dirent->mde_name);
1795                 rc = mgs_replace_log(env, mgs_obd, dirent->mde_name, NULL,
1796                                      mgs_clear_config_handler, NULL);
1797                 if (rc)
1798                         break;
1799         }
1800
1801         list_for_each_entry_safe(dirent, n, &dentry_list, mde_list) {
1802                 list_del_init(&dirent->mde_list);
1803                 mgs_direntry_free(dirent);
1804         }
1805         OBD_FREE(namedash, strlen(name) + 2);
1806 out:
1807         spin_lock(&mgs_obd->obd_dev_lock);
1808         mgs_obd->obd_no_conn = conn_state;
1809         spin_unlock(&mgs_obd->obd_dev_lock);
1810
1811         RETURN(rc);
1812 }
1813
1814 static int record_lov_setup(const struct lu_env *env, struct llog_handle *llh,
1815                             char *devname, struct lov_desc *desc)
1816 {
1817         struct mgs_thread_info  *mgi = mgs_env_info(env);
1818         struct llog_cfg_rec     *lcr;
1819         int rc;
1820
1821         lustre_cfg_bufs_reset(&mgi->mgi_bufs, devname);
1822         lustre_cfg_bufs_set(&mgi->mgi_bufs, 1, desc, sizeof(*desc));
1823         lcr = lustre_cfg_rec_new(LCFG_SETUP, &mgi->mgi_bufs);
1824         if (lcr == NULL)
1825                 return -ENOMEM;
1826
1827         rc = llog_write(env, llh, &lcr->lcr_hdr, LLOG_NEXT_IDX);
1828         lustre_cfg_rec_free(lcr);
1829         return rc;
1830 }
1831
1832 static int record_lmv_setup(const struct lu_env *env, struct llog_handle *llh,
1833                             char *devname, struct lmv_desc *desc)
1834 {
1835         struct mgs_thread_info  *mgi = mgs_env_info(env);
1836         struct llog_cfg_rec     *lcr;
1837         int rc;
1838
1839         lustre_cfg_bufs_reset(&mgi->mgi_bufs, devname);
1840         lustre_cfg_bufs_set(&mgi->mgi_bufs, 1, desc, sizeof(*desc));
1841         lcr = lustre_cfg_rec_new(LCFG_SETUP, &mgi->mgi_bufs);
1842         if (lcr == NULL)
1843                 return -ENOMEM;
1844
1845         rc = llog_write(env, llh, &lcr->lcr_hdr, LLOG_NEXT_IDX);
1846         lustre_cfg_rec_free(lcr);
1847         return rc;
1848 }
1849
1850 static inline int record_mdc_add(const struct lu_env *env,
1851                                  struct llog_handle *llh,
1852                                  char *logname, char *mdcuuid,
1853                                  char *mdtuuid, char *index,
1854                                  char *gen)
1855 {
1856         return record_base(env,llh,logname,0,LCFG_ADD_MDC,
1857                            mdtuuid,index,gen,mdcuuid);
1858 }
1859
1860 static inline int record_lov_add(const struct lu_env *env,
1861                                  struct llog_handle *llh,
1862                                  char *lov_name, char *ost_uuid,
1863                                  char *index, char *gen)
1864 {
1865         return record_base(env, llh, lov_name, 0, LCFG_LOV_ADD_OBD,
1866                            ost_uuid, index, gen, NULL);
1867 }
1868
1869 static inline int record_mount_opt(const struct lu_env *env,
1870                                    struct llog_handle *llh,
1871                                    char *profile, char *lov_name,
1872                                    char *mdc_name)
1873 {
1874         return record_base(env, llh, NULL, 0, LCFG_MOUNTOPT,
1875                            profile, lov_name, mdc_name, NULL);
1876 }
1877
1878 static int record_marker(const struct lu_env *env,
1879                          struct llog_handle *llh,
1880                          struct fs_db *fsdb, __u32 flags,
1881                          char *tgtname, char *comment)
1882 {
1883         struct mgs_thread_info *mgi = mgs_env_info(env);
1884         struct llog_cfg_rec *lcr;
1885         int rc;
1886         int cplen = 0;
1887
1888         if (flags & CM_START)
1889                 fsdb->fsdb_gen++;
1890         mgi->mgi_marker.cm_step = fsdb->fsdb_gen;
1891         mgi->mgi_marker.cm_flags = flags;
1892         mgi->mgi_marker.cm_vers = LUSTRE_VERSION_CODE;
1893         cplen = strlcpy(mgi->mgi_marker.cm_tgtname, tgtname,
1894                         sizeof(mgi->mgi_marker.cm_tgtname));
1895         if (cplen >= sizeof(mgi->mgi_marker.cm_tgtname))
1896                 return -E2BIG;
1897         cplen = strlcpy(mgi->mgi_marker.cm_comment, comment,
1898                         sizeof(mgi->mgi_marker.cm_comment));
1899         if (cplen >= sizeof(mgi->mgi_marker.cm_comment))
1900                 return -E2BIG;
1901         mgi->mgi_marker.cm_createtime = ktime_get_real_seconds();
1902         mgi->mgi_marker.cm_canceltime = 0;
1903         lustre_cfg_bufs_reset(&mgi->mgi_bufs, NULL);
1904         lustre_cfg_bufs_set(&mgi->mgi_bufs, 1, &mgi->mgi_marker,
1905                             sizeof(mgi->mgi_marker));
1906         lcr = lustre_cfg_rec_new(LCFG_MARKER, &mgi->mgi_bufs);
1907         if (lcr == NULL)
1908                 return -ENOMEM;
1909
1910         rc = llog_write(env, llh, &lcr->lcr_hdr, LLOG_NEXT_IDX);
1911         lustre_cfg_rec_free(lcr);
1912         return rc;
1913 }
1914
1915 static int record_start_log(const struct lu_env *env, struct mgs_device *mgs,
1916                             struct llog_handle **llh, char *name)
1917 {
1918         static struct obd_uuid   cfg_uuid = { .uuid = "config_uuid" };
1919         struct llog_ctxt        *ctxt;
1920         int                      rc = 0;
1921         ENTRY;
1922
1923         if (*llh)
1924                 GOTO(out, rc = -EBUSY);
1925
1926         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
1927         if (!ctxt)
1928                 GOTO(out, rc = -ENODEV);
1929         LASSERT(ctxt->loc_obd == mgs->mgs_obd);
1930
1931         rc = llog_open_create(env, ctxt, llh, NULL, name);
1932         if (rc)
1933                 GOTO(out_ctxt, rc);
1934         rc = llog_init_handle(env, *llh, LLOG_F_IS_PLAIN, &cfg_uuid);
1935         if (rc)
1936                 llog_close(env, *llh);
1937 out_ctxt:
1938         llog_ctxt_put(ctxt);
1939 out:
1940         if (rc) {
1941                 CERROR("%s: can't start log %s: rc = %d\n",
1942                        mgs->mgs_obd->obd_name, name, rc);
1943                 *llh = NULL;
1944         }
1945         RETURN(rc);
1946 }
1947
1948 static int record_end_log(const struct lu_env *env, struct llog_handle **llh)
1949 {
1950         int rc;
1951
1952         rc = llog_close(env, *llh);
1953         *llh = NULL;
1954
1955         return rc;
1956 }
1957
1958 /******************** config "macros" *********************/
1959
1960 /* write an lcfg directly into a log (with markers) */
1961 static int mgs_write_log_direct(const struct lu_env *env,
1962                                 struct mgs_device *mgs, struct fs_db *fsdb,
1963                                 char *logname, struct llog_cfg_rec *lcr,
1964                                 char *devname, char *comment)
1965 {
1966         struct llog_handle *llh = NULL;
1967         int rc;
1968
1969         ENTRY;
1970
1971         rc = record_start_log(env, mgs, &llh, logname);
1972         if (rc)
1973                 RETURN(rc);
1974
1975         /* FIXME These should be a single journal transaction */
1976         rc = record_marker(env, llh, fsdb, CM_START, devname, comment);
1977         if (rc)
1978                 GOTO(out_end, rc);
1979         rc = llog_write(env, llh, &lcr->lcr_hdr, LLOG_NEXT_IDX);
1980         if (rc)
1981                 GOTO(out_end, rc);
1982         rc = record_marker(env, llh, fsdb, CM_END, devname, comment);
1983         if (rc)
1984                 GOTO(out_end, rc);
1985 out_end:
1986         record_end_log(env, &llh);
1987         RETURN(rc);
1988 }
1989
1990 /* write the lcfg in all logs for the given fs */
1991 static int mgs_write_log_direct_all(const struct lu_env *env,
1992                                     struct mgs_device *mgs,
1993                                     struct fs_db *fsdb,
1994                                     struct mgs_target_info *mti,
1995                                     struct llog_cfg_rec *lcr, char *devname,
1996                                     char *comment, int server_only)
1997 {
1998         struct list_head         log_list;
1999         struct mgs_direntry     *dirent, *n;
2000         char                    *fsname = mti->mti_fsname;
2001         int                      rc = 0, len = strlen(fsname);
2002
2003         ENTRY;
2004         /* Find all the logs in the CONFIGS directory */
2005         rc = class_dentry_readdir(env, mgs, &log_list);
2006         if (rc)
2007                 RETURN(rc);
2008
2009         /* Could use fsdb index maps instead of directory listing */
2010         list_for_each_entry_safe(dirent, n, &log_list, mde_list) {
2011                 list_del_init(&dirent->mde_list);
2012                 /* don't write to sptlrpc rule log */
2013                 if (strstr(dirent->mde_name, "-sptlrpc") != NULL)
2014                         goto next;
2015
2016                 /* caller wants write server logs only */
2017                 if (server_only && strstr(dirent->mde_name, "-client") != NULL)
2018                         goto next;
2019
2020                 if (strlen(dirent->mde_name) <= len ||
2021                     strncmp(fsname, dirent->mde_name, len) != 0 ||
2022                     dirent->mde_name[len] != '-')
2023                         goto next;
2024
2025                 CDEBUG(D_MGS, "Changing log %s\n", dirent->mde_name);
2026                 /* Erase any old settings of this same parameter */
2027                 rc = mgs_modify(env, mgs, fsdb, mti, dirent->mde_name,
2028                                 devname, comment, CM_SKIP);
2029                 if (rc < 0)
2030                         CERROR("%s: Can't modify llog %s: rc = %d\n",
2031                                mgs->mgs_obd->obd_name, dirent->mde_name, rc);
2032                 if (lcr == NULL)
2033                         goto next;
2034                 /* Write the new one */
2035                 rc = mgs_write_log_direct(env, mgs, fsdb, dirent->mde_name,
2036                                           lcr, devname, comment);
2037                 if (rc != 0)
2038                         CERROR("%s: writing log %s: rc = %d\n",
2039                                mgs->mgs_obd->obd_name, dirent->mde_name, rc);
2040 next:
2041                 mgs_direntry_free(dirent);
2042         }
2043
2044         RETURN(rc);
2045 }
2046
2047 static int mgs_write_log_osp_to_mdt(const struct lu_env *env,
2048                                     struct mgs_device *mgs,
2049                                     struct fs_db *fsdb,
2050                                     struct mgs_target_info *mti,
2051                                     int index, char *logname);
2052 static int mgs_write_log_osc_to_lov(const struct lu_env *env,
2053                                     struct mgs_device *mgs,
2054                                     struct fs_db *fsdb,
2055                                     struct mgs_target_info *mti,
2056                                     char *logname, char *suffix, char *lovname,
2057                                     enum lustre_sec_part sec_part, int flags);
2058 static int name_create_mdt_and_lov(char **logname, char **lovname,
2059                                    struct fs_db *fsdb, int i);
2060
2061 static int add_param(char *params, char *key, char *val)
2062 {
2063         char *start = params + strlen(params);
2064         char *end = params + sizeof(((struct mgs_target_info *)0)->mti_params);
2065         int keylen = 0;
2066
2067         if (key != NULL)
2068                 keylen = strlen(key);
2069         if (start + 1 + keylen + strlen(val) >= end) {
2070                 CERROR("params are too long: %s %s%s\n",
2071                        params, key != NULL ? key : "", val);
2072                 return -EINVAL;
2073         }
2074
2075         sprintf(start, " %s%s", key != NULL ? key : "", val);
2076         return 0;
2077 }
2078
2079 /**
2080  * Walk through client config log record and convert the related records
2081  * into the target.
2082  **/
2083 static int mgs_steal_client_llog_handler(const struct lu_env *env,
2084                                          struct llog_handle *llh,
2085                                          struct llog_rec_hdr *rec, void *data)
2086 {
2087         struct mgs_device *mgs;
2088         struct obd_device *obd;
2089         struct mgs_target_info *mti, *tmti;
2090         struct fs_db *fsdb;
2091         int cfg_len = rec->lrh_len;
2092         char *cfg_buf = (char*) (rec + 1);
2093         struct lustre_cfg *lcfg;
2094         int rc = 0;
2095         struct llog_handle *mdt_llh = NULL;
2096         static int got_an_osc_or_mdc = 0;
2097         /* 0: not found any osc/mdc;
2098            1: found osc;
2099            2: found mdc;
2100         */
2101         static int last_step = -1;
2102         int cplen = 0;
2103
2104         ENTRY;
2105
2106         mti = ((struct temp_comp*)data)->comp_mti;
2107         tmti = ((struct temp_comp*)data)->comp_tmti;
2108         fsdb = ((struct temp_comp*)data)->comp_fsdb;
2109         obd = ((struct temp_comp *)data)->comp_obd;
2110         mgs = lu2mgs_dev(obd->obd_lu_dev);
2111         LASSERT(mgs);
2112
2113         if (rec->lrh_type != OBD_CFG_REC) {
2114                 CERROR("unhandled lrh_type: %#x\n", rec->lrh_type);
2115                 RETURN(-EINVAL);
2116         }
2117
2118         rc = lustre_cfg_sanity_check(cfg_buf, cfg_len);
2119         if (rc) {
2120                 CERROR("Insane cfg\n");
2121                 RETURN(rc);
2122         }
2123
2124         lcfg = (struct lustre_cfg *)cfg_buf;
2125
2126         if (lcfg->lcfg_command == LCFG_MARKER) {
2127                 struct cfg_marker *marker;
2128                 marker = lustre_cfg_buf(lcfg, 1);
2129                 if (!strncmp(marker->cm_comment, "add osc", 7) &&
2130                     (marker->cm_flags & CM_START) &&
2131                      !(marker->cm_flags & CM_SKIP)) {
2132                         got_an_osc_or_mdc = 1;
2133                         cplen = strlcpy(tmti->mti_svname, marker->cm_tgtname,
2134                                         sizeof(tmti->mti_svname));
2135                         if (cplen >= sizeof(tmti->mti_svname))
2136                                 RETURN(-E2BIG);
2137                         rc = record_start_log(env, mgs, &mdt_llh,
2138                                               mti->mti_svname);
2139                         if (rc)
2140                                 RETURN(rc);
2141                         rc = record_marker(env, mdt_llh, fsdb, CM_START,
2142                                            mti->mti_svname, "add osc(copied)");
2143                         record_end_log(env, &mdt_llh);
2144                         last_step = marker->cm_step;
2145                         RETURN(rc);
2146                 }
2147                 if (!strncmp(marker->cm_comment, "add osc", 7) &&
2148                     (marker->cm_flags & CM_END) &&
2149                      !(marker->cm_flags & CM_SKIP)) {
2150                         LASSERT(last_step == marker->cm_step);
2151                         last_step = -1;
2152                         got_an_osc_or_mdc = 0;
2153                         memset(tmti, 0, sizeof(*tmti));
2154                         rc = record_start_log(env, mgs, &mdt_llh,
2155                                               mti->mti_svname);
2156                         if (rc)
2157                                 RETURN(rc);
2158                         rc = record_marker(env, mdt_llh, fsdb, CM_END,
2159                                            mti->mti_svname, "add osc(copied)");
2160                         record_end_log(env, &mdt_llh);
2161                         RETURN(rc);
2162                 }
2163                 if (!strncmp(marker->cm_comment, "add mdc", 7) &&
2164                     (marker->cm_flags & CM_START) &&
2165                      !(marker->cm_flags & CM_SKIP)) {
2166                         got_an_osc_or_mdc = 2;
2167                         last_step = marker->cm_step;
2168                         memcpy(tmti->mti_svname, marker->cm_tgtname,
2169                                strlen(marker->cm_tgtname));
2170
2171                         RETURN(rc);
2172                 }
2173                 if (!strncmp(marker->cm_comment, "add mdc", 7) &&
2174                     (marker->cm_flags & CM_END) &&
2175                      !(marker->cm_flags & CM_SKIP)) {
2176                         LASSERT(last_step == marker->cm_step);
2177                         last_step = -1;
2178                         got_an_osc_or_mdc = 0;
2179                         memset(tmti, 0, sizeof(*tmti));
2180                         RETURN(rc);
2181                 }
2182         }
2183
2184         if (got_an_osc_or_mdc == 0 || last_step < 0)
2185                 RETURN(rc);
2186
2187         if (lcfg->lcfg_command == LCFG_ADD_UUID) {
2188                 __u64 nodenid = lcfg->lcfg_nid;
2189
2190                 if (strlen(tmti->mti_uuid) == 0) {
2191                         /* target uuid not set, this config record is before
2192                          * LCFG_SETUP, this nid is one of target node nid.
2193                          */
2194                         tmti->mti_nids[tmti->mti_nid_count] = nodenid;
2195                         tmti->mti_nid_count++;
2196                 } else {
2197                         char nidstr[LNET_NIDSTR_SIZE];
2198
2199                         /* failover node nid */
2200                         libcfs_nid2str_r(nodenid, nidstr, sizeof(nidstr));
2201                         rc = add_param(tmti->mti_params, PARAM_FAILNODE,
2202                                         nidstr);
2203                 }
2204
2205                 RETURN(rc);
2206         }
2207
2208         if (lcfg->lcfg_command == LCFG_SETUP) {
2209                 char *target;
2210
2211                 target = lustre_cfg_string(lcfg, 1);
2212                 memcpy(tmti->mti_uuid, target, strlen(target));
2213                 RETURN(rc);
2214         }
2215
2216         /* ignore client side sptlrpc_conf_log */
2217         if (lcfg->lcfg_command == LCFG_SPTLRPC_CONF)
2218                 RETURN(rc);
2219
2220         if (lcfg->lcfg_command == LCFG_ADD_MDC &&
2221             strstr(lustre_cfg_string(lcfg, 0), "-clilmv") != NULL) {
2222                 int index;
2223
2224                 if (sscanf(lustre_cfg_buf(lcfg, 2), "%d", &index) != 1)
2225                         RETURN (-EINVAL);
2226
2227                 memcpy(tmti->mti_fsname, mti->mti_fsname,
2228                        strlen(mti->mti_fsname));
2229                 tmti->mti_stripe_index = index;
2230
2231                 rc = mgs_write_log_osp_to_mdt(env, mgs, fsdb, tmti,
2232                                               mti->mti_stripe_index,
2233                                               mti->mti_svname);
2234                 memset(tmti, 0, sizeof(*tmti));
2235                 RETURN(rc);
2236         }
2237
2238         if (lcfg->lcfg_command == LCFG_LOV_ADD_OBD) {
2239                 int index;
2240                 char mdt_index[9];
2241                 char *logname, *lovname;
2242
2243                 rc = name_create_mdt_and_lov(&logname, &lovname, fsdb,
2244                                              mti->mti_stripe_index);
2245                 if (rc)
2246                         RETURN(rc);
2247                 sprintf(mdt_index, "-MDT%04x", mti->mti_stripe_index);
2248
2249                 if (sscanf(lustre_cfg_buf(lcfg, 2), "%d", &index) != 1) {
2250                         name_destroy(&logname);
2251                         name_destroy(&lovname);
2252                         RETURN(-EINVAL);
2253                 }
2254
2255                 tmti->mti_stripe_index = index;
2256                 rc = mgs_write_log_osc_to_lov(env, mgs, fsdb, tmti, logname,
2257                                          mdt_index, lovname,
2258                                          LUSTRE_SP_MDT, 0);
2259                 name_destroy(&logname);
2260                 name_destroy(&lovname);
2261                 RETURN(rc);
2262         }
2263         RETURN(rc);
2264 }
2265
2266 /* fsdb->fsdb_mutex is already held  in mgs_write_log_target*/
2267 /* stealed from mgs_get_fsdb_from_llog*/
2268 static int mgs_steal_llog_for_mdt_from_client(const struct lu_env *env,
2269                                               struct mgs_device *mgs,
2270                                               char *client_name,
2271                                               struct temp_comp* comp)
2272 {
2273         struct llog_handle *loghandle;
2274         struct mgs_target_info *tmti;
2275         struct llog_ctxt *ctxt;
2276         int rc;
2277
2278         ENTRY;
2279
2280         ctxt = llog_get_context(mgs->mgs_obd, LLOG_CONFIG_ORIG_CTXT);
2281         LASSERT(ctxt != NULL);
2282
2283         OBD_ALLOC_PTR(tmti);
2284         if (tmti == NULL)
2285                 GOTO(out_ctxt, rc = -ENOMEM);
2286
2287         comp->comp_tmti = tmti;
2288         comp->comp_obd = mgs->mgs_obd;
2289
2290         rc = llog_open(env, ctxt, &loghandle, NULL, client_name,
2291                        LLOG_OPEN_EXISTS);
2292         if (rc < 0) {
2293                 if (rc == -ENOENT)
2294                         rc = 0;
2295                 GOTO(out_pop, rc);
2296         }
2297
2298         rc = llog_init_handle(env, loghandle, LLOG_F_IS_PLAIN, NULL);
2299         if (rc)
2300                 GOTO(out_close, rc);
2301
2302         rc = llog_process_or_fork(env, loghandle, mgs_steal_client_llog_handler,
2303                                   (void *)comp, NULL, false);
2304         CDEBUG(D_MGS, "steal llog re = %d\n", rc);
2305 out_close:
2306         llog_close(env, loghandle);
2307 out_pop:
2308         OBD_FREE_PTR(tmti);
2309 out_ctxt:
2310         llog_ctxt_put(ctxt);
2311         RETURN(rc);
2312 }
2313
2314 /* lmv is the second thing for client logs */
2315 /* copied from mgs_write_log_lov. Please refer to that.  */
2316 static int mgs_write_log_lmv(const struct lu_env *env,
2317                              struct mgs_device *mgs,
2318                              struct fs_db *fsdb,
2319                              struct mgs_target_info *mti,
2320                              char *logname, char *lmvname)
2321 {
2322         struct llog_handle *llh = NULL;
2323         struct lmv_desc *lmvdesc;
2324         char *uuid;
2325         int rc = 0;
2326         ENTRY;
2327
2328         CDEBUG(D_MGS, "Writing lmv(%s) log for %s\n", lmvname,logname);
2329
2330         OBD_ALLOC_PTR(lmvdesc);
2331         if (lmvdesc == NULL)
2332                 RETURN(-ENOMEM);
2333         lmvdesc->ld_active_tgt_count = 0;
2334         lmvdesc->ld_tgt_count = 0;
2335         sprintf((char*)lmvdesc->ld_uuid.uuid, "%s_UUID", lmvname);
2336         uuid = (char *)lmvdesc->ld_uuid.uuid;
2337
2338         rc = record_start_log(env, mgs, &llh, logname);
2339         if (rc)
2340                 GOTO(out_free, rc);
2341         rc = record_marker(env, llh, fsdb, CM_START, lmvname, "lmv setup");
2342         if (rc)
2343                 GOTO(out_end, rc);
2344         rc = record_attach(env, llh, lmvname, "lmv", uuid);
2345         if (rc)
2346                 GOTO(out_end, rc);
2347         rc = record_lmv_setup(env, llh, lmvname, lmvdesc);
2348         if (rc)
2349                 GOTO(out_end, rc);
2350         rc = record_marker(env, llh, fsdb, CM_END, lmvname, "lmv setup");
2351         if (rc)
2352                 GOTO(out_end, rc);
2353 out_end:
2354         record_end_log(env, &llh);
2355 out_free:
2356         OBD_FREE_PTR(lmvdesc);
2357         RETURN(rc);
2358 }
2359
2360 /* lov is the first thing in the mdt and client logs */
2361 static int mgs_write_log_lov(const struct lu_env *env, struct mgs_device *mgs,
2362                              struct fs_db *fsdb, struct mgs_target_info *mti,
2363                              char *logname, char *lovname)
2364 {
2365         struct llog_handle *llh = NULL;
2366         struct lov_desc *lovdesc;
2367         char *uuid;
2368         int rc = 0;
2369         ENTRY;
2370
2371         CDEBUG(D_MGS, "Writing lov(%s) log for %s\n", lovname, logname);
2372
2373         /*
2374         #01 L attach   0:lov_mdsA  1:lov  2:71ccb_lov_mdsA_19f961a9e1
2375         #02 L lov_setup 0:lov_mdsA 1:(struct lov_desc)
2376               uuid=lov1_UUID, stripe count=1, size=1048576, offset=0, pattern=0
2377         */
2378
2379         /* FIXME just make lov_setup accept empty desc (put uuid in buf 2) */
2380         OBD_ALLOC_PTR(lovdesc);
2381         if (lovdesc == NULL)
2382                 RETURN(-ENOMEM);
2383         lovdesc->ld_magic = LOV_DESC_MAGIC;
2384         lovdesc->ld_tgt_count = 0;
2385         /* Defaults.  Can be changed later by lcfg config_param */
2386         lovdesc->ld_default_stripe_count = 1;
2387         lovdesc->ld_pattern = LOV_PATTERN_RAID0;
2388         lovdesc->ld_default_stripe_size = LOV_DESC_STRIPE_SIZE_DEFAULT;
2389         lovdesc->ld_default_stripe_offset = -1;
2390         lovdesc->ld_qos_maxage = LOV_DESC_QOS_MAXAGE_DEFAULT;
2391         sprintf((char*)lovdesc->ld_uuid.uuid, "%s_UUID", lovname);
2392         /* can these be the same? */
2393         uuid = (char *)lovdesc->ld_uuid.uuid;
2394
2395         /* This should always be the first entry in a log.
2396         rc = mgs_clear_log(obd, logname); */
2397         rc = record_start_log(env, mgs, &llh, logname);
2398         if (rc)
2399                 GOTO(out_free, rc);
2400         /* FIXME these should be a single journal transaction */
2401         rc = record_marker(env, llh, fsdb, CM_START, lovname, "lov setup");
2402         if (rc)
2403                 GOTO(out_end, rc);
2404         rc = record_attach(env, llh, lovname, "lov", uuid);
2405         if (rc)
2406                 GOTO(out_end, rc);
2407         rc = record_lov_setup(env, llh, lovname, lovdesc);
2408         if (rc)
2409                 GOTO(out_end, rc);
2410         rc = record_marker(env, llh, fsdb, CM_END, lovname, "lov setup");
2411         if (rc)
2412                 GOTO(out_end, rc);
2413         EXIT;
2414 out_end:
2415         record_end_log(env, &llh);
2416 out_free:
2417         OBD_FREE_PTR(lovdesc);
2418         return rc;
2419 }
2420
2421 /* add failnids to open log */
2422 static int mgs_write_log_failnids(const struct lu_env *env,
2423                                   struct mgs_target_info *mti,
2424                                   struct llog_handle *llh,
2425                                   char *cliname)
2426 {
2427         char *failnodeuuid = NULL;
2428         char *ptr = mti->mti_params;
2429         lnet_nid_t nid;
2430         int rc = 0;
2431
2432         /*
2433         #03 L add_uuid  nid=uml1@tcp(0x20000c0a80201) nal=90 0:  1:uml1_UUID
2434         #04 L add_uuid  nid=1@elan(0x1000000000001)   nal=90 0:  1:uml1_UUID
2435         #05 L setup    0:OSC_uml1_ost1_mdsA  1:ost1_UUID  2:uml1_UUID
2436         #06 L add_uuid  nid=uml2@tcp(0x20000c0a80202) nal=90 0:  1:uml2_UUID
2437         #0x L add_uuid  nid=2@elan(0x1000000000002)   nal=90 0:  1:uml2_UUID
2438         #07 L add_conn 0:OSC_uml1_ost1_mdsA  1:uml2_UUID
2439         */
2440
2441         /*
2442          * Pull failnid info out of params string, which may contain something
2443          * like "<nid1>,<nid2>:<nid3>,<nid4>".  class_parse_nid() does not
2444          * complain about abnormal inputs like ",:<nid1>", "<nid1>:,<nid2>",
2445          * etc.  However, convert_hostnames() should have caught those.
2446          */
2447         while (class_find_param(ptr, PARAM_FAILNODE, &ptr) == 0) {
2448                 while (class_parse_nid(ptr, &nid, &ptr) == 0) {
2449                         char nidstr[LNET_NIDSTR_SIZE];
2450
2451                         if (failnodeuuid == NULL) {
2452                                 /* We don't know the failover node name,
2453                                  * so just use the first nid as the uuid */
2454                                 libcfs_nid2str_r(nid, nidstr, sizeof(nidstr));
2455                                 rc = name_create(&failnodeuuid, nidstr, "");
2456                                 if (rc != 0)
2457                                         return rc;
2458                         }
2459                         CDEBUG(D_MGS, "add nid %s for failover uuid %s, "
2460                                 "client %s\n",
2461                                 libcfs_nid2str_r(nid, nidstr, sizeof(nidstr)),
2462                                 failnodeuuid, cliname);
2463                         rc = record_add_uuid(env, llh, nid, failnodeuuid);
2464                         /*
2465                          * If *ptr is ':', we have added all NIDs for
2466                          * failnodeuuid.
2467                          */
2468                         if (*ptr == ':') {
2469                                 rc = record_add_conn(env, llh, cliname,
2470                                                      failnodeuuid);
2471                                 name_destroy(&failnodeuuid);
2472                                 failnodeuuid = NULL;
2473                         }
2474                 }
2475                 if (failnodeuuid) {
2476                         rc = record_add_conn(env, llh, cliname, failnodeuuid);
2477                         name_destroy(&failnodeuuid);
2478                         failnodeuuid = NULL;
2479                 }
2480         }
2481
2482         return rc;
2483 }
2484
2485 static int mgs_write_log_mdc_to_lmv(const struct lu_env *env,
2486                                     struct mgs_device *mgs,
2487                                     struct fs_db *fsdb,
2488                                     struct mgs_target_info *mti,
2489                                     char *logname, char *lmvname)
2490 {
2491         struct llog_handle *llh = NULL;
2492         char *mdcname = NULL;
2493         char *nodeuuid = NULL;
2494         char *mdcuuid = NULL;
2495         char *lmvuuid = NULL;
2496         char index[6];
2497         char nidstr[LNET_NIDSTR_SIZE];
2498         int i, rc;
2499         ENTRY;
2500
2501         if (mgs_log_is_empty(env, mgs, logname)) {
2502                 CERROR("log is empty! Logical error\n");
2503                 RETURN(-EINVAL);
2504         }
2505
2506         CDEBUG(D_MGS, "adding mdc for %s to log %s:lmv(%s)\n",
2507                mti->mti_svname, logname, lmvname);
2508
2509         libcfs_nid2str_r(mti->mti_nids[0], nidstr, sizeof(nidstr));
2510         rc = name_create(&nodeuuid, nidstr, "");
2511         if (rc)
2512                 RETURN(rc);
2513         rc = name_create(&mdcname, mti->mti_svname, "-mdc");
2514         if (rc)
2515                 GOTO(out_free, rc);
2516         rc = name_create(&mdcuuid, mdcname, "_UUID");
2517         if (rc)
2518                 GOTO(out_free, rc);
2519         rc = name_create(&lmvuuid, lmvname, "_UUID");
2520         if (rc)
2521                 GOTO(out_free, rc);
2522
2523         rc = record_start_log(env, mgs, &llh, logname);
2524         if (rc)
2525                 GOTO(out_free, rc);
2526         rc = record_marker(env, llh, fsdb, CM_START, mti->mti_svname,
2527                            "add mdc");
2528         if (rc)
2529                 GOTO(out_end, rc);
2530         for (i = 0; i < mti->mti_nid_count; i++) {
2531                 CDEBUG(D_MGS, "add nid %s for mdt\n",
2532                         libcfs_nid2str_r(mti->mti_nids[i],
2533                                          nidstr, sizeof(nidstr)));
2534
2535                 rc = record_add_uuid(env, llh, mti->mti_nids[i], nodeuuid);
2536                 if (rc)
2537                         GOTO(out_end, rc);
2538         }
2539
2540         rc = record_attach(env, llh, mdcname, LUSTRE_MDC_NAME, lmvuuid);
2541         if (rc)
2542                 GOTO(out_end, rc);
2543         rc = record_setup(env, llh, mdcname, mti->mti_uuid, nodeuuid,
2544                           NULL, NULL);
2545         if (rc)
2546                 GOTO(out_end, rc);
2547         rc = mgs_write_log_failnids(env, mti, llh, mdcname);
2548         if (rc)
2549                 GOTO(out_end, rc);
2550         snprintf(index, sizeof(index), "%d", mti->mti_stripe_index);
2551         rc = record_mdc_add(env, llh, lmvname, mdcuuid, mti->mti_uuid,
2552                             index, "1");
2553         if (rc)
2554                 GOTO(out_end, rc);
2555         rc = record_marker(env, llh, fsdb, CM_END, mti->mti_svname,
2556                            "add mdc");
2557         if (rc)
2558                 GOTO(out_end, rc);
2559 out_end:
2560         record_end_log(env, &llh);
2561 out_free:
2562         name_destroy(&lmvuuid);
2563         name_destroy(&mdcuuid);
2564         name_destroy(&mdcname);
2565         name_destroy(&nodeuuid);
2566         RETURN(rc);
2567 }
2568
2569 static inline int name_create_lov(char **lovname, char *mdtname,
2570                                   struct fs_db *fsdb, int index)
2571 {
2572         /* COMPAT_180 */
2573         if (index == 0 && test_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags))
2574                 return name_create(lovname, fsdb->fsdb_name, "-mdtlov");
2575         else
2576                 return name_create(lovname, mdtname, "-mdtlov");
2577 }
2578
2579 static int name_create_mdt_and_lov(char **logname, char **lovname,
2580                                    struct fs_db *fsdb, int i)
2581 {
2582         int rc;
2583
2584         rc = name_create_mdt(logname, fsdb->fsdb_name, i);
2585         if (rc)
2586                 return rc;
2587         /* COMPAT_180 */
2588         if (i == 0 && test_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags))
2589                 rc = name_create(lovname, fsdb->fsdb_name, "-mdtlov");
2590         else
2591                 rc = name_create(lovname, *logname, "-mdtlov");
2592         if (rc) {
2593                 name_destroy(logname);
2594                 *logname = NULL;
2595         }
2596         return rc;
2597 }
2598
2599 static inline int name_create_mdt_osc(char **oscname, char *ostname,
2600                                       struct fs_db *fsdb, int i)
2601 {
2602         char suffix[16];
2603
2604         if (i == 0 && test_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags))
2605                 sprintf(suffix, "-osc");
2606         else
2607                 sprintf(suffix, "-osc-MDT%04x", i);
2608         return name_create(oscname, ostname, suffix);
2609 }
2610
2611 /* add new mdc to already existent MDS */
2612 static int mgs_write_log_osp_to_mdt(const struct lu_env *env,
2613                                     struct mgs_device *mgs,
2614                                     struct fs_db *fsdb,
2615                                     struct mgs_target_info *mti,
2616                                     int mdt_index, char *logname)
2617 {
2618         struct llog_handle      *llh = NULL;
2619         char    *nodeuuid = NULL;
2620         char    *ospname = NULL;
2621         char    *lovuuid = NULL;
2622         char    *mdtuuid = NULL;
2623         char    *svname = NULL;
2624         char    *mdtname = NULL;
2625         char    *lovname = NULL;
2626         char    index_str[16];
2627         char    nidstr[LNET_NIDSTR_SIZE];
2628         int     i, rc;
2629
2630         ENTRY;
2631         if (mgs_log_is_empty(env, mgs, mti->mti_svname)) {
2632                 CERROR("log is empty! Logical error\n");
2633                 RETURN (-EINVAL);
2634         }
2635
2636         CDEBUG(D_MGS, "adding osp index %d to %s\n", mti->mti_stripe_index,
2637                logname);
2638
2639         rc = name_create_mdt(&mdtname, fsdb->fsdb_name, mti->mti_stripe_index);
2640         if (rc)
2641                 RETURN(rc);
2642
2643         libcfs_nid2str_r(mti->mti_nids[0], nidstr, sizeof(nidstr));
2644         rc = name_create(&nodeuuid, nidstr, "");
2645         if (rc)
2646                 GOTO(out_destory, rc);
2647
2648         rc = name_create(&svname, mdtname, "-osp");
2649         if (rc)
2650                 GOTO(out_destory, rc);
2651
2652         sprintf(index_str, "-MDT%04x", mdt_index);
2653         rc = name_create(&ospname, svname, index_str);
2654         if (rc)
2655                 GOTO(out_destory, rc);
2656
2657         rc = name_create_lov(&lovname, logname, fsdb, mdt_index);
2658         if (rc)
2659                 GOTO(out_destory, rc);
2660
2661         rc = name_create(&lovuuid, lovname, "_UUID");
2662         if (rc)
2663                 GOTO(out_destory, rc);
2664
2665         rc = name_create(&mdtuuid, mdtname, "_UUID");
2666         if (rc)
2667                 GOTO(out_destory, rc);
2668
2669         rc = record_start_log(env, mgs, &llh, logname);
2670         if (rc)
2671                 GOTO(out_destory, rc);
2672
2673         rc = record_marker(env, llh, fsdb, CM_START, mti->mti_svname,
2674                            "add osp");
2675         if (rc)
2676                 GOTO(out_destory, rc);
2677
2678         for (i = 0; i < mti->mti_nid_count; i++) {
2679                 CDEBUG(D_MGS, "add nid %s for mdt\n",
2680                         libcfs_nid2str_r(mti->mti_nids[i],
2681                                          nidstr, sizeof(nidstr)));
2682                 rc = record_add_uuid(env, llh, mti->mti_nids[i], nodeuuid);
2683                 if (rc)
2684                         GOTO(out_end, rc);
2685         }
2686
2687         rc = record_attach(env, llh, ospname, LUSTRE_OSP_NAME, lovuuid);
2688         if (rc)
2689                 GOTO(out_end, rc);
2690
2691         rc = record_setup(env, llh, ospname, mti->mti_uuid, nodeuuid,
2692                           NULL, NULL);
2693         if (rc)
2694                 GOTO(out_end, rc);
2695
2696         rc = mgs_write_log_failnids(env, mti, llh, ospname);
2697         if (rc)
2698                 GOTO(out_end, rc);
2699
2700         /* Add mdc(osp) to lod */
2701         snprintf(index_str, sizeof(index_str), "%d", mti->mti_stripe_index);
2702         rc = record_base(env, llh, lovname, 0, LCFG_ADD_MDC, mti->mti_uuid,
2703                          index_str, "1", NULL);
2704         if (rc)
2705                 GOTO(out_end, rc);
2706
2707         rc = record_marker(env, llh, fsdb, CM_END, mti->mti_svname, "add osp");
2708         if (rc)
2709                 GOTO(out_end, rc);
2710
2711 out_end:
2712         record_end_log(env, &llh);
2713
2714 out_destory:
2715         name_destroy(&mdtuuid);
2716         name_destroy(&lovuuid);
2717         name_destroy(&lovname);
2718         name_destroy(&ospname);
2719         name_destroy(&svname);
2720         name_destroy(&nodeuuid);
2721         name_destroy(&mdtname);
2722         RETURN(rc);
2723 }
2724
2725 static int mgs_write_log_mdt0(const struct lu_env *env,
2726                               struct mgs_device *mgs,
2727                               struct fs_db *fsdb,
2728                               struct mgs_target_info *mti)
2729 {
2730         char *log = mti->mti_svname;
2731         struct llog_handle *llh = NULL;
2732         struct obd_uuid *uuid;
2733         char *lovname;
2734         char mdt_index[6];
2735         char *ptr = mti->mti_params;
2736         int rc = 0, failout = 0;
2737         ENTRY;
2738
2739         OBD_ALLOC_PTR(uuid);
2740         if (uuid == NULL)
2741                 RETURN(-ENOMEM);
2742
2743         if (class_find_param(ptr, PARAM_FAILMODE, &ptr) == 0)
2744                 failout = (strncmp(ptr, "failout", 7) == 0);
2745
2746         rc = name_create(&lovname, log, "-mdtlov");
2747         if (rc)
2748                 GOTO(out_free, rc);
2749         if (mgs_log_is_empty(env, mgs, log)) {
2750                 rc = mgs_write_log_lov(env, mgs, fsdb, mti, log, lovname);
2751                 if (rc)
2752                         GOTO(out_lod, rc);
2753         }
2754
2755         sprintf(mdt_index, "%d", mti->mti_stripe_index);
2756
2757         rc = record_start_log(env, mgs, &llh, log);
2758         if (rc)
2759                 GOTO(out_lod, rc);
2760
2761         /* add MDT itself */
2762
2763         /* FIXME this whole fn should be a single journal transaction */
2764         sprintf(uuid->uuid, "%s_UUID", log);
2765         rc = record_marker(env, llh, fsdb, CM_START, log, "add mdt");
2766         if (rc)
2767                 GOTO(out_lod, rc);
2768         rc = record_attach(env, llh, log, LUSTRE_MDT_NAME, uuid->uuid);
2769         if (rc)
2770                 GOTO(out_end, rc);
2771         rc = record_mount_opt(env, llh, log, lovname, NULL);
2772         if (rc)
2773                 GOTO(out_end, rc);
2774         rc = record_setup(env, llh, log, uuid->uuid, mdt_index, lovname,
2775                         failout ? "n" : "f");
2776         if (rc)
2777                 GOTO(out_end, rc);
2778         rc = record_marker(env, llh, fsdb, CM_END, log, "add mdt");
2779         if (rc)
2780                 GOTO(out_end, rc);
2781 out_end:
2782         record_end_log(env, &llh);
2783 out_lod:
2784         name_destroy(&lovname);
2785 out_free:
2786         OBD_FREE_PTR(uuid);
2787         RETURN(rc);
2788 }
2789
2790 /* envelope method for all layers log */
2791 static int mgs_write_log_mdt(const struct lu_env *env,
2792                              struct mgs_device *mgs,
2793                              struct fs_db *fsdb,
2794                              struct mgs_target_info *mti)
2795 {
2796         struct mgs_thread_info *mgi = mgs_env_info(env);
2797         struct llog_handle *llh = NULL;
2798         char *cliname;
2799         int rc, i = 0;
2800         ENTRY;
2801
2802         CDEBUG(D_MGS, "writing new mdt %s\n", mti->mti_svname);
2803
2804         if (mti->mti_uuid[0] == '\0') {
2805                 /* Make up our own uuid */
2806                 snprintf(mti->mti_uuid, sizeof(mti->mti_uuid),
2807                          "%s_UUID", mti->mti_svname);
2808         }
2809
2810         /* add mdt */
2811         rc = mgs_write_log_mdt0(env, mgs, fsdb, mti);
2812         if (rc)
2813                 RETURN(rc);
2814         /* Append the mdt info to the client log */
2815         rc = name_create(&cliname, mti->mti_fsname, "-client");
2816         if (rc)
2817                 RETURN(rc);
2818
2819         if (mgs_log_is_empty(env, mgs, cliname)) {
2820                 /* Start client log */
2821                 rc = mgs_write_log_lov(env, mgs, fsdb, mti, cliname,
2822                                        fsdb->fsdb_clilov);
2823                 if (rc)
2824                         GOTO(out_free, rc);
2825                 rc = mgs_write_log_lmv(env, mgs, fsdb, mti, cliname,
2826                                        fsdb->fsdb_clilmv);
2827                 if (rc)
2828                         GOTO(out_free, rc);
2829         }
2830
2831         /*
2832         #09 L add_uuid nid=uml1@tcp(0x20000c0a80201) 0:  1:uml1_UUID
2833         #10 L attach   0:MDC_uml1_mdsA_MNT_client  1:mdc  2:1d834_MNT_client_03f
2834         #11 L setup    0:MDC_uml1_mdsA_MNT_client  1:mdsA_UUID  2:uml1_UUID
2835         #12 L add_uuid nid=uml2@tcp(0x20000c0a80202) 0:  1:uml2_UUID
2836         #13 L add_conn 0:MDC_uml1_mdsA_MNT_client  1:uml2_UUID
2837         #14 L mount_option 0:  1:client  2:lov1  3:MDC_uml1_mdsA_MNT_client
2838         */
2839
2840         /* copy client info about lov/lmv */
2841         mgi->mgi_comp.comp_mti = mti;
2842         mgi->mgi_comp.comp_fsdb = fsdb;
2843
2844         rc = mgs_steal_llog_for_mdt_from_client(env, mgs, cliname,
2845                                                 &mgi->mgi_comp);
2846         if (rc)
2847                 GOTO(out_free, rc);
2848         rc = mgs_write_log_mdc_to_lmv(env, mgs, fsdb, mti, cliname,
2849                                       fsdb->fsdb_clilmv);
2850         if (rc)
2851                 GOTO(out_free, rc);
2852
2853         /* add mountopts */
2854         rc = record_start_log(env, mgs, &llh, cliname);
2855         if (rc)
2856                 GOTO(out_free, rc);
2857
2858         rc = record_marker(env, llh, fsdb, CM_START, cliname, "mount opts");
2859         if (rc)
2860                 GOTO(out_end, rc);
2861         rc = record_mount_opt(env, llh, cliname, fsdb->fsdb_clilov,
2862                               fsdb->fsdb_clilmv);
2863         if (rc)
2864                 GOTO(out_end, rc);
2865         rc = record_marker(env, llh, fsdb, CM_END, cliname, "mount opts");
2866         if (rc)
2867                 GOTO(out_end, rc);
2868
2869         /* for_all_existing_mdt except current one */
2870         for (i = 0; i < INDEX_MAP_SIZE * 8; i++) {
2871                 if (i !=  mti->mti_stripe_index &&
2872                     test_bit(i, fsdb->fsdb_mdt_index_map)) {
2873                         char *logname;
2874
2875                         rc = name_create_mdt(&logname, fsdb->fsdb_name, i);
2876                         if (rc)
2877                                 GOTO(out_end, rc);
2878
2879                         /* NB: If the log for the MDT is empty, it means
2880                          * the MDT is only added to the index
2881                          * map, and not being process yet, i.e. this
2882                          * is an unregistered MDT, see mgs_write_log_target().
2883                          * so we should skip it. Otherwise
2884                          *
2885                          * 1. MGS get register request for MDT1 and MDT2.
2886                          *
2887                          * 2. Then both MDT1 and MDT2 are added into
2888                          * fsdb_mdt_index_map. (see mgs_set_index()).
2889                          *
2890                          * 3. Then MDT1 get the lock of fsdb_mutex, then
2891                          * generate the config log, here, it will regard MDT2
2892                          * as an existent MDT, and generate "add osp" for
2893                          * lustre-MDT0001-osp-MDT0002. Note: at the moment
2894                          * MDT0002 config log is still empty, so it will
2895                          * add "add osp" even before "lov setup", which
2896                          * will definitly cause trouble.
2897                          *
2898                          * 4. MDT1 registeration finished, fsdb_mutex is
2899                          * released, then MDT2 get in, then in above
2900                          * mgs_steal_llog_for_mdt_from_client(), it will
2901                          * add another osp log for lustre-MDT0001-osp-MDT0002,
2902                          * which will cause another trouble.*/
2903                         if (!mgs_log_is_empty(env, mgs, logname))
2904                                 rc = mgs_write_log_osp_to_mdt(env, mgs, fsdb,
2905                                                               mti, i, logname);
2906
2907                         name_destroy(&logname);
2908                         if (rc)
2909                                 GOTO(out_end, rc);
2910                 }
2911         }
2912 out_end:
2913         record_end_log(env, &llh);
2914 out_free:
2915         name_destroy(&cliname);
2916         RETURN(rc);
2917 }
2918
2919 /* Add the ost info to the client/mdt lov */
2920 static int mgs_write_log_osc_to_lov(const struct lu_env *env,
2921                                     struct mgs_device *mgs, struct fs_db *fsdb,
2922                                     struct mgs_target_info *mti,
2923                                     char *logname, char *suffix, char *lovname,
2924                                     enum lustre_sec_part sec_part, int flags)
2925 {
2926         struct llog_handle *llh = NULL;
2927         char *nodeuuid = NULL;
2928         char *oscname = NULL;
2929         char *oscuuid = NULL;
2930         char *lovuuid = NULL;
2931         char *svname = NULL;
2932         char index[6];
2933         char nidstr[LNET_NIDSTR_SIZE];
2934         int i, rc;
2935         ENTRY;
2936
2937         CDEBUG(D_INFO, "adding osc for %s to log %s\n",
2938                 mti->mti_svname, logname);
2939
2940         if (mgs_log_is_empty(env, mgs, logname)) {
2941                 CERROR("log is empty! Logical error\n");
2942                 RETURN(-EINVAL);
2943         }
2944
2945         libcfs_nid2str_r(mti->mti_nids[0], nidstr, sizeof(nidstr));
2946         rc = name_create(&nodeuuid, nidstr, "");
2947         if (rc)
2948                 RETURN(rc);
2949         rc = name_create(&svname, mti->mti_svname, "-osc");
2950         if (rc)
2951                 GOTO(out_free, rc);
2952
2953         /* for the system upgraded from old 1.8, keep using the old osc naming
2954          * style for mdt, see name_create_mdt_osc(). LU-1257 */
2955         if (test_bit(FSDB_OSCNAME18, &fsdb->fsdb_flags))
2956                 rc = name_create(&oscname, svname, "");
2957         else
2958                 rc = name_create(&oscname, svname, suffix);
2959         if (rc)
2960                 GOTO(out_free, rc);
2961
2962         rc = name_create(&oscuuid, oscname, "_UUID");
2963         if (rc)
2964                 GOTO(out_free, rc);
2965         rc = name_create(&lovuuid, lovname, "_UUID");
2966         if (rc)
2967                 GOTO(out_free, rc);
2968
2969
2970         /*
2971         #03 L add_uuid nid=uml1@tcp(0x20000c0a80201) 0:  1:uml1_UUID
2972         multihomed (#4)
2973         #04 L add_uuid  nid=1@elan(0x1000000000001)  nal=90 0:  1:uml1_UUID
2974         #04 L attach   0:OSC_uml1_ost1_MNT_client  1:osc  2:89070_lov1_a41dff51a
2975         #05 L setup    0:OSC_uml1_ost1_MNT_client  1:ost1_UUID  2:uml1_UUID
2976         failover (#6,7)
2977         #06 L add_uuid nid=uml2@tcp(0x20000c0a80202) 0:  1:uml2_UUID
2978         #07 L add_conn 0:OSC_uml1_ost1_MNT_client  1:uml2_UUID
2979         #08 L lov_modify_tgts add 0:lov1  1:ost1_UUID  2(index):0  3(gen):1
2980         */
2981
2982         rc = record_start_log(env, mgs, &llh, logname);
2983         if (rc)
2984                 GOTO(out_free, rc);
2985
2986         /* FIXME these should be a single journal transaction */
2987         rc = record_marker(env, llh, fsdb, CM_START | flags, mti->mti_svname,
2988                            "add osc");
2989         if (rc)
2990                 GOTO(out_end, rc);
2991
2992         /* NB: don't change record order, because upon MDT steal OSC config
2993          * from client, it treats all nids before LCFG_SETUP as target nids
2994          * (multiple interfaces), while nids after as failover node nids.
2995          * See mgs_steal_client_llog_handler() LCFG_ADD_UUID.
2996          */
2997         for (i = 0; i < mti->mti_nid_count; i++) {
2998                 CDEBUG(D_MGS, "add nid %s\n",
2999                         libcfs_nid2str_r(mti->mti_nids[i],
3000                                          nidstr, sizeof(nidstr)));
3001                 rc = record_add_uuid(env, llh, mti->mti_nids[i], nodeuuid);
3002                 if (rc)
3003                         GOTO(out_end, rc);
3004         }
3005         rc = record_attach(env, llh, oscname, LUSTRE_OSC_NAME, lovuuid);
3006         if (rc)
3007                 GOTO(out_end, rc);
3008         rc = record_setup(env, llh, oscname, mti->mti_uuid, nodeuuid,
3009                           NULL, NULL);
3010         if (rc)
3011                 GOTO(out_end, rc);
3012         rc = mgs_write_log_failnids(env, mti, llh, oscname);
3013         if (rc)
3014                 GOTO(out_end, rc);
3015
3016         snprintf(index, sizeof(index), "%d", mti->mti_stripe_index);
3017
3018         rc = record_lov_add(env, llh, lovname, mti->mti_uuid, index, "1");
3019         if (rc)
3020                 GOTO(out_end, rc);
3021         rc = record_marker(env, llh, fsdb, CM_END | flags, mti->mti_svname,
3022                            "add osc");
3023         if (rc)
3024                 GOTO(out_end, rc);
3025 out_end:
3026         record_end_log(env, &llh);
3027 out_free:
3028         name_destroy(&lovuuid);
3029         name_destroy(&oscuuid);
3030         name_destroy(&oscname);
3031         name_destroy(&svname);
3032         name_destroy(&nodeuuid);
3033         RETURN(rc);
3034 }
3035
3036 static int mgs_write_log_ost(const struct lu_env *env,
3037                              struct mgs_device *mgs, struct fs_db *fsdb,
3038                              struct mgs_target_info *mti)
3039 {
3040         struct llog_handle *llh = NULL;
3041         char *logname, *lovname;
3042         char *ptr = mti->mti_params;
3043         int rc, flags = 0, failout = 0, i;
3044         ENTRY;
3045
3046         CDEBUG(D_MGS, "writing new ost %s\n", mti->mti_svname);
3047
3048         /* The ost startup log */
3049
3050         /* If the ost log already exists, that means that someone reformatted
3051            the ost and it called target_add again. */
3052         if (!mgs_log_is_empty(env, mgs, mti->mti_svname)) {
3053                 LCONSOLE_ERROR_MSG(0x141, "The config log for %s already "
3054                                    "exists, yet the server claims it never "
3055                                    "registered. It may have been reformatted, "
3056                                    "or the index changed. writeconf the MDT to "
3057                                    "regenerate all logs.\n", mti->mti_svname);
3058                 RETURN(-EALREADY);
3059         }
3060
3061         /*
3062         attach obdfilter ost1 ost1_UUID
3063         setup /dev/loop2 ldiskfs f|n errors=remount-ro,user_xattr
3064         */
3065         if (class_find_param(ptr, PARAM_FAILMODE, &ptr) == 0)
3066                 failout = (strncmp(ptr, "failout", 7) == 0);
3067         rc = record_start_log(env, mgs, &llh, mti->mti_svname);
3068         if (rc)
3069                 RETURN(rc);
3070         /* FIXME these should be a single journal transaction */
3071         rc = record_marker(env, llh, fsdb, CM_START, mti->mti_svname,"add ost");
3072         if (rc)
3073                 GOTO(out_end, rc);
3074         if (*mti->mti_uuid == '\0')
3075                 snprintf(mti->mti_uuid, sizeof(mti->mti_uuid),
3076                          "%s_UUID", mti->mti_svname);
3077         rc = record_attach(env, llh, mti->mti_svname,
3078                            "obdfilter"/*LUSTRE_OST_NAME*/, mti->mti_uuid);
3079         if (rc)
3080                 GOTO(out_end, rc);
3081         rc = record_setup(env, llh, mti->mti_svname,
3082                           "dev"/*ignored*/, "type"/*ignored*/,
3083                           failout ? "n" : "f", NULL/*options*/);
3084         if (rc)
3085                 GOTO(out_end, rc);
3086         rc = record_marker(env, llh, fsdb, CM_END, mti->mti_svname, "add ost");
3087         if (rc)
3088                 GOTO(out_end, rc);
3089 out_end:
3090         record_end_log(env, &llh);
3091         if (rc)
3092                 RETURN(rc);
3093         /* We also have to update the other logs where this osc is part of
3094            the lov */
3095
3096         if (test_bit(FSDB_OLDLOG14, &fsdb->fsdb_flags)) {
3097                 /* If we're upgrading, the old mdt log already has our
3098                    entry. Let's do a fake one for fun. */
3099                 /* Note that we can't add any new failnids, since we don't
3100                    know the old osc names. */
3101                 flags = CM_SKIP | CM_UPGRADE146;
3102
3103         } else if ((mti->mti_flags & LDD_F_UPDATE) != LDD_F_UPDATE) {
3104                 /* If the update flag isn't set, don't update client/mdt
3105                    logs. */
3106                 flags |= CM_SKIP;
3107                 LCONSOLE_WARN("Client log for %s was not updated; writeconf "
3108                               "the MDT first to regenerate it.\n",
3109                               mti->mti_svname);
3110         }
3111
3112         /* Add ost to all MDT lov defs */
3113         for (i = 0; i < INDEX_MAP_SIZE * 8; i++){
3114                 if (test_bit(i, fsdb->fsdb_mdt_index_map)) {
3115                         char mdt_index[13];
3116
3117                         rc = name_create_mdt_and_lov(&logname, &lovname, fsdb,
3118                                                      i);
3119                         if (rc)
3120                                 RETURN(rc);
3121
3122                         snprintf(mdt_index, sizeof(mdt_index), "-MDT%04x", i);
3123                         rc = mgs_write_log_osc_to_lov(env, mgs, fsdb, mti,
3124                                                       logname, mdt_index,
3125                                                       lovname, LUSTRE_SP_MDT,
3126                                                       flags);
3127                         name_destroy(&logname);
3128                         name_destroy(&lovname);
3129                         if (rc)
3130                                 RETURN(rc);
3131                 }
3132         }
3133
3134         /* Append ost info to the client log */
3135         rc = name_create(&logname, mti->mti_fsname, "-client");
3136         if (rc)
3137                 RETURN(rc);
3138         if (mgs_log_is_empty(env, mgs, logname)) {
3139                 /* Start client log */
3140                 rc = mgs_write_log_lov(env, mgs, fsdb, mti, logname,
3141                                        fsdb->fsdb_clilov);
3142                 if (rc)
3143                         GOTO(out_free, rc);
3144                 rc = mgs_write_log_lmv(env, mgs, fsdb, mti, logname,
3145                                        fsdb->fsdb_clilmv);
3146                 if (rc)
3147                         GOTO(out_free, rc);
3148         }
3149         rc = mgs_write_log_osc_to_lov(env, mgs, fsdb, mti, logname, "",
3150                                       fsdb->fsdb_clilov, LUSTRE_SP_CLI, flags);
3151 out_free:
3152         name_destroy(&logname);
3153         RETURN(rc);
3154 }
3155
3156 static __inline__ int mgs_param_empty(char *ptr)
3157 {
3158         char *tmp;
3159
3160         if ((tmp = strchr(ptr, '=')) && (*(++tmp) == '\0'))
3161                 return 1;
3162         return 0;
3163 }
3164
3165 static int mgs_write_log_failnid_internal(const struct lu_env *env,
3166                                           struct mgs_device *mgs,
3167                                           struct fs_db *fsdb,
3168                                           struct mgs_target_info *mti,
3169                                           char *logname, char *cliname)
3170 {
3171         int rc;
3172         struct llog_handle *llh = NULL;
3173
3174         if (mgs_param_empty(mti->mti_params)) {
3175                 /* Remove _all_ failnids */
3176                 rc = mgs_modify(env, mgs, fsdb, mti, logname,
3177                                 mti->mti_svname, "add failnid", CM_SKIP);
3178                 return rc < 0 ? rc : 0;
3179         }
3180
3181         /* Otherwise failover nids are additive */
3182         rc = record_start_log(env, mgs, &llh, logname);
3183         if (rc)
3184                 return rc;
3185                 /* FIXME this should be a single journal transaction */
3186         rc = record_marker(env, llh, fsdb, CM_START, mti->mti_svname,
3187                            "add failnid");
3188         if (rc)
3189                 goto out_end;
3190         rc = mgs_write_log_failnids(env, mti, llh, cliname);
3191         if (rc)
3192                 goto out_end;
3193         rc = record_marker(env, llh, fsdb, CM_END,
3194                            mti->mti_svname, "add failnid");
3195 out_end:
3196         record_end_log(env, &llh);
3197         return rc;
3198 }
3199
3200
3201 /* Add additional failnids to an existing log.
3202    The mdc/osc must have been added to logs first */
3203 /* tcp nids must be in dotted-quad ascii -
3204    we can't resolve hostnames from the kernel. */
3205 static int mgs_write_log_add_failnid(const struct lu_env *env,
3206                                      struct mgs_device *mgs,
3207                                      struct fs_db *fsdb,
3208                                      struct mgs_target_info *mti)
3209 {
3210         char *logname, *cliname;
3211         int rc;
3212         ENTRY;
3213
3214         /* FIXME we currently can't erase the failnids
3215          * given when a target first registers, since they aren't part of
3216          * an "add uuid" stanza
3217          */
3218
3219         /* Verify that we know about this target */
3220         if (mgs_log_is_empty(env, mgs, mti->mti_svname)) {
3221                 LCONSOLE_ERROR_MSG(0x142, "The target %s has not registered "
3222                                    "yet. It must be started before failnids "
3223                                    "can be added.\n", mti->mti_svname);
3224                 RETURN(-ENOENT);
3225         }
3226
3227         /* Create mdc/osc client name (e.g. lustre-OST0001-osc) */
3228         if (mti->mti_flags & LDD_F_SV_TYPE_MDT) {
3229                 rc = name_create(&cliname, mti->mti_svname, "-mdc");
3230         } else if (mti->mti_flags & LDD_F_SV_TYPE_OST) {
3231                 rc = name_create(&cliname, mti->mti_svname, "-osc");
3232         } else {
3233                 RETURN(-EINVAL);
3234         }