lustre/mgs/mgs_fs.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2017, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  *
  31  * lustre/mgs/mgs_fs.c
  32  *
  33  * Lustre Management Server (MGS) filesystem interface code
  34  *
  35  * Author: Nathan Rutman <nathan@clusterfs.com>
  36  * Author: Alex Zhuravlev <bzzz@whamcloud.com>
  37  */
  38
  39 #define DEBUG_SUBSYSTEM S_MGS
  40
  41 #include <lustre_fid.h>
  42 #include "mgs_internal.h"
  43
  44 /**
  45  * Initialize MGS per-export statistics.
  46  *
  47  * This function sets up procfs entries for various MGS export counters. These
  48  * counters are for per-client statistics tracked on the server.
  49  *
  50  * \param[in] obd       OBD device
  51  * \param[in] exp       OBD export
  52  * \param[in] localdata NID of client
  53  *
  54  * \retval              0 if successful
  55  * \retval              negative value on error
  56  */
  57 int mgs_export_stats_init(struct obd_device *obd, struct obd_export *exp,
  58                           void *localdata)
  59 {
  60         struct lnet_nid *client_nid = localdata;
  61         struct nid_stat *stats;
  62         int rc;
  63
  64         ENTRY;
  65
  66         rc = lprocfs_exp_setup(exp, client_nid);
  67         if (rc != 0)
  68                 /* Mask error for already created /proc entries */
  69                 RETURN(rc == -EALREADY ? 0 : rc);
  70
  71         stats = exp->exp_nid_stats;
  72         stats->nid_stats = lprocfs_stats_alloc(LPROC_MGS_LAST,
  73                                                LPROCFS_STATS_FLAG_NOPERCPU);
  74         if (stats->nid_stats == NULL)
  75                 RETURN(-ENOMEM);
  76
  77         mgs_stats_counter_init(stats->nid_stats);
  78
  79         rc = lprocfs_stats_register(stats->nid_proc, "stats", stats->nid_stats);
  80         if (rc != 0) {
  81                 lprocfs_stats_free(&stats->nid_stats);
  82                 GOTO(out, rc);
  83         }
  84
  85         rc = lprocfs_nid_ldlm_stats_init(stats);
  86         if (rc != 0)
  87                 GOTO(out, rc);
  88
  89 out:
  90         RETURN(rc);
  91 }
  92
  93 /* Remove client export data from the MGS */
  94 int mgs_client_free(struct obd_export *exp)
  95 {
  96         return 0;
  97 }
  98
  99 int mgs_fs_setup(const struct lu_env *env, struct mgs_device *mgs)
 100 {
 101         struct lu_fid fid;
 102         struct dt_object *o;
 103         struct lu_fid rfid;
 104         struct dt_object *root;
 105         struct dt_object *nm_config_file_obj;
 106         struct nm_config_file *nm_config_file;
 107         int rc;
 108
 109         ENTRY;
 110
 111         OBD_SET_CTXT_MAGIC(&mgs->mgs_obd->obd_lvfs_ctxt);
 112         mgs->mgs_obd->obd_lvfs_ctxt.dt = mgs->mgs_bottom;
 113
 114         /* XXX: fix when support for N:1 layering is implemented */
 115         LASSERT(mgs->mgs_dt_dev.dd_lu_dev.ld_site);
 116         mgs->mgs_dt_dev.dd_lu_dev.ld_site->ls_top_dev =
 117                 &mgs->mgs_dt_dev.dd_lu_dev;
 118
 119         /* Setup the configs dir */
 120         fid.f_seq = FID_SEQ_LOCAL_NAME;
 121         fid.f_oid = 1;
 122         fid.f_ver = 0;
 123         rc = local_oid_storage_init(env, mgs->mgs_bottom, &fid, &mgs->mgs_los);
 124         if (rc)
 125                 GOTO(out, rc);
 126
 127         rc = dt_root_get(env, mgs->mgs_bottom, &rfid);
 128         if (rc)
 129                 GOTO(out_los, rc);
 130
 131         root = dt_locate_at(env, mgs->mgs_bottom, &rfid,
 132                             &mgs->mgs_dt_dev.dd_lu_dev, NULL);
 133         if (unlikely(IS_ERR(root)))
 134                 GOTO(out_los, rc = PTR_ERR(root));
 135
 136         o = local_file_find_or_create(env, mgs->mgs_los, root,
 137                                       MOUNT_CONFIGS_DIR,
 138                                       S_IFDIR | 0755);
 139         if (IS_ERR(o))
 140                 GOTO(out_root, rc = PTR_ERR(o));
 141
 142         if (!dt_try_as_dir(env, o, true)) {
 143                 dt_object_put(env, o);
 144                 GOTO(out_root, rc = -ENOTDIR);
 145         }
 146
 147         mgs->mgs_configs_dir = o;
 148
 149         /* colocated MDT will cache config in target root dir */
 150         nm_config_file_obj = local_index_find_or_create(env, mgs->mgs_los,
 151                                                         mgs->mgs_configs_dir,
 152                                                         LUSTRE_NODEMAP_NAME,
 153                                                         S_IFREG | 0644,
 154                                                         &dt_nodemap_features);
 155         if (IS_ERR(nm_config_file_obj))
 156                 GOTO(out_configs, rc = PTR_ERR(nm_config_file_obj));
 157
 158         if (nm_config_file_obj->do_index_ops == NULL) {
 159                 rc = nm_config_file_obj->do_ops->do_index_try(env,
 160                                                         nm_config_file_obj,
 161                                                         &dt_nodemap_features);
 162                 if (rc < 0) {
 163                         dt_object_put(env, nm_config_file_obj);
 164                         GOTO(out_configs, rc);
 165                 }
 166         }
 167         nm_config_file = nm_config_file_register_mgs(env, nm_config_file_obj,
 168                                                      mgs->mgs_los);
 169         dt_object_put(env, nm_config_file_obj);
 170         if (IS_ERR(nm_config_file)) {
 171                 CERROR("%s: error loading nodemap config file, file must be "
 172                        "removed via ldiskfs: rc = %ld\n",
 173                        mgs->mgs_obd->obd_name, PTR_ERR(nm_config_file));
 174                 GOTO(out_configs, rc = PTR_ERR(nm_config_file));
 175         }
 176         obd2obt(mgs->mgs_obd)->obt_nodemap_config_file = nm_config_file;
 177
 178         /* create directory to store nid table versions */
 179         o = local_file_find_or_create(env, mgs->mgs_los, root, MGS_NIDTBL_DIR,
 180                                       S_IFDIR | 0755);
 181         if (IS_ERR(o))
 182                 GOTO(out_nm, rc = PTR_ERR(o));
 183
 184         mgs->mgs_nidtbl_dir = o;
 185
 186 out_nm:
 187         if (rc < 0) {
 188                 nm_config_file_deregister_mgs(env, nm_config_file);
 189                 obd2obt(mgs->mgs_obd)->obt_nodemap_config_file = NULL;
 190         }
 191 out_configs:
 192         if (rc < 0) {
 193                 dt_object_put(env, mgs->mgs_configs_dir);
 194                 mgs->mgs_configs_dir = NULL;
 195         }
 196 out_root:
 197         dt_object_put(env, root);
 198 out_los:
 199         if (rc) {
 200                 local_oid_storage_fini(env, mgs->mgs_los);
 201                 mgs->mgs_los = NULL;
 202         }
 203 out:
 204         mgs->mgs_dt_dev.dd_lu_dev.ld_site->ls_top_dev = NULL;
 205
 206         return rc;
 207 }
 208
 209 int mgs_fs_cleanup(const struct lu_env *env, struct mgs_device *mgs)
 210 {
 211         struct lustre_cfg_bufs bufs;
 212         struct lustre_cfg *lcfg;
 213
 214         /*
 215          * For the MGS on independent device from MDT, it notifies the lower
 216          * layer OSD to backup index before the umount via LCFG_PRE_CLEANUP.
 217          */
 218         lustre_cfg_bufs_reset(&bufs, mgs->mgs_obd->obd_name);
 219         lustre_cfg_bufs_set_string(&bufs, 1, NULL);
 220         OBD_ALLOC(lcfg, lustre_cfg_len(bufs.lcfg_bufcount, bufs.lcfg_buflen));
 221         if (!lcfg) {
 222                 CERROR("%s: failed to trigger LCFG_PRE_CLEANUP\n",
 223                        mgs->mgs_obd->obd_name);
 224         } else {
 225                 struct lu_device *l = &mgs->mgs_bottom->dd_lu_dev;
 226
 227                 lustre_cfg_init(lcfg, LCFG_PRE_CLEANUP, &bufs);
 228                 l->ld_ops->ldo_process_config(env, l, lcfg);
 229                 OBD_FREE(lcfg, lustre_cfg_len(lcfg->lcfg_bufcount,
 230                                               lcfg->lcfg_buflens));
 231         }
 232
 233         if (mgs->mgs_configs_dir) {
 234                 dt_object_put(env, mgs->mgs_configs_dir);
 235                 mgs->mgs_configs_dir = NULL;
 236         }
 237         if (mgs->mgs_nidtbl_dir) {
 238                 dt_object_put(env, mgs->mgs_nidtbl_dir);
 239                 mgs->mgs_nidtbl_dir = NULL;
 240         }
 241         if (obd2obt(mgs->mgs_obd)->obt_nodemap_config_file != NULL) {
 242                 struct nm_config_file *ncf;
 243
 244                 ncf = obd2obt(mgs->mgs_obd)->obt_nodemap_config_file;
 245                 nm_config_file_deregister_mgs(env, ncf);
 246                 obd2obt(mgs->mgs_obd)->obt_nodemap_config_file = NULL;
 247         }
 248
 249         if (mgs->mgs_los) {
 250                 local_oid_storage_fini(env, mgs->mgs_los);
 251                 mgs->mgs_los = NULL;
 252         }
 253
 254         return 0;
 255 }