lustre/cmobd/cm_obd.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2002 Cluster File Systems, Inc. <info@clusterfs.com>
   5  *
   6  *   This file is part of Lustre, http://www.lustre.org.
   7  *
   8  *   Lustre is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Lustre is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Lustre; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  */
  21
  22 #define DEBUG_SUBSYSTEM S_CMOBD
  23
  24 #include <linux/version.h>
  25 #include <linux/init.h>
  26 #include <linux/obd_support.h>
  27 #include <linux/lustre_lib.h>
  28 #include <linux/lustre_net.h>
  29 #include <linux/lustre_idl.h>
  30 #include <linux/obd_class.h>
  31 #include <linux/lustre_mds.h>
  32 #include <linux/lustre_cmobd.h>
  33 #include <linux/lprocfs_status.h>
  34 #include <linux/obd_lov.h>
  35 #include <linux/obd_lmv.h>
  36
  37 #include "cm_internal.h"
  38
  39 static int cmobd_attach(struct obd_device *obd,
  40                         obd_count len, void *data)
  41 {
  42         struct lprocfs_static_vars lvars;
  43
  44         lprocfs_init_vars(cmobd, &lvars);
  45         return lprocfs_obd_attach(obd, lvars.obd_vars);
  46 }
  47
  48 static int cmobd_detach(struct obd_device *obd)
  49 {
  50         return lprocfs_obd_detach(obd);
  51 }
  52
  53 static inline int cmobd_lmv_obd(struct obd_device *obd)
  54 {
  55         if (!strcmp(obd->obd_type->typ_name, LUSTRE_MDC_NAME) ||
  56             !strcmp(obd->obd_type->typ_name, OBD_LMV_DEVICENAME))
  57                 return 1;
  58
  59         return 0;
  60 }
  61
  62 static inline int cmobd_lov_obd(struct obd_device *obd)
  63 {
  64         if (!strcmp(obd->obd_type->typ_name, OBD_LOV_DEVICENAME))
  65                 return 1;
  66
  67         return 0;
  68 }
  69
  70 static void cmobd_init_ea_size(struct obd_device *obd)
  71 {
  72         int ost_count = 1, easize, cookiesize;
  73         struct cm_obd *cmobd = &obd->u.cm;
  74         ENTRY;
  75
  76         /*
  77          * here we should also take into account that there is possible to have
  78          * few OSTs. --umka
  79          */
  80         easize = lov_mds_md_size(ost_count);
  81         cookiesize = ost_count * sizeof(struct llog_cookie);
  82
  83         obd_init_ea_size(cmobd->master_exp, easize, cookiesize);
  84
  85         cmobd->master_exp->exp_obd->u.cli.cl_max_mds_easize = easize;
  86         cmobd->master_exp->exp_obd->u.cli.cl_max_mds_cookiesize = cookiesize;
  87
  88         EXIT;
  89 }
  90
  91 static struct obd_device *
  92 find_master_obd(struct obd_device *obd, struct obd_uuid *uuid)
  93 {
  94         struct obd_device *master;
  95
  96         CWARN("%s: looking for client obd %s\n",
  97               obd->obd_uuid.uuid, uuid->uuid);
  98
  99         master = class_find_client_obd(NULL, OBD_LOV_DEVICENAME,
 100                                        uuid);
 101         if (master)
 102                 return master;
 103
 104         master = class_find_client_obd(NULL, OBD_LMV_DEVICENAME,
 105                                        uuid);
 106         if (master)
 107                 return master;
 108
 109         return class_find_client_obd(NULL, LUSTRE_MDC_NAME,
 110                                      uuid);
 111 }
 112
 113 static int cmobd_setup(struct obd_device *obd, obd_count len, void *buf)
 114 {
 115         struct obd_uuid master_uuid, cache_uuid;
 116         struct lustre_handle conn = { 0 };
 117         struct cm_obd *cmobd = &obd->u.cm;
 118         struct lustre_cfg* lcfg = buf;
 119         struct lustre_id mid, lid;
 120         __u32 valsize;
 121         int rc;
 122         ENTRY;
 123
 124         if (LUSTRE_CFG_BUFLEN(lcfg, 1) < 1) {
 125                 CERROR("%s: setup requires master device uuid\n",
 126                        obd->obd_name);
 127                 RETURN(-EINVAL);
 128         }
 129
 130         if (LUSTRE_CFG_BUFLEN(lcfg, 2) < 1) {
 131                 CERROR("%s: setup requires cache device uuid\n",
 132                        obd->obd_name);
 133                 RETURN(-EINVAL);
 134         }
 135
 136         obd_str2uuid(&master_uuid, lustre_cfg_string(lcfg, 1));
 137         obd_str2uuid(&cache_uuid, lustre_cfg_string(lcfg, 2));
 138
 139         /* getting master obd */
 140         cmobd->master_obd = find_master_obd(obd, &master_uuid);
 141         if (!cmobd->master_obd) {
 142                 CERROR("can't find master obd by uuid %s\n",
 143                        master_uuid.uuid);
 144                 RETURN(-EINVAL);
 145         }
 146
 147         /* getting cache obd */
 148         cmobd->cache_obd = class_uuid2obd(&cache_uuid);
 149         if (cmobd->cache_obd == NULL) {
 150                 CERROR("CMOBD: unable to find obd by uuid: %s\n",
 151                        cache_uuid.uuid);
 152                 RETURN(-EINVAL);
 153         }
 154
 155         /* connecting master */
 156         memset(&conn, 0, sizeof(conn));
 157         rc = obd_connect(&conn, cmobd->master_obd, &obd->obd_uuid,
 158                          NULL, OBD_OPT_REAL_CLIENT);
 159         if (rc)
 160                 RETURN(rc);
 161         cmobd->master_exp = class_conn2export(&conn);
 162
 163         /* connecting cache */
 164         memset(&conn, 0, sizeof(conn));
 165         rc = class_connect(&conn, cmobd->cache_obd, &obd->obd_uuid);
 166         if (rc)
 167                 GOTO(put_master, rc);
 168         cmobd->cache_exp = class_conn2export(&conn);
 169
 170         if (cmobd_lov_obd(cmobd->master_exp->exp_obd)) {
 171                 /* for master osc remove the recovery flag. */
 172                 rc = obd_set_info(cmobd->master_exp, strlen("unrecovery"),
 173                                   "unrecovery", 0, NULL);
 174                 if (rc)
 175                         GOTO(put_cache, rc);
 176
 177                 rc = cmobd_init_write_srv(obd);
 178                 if (rc)
 179                         GOTO(put_cache, rc);
 180         } else {
 181                 cmobd_init_ea_size(obd);
 182                 cmobd->write_srv = NULL;
 183         }
 184
 185         if (cmobd_lmv_obd(cmobd->master_exp->exp_obd)) {
 186                 /*
 187                  * making sure, that both obds are ready. This is especially
 188                  * important in the case of using LMV as master.
 189                  */
 190                 rc = obd_getready(cmobd->master_exp);
 191                 if (rc) {
 192                         CERROR("can't get %s obd ready.\n",
 193                                master_uuid.uuid);
 194                         GOTO(put_cache, rc);
 195                 }
 196
 197                 rc = obd_getready(cmobd->cache_exp);
 198                 if (rc) {
 199                         CERROR("can't get %s obd ready.\n",
 200                                cache_uuid.uuid);
 201                         GOTO(put_cache, rc);
 202                 }
 203
 204                 /*
 205                  * requesting master obd to have its root inode store cookie to
 206                  * be able to save it to local root inode EA.
 207                  */
 208                 valsize = sizeof(struct lustre_id);
 209
 210                 rc = obd_get_info(cmobd->master_exp, strlen("rootid"),
 211                                   "rootid", &valsize, &mid);
 212                 if (rc) {
 213                         CERROR("can't get rootid from master MDS %s, "
 214                                "err= %d.\n", master_uuid.uuid, rc);
 215                         GOTO(put_cache, rc);
 216                 }
 217
 218                 /*
 219                  * getting rootid from cache MDS. It is needed to update local
 220                  * (cache) root inode by rootid value from master obd.
 221                  */
 222                 rc = obd_get_info(cmobd->cache_exp, strlen("rootid"),
 223                                   "rootid", &valsize, &lid);
 224                 if (rc) {
 225                         CERROR("can't get rootid from local MDS %s, "
 226                                "err= %d.\n", cache_uuid.uuid, rc);
 227                         GOTO(put_cache, rc);
 228                 }
 229
 230                 /* storing master MDS rootid to local root inode EA. */
 231                 CWARN("storing "DLID4" to local inode "DLID4".\n",
 232                       OLID4(&mid), OLID4(&lid));
 233
 234                 rc = mds_update_mid(cmobd->cache_exp->exp_obd, &lid,
 235                                     &mid, sizeof(mid));
 236                 if (rc) {
 237                         CERROR("can't update local root inode by ID "
 238                                "from master MDS %s, err = %d.\n",
 239                                master_uuid.uuid, rc);
 240                         GOTO(put_cache, rc);
 241                 }
 242         }
 243
 244         RETURN(rc);
 245 put_cache:
 246         class_disconnect(cmobd->cache_exp, 0);
 247 put_master:
 248         obd_disconnect(cmobd->master_exp, 0);
 249         return rc;
 250 }
 251
 252 static int cmobd_cleanup(struct obd_device *obd, int flags)
 253 {
 254         struct cm_obd *cmobd = &obd->u.cm;
 255         int rc;
 256         ENTRY;
 257
 258         if (cmobd->write_srv)
 259                 cmobd_cleanup_write_srv(obd);
 260
 261         rc = obd_disconnect(cmobd->master_exp, flags);
 262         if (rc) {
 263                 CERROR("error disconnecting master, err %d\n",
 264                        rc);
 265         }
 266
 267         rc = class_disconnect(cmobd->cache_exp, flags);
 268         if (rc) {
 269                 CERROR("error disconnecting cache, err %d\n",
 270                        rc);
 271         }
 272
 273         RETURN(0);
 274 }
 275
 276 static int cmobd_iocontrol(unsigned int cmd, struct obd_export *exp,
 277                            int len, void *karg, void *uarg)
 278 {
 279         struct obd_device *obd = exp->exp_obd;
 280         int rc = 0;
 281         ENTRY;
 282
 283         switch (cmd) {
 284         case OBD_IOC_CMOBD_SYNC: /* trigger reintegration */
 285                 rc = cmobd_reintegrate(obd);
 286                 break;
 287         default:
 288                 CERROR("unrecognized ioctl %#x\n", cmd);
 289                 rc = -EINVAL;
 290                 break;
 291         }
 292
 293         RETURN(rc);
 294 }
 295
 296 static struct obd_ops cmobd_ops = {
 297         .o_owner     = THIS_MODULE,
 298         .o_attach    = cmobd_attach,
 299         .o_detach    = cmobd_detach,
 300         .o_setup     = cmobd_setup,
 301         .o_cleanup   = cmobd_cleanup,
 302         .o_iocontrol = cmobd_iocontrol,
 303 };
 304
 305 kmem_cache_t *cmobd_extent_slab;
 306
 307 static int __init cmobd_init(void)
 308 {
 309         struct lprocfs_static_vars lvars;
 310         int rc;
 311         ENTRY;
 312
 313         printk(KERN_INFO "Lustre: Cache Manager OBD driver; info@clusterfs.com\n");
 314
 315         lprocfs_init_vars(cmobd, &lvars);
 316         rc = class_register_type(&cmobd_ops, NULL, lvars.module_vars,
 317                                  LUSTRE_CMOBD_NAME);
 318         if (rc)
 319                 RETURN(rc);
 320         cmobd_extent_slab = kmem_cache_create("cmobd_extents",
 321                                                sizeof(struct cmobd_extent_info), 0,
 322                                                SLAB_HWCACHE_ALIGN, NULL, NULL);
 323         if (cmobd_extent_slab == NULL) {
 324                 class_unregister_type(LUSTRE_CMOBD_NAME);
 325                 RETURN(-ENOMEM);
 326         }
 327         RETURN(0);
 328 }
 329
 330 static void __exit cmobd_exit(void)
 331 {
 332         class_unregister_type(LUSTRE_CMOBD_NAME);
 333         if (kmem_cache_destroy(cmobd_extent_slab) != 0)
 334                 CERROR("couldn't free cmobd extent slab\n");
 335 }
 336
 337 MODULE_AUTHOR("Cluster File Systems, Inc. <info@clusterfs.com>");
 338 MODULE_DESCRIPTION("Lustre Cache Manager OBD driver");
 339 MODULE_LICENSE("GPL");
 340
 341 module_init(cmobd_init);
 342 module_exit(cmobd_exit);