lustre/target/tgt_main.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 021110-1307, USA
  20  *
  21  * GPL HEADER END
  22  */
  23 /*
  24  * Copyright (c) 2012, 2015, Intel Corporation.
  25  */
  26 /*
  27  * lustre/target/tgt_main.c
  28  *
  29  * Lustre Unified Target main initialization code
  30  *
  31  * Author: Mikhail Pershin <mike.pershin@intel.com>
  32  */
  33
  34 #define DEBUG_SUBSYSTEM S_CLASS
  35
  36 #include <obd.h>
  37 #include "tgt_internal.h"
  38 #include "../ptlrpc/ptlrpc_internal.h"
  39
  40 int tgt_init(const struct lu_env *env, struct lu_target *lut,
  41              struct obd_device *obd, struct dt_device *dt,
  42              struct tgt_opc_slice *slice, int request_fail_id,
  43              int reply_fail_id)
  44 {
  45         struct dt_object_format  dof;
  46         struct lu_attr           attr;
  47         struct lu_fid            fid;
  48         struct dt_object        *o;
  49         int                      rc = 0;
  50
  51         ENTRY;
  52
  53         LASSERT(lut);
  54         LASSERT(obd);
  55         lut->lut_obd = obd;
  56         lut->lut_bottom = dt;
  57         lut->lut_last_rcvd = NULL;
  58         lut->lut_client_bitmap = NULL;
  59         atomic_set(&lut->lut_num_clients, 0);
  60         atomic_set(&lut->lut_client_generation, 0);
  61         lut->lut_reply_data = NULL;
  62         lut->lut_reply_bitmap = NULL;
  63         obd->u.obt.obt_lut = lut;
  64         obd->u.obt.obt_magic = OBT_MAGIC;
  65
  66         /* set request handler slice and parameters */
  67         lut->lut_slice = slice;
  68         lut->lut_reply_fail_id = reply_fail_id;
  69         lut->lut_request_fail_id = request_fail_id;
  70
  71         /* sptlrcp variables init */
  72         rwlock_init(&lut->lut_sptlrpc_lock);
  73         sptlrpc_rule_set_init(&lut->lut_sptlrpc_rset);
  74
  75         spin_lock_init(&lut->lut_flags_lock);
  76         lut->lut_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
  77
  78         /* last_rcvd initialization is needed by replayable targets only */
  79         if (!obd->obd_replayable)
  80                 RETURN(0);
  81
  82         spin_lock_init(&lut->lut_translock);
  83         spin_lock_init(&lut->lut_client_bitmap_lock);
  84
  85         OBD_ALLOC(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
  86         if (lut->lut_client_bitmap == NULL)
  87                 RETURN(-ENOMEM);
  88
  89         memset(&attr, 0, sizeof(attr));
  90         attr.la_valid = LA_MODE;
  91         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
  92         dof.dof_type = dt_mode_to_dft(S_IFREG);
  93
  94         lu_local_obj_fid(&fid, LAST_RECV_OID);
  95
  96         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
  97         if (IS_ERR(o)) {
  98                 rc = PTR_ERR(o);
  99                 CERROR("%s: cannot open LAST_RCVD: rc = %d\n", tgt_name(lut),
 100                        rc);
 101                 GOTO(out_put, rc);
 102         }
 103
 104         lut->lut_last_rcvd = o;
 105         rc = tgt_server_data_init(env, lut);
 106         if (rc < 0)
 107                 GOTO(out_put, rc);
 108
 109         /* prepare transactions callbacks */
 110         lut->lut_txn_cb.dtc_txn_start = tgt_txn_start_cb;
 111         lut->lut_txn_cb.dtc_txn_stop = tgt_txn_stop_cb;
 112         lut->lut_txn_cb.dtc_txn_commit = NULL;
 113         lut->lut_txn_cb.dtc_cookie = lut;
 114         lut->lut_txn_cb.dtc_tag = LCT_DT_THREAD | LCT_MD_THREAD;
 115         INIT_LIST_HEAD(&lut->lut_txn_cb.dtc_linkage);
 116
 117         dt_txn_callback_add(lut->lut_bottom, &lut->lut_txn_cb);
 118         lut->lut_bottom->dd_lu_dev.ld_site->ls_tgt = lut;
 119
 120         /* reply_data is supported by MDT targets only for now */
 121         if (strncmp(obd->obd_type->typ_name, LUSTRE_MDT_NAME, 3) != 0)
 122                 RETURN(0);
 123
 124         OBD_ALLOC(lut->lut_reply_bitmap,
 125                   LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 126         if (lut->lut_reply_bitmap == NULL)
 127                 GOTO(out, rc);
 128
 129         memset(&attr, 0, sizeof(attr));
 130         attr.la_valid = LA_MODE;
 131         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
 132         dof.dof_type = dt_mode_to_dft(S_IFREG);
 133
 134         lu_local_obj_fid(&fid, REPLY_DATA_OID);
 135
 136         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
 137         if (IS_ERR(o)) {
 138                 rc = PTR_ERR(o);
 139                 CERROR("%s: cannot open REPLY_DATA: rc = %d\n", tgt_name(lut),
 140                        rc);
 141                 GOTO(out, rc);
 142         }
 143         lut->lut_reply_data = o;
 144
 145         rc = tgt_reply_data_init(env, lut);
 146         if (rc < 0)
 147                 GOTO(out, rc);
 148
 149         RETURN(0);
 150
 151 out:
 152         dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
 153 out_put:
 154         obd->u.obt.obt_magic = 0;
 155         obd->u.obt.obt_lut = NULL;
 156         if (lut->lut_last_rcvd != NULL) {
 157                 lu_object_put(env, &lut->lut_last_rcvd->do_lu);
 158                 lut->lut_last_rcvd = NULL;
 159         }
 160         if (lut->lut_client_bitmap != NULL)
 161                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
 162         lut->lut_client_bitmap = NULL;
 163         if (lut->lut_reply_data != NULL)
 164                 lu_object_put(env, &lut->lut_reply_data->do_lu);
 165         lut->lut_reply_data = NULL;
 166         if (lut->lut_reply_bitmap != NULL)
 167                 OBD_FREE(lut->lut_reply_bitmap,
 168                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 169         lut->lut_reply_bitmap = NULL;
 170         return rc;
 171 }
 172 EXPORT_SYMBOL(tgt_init);
 173
 174 void tgt_fini(const struct lu_env *env, struct lu_target *lut)
 175 {
 176         int i;
 177         int rc;
 178         ENTRY;
 179
 180         if (lut->lut_lsd.lsd_feature_incompat & OBD_INCOMPAT_MULTI_RPCS &&
 181             atomic_read(&lut->lut_num_clients) == 0) {
 182                 /* Clear MULTI RPCS incompatibility flag that prevents previous
 183                  * Lustre versions to mount a target with reply_data file */
 184                 lut->lut_lsd.lsd_feature_incompat &= ~OBD_INCOMPAT_MULTI_RPCS;
 185                 rc = tgt_server_data_update(env, lut, 1);
 186                 if (rc < 0)
 187                         CERROR("%s: unable to clear MULTI RPCS "
 188                                "incompatibility flag\n",
 189                                lut->lut_obd->obd_name);
 190         }
 191
 192         sptlrpc_rule_set_free(&lut->lut_sptlrpc_rset);
 193
 194         if (lut->lut_reply_data != NULL)
 195                 lu_object_put(env, &lut->lut_reply_data->do_lu);
 196         lut->lut_reply_data = NULL;
 197         if (lut->lut_reply_bitmap != NULL) {
 198                 for (i = 0; i < LUT_REPLY_SLOTS_MAX_CHUNKS; i++) {
 199                         if (lut->lut_reply_bitmap[i] != NULL)
 200                                 OBD_FREE(lut->lut_reply_bitmap[i],
 201                                     BITS_TO_LONGS(LUT_REPLY_SLOTS_PER_CHUNK) *
 202                                     sizeof(long));
 203                         lut->lut_reply_bitmap[i] = NULL;
 204                 }
 205                 OBD_FREE(lut->lut_reply_bitmap,
 206                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 207         }
 208         lut->lut_reply_bitmap = NULL;
 209         if (lut->lut_client_bitmap) {
 210                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
 211                 lut->lut_client_bitmap = NULL;
 212         }
 213         if (lut->lut_last_rcvd) {
 214                 dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
 215                 lu_object_put(env, &lut->lut_last_rcvd->do_lu);
 216                 lut->lut_last_rcvd = NULL;
 217         }
 218         EXIT;
 219 }
 220 EXPORT_SYMBOL(tgt_fini);
 221
 222 /* context key constructor/destructor: tg_key_init, tg_key_fini */
 223 LU_KEY_INIT(tgt, struct tgt_thread_info);
 224
 225 static void tgt_key_fini(const struct lu_context *ctx,
 226                          struct lu_context_key *key, void *data)
 227 {
 228         struct tgt_thread_info          *info = data;
 229         struct thandle_exec_args        *args = &info->tti_tea;
 230         int                             i;
 231
 232         for (i = 0; i < args->ta_alloc_args; i++) {
 233                 if (args->ta_args[i] != NULL)
 234                         OBD_FREE_PTR(args->ta_args[i]);
 235         }
 236
 237         if (args->ta_args != NULL)
 238                 OBD_FREE(args->ta_args, sizeof(args->ta_args[0]) *
 239                                         args->ta_alloc_args);
 240         OBD_FREE_PTR(info);
 241 }
 242
 243 static void tgt_key_exit(const struct lu_context *ctx,
 244                          struct lu_context_key *key, void *data)
 245 {
 246         struct tgt_thread_info *tti = data;
 247
 248         tti->tti_has_trans = 0;
 249         tti->tti_mult_trans = 0;
 250 }
 251
 252 /* context key: tg_thread_key */
 253 struct lu_context_key tgt_thread_key = {
 254         .lct_tags = LCT_MD_THREAD | LCT_DT_THREAD,
 255         .lct_init = tgt_key_init,
 256         .lct_fini = tgt_key_fini,
 257         .lct_exit = tgt_key_exit,
 258 };
 259
 260 LU_KEY_INIT_GENERIC(tgt);
 261
 262 /* context key constructor/destructor: tgt_ses_key_init, tgt_ses_key_fini */
 263 LU_KEY_INIT_FINI(tgt_ses, struct tgt_session_info);
 264
 265 /* context key: tgt_session_key */
 266 struct lu_context_key tgt_session_key = {
 267         .lct_tags = LCT_SERVER_SESSION,
 268         .lct_init = tgt_ses_key_init,
 269         .lct_fini = tgt_ses_key_fini,
 270 };
 271 EXPORT_SYMBOL(tgt_session_key);
 272
 273 LU_KEY_INIT_GENERIC(tgt_ses);
 274
 275 /*
 276  * this page is allocated statically when module is initializing
 277  * it is used to simulate data corruptions, see ost_checksum_bulk()
 278  * for details. as the original pages provided by the layers below
 279  * can be remain in the internal cache, we do not want to modify
 280  * them.
 281  */
 282 struct page *tgt_page_to_corrupt;
 283
 284 int tgt_mod_init(void)
 285 {
 286         ENTRY;
 287
 288         tgt_page_to_corrupt = alloc_page(GFP_IOFS);
 289
 290         tgt_key_init_generic(&tgt_thread_key, NULL);
 291         lu_context_key_register_many(&tgt_thread_key, NULL);
 292
 293         tgt_ses_key_init_generic(&tgt_session_key, NULL);
 294         lu_context_key_register_many(&tgt_session_key, NULL);
 295
 296         update_info_init();
 297
 298         RETURN(0);
 299 }
 300
 301 void tgt_mod_exit(void)
 302 {
 303         if (tgt_page_to_corrupt != NULL)
 304                 page_cache_release(tgt_page_to_corrupt);
 305
 306         lu_context_key_degister(&tgt_thread_key);
 307         lu_context_key_degister(&tgt_session_key);
 308         update_info_fini();
 309 }
 310