lustre/target/tgt_main.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 021110-1307, USA
  20  *
  21  * GPL HEADER END
  22  */
  23 /*
  24  * Copyright (c) 2012, 2016, Intel Corporation.
  25  */
  26 /*
  27  * lustre/target/tgt_main.c
  28  *
  29  * Lustre Unified Target main initialization code
  30  *
  31  * Author: Mikhail Pershin <mike.pershin@intel.com>
  32  */
  33
  34 #define DEBUG_SUBSYSTEM S_CLASS
  35
  36 #include <obd.h>
  37 #include "tgt_internal.h"
  38 #include "../ptlrpc/ptlrpc_internal.h"
  39
  40 /*
  41  * Save cross-MDT lock in lut_slc_locks.
  42  *
  43  * Lock R/W count is not saved, but released in unlock (not canceled remotely),
  44  * instead only a refcount is taken, so that the remote MDT where the object
  45  * resides can detect conflict with this lock there.
  46  *
  47  * \param lut target
  48  * \param lock cross-MDT lock to save
  49  * \param transno when the transaction with this transno is committed, this lock
  50  *                can be canceled.
  51  */
  52 void tgt_save_slc_lock(struct lu_target *lut, struct ldlm_lock *lock,
  53                        __u64 transno)
  54 {
  55         spin_lock(&lut->lut_slc_locks_guard);
  56         lock_res_and_lock(lock);
  57         if (ldlm_is_cbpending(lock)) {
  58                 /* if it was canceld by server, don't save, because remote MDT
  59                  * will do Sync-on-Cancel. */
  60                 LDLM_LOCK_PUT(lock);
  61         } else {
  62                 lock->l_transno = transno;
  63                 /* if this lock is in the list already, there are two operations
  64                  * both use this lock, and save it after use, so for the second
  65                  * one, just put the refcount. */
  66                 if (list_empty(&lock->l_slc_link))
  67                         list_add_tail(&lock->l_slc_link, &lut->lut_slc_locks);
  68                 else
  69                         LDLM_LOCK_PUT(lock);
  70         }
  71         unlock_res_and_lock(lock);
  72         spin_unlock(&lut->lut_slc_locks_guard);
  73 }
  74 EXPORT_SYMBOL(tgt_save_slc_lock);
  75
  76 /*
  77  * Discard cross-MDT lock from lut_slc_locks.
  78  *
  79  * This is called upon BAST, just remove lock from lut_slc_locks and put lock
  80  * refcount. The BAST will cancel this lock.
  81  *
  82  * \param lut target
  83  * \param lock cross-MDT lock to discard
  84  */
  85 void tgt_discard_slc_lock(struct lu_target *lut, struct ldlm_lock *lock)
  86 {
  87         spin_lock(&lut->lut_slc_locks_guard);
  88         lock_res_and_lock(lock);
  89         /* may race with tgt_cancel_slc_locks() */
  90         if (lock->l_transno != 0) {
  91                 LASSERT(!list_empty(&lock->l_slc_link));
  92                 LASSERT(ldlm_is_cbpending(lock));
  93                 list_del_init(&lock->l_slc_link);
  94                 lock->l_transno = 0;
  95                 LDLM_LOCK_PUT(lock);
  96         }
  97         unlock_res_and_lock(lock);
  98         spin_unlock(&lut->lut_slc_locks_guard);
  99 }
 100 EXPORT_SYMBOL(tgt_discard_slc_lock);
 101
 102 /*
 103  * Cancel cross-MDT locks upon transaction commit.
 104  *
 105  * Remove cross-MDT locks from lut_slc_locks, cancel them and put lock refcount.
 106  *
 107  * \param lut target
 108  * \param transno transaction with this number was committed.
 109  */
 110 void tgt_cancel_slc_locks(struct lu_target *lut, __u64 transno)
 111 {
 112         struct ldlm_lock *lock, *next;
 113         LIST_HEAD(list);
 114         struct lustre_handle lockh;
 115
 116         spin_lock(&lut->lut_slc_locks_guard);
 117         list_for_each_entry_safe(lock, next, &lut->lut_slc_locks,
 118                                  l_slc_link) {
 119                 lock_res_and_lock(lock);
 120                 LASSERT(lock->l_transno != 0);
 121                 if (lock->l_transno > transno) {
 122                         unlock_res_and_lock(lock);
 123                         continue;
 124                 }
 125                 /* ouch, another operation is using it after it's saved */
 126                 if (lock->l_readers != 0 || lock->l_writers != 0) {
 127                         unlock_res_and_lock(lock);
 128                         continue;
 129                 }
 130                 /* set CBPENDING so that this lock won't be used again */
 131                 ldlm_set_cbpending(lock);
 132                 lock->l_transno = 0;
 133                 list_move(&lock->l_slc_link, &list);
 134                 unlock_res_and_lock(lock);
 135         }
 136         spin_unlock(&lut->lut_slc_locks_guard);
 137
 138         list_for_each_entry_safe(lock, next, &list, l_slc_link) {
 139                 list_del_init(&lock->l_slc_link);
 140                 ldlm_lock2handle(lock, &lockh);
 141                 ldlm_cli_cancel(&lockh, LCF_ASYNC);
 142                 LDLM_LOCK_PUT(lock);
 143         }
 144 }
 145
 146 int tgt_init(const struct lu_env *env, struct lu_target *lut,
 147              struct obd_device *obd, struct dt_device *dt,
 148              struct tgt_opc_slice *slice, int request_fail_id,
 149              int reply_fail_id)
 150 {
 151         struct dt_object_format  dof;
 152         struct lu_attr           attr;
 153         struct lu_fid            fid;
 154         struct dt_object        *o;
 155         struct tg_grants_data   *tgd = &lut->lut_tgd;
 156         struct obd_statfs       *osfs;
 157         int i, rc = 0;
 158
 159         ENTRY;
 160
 161         LASSERT(lut);
 162         LASSERT(obd);
 163         lut->lut_obd = obd;
 164         lut->lut_bottom = dt;
 165         lut->lut_last_rcvd = NULL;
 166         lut->lut_client_bitmap = NULL;
 167         atomic_set(&lut->lut_num_clients, 0);
 168         atomic_set(&lut->lut_client_generation, 0);
 169         lut->lut_reply_data = NULL;
 170         lut->lut_reply_bitmap = NULL;
 171         obd->u.obt.obt_lut = lut;
 172         obd->u.obt.obt_magic = OBT_MAGIC;
 173
 174         /* set request handler slice and parameters */
 175         lut->lut_slice = slice;
 176         lut->lut_reply_fail_id = reply_fail_id;
 177         lut->lut_request_fail_id = request_fail_id;
 178
 179         /* sptlrcp variables init */
 180         rwlock_init(&lut->lut_sptlrpc_lock);
 181         sptlrpc_rule_set_init(&lut->lut_sptlrpc_rset);
 182
 183         spin_lock_init(&lut->lut_flags_lock);
 184         lut->lut_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
 185
 186         spin_lock_init(&lut->lut_slc_locks_guard);
 187         INIT_LIST_HEAD(&lut->lut_slc_locks);
 188
 189         /* last_rcvd initialization is needed by replayable targets only */
 190         if (!obd->obd_replayable)
 191                 RETURN(0);
 192
 193         /* initialize grant and statfs data in target */
 194         dt_conf_get(env, lut->lut_bottom, &lut->lut_dt_conf);
 195
 196         /* statfs data */
 197         spin_lock_init(&tgd->tgd_osfs_lock);
 198         tgd->tgd_osfs_age = cfs_time_shift_64(-1000);
 199         tgd->tgd_osfs_unstable = 0;
 200         tgd->tgd_statfs_inflight = 0;
 201         tgd->tgd_osfs_inflight = 0;
 202
 203         /* grant data */
 204         spin_lock_init(&tgd->tgd_grant_lock);
 205         tgd->tgd_tot_dirty = 0;
 206         tgd->tgd_tot_granted = 0;
 207         tgd->tgd_tot_pending = 0;
 208         tgd->tgd_grant_compat_disable = 0;
 209
 210         /* populate cached statfs data */
 211         osfs = &tgt_th_info(env)->tti_u.osfs;
 212         rc = tgt_statfs_internal(env, lut, osfs, 0, NULL);
 213         if (rc != 0) {
 214                 CERROR("%s: can't get statfs data, rc %d\n", tgt_name(lut),
 215                         rc);
 216                 GOTO(out, rc);
 217         }
 218         if (!is_power_of_2(osfs->os_bsize)) {
 219                 CERROR("%s: blocksize (%d) is not a power of 2\n",
 220                         tgt_name(lut), osfs->os_bsize);
 221                 GOTO(out, rc = -EPROTO);
 222         }
 223         tgd->tgd_blockbits = fls(osfs->os_bsize) - 1;
 224
 225         spin_lock_init(&lut->lut_translock);
 226         spin_lock_init(&lut->lut_client_bitmap_lock);
 227
 228         OBD_ALLOC(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
 229         if (lut->lut_client_bitmap == NULL)
 230                 RETURN(-ENOMEM);
 231
 232         memset(&attr, 0, sizeof(attr));
 233         attr.la_valid = LA_MODE;
 234         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
 235         dof.dof_type = dt_mode_to_dft(S_IFREG);
 236
 237         lu_local_obj_fid(&fid, LAST_RECV_OID);
 238
 239         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
 240         if (IS_ERR(o)) {
 241                 rc = PTR_ERR(o);
 242                 CERROR("%s: cannot open LAST_RCVD: rc = %d\n", tgt_name(lut),
 243                        rc);
 244                 GOTO(out_put, rc);
 245         }
 246
 247         lut->lut_last_rcvd = o;
 248         rc = tgt_server_data_init(env, lut);
 249         if (rc < 0)
 250                 GOTO(out_put, rc);
 251
 252         /* prepare transactions callbacks */
 253         lut->lut_txn_cb.dtc_txn_start = tgt_txn_start_cb;
 254         lut->lut_txn_cb.dtc_txn_stop = tgt_txn_stop_cb;
 255         lut->lut_txn_cb.dtc_txn_commit = NULL;
 256         lut->lut_txn_cb.dtc_cookie = lut;
 257         lut->lut_txn_cb.dtc_tag = LCT_DT_THREAD | LCT_MD_THREAD;
 258         INIT_LIST_HEAD(&lut->lut_txn_cb.dtc_linkage);
 259
 260         dt_txn_callback_add(lut->lut_bottom, &lut->lut_txn_cb);
 261         lut->lut_bottom->dd_lu_dev.ld_site->ls_tgt = lut;
 262
 263         /* reply_data is supported by MDT targets only for now */
 264         if (strncmp(obd->obd_type->typ_name, LUSTRE_MDT_NAME, 3) != 0)
 265                 RETURN(0);
 266
 267         OBD_ALLOC(lut->lut_reply_bitmap,
 268                   LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 269         if (lut->lut_reply_bitmap == NULL)
 270                 GOTO(out, rc = -ENOMEM);
 271
 272         memset(&attr, 0, sizeof(attr));
 273         attr.la_valid = LA_MODE;
 274         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
 275         dof.dof_type = dt_mode_to_dft(S_IFREG);
 276
 277         lu_local_obj_fid(&fid, REPLY_DATA_OID);
 278
 279         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
 280         if (IS_ERR(o)) {
 281                 rc = PTR_ERR(o);
 282                 CERROR("%s: cannot open REPLY_DATA: rc = %d\n", tgt_name(lut),
 283                        rc);
 284                 GOTO(out, rc);
 285         }
 286         lut->lut_reply_data = o;
 287
 288         rc = tgt_reply_data_init(env, lut);
 289         if (rc < 0)
 290                 GOTO(out, rc);
 291
 292         atomic_set(&lut->lut_sync_count, 0);
 293
 294         RETURN(0);
 295
 296 out:
 297         dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
 298 out_put:
 299         obd->u.obt.obt_magic = 0;
 300         obd->u.obt.obt_lut = NULL;
 301         if (lut->lut_last_rcvd != NULL) {
 302                 dt_object_put(env, lut->lut_last_rcvd);
 303                 lut->lut_last_rcvd = NULL;
 304         }
 305         if (lut->lut_client_bitmap != NULL)
 306                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
 307         lut->lut_client_bitmap = NULL;
 308         if (lut->lut_reply_data != NULL)
 309                 dt_object_put(env, lut->lut_reply_data);
 310         lut->lut_reply_data = NULL;
 311         if (lut->lut_reply_bitmap != NULL) {
 312                 for (i = 0; i < LUT_REPLY_SLOTS_MAX_CHUNKS; i++) {
 313                         if (lut->lut_reply_bitmap[i] != NULL)
 314                                 OBD_FREE_LARGE(lut->lut_reply_bitmap[i],
 315                                     BITS_TO_LONGS(LUT_REPLY_SLOTS_PER_CHUNK) *
 316                                     sizeof(long));
 317                         lut->lut_reply_bitmap[i] = NULL;
 318                 }
 319                 OBD_FREE(lut->lut_reply_bitmap,
 320                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 321         }
 322         lut->lut_reply_bitmap = NULL;
 323         return rc;
 324 }
 325 EXPORT_SYMBOL(tgt_init);
 326
 327 void tgt_fini(const struct lu_env *env, struct lu_target *lut)
 328 {
 329         int i;
 330         int rc;
 331         ENTRY;
 332
 333         if (lut->lut_lsd.lsd_feature_incompat & OBD_INCOMPAT_MULTI_RPCS &&
 334             atomic_read(&lut->lut_num_clients) == 0) {
 335                 /* Clear MULTI RPCS incompatibility flag that prevents previous
 336                  * Lustre versions to mount a target with reply_data file */
 337                 lut->lut_lsd.lsd_feature_incompat &= ~OBD_INCOMPAT_MULTI_RPCS;
 338                 rc = tgt_server_data_update(env, lut, 1);
 339                 if (rc < 0)
 340                         CERROR("%s: unable to clear MULTI RPCS "
 341                                "incompatibility flag\n",
 342                                lut->lut_obd->obd_name);
 343         }
 344
 345         sptlrpc_rule_set_free(&lut->lut_sptlrpc_rset);
 346
 347         if (lut->lut_reply_data != NULL)
 348                 dt_object_put(env, lut->lut_reply_data);
 349         lut->lut_reply_data = NULL;
 350         if (lut->lut_reply_bitmap != NULL) {
 351                 for (i = 0; i < LUT_REPLY_SLOTS_MAX_CHUNKS; i++) {
 352                         if (lut->lut_reply_bitmap[i] != NULL)
 353                                 OBD_FREE_LARGE(lut->lut_reply_bitmap[i],
 354                                     BITS_TO_LONGS(LUT_REPLY_SLOTS_PER_CHUNK) *
 355                                     sizeof(long));
 356                         lut->lut_reply_bitmap[i] = NULL;
 357                 }
 358                 OBD_FREE(lut->lut_reply_bitmap,
 359                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
 360         }
 361         lut->lut_reply_bitmap = NULL;
 362         if (lut->lut_client_bitmap) {
 363                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
 364                 lut->lut_client_bitmap = NULL;
 365         }
 366         if (lut->lut_last_rcvd) {
 367                 dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
 368                 dt_object_put(env, lut->lut_last_rcvd);
 369                 lut->lut_last_rcvd = NULL;
 370         }
 371         EXIT;
 372 }
 373 EXPORT_SYMBOL(tgt_fini);
 374
 375 static struct kmem_cache *tgt_thread_kmem;
 376 static struct kmem_cache *tgt_session_kmem;
 377 static struct lu_kmem_descr tgt_caches[] = {
 378         {
 379                 .ckd_cache = &tgt_thread_kmem,
 380                 .ckd_name  = "tgt_thread_kmem",
 381                 .ckd_size  = sizeof(struct tgt_thread_info),
 382         },
 383         {
 384                 .ckd_cache = &tgt_session_kmem,
 385                 .ckd_name  = "tgt_session_kmem",
 386                 .ckd_size  = sizeof(struct tgt_session_info)
 387         },
 388         {
 389                 .ckd_cache = NULL
 390         }
 391 };
 392
 393
 394 /* context key constructor/destructor: tg_key_init, tg_key_fini */
 395 static void *tgt_key_init(const struct lu_context *ctx,
 396                                   struct lu_context_key *key)
 397 {
 398         struct tgt_thread_info *thread;
 399
 400         OBD_SLAB_ALLOC_PTR_GFP(thread, tgt_thread_kmem, GFP_NOFS);
 401         if (thread == NULL)
 402                 return ERR_PTR(-ENOMEM);
 403
 404         return thread;
 405 }
 406
 407 static void tgt_key_fini(const struct lu_context *ctx,
 408                          struct lu_context_key *key, void *data)
 409 {
 410         struct tgt_thread_info          *info = data;
 411         struct thandle_exec_args        *args = &info->tti_tea;
 412         int                             i;
 413
 414         for (i = 0; i < args->ta_alloc_args; i++) {
 415                 if (args->ta_args[i] != NULL)
 416                         OBD_FREE_PTR(args->ta_args[i]);
 417         }
 418
 419         if (args->ta_args != NULL)
 420                 OBD_FREE(args->ta_args, sizeof(args->ta_args[0]) *
 421                                         args->ta_alloc_args);
 422         OBD_SLAB_FREE_PTR(info, tgt_thread_kmem);
 423 }
 424
 425 static void tgt_key_exit(const struct lu_context *ctx,
 426                          struct lu_context_key *key, void *data)
 427 {
 428         struct tgt_thread_info *tti = data;
 429
 430         tti->tti_has_trans = 0;
 431         tti->tti_mult_trans = 0;
 432 }
 433
 434 /* context key: tg_thread_key */
 435 struct lu_context_key tgt_thread_key = {
 436         .lct_tags = LCT_MD_THREAD | LCT_DT_THREAD,
 437         .lct_init = tgt_key_init,
 438         .lct_fini = tgt_key_fini,
 439         .lct_exit = tgt_key_exit,
 440 };
 441
 442 LU_KEY_INIT_GENERIC(tgt);
 443
 444 static void *tgt_ses_key_init(const struct lu_context *ctx,
 445                               struct lu_context_key *key)
 446 {
 447         struct tgt_session_info *session;
 448
 449         OBD_SLAB_ALLOC_PTR_GFP(session, tgt_session_kmem, GFP_NOFS);
 450         if (session == NULL)
 451                 return ERR_PTR(-ENOMEM);
 452
 453         return session;
 454 }
 455
 456 static void tgt_ses_key_fini(const struct lu_context *ctx,
 457                              struct lu_context_key *key, void *data)
 458 {
 459         struct tgt_session_info *session = data;
 460
 461         OBD_SLAB_FREE_PTR(session, tgt_session_kmem);
 462 }
 463
 464 /* context key: tgt_session_key */
 465 struct lu_context_key tgt_session_key = {
 466         .lct_tags = LCT_SERVER_SESSION,
 467         .lct_init = tgt_ses_key_init,
 468         .lct_fini = tgt_ses_key_fini,
 469 };
 470 EXPORT_SYMBOL(tgt_session_key);
 471
 472 LU_KEY_INIT_GENERIC(tgt_ses);
 473
 474 /*
 475  * this page is allocated statically when module is initializing
 476  * it is used to simulate data corruptions, see ost_checksum_bulk()
 477  * for details. as the original pages provided by the layers below
 478  * can be remain in the internal cache, we do not want to modify
 479  * them.
 480  */
 481 struct page *tgt_page_to_corrupt;
 482
 483 int tgt_mod_init(void)
 484 {
 485         int     result;
 486         ENTRY;
 487
 488         result = lu_kmem_init(tgt_caches);
 489         if (result != 0)
 490                 RETURN(result);
 491
 492         tgt_page_to_corrupt = alloc_page(GFP_KERNEL);
 493
 494         tgt_key_init_generic(&tgt_thread_key, NULL);
 495         lu_context_key_register_many(&tgt_thread_key, NULL);
 496
 497         tgt_ses_key_init_generic(&tgt_session_key, NULL);
 498         lu_context_key_register_many(&tgt_session_key, NULL);
 499         barrier_init();
 500
 501         update_info_init();
 502
 503         RETURN(0);
 504 }
 505
 506 void tgt_mod_exit(void)
 507 {
 508         barrier_fini();
 509         if (tgt_page_to_corrupt != NULL)
 510                 put_page(tgt_page_to_corrupt);
 511
 512         lu_context_key_degister(&tgt_thread_key);
 513         lu_context_key_degister(&tgt_session_key);
 514         update_info_fini();
 515
 516         lu_kmem_fini(tgt_caches);
 517 }
 518