Whamcloud - gitweb
448cd2ee32588cc54162f94753508c14b72f78e8
[fs/lustre-release.git] / lustre / target / tgt_main.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; if not, write to the
18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
19  * Boston, MA 021110-1307, USA
20  *
21  * GPL HEADER END
22  */
23 /*
24  * Copyright (c) 2012, 2017, Intel Corporation.
25  */
26 /*
27  * lustre/target/tgt_main.c
28  *
29  * Lustre Unified Target main initialization code
30  *
31  * Author: Mikhail Pershin <mike.pershin@intel.com>
32  */
33
34 #define DEBUG_SUBSYSTEM S_CLASS
35
36 #include <obd.h>
37 #include "tgt_internal.h"
38 #include "../ptlrpc/ptlrpc_internal.h"
39
40 /*
41  * Save cross-MDT lock in lut_slc_locks.
42  *
43  * Lock R/W count is not saved, but released in unlock (not canceled remotely),
44  * instead only a refcount is taken, so that the remote MDT where the object
45  * resides can detect conflict with this lock there.
46  *
47  * \param lut target
48  * \param lock cross-MDT lock to save
49  * \param transno when the transaction with this transno is committed, this lock
50  *                can be canceled.
51  */
52 void tgt_save_slc_lock(struct lu_target *lut, struct ldlm_lock *lock,
53                        __u64 transno)
54 {
55         spin_lock(&lut->lut_slc_locks_guard);
56         lock_res_and_lock(lock);
57         if (ldlm_is_cbpending(lock)) {
58                 /* if it was canceld by server, don't save, because remote MDT
59                  * will do Sync-on-Cancel. */
60                 LDLM_LOCK_PUT(lock);
61         } else {
62                 lock->l_transno = transno;
63                 /* if this lock is in the list already, there are two operations
64                  * both use this lock, and save it after use, so for the second
65                  * one, just put the refcount. */
66                 if (list_empty(&lock->l_slc_link))
67                         list_add_tail(&lock->l_slc_link, &lut->lut_slc_locks);
68                 else
69                         LDLM_LOCK_PUT(lock);
70         }
71         unlock_res_and_lock(lock);
72         spin_unlock(&lut->lut_slc_locks_guard);
73 }
74 EXPORT_SYMBOL(tgt_save_slc_lock);
75
76 /*
77  * Discard cross-MDT lock from lut_slc_locks.
78  *
79  * This is called upon BAST, just remove lock from lut_slc_locks and put lock
80  * refcount. The BAST will cancel this lock.
81  *
82  * \param lut target
83  * \param lock cross-MDT lock to discard
84  */
85 void tgt_discard_slc_lock(struct lu_target *lut, struct ldlm_lock *lock)
86 {
87         spin_lock(&lut->lut_slc_locks_guard);
88         lock_res_and_lock(lock);
89         /* may race with tgt_cancel_slc_locks() */
90         if (lock->l_transno != 0) {
91                 LASSERT(!list_empty(&lock->l_slc_link));
92                 LASSERT(ldlm_is_cbpending(lock));
93                 list_del_init(&lock->l_slc_link);
94                 lock->l_transno = 0;
95                 LDLM_LOCK_PUT(lock);
96         }
97         unlock_res_and_lock(lock);
98         spin_unlock(&lut->lut_slc_locks_guard);
99 }
100 EXPORT_SYMBOL(tgt_discard_slc_lock);
101
102 /*
103  * Cancel cross-MDT locks upon transaction commit.
104  *
105  * Remove cross-MDT locks from lut_slc_locks, cancel them and put lock refcount.
106  *
107  * \param lut target
108  * \param transno transaction with this number was committed.
109  */
110 void tgt_cancel_slc_locks(struct lu_target *lut, __u64 transno)
111 {
112         struct ldlm_lock *lock, *next;
113         LIST_HEAD(list);
114         struct lustre_handle lockh;
115
116         spin_lock(&lut->lut_slc_locks_guard);
117         list_for_each_entry_safe(lock, next, &lut->lut_slc_locks,
118                                  l_slc_link) {
119                 lock_res_and_lock(lock);
120                 LASSERT(lock->l_transno != 0);
121                 if (lock->l_transno > transno) {
122                         unlock_res_and_lock(lock);
123                         continue;
124                 }
125                 /* ouch, another operation is using it after it's saved */
126                 if (lock->l_readers != 0 || lock->l_writers != 0) {
127                         unlock_res_and_lock(lock);
128                         continue;
129                 }
130                 /* set CBPENDING so that this lock won't be used again */
131                 ldlm_set_cbpending(lock);
132                 lock->l_transno = 0;
133                 list_move(&lock->l_slc_link, &list);
134                 unlock_res_and_lock(lock);
135         }
136         spin_unlock(&lut->lut_slc_locks_guard);
137
138         list_for_each_entry_safe(lock, next, &list, l_slc_link) {
139                 list_del_init(&lock->l_slc_link);
140                 ldlm_lock2handle(lock, &lockh);
141                 ldlm_cli_cancel(&lockh, LCF_ASYNC);
142                 LDLM_LOCK_PUT(lock);
143         }
144 }
145
146 int tgt_init(const struct lu_env *env, struct lu_target *lut,
147              struct obd_device *obd, struct dt_device *dt,
148              struct tgt_opc_slice *slice, int request_fail_id,
149              int reply_fail_id)
150 {
151         struct dt_object_format  dof;
152         struct lu_attr           attr;
153         struct lu_fid            fid;
154         struct dt_object        *o;
155         struct tg_grants_data   *tgd = &lut->lut_tgd;
156         struct obd_statfs       *osfs;
157         int i, rc = 0;
158
159         ENTRY;
160
161         LASSERT(lut);
162         LASSERT(obd);
163         lut->lut_obd = obd;
164         lut->lut_bottom = dt;
165         lut->lut_last_rcvd = NULL;
166         lut->lut_client_bitmap = NULL;
167         atomic_set(&lut->lut_num_clients, 0);
168         atomic_set(&lut->lut_client_generation, 0);
169         lut->lut_reply_data = NULL;
170         lut->lut_reply_bitmap = NULL;
171         obd->u.obt.obt_lut = lut;
172         obd->u.obt.obt_magic = OBT_MAGIC;
173
174         /* set request handler slice and parameters */
175         lut->lut_slice = slice;
176         lut->lut_reply_fail_id = reply_fail_id;
177         lut->lut_request_fail_id = request_fail_id;
178
179         /* sptlrcp variables init */
180         rwlock_init(&lut->lut_sptlrpc_lock);
181         sptlrpc_rule_set_init(&lut->lut_sptlrpc_rset);
182
183         spin_lock_init(&lut->lut_flags_lock);
184         lut->lut_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
185
186         spin_lock_init(&lut->lut_slc_locks_guard);
187         INIT_LIST_HEAD(&lut->lut_slc_locks);
188
189         /* last_rcvd initialization is needed by replayable targets only */
190         if (!obd->obd_replayable)
191                 RETURN(0);
192
193         /* initialize grant and statfs data in target */
194         dt_conf_get(env, lut->lut_bottom, &lut->lut_dt_conf);
195
196         /* statfs data */
197         spin_lock_init(&tgd->tgd_osfs_lock);
198         tgd->tgd_osfs_age = ktime_get_seconds() - 1000;
199         tgd->tgd_osfs_unstable = 0;
200         tgd->tgd_statfs_inflight = 0;
201         tgd->tgd_osfs_inflight = 0;
202
203         /* grant data */
204         spin_lock_init(&tgd->tgd_grant_lock);
205         tgd->tgd_tot_dirty = 0;
206         tgd->tgd_tot_granted = 0;
207         tgd->tgd_tot_pending = 0;
208         tgd->tgd_grant_compat_disable = 0;
209
210         /* populate cached statfs data */
211         osfs = &tgt_th_info(env)->tti_u.osfs;
212         rc = tgt_statfs_internal(env, lut, osfs, 0, NULL);
213         if (rc != 0) {
214                 CERROR("%s: can't get statfs data, rc %d\n", tgt_name(lut),
215                         rc);
216                 GOTO(out, rc);
217         }
218         if (!is_power_of_2(osfs->os_bsize)) {
219                 CERROR("%s: blocksize (%d) is not a power of 2\n",
220                         tgt_name(lut), osfs->os_bsize);
221                 GOTO(out, rc = -EPROTO);
222         }
223         tgd->tgd_blockbits = fls(osfs->os_bsize) - 1;
224
225         spin_lock_init(&lut->lut_translock);
226         spin_lock_init(&lut->lut_client_bitmap_lock);
227
228         OBD_ALLOC(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
229         if (lut->lut_client_bitmap == NULL)
230                 RETURN(-ENOMEM);
231
232         memset(&attr, 0, sizeof(attr));
233         attr.la_valid = LA_MODE;
234         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
235         dof.dof_type = dt_mode_to_dft(S_IFREG);
236
237         lu_local_obj_fid(&fid, LAST_RECV_OID);
238
239         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
240         if (IS_ERR(o)) {
241                 rc = PTR_ERR(o);
242                 CERROR("%s: cannot open LAST_RCVD: rc = %d\n", tgt_name(lut),
243                        rc);
244                 GOTO(out_put, rc);
245         }
246
247         lut->lut_last_rcvd = o;
248         rc = tgt_server_data_init(env, lut);
249         if (rc < 0)
250                 GOTO(out_put, rc);
251
252         /* prepare transactions callbacks */
253         lut->lut_txn_cb.dtc_txn_start = tgt_txn_start_cb;
254         lut->lut_txn_cb.dtc_txn_stop = tgt_txn_stop_cb;
255         lut->lut_txn_cb.dtc_txn_commit = NULL;
256         lut->lut_txn_cb.dtc_cookie = lut;
257         lut->lut_txn_cb.dtc_tag = LCT_DT_THREAD | LCT_MD_THREAD;
258         INIT_LIST_HEAD(&lut->lut_txn_cb.dtc_linkage);
259
260         dt_txn_callback_add(lut->lut_bottom, &lut->lut_txn_cb);
261         lut->lut_bottom->dd_lu_dev.ld_site->ls_tgt = lut;
262
263         /* reply_data is supported by MDT targets only for now */
264         if (strncmp(obd->obd_type->typ_name, LUSTRE_MDT_NAME, 3) != 0)
265                 RETURN(0);
266
267         OBD_ALLOC(lut->lut_reply_bitmap,
268                   LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
269         if (lut->lut_reply_bitmap == NULL)
270                 GOTO(out, rc = -ENOMEM);
271
272         memset(&attr, 0, sizeof(attr));
273         attr.la_valid = LA_MODE;
274         attr.la_mode = S_IFREG | S_IRUGO | S_IWUSR;
275         dof.dof_type = dt_mode_to_dft(S_IFREG);
276
277         lu_local_obj_fid(&fid, REPLY_DATA_OID);
278
279         o = dt_find_or_create(env, lut->lut_bottom, &fid, &dof, &attr);
280         if (IS_ERR(o)) {
281                 rc = PTR_ERR(o);
282                 CERROR("%s: cannot open REPLY_DATA: rc = %d\n", tgt_name(lut),
283                        rc);
284                 GOTO(out, rc);
285         }
286         lut->lut_reply_data = o;
287
288         rc = tgt_reply_data_init(env, lut);
289         if (rc < 0)
290                 GOTO(out, rc);
291
292         atomic_set(&lut->lut_sync_count, 0);
293
294         RETURN(0);
295
296 out:
297         dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
298 out_put:
299         obd->u.obt.obt_magic = 0;
300         obd->u.obt.obt_lut = NULL;
301         if (lut->lut_last_rcvd != NULL) {
302                 dt_object_put(env, lut->lut_last_rcvd);
303                 lut->lut_last_rcvd = NULL;
304         }
305         if (lut->lut_client_bitmap != NULL)
306                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
307         lut->lut_client_bitmap = NULL;
308         if (lut->lut_reply_data != NULL)
309                 dt_object_put(env, lut->lut_reply_data);
310         lut->lut_reply_data = NULL;
311         if (lut->lut_reply_bitmap != NULL) {
312                 for (i = 0; i < LUT_REPLY_SLOTS_MAX_CHUNKS; i++) {
313                         if (lut->lut_reply_bitmap[i] != NULL)
314                                 OBD_FREE_LARGE(lut->lut_reply_bitmap[i],
315                                     BITS_TO_LONGS(LUT_REPLY_SLOTS_PER_CHUNK) *
316                                     sizeof(long));
317                         lut->lut_reply_bitmap[i] = NULL;
318                 }
319                 OBD_FREE(lut->lut_reply_bitmap,
320                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
321         }
322         lut->lut_reply_bitmap = NULL;
323         return rc;
324 }
325 EXPORT_SYMBOL(tgt_init);
326
327 void tgt_fini(const struct lu_env *env, struct lu_target *lut)
328 {
329         int i;
330         int rc;
331         ENTRY;
332
333         if (lut->lut_lsd.lsd_feature_incompat & OBD_INCOMPAT_MULTI_RPCS &&
334             atomic_read(&lut->lut_num_clients) == 0) {
335                 /* Clear MULTI RPCS incompatibility flag that prevents previous
336                  * Lustre versions to mount a target with reply_data file */
337                 lut->lut_lsd.lsd_feature_incompat &= ~OBD_INCOMPAT_MULTI_RPCS;
338                 rc = tgt_server_data_update(env, lut, 1);
339                 if (rc < 0)
340                         CERROR("%s: unable to clear MULTI RPCS "
341                                "incompatibility flag\n",
342                                lut->lut_obd->obd_name);
343         }
344
345         sptlrpc_rule_set_free(&lut->lut_sptlrpc_rset);
346
347         if (lut->lut_reply_data != NULL)
348                 dt_object_put(env, lut->lut_reply_data);
349         lut->lut_reply_data = NULL;
350         if (lut->lut_reply_bitmap != NULL) {
351                 for (i = 0; i < LUT_REPLY_SLOTS_MAX_CHUNKS; i++) {
352                         if (lut->lut_reply_bitmap[i] != NULL)
353                                 OBD_FREE_LARGE(lut->lut_reply_bitmap[i],
354                                     BITS_TO_LONGS(LUT_REPLY_SLOTS_PER_CHUNK) *
355                                     sizeof(long));
356                         lut->lut_reply_bitmap[i] = NULL;
357                 }
358                 OBD_FREE(lut->lut_reply_bitmap,
359                          LUT_REPLY_SLOTS_MAX_CHUNKS * sizeof(unsigned long *));
360         }
361         lut->lut_reply_bitmap = NULL;
362         if (lut->lut_client_bitmap) {
363                 OBD_FREE(lut->lut_client_bitmap, LR_MAX_CLIENTS >> 3);
364                 lut->lut_client_bitmap = NULL;
365         }
366         if (lut->lut_last_rcvd) {
367                 dt_txn_callback_del(lut->lut_bottom, &lut->lut_txn_cb);
368                 dt_object_put(env, lut->lut_last_rcvd);
369                 lut->lut_last_rcvd = NULL;
370         }
371         EXIT;
372 }
373 EXPORT_SYMBOL(tgt_fini);
374
375 static struct kmem_cache *tgt_thread_kmem;
376 static struct kmem_cache *tgt_session_kmem;
377 static struct lu_kmem_descr tgt_caches[] = {
378         {
379                 .ckd_cache = &tgt_thread_kmem,
380                 .ckd_name  = "tgt_thread_kmem",
381                 .ckd_size  = sizeof(struct tgt_thread_info),
382         },
383         {
384                 .ckd_cache = &tgt_session_kmem,
385                 .ckd_name  = "tgt_session_kmem",
386                 .ckd_size  = sizeof(struct tgt_session_info)
387         },
388         {
389                 .ckd_cache = NULL
390         }
391 };
392
393
394 /* context key constructor/destructor: tg_key_init, tg_key_fini */
395 static void *tgt_key_init(const struct lu_context *ctx,
396                                   struct lu_context_key *key)
397 {
398         struct tgt_thread_info *thread;
399
400         OBD_SLAB_ALLOC_PTR_GFP(thread, tgt_thread_kmem, GFP_NOFS);
401         if (thread == NULL)
402                 return ERR_PTR(-ENOMEM);
403
404         return thread;
405 }
406
407 static void tgt_key_fini(const struct lu_context *ctx,
408                          struct lu_context_key *key, void *data)
409 {
410         struct tgt_thread_info          *info = data;
411         struct thandle_exec_args        *args = &info->tti_tea;
412         int                             i;
413
414         for (i = 0; i < args->ta_alloc_args; i++) {
415                 if (args->ta_args[i] != NULL)
416                         OBD_FREE_PTR(args->ta_args[i]);
417         }
418
419         if (args->ta_args != NULL)
420                 OBD_FREE(args->ta_args, sizeof(args->ta_args[0]) *
421                                         args->ta_alloc_args);
422         OBD_SLAB_FREE_PTR(info, tgt_thread_kmem);
423 }
424
425 static void tgt_key_exit(const struct lu_context *ctx,
426                          struct lu_context_key *key, void *data)
427 {
428         struct tgt_thread_info *tti = data;
429
430         tti->tti_has_trans = 0;
431         tti->tti_mult_trans = 0;
432 }
433
434 /* context key: tg_thread_key */
435 struct lu_context_key tgt_thread_key = {
436         .lct_tags = LCT_MD_THREAD | LCT_DT_THREAD,
437         .lct_init = tgt_key_init,
438         .lct_fini = tgt_key_fini,
439         .lct_exit = tgt_key_exit,
440 };
441
442 LU_KEY_INIT_GENERIC(tgt);
443
444 static void *tgt_ses_key_init(const struct lu_context *ctx,
445                               struct lu_context_key *key)
446 {
447         struct tgt_session_info *session;
448
449         OBD_SLAB_ALLOC_PTR_GFP(session, tgt_session_kmem, GFP_NOFS);
450         if (session == NULL)
451                 return ERR_PTR(-ENOMEM);
452
453         return session;
454 }
455
456 static void tgt_ses_key_fini(const struct lu_context *ctx,
457                              struct lu_context_key *key, void *data)
458 {
459         struct tgt_session_info *session = data;
460
461         OBD_SLAB_FREE_PTR(session, tgt_session_kmem);
462 }
463
464 /* context key: tgt_session_key */
465 struct lu_context_key tgt_session_key = {
466         .lct_tags = LCT_SERVER_SESSION,
467         .lct_init = tgt_ses_key_init,
468         .lct_fini = tgt_ses_key_fini,
469 };
470 EXPORT_SYMBOL(tgt_session_key);
471
472 LU_KEY_INIT_GENERIC(tgt_ses);
473
474 /*
475  * this page is allocated statically when module is initializing
476  * it is used to simulate data corruptions, see ost_checksum_bulk()
477  * for details. as the original pages provided by the layers below
478  * can be remain in the internal cache, we do not want to modify
479  * them.
480  */
481 struct page *tgt_page_to_corrupt;
482
483 int tgt_mod_init(void)
484 {
485         int     result;
486         ENTRY;
487
488         result = lu_kmem_init(tgt_caches);
489         if (result != 0)
490                 RETURN(result);
491
492         tgt_page_to_corrupt = alloc_page(GFP_KERNEL);
493
494         tgt_key_init_generic(&tgt_thread_key, NULL);
495         lu_context_key_register_many(&tgt_thread_key, NULL);
496
497         tgt_ses_key_init_generic(&tgt_session_key, NULL);
498         lu_context_key_register_many(&tgt_session_key, NULL);
499         barrier_init();
500
501         update_info_init();
502
503         RETURN(0);
504 }
505
506 void tgt_mod_exit(void)
507 {
508         barrier_fini();
509         if (tgt_page_to_corrupt != NULL)
510                 put_page(tgt_page_to_corrupt);
511
512         lu_context_key_degister(&tgt_thread_key);
513         lu_context_key_degister(&tgt_session_key);
514         update_info_fini();
515
516         lu_kmem_fini(tgt_caches);
517 }
518