Whamcloud - gitweb
LU-3540 lod: update recovery thread
[fs/lustre-release.git] / lustre / include / lu_target.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
19  *
20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
21  * CA 95054 USA or visit www.sun.com if you need additional information or
22  * have any questions.
23  *
24  * GPL HEADER END
25  */
26 /*
27  * Copyright (c) 2009, 2010, Oracle and/or its affiliates. All rights reserved.
28  * Use is subject to license terms.
29  *
30  * Copyright (c) 2011, 2014, Intel Corporation.
31  */
32 /*
33  * This file is part of Lustre, http://www.lustre.org/
34  * Lustre is a trademark of Sun Microsystems, Inc.
35  */
36
37 #ifndef _LUSTRE_LU_TARGET_H
38 #define _LUSTRE_LU_TARGET_H
39
40 #include <dt_object.h>
41 #include <lustre_export.h>
42 #include <lustre_update.h>
43 #include <lustre_disk.h>
44 #include <lustre_lfsck.h>
45
46 /* Each one represents a distribute transaction replay
47  * operation, and updates on each MDTs are linked to
48  * dtr_sub_list */
49 struct distribute_txn_replay_req {
50         /* update record */
51         struct llog_update_record *dtrq_lur;
52         int                     dtrq_lur_size;
53
54         /* linked to the distribute transaction replay
55          * list (tdtd_replay_list) */
56         struct list_head        dtrq_list;
57
58         /* all of sub updates are linked here */
59         struct list_head        dtrq_sub_list;
60         spinlock_t              dtrq_sub_list_lock;
61 };
62
63 /* Each one represents a sub replay item under a distribute
64  * transaction. A distribute transaction will be operated in
65  * two or more MDTs, and updates on each MDT will be represented
66  * by this structure */
67 struct distribute_txn_replay_req_sub {
68         __u32                   dtrqs_mdt_index;
69         struct llog_cookie      dtrqs_llog_cookie;
70         struct list_head        dtrqs_list;
71 };
72
73 struct target_distribute_txn_data;
74 typedef int (*distribute_txn_replay_handler_t)(struct lu_env *env,
75                                        struct target_distribute_txn_data *tdtd,
76                                        struct distribute_txn_replay_req *dtrq);
77 struct target_distribute_txn_data {
78         /* Distribution ID is used to identify updates log on different
79          * MDTs for one operation */
80         spinlock_t              tdtd_batchid_lock;
81         __u64                   tdtd_batchid;
82         struct lu_target        *tdtd_lut;
83         struct dt_object        *tdtd_batchid_obj;
84         struct dt_device        *tdtd_dt;
85
86         /* Committed batchid for distribute transaction */
87         __u64                   tdtd_committed_batchid;
88
89         /* List for distribute transaction */
90         struct list_head        tdtd_list;
91
92         /* Threads to manage distribute transaction */
93         wait_queue_head_t       tdtd_commit_thread_waitq;
94         atomic_t                tdtd_refcount;
95
96         /* recovery update */
97         distribute_txn_replay_handler_t tdtd_replay_handler;
98         struct list_head                tdtd_replay_list;
99         spinlock_t                      tdtd_replay_list_lock;
100         /* last replay update transno */
101         __u64                           tdtd_last_update_transno;
102         __u32                           tdtd_replay_ready:1;
103
104 };
105
106 struct lu_target {
107         struct obd_device       *lut_obd;
108         struct dt_device        *lut_bottom;
109
110         struct target_distribute_txn_data *lut_tdtd;
111         struct ptlrpc_thread    lut_tdtd_commit_thread;
112
113         /* supported opcodes and handlers for this target */
114         struct tgt_opc_slice    *lut_slice;
115         __u32                    lut_reply_fail_id;
116         __u32                    lut_request_fail_id;
117
118         /* sptlrpc rules */
119         rwlock_t                 lut_sptlrpc_lock;
120         struct sptlrpc_rule_set  lut_sptlrpc_rset;
121         spinlock_t               lut_flags_lock;
122         int                      lut_sec_level;
123         unsigned int             lut_syncjournal:1,
124                                  lut_sync_lock_cancel:2,
125                                  /* e.g. OST node */
126                                  lut_no_reconstruct:1;
127         /** last_rcvd file */
128         struct dt_object        *lut_last_rcvd;
129         /* transaction callbacks */
130         struct dt_txn_callback   lut_txn_cb;
131         /** server data in last_rcvd file */
132         struct lr_server_data    lut_lsd;
133         /** Server last transaction number */
134         __u64                    lut_last_transno;
135         /** Lock protecting last transaction number */
136         spinlock_t               lut_translock;
137         /** Lock protecting client bitmap */
138         spinlock_t               lut_client_bitmap_lock;
139         /** Bitmap of known clients */
140         unsigned long           *lut_client_bitmap;
141 };
142
143 extern struct lu_context_key tgt_session_key;
144
145 struct tgt_session_info {
146         /*
147          * The following members will be filled explicitly
148          * with specific data in tgt_ses_init().
149          */
150         struct req_capsule      *tsi_pill;
151
152         /*
153          * Lock request for "habeo clavis" operations.
154          */
155         struct ldlm_request     *tsi_dlm_req;
156
157         /* although we have export in req, there are cases when it is not
158          * available, e.g. closing files upon export destroy */
159         struct obd_export       *tsi_exp;
160         const struct lu_env     *tsi_env;
161         struct lu_target        *tsi_tgt;
162
163         const struct mdt_body   *tsi_mdt_body;
164         struct ost_body         *tsi_ost_body;
165         struct lu_object        *tsi_corpus;
166
167         struct lu_fid            tsi_fid;
168         struct ldlm_res_id       tsi_resid;
169
170         /* object affected by VBR, for last_rcvd_update */
171         struct dt_object        *tsi_vbr_obj;
172         /* opdata for mdt_reint_open(), has the same value as
173          * ldlm_reply:lock_policy_res1.  The tgt_update_last_rcvd() stores
174          * this value onto disk for recovery when tgt_txn_stop_cb() is called.
175          */
176         __u64                    tsi_opdata;
177
178         /*
179          * Additional fail id that can be set by handler.
180          */
181         int                      tsi_reply_fail_id;
182         bool                     tsi_preprocessed;
183         /* request JobID */
184         char                    *tsi_jobid;
185 };
186
187 static inline struct tgt_session_info *tgt_ses_info(const struct lu_env *env)
188 {
189         struct tgt_session_info *tsi;
190
191         LASSERT(env->le_ses != NULL);
192         tsi = lu_context_key_get(env->le_ses, &tgt_session_key);
193         LASSERT(tsi);
194         return tsi;
195 }
196
197 static inline void tgt_vbr_obj_set(const struct lu_env *env,
198                                    struct dt_object *obj)
199 {
200         struct tgt_session_info *tsi;
201
202         if (env->le_ses != NULL) {
203                 tsi = tgt_ses_info(env);
204                 tsi->tsi_vbr_obj = obj;
205         }
206 }
207
208 static inline void tgt_opdata_set(const struct lu_env *env, __u64 flags)
209 {
210         struct tgt_session_info *tsi;
211
212         if (env->le_ses != NULL) {
213                 tsi = tgt_ses_info(env);
214                 tsi->tsi_opdata |= flags;
215         }
216 }
217
218 static inline void tgt_opdata_clear(const struct lu_env *env, __u64 flags)
219 {
220         struct tgt_session_info *tsi;
221
222         if (env->le_ses != NULL) {
223                 tsi = tgt_ses_info(env);
224                 tsi->tsi_opdata &= ~flags;
225         }
226 }
227
228 /*
229  * Generic unified target support.
230  */
231 enum tgt_handler_flags {
232         /*
233          * struct *_body is passed in the incoming message, and object
234          * identified by this fid exists on disk.
235          *                            *
236          * "habeo corpus" == "I have a body"
237          */
238         HABEO_CORPUS = (1 << 0),
239         /*
240          * struct ldlm_request is passed in the incoming message.
241          *
242          * "habeo clavis" == "I have a key"
243          *                                     */
244         HABEO_CLAVIS = (1 << 1),
245         /*
246          * this request has fixed reply format, so that reply message can be
247          * packed by generic code.
248          *
249          * "habeo refero" == "I have a reply"
250          */
251         HABEO_REFERO = (1 << 2),
252         /*
253          * this request will modify something, so check whether the file system
254          * is readonly or not, then return -EROFS to client asap if necessary.
255          *
256          * "mutabor" == "I shall modify"
257          */
258         MUTABOR      = (1 << 3)
259 };
260
261 struct tgt_handler {
262         /* The name of this handler. */
263         const char              *th_name;
264         /* Fail id, check at the beginning */
265         int                      th_fail_id;
266         /* Operation code */
267         __u32                    th_opc;
268         /* Flags in enum tgt_handler_flags */
269         __u32                    th_flags;
270         /* Request version for this opcode */
271         int                      th_version;
272         /* Handler function */
273         int                     (*th_act)(struct tgt_session_info *tsi);
274         /* Handler function for high priority requests */
275         void                    (*th_hp)(struct tgt_session_info *tsi);
276         /* Request format for this request */
277         const struct req_format *th_fmt;
278 };
279
280 struct tgt_opc_slice {
281         __u32                    tos_opc_start; /* First op code */
282         __u32                    tos_opc_end; /* Last op code */
283         struct tgt_handler      *tos_hs; /* Registered handler */
284 };
285
286 static inline struct ptlrpc_request *tgt_ses_req(struct tgt_session_info *tsi)
287 {
288         return tsi->tsi_pill ? tsi->tsi_pill->rc_req : NULL;
289 }
290
291 static inline __u64 tgt_conn_flags(struct tgt_session_info *tsi)
292 {
293         LASSERT(tsi->tsi_exp);
294         return exp_connect_flags(tsi->tsi_exp);
295 }
296
297 static inline int req_is_replay(struct ptlrpc_request *req)
298 {
299         LASSERT(req->rq_reqmsg);
300         return !!(lustre_msg_get_flags(req->rq_reqmsg) & MSG_REPLAY);
301 }
302
303 /* target/tgt_handler.c */
304 int tgt_request_handle(struct ptlrpc_request *req);
305 char *tgt_name(struct lu_target *tgt);
306 void tgt_counter_incr(struct obd_export *exp, int opcode);
307 int tgt_connect_check_sptlrpc(struct ptlrpc_request *req,
308                               struct obd_export *exp);
309 int tgt_adapt_sptlrpc_conf(struct lu_target *tgt, int initial);
310 int tgt_connect(struct tgt_session_info *tsi);
311 int tgt_disconnect(struct tgt_session_info *uti);
312 int tgt_obd_ping(struct tgt_session_info *tsi);
313 int tgt_enqueue(struct tgt_session_info *tsi);
314 int tgt_convert(struct tgt_session_info *tsi);
315 int tgt_bl_callback(struct tgt_session_info *tsi);
316 int tgt_cp_callback(struct tgt_session_info *tsi);
317 int tgt_llog_open(struct tgt_session_info *tsi);
318 int tgt_llog_close(struct tgt_session_info *tsi);
319 int tgt_llog_destroy(struct tgt_session_info *tsi);
320 int tgt_llog_read_header(struct tgt_session_info *tsi);
321 int tgt_llog_next_block(struct tgt_session_info *tsi);
322 int tgt_llog_prev_block(struct tgt_session_info *tsi);
323 int tgt_sec_ctx_init(struct tgt_session_info *tsi);
324 int tgt_sec_ctx_init_cont(struct tgt_session_info *tsi);
325 int tgt_sec_ctx_fini(struct tgt_session_info *tsi);
326 int tgt_sendpage(struct tgt_session_info *tsi, struct lu_rdpg *rdpg, int nob);
327 int tgt_validate_obdo(struct tgt_session_info *tsi, struct obdo *oa);
328 int tgt_sync(const struct lu_env *env, struct lu_target *tgt,
329              struct dt_object *obj, __u64 start, __u64 end);
330
331 int tgt_io_thread_init(struct ptlrpc_thread *thread);
332 void tgt_io_thread_done(struct ptlrpc_thread *thread);
333
334 int tgt_extent_lock(struct ldlm_namespace *ns, struct ldlm_res_id *res_id,
335                     __u64 start, __u64 end, struct lustre_handle *lh,
336                     int mode, __u64 *flags);
337 void tgt_extent_unlock(struct lustre_handle *lh, ldlm_mode_t mode);
338 int tgt_brw_lock(struct ldlm_namespace *ns, struct ldlm_res_id *res_id,
339                  struct obd_ioobj *obj, struct niobuf_remote *nb,
340                  struct lustre_handle *lh, int mode);
341 void tgt_brw_unlock(struct obd_ioobj *obj, struct niobuf_remote *niob,
342                     struct lustre_handle *lh, int mode);
343 int tgt_brw_read(struct tgt_session_info *tsi);
344 int tgt_brw_write(struct tgt_session_info *tsi);
345 int tgt_hpreq_handler(struct ptlrpc_request *req);
346 void tgt_register_lfsck_in_notify(int (*notify)(const struct lu_env *,
347                                                 struct dt_device *,
348                                                 struct lfsck_request *,
349                                                 struct thandle *));
350 void tgt_register_lfsck_query(int (*query)(const struct lu_env *,
351                                            struct dt_device *,
352                                            struct lfsck_request *));
353
354 extern struct tgt_handler tgt_sec_ctx_handlers[];
355 extern struct tgt_handler tgt_lfsck_handlers[];
356 extern struct tgt_handler tgt_obd_handlers[];
357 extern struct tgt_handler tgt_dlm_handlers[];
358 extern struct tgt_handler tgt_llog_handlers[];
359 extern struct tgt_handler tgt_out_handlers[];
360 extern struct tgt_handler fld_handlers[];
361 extern struct tgt_handler seq_handlers[];
362
363 typedef void (*tgt_cb_t)(struct lu_target *lut, __u64 transno,
364                          void *data, int err);
365 struct tgt_commit_cb {
366         tgt_cb_t  tgt_cb_func;
367         void     *tgt_cb_data;
368 };
369
370 int tgt_hpreq_handler(struct ptlrpc_request *req);
371
372 /* target/tgt_main.c */
373 void tgt_boot_epoch_update(struct lu_target *lut);
374 int tgt_last_commit_cb_add(struct thandle *th, struct lu_target *lut,
375                            struct obd_export *exp, __u64 transno);
376 int tgt_new_client_cb_add(struct thandle *th, struct obd_export *exp);
377 int tgt_init(const struct lu_env *env, struct lu_target *lut,
378              struct obd_device *obd, struct dt_device *dt,
379              struct tgt_opc_slice *slice,
380              int request_fail_id, int reply_fail_id);
381 void tgt_fini(const struct lu_env *env, struct lu_target *lut);
382 int tgt_client_alloc(struct obd_export *exp);
383 void tgt_client_free(struct obd_export *exp);
384 int tgt_client_del(const struct lu_env *env, struct obd_export *exp);
385 int tgt_client_add(const struct lu_env *env, struct obd_export *exp, int);
386 int tgt_client_new(const struct lu_env *env, struct obd_export *exp);
387 int tgt_client_data_read(const struct lu_env *env, struct lu_target *tg,
388                          struct lsd_client_data *lcd, loff_t *off, int index);
389 int tgt_client_data_write(const struct lu_env *env, struct lu_target *tg,
390                           struct lsd_client_data *lcd, loff_t *off, struct thandle *th);
391 int tgt_server_data_read(const struct lu_env *env, struct lu_target *tg);
392 int tgt_server_data_write(const struct lu_env *env, struct lu_target *tg,
393                           struct thandle *th);
394 int tgt_server_data_update(const struct lu_env *env, struct lu_target *tg,
395                            int sync);
396 int tgt_truncate_last_rcvd(const struct lu_env *env, struct lu_target *tg,
397                            loff_t off);
398
399 /* target/update_trans.c */
400 int distribute_txn_init(const struct lu_env *env,
401                         struct lu_target *lut,
402                         struct target_distribute_txn_data *tdtd,
403                         __u32 index);
404 void distribute_txn_fini(const struct lu_env *env,
405                          struct target_distribute_txn_data *tdtd);
406
407 /* target/update_recovery.c */
408 int insert_update_records_to_replay_list(struct target_distribute_txn_data *,
409                                          struct llog_update_record *,
410                                          struct llog_cookie *, __u32);
411 void dtrq_list_dump(struct target_distribute_txn_data *tdtd,
412                     unsigned int mask);
413 void dtrq_list_destroy(struct target_distribute_txn_data *tdtd);
414 int distribute_txn_replay_handle(struct lu_env *env,
415                            struct target_distribute_txn_data *tdtd,
416                            struct distribute_txn_replay_req *dtrq);
417 __u64 distribute_txn_get_next_transno(struct target_distribute_txn_data *tdtd);
418 struct distribute_txn_replay_req *
419 distribute_txn_get_next_req(struct target_distribute_txn_data *tdtd);
420 void dtrq_destory(struct distribute_txn_replay_req *dtrq);
421 struct distribute_txn_replay_req_sub *
422 dtrq_sub_lookup(struct distribute_txn_replay_req *dtrq, __u32 mdt_index);
423
424 enum {
425         ESERIOUS = 0x0001000
426 };
427
428 static inline int err_serious(int rc)
429 {
430         LASSERT(rc < 0);
431         return -(-rc | ESERIOUS);
432 }
433
434 static inline int clear_serious(int rc)
435 {
436         if (rc < 0)
437                 rc = -(-rc & ~ESERIOUS);
438         return rc;
439 }
440
441 static inline int is_serious(int rc)
442 {
443         return (rc < 0 && -rc & ESERIOUS);
444 }
445
446 /**
447  * Do not return server-side uid/gid to remote client
448  */
449 static inline void tgt_drop_id(struct obd_export *exp, struct obdo *oa)
450 {
451         if (unlikely(exp_connect_rmtclient(exp))) {
452                 oa->o_uid = -1;
453                 oa->o_gid = -1;
454                 oa->o_valid &= ~(OBD_MD_FLUID | OBD_MD_FLGID);
455         }
456 }
457
458 /*
459  * Unified target generic handers macros and generic functions.
460  */
461 #define TGT_RPC_HANDLER_HP(base, flags, opc, fn, hp, fmt, version)      \
462 [opc - base] = {                                                        \
463         .th_name        = #opc,                                         \
464         .th_fail_id     = OBD_FAIL_ ## opc ## _NET,                     \
465         .th_opc         = opc,                                          \
466         .th_flags       = flags,                                        \
467         .th_act         = fn,                                           \
468         .th_fmt         = fmt,                                          \
469         .th_version     = version,                                      \
470         .th_hp          = hp,                                           \
471 }
472 #define TGT_RPC_HANDLER(base, flags, opc, fn, fmt, version)             \
473         TGT_RPC_HANDLER_HP(base, flags, opc, fn, NULL, fmt, version)
474
475 /* MDT Request with a format known in advance */
476 #define TGT_MDT_HDL(flags, name, fn)                                    \
477         TGT_RPC_HANDLER(MDS_FIRST_OPC, flags, name, fn, &RQF_ ## name,  \
478                         LUSTRE_MDS_VERSION)
479 /* Request with a format we do not yet know */
480 #define TGT_MDT_HDL_VAR(flags, name, fn)                                \
481         TGT_RPC_HANDLER(MDS_FIRST_OPC, flags, name, fn, NULL,           \
482                         LUSTRE_MDS_VERSION)
483
484 /* OST Request with a format known in advance */
485 #define TGT_OST_HDL(flags, name, fn)                                    \
486         TGT_RPC_HANDLER(OST_FIRST_OPC, flags, name, fn, &RQF_ ## name,  \
487                         LUSTRE_OST_VERSION)
488 #define TGT_OST_HDL_HP(flags, name, fn, hp)                             \
489         TGT_RPC_HANDLER_HP(OST_FIRST_OPC, flags, name, fn, hp,          \
490                            &RQF_ ## name, LUSTRE_OST_VERSION)
491
492 /* MGS request with a format known in advance */
493 #define TGT_MGS_HDL(flags, name, fn)                                    \
494         TGT_RPC_HANDLER(MGS_FIRST_OPC, flags, name, fn, &RQF_ ## name,  \
495                         LUSTRE_MGS_VERSION)
496 #define TGT_MGS_HDL_VAR(flags, name, fn)                                \
497         TGT_RPC_HANDLER(MGS_FIRST_OPC, flags, name, fn, NULL,           \
498                         LUSTRE_MGS_VERSION)
499
500 /*
501  * OBD handler macros and generic functions.
502  */
503 #define TGT_OBD_HDL(flags, name, fn)                                    \
504         TGT_RPC_HANDLER(OBD_FIRST_OPC, flags, name, fn, &RQF_ ## name,  \
505                         LUSTRE_OBD_VERSION)
506 #define TGT_OBD_HDL_VAR(flags, name, fn)                                \
507         TGT_RPC_HANDLER(OBD_FIRST_OPC, flags, name, fn, NULL,           \
508                         LUSTRE_OBD_VERSION)
509
510 /*
511  * DLM handler macros and generic functions.
512  */
513 #define TGT_DLM_HDL_VAR(flags, name, fn)                                \
514         TGT_RPC_HANDLER(LDLM_FIRST_OPC, flags, name, fn, NULL,          \
515                         LUSTRE_DLM_VERSION)
516 #define TGT_DLM_HDL(flags, name, fn)                                    \
517         TGT_RPC_HANDLER(LDLM_FIRST_OPC, flags, name, fn, &RQF_ ## name, \
518                         LUSTRE_DLM_VERSION)
519
520 /*
521  * LLOG handler macros and generic functions.
522  */
523 #define TGT_LLOG_HDL_VAR(flags, name, fn)                               \
524         TGT_RPC_HANDLER(LLOG_FIRST_OPC, flags, name, fn, NULL,          \
525                         LUSTRE_LOG_VERSION)
526 #define TGT_LLOG_HDL(flags, name, fn)                                   \
527         TGT_RPC_HANDLER(LLOG_FIRST_OPC, flags, name, fn, &RQF_ ## name, \
528                         LUSTRE_LOG_VERSION)
529
530 /*
531  * Sec context handler macros and generic functions.
532  */
533 #define TGT_SEC_HDL_VAR(flags, name, fn)                                \
534         TGT_RPC_HANDLER(SEC_FIRST_OPC, flags, name, fn, NULL,           \
535                         LUSTRE_OBD_VERSION)
536
537 #define TGT_QUOTA_HDL(flags, name, fn)                                  \
538         TGT_RPC_HANDLER(QUOTA_DQACQ, flags, name, fn, &RQF_ ## name,    \
539                         LUSTRE_MDS_VERSION)
540
541 /* Sequence service handlers */
542 #define TGT_SEQ_HDL(flags, name, fn)                                    \
543         TGT_RPC_HANDLER(SEQ_QUERY, flags, name, fn, &RQF_ ## name,      \
544                         LUSTRE_MDS_VERSION)
545
546 /* FID Location Database handlers */
547 #define TGT_FLD_HDL_VAR(flags, name, fn)                                \
548         TGT_RPC_HANDLER(FLD_QUERY, flags, name, fn, NULL,               \
549                         LUSTRE_MDS_VERSION)
550
551 /* LFSCK handlers */
552 #define TGT_LFSCK_HDL(flags, name, fn)                                  \
553         TGT_RPC_HANDLER(LFSCK_FIRST_OPC, flags, name, fn,               \
554                         &RQF_ ## name, LUSTRE_OBD_VERSION)
555
556 /* Request with a format known in advance */
557 #define TGT_UPDATE_HDL(flags, name, fn)                                 \
558         TGT_RPC_HANDLER(OUT_UPDATE, flags, name, fn, &RQF_ ## name,     \
559                         LUSTRE_MDS_VERSION)
560
561 #endif /* __LUSTRE_LU_TARGET_H */