Whamcloud - gitweb
LU-11658 lov: cl_cache could miss initialize
[fs/lustre-release.git] / lustre / mdt / mdt_internal.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2016, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  *
32  * lustre/mdt/mdt_internal.h
33  *
34  * Lustre Metadata Target (mdt) request handler
35  *
36  * Author: Peter Braam <braam@clusterfs.com>
37  * Author: Andreas Dilger <adilger@clusterfs.com>
38  * Author: Phil Schwan <phil@clusterfs.com>
39  * Author: Mike Shaver <shaver@clusterfs.com>
40  * Author: Nikita Danilov <nikita@clusterfs.com>
41  * Author: Huang Hua <huanghua@clusterfs.com>
42  */
43
44 #ifndef _MDT_INTERNAL_H
45 #define _MDT_INTERNAL_H
46
47 #include <libcfs/libcfs.h>
48 #include <libcfs/libcfs_hash.h>
49 #include <upcall_cache.h>
50 #include <lustre/lustre_idl.h>
51 #include <obd_class.h>
52 #include <lustre_disk.h>
53 #include <lu_target.h>
54 #include <md_object.h>
55 #include <lustre_fid.h>
56 #include <lustre_fld.h>
57 #include <lustre_req_layout.h>
58 #include <lustre_sec.h>
59 #include <lustre_idmap.h>
60 #include <lustre_eacl.h>
61 #include <lustre_quota.h>
62 #include <lustre_linkea.h>
63
64 struct mdt_object;
65
66 /* file data for open files on MDS */
67 struct mdt_file_data {
68         /**  portals handle must be first */
69         struct portals_handle   mfd_handle;
70         /** open mode provided by client */
71         __u64                   mfd_mode;
72         /** protected by med_open_lock */
73         struct list_head        mfd_list;
74         /** xid of the open request */
75         __u64                   mfd_xid;
76         /** old handle in replay case */
77         struct lustre_handle    mfd_old_handle;
78         /** point to opened object */
79         struct mdt_object       *mfd_object;
80 };
81
82 #define CDT_NONBLOCKING_RESTORE         (1ULL << 0)
83 #define CDT_NORETRY_ACTION              (1ULL << 1)
84 #define CDT_POLICY_LAST                 CDT_NORETRY_ACTION
85 #define CDT_POLICY_SHIFT_COUNT          2
86 #define CDT_POLICY_ALL                  (CDT_NONBLOCKING_RESTORE | \
87                                         CDT_NORETRY_ACTION)
88
89 /* when adding a new policy, do not forget to update
90  * lustre/mdt/mdt_coordinator.c::hsm_policy_names[]
91  */
92 #define CDT_DEFAULT_POLICY              CDT_NORETRY_ACTION
93
94 /* Coordinator states. Keep the cdt_transition table in sync. */
95 enum cdt_states { CDT_STOPPED = 0,
96                   CDT_INIT,
97                   CDT_RUNNING,
98                   CDT_DISABLE,
99                   CDT_STOPPING,
100
101                   CDT_STATES_COUNT
102 };
103
104 static inline char *cdt_mdt_state2str(int state)
105 {
106         switch (state) {
107         case CDT_INIT:
108                 return "init";
109         case CDT_RUNNING:
110                 return "enabled";
111         case CDT_STOPPING:
112                 return "stopping";
113         case CDT_STOPPED:
114                 return "stopped";
115         case CDT_DISABLE:
116                 return "disabled";
117         default:
118                 return "unknown";
119         }
120 }
121
122 /* when multiple lock are needed, the lock order is
123  * cdt_llog_lock
124  * cdt_agent_lock
125  * cdt_counter_lock
126  * cdt_restore_lock
127  * cdt_request_lock
128  */
129 struct coordinator {
130         wait_queue_head_t        cdt_waitq;          /**< cdt wait queue */
131         bool                     cdt_event;          /**< coordinator event */
132         struct task_struct      *cdt_task;           /**< cdt thread handle */
133         struct lu_env            cdt_env;            /**< coordinator lustre
134                                                       * env */
135         struct lu_context        cdt_session;        /** session for lu_ucred */
136         struct proc_dir_entry   *cdt_proc_dir;       /**< cdt /proc directory */
137         __u64                    cdt_policy;         /**< policy flags */
138         enum cdt_states          cdt_state;           /**< state */
139         spinlock_t               cdt_state_lock;      /**< cdt_state lock */
140         atomic_t                 cdt_compound_id;     /**< compound id
141                                                        * counter */
142         __u64                    cdt_last_cookie;     /**< last cookie
143                                                        * allocated */
144         struct rw_semaphore      cdt_llog_lock;       /**< protect llog
145                                                        * access */
146         struct rw_semaphore      cdt_agent_lock;      /**< protect agent list */
147         struct rw_semaphore      cdt_request_lock;    /**< protect request
148                                                        * list */
149         struct mutex             cdt_restore_lock;    /**< protect restore
150                                                        * list */
151         cfs_time_t               cdt_loop_period;     /**< llog scan period */
152         cfs_time_t               cdt_grace_delay;     /**< request grace
153                                                        * delay */
154         cfs_time_t               cdt_active_req_timeout; /**< request timeout */
155         __u32                    cdt_default_archive_id; /**< archive id used
156                                                        * when none are
157                                                        * specified */
158         __u64                    cdt_max_requests;    /**< max count of started
159                                                        * requests */
160         atomic_t                 cdt_request_count;   /**< current count of
161                                                        * started requests */
162         /* started requests (struct cdt_agent_req:car_cookie_hash)
163          * indexed by cookie */
164         struct cfs_hash         *cdt_request_cookie_hash;
165         /* started requests (struct cdt_agent_req:car_request_list) */
166         struct list_head         cdt_request_list;
167         struct list_head         cdt_agents;          /**< list of register
168                                                        * agents */
169         struct list_head         cdt_restore_hdl;     /**< list of restore lock
170                                                        * handles */
171
172         /* Hash of cookies to locations of record locations in agent
173          * request log. */
174         struct cfs_hash         *cdt_agent_record_hash;
175
176         /* Bitmasks indexed by the HSMA_XXX constants. */
177         __u64                    cdt_user_request_mask;
178         __u64                    cdt_group_request_mask;
179         __u64                    cdt_other_request_mask;
180
181         /* Remove archive on last unlink policy */
182         bool                     cdt_remove_archive_on_last_unlink;
183
184         bool                     cdt_wakeup_coordinator;
185 };
186
187 /* mdt state flag bits */
188 #define MDT_FL_CFGLOG 0
189 #define MDT_FL_SYNCED 1
190
191 struct mdt_device {
192         /* super-class */
193         struct lu_device           mdt_lu_dev;
194         struct seq_server_site     mdt_seq_site;
195         /* DLM name-space for meta-data locks maintained by this server */
196         struct ldlm_namespace     *mdt_namespace;
197         /* ptlrpc handle for MDS->client connections (for lock ASTs). */
198         struct ptlrpc_client      *mdt_ldlm_client;
199         /* underlying device */
200         struct obd_export         *mdt_child_exp;
201         struct md_device          *mdt_child;
202         struct dt_device          *mdt_bottom;
203         struct obd_export         *mdt_bottom_exp;
204         /** target device */
205         struct lu_target           mdt_lut;
206         /*
207          * Options bit-fields.
208          */
209         struct {
210                 unsigned int       mo_user_xattr:1,
211                                    mo_acl:1,
212                                    mo_cos:1,
213                                    mo_evict_tgt_nids:1;
214         } mdt_opts;
215         /* mdt state flags */
216         unsigned long              mdt_state;
217
218         /* transaction callbacks */
219         struct dt_txn_callback     mdt_txn_cb;
220
221         /* these values should be updated from lov if necessary.
222          * or should be placed somewhere else. */
223         int                        mdt_max_mdsize;
224
225         int                        mdt_max_ea_size;
226
227         struct upcall_cache        *mdt_identity_cache;
228
229         unsigned int               mdt_capa_conf:1,
230                                    /* Enable remote dir on non-MDT0 */
231                                    mdt_enable_remote_dir:1,
232                                    mdt_skip_lfsck:1;
233
234         gid_t                      mdt_enable_remote_dir_gid;
235
236         /* lock for osfs and md_root */
237         spinlock_t                 mdt_lock;
238
239         /* statfs optimization: we cache a bit  */
240         struct obd_statfs          mdt_osfs;
241         __u64                      mdt_osfs_age;
242
243         /* root squash */
244         struct root_squash_info    mdt_squash;
245
246         struct rename_stats        mdt_rename_stats;
247         struct lu_fid              mdt_md_root_fid;
248
249         /* connection to quota master */
250         struct obd_export         *mdt_qmt_exp;
251         /* quota master device associated with this MDT */
252         struct lu_device          *mdt_qmt_dev;
253
254         struct coordinator         mdt_coordinator;
255
256         /* inter-MDT connection count */
257         atomic_t                   mdt_mds_mds_conns;
258
259         /* MDT device async commit count, used for debug and sanity test */
260         atomic_t                   mdt_async_commit_count;
261
262         struct mdt_object         *mdt_md_root;
263 };
264
265 #define MDT_SERVICE_WATCHDOG_FACTOR     (2)
266 #define MDT_COS_DEFAULT         (0)
267
268 struct mdt_object {
269         struct lu_object_header mot_header;
270         struct lu_object        mot_obj;
271         unsigned int            mot_lov_created:1,  /* lov object created */
272                                 mot_cache_attr:1;   /* enable remote object
273                                                      * attribute cache */
274         int                     mot_write_count;
275         spinlock_t              mot_write_lock;
276         /* Lock to protect create_data */
277         struct mutex            mot_lov_mutex;
278         /* Lock to protect lease open.
279          * Lease open acquires write lock; normal open acquires read lock */
280         struct rw_semaphore     mot_open_sem;
281         atomic_t                mot_lease_count;
282         atomic_t                mot_open_count;
283 };
284
285 struct mdt_lock_handle {
286         /* Lock type, reg for cross-ref use or pdo lock. */
287         mdl_type_t              mlh_type;
288
289         /* Regular lock */
290         struct lustre_handle    mlh_reg_lh;
291         enum ldlm_mode          mlh_reg_mode;
292
293         /* Pdirops lock */
294         struct lustre_handle    mlh_pdo_lh;
295         enum ldlm_mode          mlh_pdo_mode;
296         unsigned int            mlh_pdo_hash;
297
298         /* Remote regular lock */
299         struct lustre_handle    mlh_rreg_lh;
300         enum ldlm_mode          mlh_rreg_mode;
301 };
302
303 enum {
304         MDT_LH_PARENT,  /* parent lockh */
305         MDT_LH_CHILD,   /* child lockh */
306         MDT_LH_OLD,     /* old lockh for rename */
307         MDT_LH_LAYOUT = MDT_LH_OLD, /* layout lock */
308         MDT_LH_NEW,     /* new lockh for rename */
309         MDT_LH_RMT,     /* used for return lh to caller */
310         MDT_LH_LOCAL,   /* local lock never return to client */
311         MDT_LH_NR
312 };
313
314 enum {
315         MDT_LOCAL_LOCK,
316         MDT_CROSS_LOCK
317 };
318
319 /* Special magical errno for communicaiton between mdt_reint_open()
320  * and mdt_intent_reint() which means return the lock to the client
321  * for subsequent cross ref open. Previously we used plain -EREMOTE
322  * but other functions called in that path might return it too and
323  * confuse us. This is not returned to the client. See LU-5370. */
324 #define MDT_EREMOTE_OPEN (EREMOTE + 1024)
325
326 struct mdt_reint_record {
327         mdt_reint_t                      rr_opcode;
328         const struct lustre_handle      *rr_handle;
329         const struct lu_fid             *rr_fid1;
330         const struct lu_fid             *rr_fid2;
331         struct lu_name                   rr_name;
332         struct lu_name                   rr_tgt_name;
333         void                            *rr_eadata;
334         int                              rr_eadatalen;
335         __u32                            rr_flags;
336 };
337
338 enum mdt_reint_flag {
339         MRF_OPEN_TRUNC = 1 << 0,
340 };
341
342 /*
343  * Common data shared by mdt-level handlers. This is allocated per-thread to
344  * reduce stack consumption.
345  */
346 struct mdt_thread_info {
347         /*
348          * XXX: Part One:
349          * The following members will be filled explicitly
350          * with specific data in mdt_thread_info_init().
351          */
352         /* TODO: move this into mdt_session_key(with LCT_SESSION), because
353          * request handling may migrate from one server thread to another.
354          */
355         struct req_capsule        *mti_pill;
356
357         /* although we have export in req, there are cases when it is not
358          * available, e.g. closing files upon export destroy */
359         struct obd_export          *mti_exp;
360         /*
361          * A couple of lock handles.
362          */
363         struct mdt_lock_handle     mti_lh[MDT_LH_NR];
364
365         struct mdt_device         *mti_mdt;
366         const struct lu_env       *mti_env;
367
368         /* transaction number of current request */
369         __u64                      mti_transno;
370
371
372         /*
373          * XXX: Part Two:
374          * The following members will be filled expilictly
375          * with zero in mdt_thread_info_init(). These members may be used
376          * by all requests.
377          */
378
379         /*
380          * Object attributes.
381          */
382         struct md_attr             mti_attr;
383         /*
384          * Body for "habeo corpus" operations.
385          */
386         const struct mdt_body     *mti_body;
387         /*
388          * Host object. This is released at the end of mdt_handler().
389          */
390         struct mdt_object         *mti_object;
391         /*
392          * Lock request for "habeo clavis" operations.
393          */
394         const struct ldlm_request *mti_dlm_req;
395
396         __u32                      mti_has_trans:1, /* has txn already? */
397                                    mti_cross_ref:1,
398         /* big_lmm buffer was used and must be used in reply */
399                                    mti_big_lmm_used:1,
400                                    mti_big_acl_used:1;
401
402         /* opdata for mdt_reint_open(), has the same as
403          * ldlm_reply:lock_policy_res1.  mdt_update_last_rcvd() stores this
404          * value onto disk for recovery when mdt_trans_stop_cb() is called.
405          */
406         __u64                      mti_opdata;
407
408         /*
409          * XXX: Part Three:
410          * The following members will be filled explicitly
411          * with zero in mdt_reint_unpack(), because they are only used
412          * by reint requests (including mdt_reint_open()).
413          */
414
415         /*
416          * reint record. contains information for reint operations.
417          */
418         struct mdt_reint_record    mti_rr;
419
420         __u64                      mti_ver[PTLRPC_NUM_VERSIONS];
421         /*
422          * Operation specification (currently create and lookup)
423          */
424         struct md_op_spec          mti_spec;
425
426         /*
427          * XXX: Part Four:
428          * The following members will _NOT_ be initialized at all.
429          * DO NOT expect them to contain any valid value.
430          * They should be initialized explicitly by the user themselves.
431          */
432
433         /* XXX: If something is in a union, make sure they do not conflict */
434         struct lu_fid                   mti_tmp_fid1;
435         struct lu_fid                   mti_tmp_fid2;
436         union ldlm_policy_data          mti_policy; /* for mdt_object_lock() */
437         struct ldlm_res_id              mti_res_id; /* and mdt_rename_lock() */
438         union {
439                 struct obd_uuid         uuid[2];    /* for mdt_seq_init_cli() */
440                 char                    ns_name[48];/* for mdt_init0()        */
441                 struct lustre_cfg_bufs  bufs;       /* for mdt_stack_fini()   */
442                 struct obd_statfs       osfs;       /* for mdt_statfs()       */
443                 struct {
444                         /* for mdt_readpage()      */
445                         struct lu_rdpg     mti_rdpg;
446                         /* for mdt_sendpage()      */
447                         struct l_wait_info mti_wait_info;
448                 } rdpg;
449                 struct {
450                         struct md_attr attr;
451                 } hsm;
452         } mti_u;
453
454         struct lustre_handle       mti_close_handle;
455         loff_t                     mti_off;
456         struct lu_buf              mti_buf;
457         struct lu_buf              mti_big_buf;
458
459         /* Ops object filename */
460         struct lu_name             mti_name;
461         /* per-thread values, can be re-used, may be vmalloc'd */
462         void                      *mti_big_lmm;
463         void                      *mti_big_acl;
464         int                        mti_big_lmmsize;
465         int                        mti_big_aclsize;
466         /* should be enough to fit lustre_mdt_attrs */
467         char                       mti_xattr_buf[128];
468         struct ldlm_enqueue_info   mti_einfo;
469         struct tg_reply_data      *mti_reply_data;
470 };
471
472 extern struct lu_context_key mdt_thread_key;
473
474 static inline struct mdt_thread_info *mdt_th_info(const struct lu_env *env)
475 {
476         struct mdt_thread_info *mti;
477
478         lu_env_refill((void *)env);
479         mti = lu_context_key_get(&env->le_ctx, &mdt_thread_key);
480         LASSERT(mti);
481         return mti;
482 }
483
484 struct cdt_req_progress {
485         struct mutex             crp_lock;      /**< protect tree */
486         struct interval_node    *crp_root;      /**< tree to track extent
487                                                  *   moved */
488         struct interval_node    **crp_node;     /**< buffer for tree nodes
489                                                  *   vector of fixed size
490                                                  *   vectors */
491         int                      crp_cnt;       /**< # of used nodes */
492         int                      crp_max;       /**< # of allocated nodes */
493 };
494
495 struct cdt_agent_req {
496         struct hlist_node        car_cookie_hash;  /**< find req by cookie */
497         struct list_head         car_request_list; /**< to chain all the req. */
498         atomic_t                 car_refcount;     /**< reference counter */
499         __u64                    car_compound_id;  /**< compound id */
500         __u64                    car_flags;        /**< request original flags */
501         struct obd_uuid          car_uuid;         /**< agent doing the req. */
502         __u32                    car_archive_id;   /**< archive id */
503         int                      car_canceled;     /**< request was canceled */
504         cfs_time_t               car_req_start;    /**< start time */
505         cfs_time_t               car_req_update;   /**< last update time */
506         struct hsm_action_item  *car_hai;          /**< req. to the agent */
507         struct cdt_req_progress  car_progress;     /**< track data mvt
508                                                     *   progress */
509 };
510 extern struct kmem_cache *mdt_hsm_car_kmem;
511
512 struct hsm_agent {
513         struct list_head ha_list;               /**< to chain the agents */
514         struct obd_uuid  ha_uuid;               /**< agent uuid */
515         __u32           *ha_archive_id;         /**< archive id */
516         int              ha_archive_cnt;        /**< number of archive entries
517                                                  *   0 means any archive */
518         atomic_t         ha_requests;           /**< current request count */
519         atomic_t         ha_success;            /**< number of successful
520                                                  * actions */
521         atomic_t         ha_failure;            /**< number of failed actions */
522 };
523
524 struct cdt_restore_handle {
525         struct list_head        crh_list;       /**< to chain the handle */
526         struct lu_fid           crh_fid;        /**< fid of the object */
527         struct ldlm_extent      crh_extent;     /**< extent of the restore */
528         struct mdt_lock_handle  crh_lh;         /**< lock handle */
529 };
530 extern struct kmem_cache *mdt_hsm_cdt_kmem;     /** restore handle slab cache */
531
532 struct hsm_record_update {
533         __u64 cookie;
534         enum agent_req_status status;
535 };
536
537 static inline const struct md_device_operations *
538 mdt_child_ops(struct mdt_device * m)
539 {
540         LASSERT(m->mdt_child);
541         return m->mdt_child->md_ops;
542 }
543
544 static inline struct md_object *mdt_object_child(struct mdt_object *o)
545 {
546         LASSERT(o);
547         return lu2md(lu_object_next(&o->mot_obj));
548 }
549
550 static inline struct ptlrpc_request *mdt_info_req(struct mdt_thread_info *info)
551 {
552          return info->mti_pill ? info->mti_pill->rc_req : NULL;
553 }
554
555 static inline __u64 mdt_conn_flags(struct mdt_thread_info *info)
556 {
557         LASSERT(info->mti_exp);
558         return exp_connect_flags(info->mti_exp);
559 }
560
561 static inline void mdt_object_get(const struct lu_env *env,
562                                   struct mdt_object *o)
563 {
564         ENTRY;
565         lu_object_get(&o->mot_obj);
566         EXIT;
567 }
568
569 static inline void mdt_object_put(const struct lu_env *env,
570                                   struct mdt_object *o)
571 {
572         ENTRY;
573         lu_object_put(env, &o->mot_obj);
574         EXIT;
575 }
576
577 static inline int mdt_object_exists(const struct mdt_object *o)
578 {
579         return lu_object_exists(&o->mot_obj);
580 }
581
582 static inline int mdt_object_remote(const struct mdt_object *o)
583 {
584         return lu_object_remote(&o->mot_obj);
585 }
586
587 static inline const struct lu_fid *mdt_object_fid(const struct mdt_object *o)
588 {
589         return lu_object_fid(&o->mot_obj);
590 }
591
592 static inline struct lu_site *mdt_lu_site(const struct mdt_device *mdt)
593 {
594         return mdt->mdt_lu_dev.ld_site;
595 }
596
597 static inline struct seq_server_site *mdt_seq_site(struct mdt_device *mdt)
598 {
599         return &mdt->mdt_seq_site;
600 }
601
602 static inline void mdt_export_evict(struct obd_export *exp)
603 {
604         class_fail_export(exp);
605 }
606
607 /* Here we use LVB_TYPE to check dne client, because it is
608  * also landed on 2.4. */
609 static inline bool mdt_is_dne_client(struct obd_export *exp)
610 {
611         return !!(exp_connect_flags(exp) & OBD_CONNECT_LVB_TYPE);
612 }
613
614 static inline bool mdt_is_striped_client(struct obd_export *exp)
615 {
616         return exp_connect_flags(exp) & OBD_CONNECT_DIR_STRIPE;
617 }
618
619 __u64 mdt_get_disposition(struct ldlm_reply *rep, __u64 op_flag);
620 void mdt_set_disposition(struct mdt_thread_info *info,
621                          struct ldlm_reply *rep, __u64 op_flag);
622 void mdt_clear_disposition(struct mdt_thread_info *info,
623                            struct ldlm_reply *rep, __u64 op_flag);
624
625 void mdt_lock_pdo_init(struct mdt_lock_handle *lh, enum ldlm_mode lock_mode,
626                        const struct lu_name *lname);
627
628 void mdt_lock_reg_init(struct mdt_lock_handle *lh, enum ldlm_mode lm);
629
630 int mdt_lock_setup(struct mdt_thread_info *info, struct mdt_object *mo,
631                    struct mdt_lock_handle *lh);
632
633 int mdt_check_resent_lock(struct mdt_thread_info *info, struct mdt_object *mo,
634                           struct mdt_lock_handle *lhc);
635
636 int mdt_object_lock(struct mdt_thread_info *info, struct mdt_object *mo,
637                     struct mdt_lock_handle *lh, __u64 ibits);
638
639 int mdt_reint_object_lock(struct mdt_thread_info *info, struct mdt_object *o,
640                           struct mdt_lock_handle *lh, __u64 ibits,
641                           bool cos_incompat);
642
643 int mdt_object_lock_try(struct mdt_thread_info *info, struct mdt_object *mo,
644                         struct mdt_lock_handle *lh, __u64 ibits);
645
646 int mdt_reint_object_lock_try(struct mdt_thread_info *info,
647                               struct mdt_object *o, struct mdt_lock_handle *lh,
648                               __u64 ibits, bool cos_incompat);
649
650 void mdt_object_unlock(struct mdt_thread_info *info, struct mdt_object *mo,
651                        struct mdt_lock_handle *lh, int decref);
652
653 struct mdt_object *mdt_object_new(const struct lu_env *env,
654                                   struct mdt_device *,
655                                   const struct lu_fid *);
656 struct mdt_object *mdt_object_find(const struct lu_env *,
657                                    struct mdt_device *,
658                                    const struct lu_fid *);
659 struct mdt_object *mdt_object_find_lock(struct mdt_thread_info *,
660                                         const struct lu_fid *,
661                                         struct mdt_lock_handle *,
662                                         __u64);
663 void mdt_object_unlock_put(struct mdt_thread_info *,
664                            struct mdt_object *,
665                            struct mdt_lock_handle *,
666                            int decref);
667
668 void mdt_client_compatibility(struct mdt_thread_info *info);
669
670 int mdt_remote_object_lock(struct mdt_thread_info *mti,
671                            struct mdt_object *o, const struct lu_fid *fid,
672                            struct lustre_handle *lh,
673                            enum ldlm_mode mode, __u64 ibits, bool nonblock,
674                            bool cache);
675
676 enum mdt_name_flags {
677         MNF_FIX_ANON = 1,
678 };
679
680 int mdt_name_unpack(struct req_capsule *pill,
681                     const struct req_msg_field *field,
682                     struct lu_name *ln,
683                     enum mdt_name_flags flags);
684 int mdt_close_unpack(struct mdt_thread_info *info);
685 int mdt_reint_unpack(struct mdt_thread_info *info, __u32 op);
686 void mdt_fix_lov_magic(struct mdt_thread_info *info, void *eadata);
687 int mdt_reint_rec(struct mdt_thread_info *, struct mdt_lock_handle *);
688 #ifdef CONFIG_FS_POSIX_ACL
689 int mdt_pack_acl2body(struct mdt_thread_info *info, struct mdt_body *repbody,
690                       struct mdt_object *o, struct lu_nodemap *nodemap);
691 #endif
692 void mdt_pack_attr2body(struct mdt_thread_info *info, struct mdt_body *b,
693                         const struct lu_attr *attr, const struct lu_fid *fid);
694
695 int mdt_getxattr(struct mdt_thread_info *info);
696 int mdt_reint_setxattr(struct mdt_thread_info *info,
697                        struct mdt_lock_handle *lh);
698
699 void mdt_lock_handle_init(struct mdt_lock_handle *lh);
700 void mdt_lock_handle_fini(struct mdt_lock_handle *lh);
701
702 void mdt_reconstruct(struct mdt_thread_info *, struct mdt_lock_handle *);
703 void mdt_reconstruct_generic(struct mdt_thread_info *mti,
704                              struct mdt_lock_handle *lhc);
705
706 extern void target_recovery_fini(struct obd_device *obd);
707 extern void target_recovery_init(struct lu_target *lut,
708                                  svc_handler_t handler);
709 int mdt_fs_setup(const struct lu_env *, struct mdt_device *,
710                  struct obd_device *, struct lustre_sb_info *lsi);
711 void mdt_fs_cleanup(const struct lu_env *, struct mdt_device *);
712
713 int mdt_export_stats_init(struct obd_device *obd,
714                           struct obd_export *exp,
715                           void *client_nid);
716
717 int mdt_lock_new_child(struct mdt_thread_info *info,
718                        struct mdt_object *o,
719                        struct mdt_lock_handle *child_lockh);
720
721 void mdt_mfd_set_mode(struct mdt_file_data *mfd,
722                       __u64 mode);
723
724 int mdt_reint_open(struct mdt_thread_info *info,
725                    struct mdt_lock_handle *lhc);
726
727 struct mdt_file_data *mdt_handle2mfd(struct mdt_export_data *med,
728                                      const struct lustre_handle *handle,
729                                      bool is_replay);
730
731 int mdt_get_info(struct tgt_session_info *tsi);
732 int mdt_attr_get_complex(struct mdt_thread_info *info,
733                          struct mdt_object *o, struct md_attr *ma);
734 int mdt_big_xattr_get(struct mdt_thread_info *info, struct mdt_object *o,
735                       const char *name);
736 int mdt_stripe_get(struct mdt_thread_info *info, struct mdt_object *o,
737                    struct md_attr *ma, const char *name);
738 int mdt_write_get(struct mdt_object *o);
739 void mdt_write_put(struct mdt_object *o);
740 int mdt_write_read(struct mdt_object *o);
741 struct mdt_file_data *mdt_mfd_new(const struct mdt_export_data *med);
742 int mdt_mfd_close(struct mdt_thread_info *info, struct mdt_file_data *mfd);
743 void mdt_mfd_free(struct mdt_file_data *mfd);
744 int mdt_close(struct tgt_session_info *tsi);
745 int mdt_add_dirty_flag(struct mdt_thread_info *info, struct mdt_object *mo,
746                         struct md_attr *ma);
747 int mdt_fix_reply(struct mdt_thread_info *info);
748 int mdt_handle_last_unlink(struct mdt_thread_info *, struct mdt_object *,
749                            struct md_attr *);
750 void mdt_reconstruct_open(struct mdt_thread_info *, struct mdt_lock_handle *);
751
752 struct lu_buf *mdt_buf(const struct lu_env *env, void *area, ssize_t len);
753 const struct lu_buf *mdt_buf_const(const struct lu_env *env,
754                                    const void *area, ssize_t len);
755
756 void mdt_dump_lmm(int level, const struct lov_mds_md *lmm, __u64 valid);
757 void mdt_dump_lmv(unsigned int level, const union lmv_mds_md *lmv);
758
759 bool allow_client_chgrp(struct mdt_thread_info *info, struct lu_ucred *uc);
760 int mdt_check_ucred(struct mdt_thread_info *);
761 int mdt_init_ucred(struct mdt_thread_info *, struct mdt_body *);
762 int mdt_init_ucred_intent_getattr(struct mdt_thread_info *, struct mdt_body *);
763 int mdt_init_ucred_reint(struct mdt_thread_info *);
764 void mdt_exit_ucred(struct mdt_thread_info *);
765 int mdt_version_get_check(struct mdt_thread_info *, struct mdt_object *, int);
766 void mdt_version_get_save(struct mdt_thread_info *, struct mdt_object *, int);
767 int mdt_version_get_check_save(struct mdt_thread_info *, struct mdt_object *,
768                                int);
769 void mdt_thread_info_init(struct ptlrpc_request *req,
770                           struct mdt_thread_info *mti);
771 void mdt_thread_info_fini(struct mdt_thread_info *mti);
772 struct mdt_thread_info *tsi2mdt_info(struct tgt_session_info *tsi);
773
774 int mdt_hsm_attr_set(struct mdt_thread_info *info, struct mdt_object *obj,
775                      const struct md_hsm *mh);
776
777 int mdt_remote_blocking_ast(struct ldlm_lock *lock, struct ldlm_lock_desc *desc,
778                             void *data, int flag);
779 int mdt_links_read(struct mdt_thread_info *info,
780                    struct mdt_object *mdt_obj,
781                    struct linkea_data *ldata);
782 int mdt_close_internal(struct mdt_thread_info *info, struct ptlrpc_request *req,
783                        struct mdt_body *repbody);
784
785 static inline struct mdt_device *mdt_dev(struct lu_device *d)
786 {
787         return container_of0(d, struct mdt_device, mdt_lu_dev);
788 }
789
790 static inline struct mdt_object *mdt_obj(struct lu_object *o)
791 {
792         return container_of0(o, struct mdt_object, mot_obj);
793 }
794
795 static inline struct dt_object *mdt_obj2dt(struct mdt_object *mo)
796 {
797         struct lu_object        *lo;
798         struct mdt_device       *mdt = mdt_dev(mo->mot_obj.lo_dev);
799
800         lo = lu_object_locate(mo->mot_obj.lo_header,
801                               mdt->mdt_bottom->dd_lu_dev.ld_type);
802
803         return lu2dt(lo);
804 }
805
806 static inline bool agent_req_in_final_state(enum agent_req_status ars)
807 {
808         return ((ars == ARS_SUCCEED) || (ars == ARS_FAILED) ||
809                 (ars == ARS_CANCELED));
810 }
811
812 /* mdt/mdt_identity.c */
813 #define MDT_IDENTITY_UPCALL_PATH        "/usr/sbin/l_getidentity"
814
815 extern struct upcall_cache_ops mdt_identity_upcall_cache_ops;
816
817 struct md_identity *mdt_identity_get(struct upcall_cache *, __u32);
818
819 void mdt_identity_put(struct upcall_cache *, struct md_identity *);
820
821 void mdt_flush_identity(struct upcall_cache *, int);
822
823 __u32 mdt_identity_get_perm(struct md_identity *, lnet_nid_t);
824
825 /* mdt/mdt_recovery.c */
826 __u64 mdt_req_from_lrd(struct ptlrpc_request *req, struct tg_reply_data *trd);
827
828 /* mdt/mdt_hsm.c */
829 int mdt_hsm_state_get(struct tgt_session_info *tsi);
830 int mdt_hsm_state_set(struct tgt_session_info *tsi);
831 int mdt_hsm_action(struct tgt_session_info *tsi);
832 int mdt_hsm_progress(struct tgt_session_info *tsi);
833 int mdt_hsm_ct_register(struct tgt_session_info *tsi);
834 int mdt_hsm_ct_unregister(struct tgt_session_info *tsi);
835 int mdt_hsm_request(struct tgt_session_info *tsi);
836
837 /* mdt/mdt_hsm_cdt_actions.c */
838 extern const struct file_operations mdt_hsm_actions_fops;
839 void dump_llog_agent_req_rec(const char *prefix,
840                              const struct llog_agent_req_rec *larr);
841 int cdt_llog_process(const struct lu_env *env, struct mdt_device *mdt,
842                      llog_cb_t cb, void *data, u32 start_cat_idx,
843                      u32 start_rec_idx, int rw);
844 int mdt_agent_record_add(const struct lu_env *env, struct mdt_device *mdt,
845                          __u64 compound_id, __u32 archive_id,
846                          __u64 flags, struct hsm_action_item *hai);
847 int mdt_agent_record_update(const struct lu_env *env, struct mdt_device *mdt,
848                             struct hsm_record_update *updates,
849                             unsigned int updates_count);
850 void cdt_agent_record_hash_add(struct coordinator *cdt, u64 cookie, u32 cat_idt,
851                                u32 rec_idx);
852 void cdt_agent_record_hash_lookup(struct coordinator *cdt, u64 cookie,
853                                   u32 *cat_idt, u32 *rec_idx);
854 void cdt_agent_record_hash_del(struct coordinator *cdt, u64 cookie);
855
856 /* mdt/mdt_hsm_cdt_agent.c */
857 extern const struct file_operations mdt_hsm_agent_fops;
858 int mdt_hsm_agent_register(struct mdt_thread_info *info,
859                            const struct obd_uuid *uuid,
860                            int nr_archives, __u32 *archive_num);
861 int mdt_hsm_agent_register_mask(struct mdt_thread_info *info,
862                                 const struct obd_uuid *uuid,
863                                 __u32 archive_mask);
864 int mdt_hsm_agent_unregister(struct mdt_thread_info *info,
865                              const struct obd_uuid *uuid);
866 int mdt_hsm_agent_update_statistics(struct coordinator *cdt,
867                                     int succ_rq, int fail_rq, int new_rq,
868                                     const struct obd_uuid *uuid);
869 int mdt_hsm_find_best_agent(struct coordinator *cdt, __u32 archive,
870                             struct obd_uuid *uuid);
871 int mdt_hsm_agent_send(struct mdt_thread_info *mti, struct hsm_action_list *hal,
872                        bool purge);
873 int mdt_hsm_coordinator_update(struct mdt_thread_info *mti,
874                                struct hsm_progress_kernel *pgs);
875 /* mdt/mdt_hsm_cdt_client.c */
876 int mdt_hsm_add_actions(struct mdt_thread_info *info,
877                         struct hsm_action_list *hal);
878 int mdt_hsm_get_actions(struct mdt_thread_info *mti,
879                         struct hsm_action_list *hal);
880 bool mdt_hsm_restore_is_running(struct mdt_thread_info *mti,
881                                 const struct lu_fid *fid);
882 /* mdt/mdt_hsm_cdt_requests.c */
883 extern struct cfs_hash_ops cdt_request_cookie_hash_ops;
884 extern struct cfs_hash_ops cdt_agent_record_hash_ops;
885 extern const struct file_operations mdt_hsm_active_requests_fops;
886 void dump_requests(char *prefix, struct coordinator *cdt);
887 struct cdt_agent_req *mdt_cdt_alloc_request(__u64 compound_id, __u32 archive_id,
888                                             __u64 flags, struct obd_uuid *uuid,
889                                             struct hsm_action_item *hai);
890 void mdt_cdt_free_request(struct cdt_agent_req *car);
891 int mdt_cdt_add_request(struct coordinator *cdt, struct cdt_agent_req *new_car);
892 struct cdt_agent_req *mdt_cdt_find_request(struct coordinator *cdt, u64 cookie);
893 void mdt_cdt_get_work_done(struct cdt_agent_req *car, __u64 *done_sz);
894 void mdt_cdt_get_request(struct cdt_agent_req *car);
895 void mdt_cdt_put_request(struct cdt_agent_req *car);
896 struct cdt_agent_req *mdt_cdt_update_request(struct coordinator *cdt,
897                                          const struct hsm_progress_kernel *pgs);
898 int mdt_cdt_remove_request(struct coordinator *cdt, __u64 cookie);
899 /* mdt/mdt_coordinator.c */
900 void mdt_hsm_dump_hal(int level, const char *prefix,
901                       struct hsm_action_list *hal);
902 struct cdt_restore_handle *mdt_hsm_restore_hdl_find(struct coordinator *cdt,
903                                                 const struct lu_fid *fid);
904 /* coordinator management */
905 int mdt_hsm_cdt_init(struct mdt_device *mdt);
906 int mdt_hsm_cdt_stop(struct mdt_device *mdt);
907 int mdt_hsm_cdt_fini(struct mdt_device *mdt);
908
909 /*
910  * Signal the coordinator has work to do
911  * \param cdt [IN] coordinator
912  */
913 static inline void mdt_hsm_cdt_event(struct coordinator *cdt)
914 {
915         cdt->cdt_event = true;
916 }
917
918 /* coordinator control /proc interface */
919 ssize_t mdt_hsm_cdt_control_seq_write(struct file *file,
920                                       const char __user *buffer,
921                                       size_t count, loff_t *off);
922 int mdt_hsm_cdt_control_seq_show(struct seq_file *m, void *data);
923 int hsm_cdt_procfs_init(struct mdt_device *mdt);
924 void hsm_cdt_procfs_fini(struct mdt_device *mdt);
925 struct lprocfs_vars *hsm_cdt_get_proc_vars(void);
926 /* md_hsm helpers */
927 struct mdt_object *mdt_hsm_get_md_hsm(struct mdt_thread_info *mti,
928                                       const struct lu_fid *fid,
929                                       struct md_hsm *hsm);
930 /* actions/request helpers */
931 int mdt_hsm_add_hal(struct mdt_thread_info *mti,
932                     struct hsm_action_list *hal, struct obd_uuid *uuid);
933 bool mdt_hsm_is_action_compat(const struct hsm_action_item *hai,
934                               u32 archive_id, u64 rq_flags,
935                               const struct md_hsm *hsm);
936 int mdt_hsm_update_request_state(struct mdt_thread_info *mti,
937                                  struct hsm_progress_kernel *pgs,
938                                  const int update_record);
939
940 int mdt_close_swap_layouts(struct mdt_thread_info *info,
941                            struct mdt_object *o, struct md_attr *ma);
942
943 extern struct lu_context_key       mdt_thread_key;
944
945 /* debug issues helper starts here*/
946 static inline int mdt_fail_write(const struct lu_env *env,
947                                  struct dt_device *dd, int id)
948 {
949         if (OBD_FAIL_CHECK_ORSET(id, OBD_FAIL_ONCE)) {
950                 CERROR(LUSTRE_MDT_NAME": cfs_fail_loc=%x, fail write ops\n",
951                        id);
952                 return dt_ro(env, dd);
953                 /* We set FAIL_ONCE because we never "un-fail" a device */
954         }
955
956         return 0;
957 }
958
959 static inline struct mdt_export_data *mdt_req2med(struct ptlrpc_request *req)
960 {
961         return &req->rq_export->exp_mdt_data;
962 }
963
964 static inline struct mdt_device *mdt_exp2dev(struct obd_export *exp)
965 {
966         return mdt_dev(exp->exp_obd->obd_lu_dev);
967 }
968
969 static inline bool mdt_rdonly(struct obd_export *exp)
970 {
971         if (exp_connect_flags(exp) & OBD_CONNECT_RDONLY ||
972             mdt_exp2dev(exp)->mdt_bottom->dd_rdonly)
973                 return true;
974         return false;
975 }
976
977 typedef void (*mdt_reconstruct_t)(struct mdt_thread_info *mti,
978                                   struct mdt_lock_handle *lhc);
979 static inline int mdt_check_resent(struct mdt_thread_info *info,
980                                    mdt_reconstruct_t reconstruct,
981                                    struct mdt_lock_handle *lhc)
982 {
983         struct ptlrpc_request *req = mdt_info_req(info);
984         int rc = 0;
985         ENTRY;
986
987         if (lustre_msg_get_flags(req->rq_reqmsg) & MSG_RESENT) {
988                 OBD_ALLOC_PTR(info->mti_reply_data);
989                 if (info->mti_reply_data == NULL)
990                         RETURN(-ENOMEM);
991
992                 if (req_can_reconstruct(req, info->mti_reply_data)) {
993                         reconstruct(info, lhc);
994                         rc = 1;
995                 } else {
996                         DEBUG_REQ(D_HA, req,
997                                   "no reply data found for RESENT req");
998                         rc = 0;
999                 }
1000                 OBD_FREE_PTR(info->mti_reply_data);
1001                 info->mti_reply_data = NULL;
1002         }
1003         RETURN(rc);
1004 }
1005
1006 struct lu_ucred *mdt_ucred(const struct mdt_thread_info *info);
1007 struct lu_ucred *mdt_ucred_check(const struct mdt_thread_info *info);
1008
1009 static inline int is_identity_get_disabled(struct upcall_cache *cache)
1010 {
1011         return cache ? (strcmp(cache->uc_upcall, "NONE") == 0) : 1;
1012 }
1013
1014 int mdt_blocking_ast(struct ldlm_lock*, struct ldlm_lock_desc*, void*, int);
1015
1016 /* Issues dlm lock on passed @ns, @f stores it lock handle into @lh. */
1017 static inline int mdt_fid_lock(struct ldlm_namespace *ns,
1018                                struct lustre_handle *lh, enum ldlm_mode mode,
1019                                union ldlm_policy_data *policy,
1020                                const struct ldlm_res_id *res_id,
1021                                __u64 flags, const __u64 *client_cookie)
1022 {
1023         int rc;
1024
1025         LASSERT(ns != NULL);
1026         LASSERT(lh != NULL);
1027
1028         rc = ldlm_cli_enqueue_local(ns, res_id, LDLM_IBITS, policy,
1029                                     mode, &flags, mdt_blocking_ast,
1030                                     ldlm_completion_ast, NULL, NULL, 0,
1031                                     LVB_T_NONE, client_cookie, lh);
1032         return rc == ELDLM_OK ? 0 : -EIO;
1033 }
1034
1035 static inline void mdt_fid_unlock(struct lustre_handle *lh, enum ldlm_mode mode)
1036 {
1037         ldlm_lock_decref(lh, mode);
1038 }
1039
1040 static inline bool mdt_slc_is_enabled(struct mdt_device *mdt)
1041 {
1042         return mdt->mdt_lut.lut_sync_lock_cancel == BLOCKING_SYNC_ON_CANCEL;
1043 }
1044
1045 extern mdl_mode_t mdt_mdl_lock_modes[];
1046 extern enum ldlm_mode mdt_dlm_lock_modes[];
1047
1048 /* LCK_MINMODE which is zero returns false for is_power_of_2 */
1049
1050 static inline mdl_mode_t mdt_dlm_mode2mdl_mode(enum ldlm_mode mode)
1051 {
1052         LASSERT(mode == LCK_MINMODE || is_power_of_2(mode));
1053         return mdt_mdl_lock_modes[mode];
1054 }
1055
1056 static inline enum ldlm_mode mdt_mdl_mode2dlm_mode(mdl_mode_t mode)
1057 {
1058         LASSERT(mode == MDL_MINMODE || is_power_of_2(mode));
1059         return mdt_dlm_lock_modes[mode];
1060 }
1061
1062 /* mdt_lvb.c */
1063 extern struct ldlm_valblock_ops mdt_lvbo;
1064
1065 void mdt_enable_cos(struct mdt_device *, int);
1066 int mdt_cos_is_enabled(struct mdt_device *);
1067
1068 /* lprocfs stuff */
1069 enum {
1070         LPROC_MDT_OPEN = 0,
1071         LPROC_MDT_CLOSE,
1072         LPROC_MDT_MKNOD,
1073         LPROC_MDT_LINK,
1074         LPROC_MDT_UNLINK,
1075         LPROC_MDT_MKDIR,
1076         LPROC_MDT_RMDIR,
1077         LPROC_MDT_RENAME,
1078         LPROC_MDT_GETATTR,
1079         LPROC_MDT_SETATTR,
1080         LPROC_MDT_GETXATTR,
1081         LPROC_MDT_SETXATTR,
1082         LPROC_MDT_STATFS,
1083         LPROC_MDT_SYNC,
1084         LPROC_MDT_SAMEDIR_RENAME,
1085         LPROC_MDT_CROSSDIR_RENAME,
1086         LPROC_MDT_LAST,
1087 };
1088 void mdt_counter_incr(struct ptlrpc_request *req, int opcode);
1089 void mdt_stats_counter_init(struct lprocfs_stats *stats);
1090 int mdt_procfs_init(struct mdt_device *mdt, const char *name);
1091 void mdt_procfs_fini(struct mdt_device *mdt);
1092
1093 /* lustre/mdt_mdt_lproc.c */
1094 int lprocfs_mdt_open_files_seq_open(struct inode *inode,
1095                                     struct file *file);
1096 void mdt_rename_counter_tally(struct mdt_thread_info *info,
1097                               struct mdt_device *mdt,
1098                               struct ptlrpc_request *req,
1099                               struct mdt_object *src, struct mdt_object *tgt);
1100
1101 static inline struct obd_device *mdt2obd_dev(const struct mdt_device *mdt)
1102 {
1103         return mdt->mdt_lu_dev.ld_obd;
1104 }
1105
1106 extern const struct lu_device_operations mdt_lu_ops;
1107
1108 static inline char *mdt_obd_name(struct mdt_device *mdt)
1109 {
1110         return mdt->mdt_lu_dev.ld_obd->obd_name;
1111 }
1112
1113 int mds_mod_init(void);
1114 void mds_mod_exit(void);
1115
1116 static inline char *mdt_req_get_jobid(struct ptlrpc_request *req)
1117 {
1118         struct obd_export       *exp = req->rq_export;
1119         char                    *jobid = NULL;
1120
1121         if (exp_connect_flags(exp) & OBD_CONNECT_JOBSTATS)
1122                 jobid = lustre_msg_get_jobid(req->rq_reqmsg);
1123
1124         return jobid;
1125 }
1126
1127 #endif /* _MDT_INTERNAL_H */