Whamcloud - gitweb
LU-9341 utils: fix lfs find for composite files
[fs/lustre-release.git] / lustre / mgs / mgs_internal.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2011, 2017, Intel Corporation.
27  */
28 /*
29  * This file is part of Lustre, http://www.lustre.org/
30  * Lustre is a trademark of Sun Microsystems, Inc.
31  */
32
33 #ifndef _MGS_INTERNAL_H
34 #define _MGS_INTERNAL_H
35
36 #include <libcfs/libcfs.h>
37 #include <lustre_log.h>
38 #include <lustre_export.h>
39 #include <lustre_nodemap.h>
40 #include <dt_object.h>
41
42 #define MGSSELF_NAME    "_mgs"
43
44 #define MGS_SERVICE_WATCHDOG_FACTOR 2
45
46 /* -- imperative recovery control data structures -- */
47 /**
48  * restarting targets.
49  */
50 struct mgs_nidtbl;
51 struct mgs_nidtbl_target {
52         struct list_head        mnt_list;
53         struct mgs_nidtbl      *mnt_fs;
54         u64                     mnt_version;
55         int                     mnt_type;       /* OST or MDT */
56         struct mgs_target_info  mnt_mti;
57 };
58
59 enum {
60         IR_FULL = 0,
61         IR_STARTUP,
62         IR_DISABLED,
63         IR_PARTIAL
64 };
65
66 #define IR_STRINGS { "full", "startup", "disabled", "partial" }
67
68 /**
69  */
70 struct fs_db;
71
72 /**
73  * maintain fs client nodes of mgs.
74  */
75 struct mgs_fsc {
76         struct fs_db            *mfc_fsdb;
77         /**
78          * Where the fs client comes from.
79          */
80         struct obd_export       *mfc_export;
81         /**
82          * list of fs clients from the same export,
83          * protected by mgs_export_data->med_lock
84          */
85         struct list_head        mfc_export_list;
86         /**
87          * list of fs clients in the same fsdb, protected by fsdb->fsdb_mutex
88          */
89         struct list_head        mfc_fsdb_list;
90         unsigned                mfc_ir_capable:1;
91 };
92
93 struct mgs_nidtbl {
94         struct fs_db            *mn_fsdb;
95         struct file             *mn_version_file;
96         struct mutex             mn_lock;
97         u64                      mn_version;
98         int                      mn_nr_targets;
99         struct list_head         mn_targets;
100 };
101
102 struct mgs_tgt_srpc_conf {
103         struct mgs_tgt_srpc_conf  *mtsc_next;
104         char                      *mtsc_tgt;
105         struct sptlrpc_rule_set    mtsc_rset;
106 };
107
108 #define INDEX_MAP_SIZE  8192     /* covers indicies to FFFF */
109
110 #define FSDB_LOG_EMPTY          (0)  /* missing client log */
111 #define FSDB_OLDLOG14           (1)  /* log starts in old (1.4) style */
112 #define FSDB_REVOKING_LOCK      (2)  /* DLM lock is being revoked */
113 #define FSDB_MGS_SELF           (3)  /* for '_mgs', used by sptlrpc */
114 #define FSDB_OSCNAME18          (4)  /* old 1.8 style OSC naming */
115 #define FSDB_UDESC              (5)  /* sptlrpc user desc, will be obsolete */
116 #define FSDB_REVOKING_PARAMS    (6)  /* DLM lock is being revoked */
117
118 struct fs_db {
119         char              fsdb_name[20];
120         struct list_head  fsdb_list;            /* list of databases */
121         struct mutex      fsdb_mutex;
122         union {
123                 void     *fsdb_ost_index_map;   /* bitmap of used indicies */
124                 void     *fsdb_barrier_map;     /* bitmap of barrier */
125         };
126         void             *fsdb_mdt_index_map;   /* bitmap of used indicies */
127         atomic_t          fsdb_ref;
128         char             *fsdb_clilov;  /* COMPAT_146 client lov name */
129         char             *fsdb_clilmv;
130         unsigned long     fsdb_flags;
131         __u32             fsdb_barrier_status;
132         int               fsdb_mdt_count;
133         time64_t          fsdb_barrier_timeout;
134         __u32             fsdb_barrier_expected;
135         int               fsdb_barrier_result;
136         time64_t          fsdb_barrier_latest_create_time;
137
138         /* in-memory copy of the srpc rules, guarded by fsdb_lock */
139         struct sptlrpc_rule_set   fsdb_srpc_gen;
140         struct mgs_tgt_srpc_conf *fsdb_srpc_tgt;
141
142         /* list of fs clients, mgs_fsc. protected by mgs_mutex */
143         struct list_head     fsdb_clients;
144         int                  fsdb_nonir_clients;
145         int                  fsdb_ir_state;
146
147         /* Target NIDs Table */
148         struct mgs_nidtbl    fsdb_nidtbl;
149
150         /* async thread to notify clients */
151         struct mgs_device    *fsdb_mgs;
152         wait_queue_head_t     fsdb_notify_waitq;
153         struct completion     fsdb_notify_comp;
154         ktime_t               fsdb_notify_start;
155         atomic_t              fsdb_notify_phase;
156         volatile unsigned int fsdb_notify_async:1,
157                               fsdb_notify_stop:1,
158                               fsdb_has_lproc_entry:1,
159                               fsdb_barrier_disabled:1;
160         /* statistic data */
161         ktime_t         fsdb_notify_total;
162         ktime_t         fsdb_notify_max;
163         unsigned int    fsdb_notify_count;
164         __u32           fsdb_gen;
165 };
166
167 struct mgs_device {
168         struct dt_device                 mgs_dt_dev;
169         struct ptlrpc_service           *mgs_service;
170         struct dt_device                *mgs_bottom;
171         struct obd_export               *mgs_bottom_exp;
172         struct dt_object                *mgs_configs_dir;
173         struct dt_object                *mgs_nidtbl_dir;
174         struct list_head                 mgs_fs_db_list;
175         spinlock_t                       mgs_lock; /* covers mgs_fs_db_list */
176         struct proc_dir_entry           *mgs_proc_live;
177         struct proc_dir_entry           *mgs_proc_osd;
178         struct attribute                *mgs_fstype;
179         struct attribute                *mgs_mntdev;
180         time64_t                         mgs_start_time;
181         struct obd_device               *mgs_obd;
182         struct local_oid_storage        *mgs_los;
183         struct mutex                     mgs_mutex;
184         struct mutex                     mgs_health_mutex;
185         struct rw_semaphore              mgs_barrier_rwsem;
186         struct lu_target                 mgs_lut;
187 };
188
189 /* this is a top object */
190 struct mgs_object {
191         struct lu_object_header mgo_header;
192         struct dt_object        mgo_obj;
193         int                     mgo_no_attrs;
194         int                     mgo_reserved;
195 };
196
197 int mgs_init_fsdb_list(struct mgs_device *mgs);
198 int mgs_cleanup_fsdb_list(struct mgs_device *mgs);
199 int mgs__mgs_fsdb_setup(const struct lu_env *env, struct mgs_device *mgs);
200 int mgs_params_fsdb_setup(const struct lu_env *env, struct mgs_device *mgs);
201 int mgs_params_fsdb_cleanup(const struct lu_env *env, struct mgs_device *mgs);
202 int mgs_find_or_make_fsdb(const struct lu_env *env, struct mgs_device *mgs,
203                           char *name, struct fs_db **dbh);
204 int mgs_find_or_make_fsdb_nolock(const struct lu_env *env,
205                                   struct mgs_device *mgs, char *name,
206                                   struct fs_db **dbh);
207 struct fs_db *mgs_find_fsdb(struct mgs_device *mgs, const char *fsname);
208 void mgs_put_fsdb(struct mgs_device *mgs, struct fs_db *fsdb);
209 int mgs_get_fsdb_srpc_from_llog(const struct lu_env *env,
210                                 struct mgs_device *mgs, struct fs_db *fsdb);
211 int mgs_check_index(const struct lu_env *env, struct mgs_device *mgs,
212                     struct mgs_target_info *mti);
213 int mgs_write_log_target(const struct lu_env *env, struct mgs_device *mgs,
214                          struct mgs_target_info *mti, struct fs_db *fsdb);
215 int mgs_replace_nids(const struct lu_env *env, struct mgs_device *mgs,
216                      char *devname, char *nids);
217 int mgs_clear_configs(const struct lu_env *env, struct mgs_device *mgs,
218                       const char *devname);
219 int mgs_erase_log(const struct lu_env *env, struct mgs_device *mgs,
220                   char *name);
221 int mgs_erase_logs(const struct lu_env *env, struct mgs_device *mgs,
222                    const char *fsname);
223 int mgs_set_param(const struct lu_env *env, struct mgs_device *mgs,
224                   struct lustre_cfg *lcfg);
225 int mgs_list_logs(const struct lu_env *env, struct mgs_device *mgs,
226                   struct obd_ioctl_data *data);
227 int mgs_pool_cmd(const struct lu_env *env, struct mgs_device *mgs,
228                  enum lcfg_command_type cmd, char *poolname, char *fsname,
229                  char *ostname);
230 int mgs_nodemap_cmd(const struct lu_env *env, struct mgs_device *mgs,
231                     enum lcfg_command_type cmd, const char *nodemap_name,
232                     char *param);
233
234 /* mgs_handler.c */
235 int  mgs_get_lock(struct obd_device *obd, struct ldlm_res_id *res,
236                   struct lustre_handle *lockh);
237 int  mgs_put_lock(struct lustre_handle *lockh);
238 void mgs_revoke_lock(struct mgs_device *mgs, struct fs_db *fsdb, int type);
239
240 /* mgs_nids.c */
241 int  mgs_ir_update(const struct lu_env *env, struct mgs_device *mgs,
242                    struct mgs_target_info *mti);
243 int mgs_ir_init_fs(const struct lu_env *env, struct mgs_device *mgs,
244                    struct fs_db *fsdb);
245 void mgs_ir_fini_fs(struct mgs_device *mgs, struct fs_db *fsdb);
246 void mgs_ir_notify_complete(struct fs_db *fsdb);
247 int  mgs_get_ir_logs(struct ptlrpc_request *req);
248 int  lprocfs_wr_ir_state(struct file *file, const char __user *buffer,
249                          size_t count, void *data);
250 int  lprocfs_rd_ir_state(struct seq_file *seq, void *data);
251 ssize_t
252 lprocfs_ir_timeout_seq_write(struct file *file, const char __user *buffer,
253                              size_t count, loff_t *off);
254 int  lprocfs_ir_timeout_seq_show(struct seq_file *seq, void *data);
255 void mgs_fsc_cleanup(struct obd_export *exp);
256 void mgs_fsc_cleanup_by_fsdb(struct fs_db *fsdb);
257 int  mgs_fsc_attach(const struct lu_env *env, struct obd_export *exp,
258                     char *fsname);
259
260 /* mgs_fs.c */
261 int mgs_export_stats_init(struct obd_device *obd, struct obd_export *exp,
262                           void *localdata);
263 int mgs_client_free(struct obd_export *exp);
264 int mgs_fs_setup(const struct lu_env *env, struct mgs_device *m);
265 int mgs_fs_cleanup(const struct lu_env *env, struct mgs_device *m);
266
267 /* mgs_barrier.c */
268 int mgs_iocontrol_barrier(const struct lu_env *env,
269                           struct mgs_device *mgs,
270                           struct obd_ioctl_data *data);
271
272 #ifdef CONFIG_PROC_FS
273 int lproc_mgs_setup(struct mgs_device *mgs, const char *osd_name);
274 void lproc_mgs_cleanup(struct mgs_device *mgs);
275 int lproc_mgs_add_live(struct mgs_device *mgs, struct fs_db *fsdb);
276 int lproc_mgs_del_live(struct mgs_device *mgs, struct fs_db *fsdb);
277 #else
278 static inline int lproc_mgs_setup(struct mgs_device *mgs, const char *osd_name)
279 {return 0;}
280 static inline void lproc_mgs_cleanup(struct mgs_device *mgs)
281 {}
282 static inline int lproc_mgs_add_live(struct mgs_device *mgs, struct fs_db *fsdb)
283 {return 0;}
284 static inline int lproc_mgs_del_live(struct mgs_device *mgs, struct fs_db *fsdb)
285 {return 0;}
286 #endif
287
288 /* mgs/lproc_mgs.c */
289 enum {
290         LPROC_MGS_CONNECT = 0,
291         LPROC_MGS_DISCONNECT,
292         LPROC_MGS_EXCEPTION,
293         LPROC_MGS_TARGET_REG,
294         LPROC_MGS_TARGET_DEL,
295         LPROC_MGS_LAST
296 };
297 void mgs_counter_incr(struct obd_export *exp, int opcode);
298 void mgs_stats_counter_init(struct lprocfs_stats *stats);
299
300 struct temp_comp {
301         struct mgs_target_info  *comp_tmti;
302         struct mgs_target_info  *comp_mti;
303         struct fs_db            *comp_fsdb;
304         struct obd_device       *comp_obd;
305 };
306
307 struct mgs_thread_info {
308         struct lustre_cfg_bufs  mgi_bufs;
309         char                    mgi_fsname[MTI_NAME_MAXLEN];
310         struct cfg_marker       mgi_marker;
311         struct temp_comp        mgi_comp;
312         union ldlm_gl_desc      mgi_gl_desc;
313 };
314
315 extern struct lu_context_key mgs_thread_key;
316
317 static inline struct mgs_thread_info *mgs_env_info(const struct lu_env *env)
318 {
319         struct mgs_thread_info  *info;
320         int                     rc;
321
322         info = lu_context_key_get(&env->le_ctx, &mgs_thread_key);
323         if (info == NULL) {
324                 rc = lu_env_refill((struct lu_env *)env);
325                 if (rc != 0)
326                         return ERR_PTR(rc);
327                 info = lu_context_key_get(&env->le_ctx, &mgs_thread_key);
328         }
329         LASSERT(info != NULL);
330         return info;
331 }
332
333 extern const struct lu_device_operations mgs_lu_ops;
334
335 static inline int lu_device_is_mgs(struct lu_device *d)
336 {
337         return ergo(d != NULL && d->ld_ops != NULL, d->ld_ops == &mgs_lu_ops);
338 }
339
340 static inline struct mgs_device* lu2mgs_dev(struct lu_device *d)
341 {
342         LASSERT(lu_device_is_mgs(d));
343         return container_of0(d, struct mgs_device, mgs_dt_dev.dd_lu_dev);
344 }
345
346 static inline struct mgs_device *exp2mgs_dev(struct obd_export *exp)
347 {
348         return lu2mgs_dev(exp->exp_obd->obd_lu_dev);
349 }
350
351 static inline struct lu_device *mgs2lu_dev(struct mgs_device *d)
352 {
353         return (&d->mgs_dt_dev.dd_lu_dev);
354 }
355
356 static inline struct mgs_device *dt2mgs_dev(struct dt_device *d)
357 {
358         LASSERT(lu_device_is_mgs(&d->dd_lu_dev));
359         return container_of0(d, struct mgs_device, mgs_dt_dev);
360 }
361
362 static inline struct mgs_object *lu2mgs_obj(struct lu_object *o)
363 {
364         LASSERT(ergo(o != NULL, lu_device_is_mgs(o->lo_dev)));
365         return container_of0(o, struct mgs_object, mgo_obj.do_lu);
366 }
367
368 static inline struct lu_object *mgs2lu_obj(struct mgs_object *obj)
369 {
370         return &obj->mgo_obj.do_lu;
371 }
372
373 static inline struct mgs_object *mgs_obj(const struct lu_object *o)
374 {
375         LASSERT(lu_device_is_mgs(o->lo_dev));
376         return container_of0(o, struct mgs_object, mgo_obj.do_lu);
377 }
378
379 static inline struct mgs_object *dt2mgs_obj(const struct dt_object *d)
380 {
381         return mgs_obj(&d->do_lu);
382 }
383
384 static inline struct dt_object* mgs_object_child(struct mgs_object *o)
385 {
386         return container_of0(lu_object_next(mgs2lu_obj(o)),
387                              struct dt_object, do_lu);
388 }
389
390 struct mgs_direntry {
391         struct list_head         mde_list;
392         char                    *mde_name;
393         int                      mde_len;
394 };
395
396 static inline void mgs_direntry_free(struct mgs_direntry *de)
397 {
398         LASSERT(list_empty(&de->mde_list));
399         if (de) {
400                 LASSERT(de->mde_len);
401                 OBD_FREE(de->mde_name, de->mde_len);
402                 OBD_FREE_PTR(de);
403         }
404 }
405
406 static inline struct mgs_direntry *mgs_direntry_alloc(int len)
407 {
408         struct mgs_direntry *de;
409
410         OBD_ALLOC_PTR(de);
411         if (de == NULL)
412                 return NULL;
413
414         OBD_ALLOC(de->mde_name, len);
415         if (de->mde_name == NULL) {
416                 OBD_FREE_PTR(de);
417                 return NULL;
418         }
419
420         de->mde_len = len;
421         INIT_LIST_HEAD(&de->mde_list);
422
423         return de;
424 }
425
426 /* mgs_llog.c */
427 int class_dentry_readdir(const struct lu_env *env, struct mgs_device *mgs,
428                          struct list_head *list);
429 int mgs_lcfg_fork(const struct lu_env *env, struct mgs_device *mgs,
430                   const char *oldname, const char *newname);
431 int mgs_lcfg_erase(const struct lu_env *env, struct mgs_device *mgs,
432                    const char *fsname);
433 int mgs_lcfg_rename(const struct lu_env *env, struct mgs_device *mgs);
434
435 #endif /* _MGS_INTERNAL_H */