Whamcloud - gitweb
LU-15283 quota: deadlock between reint & lquota_wb
[fs/lustre-release.git] / lustre / quota / qsd_internal.h
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; if not, write to the
18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
19  * Boston, MA 021110-1307, USA
20  *
21  * GPL HEADER END
22  */
23 /*
24  * Copyright (c) 2012, 2014, Intel Corporation.
25  * Use is subject to license terms.
26  */
27
28 #include "lquota_internal.h"
29
30 #ifndef _QSD_INTERNAL_H
31 #define _QSD_INTERNAL_H
32
33 struct qsd_type_info;
34 struct qsd_fsinfo;
35
36 extern struct kmem_cache *upd_kmem;
37
38 /*
39  * A QSD instance implements quota enforcement support for a given OSD.
40  * The instance can be created via qsd_init() and then freed with qsd_fini().
41  * This structure gathers all quota parameters and pointers to on-disk indexes
42  * required on quota slave to:
43  * i. acquire/release quota space from the QMT;
44  * ii. allocate this quota space to local requests.
45  */
46 struct qsd_instance {
47         /* name of service which created this qsd instance */
48         char                     qsd_svname[MAX_OBD_NAME];
49
50         /* dt_device associated with this qsd instance */
51         struct dt_device        *qsd_dev;
52
53         /* procfs directory where information related to the underlying slaves
54          * are exported */
55         struct proc_dir_entry   *qsd_proc;
56
57         /* export used for the connection to quota master */
58         struct obd_export       *qsd_exp;
59
60         /* ldlm namespace used for quota locks */
61         struct ldlm_namespace   *qsd_ns;
62
63         /* on-disk directory where to store index files for this qsd instance */
64         struct dt_object        *qsd_root;
65
66         /* We create 2 quota slave instances:
67          * - one for user quota
68          * - one for group quota
69          *
70          * This will have to be revisited if new quota types are added in the
71          * future. For the time being, we can just use an array. */
72         struct qsd_qtype_info   *qsd_type_array[LL_MAXQUOTAS];
73
74         /* per-filesystem quota information */
75         struct qsd_fsinfo       *qsd_fsinfo;
76
77         /* link into qfs_qsd_list of qfs_fsinfo */
78         struct list_head         qsd_link;
79
80         /* list of lqe entry which might need quota space adjustment */
81         struct list_head         qsd_adjust_list;
82
83         /* lock protecting adjust list */
84         spinlock_t               qsd_adjust_lock;
85
86         /* dedicated thread for updating slave index files. */
87         struct task_struct      *qsd_upd_task;
88
89         /* list of update tasks */
90         struct list_head         qsd_upd_list;
91
92         /* r/w spinlock protecting:
93          * - the state flags
94          * - the qsd update list
95          * - the deferred list
96          * - flags of the qsd_qtype_info */
97         rwlock_t                 qsd_lock;
98
99         /* Default quota settings which apply to all identifiers */
100         /* when blk qunit reaches this value, later write reqs from client
101          * should be sync. b=16642 */
102         unsigned long            qsd_sync_threshold;
103
104         /* how long a service thread can wait for quota space.
105          * value dynamically computed from obd_timeout and at_max if not
106          * enforced here (via procfs) */
107         int                      qsd_timeout;
108
109         unsigned long           qsd_is_md:1,    /* managing quota for mdt */
110                                 qsd_started:1,  /* instance is now started */
111                                 qsd_prepared:1, /* qsd_prepare() successfully
112                                                   * called */
113                                 qsd_exp_valid:1,/* qsd_exp is now valid */
114                                 qsd_stopping:1, /* qsd_instance is stopping */
115                                 qsd_updating:1, /* qsd is updating record */
116                                 qsd_exclusive:1; /* upd exclusive with reint */
117
118 };
119
120 /*
121  * Per-type quota information.
122  * Quota slave instance for a specific quota type. The qsd instance has one such
123  * structure for each quota type (i.e. user & group).
124  */
125 struct qsd_qtype_info {
126         /* reference count incremented by each user of this structure */
127         atomic_t                 qqi_ref;
128
129         /* quota type, either USRQUOTA or GRPQUOTA
130          * immutable after creation. */
131         int                      qqi_qtype;
132
133         /* Global index FID to use for this quota type */
134         struct lu_fid            qqi_fid;
135
136         /* Slave index FID allocated by the master */
137         struct lu_fid            qqi_slv_fid;
138
139         /* back pointer to qsd device
140          * immutable after creation. */
141         struct qsd_instance     *qqi_qsd;
142
143         /* handle of global quota lock */
144         struct lustre_handle     qqi_lockh;
145
146         /* Local index files storing quota settings for this quota type */
147         struct dt_object        *qqi_acct_obj; /* accounting object */
148         struct dt_object        *qqi_slv_obj;  /* slave index copy */
149         struct dt_object        *qqi_glb_obj;  /* global index copy */
150
151         /* Current object versions */
152         __u64                    qqi_slv_ver; /* slave index version */
153         __u64                    qqi_glb_ver; /* global index version */
154
155         /* per quota ID information. All lquota entry are kept in a hash table
156          * and read from disk on cache miss. */
157         struct lquota_site      *qqi_site;
158
159         /* Reintegration thread */
160         struct task_struct      *qqi_reint_task;
161
162         /* statistics on operations performed by this slave */
163         struct lprocfs_stats    *qqi_stats;
164
165         /* deferred update for the global index copy */
166         struct list_head         qqi_deferred_glb;
167         /* deferred update for the slave index copy */
168         struct list_head         qqi_deferred_slv;
169
170         /* Various flags representing the current state of the slave for this
171          * quota type. */
172         unsigned long           qqi_glb_uptodate:1, /* global index uptodate
173                                                         with master */
174                                 qqi_slv_uptodate:1, /* slave index uptodate
175                                                         with master */
176                                 qqi_reint:1,    /* in reintegration or not */
177                                 qqi_acct_failed:1; /* failed to setup acct */
178
179         /* A list of references to this instance, for debugging */
180         struct lu_ref           qqi_reference;
181
182         /* default quota setting*/
183         __u64                   qqi_default_hardlimit;
184         __u64                   qqi_default_softlimit;
185         __u64                   qqi_default_gracetime;
186 };
187
188 /*
189  * Per-filesystem quota information
190  * Structure tracking quota enforcement status on a per-filesystem basis
191  */
192 struct qsd_fsinfo {
193         /* filesystem name */
194         char                    qfs_name[MTI_NAME_MAXLEN];
195
196         /* what type of quota is enabled for each resource type. */
197         unsigned int            qfs_enabled[LQUOTA_NR_RES];
198
199         /* list of all qsd_instance for this fs */
200         struct list_head        qfs_qsd_list;
201         struct mutex            qfs_mutex;
202
203         /* link to the global quota fsinfo list.  */
204         struct list_head        qfs_link;
205
206         /* reference count */
207         int                     qfs_ref;
208 };
209
210 /*
211  * Helper functions & prototypes
212  */
213
214 /* helper routine to find qsd_instance associated a lquota_entry */
215 static inline struct qsd_qtype_info *lqe2qqi(struct lquota_entry *lqe)
216 {
217         LASSERT(!lqe_is_master(lqe));
218         return (struct qsd_qtype_info *)lqe->lqe_site->lqs_parent;
219 }
220
221 /* qqi_getref/putref is used to track users of a qqi structure  */
222 static inline void qqi_getref(struct qsd_qtype_info *qqi)
223 {
224         atomic_inc(&qqi->qqi_ref);
225 }
226
227 static inline void qqi_putref(struct qsd_qtype_info *qqi)
228 {
229         LASSERT(atomic_read(&qqi->qqi_ref) > 0);
230         atomic_dec(&qqi->qqi_ref);
231 }
232
233 #define QSD_RES_TYPE(qsd) ((qsd)->qsd_is_md ? LQUOTA_RES_MD : LQUOTA_RES_DT)
234
235 /* udpate record for slave & global index copy */
236 struct qsd_upd_rec {
237         struct list_head        qur_link; /* link into qsd_upd_list */
238         union lquota_id         qur_qid;
239         union lquota_rec        qur_rec;
240         struct qsd_qtype_info  *qur_qqi;
241         struct lquota_entry    *qur_lqe;
242         __u64                   qur_ver;
243         bool                    qur_global;
244 };
245
246 /* Common data shared by qsd-level handlers. This is allocated per-thread to
247  * reduce stack consumption.  */
248 struct qsd_thread_info {
249         union lquota_rec                qti_rec;
250         union lquota_id                 qti_id;
251         struct lu_fid                   qti_fid;
252         struct ldlm_res_id              qti_resid;
253         struct ldlm_enqueue_info        qti_einfo;
254         struct lustre_handle            qti_lockh;
255         __u64                           qti_slv_ver;
256         struct lquota_lvb               qti_lvb;
257         union {
258                 struct quota_body       qti_body;
259                 struct idx_info         qti_ii;
260         };
261         char                            qti_buf[MTI_NAME_MAXLEN];
262 };
263
264 extern struct lu_context_key qsd_thread_key;
265
266 static inline
267 struct qsd_thread_info *qsd_info(const struct lu_env *env)
268 {
269         return lu_env_info(env, &qsd_thread_key);
270 }
271
272 /* helper function to check whether a given quota type is enabled */
273 static inline int qsd_type_enabled(struct qsd_instance *qsd, int type)
274 {
275         int     enabled, pool;
276
277         LASSERT(qsd != NULL);
278         LASSERT(type < LL_MAXQUOTAS);
279
280         if (qsd->qsd_fsinfo == NULL)
281                 return 0;
282
283         pool = qsd->qsd_is_md ? LQUOTA_RES_MD : LQUOTA_RES_DT;
284         enabled = qsd->qsd_fsinfo->qfs_enabled[pool - LQUOTA_FIRST_RES];
285
286         return enabled & BIT(type);
287 }
288
289 /* helper function to set new qunit and compute associated qtune value */
290 static inline void qsd_set_qunit(struct lquota_entry *lqe, __u64 qunit)
291 {
292         if (lqe->lqe_qunit == qunit)
293                 return;
294
295         lqe->lqe_qunit = qunit;
296
297         /* With very large qunit support, we can't afford to have a static
298          * qtune value, e.g. with a 1PB qunit and qtune set to 50%, we would
299          * start pre-allocation when 512TB of free quota space remains.
300          * Therefore, we adapt qtune depending on the actual qunit value */
301         if (qunit == 0)                         /* if qunit is NULL           */
302                 lqe->lqe_qtune = 0;             /*  qtune = 0                 */
303         else if (qunit == 1024)                 /* if 1MB or 1K inodes        */
304                 lqe->lqe_qtune = qunit >> 1;    /*  => 50%                    */
305         else if (qunit <= 1024 * 1024)          /* up to 1GB or 1M inodes     */
306                 lqe->lqe_qtune = qunit >> 2;    /*  => 25%                    */
307         else if (qunit <= 4 * 1024 * 1024)      /* up to 16GB or 16M inodes   */
308                 lqe->lqe_qtune = qunit >> 3;    /*  => 12.5%                  */
309         else                                    /* above 4GB/4M               */
310                 lqe->lqe_qtune = 1024 * 1024;   /*  value capped to 1GB/1M    */
311
312         LQUOTA_DEBUG(lqe, "changing qunit & qtune");
313
314         /* turn on pre-acquire when qunit is modified */
315         lqe->lqe_nopreacq = false;
316 }
317
318 /* helper function to set/clear edquot flag */
319 static inline void qsd_set_edquot(struct lquota_entry *lqe, bool edquot)
320 {
321         lqe->lqe_edquot = edquot;
322         if (edquot)
323                 lqe->lqe_edquot_time = ktime_get_seconds();
324 }
325
326 #define QSD_WB_INTERVAL 60 /* 60 seconds */
327
328 /* helper function calculating how long a service thread should be waiting for
329  * quota space */
330 static inline int qsd_wait_timeout(struct qsd_instance *qsd)
331 {
332         if (qsd->qsd_timeout != 0)
333                 return qsd->qsd_timeout;
334         return min_t(int, at_max / 2, obd_timeout / 2);
335 }
336
337 /* qsd_entry.c */
338 extern const struct lquota_entry_operations qsd_lqe_ops;
339 int qsd_refresh_usage(const struct lu_env *, struct lquota_entry *);
340 int qsd_update_index(const struct lu_env *, struct qsd_qtype_info *,
341                      union lquota_id *, bool, __u64, void *);
342 int qsd_update_lqe(const struct lu_env *, struct lquota_entry *, bool,
343                    void *);
344 int qsd_write_version(const struct lu_env *, struct qsd_qtype_info *,
345                       __u64, bool);
346
347 /* qsd_lock.c */
348 extern struct ldlm_enqueue_info qsd_glb_einfo;
349 extern struct ldlm_enqueue_info qsd_id_einfo;
350 void qsd_update_default_quota(struct qsd_qtype_info *qqi, __u64 hardlimit,
351                               __u64 softlimit, __u64 gracetime);
352 int qsd_id_lock_match(struct lustre_handle *, struct lustre_handle *);
353 int qsd_id_lock_cancel(const struct lu_env *, struct lquota_entry *);
354
355 /* qsd_reint.c */
356 int qsd_start_reint_thread(struct qsd_qtype_info *);
357 void qsd_stop_reint_thread(struct qsd_qtype_info *);
358
359 /* qsd_request.c */
360 typedef void (*qsd_req_completion_t) (const struct lu_env *,
361                                       struct qsd_qtype_info *,
362                                       struct quota_body *, struct quota_body *,
363                                       struct lustre_handle *,
364                                       struct lquota_lvb *, void *, int);
365 int qsd_send_dqacq(const struct lu_env *, struct obd_export *,
366                    struct quota_body *, bool, qsd_req_completion_t,
367                    struct qsd_qtype_info *, struct lustre_handle *,
368                    struct lquota_entry *);
369 int qsd_intent_lock(const struct lu_env *, struct obd_export *,
370                     struct quota_body *, bool, int, qsd_req_completion_t,
371                     struct qsd_qtype_info *, struct lquota_lvb *, void *);
372 int qsd_fetch_index(const struct lu_env *, struct obd_export *,
373                     struct idx_info *, unsigned int, struct page **, bool *);
374
375 /* qsd_writeback.c */
376 void qsd_bump_version(struct qsd_qtype_info *, __u64, bool);
377 void qsd_upd_schedule(struct qsd_qtype_info *, struct lquota_entry *,
378                       union lquota_id *, union lquota_rec *, __u64, bool);
379 /* qsd_config.c */
380 struct qsd_fsinfo *qsd_get_fsinfo(char *, bool);
381 void qsd_put_fsinfo(struct qsd_fsinfo *);
382 int qsd_config(char *valstr, char *fsname, int pool);
383 int qsd_process_config(struct lustre_cfg *);
384
385 /* qsd_handler.c */
386 int qsd_adjust(const struct lu_env *, struct lquota_entry *);
387
388 /* qsd_writeback.c */
389 void qsd_upd_schedule(struct qsd_qtype_info *, struct lquota_entry *,
390                       union lquota_id *, union lquota_rec *, __u64, bool);
391 void qsd_bump_version(struct qsd_qtype_info *, __u64, bool);
392 int qsd_start_upd_thread(struct qsd_instance *);
393 void qsd_stop_upd_thread(struct qsd_instance *);
394 void qsd_adjust_schedule(struct lquota_entry *, bool, bool);
395 #endif /* _QSD_INTERNAL_H */