Whamcloud - gitweb
LU-12687 osc: consume grants for direct I/O
[fs/lustre-release.git] / lustre / target / tgt_grant.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2009, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2012, 2017, Intel Corporation.
27  */
28 /*
29  * lustre/target/tgt_grant.c
30  *
31  * This file provides code related to grant space management on Lustre Targets
32  * (OSTs and MDTs). Grant is a mechanism used by client nodes to reserve disk
33  * space on a target for the data writeback cache. The Lustre client is thus
34  * assured that enough space will be available when flushing dirty pages
35  * asynchronously. Each client node is granted an initial amount of reserved
36  * space at connect time and gets additional space back from target in bulk
37  * write reply.
38  *
39  * We actually support three different cases:
40  * - The client supports the new grant parameters (i.e. OBD_CONNECT_GRANT_PARAM)
41  *   which means that all grant overhead calculation happens on the client side.
42  *   The server reports at connect time the backend filesystem block size, the
43  *   maximum extent size as well as the extent insertion cost and it is then up
44  *   to the osc layer to the track dirty extents and consume grant accordingly
45  *   (see osc_cache.c). In each bulk write request, the client provides how much
46  *   grant space was consumed for this RPC.
47  * - The client does not support OBD_CONNECT_GRANT_PARAM and always assumes a
48  *   a backend file system block size of 4KB. We then have two cases:
49  *   - If the block size is really 4KB, then the client can deal with grant
50  *     allocation for partial block writes, but won't take extent insertion cost
51  *     into account. For such clients, we inflate grant by 100% on the server
52  *     side. It means that when 32MB of grant is hold by the client, 64MB of
53  *     grant space is actually reserved on the server. All grant counters
54  *     provided by such a client are inflated by 100%.
55  *   - The backend filesystem block size is bigger than 4KB, which isn't
56  *     supported by the client. In this case, we emulate a 4KB block size and
57  *     consume one block size on the server for each 4KB of grant returned to
58  *     client. With a 128KB blocksize, it means that 32MB dirty pages of 4KB
59  *     on the client will actually consume 1GB of grant on the server.
60  *     All grant counters provided by such a client are inflated by the block
61  *     size ratio.
62  *
63  * This file handles the core logic for:
64  * - grant allocation strategy
65  * - maintaining per-client as well as global grant space accounting
66  * - processing grant information packed in incoming requests
67  * - allocating server-side grant space for synchronous write RPCs which did not
68  *   consume grant on the client side (OBD_BRW_FROM_GRANT flag not set). If not
69  *   enough space is available, such RPCs fail with ENOSPC
70  *
71  * Author: Johann Lombardi <johann.lombardi@intel.com>
72  */
73
74 #define DEBUG_SUBSYSTEM S_CLASS
75
76 #include <obd.h>
77 #include <obd_class.h>
78
79 #include "tgt_internal.h"
80
81 /* Clients typically hold 2x their max_rpcs_in_flight of grant space */
82 #define TGT_GRANT_SHRINK_LIMIT(exp)     (2ULL * 8 * exp_max_brw_size(exp))
83
84 /* Helpers to inflate/deflate grants for clients that do not support the grant
85  * parameters */
86 static inline u64 tgt_grant_inflate(struct tg_grants_data *tgd, u64 val)
87 {
88         if (tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
89                 /* Client does not support such large block size, grant
90                  * is thus inflated. We already significantly overestimate
91                  * overhead, no need to add the extent tax in this case */
92                 return val << (tgd->tgd_blockbits - COMPAT_BSIZE_SHIFT);
93         return val;
94 }
95
96 /* Companion of tgt_grant_inflate() */
97 static inline u64 tgt_grant_deflate(struct tg_grants_data *tgd, u64 val)
98 {
99         if (tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
100                 return val >> (tgd->tgd_blockbits - COMPAT_BSIZE_SHIFT);
101         return val;
102 }
103
104 /* Grant chunk is used as a unit for grant allocation. It should be inflated
105  * if the client does not support the grant paramaters.
106  * Check connection flag against \a data if not NULL. This is used during
107  * connection creation where exp->exp_connect_data isn't populated yet */
108 static inline u64 tgt_grant_chunk(struct obd_export *exp,
109                                   struct lu_target *lut,
110                                   struct obd_connect_data *data)
111 {
112         struct tg_grants_data *tgd = &lut->lut_tgd;
113         u64 chunk = exp_max_brw_size(exp);
114         u64 tax;
115
116         if (exp->exp_obd->obd_self_export == exp)
117                 /* Grant enough space to handle a big precreate request */
118                 return OST_MAX_PRECREATE * lut->lut_dt_conf.ddp_inodespace / 2;
119
120         if ((data == NULL && !(exp_grant_param_supp(exp))) ||
121             (data != NULL && !OCD_HAS_FLAG(data, GRANT_PARAM)))
122                 /* Try to grant enough space to send 2 full-size RPCs */
123                 return tgt_grant_inflate(tgd, chunk) << 1;
124
125         /* Try to return enough to send two full-size RPCs
126          * = 2 * (BRW_size + #extents_in_BRW * grant_tax) */
127         tax = 1ULL << tgd->tgd_blockbits;            /* block size */
128         tax *= lut->lut_dt_conf.ddp_max_extent_blks; /* max extent size */
129         tax = (chunk + tax - 1) / tax;               /* #extents in a RPC */
130         tax *= lut->lut_dt_conf.ddp_extent_tax;      /* extent tax for a RPC */
131         chunk = (chunk + tax) * 2;                   /* we said two full RPCs */
132         return chunk;
133 }
134
135 static int tgt_check_export_grants(struct obd_export *exp, u64 *dirty,
136                                    u64 *pending, u64 *granted, u64 maxsize)
137 {
138         struct tg_export_data *ted = &exp->exp_target_data;
139         int level = D_CACHE;
140
141         if (ted->ted_grant < 0 || ted->ted_pending < 0 || ted->ted_dirty < 0)
142                 level = D_ERROR;
143         CDEBUG_LIMIT(level, "%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
144                      exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
145                      ted->ted_dirty, ted->ted_pending, ted->ted_grant);
146
147         if (ted->ted_grant + ted->ted_pending > maxsize) {
148                 CERROR("%s: cli %s/%p ted_grant(%ld) + ted_pending(%ld)"
149                         " > maxsize(%llu)\n", exp->exp_obd->obd_name,
150                         exp->exp_client_uuid.uuid, exp, ted->ted_grant,
151                         ted->ted_pending, maxsize);
152                 return -EFAULT;
153         }
154         if (ted->ted_dirty > maxsize) {
155                 CERROR("%s: cli %s/%p ted_dirty(%ld) > maxsize(%llu)\n",
156                         exp->exp_obd->obd_name, exp->exp_client_uuid.uuid,
157                         exp, ted->ted_dirty, maxsize);
158                 return -EFAULT;
159         }
160         *granted += ted->ted_grant + ted->ted_pending;
161         *pending += ted->ted_pending;
162         *dirty += ted->ted_dirty;
163         return 0;
164 }
165
166 /**
167  * Perform extra sanity checks for grant accounting.
168  *
169  * This function scans the export list, sanity checks per-export grant counters
170  * and verifies accuracy of global grant accounting. If an inconsistency is
171  * found, a CERROR is printed with the function name \func that was passed as
172  * argument. LBUG is only called in case of serious counter corruption (i.e.
173  * value larger than the device size).
174  * Those sanity checks can be pretty expensive and are disabled if the OBD
175  * device has more than 100 connected exports.
176  *
177  * \param[in] obd       OBD device for which grant accounting should be
178  *                      verified
179  * \param[in] func      caller's function name
180  */
181 void tgt_grant_sanity_check(struct obd_device *obd, const char *func)
182 {
183         struct lu_target *lut = obd->u.obt.obt_lut;
184         struct tg_grants_data *tgd = &lut->lut_tgd;
185         struct obd_export *exp;
186         struct tg_export_data *ted;
187         u64                maxsize;
188         u64                tot_dirty = 0;
189         u64                tot_pending = 0;
190         u64                tot_granted = 0;
191         u64                fo_tot_granted;
192         u64                fo_tot_pending;
193         u64                fo_tot_dirty;
194         int                error;
195
196         if (list_empty(&obd->obd_exports))
197                 return;
198
199         /* We don't want to do this for large machines that do lots of
200          * mounts or unmounts.  It burns... */
201         if (obd->obd_num_exports > 100)
202                 return;
203
204         maxsize = tgd->tgd_osfs.os_blocks << tgd->tgd_blockbits;
205
206         spin_lock(&obd->obd_dev_lock);
207         spin_lock(&tgd->tgd_grant_lock);
208         exp = obd->obd_self_export;
209         ted = &exp->exp_target_data;
210         CDEBUG(D_CACHE, "%s: processing self export: %ld %ld "
211                "%ld\n", obd->obd_name, ted->ted_grant,
212                ted->ted_pending, ted->ted_dirty);
213         tot_granted += ted->ted_grant + ted->ted_pending;
214         tot_pending += ted->ted_pending;
215         tot_dirty += ted->ted_dirty;
216
217         list_for_each_entry(exp, &obd->obd_exports, exp_obd_chain) {
218                 error = tgt_check_export_grants(exp, &tot_dirty, &tot_pending,
219                                                 &tot_granted, maxsize);
220                 if (error < 0) {
221                         spin_unlock(&obd->obd_dev_lock);
222                         spin_unlock(&tgd->tgd_grant_lock);
223                         LBUG();
224                 }
225         }
226
227         /* exports about to be unlinked should also be taken into account since
228          * they might still hold pending grant space to be released at
229          * commit time */
230         list_for_each_entry(exp, &obd->obd_unlinked_exports, exp_obd_chain) {
231                 error = tgt_check_export_grants(exp, &tot_dirty, &tot_pending,
232                                                 &tot_granted, maxsize);
233                 if (error < 0) {
234                         spin_unlock(&obd->obd_dev_lock);
235                         spin_unlock(&tgd->tgd_grant_lock);
236                         LBUG();
237                 }
238         }
239
240         fo_tot_granted = tgd->tgd_tot_granted;
241         fo_tot_pending = tgd->tgd_tot_pending;
242         fo_tot_dirty = tgd->tgd_tot_dirty;
243         spin_unlock(&obd->obd_dev_lock);
244         spin_unlock(&tgd->tgd_grant_lock);
245
246         if (tot_granted != fo_tot_granted)
247                 CERROR("%s: tot_granted %llu != fo_tot_granted %llu\n",
248                        func, tot_granted, fo_tot_granted);
249         if (tot_pending != fo_tot_pending)
250                 CERROR("%s: tot_pending %llu != fo_tot_pending %llu\n",
251                        func, tot_pending, fo_tot_pending);
252         if (tot_dirty != fo_tot_dirty)
253                 CERROR("%s: tot_dirty %llu != fo_tot_dirty %llu\n",
254                        func, tot_dirty, fo_tot_dirty);
255         if (tot_pending > tot_granted)
256                 CERROR("%s: tot_pending %llu > tot_granted %llu\n",
257                        func, tot_pending, tot_granted);
258         if (tot_granted > maxsize)
259                 CERROR("%s: tot_granted %llu > maxsize %llu\n",
260                        func, tot_granted, maxsize);
261         if (tot_dirty > maxsize)
262                 CERROR("%s: tot_dirty %llu > maxsize %llu\n",
263                        func, tot_dirty, maxsize);
264 }
265 EXPORT_SYMBOL(tgt_grant_sanity_check);
266
267 /**
268  * Get file system statistics of target.
269  *
270  * Helper function for statfs(), also used by grant code.
271  * Implements caching for statistics to avoid calling OSD device each time.
272  *
273  * \param[in]  env        execution environment
274  * \param[in]  lut        LU target
275  * \param[out] osfs       statistic data to return
276  * \param[in]  max_age    maximum age for cached data
277  * \param[in]  from_cache show that data was get from cache or not
278  *
279  * \retval              0 if successful
280  * \retval              negative value on error
281  */
282 int tgt_statfs_internal(const struct lu_env *env, struct lu_target *lut,
283                         struct obd_statfs *osfs, time64_t max_age, int *from_cache)
284 {
285         struct tg_grants_data *tgd = &lut->lut_tgd;
286         int rc = 0;
287         ENTRY;
288
289         spin_lock(&tgd->tgd_osfs_lock);
290         if (tgd->tgd_osfs_age < max_age || max_age == 0) {
291                 u64 unstable;
292
293                 /* statfs data are too old, get up-to-date one.
294                  * we must be cautious here since multiple threads might be
295                  * willing to update statfs data concurrently and we must
296                  * grant that cached statfs data are always consistent */
297
298                 if (tgd->tgd_statfs_inflight == 0)
299                         /* clear inflight counter if no users, although it would
300                          * take a while to overflow this 64-bit counter ... */
301                         tgd->tgd_osfs_inflight = 0;
302                 /* notify tgt_grant_commit() that we want to track writes
303                  * completed as of now */
304                 tgd->tgd_statfs_inflight++;
305                 /* record value of inflight counter before running statfs to
306                  * compute the diff once statfs is completed */
307                 unstable = tgd->tgd_osfs_inflight;
308                 spin_unlock(&tgd->tgd_osfs_lock);
309
310                 /* statfs can sleep ... hopefully not for too long since we can
311                  * call it fairly often as space fills up */
312                 rc = dt_statfs(env, lut->lut_bottom, osfs);
313                 if (unlikely(rc))
314                         GOTO(out, rc);
315
316                 osfs->os_namelen = min_t(__u32, osfs->os_namelen, NAME_MAX);
317
318                 spin_lock(&tgd->tgd_grant_lock);
319                 spin_lock(&tgd->tgd_osfs_lock);
320                 /* calculate how much space was written while we released the
321                  * tgd_osfs_lock */
322                 unstable = tgd->tgd_osfs_inflight - unstable;
323                 tgd->tgd_osfs_unstable = 0;
324                 if (unstable) {
325                         /* some writes committed while we were running statfs
326                          * w/o the tgd_osfs_lock. Those ones got added to
327                          * the cached statfs data that we are about to crunch.
328                          * Take them into account in the new statfs data */
329                         osfs->os_bavail -= min_t(u64, osfs->os_bavail,
330                                                unstable >> tgd->tgd_blockbits);
331                         /* However, we don't really know if those writes got
332                          * accounted in the statfs call, so tell
333                          * tgt_grant_space_left() there is some uncertainty
334                          * on the accounting of those writes.
335                          * The purpose is to prevent spurious error messages in
336                          * tgt_grant_space_left() since those writes might be
337                          * accounted twice. */
338                         tgd->tgd_osfs_unstable += unstable;
339                 }
340                 /* similarly, there is some uncertainty on write requests
341                  * between prepare & commit */
342                 tgd->tgd_osfs_unstable += tgd->tgd_tot_pending;
343                 spin_unlock(&tgd->tgd_grant_lock);
344
345                 /* finally udpate cached statfs data */
346                 tgd->tgd_osfs = *osfs;
347                 tgd->tgd_osfs_age = ktime_get_seconds();
348
349                 tgd->tgd_statfs_inflight--; /* stop tracking */
350                 if (tgd->tgd_statfs_inflight == 0)
351                         tgd->tgd_osfs_inflight = 0;
352                 spin_unlock(&tgd->tgd_osfs_lock);
353
354                 if (from_cache)
355                         *from_cache = 0;
356         } else {
357                 /* use cached statfs data */
358                 *osfs = tgd->tgd_osfs;
359                 spin_unlock(&tgd->tgd_osfs_lock);
360                 if (from_cache)
361                         *from_cache = 1;
362         }
363         GOTO(out, rc);
364
365 out:
366         return rc;
367 }
368 EXPORT_SYMBOL(tgt_statfs_internal);
369
370 /**
371  * Update cached statfs information from the OSD layer
372  *
373  * Refresh statfs information cached in tgd::tgd_osfs if the cache is older
374  * than 1s or if force is set. The OSD layer is in charge of estimating data &
375  * metadata overhead.
376  * This function can sleep so it should not be called with any spinlock held.
377  *
378  * \param[in] env               LU environment passed by the caller
379  * \param[in] exp               export used to print client info in debug
380  *                              messages
381  * \param[in] force             force a refresh of statfs information
382  * \param[out] from_cache       returns whether the statfs information are
383  *                              taken from cache
384  */
385 static void tgt_grant_statfs(const struct lu_env *env, struct obd_export *exp,
386                              int force, int *from_cache)
387 {
388         struct obd_device       *obd = exp->exp_obd;
389         struct lu_target        *lut = obd->u.obt.obt_lut;
390         struct tg_grants_data   *tgd = &lut->lut_tgd;
391         struct tgt_thread_info  *tti;
392         struct obd_statfs       *osfs;
393         time64_t max_age;
394         int rc;
395
396         if (force)
397                 max_age = 0; /* get fresh statfs data */
398         else
399                 max_age = ktime_get_seconds() - OBD_STATFS_CACHE_SECONDS;
400
401         tti = tgt_th_info(env);
402         osfs = &tti->tti_u.osfs;
403         rc = tgt_statfs_internal(env, lut, osfs, max_age, from_cache);
404         if (unlikely(rc)) {
405                 if (from_cache)
406                         *from_cache = 0;
407                 return;
408         }
409
410         CDEBUG(D_CACHE, "%s: cli %s/%p free: %llu avail: %llu\n",
411                obd->obd_name, exp->exp_client_uuid.uuid, exp,
412                osfs->os_bfree << tgd->tgd_blockbits,
413                osfs->os_bavail << tgd->tgd_blockbits);
414 }
415
416 /**
417  * Figure out how much space is available on the backend filesystem after
418  * removing grant space already booked by clients.
419  *
420  * This is done by accessing cached statfs data previously populated by
421  * tgt_grant_statfs(), from which we withdraw the space already granted to
422  * clients and the reserved space.
423  * Caller must hold tgd_grant_lock spinlock.
424  *
425  * \param[in] exp       export associated with the device for which the amount
426  *                      of available space is requested
427  * \retval              amount of non-allocated space, in bytes
428  */
429 static u64 tgt_grant_space_left(struct obd_export *exp)
430 {
431         struct obd_device       *obd = exp->exp_obd;
432         struct lu_target        *lut = obd->u.obt.obt_lut;
433         struct tg_grants_data   *tgd = &lut->lut_tgd;
434         u64                      tot_granted;
435         u64                      left;
436         u64                      avail;
437         u64                      unstable;
438         u64                      reserved;
439
440         ENTRY;
441         assert_spin_locked(&tgd->tgd_grant_lock);
442
443         spin_lock(&tgd->tgd_osfs_lock);
444         /* get available space from cached statfs data */
445         left = tgd->tgd_osfs.os_bavail << tgd->tgd_blockbits;
446         unstable = tgd->tgd_osfs_unstable; /* those might be accounted twice */
447         spin_unlock(&tgd->tgd_osfs_lock);
448
449         reserved = left * tgd->tgd_reserved_pcnt / 100;
450         tot_granted = tgd->tgd_tot_granted + reserved;
451
452         if (left < tot_granted) {
453                 int mask = (left + unstable <
454                             tot_granted - tgd->tgd_tot_pending) ?
455                             D_ERROR : D_CACHE;
456
457                 /* the below message is checked in sanityn.sh test_15 */
458                 CDEBUG_LIMIT(mask,
459                              "%s: cli %s/%p left=%llu < tot_grant=%llu unstable=%llu pending=%llu dirty=%llu\n",
460                              obd->obd_name, exp->exp_client_uuid.uuid, exp,
461                              left, tot_granted, unstable,
462                              tgd->tgd_tot_pending,
463                              tgd->tgd_tot_dirty);
464                 RETURN(0);
465         }
466
467         avail = left;
468         /* Withdraw space already granted to clients */
469         left -= tot_granted;
470
471         /* Align left on block size */
472         left &= ~((1ULL << tgd->tgd_blockbits) - 1);
473
474         CDEBUG(D_CACHE,
475                "%s: cli %s/%p avail=%llu left=%llu unstable=%llu tot_grant=%llu pending=%llu\n",
476                obd->obd_name, exp->exp_client_uuid.uuid, exp, avail, left,
477                unstable, tot_granted, tgd->tgd_tot_pending);
478
479         RETURN(left);
480 }
481
482 /**
483  * Process grant information from obdo structure packed in incoming BRW
484  * and inflate grant counters if required.
485  *
486  * Grab the dirty and seen grant announcements from the incoming obdo and
487  * inflate all grant counters passed in the request if the client does not
488  * support the grant parameters.
489  * We will later calculate the client's new grant and return it.
490  * Caller must hold tgd_grant_lock spinlock.
491  *
492  * \param[in] env       LU environment supplying osfs storage
493  * \param[in] exp       export for which we received the request
494  * \param[in,out] oa    incoming obdo sent by the client
495  */
496 static void tgt_grant_incoming(const struct lu_env *env, struct obd_export *exp,
497                                struct obdo *oa, long chunk)
498 {
499         struct tg_export_data   *ted = &exp->exp_target_data;
500         struct obd_device       *obd = exp->exp_obd;
501         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
502         long long                dirty, dropped;
503         ENTRY;
504
505         assert_spin_locked(&tgd->tgd_grant_lock);
506
507         if ((oa->o_valid & (OBD_MD_FLBLOCKS|OBD_MD_FLGRANT)) !=
508                                         (OBD_MD_FLBLOCKS|OBD_MD_FLGRANT)) {
509                 oa->o_valid &= ~OBD_MD_FLGRANT;
510                 RETURN_EXIT;
511         }
512
513         /* Add some margin, since there is a small race if other RPCs arrive
514          * out-or-order and have already consumed some grant.  We want to
515          * leave this here in case there is a large error in accounting. */
516         CDEBUG(D_CACHE,
517                "%s: cli %s/%p reports grant %llu dropped %u, local %lu\n",
518                obd->obd_name, exp->exp_client_uuid.uuid, exp, oa->o_grant,
519                oa->o_dropped, ted->ted_grant);
520
521         if ((long long)oa->o_dirty < 0)
522                 oa->o_dirty = 0;
523
524         /* inflate grant counters if required */
525         if (!exp_grant_param_supp(exp)) {
526                 u64 tmp;
527                 oa->o_grant     = tgt_grant_inflate(tgd, oa->o_grant);
528                 oa->o_dirty     = tgt_grant_inflate(tgd, oa->o_dirty);
529                 /* inflation can bump client's wish to >4GB which doesn't fit
530                  * 32bit o_undirty, limit that ..  */
531                 tmp = tgt_grant_inflate(tgd, oa->o_undirty);
532                 if (tmp >= OBD_MAX_GRANT)
533                         tmp = OBD_MAX_GRANT & ~(1ULL << tgd->tgd_blockbits);
534                 oa->o_undirty = tmp;
535                 tmp = tgt_grant_inflate(tgd, oa->o_dropped);
536                 if (tmp >= OBD_MAX_GRANT)
537                         tmp = OBD_MAX_GRANT & ~(1ULL << tgd->tgd_blockbits);
538                 oa->o_dropped = tmp;
539         }
540
541         dirty = oa->o_dirty;
542         dropped = oa->o_dropped;
543
544         /* Update our accounting now so that statfs takes it into account.
545          * Note that ted_dirty is only approximate and can become incorrect
546          * if RPCs arrive out-of-order.  No important calculations depend
547          * on ted_dirty however, but we must check sanity to not assert. */
548         if (dirty > ted->ted_grant + 4 * chunk)
549                 dirty = ted->ted_grant + 4 * chunk;
550         tgd->tgd_tot_dirty += dirty - ted->ted_dirty;
551         if (ted->ted_grant < dropped) {
552                 CDEBUG(D_CACHE,
553                        "%s: cli %s/%p reports %llu dropped > grant %lu\n",
554                        obd->obd_name, exp->exp_client_uuid.uuid, exp, dropped,
555                        ted->ted_grant);
556                 dropped = 0;
557         }
558         if (tgd->tgd_tot_granted < dropped) {
559                 CERROR("%s: cli %s/%p reports %llu dropped > tot_grant %llu\n",
560                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
561                        dropped, tgd->tgd_tot_granted);
562                 dropped = 0;
563         }
564         tgd->tgd_tot_granted -= dropped;
565         ted->ted_grant -= dropped;
566         ted->ted_dirty = dirty;
567
568         if (ted->ted_dirty < 0 || ted->ted_grant < 0 || ted->ted_pending < 0) {
569                 CERROR("%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
570                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
571                        ted->ted_dirty, ted->ted_pending, ted->ted_grant);
572                 spin_unlock(&tgd->tgd_grant_lock);
573                 LBUG();
574         }
575         EXIT;
576 }
577
578 /**
579  * Grant shrink request handler.
580  *
581  * Client nodes can explicitly release grant space (i.e. process called grant
582  * shrinking). This function proceeds with the shrink request when there is
583  * less ungranted space remaining than the amount all of the connected clients
584  * would consume if they used their full grant.
585  * Caller must hold tgd_grant_lock spinlock.
586  *
587  * \param[in] exp               export releasing grant space
588  * \param[in,out] oa            incoming obdo sent by the client
589  * \param[in] left_space        remaining free space with space already granted
590  *                              taken out
591  */
592 static void tgt_grant_shrink(struct obd_export *exp, struct obdo *oa,
593                              u64 left_space)
594 {
595         struct tg_export_data   *ted = &exp->exp_target_data;
596         struct obd_device       *obd = exp->exp_obd;
597         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
598         long                     grant_shrink;
599
600         assert_spin_locked(&tgd->tgd_grant_lock);
601         LASSERT(exp);
602         if (left_space >= tgd->tgd_tot_granted_clients *
603                           TGT_GRANT_SHRINK_LIMIT(exp))
604                 return;
605
606         grant_shrink = oa->o_grant;
607
608         if (ted->ted_grant < grant_shrink) {
609                 CDEBUG(D_CACHE,
610                        "%s: cli %s/%p wants %lu shrinked > grant %lu\n",
611                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
612                        grant_shrink, ted->ted_grant);
613                 grant_shrink = ted->ted_grant;
614         }
615
616         ted->ted_grant -= grant_shrink;
617         tgd->tgd_tot_granted -= grant_shrink;
618
619         CDEBUG(D_CACHE, "%s: cli %s/%p shrink %ld ted_grant %ld total %llu\n",
620                obd->obd_name, exp->exp_client_uuid.uuid, exp, grant_shrink,
621                ted->ted_grant, tgd->tgd_tot_granted);
622
623         /* client has just released some grant, don't grant any space back */
624         oa->o_grant = 0;
625 }
626
627 /**
628  * Calculate how much space is required to write a given network buffer
629  *
630  * This function takes block alignment into account to estimate how much on-disk
631  * space will be required to successfully write the whole niobuf.
632  * Estimated space is inflated if the export does not support
633  * OBD_CONNECT_GRANT_PARAM and if the backend filesystem has a block size
634  * larger than the minimal supported page size (i.e. 4KB).
635  *
636  * \param[in] exp       export associated which the write request
637  *                      if NULL, then size estimate is done for server-side
638  *                      grant allocation.
639  * \param[in] lut       LU target handling the request
640  * \param[in] rnb       network buffer to estimate size of
641  *
642  * \retval              space (in bytes) that will be consumed to write the
643  *                      network buffer
644  */
645 static inline u64 tgt_grant_rnb_size(struct obd_export *exp,
646                                      struct lu_target *lut,
647                                      struct niobuf_remote *rnb)
648 {
649         struct tg_grants_data *tgd = &lut->lut_tgd;
650         u64 blksize;
651         u64 bytes;
652         u64 end;
653
654         if (exp && !exp_grant_param_supp(exp) &&
655             tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
656                 blksize = 1ULL << COMPAT_BSIZE_SHIFT;
657         else
658                 blksize = 1ULL << tgd->tgd_blockbits;
659
660         /* The network buffer might span several blocks, align it on block
661          * boundaries */
662         bytes  = rnb->rnb_offset & (blksize - 1);
663         bytes += rnb->rnb_len;
664         end    = bytes & (blksize - 1);
665         if (end)
666                 bytes += blksize - end;
667
668         if (exp == NULL || exp_grant_param_supp(exp)) {
669                 /* add per-extent insertion cost */
670                 u64 max_ext;
671                 int nr_ext;
672
673                 max_ext = blksize * lut->lut_dt_conf.ddp_max_extent_blks;
674                 nr_ext = (bytes + max_ext - 1) / max_ext;
675                 bytes += nr_ext * lut->lut_dt_conf.ddp_extent_tax;
676         } else {
677                 /* Inflate grant space if client does not support extent-based
678                  * grant allocation */
679                 bytes = tgt_grant_inflate(tgd, (u64)bytes);
680         }
681
682         return bytes;
683 }
684
685 /**
686  * Validate grant accounting for each incoming remote network buffer.
687  *
688  * When clients have dirtied as much space as they've been granted they
689  * fall through to sync writes. These sync writes haven't been expressed
690  * in grants and need to error with ENOSPC when there isn't room in the
691  * filesystem for them after grants are taken into account. However,
692  * writeback of the dirty data that was already granted space can write
693  * right on through.
694  * The OBD_BRW_GRANTED flag will be set in the rnb_flags of each network
695  * buffer which has been granted enough space to proceed. Buffers without
696  * this flag will fail to be written with -ENOSPC (see tgt_preprw_write().
697  * Caller must hold tgd_grant_lock spinlock.
698  *
699  * \param[in] env       LU environment passed by the caller
700  * \param[in] exp       export identifying the client which sent the RPC
701  * \param[in] oa        incoming obdo in which we should return the pack the
702  *                      additional grant
703  * \param[in,out] rnb   the list of network buffers
704  * \param[in] niocount  the number of network buffers in the list
705  * \param[in] left      the remaining free space with space already granted
706  *                      taken out
707  */
708 static void tgt_grant_check(const struct lu_env *env, struct obd_export *exp,
709                             struct obdo *oa, struct niobuf_remote *rnb,
710                             int niocount, u64 *left)
711 {
712         struct tg_export_data   *ted = &exp->exp_target_data;
713         struct obd_device       *obd = exp->exp_obd;
714         struct lu_target        *lut = obd->u.obt.obt_lut;
715         struct tg_grants_data   *tgd = &lut->lut_tgd;
716         unsigned long            ungranted = 0;
717         unsigned long            granted = 0;
718         int                      i;
719         bool                     skip = false;
720
721         ENTRY;
722
723         assert_spin_locked(&tgd->tgd_grant_lock);
724
725         if (obd->obd_recovering) {
726                 /* Replaying write. Grant info have been processed already so no
727                  * need to do any enforcement here. It is worth noting that only
728                  * bulk writes with all rnbs having OBD_BRW_FROM_GRANT can be
729                  * replayed. If one page hasn't OBD_BRW_FROM_GRANT set, then
730                  * the whole bulk is written synchronously */
731                 skip = true;
732                 CDEBUG(D_CACHE, "Replaying write, skipping accounting\n");
733         } else if ((oa->o_valid & OBD_MD_FLFLAGS) &&
734                    (oa->o_flags & OBD_FL_RECOV_RESEND)) {
735                 /* Recoverable resend, grant info have already been processed as
736                  * well */
737                 skip = true;
738                 CDEBUG(D_CACHE, "Recoverable resend arrived, skipping "
739                                 "accounting\n");
740         } else if (exp_grant_param_supp(exp) && oa->o_grant_used > 0) {
741                 /* Client supports the new grant parameters and is telling us
742                  * how much grant space it consumed for this bulk write.
743                  * Although all rnbs are supposed to have the OBD_BRW_FROM_GRANT
744                  * flag set, we will scan the rnb list and looks for non-cache
745                  * I/O in case it changes in the future */
746                 if (ted->ted_grant >= oa->o_grant_used) {
747                         /* skip grant accounting for rnbs with
748                          * OBD_BRW_FROM_GRANT and just used grant consumption
749                          * claimed in the request */
750                         granted = oa->o_grant_used;
751                         skip = true;
752                 } else {
753                         /* client has used more grants for this request that
754                          * it owns ... */
755                         CERROR("%s: cli %s claims %lu GRANT, real grant %lu\n",
756                                exp->exp_obd->obd_name,
757                                exp->exp_client_uuid.uuid,
758                                (unsigned long)oa->o_grant_used, ted->ted_grant);
759
760                         /* check whether we can fill the gap with unallocated
761                          * grant */
762                         if (*left > (oa->o_grant_used - ted->ted_grant)) {
763                                 /* ouf .. we are safe for now */
764                                 granted = ted->ted_grant;
765                                 ungranted = oa->o_grant_used - granted;
766                                 *left -= ungranted;
767                                 skip = true;
768                         }
769                         /* too bad, but we cannot afford to blow up our grant
770                          * accounting. The loop below will handle each rnb in
771                          * case by case. */
772                 }
773         }
774
775         for (i = 0; i < niocount; i++) {
776                 int bytes;
777
778                 if ((rnb[i].rnb_flags & OBD_BRW_FROM_GRANT)) {
779                         if (skip) {
780                                 rnb[i].rnb_flags |= OBD_BRW_GRANTED;
781                                 continue;
782                         }
783
784                         /* compute how much grant space is actually needed for
785                          * this rnb, inflate grant if required */
786                         bytes = tgt_grant_rnb_size(exp, lut, &rnb[i]);
787                         if (ted->ted_grant >= granted + bytes) {
788                                 granted += bytes;
789                                 rnb[i].rnb_flags |= OBD_BRW_GRANTED;
790                                 continue;
791                         }
792
793                         CDEBUG(D_CACHE, "%s: cli %s/%p claims %ld+%d GRANT, "
794                                "real grant %lu idx %d\n", obd->obd_name,
795                                exp->exp_client_uuid.uuid, exp, granted, bytes,
796                                ted->ted_grant, i);
797                 }
798
799                 if (obd->obd_recovering)
800                         CERROR("%s: cli %s is replaying OST_WRITE while one rnb"
801                                " hasn't OBD_BRW_FROM_GRANT set (0x%x)\n",
802                                obd->obd_name, exp->exp_client_uuid.uuid,
803                                rnb[i].rnb_flags);
804
805                 /* Consume grant space on the server.
806                  * Unlike above, tgt_grant_rnb_size() is called with exp = NULL
807                  * so that the required grant space isn't inflated. This is
808                  * done on purpose since the server can deal with large block
809                  * size, unlike some clients */
810                 bytes = tgt_grant_rnb_size(NULL, lut, &rnb[i]);
811                 if (*left > bytes) {
812                         /* if enough space, pretend it was granted */
813                         ungranted += bytes;
814                         *left -= bytes;
815                         rnb[i].rnb_flags |= OBD_BRW_GRANTED;
816                         continue;
817                 }
818
819                 /* We can't check for already-mapped blocks here (make sense
820                  * when backend filesystem does not use COW) as it requires
821                  * dropping the grant lock.
822                  * Instead, we clear OBD_BRW_GRANTED and in that case we need
823                  * to go through and verify if all of the blocks not marked
824                  *  BRW_GRANTED are already mapped and we can ignore this error.
825                  */
826                 rnb[i].rnb_flags &= ~OBD_BRW_GRANTED;
827                 CDEBUG(D_CACHE, "%s: cli %s/%p idx %d no space for %d\n",
828                        obd->obd_name, exp->exp_client_uuid.uuid, exp, i, bytes);
829         }
830
831         /* record in o_grant_used the actual space reserved for the I/O, will be
832          * used later in tgt_grant_commmit() */
833         oa->o_grant_used = granted + ungranted;
834
835         /* record space used for the I/O, will be used in tgt_grant_commmit() */
836         /* Now substract what the clients has used already.  We don't subtract
837          * this from the tot_granted yet, so that other client's can't grab
838          * that space before we have actually allocated our blocks. That
839          * happens in tgt_grant_commit() after the writes are done. */
840         ted->ted_grant -= granted;
841         ted->ted_pending += oa->o_grant_used;
842         tgd->tgd_tot_granted += ungranted;
843         tgd->tgd_tot_pending += oa->o_grant_used;
844
845         CDEBUG(D_CACHE,
846                "%s: cli %s/%p granted: %lu ungranted: %lu grant: %lu dirty: %lu"
847                "\n", obd->obd_name, exp->exp_client_uuid.uuid, exp,
848                granted, ungranted, ted->ted_grant, ted->ted_dirty);
849
850         if (obd->obd_recovering || (oa->o_valid & OBD_MD_FLGRANT) == 0)
851                 /* don't update dirty accounting during recovery or
852                  * if grant information got discarded (e.g. during resend) */
853                 RETURN_EXIT;
854
855         if (ted->ted_dirty < granted) {
856                 CWARN("%s: cli %s/%p claims granted %lu > ted_dirty %lu\n",
857                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
858                        granted, ted->ted_dirty);
859                 granted = ted->ted_dirty;
860         }
861         tgd->tgd_tot_dirty -= granted;
862         ted->ted_dirty -= granted;
863
864         if (ted->ted_dirty < 0 || ted->ted_grant < 0 || ted->ted_pending < 0) {
865                 CERROR("%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
866                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
867                        ted->ted_dirty, ted->ted_pending, ted->ted_grant);
868                 spin_unlock(&tgd->tgd_grant_lock);
869                 LBUG();
870         }
871         EXIT;
872 }
873
874 /**
875  * Allocate additional grant space to a client
876  *
877  * Calculate how much grant space to return to client, based on how much space
878  * is currently free and how much of that is already granted.
879  * Caller must hold tgd_grant_lock spinlock.
880  *
881  * \param[in] exp               export of the client which sent the request
882  * \param[in] curgrant          current grant claimed by the client
883  * \param[in] want              how much grant space the client would like to
884  *                              have
885  * \param[in] left              remaining free space with granted space taken
886  *                              out
887  * \param[in] conservative      if set to true, the server should be cautious
888  *                              and limit how much space is granted back to the
889  *                              client. Otherwise, the server should try hard to
890  *                              satisfy the client request.
891  *
892  * \retval                      amount of grant space allocated
893  */
894 static long tgt_grant_alloc(struct obd_export *exp, u64 curgrant,
895                             u64 want, u64 left, long chunk,
896                             bool conservative)
897 {
898         struct obd_device       *obd = exp->exp_obd;
899         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
900         struct tg_export_data   *ted = &exp->exp_target_data;
901         u64                      grant;
902
903         ENTRY;
904
905         if (OBD_FAIL_CHECK(OBD_FAIL_TGT_NO_GRANT))
906                 RETURN(0);
907
908         /* When tgd_grant_compat_disable is set, we don't grant any space to
909          * clients not supporting OBD_CONNECT_GRANT_PARAM.
910          * Otherwise, space granted to such a client is inflated since it
911          * consumes PAGE_SIZE of grant space per block */
912         if ((obd->obd_self_export != exp && !exp_grant_param_supp(exp) &&
913              tgd->tgd_grant_compat_disable) || left == 0 || exp->exp_failed)
914                 RETURN(0);
915
916         if (want > OBD_MAX_GRANT) {
917                 CERROR("%s: client %s/%p requesting > max (%lu), %llu\n",
918                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
919                        OBD_MAX_GRANT, want);
920                 RETURN(0);
921         }
922
923         /* Grant some fraction of the client's requested grant space so that
924          * they are not always waiting for write credits (not all of it to
925          * avoid overgranting in face of multiple RPCs in flight).  This
926          * essentially will be able to control the OSC_MAX_RIF for a client.
927          *
928          * If we do have a large disparity between what the client thinks it
929          * has and what we think it has, don't grant very much and let the
930          * client consume its grant first.  Either it just has lots of RPCs
931          * in flight, or it was evicted and its grants will soon be used up. */
932         if (curgrant >= want || curgrant >= ted->ted_grant + chunk)
933                 RETURN(0);
934
935         if (obd->obd_recovering)
936                 conservative = false;
937
938         if (conservative)
939                 /* don't grant more than 1/8th of the remaining free space in
940                  * one chunk */
941                 left >>= 3;
942         grant = min(want - curgrant, left);
943         /* round grant up to the next block size */
944         grant = (grant + (1 << tgd->tgd_blockbits) - 1) &
945                 ~((1ULL << tgd->tgd_blockbits) - 1);
946
947         if (!grant)
948                 RETURN(0);
949
950         /* Limit to grant_chunk if not reconnect/recovery */
951         if ((grant > chunk) && conservative)
952                 grant = chunk;
953
954         /*
955          * Limit grant so that export' grant does not exceed what the
956          * client would like to have by more than grants for 2 full
957          * RPCs
958          */
959         if (want + chunk <= ted->ted_grant)
960                 RETURN(0);
961         if (ted->ted_grant + grant > want + chunk)
962                 grant = want + chunk - ted->ted_grant;
963
964         tgd->tgd_tot_granted += grant;
965         ted->ted_grant += grant;
966
967         if (ted->ted_grant < 0) {
968                 CERROR("%s: cli %s/%p grant %ld want %llu current %llu\n",
969                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
970                        ted->ted_grant, want, curgrant);
971                 spin_unlock(&tgd->tgd_grant_lock);
972                 LBUG();
973         }
974
975         CDEBUG(D_CACHE,
976                "%s: cli %s/%p wants: %llu current grant %llu"
977                " granting: %llu\n", obd->obd_name, exp->exp_client_uuid.uuid,
978                exp, want, curgrant, grant);
979         CDEBUG(D_CACHE,
980                "%s: cli %s/%p tot cached:%llu granted:%llu"
981                " num_exports: %d\n", obd->obd_name, exp->exp_client_uuid.uuid,
982                exp, tgd->tgd_tot_dirty, tgd->tgd_tot_granted,
983                obd->obd_num_exports);
984
985         RETURN(grant);
986 }
987
988 /**
989  * Handle grant space allocation on client connection & reconnection.
990  *
991  * A new non-readonly connection gets an initial grant allocation equals to
992  * tgt_grant_chunk() (i.e. twice the max BRW size in most of the cases).
993  * On reconnection, grant counters between client & target are resynchronized
994  * and additional space might be granted back if possible.
995  *
996  * \param[in] env       LU environment provided by the caller
997  * \param[in] exp       client's export which is (re)connecting
998  * \param[in,out] data  obd_connect_data structure sent by the client in the
999  *                      connect request
1000  * \param[in] new_conn  must set to true if this is a new connection and false
1001  *                      for a reconnection
1002  */
1003 void tgt_grant_connect(const struct lu_env *env, struct obd_export *exp,
1004                        struct obd_connect_data *data, bool new_conn)
1005 {
1006         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1007         struct tg_grants_data   *tgd = &lut->lut_tgd;
1008         struct tg_export_data   *ted = &exp->exp_target_data;
1009         u64                      left = 0;
1010         u64                      want;
1011         long                     chunk;
1012         int                      from_cache;
1013         int                      force = 0; /* can use cached data */
1014
1015         /* don't grant space to client with read-only access */
1016         if (OCD_HAS_FLAG(data, RDONLY) ||
1017             (!OCD_HAS_FLAG(data, GRANT_PARAM) &&
1018              tgd->tgd_grant_compat_disable)) {
1019                 data->ocd_grant = 0;
1020                 data->ocd_connect_flags &= ~(OBD_CONNECT_GRANT |
1021                                              OBD_CONNECT_GRANT_PARAM);
1022                 RETURN_EXIT;
1023         }
1024
1025         if (OCD_HAS_FLAG(data, GRANT_PARAM))
1026                 want = data->ocd_grant;
1027         else
1028                 want = tgt_grant_inflate(tgd, data->ocd_grant);
1029         chunk = tgt_grant_chunk(exp, lut, data);
1030 refresh:
1031         tgt_grant_statfs(env, exp, force, &from_cache);
1032
1033         spin_lock(&tgd->tgd_grant_lock);
1034
1035         /* Grab free space from cached info and take out space already granted
1036          * to clients as well as reserved space */
1037         left = tgt_grant_space_left(exp);
1038
1039         /* get fresh statfs data if we are short in ungranted space */
1040         if (from_cache && left < 32 * chunk) {
1041                 spin_unlock(&tgd->tgd_grant_lock);
1042                 CDEBUG(D_CACHE, "fs has no space left and statfs too old\n");
1043                 force = 1;
1044                 goto refresh;
1045         }
1046
1047         tgt_grant_alloc(exp, (u64)ted->ted_grant, want, left, chunk, new_conn);
1048
1049         /* return to client its current grant */
1050         if (OCD_HAS_FLAG(data, GRANT_PARAM))
1051                 data->ocd_grant = ted->ted_grant;
1052         else
1053                 /* deflate grant */
1054                 data->ocd_grant = tgt_grant_deflate(tgd, (u64)ted->ted_grant);
1055
1056         /* reset dirty accounting */
1057         tgd->tgd_tot_dirty -= ted->ted_dirty;
1058         ted->ted_dirty = 0;
1059
1060         if (new_conn && OCD_HAS_FLAG(data, GRANT))
1061                 tgd->tgd_tot_granted_clients++;
1062
1063         spin_unlock(&tgd->tgd_grant_lock);
1064
1065         CDEBUG(D_CACHE, "%s: cli %s/%p ocd_grant: %d want: %llu left: %llu\n",
1066                exp->exp_obd->obd_name, exp->exp_client_uuid.uuid,
1067                exp, data->ocd_grant, want, left);
1068
1069         EXIT;
1070 }
1071 EXPORT_SYMBOL(tgt_grant_connect);
1072
1073 /**
1074  * Release all grant space attached to a given export.
1075  *
1076  * Remove a client from the grant accounting totals.  We also remove
1077  * the export from the obd device under the osfs and dev locks to ensure
1078  * that the tgt_grant_sanity_check() calculations are always valid.
1079  * The client should do something similar when it invalidates its import.
1080  *
1081  * \param[in] exp       client's export to remove from grant accounting
1082  */
1083 void tgt_grant_discard(struct obd_export *exp)
1084 {
1085         struct obd_device       *obd = exp->exp_obd;
1086         struct lu_target        *lut = class_exp2tgt(exp);
1087         struct tg_export_data   *ted = &exp->exp_target_data;
1088         struct tg_grants_data   *tgd;
1089
1090         if (!lut)
1091                 return;
1092
1093         tgd = &lut->lut_tgd;
1094         spin_lock(&tgd->tgd_grant_lock);
1095         if (tgd->tgd_tot_granted < ted->ted_grant) {
1096                 CERROR("%s: tot_granted %llu < cli %s/%p ted_grant %ld\n",
1097                        obd->obd_name, tgd->tgd_tot_granted,
1098                        exp->exp_client_uuid.uuid, exp, ted->ted_grant);
1099         }
1100         tgd->tgd_tot_granted -= ted->ted_grant;
1101         ted->ted_grant = 0;
1102         if (tgd->tgd_tot_pending < ted->ted_pending) {
1103                 CERROR("%s: tot_pending %llu < cli %s/%p ted_pending %ld\n",
1104                        obd->obd_name, tgd->tgd_tot_pending,
1105                        exp->exp_client_uuid.uuid, exp, ted->ted_pending);
1106         }
1107         /* tgd_tot_pending is handled in tgt_grant_commit as bulk
1108          * commmits */
1109         if (tgd->tgd_tot_dirty < ted->ted_dirty) {
1110                 CERROR("%s: tot_dirty %llu < cli %s/%p ted_dirty %ld\n",
1111                        obd->obd_name, tgd->tgd_tot_dirty,
1112                        exp->exp_client_uuid.uuid, exp, ted->ted_dirty);
1113         }
1114         tgd->tgd_tot_dirty -= ted->ted_dirty;
1115         ted->ted_dirty = 0;
1116         spin_unlock(&tgd->tgd_grant_lock);
1117 }
1118 EXPORT_SYMBOL(tgt_grant_discard);
1119
1120 /**
1121  * Process grant information from incoming bulk read request.
1122  *
1123  * Extract grant information packed in obdo structure (OBD_MD_FLGRANT set in
1124  * o_valid). Bulk reads usually comes with grant announcements (number of dirty
1125  * blocks, remaining amount of grant space, ...) and could also include a grant
1126  * shrink request. Unlike bulk write, no additional grant space is returned on
1127  * bulk read request.
1128  *
1129  * \param[in] env       is the lu environment provided by the caller
1130  * \param[in] exp       is the export of the client which sent the request
1131  * \param[in,out] oa    is the incoming obdo sent by the client
1132  */
1133 void tgt_grant_prepare_read(const struct lu_env *env,
1134                             struct obd_export *exp, struct obdo *oa)
1135 {
1136         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1137         struct tg_grants_data   *tgd = &lut->lut_tgd;
1138         int                      do_shrink;
1139         u64                      left = 0;
1140
1141         ENTRY;
1142
1143         if (!oa)
1144                 RETURN_EXIT;
1145
1146         if ((oa->o_valid & OBD_MD_FLGRANT) == 0)
1147                 /* The read request does not contain any grant
1148                  * information */
1149                 RETURN_EXIT;
1150
1151         if ((oa->o_valid & OBD_MD_FLFLAGS) &&
1152             (oa->o_flags & OBD_FL_SHRINK_GRANT)) {
1153                 /* To process grant shrink request, we need to know how much
1154                  * available space remains on the backend filesystem.
1155                  * Shrink requests are not so common, we always get fresh
1156                  * statfs information. */
1157                 tgt_grant_statfs(env, exp, 1, NULL);
1158
1159                 /* protect all grant counters */
1160                 spin_lock(&tgd->tgd_grant_lock);
1161
1162                 /* Grab free space from cached statfs data and take out space
1163                  * already granted to clients as well as reserved space */
1164                 left = tgt_grant_space_left(exp);
1165
1166                 /* all set now to proceed with shrinking */
1167                 do_shrink = 1;
1168         } else {
1169                 /* no grant shrinking request packed in the obdo and
1170                  * since we don't grant space back on reads, no point
1171                  * in running statfs, so just skip it and process
1172                  * incoming grant data directly. */
1173                 spin_lock(&tgd->tgd_grant_lock);
1174                 do_shrink = 0;
1175         }
1176
1177         /* extract incoming grant information provided by the client and
1178          * inflate grant counters if required */
1179         tgt_grant_incoming(env, exp, oa, tgt_grant_chunk(exp, lut, NULL));
1180
1181         /* unlike writes, we don't return grants back on reads unless a grant
1182          * shrink request was packed and we decided to turn it down. */
1183         if (do_shrink)
1184                 tgt_grant_shrink(exp, oa, left);
1185         else
1186                 oa->o_grant = 0;
1187
1188         if (!exp_grant_param_supp(exp))
1189                 oa->o_grant = tgt_grant_deflate(tgd, oa->o_grant);
1190         spin_unlock(&tgd->tgd_grant_lock);
1191         EXIT;
1192 }
1193 EXPORT_SYMBOL(tgt_grant_prepare_read);
1194
1195 /**
1196  * Process grant information from incoming bulk write request.
1197  *
1198  * This function extracts client's grant announcements from incoming bulk write
1199  * request and attempts to allocate grant space for network buffers that need it
1200  * (i.e. OBD_BRW_FROM_GRANT not set in rnb_fags).
1201  * Network buffers which aren't granted the OBD_BRW_GRANTED flag should not
1202  * proceed further and should fail with -ENOSPC.
1203  * Whenever possible, additional grant space will be returned to the client
1204  * in the bulk write reply.
1205  * tgt_grant_prepare_write() must be called before writting any buffers to
1206  * the backend storage. This function works in pair with tgt_grant_commit()
1207  * which must be invoked once all buffers have been written to disk in order
1208  * to release space from the pending grant counter.
1209  *
1210  * \param[in] env       LU environment provided by the caller
1211  * \param[in] exp       export of the client which sent the request
1212  * \param[in] oa        incoming obdo sent by the client
1213  * \param[in] rnb       list of network buffers
1214  * \param[in] niocount  number of network buffers in the list
1215  */
1216 void tgt_grant_prepare_write(const struct lu_env *env,
1217                              struct obd_export *exp, struct obdo *oa,
1218                              struct niobuf_remote *rnb, int niocount)
1219 {
1220         struct obd_device       *obd = exp->exp_obd;
1221         struct lu_target        *lut = obd->u.obt.obt_lut;
1222         struct tg_grants_data   *tgd = &lut->lut_tgd;
1223         u64                      left;
1224         int                      from_cache;
1225         int                      force = 0; /* can use cached data intially */
1226         long                     chunk = tgt_grant_chunk(exp, lut, NULL);
1227
1228         ENTRY;
1229
1230 refresh:
1231         /* get statfs information from OSD layer */
1232         tgt_grant_statfs(env, exp, force, &from_cache);
1233
1234         spin_lock(&tgd->tgd_grant_lock); /* protect all grant counters */
1235
1236         /* Grab free space from cached statfs data and take out space already
1237          * granted to clients as well as reserved space */
1238         left = tgt_grant_space_left(exp);
1239
1240         /* Get fresh statfs data if we are short in ungranted space */
1241         if (from_cache && left < 32 * chunk) {
1242                 spin_unlock(&tgd->tgd_grant_lock);
1243                 CDEBUG(D_CACHE, "%s: fs has no space left and statfs too old\n",
1244                        obd->obd_name);
1245                 force = 1;
1246                 goto refresh;
1247         }
1248
1249         /* When close to free space exhaustion, trigger a sync to force
1250          * writeback cache to consume required space immediately and release as
1251          * much space as possible. */
1252         if (!obd->obd_recovering && force != 2 && left < chunk) {
1253                 bool from_grant = true;
1254                 int  i;
1255
1256                 /* That said, it is worth running a sync only if some pages did
1257                  * not consume grant space on the client and could thus fail
1258                  * with ENOSPC later in tgt_grant_check() */
1259                 for (i = 0; i < niocount; i++)
1260                         if (!(rnb[i].rnb_flags & OBD_BRW_FROM_GRANT))
1261                                 from_grant = false;
1262
1263                 if (!from_grant) {
1264                         /* at least one network buffer requires acquiring grant
1265                          * space on the server */
1266                         spin_unlock(&tgd->tgd_grant_lock);
1267                         /* discard errors, at least we tried ... */
1268                         dt_sync(env, lut->lut_bottom);
1269                         force = 2;
1270                         goto refresh;
1271                 }
1272         }
1273
1274         /* extract incoming grant information provided by the client,
1275          * and inflate grant counters if required */
1276         tgt_grant_incoming(env, exp, oa, chunk);
1277
1278         /* check limit */
1279         tgt_grant_check(env, exp, oa, rnb, niocount, &left);
1280
1281         if (!(oa->o_valid & OBD_MD_FLGRANT)) {
1282                 spin_unlock(&tgd->tgd_grant_lock);
1283                 RETURN_EXIT;
1284         }
1285
1286         /* if OBD_FL_SHRINK_GRANT is set, the client is willing to release some
1287          * grant space. */
1288         if ((oa->o_valid & OBD_MD_FLFLAGS) &&
1289             (oa->o_flags & OBD_FL_SHRINK_GRANT))
1290                 tgt_grant_shrink(exp, oa, left);
1291         else
1292                 /* grant more space back to the client if possible */
1293                 oa->o_grant = tgt_grant_alloc(exp, oa->o_grant, oa->o_undirty,
1294                                               left, chunk, true);
1295
1296         if (!exp_grant_param_supp(exp))
1297                 oa->o_grant = tgt_grant_deflate(tgd, oa->o_grant);
1298         spin_unlock(&tgd->tgd_grant_lock);
1299         EXIT;
1300 }
1301 EXPORT_SYMBOL(tgt_grant_prepare_write);
1302
1303 /**
1304  * Consume grant space reserved for object creation.
1305  *
1306  * Grant space is allocated to the local self export for object precreation.
1307  * This is required to prevent object precreation from consuming grant space
1308  * allocated to client nodes for the data writeback cache.
1309  * This function consumes enough space to create \a nr objects and allocates
1310  * more grant space to the self export for future precreation requests, if
1311  * possible.
1312  *
1313  * \param[in] env       LU environment provided by the caller
1314  * \param[in] exp       export holding the grant space for precreation (= self
1315  *                      export currently)
1316  * \param[in] nr        number of objects to be created
1317  *
1318  * \retval >= 0         amount of grant space allocated to the precreate request
1319  * \retval -ENOSPC      on failure
1320  */
1321 long tgt_grant_create(const struct lu_env *env, struct obd_export *exp, s64 *nr)
1322 {
1323         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1324         struct tg_grants_data   *tgd = &lut->lut_tgd;
1325         struct tg_export_data   *ted = &exp->exp_target_data;
1326         u64                      left = 0;
1327         unsigned long            wanted;
1328         unsigned long            granted;
1329         ENTRY;
1330
1331         if (exp->exp_obd->obd_recovering ||
1332             lut->lut_dt_conf.ddp_inodespace == 0)
1333                 /* don't enforce grant during recovery */
1334                 RETURN(0);
1335
1336         /* Update statfs data if required */
1337         tgt_grant_statfs(env, exp, 1, NULL);
1338
1339         /* protect all grant counters */
1340         spin_lock(&tgd->tgd_grant_lock);
1341
1342         /* fail precreate request if there is not enough blocks available for
1343          * writing */
1344         if (tgd->tgd_osfs.os_bavail - (ted->ted_grant >> tgd->tgd_blockbits) <
1345             (tgd->tgd_osfs.os_blocks >> 10)) {
1346                 spin_unlock(&tgd->tgd_grant_lock);
1347                 CDEBUG(D_RPCTRACE, "%s: not enough space for create %llu\n",
1348                        exp->exp_obd->obd_name,
1349                        tgd->tgd_osfs.os_bavail * tgd->tgd_osfs.os_blocks);
1350                 RETURN(-ENOSPC);
1351         }
1352
1353         /* Grab free space from cached statfs data and take out space
1354          * already granted to clients as well as reserved space */
1355         left = tgt_grant_space_left(exp);
1356
1357         /* compute how much space is required to handle the precreation
1358          * request */
1359         wanted = *nr * lut->lut_dt_conf.ddp_inodespace;
1360         if (wanted > ted->ted_grant + left) {
1361                 /* that's beyond what remains, adjust the number of objects that
1362                  * can be safely precreated */
1363                 wanted = ted->ted_grant + left;
1364                 *nr = wanted / lut->lut_dt_conf.ddp_inodespace;
1365                 if (*nr == 0) {
1366                         /* we really have no space any more for precreation,
1367                          * fail the precreate request with ENOSPC */
1368                         spin_unlock(&tgd->tgd_grant_lock);
1369                         RETURN(-ENOSPC);
1370                 }
1371                 /* compute space needed for the new number of creations */
1372                 wanted = *nr * lut->lut_dt_conf.ddp_inodespace;
1373         }
1374         LASSERT(wanted <= ted->ted_grant + left);
1375
1376         if (wanted <= ted->ted_grant) {
1377                 /* we've enough grant space to handle this precreate request */
1378                 ted->ted_grant -= wanted;
1379         } else {
1380                 /* we need to take some space from the ungranted pool */
1381                 tgd->tgd_tot_granted += wanted - ted->ted_grant;
1382                 left -= wanted - ted->ted_grant;
1383                 ted->ted_grant = 0;
1384         }
1385         granted = wanted;
1386         ted->ted_pending += granted;
1387         tgd->tgd_tot_pending += granted;
1388
1389         /* grant more space for precreate purpose if possible. */
1390         wanted = OST_MAX_PRECREATE * lut->lut_dt_conf.ddp_inodespace / 2;
1391         if (wanted > ted->ted_grant) {
1392                 long chunk;
1393
1394                 /* always try to book enough space to handle a large precreate
1395                  * request */
1396                 chunk = tgt_grant_chunk(exp, lut, NULL);
1397                 wanted -= ted->ted_grant;
1398                 tgt_grant_alloc(exp, ted->ted_grant, wanted, left, chunk,
1399                                 false);
1400         }
1401         spin_unlock(&tgd->tgd_grant_lock);
1402         RETURN(granted);
1403 }
1404 EXPORT_SYMBOL(tgt_grant_create);
1405
1406 /**
1407  * Release grant space added to the pending counter by tgt_grant_prepare_write()
1408  *
1409  * Update pending grant counter once buffers have been written to the disk.
1410  *
1411  * \param[in] exp       export of the client which sent the request
1412  * \param[in] pending   amount of reserved space to be released
1413  * \param[in] rc        return code of pre-commit operations
1414  */
1415 void tgt_grant_commit(struct obd_export *exp, unsigned long pending,
1416                       int rc)
1417 {
1418         struct tg_grants_data *tgd = &exp->exp_obd->u.obt.obt_lut->lut_tgd;
1419
1420         ENTRY;
1421
1422         /* get space accounted in tot_pending for the I/O, set in
1423          * tgt_grant_check() */
1424         if (pending == 0)
1425                 RETURN_EXIT;
1426
1427         spin_lock(&tgd->tgd_grant_lock);
1428         /* Don't update statfs data for errors raised before commit (e.g.
1429          * bulk transfer failed, ...) since we know those writes have not been
1430          * processed. For other errors hit during commit, we cannot really tell
1431          * whether or not something was written, so we update statfs data.
1432          * In any case, this should not be fatal since we always get fresh
1433          * statfs data before failing a request with ENOSPC */
1434         if (rc == 0) {
1435                 spin_lock(&tgd->tgd_osfs_lock);
1436                 /* Take pending out of cached statfs data */
1437                 tgd->tgd_osfs.os_bavail -= min_t(u64,
1438                                                  tgd->tgd_osfs.os_bavail,
1439                                                  pending >> tgd->tgd_blockbits);
1440                 if (tgd->tgd_statfs_inflight)
1441                         /* someone is running statfs and want to be notified of
1442                          * writes happening meanwhile */
1443                         tgd->tgd_osfs_inflight += pending;
1444                 spin_unlock(&tgd->tgd_osfs_lock);
1445         }
1446
1447         if (exp->exp_target_data.ted_pending < pending) {
1448                 CERROR("%s: cli %s/%p ted_pending(%lu) < grant_used(%lu)\n",
1449                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1450                        exp->exp_target_data.ted_pending, pending);
1451                 spin_unlock(&tgd->tgd_grant_lock);
1452                 LBUG();
1453         }
1454         exp->exp_target_data.ted_pending -= pending;
1455
1456         if (tgd->tgd_tot_granted < pending) {
1457                 CERROR("%s: cli %s/%p tot_granted(%llu) < grant_used(%lu)\n",
1458                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1459                        tgd->tgd_tot_granted, pending);
1460                 spin_unlock(&tgd->tgd_grant_lock);
1461                 LBUG();
1462         }
1463         tgd->tgd_tot_granted -= pending;
1464
1465         if (tgd->tgd_tot_pending < pending) {
1466                 CERROR("%s: cli %s/%p tot_pending(%llu) < grant_used(%lu)\n",
1467                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1468                        tgd->tgd_tot_pending, pending);
1469                 spin_unlock(&tgd->tgd_grant_lock);
1470                 LBUG();
1471         }
1472         tgd->tgd_tot_pending -= pending;
1473         spin_unlock(&tgd->tgd_grant_lock);
1474         EXIT;
1475 }
1476 EXPORT_SYMBOL(tgt_grant_commit);
1477
1478 struct tgt_grant_cb {
1479         /* commit callback structure */
1480         struct dt_txn_commit_cb  tgc_cb;
1481         /* export associated with the bulk write */
1482         struct obd_export       *tgc_exp;
1483         /* pending grant to be released */
1484         unsigned long            tgc_granted;
1485 };
1486
1487 /**
1488  * Callback function for grant releasing
1489  *
1490  * Release grant space reserved by the client node.
1491  *
1492  * \param[in] env       execution environment
1493  * \param[in] th        transaction handle
1494  * \param[in] cb        callback data
1495  * \param[in] err       error code
1496  */
1497 static void tgt_grant_commit_cb(struct lu_env *env, struct thandle *th,
1498                                 struct dt_txn_commit_cb *cb, int err)
1499 {
1500         struct tgt_grant_cb *tgc;
1501
1502         tgc = container_of(cb, struct tgt_grant_cb, tgc_cb);
1503
1504         tgt_grant_commit(tgc->tgc_exp, tgc->tgc_granted, err);
1505         class_export_cb_put(tgc->tgc_exp);
1506         OBD_FREE_PTR(tgc);
1507 }
1508
1509 /**
1510  * Add callback for grant releasing
1511  *
1512  * Register a commit callback to release grant space.
1513  *
1514  * \param[in] th        transaction handle
1515  * \param[in] exp       OBD export of client
1516  * \param[in] granted   amount of grant space to be released upon commit
1517  *
1518  * \retval              0 on successful callback adding
1519  * \retval              negative value on error
1520  */
1521 int tgt_grant_commit_cb_add(struct thandle *th, struct obd_export *exp,
1522                             unsigned long granted)
1523 {
1524         struct tgt_grant_cb     *tgc;
1525         struct dt_txn_commit_cb *dcb;
1526         int                      rc;
1527         ENTRY;
1528
1529         OBD_ALLOC_PTR(tgc);
1530         if (tgc == NULL)
1531                 RETURN(-ENOMEM);
1532
1533         tgc->tgc_exp = class_export_cb_get(exp);
1534         tgc->tgc_granted = granted;
1535
1536         dcb = &tgc->tgc_cb;
1537         dcb->dcb_func = tgt_grant_commit_cb;
1538         INIT_LIST_HEAD(&dcb->dcb_linkage);
1539         strlcpy(dcb->dcb_name, "tgt_grant_commit_cb", sizeof(dcb->dcb_name));
1540
1541         rc = dt_trans_cb_add(th, dcb);
1542         if (rc) {
1543                 class_export_cb_put(tgc->tgc_exp);
1544                 OBD_FREE_PTR(tgc);
1545         }
1546
1547         RETURN(rc);
1548 }
1549 EXPORT_SYMBOL(tgt_grant_commit_cb_add);
1550
1551 /**
1552  * Show estimate of total amount of dirty data on clients.
1553  *
1554  * @kobj                kobject embedded in obd_device
1555  * @attr                unused
1556  * @buf                 buf used by sysfs to print out data
1557  *
1558  * Return:              0 on success
1559  *                      negative value on error
1560  */
1561 ssize_t tot_dirty_show(struct kobject *kobj, struct attribute *attr,
1562                        char *buf)
1563 {
1564         struct obd_device *obd = container_of(kobj, struct obd_device,
1565                                               obd_kset.kobj);
1566         struct tg_grants_data *tgd;
1567
1568         tgd = &obd->u.obt.obt_lut->lut_tgd;
1569         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_dirty);
1570 }
1571 EXPORT_SYMBOL(tot_dirty_show);
1572
1573 /**
1574  * Show total amount of space granted to clients.
1575  *
1576  * @kobj                kobject embedded in obd_device
1577  * @attr                unused
1578  * @buf                 buf used by sysfs to print out data
1579  *
1580  * Return:              0 on success
1581  *                      negative value on error
1582  */
1583 ssize_t tot_granted_show(struct kobject *kobj, struct attribute *attr,
1584                          char *buf)
1585 {
1586         struct obd_device *obd = container_of(kobj, struct obd_device,
1587                                               obd_kset.kobj);
1588         struct tg_grants_data *tgd;
1589
1590         tgd = &obd->u.obt.obt_lut->lut_tgd;
1591         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_granted);
1592 }
1593 EXPORT_SYMBOL(tot_granted_show);
1594
1595 /**
1596  * Show total amount of space used by IO in progress.
1597  *
1598  * @kobj                kobject embedded in obd_device
1599  * @attr                unused
1600  * @buf                 buf used by sysfs to print out data
1601  *
1602  * Return:              0 on success
1603  *                      negative value on error
1604  */
1605 ssize_t tot_pending_show(struct kobject *kobj, struct attribute *attr,
1606                          char *buf)
1607 {
1608         struct obd_device *obd = container_of(kobj, struct obd_device,
1609                                               obd_kset.kobj);
1610         struct tg_grants_data *tgd;
1611
1612         tgd = &obd->u.obt.obt_lut->lut_tgd;
1613         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_pending);
1614 }
1615 EXPORT_SYMBOL(tot_pending_show);
1616
1617 /**
1618  * Show if grants compatibility mode is disabled.
1619  *
1620  * When tgd_grant_compat_disable is set, we don't grant any space to clients
1621  * not supporting OBD_CONNECT_GRANT_PARAM. Otherwise, space granted to such
1622  * a client is inflated since it consumes PAGE_SIZE of grant space per
1623  * block, (i.e. typically 4kB units), but underlaying file system might have
1624  * block size bigger than page size, e.g. ZFS. See LU-2049 for details.
1625  *
1626  * @kobj                kobject embedded in obd_device
1627  * @attr                unused
1628  * @buf                 buf used by sysfs to print out data
1629  *
1630  * Return:              string length of @buf output on success
1631  */
1632 ssize_t grant_compat_disable_show(struct kobject *kobj, struct attribute *attr,
1633                                   char *buf)
1634 {
1635         struct obd_device *obd = container_of(kobj, struct obd_device,
1636                                               obd_kset.kobj);
1637         struct tg_grants_data *tgd = &obd->u.obt.obt_lut->lut_tgd;
1638
1639         return scnprintf(buf, PAGE_SIZE, "%u\n", tgd->tgd_grant_compat_disable);
1640 }
1641 EXPORT_SYMBOL(grant_compat_disable_show);
1642
1643 /**
1644  * Change grant compatibility mode.
1645  *
1646  * Setting tgd_grant_compat_disable prohibit any space granting to clients
1647  * not supporting OBD_CONNECT_GRANT_PARAM. See details above.
1648  *
1649  * @kobj        kobject embedded in obd_device
1650  * @attr        unused
1651  * @buffer      string which represents mode
1652  *              1: disable compatibility mode
1653  *              0: enable compatibility mode
1654  * @count       @buffer length
1655  *
1656  * Return:      @count on success
1657  *              negative number on error
1658  */
1659 ssize_t grant_compat_disable_store(struct kobject *kobj,
1660                                    struct attribute *attr,
1661                                    const char *buffer, size_t count)
1662 {
1663         struct obd_device *obd = container_of(kobj, struct obd_device,
1664                                               obd_kset.kobj);
1665         struct tg_grants_data *tgd = &obd->u.obt.obt_lut->lut_tgd;
1666         bool val;
1667         int rc;
1668
1669         rc = kstrtobool(buffer, &val);
1670         if (rc)
1671                 return rc;
1672
1673         tgd->tgd_grant_compat_disable = val;
1674
1675         return count;
1676 }
1677 EXPORT_SYMBOL(grant_compat_disable_store);