Whamcloud - gitweb
LU-15095 target: lbug_on_grant_miscount module parameter
[fs/lustre-release.git] / lustre / target / tgt_grant.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License version 2 for more details (a copy is included
14  * in the LICENSE file that accompanied this code).
15  *
16  * You should have received a copy of the GNU General Public License
17  * version 2 along with this program; If not, see
18  * http://www.gnu.org/licenses/gpl-2.0.html
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2009, 2010, Oracle and/or its affiliates. All rights reserved.
24  * Use is subject to license terms.
25  *
26  * Copyright (c) 2012, 2017, Intel Corporation.
27  */
28 /*
29  * lustre/target/tgt_grant.c
30  *
31  * This file provides code related to grant space management on Lustre Targets
32  * (OSTs and MDTs). Grant is a mechanism used by client nodes to reserve disk
33  * space on a target for the data writeback cache. The Lustre client is thus
34  * assured that enough space will be available when flushing dirty pages
35  * asynchronously. Each client node is granted an initial amount of reserved
36  * space at connect time and gets additional space back from target in bulk
37  * write reply.
38  *
39  * We actually support three different cases:
40  * - The client supports the new grant parameters (i.e. OBD_CONNECT_GRANT_PARAM)
41  *   which means that all grant overhead calculation happens on the client side.
42  *   The server reports at connect time the backend filesystem block size, the
43  *   maximum extent size as well as the extent insertion cost and it is then up
44  *   to the osc layer to the track dirty extents and consume grant accordingly
45  *   (see osc_cache.c). In each bulk write request, the client provides how much
46  *   grant space was consumed for this RPC.
47  * - The client does not support OBD_CONNECT_GRANT_PARAM and always assumes a
48  *   a backend file system block size of 4KB. We then have two cases:
49  *   - If the block size is really 4KB, then the client can deal with grant
50  *     allocation for partial block writes, but won't take extent insertion cost
51  *     into account. For such clients, we inflate grant by 100% on the server
52  *     side. It means that when 32MB of grant is hold by the client, 64MB of
53  *     grant space is actually reserved on the server. All grant counters
54  *     provided by such a client are inflated by 100%.
55  *   - The backend filesystem block size is bigger than 4KB, which isn't
56  *     supported by the client. In this case, we emulate a 4KB block size and
57  *     consume one block size on the server for each 4KB of grant returned to
58  *     client. With a 128KB blocksize, it means that 32MB dirty pages of 4KB
59  *     on the client will actually consume 1GB of grant on the server.
60  *     All grant counters provided by such a client are inflated by the block
61  *     size ratio.
62  *
63  * This file handles the core logic for:
64  * - grant allocation strategy
65  * - maintaining per-client as well as global grant space accounting
66  * - processing grant information packed in incoming requests
67  * - allocating server-side grant space for synchronous write RPCs which did not
68  *   consume grant on the client side (OBD_BRW_FROM_GRANT flag not set). If not
69  *   enough space is available, such RPCs fail with ENOSPC
70  *
71  * Author: Johann Lombardi <johann.lombardi@intel.com>
72  */
73
74 #define DEBUG_SUBSYSTEM S_CLASS
75
76 #include <obd.h>
77 #include <obd_class.h>
78
79 #include "tgt_internal.h"
80
81 int lbug_on_grant_miscount;
82 module_param(lbug_on_grant_miscount, int, 0644);
83 MODULE_PARM_DESC(lbug_on_grant_miscount, "LBUG on grant miscount");
84
85 /* Clients typically hold 2x their max_rpcs_in_flight of grant space */
86 #define TGT_GRANT_SHRINK_LIMIT(exp)     (2ULL * 8 * exp_max_brw_size(exp))
87
88 /* Helpers to inflate/deflate grants for clients that do not support the grant
89  * parameters */
90 static inline u64 tgt_grant_inflate(struct tg_grants_data *tgd, u64 val)
91 {
92         if (tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
93                 /* Client does not support such large block size, grant
94                  * is thus inflated. We already significantly overestimate
95                  * overhead, no need to add the extent tax in this case */
96                 return val << (tgd->tgd_blockbits - COMPAT_BSIZE_SHIFT);
97         return val;
98 }
99
100 /* Companion of tgt_grant_inflate() */
101 static inline u64 tgt_grant_deflate(struct tg_grants_data *tgd, u64 val)
102 {
103         if (tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
104                 return val >> (tgd->tgd_blockbits - COMPAT_BSIZE_SHIFT);
105         return val;
106 }
107
108 /* Grant chunk is used as a unit for grant allocation. It should be inflated
109  * if the client does not support the grant paramaters.
110  * Check connection flag against \a data if not NULL. This is used during
111  * connection creation where exp->exp_connect_data isn't populated yet */
112 static inline u64 tgt_grant_chunk(struct obd_export *exp,
113                                   struct lu_target *lut,
114                                   struct obd_connect_data *data)
115 {
116         struct tg_grants_data *tgd = &lut->lut_tgd;
117         u64 chunk = exp_max_brw_size(exp);
118         u64 tax;
119
120         if (exp->exp_obd->obd_self_export == exp)
121                 /* Grant enough space to handle a big precreate request */
122                 return OST_MAX_PRECREATE * lut->lut_dt_conf.ddp_inodespace / 2;
123
124         if ((data == NULL && !(exp_grant_param_supp(exp))) ||
125             (data != NULL && !OCD_HAS_FLAG(data, GRANT_PARAM)))
126                 /* Try to grant enough space to send 2 full-size RPCs */
127                 return tgt_grant_inflate(tgd, chunk) << 1;
128
129         /* Try to return enough to send two full-size RPCs
130          * = 2 * (BRW_size + #extents_in_BRW * grant_tax) */
131         tax = 1ULL << tgd->tgd_blockbits;            /* block size */
132         tax *= lut->lut_dt_conf.ddp_max_extent_blks; /* max extent size */
133         tax = (chunk + tax - 1) / tax;               /* #extents in a RPC */
134         tax *= lut->lut_dt_conf.ddp_extent_tax;      /* extent tax for a RPC */
135         chunk = (chunk + tax) * 2;                   /* we said two full RPCs */
136         return chunk;
137 }
138
139 static int tgt_check_export_grants(struct obd_export *exp, u64 *dirty,
140                                    u64 *pending, u64 *granted, u64 maxsize)
141 {
142         struct tg_export_data *ted = &exp->exp_target_data;
143         int level = D_CACHE;
144
145         if (ted->ted_grant < 0 || ted->ted_pending < 0 || ted->ted_dirty < 0)
146                 level = D_ERROR;
147         CDEBUG_LIMIT(level, "%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
148                      exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
149                      ted->ted_dirty, ted->ted_pending, ted->ted_grant);
150
151         if (ted->ted_grant + ted->ted_pending > maxsize) {
152                 CERROR("%s: cli %s/%p ted_grant(%ld) + ted_pending(%ld)"
153                         " > maxsize(%llu)\n", exp->exp_obd->obd_name,
154                         exp->exp_client_uuid.uuid, exp, ted->ted_grant,
155                         ted->ted_pending, maxsize);
156                 return -EFAULT;
157         }
158         if (ted->ted_dirty > maxsize) {
159                 CERROR("%s: cli %s/%p ted_dirty(%ld) > maxsize(%llu)\n",
160                         exp->exp_obd->obd_name, exp->exp_client_uuid.uuid,
161                         exp, ted->ted_dirty, maxsize);
162                 return -EFAULT;
163         }
164         *granted += ted->ted_grant + ted->ted_pending;
165         *pending += ted->ted_pending;
166         *dirty += ted->ted_dirty;
167         return 0;
168 }
169
170 /**
171  * Perform extra sanity checks for grant accounting.
172  *
173  * This function scans the export list, sanity checks per-export grant counters
174  * and verifies accuracy of global grant accounting. If an inconsistency is
175  * found, a CERROR is printed with the function name \func that was passed as
176  * argument. LBUG is only called in case of serious counter corruption (i.e.
177  * value larger than the device size).
178  * Those sanity checks can be pretty expensive and are disabled if the OBD
179  * device has more than 100 connected exports.
180  *
181  * \param[in] obd       OBD device for which grant accounting should be
182  *                      verified
183  * \param[in] func      caller's function name
184  */
185 void tgt_grant_sanity_check(struct obd_device *obd, const char *func)
186 {
187         struct lu_target *lut = obd->u.obt.obt_lut;
188         struct tg_grants_data *tgd = &lut->lut_tgd;
189         struct obd_export *exp;
190         struct tg_export_data *ted;
191         u64                maxsize;
192         u64                tot_dirty = 0;
193         u64                tot_pending = 0;
194         u64                tot_granted = 0;
195         u64                fo_tot_granted;
196         u64                fo_tot_pending;
197         u64                fo_tot_dirty;
198         int                error;
199
200         if (list_empty(&obd->obd_exports))
201                 return;
202
203         /* We don't want to do this for large machines that do lots of
204          * mounts or unmounts.  It burns... */
205         if (obd->obd_num_exports > 100)
206                 return;
207
208         maxsize = tgd->tgd_osfs.os_blocks << tgd->tgd_blockbits;
209
210         spin_lock(&obd->obd_dev_lock);
211         spin_lock(&tgd->tgd_grant_lock);
212         exp = obd->obd_self_export;
213         ted = &exp->exp_target_data;
214         CDEBUG(D_CACHE, "%s: processing self export: %ld %ld "
215                "%ld\n", obd->obd_name, ted->ted_grant,
216                ted->ted_pending, ted->ted_dirty);
217         tot_granted += ted->ted_grant + ted->ted_pending;
218         tot_pending += ted->ted_pending;
219         tot_dirty += ted->ted_dirty;
220
221         list_for_each_entry(exp, &obd->obd_exports, exp_obd_chain) {
222                 error = tgt_check_export_grants(exp, &tot_dirty, &tot_pending,
223                                                 &tot_granted, maxsize);
224                 if (error < 0) {
225                         spin_unlock(&obd->obd_dev_lock);
226                         spin_unlock(&tgd->tgd_grant_lock);
227                         LBUG();
228                 }
229         }
230
231         /* exports about to be unlinked should also be taken into account since
232          * they might still hold pending grant space to be released at
233          * commit time */
234         list_for_each_entry(exp, &obd->obd_unlinked_exports, exp_obd_chain) {
235                 error = tgt_check_export_grants(exp, &tot_dirty, &tot_pending,
236                                                 &tot_granted, maxsize);
237                 if (error < 0) {
238                         spin_unlock(&obd->obd_dev_lock);
239                         spin_unlock(&tgd->tgd_grant_lock);
240                         LBUG();
241                 }
242         }
243
244         fo_tot_granted = tgd->tgd_tot_granted;
245         fo_tot_pending = tgd->tgd_tot_pending;
246         fo_tot_dirty = tgd->tgd_tot_dirty;
247         spin_unlock(&obd->obd_dev_lock);
248         spin_unlock(&tgd->tgd_grant_lock);
249
250         if (tot_granted != fo_tot_granted)
251                 CERROR("%s: tot_granted %llu != fo_tot_granted %llu\n",
252                        func, tot_granted, fo_tot_granted);
253         if (tot_pending != fo_tot_pending)
254                 CERROR("%s: tot_pending %llu != fo_tot_pending %llu\n",
255                        func, tot_pending, fo_tot_pending);
256         if (tot_dirty != fo_tot_dirty)
257                 CERROR("%s: tot_dirty %llu != fo_tot_dirty %llu\n",
258                        func, tot_dirty, fo_tot_dirty);
259         if (tot_pending > tot_granted)
260                 CERROR("%s: tot_pending %llu > tot_granted %llu\n",
261                        func, tot_pending, tot_granted);
262         if (tot_granted > maxsize)
263                 CERROR("%s: tot_granted %llu > maxsize %llu\n",
264                        func, tot_granted, maxsize);
265         if (tot_dirty > maxsize)
266                 CERROR("%s: tot_dirty %llu > maxsize %llu\n",
267                        func, tot_dirty, maxsize);
268 }
269 EXPORT_SYMBOL(tgt_grant_sanity_check);
270
271 /**
272  * Get file system statistics of target.
273  *
274  * Helper function for statfs(), also used by grant code.
275  * Implements caching for statistics to avoid calling OSD device each time.
276  *
277  * \param[in]  env        execution environment
278  * \param[in]  lut        LU target
279  * \param[out] osfs       statistic data to return
280  * \param[in]  max_age    maximum age for cached data
281  * \param[in]  from_cache show that data was get from cache or not
282  *
283  * \retval              0 if successful
284  * \retval              negative value on error
285  */
286 int tgt_statfs_internal(const struct lu_env *env, struct lu_target *lut,
287                         struct obd_statfs *osfs, time64_t max_age, int *from_cache)
288 {
289         struct tg_grants_data *tgd = &lut->lut_tgd;
290         int rc = 0;
291         ENTRY;
292
293         spin_lock(&tgd->tgd_osfs_lock);
294         if (tgd->tgd_osfs_age < max_age || max_age == 0) {
295                 u64 unstable;
296
297                 /* statfs data are too old, get up-to-date one.
298                  * we must be cautious here since multiple threads might be
299                  * willing to update statfs data concurrently and we must
300                  * grant that cached statfs data are always consistent */
301
302                 if (tgd->tgd_statfs_inflight == 0)
303                         /* clear inflight counter if no users, although it would
304                          * take a while to overflow this 64-bit counter ... */
305                         tgd->tgd_osfs_inflight = 0;
306                 /* notify tgt_grant_commit() that we want to track writes
307                  * completed as of now */
308                 tgd->tgd_statfs_inflight++;
309                 /* record value of inflight counter before running statfs to
310                  * compute the diff once statfs is completed */
311                 unstable = tgd->tgd_osfs_inflight;
312                 spin_unlock(&tgd->tgd_osfs_lock);
313
314                 /* statfs can sleep ... hopefully not for too long since we can
315                  * call it fairly often as space fills up */
316                 rc = dt_statfs(env, lut->lut_bottom, osfs);
317                 if (unlikely(rc))
318                         GOTO(out, rc);
319
320                 osfs->os_namelen = min_t(__u32, osfs->os_namelen, NAME_MAX);
321
322                 spin_lock(&tgd->tgd_grant_lock);
323                 spin_lock(&tgd->tgd_osfs_lock);
324                 /* calculate how much space was written while we released the
325                  * tgd_osfs_lock */
326                 unstable = tgd->tgd_osfs_inflight - unstable;
327                 tgd->tgd_osfs_unstable = 0;
328                 if (unstable) {
329                         /* some writes committed while we were running statfs
330                          * w/o the tgd_osfs_lock. Those ones got added to
331                          * the cached statfs data that we are about to crunch.
332                          * Take them into account in the new statfs data */
333                         osfs->os_bavail -= min_t(u64, osfs->os_bavail,
334                                                unstable >> tgd->tgd_blockbits);
335                         /* However, we don't really know if those writes got
336                          * accounted in the statfs call, so tell
337                          * tgt_grant_space_left() there is some uncertainty
338                          * on the accounting of those writes.
339                          * The purpose is to prevent spurious error messages in
340                          * tgt_grant_space_left() since those writes might be
341                          * accounted twice. */
342                         tgd->tgd_osfs_unstable += unstable;
343                 }
344                 /* similarly, there is some uncertainty on write requests
345                  * between prepare & commit */
346                 tgd->tgd_osfs_unstable += tgd->tgd_tot_pending;
347                 spin_unlock(&tgd->tgd_grant_lock);
348
349                 /* finally udpate cached statfs data */
350                 tgd->tgd_osfs = *osfs;
351                 tgd->tgd_osfs_age = ktime_get_seconds();
352
353                 tgd->tgd_statfs_inflight--; /* stop tracking */
354                 if (tgd->tgd_statfs_inflight == 0)
355                         tgd->tgd_osfs_inflight = 0;
356                 spin_unlock(&tgd->tgd_osfs_lock);
357
358                 if (from_cache)
359                         *from_cache = 0;
360         } else {
361                 /* use cached statfs data */
362                 *osfs = tgd->tgd_osfs;
363                 spin_unlock(&tgd->tgd_osfs_lock);
364                 if (from_cache)
365                         *from_cache = 1;
366         }
367         GOTO(out, rc);
368
369 out:
370         return rc;
371 }
372 EXPORT_SYMBOL(tgt_statfs_internal);
373
374 /**
375  * Update cached statfs information from the OSD layer
376  *
377  * Refresh statfs information cached in tgd::tgd_osfs if the cache is older
378  * than 1s or if force is set. The OSD layer is in charge of estimating data &
379  * metadata overhead.
380  * This function can sleep so it should not be called with any spinlock held.
381  *
382  * \param[in] env               LU environment passed by the caller
383  * \param[in] exp               export used to print client info in debug
384  *                              messages
385  * \param[in] force             force a refresh of statfs information
386  * \param[out] from_cache       returns whether the statfs information are
387  *                              taken from cache
388  */
389 static void tgt_grant_statfs(const struct lu_env *env, struct obd_export *exp,
390                              int force, int *from_cache)
391 {
392         struct obd_device       *obd = exp->exp_obd;
393         struct lu_target        *lut = obd->u.obt.obt_lut;
394         struct tg_grants_data   *tgd = &lut->lut_tgd;
395         struct tgt_thread_info  *tti;
396         struct obd_statfs       *osfs;
397         time64_t max_age;
398         int rc;
399
400         if (force)
401                 max_age = 0; /* get fresh statfs data */
402         else
403                 max_age = ktime_get_seconds() - OBD_STATFS_CACHE_SECONDS;
404
405         tti = tgt_th_info(env);
406         osfs = &tti->tti_u.osfs;
407         rc = tgt_statfs_internal(env, lut, osfs, max_age, from_cache);
408         if (unlikely(rc)) {
409                 if (from_cache)
410                         *from_cache = 0;
411                 return;
412         }
413
414         CDEBUG(D_CACHE, "%s: cli %s/%p free: %llu avail: %llu\n",
415                obd->obd_name, exp->exp_client_uuid.uuid, exp,
416                osfs->os_bfree << tgd->tgd_blockbits,
417                osfs->os_bavail << tgd->tgd_blockbits);
418 }
419
420 /**
421  * Figure out how much space is available on the backend filesystem after
422  * removing grant space already booked by clients.
423  *
424  * This is done by accessing cached statfs data previously populated by
425  * tgt_grant_statfs(), from which we withdraw the space already granted to
426  * clients and the reserved space.
427  * Caller must hold tgd_grant_lock spinlock.
428  *
429  * \param[in] exp       export associated with the device for which the amount
430  *                      of available space is requested
431  * \retval              amount of non-allocated space, in bytes
432  */
433 static u64 tgt_grant_space_left(struct obd_export *exp)
434 {
435         struct obd_device       *obd = exp->exp_obd;
436         struct lu_target        *lut = obd->u.obt.obt_lut;
437         struct tg_grants_data   *tgd = &lut->lut_tgd;
438         u64                      tot_granted;
439         u64                      left;
440         u64                      avail;
441         u64                      unstable;
442         u64                      reserved;
443
444         ENTRY;
445         assert_spin_locked(&tgd->tgd_grant_lock);
446
447         spin_lock(&tgd->tgd_osfs_lock);
448         /* get available space from cached statfs data */
449         left = tgd->tgd_osfs.os_bavail << tgd->tgd_blockbits;
450         unstable = tgd->tgd_osfs_unstable; /* those might be accounted twice */
451         spin_unlock(&tgd->tgd_osfs_lock);
452
453         reserved = left * tgd->tgd_reserved_pcnt / 100;
454         tot_granted = tgd->tgd_tot_granted + reserved;
455
456         if (left < tot_granted) {
457                 int mask = (left + unstable <
458                             tot_granted - tgd->tgd_tot_pending) ?
459                             D_ERROR : D_CACHE;
460
461                 /* the below message is checked in sanityn.sh test_15 */
462                 CDEBUG_LIMIT(mask,
463                              "%s: cli %s/%p left=%llu < tot_grant=%llu unstable=%llu pending=%llu dirty=%llu\n",
464                              obd->obd_name, exp->exp_client_uuid.uuid, exp,
465                              left, tot_granted, unstable,
466                              tgd->tgd_tot_pending,
467                              tgd->tgd_tot_dirty);
468                 RETURN(0);
469         }
470
471         avail = left;
472         /* Withdraw space already granted to clients */
473         left -= tot_granted;
474
475         /* Align left on block size */
476         left &= ~((1ULL << tgd->tgd_blockbits) - 1);
477
478         CDEBUG(D_CACHE,
479                "%s: cli %s/%p avail=%llu left=%llu unstable=%llu tot_grant=%llu pending=%llu\n",
480                obd->obd_name, exp->exp_client_uuid.uuid, exp, avail, left,
481                unstable, tot_granted, tgd->tgd_tot_pending);
482
483         RETURN(left);
484 }
485
486 /**
487  * Process grant information from obdo structure packed in incoming BRW
488  * and inflate grant counters if required.
489  *
490  * Grab the dirty and seen grant announcements from the incoming obdo and
491  * inflate all grant counters passed in the request if the client does not
492  * support the grant parameters.
493  * We will later calculate the client's new grant and return it.
494  * Caller must hold tgd_grant_lock spinlock.
495  *
496  * \param[in] env       LU environment supplying osfs storage
497  * \param[in] exp       export for which we received the request
498  * \param[in,out] oa    incoming obdo sent by the client
499  */
500 static void tgt_grant_incoming(const struct lu_env *env, struct obd_export *exp,
501                                struct obdo *oa, long chunk)
502 {
503         struct tg_export_data   *ted = &exp->exp_target_data;
504         struct obd_device       *obd = exp->exp_obd;
505         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
506         long long                dirty, dropped;
507         ENTRY;
508
509         assert_spin_locked(&tgd->tgd_grant_lock);
510
511         if ((oa->o_valid & (OBD_MD_FLBLOCKS|OBD_MD_FLGRANT)) !=
512                                         (OBD_MD_FLBLOCKS|OBD_MD_FLGRANT)) {
513                 oa->o_valid &= ~OBD_MD_FLGRANT;
514                 RETURN_EXIT;
515         }
516
517         /* Add some margin, since there is a small race if other RPCs arrive
518          * out-or-order and have already consumed some grant.  We want to
519          * leave this here in case there is a large error in accounting. */
520         CDEBUG(D_CACHE,
521                "%s: cli %s/%p reports grant %llu dropped %u, local %lu\n",
522                obd->obd_name, exp->exp_client_uuid.uuid, exp, oa->o_grant,
523                oa->o_dropped, ted->ted_grant);
524
525         if ((long long)oa->o_dirty < 0)
526                 oa->o_dirty = 0;
527
528         /* inflate grant counters if required */
529         if (!exp_grant_param_supp(exp)) {
530                 u64 tmp;
531                 oa->o_grant     = tgt_grant_inflate(tgd, oa->o_grant);
532                 oa->o_dirty     = tgt_grant_inflate(tgd, oa->o_dirty);
533                 /* inflation can bump client's wish to >4GB which doesn't fit
534                  * 32bit o_undirty, limit that ..  */
535                 tmp = tgt_grant_inflate(tgd, oa->o_undirty);
536                 if (tmp >= OBD_MAX_GRANT)
537                         tmp = OBD_MAX_GRANT & ~(1ULL << tgd->tgd_blockbits);
538                 oa->o_undirty = tmp;
539                 tmp = tgt_grant_inflate(tgd, oa->o_dropped);
540                 if (tmp >= OBD_MAX_GRANT)
541                         tmp = OBD_MAX_GRANT & ~(1ULL << tgd->tgd_blockbits);
542                 oa->o_dropped = tmp;
543         }
544
545         dirty = oa->o_dirty;
546         dropped = oa->o_dropped;
547
548         /* Update our accounting now so that statfs takes it into account.
549          * Note that ted_dirty is only approximate and can become incorrect
550          * if RPCs arrive out-of-order.  No important calculations depend
551          * on ted_dirty however, but we must check sanity to not assert. */
552         if (dirty > ted->ted_grant + 4 * chunk)
553                 dirty = ted->ted_grant + 4 * chunk;
554         tgd->tgd_tot_dirty += dirty - ted->ted_dirty;
555         if (ted->ted_grant < dropped) {
556                 CDEBUG(D_CACHE,
557                        "%s: cli %s/%p reports %llu dropped > grant %lu\n",
558                        obd->obd_name, exp->exp_client_uuid.uuid, exp, dropped,
559                        ted->ted_grant);
560                 dropped = 0;
561         }
562         if (tgd->tgd_tot_granted < dropped) {
563                 CERROR("%s: cli %s/%p reports %llu dropped > tot_grant %llu\n",
564                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
565                        dropped, tgd->tgd_tot_granted);
566                 dropped = 0;
567         }
568         tgd->tgd_tot_granted -= dropped;
569         ted->ted_grant -= dropped;
570         ted->ted_dirty = dirty;
571
572         if (ted->ted_dirty < 0 || ted->ted_grant < 0 || ted->ted_pending < 0) {
573                 CERROR("%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
574                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
575                        ted->ted_dirty, ted->ted_pending, ted->ted_grant);
576                 spin_unlock(&tgd->tgd_grant_lock);
577                 LBUG();
578         }
579         EXIT;
580 }
581
582 /**
583  * Grant shrink request handler.
584  *
585  * Client nodes can explicitly release grant space (i.e. process called grant
586  * shrinking). This function proceeds with the shrink request when there is
587  * less ungranted space remaining than the amount all of the connected clients
588  * would consume if they used their full grant.
589  * Caller must hold tgd_grant_lock spinlock.
590  *
591  * \param[in] exp               export releasing grant space
592  * \param[in,out] oa            incoming obdo sent by the client
593  * \param[in] left_space        remaining free space with space already granted
594  *                              taken out
595  */
596 static void tgt_grant_shrink(struct obd_export *exp, struct obdo *oa,
597                              u64 left_space)
598 {
599         struct tg_export_data   *ted = &exp->exp_target_data;
600         struct obd_device       *obd = exp->exp_obd;
601         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
602         long                     grant_shrink;
603
604         assert_spin_locked(&tgd->tgd_grant_lock);
605         LASSERT(exp);
606         if (left_space >= tgd->tgd_tot_granted_clients *
607                           TGT_GRANT_SHRINK_LIMIT(exp))
608                 return;
609
610         grant_shrink = oa->o_grant;
611
612         if (ted->ted_grant < grant_shrink) {
613                 CDEBUG(D_CACHE,
614                        "%s: cli %s/%p wants %lu shrinked > grant %lu\n",
615                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
616                        grant_shrink, ted->ted_grant);
617                 grant_shrink = ted->ted_grant;
618         }
619
620         ted->ted_grant -= grant_shrink;
621         tgd->tgd_tot_granted -= grant_shrink;
622
623         CDEBUG(D_CACHE, "%s: cli %s/%p shrink %ld ted_grant %ld total %llu\n",
624                obd->obd_name, exp->exp_client_uuid.uuid, exp, grant_shrink,
625                ted->ted_grant, tgd->tgd_tot_granted);
626
627         /* client has just released some grant, don't grant any space back */
628         oa->o_grant = 0;
629 }
630
631 /**
632  * Calculate how much space is required to write a given network buffer
633  *
634  * This function takes block alignment into account to estimate how much on-disk
635  * space will be required to successfully write the whole niobuf.
636  * Estimated space is inflated if the export does not support
637  * OBD_CONNECT_GRANT_PARAM and if the backend filesystem has a block size
638  * larger than the minimal supported page size (i.e. 4KB).
639  *
640  * \param[in] exp       export associated which the write request
641  *                      if NULL, then size estimate is done for server-side
642  *                      grant allocation.
643  * \param[in] lut       LU target handling the request
644  * \param[in] rnb       network buffer to estimate size of
645  *
646  * \retval              space (in bytes) that will be consumed to write the
647  *                      network buffer
648  */
649 static inline u64 tgt_grant_rnb_size(struct obd_export *exp,
650                                      struct lu_target *lut,
651                                      struct niobuf_remote *rnb)
652 {
653         struct tg_grants_data *tgd = &lut->lut_tgd;
654         u64 blksize;
655         u64 bytes;
656         u64 end;
657
658         if (exp && !exp_grant_param_supp(exp) &&
659             tgd->tgd_blockbits > COMPAT_BSIZE_SHIFT)
660                 blksize = 1ULL << COMPAT_BSIZE_SHIFT;
661         else
662                 blksize = 1ULL << tgd->tgd_blockbits;
663
664         /* The network buffer might span several blocks, align it on block
665          * boundaries */
666         bytes  = rnb->rnb_offset & (blksize - 1);
667         bytes += rnb->rnb_len;
668         end    = bytes & (blksize - 1);
669         if (end)
670                 bytes += blksize - end;
671
672         if (exp == NULL || exp_grant_param_supp(exp)) {
673                 /* add per-extent insertion cost */
674                 u64 max_ext;
675                 int nr_ext;
676
677                 max_ext = blksize * lut->lut_dt_conf.ddp_max_extent_blks;
678                 nr_ext = (bytes + max_ext - 1) / max_ext;
679                 bytes += nr_ext * lut->lut_dt_conf.ddp_extent_tax;
680         } else {
681                 /* Inflate grant space if client does not support extent-based
682                  * grant allocation */
683                 bytes = tgt_grant_inflate(tgd, (u64)bytes);
684         }
685
686         return bytes;
687 }
688
689 /**
690  * Validate grant accounting for each incoming remote network buffer.
691  *
692  * When clients have dirtied as much space as they've been granted they
693  * fall through to sync writes. These sync writes haven't been expressed
694  * in grants and need to error with ENOSPC when there isn't room in the
695  * filesystem for them after grants are taken into account. However,
696  * writeback of the dirty data that was already granted space can write
697  * right on through.
698  * The OBD_BRW_GRANTED flag will be set in the rnb_flags of each network
699  * buffer which has been granted enough space to proceed. Buffers without
700  * this flag will fail to be written with -ENOSPC (see tgt_preprw_write().
701  * Caller must hold tgd_grant_lock spinlock.
702  *
703  * \param[in] env       LU environment passed by the caller
704  * \param[in] exp       export identifying the client which sent the RPC
705  * \param[in] oa        incoming obdo in which we should return the pack the
706  *                      additional grant
707  * \param[in,out] rnb   the list of network buffers
708  * \param[in] niocount  the number of network buffers in the list
709  * \param[in] left      the remaining free space with space already granted
710  *                      taken out
711  */
712 static void tgt_grant_check(const struct lu_env *env, struct obd_export *exp,
713                             struct obdo *oa, struct niobuf_remote *rnb,
714                             int niocount, u64 *left)
715 {
716         struct tg_export_data   *ted = &exp->exp_target_data;
717         struct obd_device       *obd = exp->exp_obd;
718         struct lu_target        *lut = obd->u.obt.obt_lut;
719         struct tg_grants_data   *tgd = &lut->lut_tgd;
720         unsigned long            ungranted = 0;
721         unsigned long            granted = 0;
722         int                      i;
723         bool                     skip = false;
724
725         ENTRY;
726
727         assert_spin_locked(&tgd->tgd_grant_lock);
728
729         if (obd->obd_recovering) {
730                 /* Replaying write. Grant info have been processed already so no
731                  * need to do any enforcement here. It is worth noting that only
732                  * bulk writes with all rnbs having OBD_BRW_FROM_GRANT can be
733                  * replayed. If one page hasn't OBD_BRW_FROM_GRANT set, then
734                  * the whole bulk is written synchronously */
735                 skip = true;
736                 CDEBUG(D_CACHE, "Replaying write, skipping accounting\n");
737         } else if ((oa->o_valid & OBD_MD_FLFLAGS) &&
738                    (oa->o_flags & OBD_FL_RECOV_RESEND)) {
739                 /* Recoverable resend, grant info have already been processed as
740                  * well */
741                 skip = true;
742                 CDEBUG(D_CACHE, "Recoverable resend arrived, skipping "
743                                 "accounting\n");
744         } else if (exp_grant_param_supp(exp) && oa->o_grant_used > 0) {
745                 /* Client supports the new grant parameters and is telling us
746                  * how much grant space it consumed for this bulk write.
747                  * Although all rnbs are supposed to have the OBD_BRW_FROM_GRANT
748                  * flag set, we will scan the rnb list and looks for non-cache
749                  * I/O in case it changes in the future */
750                 if (ted->ted_grant >= oa->o_grant_used) {
751                         /* skip grant accounting for rnbs with
752                          * OBD_BRW_FROM_GRANT and just used grant consumption
753                          * claimed in the request */
754                         granted = oa->o_grant_used;
755                         skip = true;
756                 } else {
757                         /* client has used more grants for this request that
758                          * it owns ... */
759                         CERROR("%s: cli %s claims %lu GRANT, real grant %lu\n",
760                                exp->exp_obd->obd_name,
761                                exp->exp_client_uuid.uuid,
762                                (unsigned long)oa->o_grant_used, ted->ted_grant);
763
764                         /* check whether we can fill the gap with unallocated
765                          * grant */
766                         if (*left > (oa->o_grant_used - ted->ted_grant)) {
767                                 /* ouf .. we are safe for now */
768                                 granted = ted->ted_grant;
769                                 ungranted = oa->o_grant_used - granted;
770                                 *left -= ungranted;
771                                 skip = true;
772                         }
773                         /* too bad, but we cannot afford to blow up our grant
774                          * accounting. The loop below will handle each rnb in
775                          * case by case. */
776                 }
777         }
778
779         for (i = 0; i < niocount; i++) {
780                 int bytes;
781
782                 if ((rnb[i].rnb_flags & OBD_BRW_FROM_GRANT)) {
783                         if (skip) {
784                                 rnb[i].rnb_flags |= OBD_BRW_GRANTED;
785                                 continue;
786                         }
787
788                         /* compute how much grant space is actually needed for
789                          * this rnb, inflate grant if required */
790                         bytes = tgt_grant_rnb_size(exp, lut, &rnb[i]);
791                         if (ted->ted_grant >= granted + bytes) {
792                                 granted += bytes;
793                                 rnb[i].rnb_flags |= OBD_BRW_GRANTED;
794                                 continue;
795                         }
796
797                         CDEBUG(D_CACHE, "%s: cli %s/%p claims %ld+%d GRANT, "
798                                "real grant %lu idx %d\n", obd->obd_name,
799                                exp->exp_client_uuid.uuid, exp, granted, bytes,
800                                ted->ted_grant, i);
801                 }
802
803                 if (obd->obd_recovering)
804                         CERROR("%s: cli %s is replaying OST_WRITE while one rnb"
805                                " hasn't OBD_BRW_FROM_GRANT set (0x%x)\n",
806                                obd->obd_name, exp->exp_client_uuid.uuid,
807                                rnb[i].rnb_flags);
808
809                 /* Consume grant space on the server.
810                  * Unlike above, tgt_grant_rnb_size() is called with exp = NULL
811                  * so that the required grant space isn't inflated. This is
812                  * done on purpose since the server can deal with large block
813                  * size, unlike some clients */
814                 bytes = tgt_grant_rnb_size(NULL, lut, &rnb[i]);
815                 if (*left > bytes) {
816                         /* if enough space, pretend it was granted */
817                         ungranted += bytes;
818                         *left -= bytes;
819                         rnb[i].rnb_flags |= OBD_BRW_GRANTED;
820                         continue;
821                 }
822
823                 /* We can't check for already-mapped blocks here (make sense
824                  * when backend filesystem does not use COW) as it requires
825                  * dropping the grant lock.
826                  * Instead, we clear OBD_BRW_GRANTED and in that case we need
827                  * to go through and verify if all of the blocks not marked
828                  *  BRW_GRANTED are already mapped and we can ignore this error.
829                  */
830                 rnb[i].rnb_flags &= ~OBD_BRW_GRANTED;
831                 CDEBUG(D_CACHE, "%s: cli %s/%p idx %d no space for %d\n",
832                        obd->obd_name, exp->exp_client_uuid.uuid, exp, i, bytes);
833         }
834
835         /* record in o_grant_used the actual space reserved for the I/O, will be
836          * used later in tgt_grant_commmit() */
837         oa->o_grant_used = granted + ungranted;
838
839         /* record space used for the I/O, will be used in tgt_grant_commmit() */
840         /* Now substract what the clients has used already.  We don't subtract
841          * this from the tot_granted yet, so that other client's can't grab
842          * that space before we have actually allocated our blocks. That
843          * happens in tgt_grant_commit() after the writes are done. */
844         ted->ted_grant -= granted;
845         ted->ted_pending += oa->o_grant_used;
846         tgd->tgd_tot_granted += ungranted;
847         tgd->tgd_tot_pending += oa->o_grant_used;
848
849         CDEBUG(D_CACHE,
850                "%s: cli %s/%p granted: %lu ungranted: %lu grant: %lu dirty: %lu"
851                "\n", obd->obd_name, exp->exp_client_uuid.uuid, exp,
852                granted, ungranted, ted->ted_grant, ted->ted_dirty);
853
854         if (obd->obd_recovering || (oa->o_valid & OBD_MD_FLGRANT) == 0)
855                 /* don't update dirty accounting during recovery or
856                  * if grant information got discarded (e.g. during resend) */
857                 RETURN_EXIT;
858
859         if (ted->ted_dirty < granted) {
860                 CWARN("%s: cli %s/%p claims granted %lu > ted_dirty %lu\n",
861                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
862                        granted, ted->ted_dirty);
863                 granted = ted->ted_dirty;
864         }
865         tgd->tgd_tot_dirty -= granted;
866         ted->ted_dirty -= granted;
867
868         if (ted->ted_dirty < 0 || ted->ted_grant < 0 || ted->ted_pending < 0) {
869                 CERROR("%s: cli %s/%p dirty %ld pend %ld grant %ld\n",
870                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
871                        ted->ted_dirty, ted->ted_pending, ted->ted_grant);
872                 spin_unlock(&tgd->tgd_grant_lock);
873                 LBUG();
874         }
875         EXIT;
876 }
877
878 /**
879  * Allocate additional grant space to a client
880  *
881  * Calculate how much grant space to return to client, based on how much space
882  * is currently free and how much of that is already granted.
883  * Caller must hold tgd_grant_lock spinlock.
884  *
885  * \param[in] exp               export of the client which sent the request
886  * \param[in] curgrant          current grant claimed by the client
887  * \param[in] want              how much grant space the client would like to
888  *                              have
889  * \param[in] left              remaining free space with granted space taken
890  *                              out
891  * \param[in] chunk             grant allocation unit
892  * \param[in] conservative      if set to true, the server should be cautious
893  *                              and limit how much space is granted back to the
894  *                              client. Otherwise, the server should try hard to
895  *                              satisfy the client request.
896  *
897  * \retval                      amount of grant space allocated
898  */
899 static long tgt_grant_alloc(struct obd_export *exp, u64 curgrant,
900                             u64 want, u64 left, long chunk,
901                             bool conservative)
902 {
903         struct obd_device       *obd = exp->exp_obd;
904         struct tg_grants_data   *tgd = &obd->u.obt.obt_lut->lut_tgd;
905         struct tg_export_data   *ted = &exp->exp_target_data;
906         u64                      grant;
907
908         ENTRY;
909
910         if (OBD_FAIL_CHECK(OBD_FAIL_TGT_NO_GRANT))
911                 RETURN(0);
912
913         /* When tgd_grant_compat_disable is set, we don't grant any space to
914          * clients not supporting OBD_CONNECT_GRANT_PARAM.
915          * Otherwise, space granted to such a client is inflated since it
916          * consumes PAGE_SIZE of grant space per block */
917         if ((obd->obd_self_export != exp && !exp_grant_param_supp(exp) &&
918              tgd->tgd_grant_compat_disable) || left == 0 || exp->exp_failed)
919                 RETURN(0);
920
921         if (want > OBD_MAX_GRANT) {
922                 CERROR("%s: client %s/%p requesting > max (%lu), %llu\n",
923                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
924                        OBD_MAX_GRANT, want);
925                 RETURN(0);
926         }
927
928         /* Grant some fraction of the client's requested grant space so that
929          * they are not always waiting for write credits (not all of it to
930          * avoid overgranting in face of multiple RPCs in flight).  This
931          * essentially will be able to control the OSC_MAX_RIF for a client.
932          *
933          * If we do have a large disparity between what the client thinks it
934          * has and what we think it has, don't grant very much and let the
935          * client consume its grant first.  Either it just has lots of RPCs
936          * in flight, or it was evicted and its grants will soon be used up. */
937         if (curgrant >= want || curgrant >= ted->ted_grant + chunk)
938                 RETURN(0);
939
940         if (obd->obd_recovering)
941                 conservative = false;
942
943         if (conservative)
944                 /* don't grant more than 1/8th of the remaining free space in
945                  * one chunk */
946                 left >>= 3;
947         grant = min(want - curgrant, left);
948         /* round grant up to the next block size */
949         grant = (grant + (1 << tgd->tgd_blockbits) - 1) &
950                 ~((1ULL << tgd->tgd_blockbits) - 1);
951
952         if (!grant)
953                 RETURN(0);
954
955         /* Limit to grant_chunk if not reconnect/recovery */
956         if ((grant > chunk) && conservative)
957                 grant = chunk;
958
959         /*
960          * Limit grant so that export' grant does not exceed what the
961          * client would like to have by more than grants for 2 full
962          * RPCs
963          */
964         if (want + chunk <= ted->ted_grant)
965                 RETURN(0);
966         if (ted->ted_grant + grant > want + chunk)
967                 grant = want + chunk - ted->ted_grant;
968
969         tgd->tgd_tot_granted += grant;
970         ted->ted_grant += grant;
971
972         if (unlikely(ted->ted_grant < 0 || ted->ted_grant > want + chunk)) {
973                 CERROR("%s: cli %s/%p grant %ld want %llu current %llu\n",
974                        obd->obd_name, exp->exp_client_uuid.uuid, exp,
975                        ted->ted_grant, want, curgrant);
976                 if (lbug_on_grant_miscount) {
977                         spin_unlock(&tgd->tgd_grant_lock);
978                         LBUG();
979                 }
980         }
981
982         CDEBUG(D_CACHE,
983                "%s: cli %s/%p wants: %llu current grant %llu"
984                " granting: %llu\n", obd->obd_name, exp->exp_client_uuid.uuid,
985                exp, want, curgrant, grant);
986         CDEBUG(D_CACHE,
987                "%s: cli %s/%p tot cached:%llu granted:%llu"
988                " num_exports: %d\n", obd->obd_name, exp->exp_client_uuid.uuid,
989                exp, tgd->tgd_tot_dirty, tgd->tgd_tot_granted,
990                obd->obd_num_exports);
991
992         RETURN(grant);
993 }
994
995 /**
996  * Handle grant space allocation on client connection & reconnection.
997  *
998  * A new non-readonly connection gets an initial grant allocation equals to
999  * tgt_grant_chunk() (i.e. twice the max BRW size in most of the cases).
1000  * On reconnection, grant counters between client & target are resynchronized
1001  * and additional space might be granted back if possible.
1002  *
1003  * \param[in] env       LU environment provided by the caller
1004  * \param[in] exp       client's export which is (re)connecting
1005  * \param[in,out] data  obd_connect_data structure sent by the client in the
1006  *                      connect request
1007  * \param[in] new_conn  must set to true if this is a new connection and false
1008  *                      for a reconnection
1009  */
1010 void tgt_grant_connect(const struct lu_env *env, struct obd_export *exp,
1011                        struct obd_connect_data *data, bool new_conn)
1012 {
1013         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1014         struct tg_grants_data   *tgd = &lut->lut_tgd;
1015         struct tg_export_data   *ted = &exp->exp_target_data;
1016         u64                      left = 0;
1017         u64                      want;
1018         long                     chunk;
1019         int                      from_cache;
1020         int                      force = 0; /* can use cached data */
1021
1022         /* don't grant space to client with read-only access */
1023         if (OCD_HAS_FLAG(data, RDONLY) ||
1024             (!OCD_HAS_FLAG(data, GRANT_PARAM) &&
1025              tgd->tgd_grant_compat_disable)) {
1026                 data->ocd_grant = 0;
1027                 data->ocd_connect_flags &= ~(OBD_CONNECT_GRANT |
1028                                              OBD_CONNECT_GRANT_PARAM);
1029                 RETURN_EXIT;
1030         }
1031
1032         if (OCD_HAS_FLAG(data, GRANT_PARAM))
1033                 want = data->ocd_grant;
1034         else
1035                 want = tgt_grant_inflate(tgd, data->ocd_grant);
1036         chunk = tgt_grant_chunk(exp, lut, data);
1037 refresh:
1038         tgt_grant_statfs(env, exp, force, &from_cache);
1039
1040         spin_lock(&tgd->tgd_grant_lock);
1041
1042         /* Grab free space from cached info and take out space already granted
1043          * to clients as well as reserved space */
1044         left = tgt_grant_space_left(exp);
1045
1046         /* get fresh statfs data if we are short in ungranted space */
1047         if (from_cache && left < 32 * chunk) {
1048                 spin_unlock(&tgd->tgd_grant_lock);
1049                 CDEBUG(D_CACHE, "fs has no space left and statfs too old\n");
1050                 force = 1;
1051                 goto refresh;
1052         }
1053
1054         tgt_grant_alloc(exp, (u64)ted->ted_grant, want, left, chunk, new_conn);
1055
1056         /* return to client its current grant */
1057         if (OCD_HAS_FLAG(data, GRANT_PARAM))
1058                 data->ocd_grant = ted->ted_grant;
1059         else
1060                 /* deflate grant */
1061                 data->ocd_grant = tgt_grant_deflate(tgd, (u64)ted->ted_grant);
1062
1063         /* reset dirty accounting */
1064         tgd->tgd_tot_dirty -= ted->ted_dirty;
1065         ted->ted_dirty = 0;
1066
1067         if (new_conn && OCD_HAS_FLAG(data, GRANT))
1068                 tgd->tgd_tot_granted_clients++;
1069
1070         spin_unlock(&tgd->tgd_grant_lock);
1071
1072         CDEBUG(D_CACHE, "%s: cli %s/%p ocd_grant: %d want: %llu left: %llu\n",
1073                exp->exp_obd->obd_name, exp->exp_client_uuid.uuid,
1074                exp, data->ocd_grant, want, left);
1075
1076         EXIT;
1077 }
1078 EXPORT_SYMBOL(tgt_grant_connect);
1079
1080 /**
1081  * Release all grant space attached to a given export.
1082  *
1083  * Remove a client from the grant accounting totals.  We also remove
1084  * the export from the obd device under the osfs and dev locks to ensure
1085  * that the tgt_grant_sanity_check() calculations are always valid.
1086  * The client should do something similar when it invalidates its import.
1087  *
1088  * \param[in] exp       client's export to remove from grant accounting
1089  */
1090 void tgt_grant_discard(struct obd_export *exp)
1091 {
1092         struct obd_device       *obd = exp->exp_obd;
1093         struct lu_target        *lut = class_exp2tgt(exp);
1094         struct tg_export_data   *ted = &exp->exp_target_data;
1095         struct tg_grants_data   *tgd;
1096
1097         if (!lut)
1098                 return;
1099
1100         tgd = &lut->lut_tgd;
1101         spin_lock(&tgd->tgd_grant_lock);
1102         if (unlikely(tgd->tgd_tot_granted < ted->ted_grant ||
1103                      tgd->tgd_tot_dirty < ted->ted_dirty)) {
1104                 struct obd_export *e;
1105                 u64 ttg = 0;
1106                 u64 ttd = 0;
1107
1108                 list_for_each_entry(e, &obd->obd_exports, exp_obd_chain) {
1109                         LASSERT(exp != e);
1110                         ttg += e->exp_target_data.ted_grant;
1111                         ttg += e->exp_target_data.ted_pending;
1112                         ttd += e->exp_target_data.ted_dirty;
1113                 }
1114                 if (tgd->tgd_tot_granted < ted->ted_grant)
1115                         CERROR("%s: cli %s/%p: tot_granted %llu < ted_grant %ld, corrected to %llu",
1116                                obd->obd_name,  exp->exp_client_uuid.uuid, exp,
1117                                tgd->tgd_tot_granted, ted->ted_grant, ttg);
1118                 if (tgd->tgd_tot_dirty < ted->ted_dirty)
1119                         CERROR("%s: cli %s/%p: tot_dirty %llu < ted_dirty %ld, corrected to %llu",
1120                                obd->obd_name, exp->exp_client_uuid.uuid, exp,
1121                                tgd->tgd_tot_dirty, ted->ted_dirty, ttd);
1122                 tgd->tgd_tot_granted = ttg;
1123                 tgd->tgd_tot_dirty = ttd;
1124         } else {
1125                 tgd->tgd_tot_granted -= ted->ted_grant;
1126                 tgd->tgd_tot_dirty -= ted->ted_dirty;
1127         }
1128         ted->ted_grant = 0;
1129         ted->ted_dirty = 0;
1130
1131         if (tgd->tgd_tot_pending < ted->ted_pending) {
1132                 CERROR("%s: tot_pending %llu < cli %s/%p ted_pending %ld\n",
1133                        obd->obd_name, tgd->tgd_tot_pending,
1134                        exp->exp_client_uuid.uuid, exp, ted->ted_pending);
1135         }
1136         /* tgd_tot_pending is handled in tgt_grant_commit as bulk
1137          * commmits */
1138         spin_unlock(&tgd->tgd_grant_lock);
1139 }
1140 EXPORT_SYMBOL(tgt_grant_discard);
1141
1142 /**
1143  * Process grant information from incoming bulk read request.
1144  *
1145  * Extract grant information packed in obdo structure (OBD_MD_FLGRANT set in
1146  * o_valid). Bulk reads usually comes with grant announcements (number of dirty
1147  * blocks, remaining amount of grant space, ...) and could also include a grant
1148  * shrink request. Unlike bulk write, no additional grant space is returned on
1149  * bulk read request.
1150  *
1151  * \param[in] env       is the lu environment provided by the caller
1152  * \param[in] exp       is the export of the client which sent the request
1153  * \param[in,out] oa    is the incoming obdo sent by the client
1154  */
1155 void tgt_grant_prepare_read(const struct lu_env *env,
1156                             struct obd_export *exp, struct obdo *oa)
1157 {
1158         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1159         struct tg_grants_data   *tgd = &lut->lut_tgd;
1160         int                      do_shrink;
1161         u64                      left = 0;
1162
1163         ENTRY;
1164
1165         if (!oa)
1166                 RETURN_EXIT;
1167
1168         if ((oa->o_valid & OBD_MD_FLGRANT) == 0)
1169                 /* The read request does not contain any grant
1170                  * information */
1171                 RETURN_EXIT;
1172
1173         if ((oa->o_valid & OBD_MD_FLFLAGS) &&
1174             (oa->o_flags & OBD_FL_SHRINK_GRANT)) {
1175                 /* To process grant shrink request, we need to know how much
1176                  * available space remains on the backend filesystem.
1177                  * Shrink requests are not so common, we always get fresh
1178                  * statfs information. */
1179                 tgt_grant_statfs(env, exp, 1, NULL);
1180
1181                 /* protect all grant counters */
1182                 spin_lock(&tgd->tgd_grant_lock);
1183
1184                 /* Grab free space from cached statfs data and take out space
1185                  * already granted to clients as well as reserved space */
1186                 left = tgt_grant_space_left(exp);
1187
1188                 /* all set now to proceed with shrinking */
1189                 do_shrink = 1;
1190         } else {
1191                 /* no grant shrinking request packed in the obdo and
1192                  * since we don't grant space back on reads, no point
1193                  * in running statfs, so just skip it and process
1194                  * incoming grant data directly. */
1195                 spin_lock(&tgd->tgd_grant_lock);
1196                 do_shrink = 0;
1197         }
1198
1199         /* extract incoming grant information provided by the client and
1200          * inflate grant counters if required */
1201         tgt_grant_incoming(env, exp, oa, tgt_grant_chunk(exp, lut, NULL));
1202
1203         /* unlike writes, we don't return grants back on reads unless a grant
1204          * shrink request was packed and we decided to turn it down. */
1205         if (do_shrink)
1206                 tgt_grant_shrink(exp, oa, left);
1207         else
1208                 oa->o_grant = 0;
1209
1210         if (!exp_grant_param_supp(exp))
1211                 oa->o_grant = tgt_grant_deflate(tgd, oa->o_grant);
1212         spin_unlock(&tgd->tgd_grant_lock);
1213         EXIT;
1214 }
1215 EXPORT_SYMBOL(tgt_grant_prepare_read);
1216
1217 /**
1218  * Process grant information from incoming bulk write request.
1219  *
1220  * This function extracts client's grant announcements from incoming bulk write
1221  * request and attempts to allocate grant space for network buffers that need it
1222  * (i.e. OBD_BRW_FROM_GRANT not set in rnb_fags).
1223  * Network buffers which aren't granted the OBD_BRW_GRANTED flag should not
1224  * proceed further and should fail with -ENOSPC.
1225  * Whenever possible, additional grant space will be returned to the client
1226  * in the bulk write reply.
1227  * tgt_grant_prepare_write() must be called before writting any buffers to
1228  * the backend storage. This function works in pair with tgt_grant_commit()
1229  * which must be invoked once all buffers have been written to disk in order
1230  * to release space from the pending grant counter.
1231  *
1232  * \param[in] env       LU environment provided by the caller
1233  * \param[in] exp       export of the client which sent the request
1234  * \param[in] oa        incoming obdo sent by the client
1235  * \param[in] rnb       list of network buffers
1236  * \param[in] niocount  number of network buffers in the list
1237  */
1238 void tgt_grant_prepare_write(const struct lu_env *env,
1239                              struct obd_export *exp, struct obdo *oa,
1240                              struct niobuf_remote *rnb, int niocount)
1241 {
1242         struct obd_device       *obd = exp->exp_obd;
1243         struct lu_target        *lut = obd->u.obt.obt_lut;
1244         struct tg_grants_data   *tgd = &lut->lut_tgd;
1245         u64                      left;
1246         int                      from_cache;
1247         int                      force = 0; /* can use cached data intially */
1248         long                     chunk = tgt_grant_chunk(exp, lut, NULL);
1249
1250         ENTRY;
1251
1252 refresh:
1253         /* get statfs information from OSD layer */
1254         tgt_grant_statfs(env, exp, force, &from_cache);
1255
1256         spin_lock(&tgd->tgd_grant_lock); /* protect all grant counters */
1257
1258         /* Grab free space from cached statfs data and take out space already
1259          * granted to clients as well as reserved space */
1260         left = tgt_grant_space_left(exp);
1261
1262         /* Get fresh statfs data if we are short in ungranted space */
1263         if (from_cache && left < 32 * chunk) {
1264                 spin_unlock(&tgd->tgd_grant_lock);
1265                 CDEBUG(D_CACHE, "%s: fs has no space left and statfs too old\n",
1266                        obd->obd_name);
1267                 force = 1;
1268                 goto refresh;
1269         }
1270
1271         /* When close to free space exhaustion, trigger a sync to force
1272          * writeback cache to consume required space immediately and release as
1273          * much space as possible. */
1274         if (!obd->obd_recovering && force != 2 && left < chunk) {
1275                 bool from_grant = true;
1276                 int  i;
1277
1278                 /* That said, it is worth running a sync only if some pages did
1279                  * not consume grant space on the client and could thus fail
1280                  * with ENOSPC later in tgt_grant_check() */
1281                 for (i = 0; i < niocount; i++)
1282                         if (!(rnb[i].rnb_flags & OBD_BRW_FROM_GRANT))
1283                                 from_grant = false;
1284
1285                 if (!from_grant) {
1286                         /* at least one network buffer requires acquiring grant
1287                          * space on the server */
1288                         spin_unlock(&tgd->tgd_grant_lock);
1289                         /* discard errors, at least we tried ... */
1290                         dt_sync(env, lut->lut_bottom);
1291                         force = 2;
1292                         goto refresh;
1293                 }
1294         }
1295
1296         /* extract incoming grant information provided by the client,
1297          * and inflate grant counters if required */
1298         tgt_grant_incoming(env, exp, oa, chunk);
1299
1300         /* check limit */
1301         tgt_grant_check(env, exp, oa, rnb, niocount, &left);
1302
1303         if (!(oa->o_valid & OBD_MD_FLGRANT)) {
1304                 spin_unlock(&tgd->tgd_grant_lock);
1305                 RETURN_EXIT;
1306         }
1307
1308         /* if OBD_FL_SHRINK_GRANT is set, the client is willing to release some
1309          * grant space. */
1310         if ((oa->o_valid & OBD_MD_FLFLAGS) &&
1311             (oa->o_flags & OBD_FL_SHRINK_GRANT))
1312                 tgt_grant_shrink(exp, oa, left);
1313         else
1314                 /* grant more space back to the client if possible */
1315                 oa->o_grant = tgt_grant_alloc(exp, oa->o_grant, oa->o_undirty,
1316                                               left, chunk, true);
1317
1318         if (!exp_grant_param_supp(exp))
1319                 oa->o_grant = tgt_grant_deflate(tgd, oa->o_grant);
1320         spin_unlock(&tgd->tgd_grant_lock);
1321         EXIT;
1322 }
1323 EXPORT_SYMBOL(tgt_grant_prepare_write);
1324
1325 /**
1326  * Consume grant space reserved for object creation.
1327  *
1328  * Grant space is allocated to the local self export for object precreation.
1329  * This is required to prevent object precreation from consuming grant space
1330  * allocated to client nodes for the data writeback cache.
1331  * This function consumes enough space to create \a nr objects and allocates
1332  * more grant space to the self export for future precreation requests, if
1333  * possible.
1334  *
1335  * \param[in] env       LU environment provided by the caller
1336  * \param[in] exp       export holding the grant space for precreation (= self
1337  *                      export currently)
1338  * \param[in] nr        number of objects to be created
1339  *
1340  * \retval >= 0         amount of grant space allocated to the precreate request
1341  * \retval -ENOSPC      on failure
1342  */
1343 long tgt_grant_create(const struct lu_env *env, struct obd_export *exp, s64 *nr)
1344 {
1345         struct lu_target        *lut = exp->exp_obd->u.obt.obt_lut;
1346         struct tg_grants_data   *tgd = &lut->lut_tgd;
1347         struct tg_export_data   *ted = &exp->exp_target_data;
1348         u64                      left = 0;
1349         unsigned long            wanted;
1350         unsigned long            granted;
1351         ENTRY;
1352
1353         if (exp->exp_obd->obd_recovering ||
1354             lut->lut_dt_conf.ddp_inodespace == 0)
1355                 /* don't enforce grant during recovery */
1356                 RETURN(0);
1357
1358         /* Update statfs data if required */
1359         tgt_grant_statfs(env, exp, 1, NULL);
1360
1361         /* protect all grant counters */
1362         spin_lock(&tgd->tgd_grant_lock);
1363
1364         /* fail precreate request if there is not enough blocks available for
1365          * writing */
1366         if (tgd->tgd_osfs.os_bavail - (ted->ted_grant >> tgd->tgd_blockbits) <
1367             (tgd->tgd_osfs.os_blocks >> 10)) {
1368                 spin_unlock(&tgd->tgd_grant_lock);
1369                 CDEBUG(D_RPCTRACE, "%s: not enough space for create %llu\n",
1370                        exp->exp_obd->obd_name,
1371                        tgd->tgd_osfs.os_bavail * tgd->tgd_osfs.os_blocks);
1372                 RETURN(-ENOSPC);
1373         }
1374
1375         /* Grab free space from cached statfs data and take out space
1376          * already granted to clients as well as reserved space */
1377         left = tgt_grant_space_left(exp);
1378
1379         /* compute how much space is required to handle the precreation
1380          * request */
1381         wanted = *nr * lut->lut_dt_conf.ddp_inodespace;
1382         if (wanted > ted->ted_grant + left) {
1383                 /* that's beyond what remains, adjust the number of objects that
1384                  * can be safely precreated */
1385                 wanted = ted->ted_grant + left;
1386                 *nr = wanted / lut->lut_dt_conf.ddp_inodespace;
1387                 if (*nr == 0) {
1388                         /* we really have no space any more for precreation,
1389                          * fail the precreate request with ENOSPC */
1390                         spin_unlock(&tgd->tgd_grant_lock);
1391                         RETURN(-ENOSPC);
1392                 }
1393                 /* compute space needed for the new number of creations */
1394                 wanted = *nr * lut->lut_dt_conf.ddp_inodespace;
1395         }
1396         LASSERT(wanted <= ted->ted_grant + left);
1397
1398         if (wanted <= ted->ted_grant) {
1399                 /* we've enough grant space to handle this precreate request */
1400                 ted->ted_grant -= wanted;
1401         } else {
1402                 /* we need to take some space from the ungranted pool */
1403                 tgd->tgd_tot_granted += wanted - ted->ted_grant;
1404                 left -= wanted - ted->ted_grant;
1405                 ted->ted_grant = 0;
1406         }
1407         granted = wanted;
1408         ted->ted_pending += granted;
1409         tgd->tgd_tot_pending += granted;
1410
1411         /* grant more space for precreate purpose if possible. */
1412         wanted = OST_MAX_PRECREATE * lut->lut_dt_conf.ddp_inodespace / 2;
1413         if (wanted > ted->ted_grant) {
1414                 long chunk;
1415
1416                 /* always try to book enough space to handle a large precreate
1417                  * request */
1418                 chunk = tgt_grant_chunk(exp, lut, NULL);
1419                 wanted -= ted->ted_grant;
1420                 tgt_grant_alloc(exp, ted->ted_grant, wanted, left, chunk,
1421                                 false);
1422         }
1423         spin_unlock(&tgd->tgd_grant_lock);
1424         RETURN(granted);
1425 }
1426 EXPORT_SYMBOL(tgt_grant_create);
1427
1428 /**
1429  * Release grant space added to the pending counter by tgt_grant_prepare_write()
1430  *
1431  * Update pending grant counter once buffers have been written to the disk.
1432  *
1433  * \param[in] exp       export of the client which sent the request
1434  * \param[in] pending   amount of reserved space to be released
1435  * \param[in] rc        return code of pre-commit operations
1436  */
1437 void tgt_grant_commit(struct obd_export *exp, unsigned long pending,
1438                       int rc)
1439 {
1440         struct tg_grants_data *tgd = &exp->exp_obd->u.obt.obt_lut->lut_tgd;
1441
1442         ENTRY;
1443
1444         /* get space accounted in tot_pending for the I/O, set in
1445          * tgt_grant_check() */
1446         if (pending == 0)
1447                 RETURN_EXIT;
1448
1449         spin_lock(&tgd->tgd_grant_lock);
1450         /* Don't update statfs data for errors raised before commit (e.g.
1451          * bulk transfer failed, ...) since we know those writes have not been
1452          * processed. For other errors hit during commit, we cannot really tell
1453          * whether or not something was written, so we update statfs data.
1454          * In any case, this should not be fatal since we always get fresh
1455          * statfs data before failing a request with ENOSPC */
1456         if (rc == 0) {
1457                 spin_lock(&tgd->tgd_osfs_lock);
1458                 /* Take pending out of cached statfs data */
1459                 tgd->tgd_osfs.os_bavail -= min_t(u64,
1460                                                  tgd->tgd_osfs.os_bavail,
1461                                                  pending >> tgd->tgd_blockbits);
1462                 if (tgd->tgd_statfs_inflight)
1463                         /* someone is running statfs and want to be notified of
1464                          * writes happening meanwhile */
1465                         tgd->tgd_osfs_inflight += pending;
1466                 spin_unlock(&tgd->tgd_osfs_lock);
1467         }
1468
1469         if (exp->exp_target_data.ted_pending < pending) {
1470                 CERROR("%s: cli %s/%p ted_pending(%lu) < grant_used(%lu)\n",
1471                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1472                        exp->exp_target_data.ted_pending, pending);
1473                 spin_unlock(&tgd->tgd_grant_lock);
1474                 LBUG();
1475         }
1476         exp->exp_target_data.ted_pending -= pending;
1477
1478         if (tgd->tgd_tot_granted < pending) {
1479                 CERROR("%s: cli %s/%p tot_granted(%llu) < grant_used(%lu)\n",
1480                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1481                        tgd->tgd_tot_granted, pending);
1482                 spin_unlock(&tgd->tgd_grant_lock);
1483                 LBUG();
1484         }
1485         tgd->tgd_tot_granted -= pending;
1486
1487         if (tgd->tgd_tot_pending < pending) {
1488                 CERROR("%s: cli %s/%p tot_pending(%llu) < grant_used(%lu)\n",
1489                        exp->exp_obd->obd_name, exp->exp_client_uuid.uuid, exp,
1490                        tgd->tgd_tot_pending, pending);
1491                 spin_unlock(&tgd->tgd_grant_lock);
1492                 LBUG();
1493         }
1494         tgd->tgd_tot_pending -= pending;
1495         spin_unlock(&tgd->tgd_grant_lock);
1496         EXIT;
1497 }
1498 EXPORT_SYMBOL(tgt_grant_commit);
1499
1500 struct tgt_grant_cb {
1501         /* commit callback structure */
1502         struct dt_txn_commit_cb  tgc_cb;
1503         /* export associated with the bulk write */
1504         struct obd_export       *tgc_exp;
1505         /* pending grant to be released */
1506         unsigned long            tgc_granted;
1507 };
1508
1509 /**
1510  * Callback function for grant releasing
1511  *
1512  * Release grant space reserved by the client node.
1513  *
1514  * \param[in] env       execution environment
1515  * \param[in] th        transaction handle
1516  * \param[in] cb        callback data
1517  * \param[in] err       error code
1518  */
1519 static void tgt_grant_commit_cb(struct lu_env *env, struct thandle *th,
1520                                 struct dt_txn_commit_cb *cb, int err)
1521 {
1522         struct tgt_grant_cb *tgc;
1523
1524         tgc = container_of(cb, struct tgt_grant_cb, tgc_cb);
1525
1526         tgt_grant_commit(tgc->tgc_exp, tgc->tgc_granted, err);
1527         class_export_cb_put(tgc->tgc_exp);
1528         OBD_FREE_PTR(tgc);
1529 }
1530
1531 /**
1532  * Add callback for grant releasing
1533  *
1534  * Register a commit callback to release grant space.
1535  *
1536  * \param[in] th        transaction handle
1537  * \param[in] exp       OBD export of client
1538  * \param[in] granted   amount of grant space to be released upon commit
1539  *
1540  * \retval              0 on successful callback adding
1541  * \retval              negative value on error
1542  */
1543 int tgt_grant_commit_cb_add(struct thandle *th, struct obd_export *exp,
1544                             unsigned long granted)
1545 {
1546         struct tgt_grant_cb     *tgc;
1547         struct dt_txn_commit_cb *dcb;
1548         int                      rc;
1549         ENTRY;
1550
1551         OBD_ALLOC_PTR(tgc);
1552         if (tgc == NULL)
1553                 RETURN(-ENOMEM);
1554
1555         tgc->tgc_exp = class_export_cb_get(exp);
1556         tgc->tgc_granted = granted;
1557
1558         dcb = &tgc->tgc_cb;
1559         dcb->dcb_func = tgt_grant_commit_cb;
1560         INIT_LIST_HEAD(&dcb->dcb_linkage);
1561         strlcpy(dcb->dcb_name, "tgt_grant_commit_cb", sizeof(dcb->dcb_name));
1562
1563         rc = dt_trans_cb_add(th, dcb);
1564         if (rc) {
1565                 class_export_cb_put(tgc->tgc_exp);
1566                 OBD_FREE_PTR(tgc);
1567         }
1568
1569         RETURN(rc);
1570 }
1571 EXPORT_SYMBOL(tgt_grant_commit_cb_add);
1572
1573 /**
1574  * Show estimate of total amount of dirty data on clients.
1575  *
1576  * @kobj                kobject embedded in obd_device
1577  * @attr                unused
1578  * @buf                 buf used by sysfs to print out data
1579  *
1580  * Return:              0 on success
1581  *                      negative value on error
1582  */
1583 ssize_t tot_dirty_show(struct kobject *kobj, struct attribute *attr,
1584                        char *buf)
1585 {
1586         struct obd_device *obd = container_of(kobj, struct obd_device,
1587                                               obd_kset.kobj);
1588         struct tg_grants_data *tgd;
1589
1590         tgd = &obd->u.obt.obt_lut->lut_tgd;
1591         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_dirty);
1592 }
1593 EXPORT_SYMBOL(tot_dirty_show);
1594
1595 /**
1596  * Show total amount of space granted to clients.
1597  *
1598  * @kobj                kobject embedded in obd_device
1599  * @attr                unused
1600  * @buf                 buf used by sysfs to print out data
1601  *
1602  * Return:              0 on success
1603  *                      negative value on error
1604  */
1605 ssize_t tot_granted_show(struct kobject *kobj, struct attribute *attr,
1606                          char *buf)
1607 {
1608         struct obd_device *obd = container_of(kobj, struct obd_device,
1609                                               obd_kset.kobj);
1610         struct tg_grants_data *tgd;
1611
1612         tgd = &obd->u.obt.obt_lut->lut_tgd;
1613         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_granted);
1614 }
1615 EXPORT_SYMBOL(tot_granted_show);
1616
1617 /**
1618  * Show total amount of space used by IO in progress.
1619  *
1620  * @kobj                kobject embedded in obd_device
1621  * @attr                unused
1622  * @buf                 buf used by sysfs to print out data
1623  *
1624  * Return:              0 on success
1625  *                      negative value on error
1626  */
1627 ssize_t tot_pending_show(struct kobject *kobj, struct attribute *attr,
1628                          char *buf)
1629 {
1630         struct obd_device *obd = container_of(kobj, struct obd_device,
1631                                               obd_kset.kobj);
1632         struct tg_grants_data *tgd;
1633
1634         tgd = &obd->u.obt.obt_lut->lut_tgd;
1635         return scnprintf(buf, PAGE_SIZE, "%llu\n", tgd->tgd_tot_pending);
1636 }
1637 EXPORT_SYMBOL(tot_pending_show);
1638
1639 /**
1640  * Show if grants compatibility mode is disabled.
1641  *
1642  * When tgd_grant_compat_disable is set, we don't grant any space to clients
1643  * not supporting OBD_CONNECT_GRANT_PARAM. Otherwise, space granted to such
1644  * a client is inflated since it consumes PAGE_SIZE of grant space per
1645  * block, (i.e. typically 4kB units), but underlaying file system might have
1646  * block size bigger than page size, e.g. ZFS. See LU-2049 for details.
1647  *
1648  * @kobj                kobject embedded in obd_device
1649  * @attr                unused
1650  * @buf                 buf used by sysfs to print out data
1651  *
1652  * Return:              string length of @buf output on success
1653  */
1654 ssize_t grant_compat_disable_show(struct kobject *kobj, struct attribute *attr,
1655                                   char *buf)
1656 {
1657         struct obd_device *obd = container_of(kobj, struct obd_device,
1658                                               obd_kset.kobj);
1659         struct tg_grants_data *tgd = &obd->u.obt.obt_lut->lut_tgd;
1660
1661         return scnprintf(buf, PAGE_SIZE, "%u\n", tgd->tgd_grant_compat_disable);
1662 }
1663 EXPORT_SYMBOL(grant_compat_disable_show);
1664
1665 /**
1666  * Change grant compatibility mode.
1667  *
1668  * Setting tgd_grant_compat_disable prohibit any space granting to clients
1669  * not supporting OBD_CONNECT_GRANT_PARAM. See details above.
1670  *
1671  * @kobj        kobject embedded in obd_device
1672  * @attr        unused
1673  * @buffer      string which represents mode
1674  *              1: disable compatibility mode
1675  *              0: enable compatibility mode
1676  * @count       @buffer length
1677  *
1678  * Return:      @count on success
1679  *              negative number on error
1680  */
1681 ssize_t grant_compat_disable_store(struct kobject *kobj,
1682                                    struct attribute *attr,
1683                                    const char *buffer, size_t count)
1684 {
1685         struct obd_device *obd = container_of(kobj, struct obd_device,
1686                                               obd_kset.kobj);
1687         struct tg_grants_data *tgd = &obd->u.obt.obt_lut->lut_tgd;
1688         bool val;
1689         int rc;
1690
1691         rc = kstrtobool(buffer, &val);
1692         if (rc)
1693                 return rc;
1694
1695         tgd->tgd_grant_compat_disable = val;
1696
1697         return count;
1698 }
1699 EXPORT_SYMBOL(grant_compat_disable_store);