lustre/osd-ldiskfs/osd_quota.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 021110-1307, USA
  20  *
  21  * GPL HEADER END
  22  */
  23 /*
  24  * Copyright (c) 2012, 2013, Intel Corporation.
  25  * Use is subject to license terms.
  26  *
  27  * Author: Johann Lombardi <johann@whamcloud.com>
  28  * Author: Niu    Yawei    <niu@whamcloud.com>
  29  */
  30
  31 #include <lustre_quota.h>
  32 #include "osd_internal.h"
  33
  34 /**
  35  * Helpers function to find out the quota type (USRQUOTA/GRPQUOTA) of a
  36  * given object
  37  */
  38 static inline int fid2type(const struct lu_fid *fid)
  39 {
  40         LASSERT(fid_is_acct(fid));
  41         if (fid_oid(fid) == ACCT_GROUP_OID)
  42                 return GRPQUOTA;
  43         return USRQUOTA;
  44 }
  45
  46 static inline int obj2type(struct dt_object *obj)
  47 {
  48         return fid2type(lu_object_fid(&obj->do_lu));
  49 }
  50
  51 /**
  52  * Space Accounting Management
  53  */
  54
  55 /**
  56  * Look up an accounting object based on its fid.
  57  *
  58  * \param info - is the osd thread info passed by the caller
  59  * \param osd  - is the osd device
  60  * \param fid  - is the fid of the accounting object we want to look up
  61  * \param id   - is the osd_inode_id struct to fill with the inode number of
  62  *               the quota file if the lookup is successful
  63  */
  64 int osd_acct_obj_lookup(struct osd_thread_info *info, struct osd_device *osd,
  65                         const struct lu_fid *fid, struct osd_inode_id *id)
  66 {
  67         struct super_block *sb = osd_sb(osd);
  68         unsigned long qf_inums[2] = {
  69                 le32_to_cpu(LDISKFS_SB(sb)->s_es->s_usr_quota_inum),
  70                 le32_to_cpu(LDISKFS_SB(sb)->s_es->s_grp_quota_inum)
  71         };
  72
  73         ENTRY;
  74         LASSERT(fid_is_acct(fid));
  75
  76         if (!LDISKFS_HAS_RO_COMPAT_FEATURE(sb,
  77                                            LDISKFS_FEATURE_RO_COMPAT_QUOTA))
  78                 RETURN(-ENOENT);
  79
  80         id->oii_gen = OSD_OII_NOGEN;
  81         id->oii_ino = qf_inums[fid2type(fid)];
  82         if (!ldiskfs_valid_inum(sb, id->oii_ino))
  83                 RETURN(-ENOENT);
  84         RETURN(0);
  85 }
  86
  87 /**
  88  * Return space usage (#blocks & #inodes) consumed by a given uid or gid.
  89  *
  90  * \param env   - is the environment passed by the caller
  91  * \param dtobj - is the accounting object
  92  * \param dtrec - is the record to fill with space usage information
  93  * \param dtkey - is the id the of the user or group for which we would
  94  *                like to access disk usage.
  95  * \param capa - is the capability, not used.
  96  *
  97  * \retval +ve - success : exact match
  98  * \retval -ve - failure
  99  */
 100 static int osd_acct_index_lookup(const struct lu_env *env,
 101                                  struct dt_object *dtobj,
 102                                  struct dt_rec *dtrec,
 103                                  const struct dt_key *dtkey,
 104                                  struct lustre_capa *capa)
 105 {
 106         struct osd_thread_info  *info = osd_oti_get(env);
 107 #ifdef HAVE_DQUOT_FS_DISK_QUOTA
 108         struct fs_disk_quota    *dqblk = &info->oti_fdq;
 109 #else
 110         struct if_dqblk         *dqblk = &info->oti_dqblk;
 111 #endif
 112         struct super_block      *sb = osd_sb(osd_obj2dev(osd_dt_obj(dtobj)));
 113         struct lquota_acct_rec  *rec = (struct lquota_acct_rec *)dtrec;
 114         __u64                    id = *((__u64 *)dtkey);
 115         int                      rc;
 116 #ifdef HAVE_DQUOT_KQID
 117         struct kqid             qid;
 118 #endif
 119
 120         ENTRY;
 121
 122         memset((void *)dqblk, 0, sizeof(struct obd_dqblk));
 123 #ifdef HAVE_DQUOT_KQID
 124         qid = make_kqid(&init_user_ns, obj2type(dtobj), id);
 125         rc = sb->s_qcop->get_dqblk(sb, qid, dqblk);
 126 #else
 127         rc = sb->s_qcop->get_dqblk(sb, obj2type(dtobj), (qid_t) id, dqblk);
 128 #endif
 129         if (rc)
 130                 RETURN(rc);
 131 #ifdef HAVE_DQUOT_FS_DISK_QUOTA
 132         rec->bspace = dqblk->d_bcount;
 133         rec->ispace = dqblk->d_icount;
 134 #else
 135         rec->bspace = dqblk->dqb_curspace;
 136         rec->ispace = dqblk->dqb_curinodes;
 137 #endif
 138         RETURN(+1);
 139 }
 140
 141 #define QUOTA_IT_READ_ERROR(it, rc)                                    \
 142         CERROR("%s: Error while trying to read quota information, "    \
 143                "failed with %d\n",                                     \
 144                osd_dev(it->oiq_obj->oo_dt.do_lu.lo_dev)->od_svname, rc); \
 145
 146 /**
 147  * Initialize osd Iterator for given osd index object.
 148  *
 149  * \param  dt    - osd index object
 150  * \param  attr  - not used
 151  * \param  capa  - BYPASS_CAPA
 152  */
 153 static struct dt_it *osd_it_acct_init(const struct lu_env *env,
 154                                       struct dt_object *dt,
 155                                       __u32 attr, struct lustre_capa *capa)
 156 {
 157         struct osd_thread_info  *info = osd_oti_get(env);
 158         struct osd_it_quota     *it;
 159         struct lu_object        *lo = &dt->do_lu;
 160         struct osd_object       *obj = osd_dt_obj(dt);
 161
 162         ENTRY;
 163
 164         LASSERT(lu_object_exists(lo));
 165
 166         if (info == NULL)
 167                 RETURN(ERR_PTR(-ENOMEM));
 168
 169         it = &info->oti_it_quota;
 170         memset(it, 0, sizeof(*it));
 171         lu_object_get(lo);
 172         it->oiq_obj = obj;
 173         CFS_INIT_LIST_HEAD(&it->oiq_list);
 174
 175         /* LUSTRE_DQTREEOFF is the initial offset where the tree can be found */
 176         it->oiq_blk[0] = LUSTRE_DQTREEOFF;
 177
 178         /* NB: we don't need to store the tree depth since it is always
 179          * equal to LUSTRE_DQTREEDEPTH - 1 (root has depth = 0) for a leaf
 180          * block. */
 181         RETURN((struct dt_it *)it);
 182 }
 183
 184 /**
 185  * Free given iterator.
 186  *
 187  * \param  di   - osd iterator
 188  */
 189 static void osd_it_acct_fini(const struct lu_env *env, struct dt_it *di)
 190 {
 191         struct osd_it_quota *it = (struct osd_it_quota *)di;
 192         struct osd_quota_leaf *leaf, *tmp;
 193         ENTRY;
 194
 195         lu_object_put(env, &it->oiq_obj->oo_dt.do_lu);
 196
 197         cfs_list_for_each_entry_safe(leaf, tmp, &it->oiq_list, oql_link) {
 198                 cfs_list_del_init(&leaf->oql_link);
 199                 OBD_FREE_PTR(leaf);
 200         }
 201         EXIT;
 202 }
 203
 204 /**
 205  * Move Iterator to record specified by \a key, if the \a key isn't found,
 206  * move to the first valid record.
 207  *
 208  * \param  di   - osd iterator
 209  * \param  key  - uid or gid
 210  *
 211  * \retval +ve  - di points to the first valid record
 212  * \retval  +1  - di points to exact matched key
 213  * \retval -ve  - failure
 214  */
 215 static int osd_it_acct_get(const struct lu_env *env, struct dt_it *di,
 216                            const struct dt_key *key)
 217 {
 218         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 219         const struct lu_fid     *fid =
 220                                 lu_object_fid(&it->oiq_obj->oo_dt.do_lu);
 221         int                      type = fid2type(fid);
 222         qid_t                    dqid = *(qid_t *)key;
 223         loff_t                   offset;
 224         int                      rc;
 225
 226         ENTRY;
 227
 228         offset = find_tree_dqentry(env, it->oiq_obj, type, dqid,
 229                                    LUSTRE_DQTREEOFF, 0, it);
 230         if (offset > 0) { /* Found */
 231                 RETURN(+1);
 232         } else if (offset < 0) { /* Error */
 233                 QUOTA_IT_READ_ERROR(it, (int)offset);
 234                 RETURN((int)offset);
 235         }
 236
 237         /* The @key is not found, move to the first valid entry */
 238         rc = walk_tree_dqentry(env, it->oiq_obj, type, it->oiq_blk[0], 0,
 239                                0, it);
 240         if (rc == 0)
 241                 rc = 1;
 242         else if (rc > 0)
 243                 rc = -ENOENT;
 244
 245         RETURN(rc);
 246 }
 247
 248 /**
 249  * Release Iterator
 250  *
 251  * \param  di   - osd iterator
 252  */
 253 static void osd_it_acct_put(const struct lu_env *env, struct dt_it *di)
 254 {
 255         return;
 256 }
 257
 258 static int osd_it_add_processed(struct osd_it_quota *it, int depth)
 259 {
 260         struct osd_quota_leaf *leaf;
 261
 262         OBD_ALLOC_PTR(leaf);
 263         if (leaf == NULL)
 264                 RETURN(-ENOMEM);
 265         CFS_INIT_LIST_HEAD(&leaf->oql_link);
 266         leaf->oql_blk = it->oiq_blk[depth];
 267         cfs_list_add_tail(&leaf->oql_link, &it->oiq_list);
 268         RETURN(0);
 269 }
 270
 271 /**
 272  * Move on to the next valid entry.
 273  *
 274  * \param  di   - osd iterator
 275  *
 276  * \retval +ve  - iterator reached the end
 277  * \retval   0  - iterator has not reached the end yet
 278  * \retval -ve  - unexpected failure
 279  */
 280 static int osd_it_acct_next(const struct lu_env *env, struct dt_it *di)
 281 {
 282         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 283         const struct lu_fid     *fid =
 284                                 lu_object_fid(&it->oiq_obj->oo_dt.do_lu);
 285         int                      type = fid2type(fid);
 286         int                      depth, rc;
 287         uint                     index;
 288
 289         ENTRY;
 290
 291         /* Let's first check if there are any remaining valid entry in the
 292          * current leaf block. Start with the next entry after the current one.
 293          */
 294         depth = LUSTRE_DQTREEDEPTH;
 295         index = it->oiq_index[depth];
 296         if (++index < LUSTRE_DQSTRINBLK) {
 297                 /* Search for the next valid entry from current index */
 298                 rc = walk_block_dqentry(env, it->oiq_obj, type,
 299                                         it->oiq_blk[depth], index, it);
 300                 if (rc < 0) {
 301                         QUOTA_IT_READ_ERROR(it, rc);
 302                         RETURN(rc);
 303                 } else if (rc == 0) {
 304                         /* Found on entry, @it is already updated to the
 305                          * new position in walk_block_dqentry(). */
 306                         RETURN(0);
 307                 } else {
 308                         rc = osd_it_add_processed(it, depth);
 309                         if (rc)
 310                                 RETURN(rc);
 311                 }
 312         } else {
 313                 rc = osd_it_add_processed(it, depth);
 314                 if (rc)
 315                         RETURN(rc);
 316         }
 317         rc = 1;
 318
 319         /* We have consumed all the entries of the current leaf block, move on
 320          * to the next one. */
 321         depth--;
 322
 323         /* We keep searching as long as walk_tree_dqentry() returns +1
 324          * (= no valid entry found). */
 325         for (; depth >= 0 && rc > 0; depth--) {
 326                 index = it->oiq_index[depth];
 327                 if (++index > 0xff)
 328                         continue;
 329                 rc = walk_tree_dqentry(env, it->oiq_obj, type,
 330                                        it->oiq_blk[depth], depth, index, it);
 331         }
 332
 333         if (rc < 0)
 334                 QUOTA_IT_READ_ERROR(it, rc);
 335         RETURN(rc);
 336 }
 337
 338 /**
 339  * Return pointer to the key under iterator.
 340  *
 341  * \param  di   - osd iterator
 342  */
 343 static struct dt_key *osd_it_acct_key(const struct lu_env *env,
 344                                       const struct dt_it *di)
 345 {
 346         struct osd_it_quota *it = (struct osd_it_quota *)di;
 347
 348         ENTRY;
 349         RETURN((struct dt_key *)&it->oiq_id);
 350 }
 351
 352 /**
 353  * Return size of key under iterator (in bytes)
 354  *
 355  * \param  di   - osd iterator
 356  */
 357 static int osd_it_acct_key_size(const struct lu_env *env,
 358                                 const struct dt_it *di)
 359 {
 360         struct osd_it_quota *it = (struct osd_it_quota *)di;
 361
 362         ENTRY;
 363         RETURN((int)sizeof(it->oiq_id));
 364 }
 365
 366 /**
 367  * Return pointer to the record under iterator.
 368  *
 369  * \param  di    - osd iterator
 370  * \param  attr  - not used
 371  */
 372 static int osd_it_acct_rec(const struct lu_env *env,
 373                            const struct dt_it *di,
 374                            struct dt_rec *dtrec, __u32 attr)
 375 {
 376         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 377         const struct dt_key     *key = osd_it_acct_key(env, di);
 378         int                      rc;
 379
 380         ENTRY;
 381
 382         rc = osd_acct_index_lookup(env, &it->oiq_obj->oo_dt, dtrec, key,
 383                                    BYPASS_CAPA);
 384         RETURN(rc > 0 ? 0 : rc);
 385 }
 386
 387 /**
 388  * Returns cookie for current Iterator position.
 389  *
 390  * \param  di    - osd iterator
 391  */
 392 static __u64 osd_it_acct_store(const struct lu_env *env,
 393                                const struct dt_it *di)
 394 {
 395         struct osd_it_quota *it = (struct osd_it_quota *)di;
 396
 397         ENTRY;
 398         RETURN(it->oiq_id);
 399 }
 400
 401 /**
 402  * Restore iterator from cookie. if the \a hash isn't found,
 403  * restore the first valid record.
 404  *
 405  * \param  di    - osd iterator
 406  * \param  hash  - iterator location cookie
 407  *
 408  * \retval +ve   - di points to the first valid record
 409  * \retval  +1   - di points to exact matched hash
 410  * \retval -ve   - failure
 411  */
 412 static int osd_it_acct_load(const struct lu_env *env,
 413                             const struct dt_it *di, __u64 hash)
 414 {
 415         ENTRY;
 416         RETURN(osd_it_acct_get(env, (struct dt_it *)di,
 417                                (const struct dt_key *)&hash));
 418 }
 419
 420 /**
 421  * Index and Iterator operations for accounting objects
 422  */
 423 const struct dt_index_operations osd_acct_index_ops = {
 424         .dio_lookup     = osd_acct_index_lookup,
 425         .dio_it         = {
 426                 .init           = osd_it_acct_init,
 427                 .fini           = osd_it_acct_fini,
 428                 .get            = osd_it_acct_get,
 429                 .put            = osd_it_acct_put,
 430                 .next           = osd_it_acct_next,
 431                 .key            = osd_it_acct_key,
 432                 .key_size       = osd_it_acct_key_size,
 433                 .rec            = osd_it_acct_rec,
 434                 .store          = osd_it_acct_store,
 435                 .load           = osd_it_acct_load
 436         }
 437 };
 438
 439 static inline void osd_quota_swab(char *ptr, size_t size)
 440 {
 441         int offset;
 442
 443         LASSERT((size & (sizeof(__u64) - 1)) == 0);
 444
 445         for (offset = 0; offset < size; offset += sizeof(__u64))
 446              __swab64s((__u64 *)(ptr + offset));
 447 }
 448
 449 const struct dt_rec *osd_quota_pack(struct osd_object *obj,
 450                                     const struct dt_rec *rec,
 451                                     union lquota_rec *quota_rec)
 452 {
 453 #ifdef __BIG_ENDIAN
 454         struct iam_descr        *descr;
 455
 456         LASSERT(obj->oo_dir != NULL);
 457         descr = obj->oo_dir->od_container.ic_descr;
 458
 459         memcpy(quota_rec, rec, descr->id_rec_size);
 460
 461         osd_quota_swab((char *)quota_rec, descr->id_rec_size);
 462         return (const struct dt_rec *)quota_rec;
 463 #else
 464         return rec;
 465 #endif
 466 }
 467
 468 void osd_quota_unpack(struct osd_object *obj, const struct dt_rec *rec)
 469 {
 470 #ifdef __BIG_ENDIAN
 471         struct iam_descr *descr;
 472
 473         LASSERT(obj->oo_dir != NULL);
 474         descr = obj->oo_dir->od_container.ic_descr;
 475
 476         osd_quota_swab((char *)rec, descr->id_rec_size);
 477 #else
 478         return;
 479 #endif
 480 }
 481
 482 static inline int osd_qid_type(struct osd_thandle *oh, int i)
 483 {
 484         return (oh->ot_id_type & (1 << i)) ? GRPQUOTA : USRQUOTA;
 485 }
 486
 487 static inline void osd_qid_set_type(struct osd_thandle *oh, int i, int type)
 488 {
 489         oh->ot_id_type |= ((type == GRPQUOTA) ? (1 << i) : 0);
 490 }
 491
 492 /**
 493  * Reserve journal credits for quota files update first, then call
 494  * ->op_begin() to perform quota enforcement.
 495  *
 496  * \param  env    - the environment passed by the caller
 497  * \param  oh     - osd transaction handle
 498  * \param  qi     - quota id & space required for this operation
 499  * \param  allocated - dquot entry in quota accounting file has been allocated
 500  * \param  flags  - if the operation is write, return no user quota, no
 501  *                  group quota, or sync commit flags to the caller
 502  *
 503  * \retval 0      - success
 504  * \retval -ve    - failure
 505  */
 506 int osd_declare_qid(const struct lu_env *env, struct osd_thandle *oh,
 507                     struct lquota_id_info *qi, bool allocated, int *flags)
 508 {
 509         struct osd_thread_info  *info = osd_oti_get(env);
 510         struct osd_device       *dev = info->oti_dev;
 511         struct qsd_instance     *qsd = dev->od_quota_slave;
 512         int                      i, rc;
 513         bool                     found = false;
 514         ENTRY;
 515
 516         LASSERT(oh != NULL);
 517         LASSERTF(oh->ot_id_cnt <= OSD_MAX_UGID_CNT, "count=%d\n",
 518                  oh->ot_id_cnt);
 519
 520         for (i = 0; i < oh->ot_id_cnt; i++) {
 521                 if (oh->ot_id_array[i] == qi->lqi_id.qid_uid &&
 522                     osd_qid_type(oh, i) == qi->lqi_type) {
 523                         found = true;
 524                         break;
 525                 }
 526         }
 527
 528         if (!found) {
 529                 /* we need to account for credits for this new ID */
 530                 if (i >= OSD_MAX_UGID_CNT) {
 531                         CERROR("Too many(%d) trans qids!\n", i + 1);
 532                         RETURN(-EOVERFLOW);
 533                 }
 534
 535                 osd_trans_declare_op(env, oh, OSD_OT_QUOTA,
 536                                      (allocated || qi->lqi_id.qid_uid == 0) ?
 537                                      1: LDISKFS_QUOTA_INIT_BLOCKS(osd_sb(dev)));
 538
 539                 oh->ot_id_array[i] = qi->lqi_id.qid_uid;
 540                 osd_qid_set_type(oh, i, qi->lqi_type);
 541                 oh->ot_id_cnt++;
 542         }
 543
 544         if (unlikely(qsd == NULL))
 545                 /* quota slave instance hasn't been allocated yet */
 546                 RETURN(0);
 547
 548         /* check quota */
 549         rc = qsd_op_begin(env, qsd, oh->ot_quota_trans, qi, flags);
 550         RETURN(rc);
 551 }
 552
 553 /**
 554  * Wrapper for osd_declare_qid()
 555  *
 556  * \param  env    - the environment passed by the caller
 557  * \param  uid    - user id of the inode
 558  * \param  gid    - group id of the inode
 559  * \param  space  - how many blocks/inodes will be consumed/released
 560  * \param  oh     - osd transaction handle
 561  * \param  is_blk - block quota or inode quota?
 562  * \param  allocated - dquot entry in quota accounting file has been allocated
 563  * \param  flags  - if the operation is write, return no user quota, no
 564  *                  group quota, or sync commit flags to the caller
 565  * \param force   - set to 1 when changes are performed by root user and thus
 566  *                  can't failed with EDQUOT
 567  *
 568  * \retval 0      - success
 569  * \retval -ve    - failure
 570  */
 571 int osd_declare_inode_qid(const struct lu_env *env, qid_t uid, qid_t gid,
 572                           long long space, struct osd_thandle *oh,
 573                           bool is_blk, bool allocated, int *flags, bool force)
 574 {
 575         struct osd_thread_info  *info = osd_oti_get(env);
 576         struct lquota_id_info   *qi = &info->oti_qi;
 577         int                      rcu, rcg; /* user & group rc */
 578         ENTRY;
 579
 580         /* let's start with user quota */
 581         qi->lqi_id.qid_uid = uid;
 582         qi->lqi_type       = USRQUOTA;
 583         qi->lqi_space      = space;
 584         qi->lqi_is_blk     = is_blk;
 585         rcu = osd_declare_qid(env, oh, qi, allocated, flags);
 586
 587         if (force && (rcu == -EDQUOT || rcu == -EINPROGRESS))
 588                 /* ignore EDQUOT & EINPROGRESS when changes are done by root */
 589                 rcu = 0;
 590
 591         /* For non-fatal error, we want to continue to get the noquota flags
 592          * for group id. This is only for commit write, which has @flags passed
 593          * in. See osd_declare_write_commit().
 594          * When force is set to true, we also want to proceed with the gid */
 595         if (rcu && (rcu != -EDQUOT || flags == NULL))
 596                 RETURN(rcu);
 597
 598         /* and now group quota */
 599         qi->lqi_id.qid_gid = gid;
 600         qi->lqi_type       = GRPQUOTA;
 601         rcg = osd_declare_qid(env, oh, qi, allocated, flags);
 602
 603         if (force && (rcg == -EDQUOT || rcg == -EINPROGRESS))
 604                 /* as before, ignore EDQUOT & EINPROGRESS for root */
 605                 rcg = 0;
 606
 607         RETURN(rcu ? rcu : rcg);
 608 }
 609
 610 /* Following code is used to migrate old admin quota files (in Linux quota
 611  * file v2 format) into the new quota global indexes (in IAM format). */
 612
 613 #if LUSTRE_VERSION_CODE < OBD_OCD_VERSION(2,7,50,0)
 614
 615 /* copied from osd_it_acct_get(), only changed the 'type' to -1 */
 616 static int osd_it_admin_get(const struct lu_env *env, struct dt_it *di,
 617                             const struct dt_key *key)
 618 {
 619         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 620         int                      type = -1;
 621         qid_t                    dqid = *(qid_t *)key;
 622         loff_t                   offset;
 623         int                      rc;
 624         ENTRY;
 625
 626         offset = find_tree_dqentry(env, it->oiq_obj, type, dqid,
 627                                    LUSTRE_DQTREEOFF, 0, it);
 628         if (offset > 0) { /* Found */
 629                 RETURN(+1);
 630         } else if (offset < 0) { /* Error */
 631                 QUOTA_IT_READ_ERROR(it, (int)offset);
 632                 RETURN((int)offset);
 633         }
 634
 635         /* The @key is not found, move to the first valid entry */
 636         rc = walk_tree_dqentry(env, it->oiq_obj, type, it->oiq_blk[0], 0,
 637                                0, it);
 638         if (rc > 0)
 639                 /* no valid entry found */
 640                 rc = -ENOENT;
 641         RETURN(rc);
 642 }
 643
 644 static int osd_it_admin_load(const struct lu_env *env,
 645                              const struct dt_it *di, __u64 hash)
 646 {
 647         int rc;
 648         ENTRY;
 649
 650         rc = osd_it_admin_get(env, (struct dt_it *)di,
 651                               (const struct dt_key *)&hash);
 652         RETURN(rc);
 653 }
 654
 655 static int osd_it_admin_rec(const struct lu_env *env,
 656                             const struct dt_it *di,
 657                             struct dt_rec *dtrec, __u32 attr)
 658 {
 659         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 660         struct lu_buf            buf;
 661         loff_t                   pos;
 662         int                      rc;
 663         struct lustre_disk_dqblk_v2 *dqblk =
 664                 (struct lustre_disk_dqblk_v2 *)dtrec;
 665         ENTRY;
 666
 667         buf.lb_buf = dqblk;
 668         buf.lb_len = sizeof(*dqblk);
 669
 670         pos = it->oiq_offset;
 671         rc = dt_record_read(env, &it->oiq_obj->oo_dt, &buf, &pos);
 672         RETURN(rc);
 673 }
 674
 675 /* copied from osd_it_acct_next(), only changed the 'type' to -1 */
 676 static int osd_it_admin_next(const struct lu_env *env, struct dt_it *di)
 677 {
 678         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 679         int                      type = -1;
 680         int                      depth, rc;
 681         uint                     index;
 682         ENTRY;
 683
 684         /* Let's first check if there are any remaining valid entry in the
 685          * current leaf block. Start with the next entry after the current one.
 686          */
 687         depth = LUSTRE_DQTREEDEPTH;
 688         index = it->oiq_index[depth];
 689         if (++index < LUSTRE_DQSTRINBLK) {
 690                 /* Search for the next valid entry from current index */
 691                 rc = walk_block_dqentry(env, it->oiq_obj, type,
 692                                         it->oiq_blk[depth], index, it);
 693                 if (rc < 0) {
 694                         QUOTA_IT_READ_ERROR(it, rc);
 695                         RETURN(rc);
 696                 } else if (rc == 0) {
 697                         /* Found on entry, @it is already updated to the
 698                          * new position in walk_block_dqentry(). */
 699                         RETURN(0);
 700                 } else {
 701                         rc = osd_it_add_processed(it, depth);
 702                         if (rc)
 703                                 RETURN(rc);
 704                 }
 705         } else {
 706                 rc = osd_it_add_processed(it, depth);
 707                 if (rc)
 708                         RETURN(rc);
 709         }
 710         rc = 1;
 711
 712         /* We have consumed all the entries of the current leaf block, move on
 713          * to the next one. */
 714         depth--;
 715
 716         /* We keep searching as long as walk_tree_dqentry() returns +1
 717          * (= no valid entry found). */
 718         for (; depth >= 0 && rc > 0; depth--) {
 719                 index = it->oiq_index[depth];
 720                 if (++index > 0xff)
 721                         continue;
 722                 rc = walk_tree_dqentry(env, it->oiq_obj, type,
 723                                        it->oiq_blk[depth], depth, index, it);
 724         }
 725
 726         if (rc < 0)
 727                 QUOTA_IT_READ_ERROR(it, rc);
 728         RETURN(rc);
 729 }
 730
 731 const struct dt_index_operations osd_admin_index_ops = {
 732         .dio_lookup     = osd_acct_index_lookup,
 733         .dio_it         = {
 734                 .init     = osd_it_acct_init,
 735                 .fini     = osd_it_acct_fini,
 736                 .get      = osd_it_admin_get,
 737                 .put      = osd_it_acct_put,
 738                 .next     = osd_it_admin_next,
 739                 .key      = osd_it_acct_key,
 740                 .key_size = osd_it_acct_key_size,
 741                 .rec      = osd_it_admin_rec,
 742                 .store    = osd_it_acct_store,
 743                 .load     = osd_it_admin_load
 744         }
 745 };
 746
 747 static int convert_quota_file(const struct lu_env *env,
 748                               struct dt_object *old, struct dt_object *new,
 749                               bool isblk)
 750 {
 751         const struct dt_it_ops  *iops = &old->do_index_ops->dio_it;
 752         struct osd_object       *obj;
 753         struct lu_buf            buf;
 754         struct dt_it            *it;
 755         struct dt_key           *key;
 756         __u32                    grace;
 757         struct lquota_glb_rec   *glb_rec = NULL;
 758         loff_t                   pos;
 759         int                      rc;
 760         struct lustre_disk_dqblk_v2     *dqblk = NULL;
 761         struct lustre_disk_dqinfo       *dqinfo = NULL;
 762         ENTRY;
 763
 764         obj = osd_dt_obj(old);
 765         LASSERT(obj->oo_inode);
 766
 767         if (i_size_read(obj->oo_inode) == 0)
 768                 RETURN(0);
 769
 770         /* allocate buffers */
 771         OBD_ALLOC_PTR(dqinfo);
 772         if (dqinfo == NULL)
 773                 RETURN(-ENOMEM);
 774
 775         OBD_ALLOC_PTR(glb_rec);
 776         if (glb_rec == NULL)
 777                 GOTO(out, rc = -ENOMEM);
 778
 779         OBD_ALLOC_PTR(dqblk);
 780         if (dqblk == NULL)
 781                 GOTO(out, rc = -ENOMEM);
 782
 783         /* convert the old igrace/bgrace */
 784         buf.lb_buf = dqinfo;
 785         buf.lb_len = sizeof(*dqinfo);
 786         pos = LUSTRE_DQINFOOFF;
 787
 788         rc = dt_record_read(env, old, &buf, &pos);
 789         if (rc)
 790                 GOTO(out, rc);
 791
 792         /* keep it in little endian */
 793         grace = isblk ? dqinfo->dqi_bgrace : dqinfo->dqi_igrace;
 794         if (grace != 0) {
 795                 glb_rec->qbr_time = grace;
 796                 rc = lquota_disk_write_glb(env, new, 0, glb_rec);
 797                 if (rc)
 798                         GOTO(out, rc);
 799                 glb_rec->qbr_time = 0;
 800         }
 801
 802         /* iterate the old admin file, insert each record into the
 803          * new index file. */
 804         it = iops->init(env, old, 0, BYPASS_CAPA);
 805         if (IS_ERR(it))
 806                 GOTO(out, rc = PTR_ERR(it));
 807
 808         rc = iops->load(env, it, 0);
 809         if (rc == -ENOENT)
 810                 GOTO(out_it, rc = 0);
 811         else if (rc < 0)
 812                 GOTO(out_it, rc);
 813
 814         do {
 815                 key = iops->key(env, it);
 816                 if (IS_ERR(key))
 817                         GOTO(out_it, rc = PTR_ERR(key));
 818
 819                 /* skip the root user/group */
 820                 if (*((__u64 *)key) == 0)
 821                         goto next;
 822
 823                 rc = iops->rec(env, it, (struct dt_rec *)dqblk, 0);
 824                 if (rc)
 825                         GOTO(out_it, rc);
 826
 827                 /* keep the value in little endian */
 828                 glb_rec->qbr_hardlimit = isblk ? dqblk->dqb_bhardlimit :
 829                                                  dqblk->dqb_ihardlimit;
 830                 glb_rec->qbr_softlimit = isblk ? dqblk->dqb_bsoftlimit :
 831                                                  dqblk->dqb_isoftlimit;
 832
 833                 rc = lquota_disk_write_glb(env, new, *((__u64 *)key), glb_rec);
 834                 if (rc)
 835                         GOTO(out_it, rc);
 836 next:
 837                 rc = iops->next(env, it);
 838         } while (rc == 0);
 839
 840         /* reach the end */
 841         if (rc > 0)
 842                 rc = 0;
 843
 844 out_it:
 845         iops->put(env, it);
 846         iops->fini(env, it);
 847 out:
 848         if (dqblk != NULL)
 849                 OBD_FREE_PTR(dqblk);
 850         if (glb_rec != NULL)
 851                 OBD_FREE_PTR(glb_rec);
 852         if (dqinfo != NULL)
 853                 OBD_FREE_PTR(dqinfo);
 854         return rc;
 855 }
 856
 857 /* Nobdy else can access the global index now, it's safe to truncate and
 858  * reinitialize it */
 859 static int truncate_quota_index(const struct lu_env *env, struct dt_object *dt,
 860                                 const struct dt_index_features *feat)
 861 {
 862         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 863         struct thandle          *th;
 864         struct lu_attr          *attr;
 865         struct osd_thandle      *oth;
 866         struct inode            *inode;
 867         int                      rc;
 868         struct iam_container    *bag = &(osd_dt_obj(dt))->oo_dir->od_container;
 869         struct lu_buf           *lb = &osd_oti_get(env)->oti_buf;
 870         ENTRY;
 871
 872         LASSERT(bag->ic_root_bh != NULL);
 873         iam_container_fini(bag);
 874
 875         LASSERT(fid_seq(lu_object_fid(&dt->do_lu)) == FID_SEQ_QUOTA_GLB);
 876
 877         OBD_ALLOC_PTR(attr);
 878         if (attr == NULL)
 879                 RETURN(-ENOMEM);
 880
 881         attr->la_size = 0;
 882         attr->la_valid = LA_SIZE;
 883
 884         th = dt_trans_create(env, &osd->od_dt_dev);
 885         if (IS_ERR(th)) {
 886                 OBD_FREE_PTR(attr);
 887                 RETURN(PTR_ERR(th));
 888         }
 889
 890         rc = dt_declare_punch(env, dt, 0, OBD_OBJECT_EOF, th);
 891         if (rc)
 892                 GOTO(out, rc);
 893
 894         rc = dt_declare_attr_set(env, dt, attr, th);
 895         if (rc)
 896                 GOTO(out, rc);
 897
 898         inode = osd_dt_obj(dt)->oo_inode;
 899         LASSERT(inode);
 900
 901         /* iam_lfix_create() writes two blocks at the beginning */
 902         lb->lb_len = osd_sb(osd)->s_blocksize * 2;
 903         rc = dt_declare_record_write(env, dt, lb, 0, th);
 904         if (rc)
 905                 GOTO(out, rc);
 906
 907         rc = dt_trans_start_local(env, &osd->od_dt_dev, th);
 908         if (rc)
 909                 GOTO(out, rc);
 910
 911         dt_write_lock(env, dt, 0);
 912         rc = dt_punch(env, dt, 0, OBD_OBJECT_EOF, th, BYPASS_CAPA);
 913         if (rc)
 914                 GOTO(out_lock, rc);
 915
 916         rc = dt_attr_set(env, dt, attr, th, BYPASS_CAPA);
 917         if (rc)
 918                 GOTO(out_lock, rc);
 919
 920         oth = container_of(th, struct osd_thandle, ot_super);
 921
 922         if (feat->dif_flags & DT_IND_VARKEY)
 923                 rc = iam_lvar_create(osd_dt_obj(dt)->oo_inode,
 924                                      feat->dif_keysize_max,
 925                                      feat->dif_ptrsize,
 926                                      feat->dif_recsize_max, oth->ot_handle);
 927         else
 928                 rc = iam_lfix_create(osd_dt_obj(dt)->oo_inode,
 929                                      feat->dif_keysize_max,
 930                                      feat->dif_ptrsize,
 931                                      feat->dif_recsize_max, oth->ot_handle);
 932 out_lock:
 933         dt_write_unlock(env, dt);
 934 out:
 935         dt_trans_stop(env, &osd->od_dt_dev, th);
 936         OBD_FREE_PTR(attr);
 937
 938         if (rc == 0) {
 939                 rc  = iam_container_setup(bag);
 940                 if (rc != 0)
 941                         iam_container_fini(bag);
 942         }
 943         RETURN(rc);
 944 }
 945
 946 static int set_quota_index_version(const struct lu_env *env,
 947                                    struct dt_object *dt,
 948                                    dt_obj_version_t version)
 949 {
 950         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 951         struct thandle          *th;
 952         int                      rc;
 953         ENTRY;
 954
 955         th = dt_trans_create(env, &osd->od_dt_dev);
 956         if (IS_ERR(th))
 957                 RETURN(PTR_ERR(th));
 958
 959         rc = dt_declare_version_set(env, dt, th);
 960         if (rc)
 961                 GOTO(out, rc);
 962
 963         rc = dt_trans_start_local(env, &osd->od_dt_dev, th);
 964         if (rc)
 965                 GOTO(out, rc);
 966
 967         th->th_sync = 1;
 968         dt_version_set(env, dt, version, th);
 969 out:
 970         dt_trans_stop(env, &osd->od_dt_dev, th);
 971         RETURN(rc);
 972 }
 973
 974 int osd_quota_migration(const struct lu_env *env, struct dt_object *dt,
 975                         const struct dt_index_features *feat)
 976 {
 977         struct osd_thread_info  *oti = osd_oti_get(env);
 978         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 979         struct dt_object        *root, *parent = NULL, *admin = NULL;
 980         dt_obj_version_t         version;
 981         char                    *fname;
 982         bool                     isblk = false, converted = false;
 983         int                      rc;
 984         ENTRY;
 985
 986         /* not newly created global index */
 987         version = dt_version_get(env, dt);
 988         if (version != 0)
 989                 RETURN(0);
 990
 991         /* locate root */
 992         rc = dt_root_get(env, &osd->od_dt_dev, &oti->oti_fid);
 993         if (rc) {
 994                 CERROR("%s: Can't get root FID, rc:%d\n", osd->od_svname, rc);
 995                 RETURN(rc);
 996         }
 997
 998         root = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
 999         if (IS_ERR(root)) {
1000                 CERROR("%s: Failed to locate root "DFID", rc:%ld\n",
1001                        osd->od_svname, PFID(&oti->oti_fid), PTR_ERR(root));
1002                 RETURN(PTR_ERR(root));
1003         }
1004
1005         /* locate /OBJECTS */
1006         rc = dt_lookup_dir(env, root, OBJECTS, &oti->oti_fid);
1007         if (rc == -ENOENT) {
1008                 GOTO(out, rc = 0);
1009         } else if (rc) {
1010                 CERROR("%s: Failed to lookup %s, rc:%d\n",
1011                        osd->od_svname, OBJECTS, rc);
1012                 GOTO(out, rc);
1013         }
1014
1015         parent = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
1016         if (IS_ERR(parent)) {
1017                 CERROR("%s: Failed to locate %s "DFID", rc:%ld\n",
1018                        osd->od_svname, OBJECTS, PFID(&oti->oti_fid),
1019                        PTR_ERR(parent));
1020                 GOTO(out, rc = PTR_ERR(parent));
1021         }
1022
1023         /* locate quota admin file */
1024         if (feat == &dt_quota_iusr_features) {
1025                 fname = ADMIN_USR;
1026                 isblk = false;
1027         } else if (feat == &dt_quota_busr_features) {
1028                 fname = ADMIN_USR;
1029                 isblk = true;
1030         } else if (feat == &dt_quota_igrp_features) {
1031                 fname = ADMIN_GRP;
1032                 isblk = false;
1033         } else {
1034                 fname = ADMIN_GRP;
1035                 isblk = true;
1036         }
1037
1038         rc = dt_lookup_dir(env, parent, fname, &oti->oti_fid);
1039         if (rc == -ENOENT) {
1040                 GOTO(out, rc = 0);
1041         } else if (rc) {
1042                 CERROR("%s: Failed to lookup %s, rc:%d\n",
1043                        osd->od_svname, fname, rc);
1044                 GOTO(out, rc);
1045         }
1046
1047         admin = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
1048         if (IS_ERR(admin)) {
1049                 CERROR("%s: Failed to locate %s "DFID", rc:%d\n",
1050                        osd->od_svname, fname, PFID(&oti->oti_fid), rc);
1051                 GOTO(out, rc = PTR_ERR(admin));
1052         }
1053
1054         if (!dt_object_exists(admin)) {
1055                 CERROR("%s: Old admin file %s doesn't exist, but is still "
1056                        " referenced in parent directory.\n",
1057                        osd->od_svname, fname);
1058                 GOTO(out, rc = -ENOENT);
1059         }
1060
1061         /* truncate the new quota index file in case of any leftovers
1062          * from last failed migration */
1063         rc = truncate_quota_index(env, dt, feat);
1064         if (rc) {
1065                 CERROR("%s: Failed to truncate the quota index "DFID", rc:%d\n",
1066                        osd->od_svname, PFID(lu_object_fid(&dt->do_lu)), rc);
1067                 GOTO(out, rc);
1068         }
1069
1070         /* set up indexing operations for the admin file */
1071         admin->do_index_ops = &osd_admin_index_ops;
1072
1073         LCONSOLE_INFO("%s: Migrate %s quota from old admin quota file(%s) to "
1074                       "new IAM quota index("DFID").\n", osd->od_svname,
1075                       isblk ? "block" : "inode", fname,
1076                       PFID(lu_object_fid(&dt->do_lu)));
1077
1078         /* iterate the admin quota file, and insert each record into
1079          * the new index file */
1080         rc = convert_quota_file(env, admin, dt, isblk);
1081         if (rc)
1082                 CERROR("%s: Migrate old admin quota file(%s) failed, rc:%d\n",
1083                        osd->od_svname, fname, rc);
1084         converted = true;
1085 out:
1086         /* if no migration happen, we need to set the default grace time. */
1087         if (!converted && rc == 0) {
1088                 struct lquota_glb_rec *rec = &oti->oti_quota_rec.lqr_glb_rec;
1089
1090                 rec->qbr_hardlimit = 0;
1091                 rec->qbr_softlimit = 0;
1092                 rec->qbr_granted = 0;
1093                 rec->qbr_time = isblk ? MAX_DQ_TIME : MAX_IQ_TIME;
1094
1095                 rc = lquota_disk_write_glb(env, dt, 0, rec);
1096                 if (rc)
1097                         CERROR("%s: Failed to set default grace time for "
1098                                "index("DFID"), rc:%d\n", osd->od_svname,
1099                                PFID(lu_object_fid(&dt->do_lu)), rc);
1100         }
1101
1102         /* bump index version to 1 (or 2 if migration happened), so the
1103          * migration will be skipped next time. */
1104         if (rc == 0) {
1105                 rc = set_quota_index_version(env , dt, converted ? 2 : 1);
1106                 if (rc)
1107                         CERROR("%s: Failed to set quota index("DFID") "
1108                                "version, rc:%d\n", osd->od_svname,
1109                                PFID(lu_object_fid(&dt->do_lu)), rc);
1110         }
1111
1112         if (admin && !IS_ERR(admin))
1113                 lu_object_put(env, &admin->do_lu);
1114         if (parent && !IS_ERR(parent))
1115                 lu_object_put(env, &parent->do_lu);
1116         lu_object_put(env, &root->do_lu);
1117
1118         RETURN(rc);
1119 }
1120 #else
1121 #warning "remove old quota compatibility code"
1122 #endif