lustre/osd-ldiskfs/osd_quota.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 021110-1307, USA
  20  *
  21  * GPL HEADER END
  22  */
  23 /*
  24  * Copyright (c) 2011, 2012, Whamcloud, Inc.
  25  * Use is subject to license terms.
  26  *
  27  * Author: Johann Lombardi <johann@whamcloud.com>
  28  * Author: Niu    Yawei    <niu@whamcloud.com>
  29  */
  30
  31 #include <lustre_quota.h>
  32 #include "osd_internal.h"
  33
  34 /**
  35  * Helpers function to find out the quota type (USRQUOTA/GRPQUOTA) of a
  36  * given object
  37  */
  38 static inline int fid2type(const struct lu_fid *fid)
  39 {
  40         LASSERT(fid_is_acct(fid));
  41         if (fid_oid(fid) == ACCT_GROUP_OID)
  42                 return GRPQUOTA;
  43         return USRQUOTA;
  44 }
  45
  46 static inline int obj2type(struct dt_object *obj)
  47 {
  48         return fid2type(lu_object_fid(&obj->do_lu));
  49 }
  50
  51 /**
  52  * Space Accounting Management
  53  */
  54
  55 /**
  56  * Look up an accounting object based on its fid.
  57  *
  58  * \param info - is the osd thread info passed by the caller
  59  * \param osd  - is the osd device
  60  * \param fid  - is the fid of the accounting object we want to look up
  61  * \param id   - is the osd_inode_id struct to fill with the inode number of
  62  *               the quota file if the lookup is successful
  63  */
  64 int osd_acct_obj_lookup(struct osd_thread_info *info, struct osd_device *osd,
  65                         const struct lu_fid *fid, struct osd_inode_id *id)
  66 {
  67         struct super_block *sb = osd_sb(osd);
  68
  69         ENTRY;
  70         LASSERT(fid_is_acct(fid));
  71
  72         if (!LDISKFS_HAS_RO_COMPAT_FEATURE(sb,
  73                                            LDISKFS_FEATURE_RO_COMPAT_QUOTA))
  74                 RETURN(-ENOENT);
  75
  76         id->oii_gen = OSD_OII_NOGEN;
  77         id->oii_ino = LDISKFS_SB(sb)->s_qf_inums[fid2type(fid)];
  78         if (!ldiskfs_valid_inum(sb, id->oii_ino))
  79                 RETURN(-ENOENT);
  80         RETURN(0);
  81 }
  82
  83 /**
  84  * Return space usage (#blocks & #inodes) consumed by a given uid or gid.
  85  *
  86  * \param env   - is the environment passed by the caller
  87  * \param dtobj - is the accounting object
  88  * \param dtrec - is the record to fill with space usage information
  89  * \param dtkey - is the id the of the user or group for which we would
  90  *                like to access disk usage.
  91  * \param capa - is the capability, not used.
  92  *
  93  * \retval +ve - success : exact match
  94  * \retval -ve - failure
  95  */
  96 static int osd_acct_index_lookup(const struct lu_env *env,
  97                                  struct dt_object *dtobj,
  98                                  struct dt_rec *dtrec,
  99                                  const struct dt_key *dtkey,
 100                                  struct lustre_capa *capa)
 101 {
 102         struct osd_thread_info  *info = osd_oti_get(env);
 103         struct if_dqblk         *dqblk = &info->oti_dqblk;
 104         struct super_block      *sb = osd_sb(osd_obj2dev(osd_dt_obj(dtobj)));
 105         struct lquota_acct_rec  *rec = (struct lquota_acct_rec *)dtrec;
 106         __u64                    id = *((__u64 *)dtkey);
 107         int                      rc;
 108
 109         ENTRY;
 110
 111         memset((void *)dqblk, 0, sizeof(struct obd_dqblk));
 112         rc = sb->s_qcop->get_dqblk(sb, obj2type(dtobj), (qid_t) id, dqblk);
 113         if (rc)
 114                 RETURN(rc);
 115         rec->bspace = dqblk->dqb_curspace;
 116         rec->ispace = dqblk->dqb_curinodes;
 117         RETURN(+1);
 118 }
 119
 120 #define QUOTA_IT_READ_ERROR(it, rc)                                    \
 121         CERROR("%s: Error while trying to read quota information, "    \
 122                "failed with %d\n",                                     \
 123                osd_dev(it->oiq_obj->oo_dt.do_lu.lo_dev)->od_svname, rc); \
 124
 125 /**
 126  * Initialize osd Iterator for given osd index object.
 127  *
 128  * \param  dt    - osd index object
 129  * \param  attr  - not used
 130  * \param  capa  - BYPASS_CAPA
 131  */
 132 static struct dt_it *osd_it_acct_init(const struct lu_env *env,
 133                                       struct dt_object *dt,
 134                                       __u32 attr, struct lustre_capa *capa)
 135 {
 136         struct osd_thread_info  *info = osd_oti_get(env);
 137         struct osd_it_quota     *it;
 138         struct lu_object        *lo = &dt->do_lu;
 139         struct osd_object       *obj = osd_dt_obj(dt);
 140
 141         ENTRY;
 142
 143         LASSERT(lu_object_exists(lo));
 144
 145         if (info == NULL)
 146                 RETURN(ERR_PTR(-ENOMEM));
 147
 148         it = &info->oti_it_quota;
 149         memset(it, 0, sizeof(*it));
 150         lu_object_get(lo);
 151         it->oiq_obj = obj;
 152         CFS_INIT_LIST_HEAD(&it->oiq_list);
 153
 154         /* LUSTRE_DQTREEOFF is the initial offset where the tree can be found */
 155         it->oiq_blk[0] = LUSTRE_DQTREEOFF;
 156
 157         /* NB: we don't need to store the tree depth since it is always
 158          * equal to LUSTRE_DQTREEDEPTH - 1 (root has depth = 0) for a leaf
 159          * block. */
 160         RETURN((struct dt_it *)it);
 161 }
 162
 163 /**
 164  * Free given iterator.
 165  *
 166  * \param  di   - osd iterator
 167  */
 168 static void osd_it_acct_fini(const struct lu_env *env, struct dt_it *di)
 169 {
 170         struct osd_it_quota *it = (struct osd_it_quota *)di;
 171         struct osd_quota_leaf *leaf, *tmp;
 172         ENTRY;
 173
 174         lu_object_put(env, &it->oiq_obj->oo_dt.do_lu);
 175
 176         cfs_list_for_each_entry_safe(leaf, tmp, &it->oiq_list, oql_link) {
 177                 cfs_list_del_init(&leaf->oql_link);
 178                 OBD_FREE_PTR(leaf);
 179         }
 180         EXIT;
 181 }
 182
 183 /**
 184  * Move Iterator to record specified by \a key, if the \a key isn't found,
 185  * move to the first valid record.
 186  *
 187  * \param  di   - osd iterator
 188  * \param  key  - uid or gid
 189  *
 190  * \retval +ve  - di points to the first valid record
 191  * \retval  +1  - di points to exact matched key
 192  * \retval -ve  - failure
 193  */
 194 static int osd_it_acct_get(const struct lu_env *env, struct dt_it *di,
 195                            const struct dt_key *key)
 196 {
 197         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 198         const struct lu_fid     *fid =
 199                                 lu_object_fid(&it->oiq_obj->oo_dt.do_lu);
 200         int                      type = fid2type(fid);
 201         qid_t                    dqid = *(qid_t *)key;
 202         loff_t                   offset;
 203         int                      rc;
 204
 205         ENTRY;
 206
 207         offset = find_tree_dqentry(env, it->oiq_obj, type, dqid,
 208                                    LUSTRE_DQTREEOFF, 0, it);
 209         if (offset > 0) { /* Found */
 210                 RETURN(+1);
 211         } else if (offset < 0) { /* Error */
 212                 QUOTA_IT_READ_ERROR(it, (int)offset);
 213                 RETURN((int)offset);
 214         }
 215
 216         /* The @key is not found, move to the first valid entry */
 217         rc = walk_tree_dqentry(env, it->oiq_obj, type, it->oiq_blk[0], 0,
 218                                0, it);
 219         if (rc == 0)
 220                 rc = 1;
 221         else if (rc > 0)
 222                 rc = -ENOENT;
 223
 224         RETURN(rc);
 225 }
 226
 227 /**
 228  * Release Iterator
 229  *
 230  * \param  di   - osd iterator
 231  */
 232 static void osd_it_acct_put(const struct lu_env *env, struct dt_it *di)
 233 {
 234         return;
 235 }
 236
 237 static int osd_it_add_processed(struct osd_it_quota *it, int depth)
 238 {
 239         struct osd_quota_leaf *leaf;
 240
 241         OBD_ALLOC_PTR(leaf);
 242         if (leaf == NULL)
 243                 RETURN(-ENOMEM);
 244         CFS_INIT_LIST_HEAD(&leaf->oql_link);
 245         leaf->oql_blk = it->oiq_blk[depth];
 246         cfs_list_add_tail(&leaf->oql_link, &it->oiq_list);
 247         RETURN(0);
 248 }
 249
 250 /**
 251  * Move on to the next valid entry.
 252  *
 253  * \param  di   - osd iterator
 254  *
 255  * \retval +ve  - iterator reached the end
 256  * \retval   0  - iterator has not reached the end yet
 257  * \retval -ve  - unexpected failure
 258  */
 259 static int osd_it_acct_next(const struct lu_env *env, struct dt_it *di)
 260 {
 261         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 262         const struct lu_fid     *fid =
 263                                 lu_object_fid(&it->oiq_obj->oo_dt.do_lu);
 264         int                      type = fid2type(fid);
 265         int                      depth, rc;
 266         uint                     index;
 267
 268         ENTRY;
 269
 270         /* Let's first check if there are any remaining valid entry in the
 271          * current leaf block. Start with the next entry after the current one.
 272          */
 273         depth = LUSTRE_DQTREEDEPTH;
 274         index = it->oiq_index[depth];
 275         if (++index < LUSTRE_DQSTRINBLK) {
 276                 /* Search for the next valid entry from current index */
 277                 rc = walk_block_dqentry(env, it->oiq_obj, type,
 278                                         it->oiq_blk[depth], index, it);
 279                 if (rc < 0) {
 280                         QUOTA_IT_READ_ERROR(it, rc);
 281                         RETURN(rc);
 282                 } else if (rc == 0) {
 283                         /* Found on entry, @it is already updated to the
 284                          * new position in walk_block_dqentry(). */
 285                         RETURN(0);
 286                 } else {
 287                         rc = osd_it_add_processed(it, depth);
 288                         if (rc)
 289                                 RETURN(rc);
 290                 }
 291         } else {
 292                 rc = osd_it_add_processed(it, depth);
 293                 if (rc)
 294                         RETURN(rc);
 295         }
 296         rc = 1;
 297
 298         /* We have consumed all the entries of the current leaf block, move on
 299          * to the next one. */
 300         depth--;
 301
 302         /* We keep searching as long as walk_tree_dqentry() returns +1
 303          * (= no valid entry found). */
 304         for (; depth >= 0 && rc > 0; depth--) {
 305                 index = it->oiq_index[depth];
 306                 if (++index > 0xff)
 307                         continue;
 308                 rc = walk_tree_dqentry(env, it->oiq_obj, type,
 309                                        it->oiq_blk[depth], depth, index, it);
 310         }
 311
 312         if (rc < 0)
 313                 QUOTA_IT_READ_ERROR(it, rc);
 314         RETURN(rc);
 315 }
 316
 317 /**
 318  * Return pointer to the key under iterator.
 319  *
 320  * \param  di   - osd iterator
 321  */
 322 static struct dt_key *osd_it_acct_key(const struct lu_env *env,
 323                                       const struct dt_it *di)
 324 {
 325         struct osd_it_quota *it = (struct osd_it_quota *)di;
 326
 327         ENTRY;
 328         RETURN((struct dt_key *)&it->oiq_id);
 329 }
 330
 331 /**
 332  * Return size of key under iterator (in bytes)
 333  *
 334  * \param  di   - osd iterator
 335  */
 336 static int osd_it_acct_key_size(const struct lu_env *env,
 337                                 const struct dt_it *di)
 338 {
 339         struct osd_it_quota *it = (struct osd_it_quota *)di;
 340
 341         ENTRY;
 342         RETURN((int)sizeof(it->oiq_id));
 343 }
 344
 345 /**
 346  * Return pointer to the record under iterator.
 347  *
 348  * \param  di    - osd iterator
 349  * \param  attr  - not used
 350  */
 351 static int osd_it_acct_rec(const struct lu_env *env,
 352                            const struct dt_it *di,
 353                            struct dt_rec *dtrec, __u32 attr)
 354 {
 355         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 356         const struct dt_key     *key = osd_it_acct_key(env, di);
 357         int                      rc;
 358
 359         ENTRY;
 360
 361         rc = osd_acct_index_lookup(env, &it->oiq_obj->oo_dt, dtrec, key,
 362                                    BYPASS_CAPA);
 363         RETURN(rc > 0 ? 0 : rc);
 364 }
 365
 366 /**
 367  * Returns cookie for current Iterator position.
 368  *
 369  * \param  di    - osd iterator
 370  */
 371 static __u64 osd_it_acct_store(const struct lu_env *env,
 372                                const struct dt_it *di)
 373 {
 374         struct osd_it_quota *it = (struct osd_it_quota *)di;
 375
 376         ENTRY;
 377         RETURN(it->oiq_id);
 378 }
 379
 380 /**
 381  * Restore iterator from cookie. if the \a hash isn't found,
 382  * restore the first valid record.
 383  *
 384  * \param  di    - osd iterator
 385  * \param  hash  - iterator location cookie
 386  *
 387  * \retval +ve   - di points to the first valid record
 388  * \retval  +1   - di points to exact matched hash
 389  * \retval -ve   - failure
 390  */
 391 static int osd_it_acct_load(const struct lu_env *env,
 392                             const struct dt_it *di, __u64 hash)
 393 {
 394         ENTRY;
 395         RETURN(osd_it_acct_get(env, (struct dt_it *)di,
 396                                (const struct dt_key *)&hash));
 397 }
 398
 399 /**
 400  * Index and Iterator operations for accounting objects
 401  */
 402 const struct dt_index_operations osd_acct_index_ops = {
 403         .dio_lookup     = osd_acct_index_lookup,
 404         .dio_it         = {
 405                 .init           = osd_it_acct_init,
 406                 .fini           = osd_it_acct_fini,
 407                 .get            = osd_it_acct_get,
 408                 .put            = osd_it_acct_put,
 409                 .next           = osd_it_acct_next,
 410                 .key            = osd_it_acct_key,
 411                 .key_size       = osd_it_acct_key_size,
 412                 .rec            = osd_it_acct_rec,
 413                 .store          = osd_it_acct_store,
 414                 .load           = osd_it_acct_load
 415         }
 416 };
 417
 418 static inline void osd_quota_swab(char *ptr, size_t size)
 419 {
 420         int offset;
 421
 422         LASSERT((size & (sizeof(__u64) - 1)) == 0);
 423
 424         for (offset = 0; offset < size; offset += sizeof(__u64))
 425              __swab64s((__u64 *)(ptr + offset));
 426 }
 427
 428 const struct dt_rec *osd_quota_pack(struct osd_object *obj,
 429                                     const struct dt_rec *rec,
 430                                     union lquota_rec *quota_rec)
 431 {
 432 #ifdef __BIG_ENDIAN
 433         struct iam_descr        *descr;
 434
 435         LASSERT(obj->oo_dir != NULL);
 436         descr = obj->oo_dir->od_container.ic_descr;
 437
 438         memcpy(quota_rec, rec, descr->id_rec_size);
 439
 440         osd_quota_swab((char *)quota_rec, descr->id_rec_size);
 441         return (const struct dt_rec *)quota_rec;
 442 #else
 443         return rec;
 444 #endif
 445 }
 446
 447 void osd_quota_unpack(struct osd_object *obj, const struct dt_rec *rec)
 448 {
 449 #ifdef __BIG_ENDIAN
 450         struct iam_descr *descr;
 451
 452         LASSERT(obj->oo_dir != NULL);
 453         descr = obj->oo_dir->od_container.ic_descr;
 454
 455         osd_quota_swab((char *)rec, descr->id_rec_size);
 456 #else
 457         return;
 458 #endif
 459 }
 460
 461 static inline int osd_qid_type(struct osd_thandle *oh, int i)
 462 {
 463         return (oh->ot_id_type & (1 << i)) ? GRPQUOTA : USRQUOTA;
 464 }
 465
 466 static inline void osd_qid_set_type(struct osd_thandle *oh, int i, int type)
 467 {
 468         oh->ot_id_type |= ((type == GRPQUOTA) ? (1 << i) : 0);
 469 }
 470
 471 /**
 472  * Reserve journal credits for quota files update first, then call
 473  * ->op_begin() to perform quota enforcement.
 474  *
 475  * \param  env    - the environment passed by the caller
 476  * \param  oh     - osd transaction handle
 477  * \param  qi     - quota id & space required for this operation
 478  * \param  allocated - dquot entry in quota accounting file has been allocated
 479  * \param  flags  - if the operation is write, return no user quota, no
 480  *                  group quota, or sync commit flags to the caller
 481  *
 482  * \retval 0      - success
 483  * \retval -ve    - failure
 484  */
 485 int osd_declare_qid(const struct lu_env *env, struct osd_thandle *oh,
 486                     struct lquota_id_info *qi, bool allocated, int *flags)
 487 {
 488         struct osd_thread_info  *info = osd_oti_get(env);
 489         struct osd_device       *dev = info->oti_dev;
 490         struct qsd_instance     *qsd = dev->od_quota_slave;
 491         int                      i, rc;
 492         bool                     found = false;
 493         ENTRY;
 494
 495         LASSERT(oh != NULL);
 496         LASSERTF(oh->ot_id_cnt <= OSD_MAX_UGID_CNT, "count=%d\n",
 497                  oh->ot_id_cnt);
 498
 499         for (i = 0; i < oh->ot_id_cnt; i++) {
 500                 if (oh->ot_id_array[i] == qi->lqi_id.qid_uid &&
 501                     osd_qid_type(oh, i) == qi->lqi_type) {
 502                         found = true;
 503                         break;
 504                 }
 505         }
 506
 507         if (!found) {
 508                 /* we need to account for credits for this new ID */
 509                 if (i >= OSD_MAX_UGID_CNT) {
 510                         CERROR("Too many(%d) trans qids!\n", i + 1);
 511                         RETURN(-EOVERFLOW);
 512                 }
 513
 514                 OSD_DECLARE_OP(oh, quota,
 515                                (allocated || qi->lqi_id.qid_uid == 0) ?
 516                                1 : LDISKFS_QUOTA_INIT_BLOCKS(osd_sb(dev)));
 517
 518                 oh->ot_id_array[i] = qi->lqi_id.qid_uid;
 519                 osd_qid_set_type(oh, i, qi->lqi_type);
 520                 oh->ot_id_cnt++;
 521         }
 522
 523         if (unlikely(qsd == NULL))
 524                 /* quota slave instance hasn't been allocated yet */
 525                 RETURN(0);
 526
 527         /* check quota */
 528         rc = qsd_op_begin(env, qsd, oh->ot_quota_trans, qi, flags);
 529         RETURN(rc);
 530 }
 531
 532 /**
 533  * Wrapper for osd_declare_qid()
 534  *
 535  * \param  env    - the environment passed by the caller
 536  * \param  uid    - user id of the inode
 537  * \param  gid    - group id of the inode
 538  * \param  space  - how many blocks/inodes will be consumed/released
 539  * \param  oh     - osd transaction handle
 540  * \param  is_blk - block quota or inode quota?
 541  * \param  allocated - dquot entry in quota accounting file has been allocated
 542  * \param  flags  - if the operation is write, return no user quota, no
 543  *                  group quota, or sync commit flags to the caller
 544  * \param force   - set to 1 when changes are performed by root user and thus
 545  *                  can't failed with EDQUOT
 546  *
 547  * \retval 0      - success
 548  * \retval -ve    - failure
 549  */
 550 int osd_declare_inode_qid(const struct lu_env *env, qid_t uid, qid_t gid,
 551                           long long space, struct osd_thandle *oh,
 552                           bool is_blk, bool allocated, int *flags, bool force)
 553 {
 554         struct osd_thread_info  *info = osd_oti_get(env);
 555         struct lquota_id_info   *qi = &info->oti_qi;
 556         int                      rcu, rcg; /* user & group rc */
 557         ENTRY;
 558
 559         /* let's start with user quota */
 560         qi->lqi_id.qid_uid = uid;
 561         qi->lqi_type       = USRQUOTA;
 562         qi->lqi_space      = space;
 563         qi->lqi_is_blk     = is_blk;
 564         rcu = osd_declare_qid(env, oh, qi, allocated, flags);
 565
 566         if (force && (rcu == -EDQUOT || rcu == -EINPROGRESS))
 567                 /* ignore EDQUOT & EINPROGRESS when changes are done by root */
 568                 rcu = 0;
 569
 570         /* For non-fatal error, we want to continue to get the noquota flags
 571          * for group id. This is only for commit write, which has @flags passed
 572          * in. See osd_declare_write_commit().
 573          * When force is set to true, we also want to proceed with the gid */
 574         if (rcu && (rcu != -EDQUOT || flags == NULL))
 575                 RETURN(rcu);
 576
 577         /* and now group quota */
 578         qi->lqi_id.qid_gid = gid;
 579         qi->lqi_type       = GRPQUOTA;
 580         rcg = osd_declare_qid(env, oh, qi, allocated, flags);
 581
 582         if (force && (rcg == -EDQUOT || rcg == -EINPROGRESS))
 583                 /* as before, ignore EDQUOT & EINPROGRESS for root */
 584                 rcg = 0;
 585
 586         RETURN(rcu ? rcu : rcg);
 587 }
 588
 589 /* Following code is used to migrate old admin quota files (in Linux quota
 590  * file v2 format) into the new quota global indexes (in IAM format). */
 591
 592 #if LUSTRE_VERSION_CODE < OBD_OCD_VERSION(2,7,50,0)
 593
 594 /* copied from osd_it_acct_get(), only changed the 'type' to -1 */
 595 static int osd_it_admin_get(const struct lu_env *env, struct dt_it *di,
 596                             const struct dt_key *key)
 597 {
 598         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 599         int                      type = -1;
 600         qid_t                    dqid = *(qid_t *)key;
 601         loff_t                   offset;
 602         int                      rc;
 603         ENTRY;
 604
 605         offset = find_tree_dqentry(env, it->oiq_obj, type, dqid,
 606                                    LUSTRE_DQTREEOFF, 0, it);
 607         if (offset > 0) { /* Found */
 608                 RETURN(+1);
 609         } else if (offset < 0) { /* Error */
 610                 QUOTA_IT_READ_ERROR(it, (int)offset);
 611                 RETURN((int)offset);
 612         }
 613
 614         /* The @key is not found, move to the first valid entry */
 615         rc = walk_tree_dqentry(env, it->oiq_obj, type, it->oiq_blk[0], 0,
 616                                0, it);
 617         if (rc > 0)
 618                 /* no valid entry found */
 619                 rc = -ENOENT;
 620         RETURN(rc);
 621 }
 622
 623 static int osd_it_admin_load(const struct lu_env *env,
 624                              const struct dt_it *di, __u64 hash)
 625 {
 626         int rc;
 627         ENTRY;
 628
 629         rc = osd_it_admin_get(env, (struct dt_it *)di,
 630                               (const struct dt_key *)&hash);
 631         RETURN(rc);
 632 }
 633
 634 static int osd_it_admin_rec(const struct lu_env *env,
 635                             const struct dt_it *di,
 636                             struct dt_rec *dtrec, __u32 attr)
 637 {
 638         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 639         struct lu_buf            buf;
 640         loff_t                   pos;
 641         int                      rc;
 642         struct lustre_disk_dqblk_v2 *dqblk =
 643                 (struct lustre_disk_dqblk_v2 *)dtrec;
 644         ENTRY;
 645
 646         buf.lb_buf = dqblk;
 647         buf.lb_len = sizeof(*dqblk);
 648
 649         pos = it->oiq_offset;
 650         rc = dt_record_read(env, &it->oiq_obj->oo_dt, &buf, &pos);
 651         RETURN(rc);
 652 }
 653
 654 /* copied from osd_it_acct_next(), only changed the 'type' to -1 */
 655 static int osd_it_admin_next(const struct lu_env *env, struct dt_it *di)
 656 {
 657         struct osd_it_quota     *it = (struct osd_it_quota *)di;
 658         int                      type = -1;
 659         int                      depth, rc;
 660         uint                     index;
 661         ENTRY;
 662
 663         /* Let's first check if there are any remaining valid entry in the
 664          * current leaf block. Start with the next entry after the current one.
 665          */
 666         depth = LUSTRE_DQTREEDEPTH;
 667         index = it->oiq_index[depth];
 668         if (++index < LUSTRE_DQSTRINBLK) {
 669                 /* Search for the next valid entry from current index */
 670                 rc = walk_block_dqentry(env, it->oiq_obj, type,
 671                                         it->oiq_blk[depth], index, it);
 672                 if (rc < 0) {
 673                         QUOTA_IT_READ_ERROR(it, rc);
 674                         RETURN(rc);
 675                 } else if (rc == 0) {
 676                         /* Found on entry, @it is already updated to the
 677                          * new position in walk_block_dqentry(). */
 678                         RETURN(0);
 679                 } else {
 680                         rc = osd_it_add_processed(it, depth);
 681                         if (rc)
 682                                 RETURN(rc);
 683                 }
 684         } else {
 685                 rc = osd_it_add_processed(it, depth);
 686                 if (rc)
 687                         RETURN(rc);
 688         }
 689         rc = 1;
 690
 691         /* We have consumed all the entries of the current leaf block, move on
 692          * to the next one. */
 693         depth--;
 694
 695         /* We keep searching as long as walk_tree_dqentry() returns +1
 696          * (= no valid entry found). */
 697         for (; depth >= 0 && rc > 0; depth--) {
 698                 index = it->oiq_index[depth];
 699                 if (++index > 0xff)
 700                         continue;
 701                 rc = walk_tree_dqentry(env, it->oiq_obj, type,
 702                                        it->oiq_blk[depth], depth, index, it);
 703         }
 704
 705         if (rc < 0)
 706                 QUOTA_IT_READ_ERROR(it, rc);
 707         RETURN(rc);
 708 }
 709
 710 const struct dt_index_operations osd_admin_index_ops = {
 711         .dio_lookup     = osd_acct_index_lookup,
 712         .dio_it         = {
 713                 .init     = osd_it_acct_init,
 714                 .fini     = osd_it_acct_fini,
 715                 .get      = osd_it_admin_get,
 716                 .put      = osd_it_acct_put,
 717                 .next     = osd_it_admin_next,
 718                 .key      = osd_it_acct_key,
 719                 .key_size = osd_it_acct_key_size,
 720                 .rec      = osd_it_admin_rec,
 721                 .store    = osd_it_acct_store,
 722                 .load     = osd_it_admin_load
 723         }
 724 };
 725
 726 static int write_quota_rec(const struct lu_env *env, struct dt_object *dt,
 727                            __u64 id, struct lquota_glb_rec *rec)
 728 {
 729         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 730         struct thandle          *th;
 731         struct dt_key           *key = (struct dt_key *)&id;
 732         int                      rc;
 733         ENTRY;
 734
 735         th = dt_trans_create(env, &osd->od_dt_dev);
 736         if (IS_ERR(th))
 737                 RETURN(PTR_ERR(th));
 738
 739         /* the entry with 0 key can always be found in IAM file. */
 740         if (id == 0) {
 741                 rc = dt_declare_delete(env, dt, key, th);
 742                 if (rc)
 743                         GOTO(out, rc);
 744         }
 745
 746         rc = dt_declare_insert(env, dt, (struct dt_rec *)rec, key, th);
 747         if (rc)
 748                 GOTO(out, rc);
 749
 750         rc = dt_trans_start_local(env, &osd->od_dt_dev, th);
 751         if (rc)
 752                 GOTO(out, rc);
 753
 754         dt_write_lock(env, dt, 0);
 755
 756         if (id == 0) {
 757                 struct lquota_glb_rec *tmp;
 758
 759                 OBD_ALLOC_PTR(tmp);
 760                 if (tmp == NULL)
 761                         GOTO(out_lock, rc = -ENOMEM);
 762
 763                 rc = dt_lookup(env, dt, (struct dt_rec *)tmp, key,
 764                                BYPASS_CAPA);
 765
 766                 OBD_FREE_PTR(tmp);
 767                 if (rc == 0) {
 768                         rc = dt_delete(env, dt, key, th, BYPASS_CAPA);
 769                         if (rc)
 770                                 GOTO(out_lock, rc);
 771                 }
 772                 rc = 0;
 773         }
 774
 775         rc = dt_insert(env, dt, (struct dt_rec *)rec, key, th, BYPASS_CAPA, 1);
 776 out_lock:
 777         dt_write_unlock(env, dt);
 778 out:
 779         dt_trans_stop(env, &osd->od_dt_dev, th);
 780         RETURN(rc);
 781 }
 782
 783 static int convert_quota_file(const struct lu_env *env,
 784                               struct dt_object *old, struct dt_object *new,
 785                               bool isblk)
 786 {
 787         const struct dt_it_ops  *iops = &old->do_index_ops->dio_it;
 788         struct osd_object       *obj;
 789         struct lu_buf            buf;
 790         struct dt_it            *it;
 791         struct dt_key           *key;
 792         __u32                    grace;
 793         struct lquota_glb_rec   *glb_rec = NULL;
 794         loff_t                   pos;
 795         int                      rc;
 796         struct lustre_disk_dqblk_v2     *dqblk = NULL;
 797         struct lustre_disk_dqinfo       *dqinfo = NULL;
 798         ENTRY;
 799
 800         obj = osd_dt_obj(old);
 801         LASSERT(obj->oo_inode);
 802
 803         if (i_size_read(obj->oo_inode) == 0)
 804                 RETURN(0);
 805
 806         /* allocate buffers */
 807         OBD_ALLOC_PTR(dqinfo);
 808         if (dqinfo == NULL)
 809                 RETURN(-ENOMEM);
 810
 811         OBD_ALLOC_PTR(glb_rec);
 812         if (glb_rec == NULL)
 813                 GOTO(out, rc = -ENOMEM);
 814
 815         OBD_ALLOC_PTR(dqblk);
 816         if (dqblk == NULL)
 817                 GOTO(out, rc = -ENOMEM);
 818
 819         /* convert the old igrace/bgrace */
 820         buf.lb_buf = dqinfo;
 821         buf.lb_len = sizeof(*dqinfo);
 822         pos = LUSTRE_DQINFOOFF;
 823
 824         rc = dt_record_read(env, old, &buf, &pos);
 825         if (rc)
 826                 GOTO(out, rc);
 827
 828         /* keep it in little endian */
 829         grace = isblk ? dqinfo->dqi_bgrace : dqinfo->dqi_igrace;
 830         if (grace != 0) {
 831                 glb_rec->qbr_time = grace;
 832                 rc = write_quota_rec(env, new, 0, glb_rec);
 833                 if (rc)
 834                         GOTO(out, rc);
 835                 glb_rec->qbr_time = 0;
 836         }
 837
 838         /* iterate the old admin file, insert each record into the
 839          * new index file. */
 840         it = iops->init(env, old, 0, BYPASS_CAPA);
 841         if (IS_ERR(it))
 842                 GOTO(out, rc = PTR_ERR(it));
 843
 844         rc = iops->load(env, it, 0);
 845         if (rc == -ENOENT)
 846                 GOTO(out_it, rc = 0);
 847         else if (rc < 0)
 848                 GOTO(out_it, rc);
 849
 850         do {
 851                 key = iops->key(env, it);
 852                 if (IS_ERR(key))
 853                         GOTO(out_it, rc = PTR_ERR(key));
 854
 855                 /* skip the root user/group */
 856                 if (*((__u64 *)key) == 0)
 857                         goto next;
 858
 859                 rc = iops->rec(env, it, (struct dt_rec *)dqblk, 0);
 860                 if (rc)
 861                         GOTO(out_it, rc);
 862
 863                 /* keep the value in little endian */
 864                 glb_rec->qbr_hardlimit = isblk ? dqblk->dqb_bhardlimit :
 865                                                  dqblk->dqb_ihardlimit;
 866                 glb_rec->qbr_softlimit = isblk ? dqblk->dqb_bsoftlimit :
 867                                                  dqblk->dqb_isoftlimit;
 868
 869                 rc = write_quota_rec(env, new, *((__u64 *)key), glb_rec);
 870                 if (rc)
 871                         GOTO(out_it, rc);
 872 next:
 873                 rc = iops->next(env, it);
 874         } while (rc == 0);
 875
 876         /* reach the end */
 877         if (rc > 0)
 878                 rc = 0;
 879
 880 out_it:
 881         iops->put(env, it);
 882         iops->fini(env, it);
 883 out:
 884         if (dqblk != NULL)
 885                 OBD_FREE_PTR(dqblk);
 886         if (glb_rec != NULL)
 887                 OBD_FREE_PTR(glb_rec);
 888         if (dqinfo != NULL)
 889                 OBD_FREE_PTR(dqinfo);
 890         return rc;
 891 }
 892
 893 static int truncate_quota_index(const struct lu_env *env, struct dt_object *dt,
 894                                 const struct dt_index_features *feat)
 895 {
 896         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 897         struct thandle          *th;
 898         struct lu_attr          *attr;
 899         struct osd_thandle      *oth;
 900         struct inode            *inode;
 901         int                      rc;
 902         ENTRY;
 903
 904         OBD_ALLOC_PTR(attr);
 905         if (attr == NULL)
 906                 RETURN(-ENOMEM);
 907
 908         attr->la_size = 0;
 909         attr->la_valid = LA_SIZE;
 910
 911         th = dt_trans_create(env, &osd->od_dt_dev);
 912         if (IS_ERR(th)) {
 913                 OBD_FREE_PTR(attr);
 914                 RETURN(PTR_ERR(th));
 915         }
 916
 917         rc = dt_declare_punch(env, dt, 0, OBD_OBJECT_EOF, th);
 918         if (rc)
 919                 GOTO(out, rc);
 920
 921         rc = dt_declare_attr_set(env, dt, attr, th);
 922         if (rc)
 923                 GOTO(out, rc);
 924
 925         inode = osd_dt_obj(dt)->oo_inode;
 926         LASSERT(inode);
 927
 928         rc = dt_declare_record_write(env, dt, inode->i_sb->s_blocksize * 2, 0, th);
 929         if (rc)
 930                 GOTO(out, rc);
 931
 932         rc = dt_trans_start_local(env, &osd->od_dt_dev, th);
 933         if (rc)
 934                 GOTO(out, rc);
 935
 936         dt_write_lock(env, dt, 0);
 937         rc = dt_punch(env, dt, 0, OBD_OBJECT_EOF, th, BYPASS_CAPA);
 938         if (rc)
 939                 GOTO(out_lock, rc);
 940
 941         rc = dt_attr_set(env, dt, attr, th, BYPASS_CAPA);
 942         if (rc)
 943                 GOTO(out_lock, rc);
 944
 945         oth = container_of(th, struct osd_thandle, ot_super);
 946
 947         if (feat->dif_flags & DT_IND_VARKEY)
 948                 rc = iam_lvar_create(osd_dt_obj(dt)->oo_inode,
 949                                      feat->dif_keysize_max,
 950                                      feat->dif_ptrsize,
 951                                      feat->dif_recsize_max, oth->ot_handle);
 952         else
 953                 rc = iam_lfix_create(osd_dt_obj(dt)->oo_inode,
 954                                      feat->dif_keysize_max,
 955                                      feat->dif_ptrsize,
 956                                      feat->dif_recsize_max, oth->ot_handle);
 957 out_lock:
 958         dt_write_unlock(env, dt);
 959 out:
 960         dt_trans_stop(env, &osd->od_dt_dev, th);
 961         OBD_FREE_PTR(attr);
 962         RETURN(rc);
 963 }
 964
 965 static int set_quota_index_version(const struct lu_env *env,
 966                                    struct dt_object *dt)
 967 {
 968         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
 969         struct thandle          *th;
 970         int                      rc;
 971         ENTRY;
 972
 973         th = dt_trans_create(env, &osd->od_dt_dev);
 974         if (IS_ERR(th))
 975                 RETURN(PTR_ERR(th));
 976
 977         rc = dt_declare_version_set(env, dt, th);
 978         if (rc)
 979                 GOTO(out, rc);
 980
 981         rc = dt_trans_start_local(env, &osd->od_dt_dev, th);
 982         if (rc)
 983                 GOTO(out, rc);
 984
 985         th->th_sync = 1;
 986         dt_version_set(env, dt, 1, th);
 987 out:
 988         dt_trans_stop(env, &osd->od_dt_dev, th);
 989         RETURN(rc);
 990 }
 991
 992 #define OBJECTS         "OBJECTS"
 993 #define ADMIN_USR       "admin_quotafile_v2.usr"
 994 #define ADMIN_GRP       "admin_quotafile_v2.grp"
 995
 996 int osd_quota_migration(const struct lu_env *env, struct dt_object *dt,
 997                         const struct dt_index_features *feat)
 998 {
 999         struct osd_thread_info  *oti = osd_oti_get(env);
1000         struct osd_device       *osd = osd_obj2dev(osd_dt_obj(dt));
1001         struct dt_object        *root, *parent = NULL, *admin = NULL;
1002         dt_obj_version_t         version;
1003         char                    *fname;
1004         bool                     isblk;
1005         int                      rc;
1006         ENTRY;
1007
1008         /* not newly created global index */
1009         version = dt_version_get(env, dt);
1010         if (version != 0)
1011                 RETURN(0);
1012
1013         /* locate root */
1014         rc = dt_root_get(env, &osd->od_dt_dev, &oti->oti_fid);
1015         if (rc) {
1016                 CERROR("%s: Can't get root FID, rc:%d\n", osd->od_svname, rc);
1017                 RETURN(rc);
1018         }
1019
1020         root = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
1021         if (IS_ERR(root)) {
1022                 CERROR("%s: Failed to locate root "DFID", rc:%ld\n",
1023                        osd->od_svname, PFID(&oti->oti_fid), PTR_ERR(root));
1024                 RETURN(PTR_ERR(root));
1025         }
1026
1027         /* locate /OBJECTS */
1028         rc = dt_lookup_dir(env, root, OBJECTS, &oti->oti_fid);
1029         if (rc == -ENOENT) {
1030                 GOTO(out, rc = 0);
1031         } else if (rc) {
1032                 CERROR("%s: Failed to lookup %s, rc:%d\n",
1033                        osd->od_svname, OBJECTS, rc);
1034                 GOTO(out, rc);
1035         }
1036
1037         parent = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
1038         if (IS_ERR(parent)) {
1039                 CERROR("%s: Failed to locate %s "DFID", rc:%ld\n",
1040                        osd->od_svname, OBJECTS, PFID(&oti->oti_fid),
1041                        PTR_ERR(parent));
1042                 GOTO(out, rc = PTR_ERR(parent));
1043         }
1044
1045         /* locate quota admin file */
1046         if (feat == &dt_quota_iusr_features) {
1047                 fname = ADMIN_USR;
1048                 isblk = false;
1049         } else if (feat == &dt_quota_busr_features) {
1050                 fname = ADMIN_USR;
1051                 isblk = true;
1052         } else if (feat == &dt_quota_igrp_features) {
1053                 fname = ADMIN_GRP;
1054                 isblk = false;
1055         } else {
1056                 fname = ADMIN_GRP;
1057                 isblk = true;
1058         }
1059
1060         rc = dt_lookup_dir(env, parent, fname, &oti->oti_fid);
1061         if (rc == -ENOENT) {
1062                 GOTO(out, rc = 0);
1063         } else if (rc) {
1064                 CERROR("%s: Failed to lookup %s, rc:%d\n",
1065                        osd->od_svname, fname, rc);
1066                 GOTO(out, rc);
1067         }
1068
1069         admin = dt_locate(env, &osd->od_dt_dev, &oti->oti_fid);
1070         if (IS_ERR(admin)) {
1071                 CERROR("%s: Failed to locate %s "DFID", rc:%d\n",
1072                        osd->od_svname, fname, PFID(&oti->oti_fid), rc);
1073                 GOTO(out, rc = PTR_ERR(admin));
1074         }
1075
1076         if (!dt_object_exists(admin)) {
1077                 CERROR("%s: Old admin file %s doesn't exist, but is still "
1078                        " referenced in parent directory.\n",
1079                        osd->od_svname, fname);
1080                 GOTO(out, rc = -ENOENT);
1081         }
1082
1083         /* truncate the new quota index file in case of any leftovers
1084          * from last failed migration */
1085         rc = truncate_quota_index(env, dt, feat);
1086         if (rc) {
1087                 CERROR("%s: Failed to truncate the quota index "DFID", rc:%d\n",
1088                        osd->od_svname, PFID(lu_object_fid(&dt->do_lu)), rc);
1089                 RETURN(rc);
1090         }
1091
1092         /* set up indexing operations for the admin file */
1093         admin->do_index_ops = &osd_admin_index_ops;
1094
1095         LCONSOLE_INFO("%s: Migrate %s quota from old admin quota file(%s) to "
1096                       "new IAM quota index("DFID").\n", osd->od_svname,
1097                       isblk ? "block" : "inode", fname,
1098                       PFID(lu_object_fid(&dt->do_lu)));
1099
1100         /* iterate the admin quota file, and insert each record into
1101          * the new index file */
1102         rc = convert_quota_file(env, admin, dt, isblk);
1103         if (rc)
1104                 CERROR("%s: Migrate old admin quota file(%s) failed, rc:%d\n",
1105                        osd->od_svname, fname, rc);
1106 out:
1107         /* bump index version to 1, so the migration will be skipped
1108          * next time. */
1109         if (rc == 0) {
1110                 rc = set_quota_index_version(env , dt);
1111                 if (rc)
1112                         CERROR("%s: Failed to set quota index("DFID") "
1113                                "version, rc:%d\n", osd->od_svname,
1114                                PFID(lu_object_fid(&dt->do_lu)), rc);
1115         }
1116
1117         if (admin && !IS_ERR(admin))
1118                 lu_object_put(env, &admin->do_lu);
1119         if (parent && !IS_ERR(parent))
1120                 lu_object_put(env, &parent->do_lu);
1121         lu_object_put(env, &root->do_lu);
1122
1123         RETURN(rc);
1124 }
1125 #else
1126 #warning "remove old quota compatibility code"
1127 #endif