Whamcloud - gitweb
LU-7340 mdd: changelogs garbage collection
[fs/lustre-release.git] / lustre / mdd / mdd_dir.c
index 8ab41e4..a353f8b 100644 (file)
  *
  * You should have received a copy of the GNU General Public License
  * version 2 along with this program; If not, see
- * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
- *
- * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
- * CA 95054 USA or visit www.sun.com if you need additional information or
- * have any questions.
+ * http://www.gnu.org/licenses/gpl-2.0.html
  *
  * GPL HEADER END
  */
@@ -27,7 +23,7 @@
  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  *
- * Copyright (c) 2011, 2015, Intel Corporation.
+ * Copyright (c) 2011, 2016, Intel Corporation.
  */
 /*
  * This file is part of Lustre, http://www.lustre.org/
@@ -53,8 +49,8 @@ static const char dot[] = ".";
 static const char dotdot[] = "..";
 
 static struct lu_name lname_dotdot = {
-        (char *) dotdot,
-        sizeof(dotdot) - 1
+       .ln_name        = (char *) dotdot,
+       .ln_namelen     = sizeof(dotdot) - 1,
 };
 
 static inline int
@@ -124,6 +120,77 @@ int mdd_lookup(const struct lu_env *env,
         RETURN(rc);
 }
 
+/** Read the link EA into a temp buffer.
+ * Uses the mdd_thread_info::mti_big_buf since it is generally large.
+ * A pointer to the buffer is stored in \a ldata::ld_buf.
+ *
+ * \retval 0 or error
+ */
+static int __mdd_links_read(const struct lu_env *env,
+                           struct mdd_object *mdd_obj,
+                           struct linkea_data *ldata)
+{
+       int rc;
+
+       if (!mdd_object_exists(mdd_obj))
+               return -ENODATA;
+
+       /* First try a small buf */
+       LASSERT(env != NULL);
+       ldata->ld_buf = lu_buf_check_and_alloc(&mdd_env_info(env)->mti_link_buf,
+                                              PAGE_SIZE);
+       if (ldata->ld_buf->lb_buf == NULL)
+               return -ENOMEM;
+
+       rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf, XATTR_NAME_LINK);
+       if (rc == -ERANGE) {
+               /* Buf was too small, figure out what we need. */
+               lu_buf_free(ldata->ld_buf);
+               rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf,
+                                  XATTR_NAME_LINK);
+               if (rc < 0)
+                       return rc;
+               ldata->ld_buf = lu_buf_check_and_alloc(ldata->ld_buf, rc);
+               if (ldata->ld_buf->lb_buf == NULL)
+                       return -ENOMEM;
+               rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf,
+                                 XATTR_NAME_LINK);
+       }
+       if (rc < 0) {
+               lu_buf_free(ldata->ld_buf);
+               ldata->ld_buf = NULL;
+               return rc;
+       }
+
+       return linkea_init(ldata);
+}
+
+static int mdd_links_read(const struct lu_env *env,
+                         struct mdd_object *mdd_obj,
+                         struct linkea_data *ldata)
+{
+       int rc;
+
+       rc = __mdd_links_read(env, mdd_obj, ldata);
+       if (!rc)
+               rc = linkea_init(ldata);
+
+       return rc;
+}
+
+static int mdd_links_read_with_rec(const struct lu_env *env,
+                                  struct mdd_object *mdd_obj,
+                                  struct linkea_data *ldata)
+{
+       int rc;
+
+       rc = __mdd_links_read(env, mdd_obj, ldata);
+       if (!rc)
+               rc = linkea_init_with_rec(ldata);
+
+       return rc;
+}
+
 /**
  * Get parent FID of the directory
  *
@@ -158,7 +225,7 @@ static inline int mdd_parent_fid(const struct lu_env *env,
                GOTO(lookup, rc = 0);
 
        ldata.ld_buf = buf;
-       rc = mdd_links_read(env, obj, &ldata);
+       rc = mdd_links_read_with_rec(env, obj, &ldata);
        if (rc != 0)
                GOTO(lookup, rc);
 
@@ -668,9 +735,8 @@ static int mdd_llog_record_calc_size(const struct lu_env *env,
                                     const struct lu_name *sname)
 {
        const struct lu_ucred   *uc = lu_ucred(env);
-       enum changelog_rec_flags crf = 0;
-       size_t                   hdr_size = sizeof(struct llog_changelog_rec) -
-                                           sizeof(struct changelog_rec);
+       enum changelog_rec_flags crf = CLF_EXTRA_FLAGS;
+       enum changelog_rec_extra_flags crfe = CLFE_UIDGID;
 
        if (sname != NULL)
                crf |= CLF_RENAME;
@@ -678,7 +744,8 @@ static int mdd_llog_record_calc_size(const struct lu_env *env,
        if (uc != NULL && uc->uc_jobid[0] != '\0')
                crf |= CLF_JOBID;
 
-       return llog_data_len(hdr_size + changelog_rec_offset(crf) +
+       return llog_data_len(LLOG_CHANGELOG_HDR_SZ +
+                            changelog_rec_offset(crf, crfe) +
                             (tname != NULL ? tname->ln_namelen : 0) +
                             (sname != NULL ? 1 + sname->ln_namelen : 0));
 }
@@ -726,6 +793,136 @@ out_put:
        return rc;
 }
 
+struct mdd_changelog_gc {
+       struct mdd_device *mcgc_mdd;
+       bool mcgc_found;
+       __u32 mcgc_maxtime;
+       __u64 mcgc_maxindexes;
+       __u32 mcgc_id;
+};
+
+/* return first registered ChangeLog user idle since too long
+ * use ChangeLog's user plain LLOG mtime for this */
+static int mdd_changelog_gc_cb(const struct lu_env *env,
+                              struct llog_handle *llh,
+                              struct llog_rec_hdr *hdr, void *data)
+{
+       struct llog_changelog_user_rec  *rec;
+       struct mdd_changelog_gc *mcgc = (struct mdd_changelog_gc *)data;
+       struct mdd_device *mdd = mcgc->mcgc_mdd;
+       ENTRY;
+
+       if ((llh->lgh_hdr->llh_flags & LLOG_F_IS_PLAIN) == 0)
+               RETURN(-ENXIO);
+
+       rec = container_of(hdr, struct llog_changelog_user_rec,
+                          cur_hdr);
+
+       /* find oldest idle user, based on last record update/cancel time (new
+        * behavior), or for old user records, last record index vs current
+        * ChangeLog index. Late users with old record format will be treated
+        * first as we assume they could be idle since longer
+        */
+       if (rec->cur_time != 0) {
+               __u32 time_now = (__u32)get_seconds();
+               __u32 time_out = rec->cur_time +
+                                mdd->mdd_changelog_max_idle_time;
+               __u32 idle_time = time_now - rec->cur_time;
+
+               /* treat oldest idle user first, and if no old format user
+                * has been already selected
+                */
+               if (time_after32(time_now, time_out) &&
+                   idle_time > mcgc->mcgc_maxtime &&
+                   mcgc->mcgc_maxindexes == 0) {
+                       mcgc->mcgc_maxtime = idle_time;
+                       mcgc->mcgc_id = rec->cur_id;
+                       mcgc->mcgc_found = true;
+               }
+       } else {
+               /* old user record with no idle time stamp, so use empirical
+                * method based on its current index/position
+                */
+               __u64 idle_indexes;
+
+               idle_indexes = mdd->mdd_cl.mc_index - rec->cur_endrec;
+
+               /* treat user with the oldest/smallest current index first */
+               if (idle_indexes >= mdd->mdd_changelog_max_idle_indexes &&
+                   idle_indexes > mcgc->mcgc_maxindexes) {
+                       mcgc->mcgc_maxindexes = idle_indexes;
+                       mcgc->mcgc_id = rec->cur_id;
+                       mcgc->mcgc_found = true;
+               }
+
+       }
+       RETURN(0);
+}
+
+/* recover space from long-term inactive ChangeLog users */
+static int mdd_chlg_garbage_collect(void *data)
+{
+       struct mdd_device *mdd = (struct mdd_device *)data;
+       struct lu_env             *env = NULL;
+       int                        rc;
+       struct llog_ctxt *ctxt;
+       struct mdd_changelog_gc mcgc = {
+               .mcgc_mdd = mdd,
+               .mcgc_found = false,
+               .mcgc_maxtime = 0,
+               .mcgc_maxindexes = 0,
+       };
+       ENTRY;
+
+       CDEBUG(D_HA, "%s: ChangeLog garbage collect thread start\n",
+              mdd2obd_dev(mdd)->obd_name);
+
+       OBD_ALLOC_PTR(env);
+       if (env == NULL)
+               GOTO(out, rc = -ENOMEM);
+
+       rc = lu_env_init(env, LCT_MD_THREAD);
+       if (rc)
+               GOTO(out, rc);
+
+       for (;;) {
+               ctxt = llog_get_context(mdd2obd_dev(mdd),
+                                       LLOG_CHANGELOG_USER_ORIG_CTXT);
+               if (ctxt == NULL ||
+                   (ctxt->loc_handle->lgh_hdr->llh_flags & LLOG_F_IS_CAT) == 0)
+                       GOTO(out_env, rc = -ENXIO);
+
+               rc = llog_cat_process(env, ctxt->loc_handle,
+                                     mdd_changelog_gc_cb, &mcgc, 0, 0);
+               if (rc != 0 || mcgc.mcgc_found == false)
+                       break;
+               llog_ctxt_put(ctxt);
+
+               CWARN("%s: Force deregister of ChangeLog user cl%d idle more "
+                     "than %us\n", mdd2obd_dev(mdd)->obd_name, mcgc.mcgc_id,
+                     mcgc.mcgc_maxtime);
+
+               mdd_changelog_user_purge(env, mdd, mcgc.mcgc_id);
+
+               /* try again to search for another candidate */
+               mcgc.mcgc_found = false;
+               mcgc.mcgc_maxtime = 0;
+               mcgc.mcgc_maxindexes = 0;
+       }
+
+out_env:
+       if (ctxt != NULL)
+               llog_ctxt_put(ctxt);
+
+       lu_env_fini(env);
+       GOTO(out, rc);
+out:
+       if (env)
+               OBD_FREE_PTR(env);
+       mdd->mdd_cl.mc_gc_task = NULL;
+       return rc;
+}
+
 /** Add a changelog entry \a rec to the changelog llog
  * \param mdd
  * \param rec
@@ -740,6 +937,7 @@ int mdd_changelog_store(const struct lu_env *env, struct mdd_device *mdd,
        struct llog_ctxt        *ctxt;
        struct thandle          *llog_th;
        int                      rc;
+       bool                     run_gc_task;
 
        rec->cr_hdr.lrh_len = llog_data_len(sizeof(*rec) +
                                            changelog_rec_varsize(&rec->cr));
@@ -766,6 +964,41 @@ int mdd_changelog_store(const struct lu_env *env, struct mdd_device *mdd,
        /* nested journal transaction */
        rc = llog_add(env, ctxt->loc_handle, &rec->cr_hdr, NULL, llog_th);
 
+       /* time to recover some space ?? */
+       spin_lock(&mdd->mdd_cl.mc_lock);
+       if (unlikely(mdd->mdd_changelog_gc && (ktime_get_real_seconds() -
+           mdd->mdd_cl.mc_gc_time > mdd->mdd_changelog_min_gc_interval) &&
+           mdd->mdd_cl.mc_gc_task == NULL &&
+           llog_cat_free_space(ctxt->loc_handle) <=
+                               mdd->mdd_changelog_min_free_cat_entries)) {
+               CWARN("%s: low on changelog_catalog free entries, starting "
+                     "ChangeLog garbage collection thread\n", obd->obd_name);
+
+               /* indicate further kthread run will occur outside right after
+                * critical section
+                */
+               mdd->mdd_cl.mc_gc_task = (struct task_struct *)(-1);
+               run_gc_task = true;
+       }
+       spin_unlock(&mdd->mdd_cl.mc_lock);
+       if (run_gc_task) {
+               struct task_struct *gc_task;
+
+               gc_task = kthread_run(mdd_chlg_garbage_collect, mdd,
+                                     "chlg_gc_thread");
+               if (IS_ERR(gc_task)) {
+                       CERROR("%s: cannot start ChangeLog garbage collection "
+                              "thread: rc = %ld\n", obd->obd_name,
+                              PTR_ERR(gc_task));
+                       mdd->mdd_cl.mc_gc_task = NULL;
+               } else {
+                       CDEBUG(D_HA, "%s: ChangeLog garbage collection thread "
+                              "has started with Pid %d\n", obd->obd_name,
+                              gc_task->pid);
+                       mdd->mdd_cl.mc_gc_task = gc_task;
+                       mdd->mdd_cl.mc_gc_time = ktime_get_real_seconds();
+               }
+       }
 out_put:
        llog_ctxt_put(ctxt);
        if (rc > 0)
@@ -778,8 +1011,8 @@ static void mdd_changelog_rec_ext_rename(struct changelog_rec *rec,
                                         const struct lu_fid *spfid,
                                         const struct lu_name *sname)
 {
-       struct changelog_ext_rename     *rnm = changelog_rec_rename(rec);
-       size_t                           extsize = sname->ln_namelen + 1;
+       struct changelog_ext_rename *rnm = changelog_rec_rename(rec);
+       size_t extsize = sname->ln_namelen + 1;
 
        LASSERT(sfid != NULL);
        LASSERT(spfid != NULL);
@@ -795,7 +1028,7 @@ static void mdd_changelog_rec_ext_rename(struct changelog_rec *rec,
 
 void mdd_changelog_rec_ext_jobid(struct changelog_rec *rec, const char *jobid)
 {
-       struct changelog_ext_jobid      *jid = changelog_rec_jobid(rec);
+       struct changelog_ext_jobid *jid = changelog_rec_jobid(rec);
 
        if (jobid == NULL || jobid[0] == '\0')
                return;
@@ -803,6 +1036,22 @@ void mdd_changelog_rec_ext_jobid(struct changelog_rec *rec, const char *jobid)
        strlcpy(jid->cr_jobid, jobid, sizeof(jid->cr_jobid));
 }
 
+void mdd_changelog_rec_ext_extra_flags(struct changelog_rec *rec, __u64 eflags)
+{
+       struct changelog_ext_extra_flags *ef = changelog_rec_extra_flags(rec);
+
+       ef->cr_extra_flags = eflags;
+}
+
+void mdd_changelog_rec_extra_uidgid(struct changelog_rec *rec,
+                                   __u64 uid, __u64 gid)
+{
+       struct changelog_ext_uidgid *uidgid = changelog_rec_uidgid(rec);
+
+       uidgid->cr_uid = uid;
+       uidgid->cr_gid = gid;
+}
+
 /** Store a namespace change changelog record
  * If this fails, we must fail the whole transaction; we don't
  * want the change to commit without the log entry.
@@ -830,6 +1079,7 @@ int mdd_changelog_ns_store(const struct lu_env *env,
        struct llog_changelog_rec       *rec;
        struct lu_buf                   *buf;
        int                              reclen;
+       __u64                            xflags = CLFE_INVALID;
        int                              rc;
        ENTRY;
 
@@ -851,6 +1101,7 @@ int mdd_changelog_ns_store(const struct lu_env *env,
        rec = buf->lb_buf;
 
        crf &= CLF_FLAGMASK;
+       crf |= CLF_EXTRA_FLAGS;
 
        if (uc != NULL && uc->uc_jobid[0] != '\0')
                crf |= CLF_JOBID;
@@ -860,7 +1111,17 @@ int mdd_changelog_ns_store(const struct lu_env *env,
        else
                crf |= CLF_VERSION;
 
+       xflags |= CLFE_UIDGID;
+
        rec->cr.cr_flags = crf;
+
+       if (crf & CLF_EXTRA_FLAGS) {
+               mdd_changelog_rec_ext_extra_flags(&rec->cr, xflags);
+               if (xflags & CLFE_UIDGID)
+                       mdd_changelog_rec_extra_uidgid(&rec->cr,
+                                                      uc->uc_uid, uc->uc_gid);
+       }
+
        rec->cr.cr_type = (__u32)type;
        rec->cr.cr_pfid = *tpfid;
        rec->cr.cr_namelen = tname->ln_namelen;
@@ -874,7 +1135,7 @@ int mdd_changelog_ns_store(const struct lu_env *env,
 
        if (likely(target != NULL)) {
                rec->cr.cr_tfid = *mdo2fid(target);
-               target->mod_cltime = cfs_time_current_64();
+               target->mod_cltime = ktime_get();
        } else {
                fid_zero(&rec->cr.cr_tfid);
        }
@@ -966,41 +1227,32 @@ static int mdd_linkea_prepare(const struct lu_env *env,
                              struct linkea_data *ldata)
 {
        int rc = 0;
-       int rc2 = 0;
        ENTRY;
 
        if (OBD_FAIL_CHECK(OBD_FAIL_FID_IGIF))
-               return 0;
+               RETURN(0);
 
        LASSERT(oldpfid != NULL || newpfid != NULL);
 
-       if (mdd_obj->mod_flags & DEAD_OBJ) {
-               /* Prevent linkea to be updated which is NOT necessary. */
-               ldata->ld_reclen = 0;
-               /* No more links, don't bother */
+       if (mdd_obj->mod_flags & DEAD_OBJ)
+               /* Unnecessary to update linkEA for dead object.  */
                RETURN(0);
-       }
 
        if (oldpfid != NULL) {
                rc = __mdd_links_del(env, mdd_obj, ldata, oldlname, oldpfid);
                if (rc) {
-                       if ((check == 1) ||
-                           (rc != -ENODATA && rc != -ENOENT))
+                       if ((check == 1) || (rc != -ENODATA && rc != -ENOENT))
                                RETURN(rc);
+
                        /* No changes done. */
                        rc = 0;
                }
        }
 
        /* If renaming, add the new record */
-       if (newpfid != NULL) {
-               /* even if the add fails, we still delete the out-of-date
-                * old link */
-               rc2 = __mdd_links_add(env, mdd_obj, ldata, newlname, newpfid,
-                                     first, check);
-       }
-
-       rc = rc != 0 ? rc : rc2;
+       if (newpfid != NULL)
+               rc = __mdd_links_add(env, mdd_obj, ldata, newlname, newpfid,
+                                    first, check);
 
        RETURN(rc);
 }
@@ -1022,41 +1274,34 @@ int mdd_links_rename(const struct lu_env *env,
                ldata = &mdd_env_info(env)->mti_link_data;
                memset(ldata, 0, sizeof(*ldata));
                rc = mdd_linkea_prepare(env, mdd_obj, oldpfid, oldlname,
-                                       newpfid, newlname, first, check,
-                                       ldata);
-               if (rc != 0)
+                                       newpfid, newlname, first, check, ldata);
+               if (rc)
                        GOTO(out, rc);
        }
 
-       if (ldata->ld_reclen != 0)
+       if (!(mdd_obj->mod_flags & DEAD_OBJ))
                rc = mdd_links_write(env, mdd_obj, ldata, handle);
-       EXIT;
+
+       GOTO(out, rc);
+
 out:
        if (rc != 0) {
-               int error = 1;
-               if (rc == -EOVERFLOW || rc == -ENOSPC)
-                       error = 0;
                if (newlname == NULL)
-                       CDEBUG(error ? D_ERROR : D_OTHER,
-                              "link_ea add failed %d "DFID"\n",
+                       CERROR("link_ea add failed %d "DFID"\n",
                               rc, PFID(mdd_object_fid(mdd_obj)));
                else if (oldpfid == NULL)
-                       CDEBUG(error ? D_ERROR : D_OTHER,
-                              "link_ea add '%.*s' failed %d "DFID"\n",
-                              newlname->ln_namelen, newlname->ln_name,
-                              rc, PFID(mdd_object_fid(mdd_obj)));
+                       CERROR("link_ea add '%.*s' failed %d "DFID"\n",
+                              newlname->ln_namelen, newlname->ln_name, rc,
+                              PFID(mdd_object_fid(mdd_obj)));
                else if (newpfid == NULL)
-                       CDEBUG(error ? D_ERROR : D_OTHER,
-                              "link_ea del '%.*s' failed %d "DFID"\n",
-                              oldlname->ln_namelen, oldlname->ln_name,
-                              rc, PFID(mdd_object_fid(mdd_obj)));
+                       CERROR("link_ea del '%.*s' failed %d "DFID"\n",
+                              oldlname->ln_namelen, oldlname->ln_name, rc,
+                              PFID(mdd_object_fid(mdd_obj)));
                else
-                       CDEBUG(error ? D_ERROR : D_OTHER,
-                              "link_ea rename '%.*s'->'%.*s' failed %d "
-                              DFID"\n",
-                              oldlname->ln_namelen, oldlname->ln_name,
-                              newlname->ln_namelen, newlname->ln_name,
-                              rc, PFID(mdd_object_fid(mdd_obj)));
+                       CERROR("link_ea rename '%.*s'->'%.*s' failed %d "DFID
+                              "\n", oldlname->ln_namelen, oldlname->ln_name,
+                              newlname->ln_namelen, newlname->ln_name, rc,
+                              PFID(mdd_object_fid(mdd_obj)));
        }
 
        if (is_vmalloc_addr(ldata->ld_buf))
@@ -1088,50 +1333,6 @@ static inline int mdd_links_del(const struct lu_env *env,
 }
 
 /** Read the link EA into a temp buffer.
- * Uses the mdd_thread_info::mti_big_buf since it is generally large.
- * A pointer to the buffer is stored in \a ldata::ld_buf.
- *
- * \retval 0 or error
- */
-int mdd_links_read(const struct lu_env *env, struct mdd_object *mdd_obj,
-                  struct linkea_data *ldata)
-{
-       int rc;
-
-       if (!mdd_object_exists(mdd_obj))
-               return -ENODATA;
-
-       /* First try a small buf */
-       LASSERT(env != NULL);
-       ldata->ld_buf = lu_buf_check_and_alloc(&mdd_env_info(env)->mti_link_buf,
-                                              PAGE_CACHE_SIZE);
-       if (ldata->ld_buf->lb_buf == NULL)
-               return -ENOMEM;
-
-       rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf, XATTR_NAME_LINK);
-       if (rc == -ERANGE) {
-               /* Buf was too small, figure out what we need. */
-               lu_buf_free(ldata->ld_buf);
-               rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf,
-                                  XATTR_NAME_LINK);
-               if (rc < 0)
-                       return rc;
-               ldata->ld_buf = lu_buf_check_and_alloc(ldata->ld_buf, rc);
-               if (ldata->ld_buf->lb_buf == NULL)
-                       return -ENOMEM;
-               rc = mdo_xattr_get(env, mdd_obj, ldata->ld_buf,
-                                 XATTR_NAME_LINK);
-       }
-       if (rc < 0) {
-               lu_buf_free(ldata->ld_buf);
-               ldata->ld_buf = NULL;
-               return rc;
-       }
-
-       return linkea_init(ldata);
-}
-
-/** Read the link EA into a temp buffer.
  * Uses the name_buf since it is generally large.
  * \retval IS_ERR err
  * \retval ptr to \a lu_buf (always \a mti_big_buf)
@@ -1156,38 +1357,26 @@ int mdd_links_write(const struct lu_env *env, struct mdd_object *mdd_obj,
            ldata->ld_leh == NULL)
                return 0;
 
-       buf = mdd_buf_get_const(env, ldata->ld_buf->lb_buf,
-                               ldata->ld_leh->leh_len);
        if (OBD_FAIL_CHECK(OBD_FAIL_LFSCK_NO_LINKEA))
                return 0;
 
+again:
+       buf = mdd_buf_get_const(env, ldata->ld_buf->lb_buf,
+                               ldata->ld_leh->leh_len);
        rc = mdo_xattr_set(env, mdd_obj, buf, XATTR_NAME_LINK, 0, handle);
-       if (unlikely(rc == -ENOSPC) && S_ISREG(mdd_object_type(mdd_obj)) &&
-           mdd_object_remote(mdd_obj) == 0) {
-               struct lfsck_request *lr = &mdd_env_info(env)->mti_lr;
-               struct thandle  *sub_th;
-
-               /* XXX: If the linkEA is overflow, then we need to notify the
-                *      namespace LFSCK to skip "nlink" attribute verification
-                *      on this object to avoid the "nlink" to be shrinked by
-                *      wrong. It may be not good an interaction with LFSCK
-                *      like this. We will consider to replace it with other
-                *      mechanism in future. LU-5802. */
-               lfsck_pack_rfa(lr, mdo2fid(mdd_obj), LE_SKIP_NLINK,
-                              LFSCK_TYPE_NAMESPACE);
-
-               sub_th = thandle_get_sub_by_dt(env, handle,
-                               mdo2mdd(&mdd_obj->mod_obj)->mdd_bottom);
-               lfsck_in_notify(env, mdo2mdd(&mdd_obj->mod_obj)->mdd_bottom,
-                               lr, sub_th);
+       if (unlikely(rc == -ENOSPC)) {
+               rc = linkea_overflow_shrink(ldata);
+               if (likely(rc > 0))
+                       goto again;
        }
 
        return rc;
 }
 
-int mdd_declare_links_add(const struct lu_env *env, struct mdd_object *mdd_obj,
-                         struct thandle *handle, struct linkea_data *ldata,
-                         enum mdd_links_add_overflow overflow)
+static int mdd_declare_links_add(const struct lu_env *env,
+                                struct mdd_object *mdd_obj,
+                                struct thandle *handle,
+                                struct linkea_data *ldata)
 {
        int     rc;
        int     ea_len;
@@ -1197,36 +1386,13 @@ int mdd_declare_links_add(const struct lu_env *env, struct mdd_object *mdd_obj,
                ea_len = ldata->ld_leh->leh_len;
                linkea = ldata->ld_buf->lb_buf;
        } else {
-               ea_len = DEFAULT_LINKEA_SIZE;
+               ea_len = MAX_LINKEA_SIZE;
                linkea = NULL;
        }
 
-       /* XXX: max size? */
        rc = mdo_declare_xattr_set(env, mdd_obj,
                                   mdd_buf_get_const(env, linkea, ea_len),
                                   XATTR_NAME_LINK, 0, handle);
-       if (rc != 0)
-               return rc;
-
-       if (mdd_object_remote(mdd_obj) == 0 && overflow == MLAO_CHECK) {
-               struct lfsck_request *lr = &mdd_env_info(env)->mti_lr;
-               struct thandle  *sub_th;
-
-               /* XXX: If the linkEA is overflow, then we need to notify the
-                *      namespace LFSCK to skip "nlink" attribute verification
-                *      on this object to avoid the "nlink" to be shrinked by
-                *      wrong. It may be not good an interaction with LFSCK
-                *      like this. We will consider to replace it with other
-                *      mechanism in future. LU-5802. */
-               lfsck_pack_rfa(lr, mdo2fid(mdd_obj), LE_SKIP_NLINK_DECLARE,
-                              LFSCK_TYPE_NAMESPACE);
-
-               sub_th = thandle_get_sub_by_dt(env, handle,
-                               mdo2mdd(&mdd_obj->mod_obj)->mdd_bottom);
-               rc = lfsck_in_notify(env,
-                                    mdo2mdd(&mdd_obj->mod_obj)->mdd_bottom,
-                                    lr, sub_th);
-       }
 
        return rc;
 }
@@ -1240,7 +1406,7 @@ static inline int mdd_declare_links_del(const struct lu_env *env,
        /* For directory, the linkEA will be removed together
         * with the object. */
        if (!S_ISDIR(mdd_object_type(c)))
-               rc = mdd_declare_links_add(env, c, handle, NULL, MLAO_IGNORE);
+               rc = mdd_declare_links_add(env, c, handle, NULL);
 
        return rc;
 }
@@ -1269,12 +1435,6 @@ static int mdd_declare_link(const struct lu_env *env,
        if (rc != 0)
                return rc;
 
-       if (OBD_FAIL_CHECK(OBD_FAIL_LFSCK_MORE_NLINK)) {
-               rc = mdo_declare_ref_add(env, c, handle);
-               if (rc != 0)
-                       return rc;
-       }
-
        la->la_valid = LA_CTIME | LA_MTIME;
        rc = mdo_declare_attr_set(env, p, la, handle);
        if (rc != 0)
@@ -1285,8 +1445,7 @@ static int mdd_declare_link(const struct lu_env *env,
        if (rc != 0)
                return rc;
 
-       rc = mdd_declare_links_add(env, c, handle, data,
-                       S_ISREG(mdd_object_type(c)) ? MLAO_CHECK : MLAO_IGNORE);
+       rc = mdd_declare_links_add(env, c, handle, data);
        if (rc != 0)
                return rc;
 
@@ -1320,6 +1479,15 @@ static int mdd_link(const struct lu_env *env, struct md_object *tgt_obj,
        if (rc != 0)
                RETURN(rc);
 
+       /*
+        * If we are using project inheritance, we only allow hard link
+        * creation in our tree when the project IDs are the same;
+        * otherwise the tree quota mechanism could be circumvented.
+        */
+       if ((tattr->la_flags & LUSTRE_PROJINHERIT_FL) &&
+           (tattr->la_projid != cattr->la_projid))
+               RETURN(-EXDEV);
+
         handle = mdd_trans_create(env, mdd);
         if (IS_ERR(handle))
                 GOTO(out_pending, rc = PTR_ERR(handle));
@@ -1329,6 +1497,14 @@ static int mdd_link(const struct lu_env *env, struct md_object *tgt_obj,
        LASSERT(ma->ma_attr.la_valid & LA_CTIME);
        la->la_ctime = la->la_mtime = ma->ma_attr.la_ctime;
 
+       /* Note: even this function will change ldata, but it comes from
+        * thread_info, which is completely temporary and only seen in
+        * this function, so we do not need reset ldata once it fails.*/
+       rc = mdd_linkea_prepare(env, mdd_sobj, NULL, NULL, mdo2fid(mdd_tobj),
+                               lname, 0, 0, ldata);
+       if (rc != 0)
+               GOTO(stop, rc);
+
        rc = mdd_declare_link(env, mdd, mdd_tobj, mdd_sobj, lname, handle,
                              la, ldata);
         if (rc)
@@ -1350,12 +1526,6 @@ static int mdd_link(const struct lu_env *env, struct md_object *tgt_obj,
                        GOTO(out_unlock, rc);
        }
 
-       if (OBD_FAIL_CHECK(OBD_FAIL_LFSCK_MORE_NLINK)) {
-               rc = mdo_ref_add(env, mdd_sobj, handle);
-               if (rc != 0)
-                       GOTO(out_unlock, rc);
-       }
-
        *tfid = *mdo2fid(mdd_sobj);
        if (OBD_FAIL_CHECK(OBD_FAIL_LFSCK_DANGLING3))
                tfid->f_oid = cfs_fail_val;
@@ -1374,32 +1544,26 @@ static int mdd_link(const struct lu_env *env, struct md_object *tgt_obj,
 
        la->la_valid = LA_CTIME;
        rc = mdd_update_time(env, mdd_sobj, cattr, la, handle);
-       if (rc == 0) {
-               rc = mdd_linkea_prepare(env, mdd_sobj, NULL, NULL,
-                                       mdo2fid(mdd_tobj), lname, 0, 0,
-                                       ldata);
-               if (rc == 0)
-                       mdd_links_add(env, mdd_sobj, mdo2fid(mdd_tobj),
-                                     lname, handle, ldata, 0);
-               /* The failure of links_add should not cause the link
-                * failure, reset rc here */
-               rc = 0;
-       }
-        EXIT;
+       if (rc == 0)
+               /* Note: The failure of links_add should not cause the
+                * link failure, so do not check return value. */
+               mdd_links_add(env, mdd_sobj, mdo2fid(mdd_tobj),
+                             lname, handle, ldata, 0);
+
+       EXIT;
 out_unlock:
-        mdd_write_unlock(env, mdd_sobj);
-        if (rc == 0)
+       mdd_write_unlock(env, mdd_sobj);
+       if (rc == 0)
                rc = mdd_changelog_ns_store(env, mdd, CL_HARDLINK, 0, mdd_sobj,
                                            mdo2fid(mdd_tobj), NULL, NULL,
                                            lname, NULL, handle);
 stop:
-       mdd_trans_stop(env, mdd, rc, handle);
-
+       rc = mdd_trans_stop(env, mdd, rc, handle);
        if (is_vmalloc_addr(ldata->ld_buf))
                /* if we vmalloced a large buffer drop it */
                lu_buf_free(ldata->ld_buf);
 out_pending:
-        return rc;
+       return rc;
 }
 
 static int mdd_mark_orphan_object(const struct lu_env *env,
@@ -1757,7 +1921,7 @@ cleanup:
        }
 
 stop:
-       mdd_trans_stop(env, mdd, rc, handle);
+       rc = mdd_trans_stop(env, mdd, rc, handle);
 
        return rc;
 }
@@ -1777,9 +1941,11 @@ static int mdd_cd_sanity_check(const struct lu_env *env,
         RETURN(0);
 }
 
-static int mdd_create_data(const struct lu_env *env, struct md_object *pobj,
-                           struct md_object *cobj, const struct md_op_spec *spec,
-                           struct md_attr *ma)
+static int mdd_create_data(const struct lu_env *env,
+                          struct md_object *pobj,
+                          struct md_object *cobj,
+                          const struct md_op_spec *spec,
+                          struct md_attr *ma)
 {
        struct mdd_device *mdd = mdo2mdd(cobj);
        struct mdd_object *mdd_pobj = md2mdd_obj(pobj);
@@ -1811,15 +1977,15 @@ static int mdd_create_data(const struct lu_env *env, struct md_object *pobj,
        /* calling ->ah_make_hint() is used to transfer information from parent */
        mdd_object_make_hint(env, mdd_pobj, son, attr, spec, hint);
 
-        handle = mdd_trans_create(env, mdd);
-        if (IS_ERR(handle))
-                GOTO(out_free, rc = PTR_ERR(handle));
+       handle = mdd_trans_create(env, mdd);
+       if (IS_ERR(handle))
+               GOTO(out_free, rc = PTR_ERR(handle));
 
-        /*
-         * XXX: Setting the lov ea is not locked but setting the attr is locked?
-         * Should this be fixed?
-         */
-       CDEBUG(D_OTHER, "ea %p/%u, cr_flags "LPO64", no_create %u\n",
+       /*
+        * XXX: Setting the lov ea is not locked but setting the attr is locked?
+        * Should this be fixed?
+        */
+       CDEBUG(D_OTHER, "ea %p/%u, cr_flags %#llo, no_create %u\n",
               spec->u.sp_ea.eadata, spec->u.sp_ea.eadatalen,
               spec->sp_cr_flags, spec->no_create);
 
@@ -1852,7 +2018,8 @@ static int mdd_create_data(const struct lu_env *env, struct md_object *pobj,
        rc = mdd_changelog_data_store(env, mdd, CL_LAYOUT, 0, son, handle);
 
 stop:
-       mdd_trans_stop(env, mdd, rc, handle);
+       rc = mdd_trans_stop(env, mdd, rc, handle);
+
 out_free:
        RETURN(rc);
 }
@@ -1965,6 +2132,24 @@ static int mdd_create_sanity_check(const struct lu_env *env,
                check_perm = false;
        }
 
+       if (S_ISDIR(cattr->la_mode) &&
+           unlikely(spec != NULL && spec->sp_cr_flags & MDS_OPEN_HAS_EA) &&
+           spec->u.sp_ea.eadata != NULL && spec->u.sp_ea.eadatalen > 0) {
+               const struct lmv_user_md *lum = spec->u.sp_ea.eadata;
+
+               if (unlikely(le32_to_cpu(lum->lum_magic) != LMV_USER_MAGIC) &&
+                   le32_to_cpu(lum->lum_magic) != LMV_USER_MAGIC_V0) {
+                       rc = -EINVAL;
+                       CERROR("%s: invalid lmv_user_md: magic = %x, "
+                              "stripe_offset = %d, stripe_count = %u: "
+                              "rc = %d\n", mdd2obd_dev(m)->obd_name,
+                               le32_to_cpu(lum->lum_magic),
+                              (int)le32_to_cpu(lum->lum_stripe_offset),
+                              le32_to_cpu(lum->lum_stripe_count), rc);
+                       return rc;
+               }
+       }
+
        rc = mdd_may_create(env, obj, pattr, NULL, check_perm);
        if (rc != 0)
                RETURN(rc);
@@ -1978,6 +2163,16 @@ static int mdd_create_sanity_check(const struct lu_env *env,
                }
        }
 
+       /* Inherit project ID from parent directory */
+       if (pattr->la_flags & LUSTRE_PROJINHERIT_FL) {
+               cattr->la_projid = pattr->la_projid;
+               if (S_ISDIR(cattr->la_mode)) {
+                       cattr->la_flags |= LUSTRE_PROJINHERIT_FL;
+                       cattr->la_valid |= LA_FLAGS;
+               }
+               cattr->la_valid |= LA_PROJID;
+       }
+
        rc = mdd_name_check(m, lname);
        if (rc < 0)
                RETURN(rc);
@@ -2006,7 +2201,7 @@ static int mdd_create_sanity_check(const struct lu_env *env,
         RETURN(rc);
 }
 
-static int mdd_declare_object_create(const struct lu_env *env,
+static int mdd_declare_create_object(const struct lu_env *env,
                                     struct mdd_device *mdd,
                                     struct mdd_object *p, struct mdd_object *c,
                                     struct lu_attr *attr,
@@ -2016,12 +2211,13 @@ static int mdd_declare_object_create(const struct lu_env *env,
                                     struct lu_buf *acl_buf,
                                     struct dt_allocation_hint *hint)
 {
+       const struct lu_buf *buf;
        int rc;
 
-       rc = mdd_declare_object_create_internal(env, p, c, attr, handle, spec,
+       rc = mdd_declare_create_object_internal(env, p, c, attr, handle, spec,
                                                hint);
-        if (rc)
-                GOTO(out, rc);
+       if (rc)
+               GOTO(out, rc);
 
 #ifdef CONFIG_FS_POSIX_ACL
        if (def_acl_buf->lb_len > 0 && S_ISDIR(attr->la_mode)) {
@@ -2051,8 +2247,6 @@ static int mdd_declare_object_create(const struct lu_env *env,
        /* replay case, create LOV EA from client data */
        if (spec->no_create ||
            (spec->sp_cr_flags & MDS_OPEN_HAS_EA && S_ISREG(attr->la_mode))) {
-               const struct lu_buf *buf;
-
                buf = mdd_buf_get_const(env, spec->u.sp_ea.eadata,
                                        spec->u.sp_ea.eadatalen);
                rc = mdo_declare_xattr_set(env, c, buf, XATTR_NAME_LOV, 0,
@@ -2072,6 +2266,16 @@ static int mdd_declare_object_create(const struct lu_env *env,
                 if (rc)
                         GOTO(out, rc);
         }
+
+       if (spec->sp_cr_file_secctx_name != NULL) {
+               buf = mdd_buf_get_const(env, spec->sp_cr_file_secctx,
+                                       spec->sp_cr_file_secctx_size);
+               rc = mdo_declare_xattr_set(env, c, buf,
+                                          spec->sp_cr_file_secctx_name, 0,
+                                          handle);
+               if (rc < 0)
+                       GOTO(out, rc);
+       }
 out:
        return rc;
 }
@@ -2089,7 +2293,7 @@ static int mdd_declare_create(const struct lu_env *env, struct mdd_device *mdd,
 {
        int rc;
 
-       rc = mdd_declare_object_create(env, mdd, p, c, attr, handle, spec,
+       rc = mdd_declare_create_object(env, mdd, p, c, attr, handle, spec,
                                       def_acl_buf, acl_buf, hint);
        if (rc)
                GOTO(out, rc);
@@ -2112,7 +2316,7 @@ static int mdd_declare_create(const struct lu_env *env, struct mdd_device *mdd,
                if (rc != 0)
                        return rc;
 
-               rc = mdd_declare_links_add(env, c, handle, ldata, MLAO_IGNORE);
+               rc = mdd_declare_links_add(env, c, handle, ldata);
                if (rc)
                        return rc;
 
@@ -2175,17 +2379,18 @@ static int mdd_acl_init(const struct lu_env *env, struct mdd_object *pobj,
 /**
  * Create a metadata object and initialize it, set acl, xattr.
  **/
-static int mdd_object_create(const struct lu_env *env, struct mdd_object *pobj,
+static int mdd_create_object(const struct lu_env *env, struct mdd_object *pobj,
                             struct mdd_object *son, struct lu_attr *attr,
                             struct md_op_spec *spec, struct lu_buf *acl_buf,
                             struct lu_buf *def_acl_buf,
                             struct dt_allocation_hint *hint,
                             struct thandle *handle)
 {
-       int                     rc;
+       const struct lu_buf *buf;
+       int rc;
 
        mdd_write_lock(env, son, MOR_TGT_CHILD);
-       rc = mdd_object_create_internal(env, NULL, son, attr, handle, spec,
+       rc = mdd_create_object_internal(env, NULL, son, attr, handle, spec,
                                        hint);
        if (rc)
                GOTO(unlock, rc);
@@ -2217,8 +2422,6 @@ static int mdd_object_create(const struct lu_env *env, struct mdd_object *pobj,
        if (spec->no_create ||
            (S_ISREG(attr->la_mode) && spec->sp_cr_flags & MDS_OPEN_HAS_EA) ||
            S_ISDIR(attr->la_mode)) {
-               const struct lu_buf *buf;
-
                buf = mdd_buf_get_const(env, spec->u.sp_ea.eadata,
                                        spec->u.sp_ea.eadatalen);
                rc = mdo_xattr_set(env, son, buf,
@@ -2254,7 +2457,6 @@ static int mdd_object_create(const struct lu_env *env, struct mdd_object *pobj,
                struct dt_object *dt = mdd_object_child(son);
                const char *target_name = spec->u.sp_symname;
                int sym_len = strlen(target_name);
-               const struct lu_buf *buf;
                loff_t pos = 0;
 
                buf = mdd_buf_get_const(env, target_name, sym_len);
@@ -2268,6 +2470,15 @@ static int mdd_object_create(const struct lu_env *env, struct mdd_object *pobj,
                        GOTO(err_initlized, rc = -EFAULT);
        }
 
+       if (spec->sp_cr_file_secctx_name != NULL) {
+               buf = mdd_buf_get_const(env, spec->sp_cr_file_secctx,
+                                       spec->sp_cr_file_secctx_size);
+               rc = mdo_xattr_set(env, son, buf, spec->sp_cr_file_secctx_name,
+                                  0, handle);
+               if (rc < 0)
+                       GOTO(err_initlized, rc);
+       }
+
 err_initlized:
        if (unlikely(rc != 0)) {
                int rc2;
@@ -2326,16 +2537,56 @@ static int mdd_index_delete(const struct lu_env *env,
        if (rc)
                GOTO(stop, rc);
 stop:
-       mdd_trans_stop(env, mdd, rc, handle);
+       rc = mdd_trans_stop(env, mdd, rc, handle);
+
        RETURN(rc);
 }
 
-/*
+/**
  * Create object and insert it into namespace.
+ *
+ * Two operations have to be performed:
+ *
+ *  - an allocation of a new object (->do_create()), and
+ *  - an insertion into a parent index (->dio_insert()).
+ *
+ * Due to locking, operation order is not important, when both are
+ * successful, *but* error handling cases are quite different:
+ *
+ *  - if insertion is done first, and following object creation fails,
+ *  insertion has to be rolled back, but this operation might fail
+ *  also leaving us with dangling index entry.
+ *
+ *  - if creation is done first, is has to be undone if insertion fails,
+ *  leaving us with leaked space, which is not good but not fatal.
+ *
+ * It seems that creation-first is simplest solution, but it is sub-optimal
+ * in the frequent
+ *
+ * $ mkdir foo
+ * $ mkdir foo
+ *
+ * case, because second mkdir is bound to create object, only to
+ * destroy it immediately.
+ *
+ * To avoid this follow local file systems that do double lookup:
+ *
+ * 0. lookup -> -EEXIST (mdd_create_sanity_check())
+ * 1. create            (mdd_create_object_internal())
+ * 2. insert            (__mdd_index_insert(), lookup again)
+ *
+ * \param[in] pobj     parent object
+ * \param[in] lname    name of child being created
+ * \param[in,out] child        child object being created
+ * \param[in] spec     additional create parameters
+ * \param[in] ma       attributes for new child object
+ *
+ * \retval             0 on success
+ * \retval             negative errno on failure
  */
 static int mdd_create(const struct lu_env *env, struct md_object *pobj,
                      const struct lu_name *lname, struct md_object *child,
-                     struct md_op_spec *spec, struct md_attrma)
+                     struct md_op_spec *spec, struct md_attr *ma)
 {
        struct mdd_thread_info  *info = mdd_env_info(env);
        struct lu_attr          *la = &info->mti_la_for_fix;
@@ -2354,42 +2605,6 @@ static int mdd_create(const struct lu_env *env, struct md_object *pobj,
        int                      rc2;
        ENTRY;
 
-        /*
-         * Two operations have to be performed:
-         *
-         *  - an allocation of a new object (->do_create()), and
-         *
-         *  - an insertion into a parent index (->dio_insert()).
-         *
-         * Due to locking, operation order is not important, when both are
-         * successful, *but* error handling cases are quite different:
-         *
-         *  - if insertion is done first, and following object creation fails,
-         *  insertion has to be rolled back, but this operation might fail
-         *  also leaving us with dangling index entry.
-         *
-         *  - if creation is done first, is has to be undone if insertion
-         *  fails, leaving us with leaked space, which is neither good, nor
-         *  fatal.
-         *
-         * It seems that creation-first is simplest solution, but it is
-         * sub-optimal in the frequent
-         *
-         *         $ mkdir foo
-         *         $ mkdir foo
-         *
-         * case, because second mkdir is bound to create object, only to
-         * destroy it immediately.
-         *
-         * To avoid this follow local file systems that do double lookup:
-         *
-         *     0. lookup -> -EEXIST (mdd_create_sanity_check())
-         *
-         *     1. create            (mdd_object_create_internal())
-         *
-         *     2. insert            (__mdd_index_insert(), lookup again)
-         */
-
        rc = mdd_la_get(env, mdd_pobj, pattr);
        if (rc != 0)
                RETURN(rc);
@@ -2399,15 +2614,16 @@ static int mdd_create(const struct lu_env *env, struct md_object *pobj,
        if (rc)
                RETURN(rc);
 
-        if (OBD_FAIL_CHECK(OBD_FAIL_MDS_DQACQ_NET))
+       if (OBD_FAIL_CHECK(OBD_FAIL_MDS_DQACQ_NET))
                GOTO(out_free, rc = -EINPROGRESS);
 
        handle = mdd_trans_create(env, mdd);
        if (IS_ERR(handle))
                GOTO(out_free, rc = PTR_ERR(handle));
 
-       acl_buf.lb_buf = info->mti_xattr_buf;
-       acl_buf.lb_len = sizeof(info->mti_xattr_buf);
+       lu_buf_check_and_alloc(&info->mti_xattr_buf,
+                              mdd->mdd_dt_conf.ddp_max_ea_size);
+       acl_buf = info->mti_xattr_buf;
        def_acl_buf.lb_buf = info->mti_key;
        def_acl_buf.lb_len = sizeof(info->mti_key);
        rc = mdd_acl_init(env, mdd_pobj, attr, &def_acl_buf, &acl_buf);
@@ -2432,20 +2648,21 @@ static int mdd_create(const struct lu_env *env, struct md_object *pobj,
        rc = mdd_declare_create(env, mdd, mdd_pobj, son, lname, attr,
                                handle, spec, ldata, &def_acl_buf, &acl_buf,
                                hint);
-        if (rc)
-                GOTO(out_stop, rc);
+       if (rc)
+               GOTO(out_stop, rc);
 
-        rc = mdd_trans_start(env, mdd, handle);
-        if (rc)
-                GOTO(out_stop, rc);
+       rc = mdd_trans_start(env, mdd, handle);
+       if (rc)
+               GOTO(out_stop, rc);
 
-       rc = mdd_object_create(env, mdd_pobj, son, attr, spec, &acl_buf,
+       rc = mdd_create_object(env, mdd_pobj, son, attr, spec, &acl_buf,
                               &def_acl_buf, hint, handle);
        if (rc != 0)
                GOTO(out_stop, rc);
 
        if (unlikely(spec->sp_cr_flags & MDS_OPEN_VOLATILE)) {
                mdd_write_lock(env, son, MOR_TGT_CHILD);
+               son->mod_flags |= VOLATILE_OBJ;
                rc = __mdd_orphan_add(env, son, handle);
                GOTO(out_volatile, rc);
        } else {
@@ -2468,8 +2685,6 @@ static int mdd_create(const struct lu_env *env, struct md_object *pobj,
        EXIT;
 err_insert:
        if (rc != 0) {
-               int rc2;
-
                if (spec->sp_cr_flags & MDS_OPEN_VOLATILE)
                        rc2 = __mdd_orphan_del(env, son, handle);
                else
@@ -2601,6 +2816,17 @@ static int mdd_rename_sanity_check(const struct lu_env *env,
         * before mdd_rename and enable MDS_PERM_BYPASS. */
        LASSERT(sobj);
 
+       /*
+        * If we are using project inheritance, we only allow renames
+        * into our tree when the project IDs are the same; otherwise
+        * tree quota mechanism would be circumvented.
+        */
+       if (((tpattr->la_flags & LUSTRE_PROJINHERIT_FL) &&
+           tpattr->la_projid != cattr->la_projid) ||
+           ((pattr->la_flags & LUSTRE_PROJINHERIT_FL) &&
+           (pattr->la_projid != tpattr->la_projid)))
+               RETURN(-EXDEV);
+
        rc = mdd_may_delete(env, src_pobj, pattr, sobj, cattr, NULL, 1, 0);
        if (rc)
                RETURN(rc);
@@ -2691,8 +2917,7 @@ static int mdd_declare_rename(const struct lu_env *env,
        if (rc)
                return rc;
 
-       rc = mdd_declare_links_add(env, mdd_sobj, handle, ldata,
-               S_ISREG(mdd_object_type(mdd_sobj)) ? MLAO_CHECK : MLAO_IGNORE);
+       rc = mdd_declare_links_add(env, mdd_sobj, handle, ldata);
        if (rc)
                return rc;
 
@@ -2823,8 +3048,12 @@ static int mdd_rename(const struct lu_env *env,
                 GOTO(out_pending, rc = PTR_ERR(handle));
 
        memset(ldata, 0, sizeof(*ldata));
-       mdd_linkea_prepare(env, mdd_sobj, mdd_object_fid(mdd_spobj), lsname,
-                          mdd_object_fid(mdd_tpobj), ltname, 1, 0, ldata);
+       rc = mdd_linkea_prepare(env, mdd_sobj, mdd_object_fid(mdd_spobj),
+                               lsname, mdd_object_fid(mdd_tpobj), ltname,
+                               1, 0, ldata);
+       if (rc)
+               GOTO(stop, rc);
+
        rc = mdd_declare_rename(env, mdd, mdd_spobj, mdd_tpobj, mdd_sobj,
                                mdd_tobj, lsname, ltname, ma, ldata, handle);
        if (rc)
@@ -3038,7 +3267,7 @@ cleanup:
                                            ltname, lsname, handle);
 
 stop:
-       mdd_trans_stop(env, mdd, rc, handle);
+       rc = mdd_trans_stop(env, mdd, rc, handle);
 
 out_pending:
        mdd_object_put(env, mdd_sobj);
@@ -3103,8 +3332,7 @@ static int mdd_linkea_update_child_internal(const struct lu_env *env,
                linkea_entry_pack(ldata.ld_lee, &lname,
                                  mdd_object_fid(newparent));
                if (declare)
-                       rc = mdd_declare_links_add(env, child, handle, &ldata,
-                                                  MLAO_IGNORE);
+                       rc = mdd_declare_links_add(env, child, handle, &ldata);
                else
                        rc = mdd_links_write(env, child, &ldata, handle);
                break;
@@ -3151,11 +3379,10 @@ static int mdd_update_linkea_internal(const struct lu_env *env,
        ENTRY;
 
        LASSERT(ldata->ld_buf != NULL);
+       LASSERT(ldata->ld_leh != NULL);
 
-again:
        /* If it is mulitple links file, we need update the name entry for
         * all parent */
-       LASSERT(ldata->ld_leh != NULL);
        ldata->ld_lee = (struct link_ea_entry *)(ldata->ld_leh + 1);
        for (count = 0; count < ldata->ld_leh->leh_reccount; count++) {
                struct mdd_device       *mdd = mdo2mdd(&mdd_sobj->mod_obj);
@@ -3170,16 +3397,13 @@ again:
                        CWARN("%s: cannot find obj "DFID": rc = %ld\n",
                              mdd2obd_dev(mdd)->obd_name, PFID(&fid),
                              PTR_ERR(pobj));
-                       linkea_del_buf(ldata, &lname);
-                       goto again;
+                       continue;
                }
 
                if (!mdd_object_exists(pobj)) {
                        CDEBUG(D_INFO, "%s: obj "DFID" does not exist\n",
                              mdd2obd_dev(mdd)->obd_name, PFID(&fid));
-                       linkea_del_buf(ldata, &lname);
-                       mdd_object_put(env, pobj);
-                       goto again;
+                       goto next_put;
                }
 
                if (pobj == mdd_pobj &&
@@ -3189,9 +3413,7 @@ again:
                        CDEBUG(D_INFO, "%s: skip its own %s: "DFID"\n",
                              mdd2obd_dev(mdd)->obd_name, child_name->ln_name,
                              PFID(&fid));
-                       linkea_del_buf(ldata, &lname);
-                       mdd_object_put(env, pobj);
-                       goto again;
+                       goto next_put;
                }
 
                CDEBUG(D_INFO, "%s: update "DFID" with "DNAME":"DFID"\n",
@@ -3227,9 +3449,11 @@ again:
                                /* lnamelen is too big(> NAME_MAX + 16),
                                 * something wrong about this linkea, let's
                                 * skip it */
-                               linkea_del_buf(ldata, &lname);
-                               mdd_object_put(env, pobj);
-                               goto again;
+                               CWARN("%s: the name %.*s is too long under "
+                                     DFID"\n", mdd2obd_dev(mdd)->obd_name,
+                                     lname.ln_namelen, lname.ln_name,
+                                     PFID(&fid));
+                               goto next_put;
                        }
 
                        /* Note: lname might be without \0 at the end, see
@@ -3243,14 +3467,9 @@ again:
                         * it might be packed into the RPC buffer. */
                        rc = mdd_lookup(env, &pobj->mod_obj, &lname,
                                        &info->mti_fid, NULL);
-                       if (rc < 0 ||
-                           !lu_fid_eq(&info->mti_fid,
-                                       mdd_object_fid(mdd_sobj))) {
-                               /* skip invalid linkea entry */
-                               linkea_del_buf(ldata, &lname);
-                               mdd_object_put(env, pobj);
-                               goto again;
-                       }
+                       if (rc < 0 || !lu_fid_eq(&info->mti_fid,
+                                                mdd_object_fid(mdd_sobj)))
+                               GOTO(next_put, rc == -ENOENT ? 0 : rc);
 
                        rc = __mdd_index_delete(env, pobj, tmp_name, 0, handle);
                        if (rc != 0)
@@ -3300,7 +3519,6 @@ static int mdd_migrate_xattrs(const struct lu_env *env,
        int                     list_xsize;
        struct lu_buf           list_xbuf;
        int                     rc;
-       int                     rc1;
 
        /* retrieve xattr list from the old object */
        list_xsize = mdo_xattr_list(env, mdd_sobj, &LU_BUF_NULL);
@@ -3324,8 +3542,7 @@ static int mdd_migrate_xattrs(const struct lu_env *env,
        xname = list_xbuf.lb_buf;
        while (rem > 0) {
                xlen = strnlen(xname, rem - 1) + 1;
-               if (strcmp(XATTR_NAME_LINK, xname) == 0 ||
-                   strcmp(XATTR_NAME_LMA, xname) == 0 ||
+               if (strcmp(XATTR_NAME_LMA, xname) == 0 ||
                    strcmp(XATTR_NAME_LMV, xname) == 0)
                        goto next;
 
@@ -3368,16 +3585,25 @@ static int mdd_migrate_xattrs(const struct lu_env *env,
                if (rc != 0)
                        GOTO(stop_trans, rc);
 
+again:
                rc = mdo_xattr_set(env, mdd_tobj, &xbuf, xname, 0, handle);
                if (rc == -EEXIST)
                        GOTO(stop_trans, rc = 0);
 
+               if (unlikely(rc == -ENOSPC &&
+                            strcmp(xname, XATTR_NAME_LINK) == 0)) {
+                       rc = linkea_overflow_shrink(
+                                       (struct linkea_data *)(xbuf.lb_buf));
+                       if (likely(rc > 0)) {
+                               xbuf.lb_len = rc;
+                               goto again;
+                       }
+               }
+
                if (rc != 0)
                        GOTO(stop_trans, rc);
 stop_trans:
-               rc1 = mdd_trans_stop(env, mdd, rc, handle);
-               if (rc == 0)
-                       rc = rc1;
+               rc = mdd_trans_stop(env, mdd, rc, handle);
                if (rc != 0)
                        GOTO(out, rc);
 next:
@@ -3403,7 +3629,7 @@ static int mdd_declare_migrate_create(const struct lu_env *env,
        int                     rc;
        int                     mgr_easize;
 
-       rc = mdd_declare_object_create_internal(env, mdd_pobj, mdd_tobj, la,
+       rc = mdd_declare_create_object_internal(env, mdd_pobj, mdd_tobj, la,
                                                handle, spec, NULL);
        if (rc != 0)
                return rc;
@@ -3424,8 +3650,7 @@ static int mdd_declare_migrate_create(const struct lu_env *env,
                if (rc != 0)
                        return rc;
        } else if (S_ISDIR(la->la_mode) && ldata != NULL) {
-               rc = mdd_declare_links_add(env, mdd_tobj, handle, ldata,
-                                          MLAO_IGNORE);
+               rc = mdd_declare_links_add(env, mdd_tobj, handle, ldata);
                if (rc != 0)
                        return rc;
        }
@@ -3465,7 +3690,7 @@ static int mdd_migrate_create(const struct lu_env *env,
        struct md_op_spec       *spec = &info->mti_spec;
        struct lu_buf           lmm_buf = { NULL };
        struct lu_buf           link_buf = { NULL };
-       const struct lu_buf     *buf;
+       struct lu_buf            mgr_buf;
        struct thandle          *handle;
        struct lmv_mds_md_v1    *mgr_ea;
        struct lu_attr          *la_flag = MDD_ENV_VAR(env, la_for_fix);
@@ -3480,6 +3705,8 @@ static int mdd_migrate_create(const struct lu_env *env,
        spec->sp_cr_lookup = 0;
        spec->sp_feat = &dt_directory_features;
        if (S_ISLNK(la->la_mode)) {
+               const struct lu_buf *buf;
+
                buf = lu_buf_check_and_alloc(
                                &mdd_env_info(env)->mti_big_buf,
                                la->la_size + 1);
@@ -3506,7 +3733,7 @@ static int mdd_migrate_create(const struct lu_env *env,
                        spec->sp_cr_flags |= MDS_OPEN_HAS_EA;
                }
        } else if (S_ISDIR(la->la_mode)) {
-               rc = mdd_links_read(env, mdd_sobj, ldata);
+               rc = mdd_links_read_with_rec(env, mdd_sobj, ldata);
                if (rc == -ENODATA) {
                        /* ignore the non-linkEA error */
                        ldata = NULL;
@@ -3516,7 +3743,11 @@ static int mdd_migrate_create(const struct lu_env *env,
                        RETURN(rc);
        }
 
-       mgr_ea = (struct lmv_mds_md_v1 *)info->mti_xattr_buf;
+       mgr_easize = lmv_mds_md_size(2, LMV_MAGIC_V1);
+       lu_buf_check_and_alloc(&info->mti_xattr_buf, mgr_easize);
+       mgr_buf.lb_buf = info->mti_xattr_buf.lb_buf;
+       mgr_buf.lb_len = mgr_easize;
+       mgr_ea = mgr_buf.lb_buf;
        memset(mgr_ea, 0, sizeof(*mgr_ea));
        mgr_ea->lmv_magic = cpu_to_le32(LMV_MAGIC_V1);
        mgr_ea->lmv_stripe_count = cpu_to_le32(2);
@@ -3535,10 +3766,8 @@ static int mdd_migrate_create(const struct lu_env *env,
         * the last step of migration, so we set th_local = 1 to avoid
         * update last rcvd for this transaction */
        handle->th_local = 1;
-       rc = mdd_declare_migrate_create(env, mdd_pobj, mdd_sobj, mdd_tobj,
-                                       spec, la,
-                                       (union lmv_mds_md *)info->mti_xattr_buf,
-                                       ldata, handle);
+       rc = mdd_declare_migrate_create(env, mdd_pobj, mdd_sobj, mdd_tobj, spec,
+                                       la, mgr_buf.lb_buf, ldata, handle);
        if (rc != 0)
                GOTO(stop_trans, rc);
 
@@ -3550,7 +3779,7 @@ static int mdd_migrate_create(const struct lu_env *env,
        la->la_valid &= ~LA_NLINK;
 
        /* create the target object */
-       rc = mdd_object_create(env, mdd_pobj, mdd_tobj, la, spec, NULL, NULL,
+       rc = mdd_create_object(env, mdd_pobj, mdd_tobj, la, spec, NULL, NULL,
                               hint, handle);
        if (rc != 0)
                GOTO(stop_trans, rc);
@@ -3564,9 +3793,7 @@ static int mdd_migrate_create(const struct lu_env *env,
        /* Set MIGRATE EA on the source inode, so once the migration needs
         * to be re-done during failover, the re-do process can locate the
         * target object which is already being created. */
-       mgr_easize = lmv_mds_md_size(2, LMV_MAGIC_V1);
-       buf = mdd_buf_get_const(env, mgr_ea, mgr_easize);
-       rc = mdo_xattr_set(env, mdd_sobj, buf, XATTR_NAME_LMV, 0, handle);
+       rc = mdo_xattr_set(env, mdd_sobj, &mgr_buf, XATTR_NAME_LMV, 0, handle);
        if (rc != 0)
                GOTO(stop_trans, rc);
 
@@ -3579,13 +3806,8 @@ static int mdd_migrate_create(const struct lu_env *env,
        la_flag->la_flags = la->la_flags | LUSTRE_IMMUTABLE_FL;
        rc = mdo_attr_set(env, mdd_sobj, la_flag, handle);
 stop_trans:
-       if (handle != NULL) {
-               int rc1;
-
-               rc1 = mdd_trans_stop(env, mdd, rc, handle);
-               if (rc == 0)
-                       rc = rc1;
-       }
+       if (handle != NULL)
+               rc = mdd_trans_stop(env, mdd, rc, handle);
 out_free:
        if (lmm_buf.lb_buf != NULL)
                OBD_FREE(lmm_buf.lb_buf, lmm_buf.lb_len);
@@ -3602,9 +3824,9 @@ static int mdd_migrate_entries(const struct lu_env *env,
        struct thandle          *handle;
        struct dt_it            *it;
        const struct dt_it_ops  *iops;
-       int                      rc;
        int                      result;
        struct lu_dirent        *ent;
+       int                      rc;
        ENTRY;
 
        OBD_ALLOC(ent, NAME_MAX + sizeof(*ent) + 1);
@@ -3637,10 +3859,8 @@ static int mdd_migrate_entries(const struct lu_env *env,
                struct mdd_object       *child;
                char                    *name = mdd_env_info(env)->mti_key;
                int                     len;
-               int                     recsize;
                int                     is_dir;
                bool                    target_exist = false;
-               int                     rc1;
 
                len = iops->key_size(env, it);
                if (len == 0)
@@ -3656,7 +3876,6 @@ static int mdd_migrate_entries(const struct lu_env *env,
                }
 
                fid_le_to_cpu(&ent->lde_fid, &ent->lde_fid);
-               recsize = le16_to_cpu(ent->lde_reclen);
 
                /* Insert new fid with target name into target dir */
                if ((ent->lde_namelen == 1 && ent->lde_name[0] == '.') ||
@@ -3774,10 +3993,7 @@ static int mdd_migrate_entries(const struct lu_env *env,
 out_put:
                mdd_write_unlock(env, child);
                mdd_object_put(env, child);
-               rc1 = mdd_trans_stop(env, mdd, rc, handle);
-               if (rc == 0)
-                       rc = rc1;
-
+               rc = mdd_trans_stop(env, mdd, rc, handle);
                if (rc != 0)
                        GOTO(out, rc);
 next:
@@ -3880,7 +4096,7 @@ static int mdd_declare_migrate_update_name(const struct lu_env *env,
        if (rc != 0)
                return rc;
 
-       rc = mdd_declare_links_add(env, mdd_tobj, handle, NULL, MLAO_IGNORE);
+       rc = mdd_declare_links_add(env, mdd_tobj, handle, NULL);
        if (rc != 0)
                return rc;
 
@@ -4022,12 +4238,6 @@ static int mdd_migrate_update_name(const struct lu_env *env,
        if (rc != 0)
                GOTO(stop_trans, rc);
 
-       linkea_add_buf(ldata, lname, mdd_object_fid(mdd_pobj));
-       rc = mdd_links_add(env, mdd_tobj, mdo2fid(mdd_pobj), lname, handle,
-                          ldata, 1);
-       if (rc != 0)
-               GOTO(stop_trans, rc);
-
        mdd_write_lock(env, mdd_sobj, MOR_TGT_CHILD);
 
        mdd_sobj->mod_flags |= DEAD_OBJ;
@@ -4072,7 +4282,7 @@ out_unlock:
        mdd_write_unlock(env, mdd_sobj);
 
 stop_trans:
-       mdd_trans_stop(env, mdd, rc, handle);
+       rc = mdd_trans_stop(env, mdd, rc, handle);
 
        RETURN(rc);
 }
@@ -4169,6 +4379,12 @@ static int mdd_migrate_sanity_check(const struct lu_env *env,
        /* If there are still links locally, then the file will not be
         * migrated. */
        LASSERT(ldata->ld_leh != NULL);
+
+       /* If the linkEA is overflow, then means there are some unknown name
+        * entries under unknown parents, that will prevent the migration. */
+       if (unlikely(ldata->ld_leh->leh_overflow_time))
+               RETURN(1);
+
        ldata->ld_lee = (struct link_ea_entry *)(ldata->ld_leh + 1);
        for (count = 0; count < ldata->ld_leh->leh_reccount; count++) {
                struct lu_name          lname;
@@ -4217,7 +4433,8 @@ static int mdd_migrate(const struct lu_env *env, struct md_object *pobj,
         * the file is being opened by someone else right now */
        mdd_read_lock(env, mdd_sobj, MOR_SRC_CHILD);
        if (mdd_sobj->mod_count > 0) {
-               CERROR("%s: "DFID"%s is already opened count %d: rc = %d\n",
+               CDEBUG(D_OTHER,
+                      "%s: "DFID"%s is already opened count %d: rc = %d\n",
                       mdd2obd_dev(mdd)->obd_name,
                       PFID(mdd_object_fid(mdd_sobj)), lname->ln_name,
                       mdd_sobj->mod_count, -EBUSY);