Whamcloud - gitweb
LU-11146 lustre: fix setstripe for specific osts upon dir
[fs/lustre-release.git] / lustre / lod / lod_object.c
index 7a5c0fb..91b901b 100644 (file)
@@ -949,7 +949,7 @@ static int lod_index_try(const struct lu_env *env, struct dt_object *dt,
        LASSERT(next->do_ops);
        LASSERT(next->do_ops->do_index_try);
 
-       rc = lod_load_striping_locked(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc != 0)
                RETURN(rc);
 
@@ -1085,6 +1085,18 @@ int lod_obj_for_each_stripe(const struct lu_env *env, struct lod_object *lo,
                    data->locd_comp_skip_cb(env, lo, i, data))
                        continue;
 
+               if (data->locd_comp_cb) {
+                       rc = data->locd_comp_cb(env, lo, i, data);
+                       if (rc)
+                               RETURN(rc);
+               }
+
+               /* could used just to do sth about component, not each
+                * stripes
+                */
+               if (!data->locd_stripe_cb)
+                       continue;
+
                LASSERT(lod_comp->llc_stripe_count > 0);
                for (j = 0; j < lod_comp->llc_stripe_count; j++) {
                        struct dt_object *dt = lod_comp->llc_stripe[j];
@@ -1219,7 +1231,7 @@ static int lod_declare_attr_set(const struct lu_env *env,
         * is being initialized as we don't need this information till
         * few specific cases like destroy, chown
         */
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc)
                RETURN(rc);
 
@@ -1316,7 +1328,7 @@ static int lod_attr_set(const struct lu_env *env,
         * the in-memory striping information has been freed in lod_xattr_set()
         * due to layout change. It has to load stripe here again. It only
         * changes flags of layout so declare_attr_set() is still accurate */
-       rc = lod_load_striping_locked(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc)
                RETURN(rc);
 
@@ -1647,6 +1659,8 @@ int lod_parse_dir_striping(const struct lu_env *env, struct lod_object *lo,
        int                     rc = 0;
        ENTRY;
 
+       LASSERT(mutex_is_locked(&lo->ldo_layout_mutex));
+
        if (le32_to_cpu(lmv1->lmv_hash_type) & LMV_HASH_FLAG_MIGRATION)
                RETURN(0);
 
@@ -1705,7 +1719,7 @@ out:
        lo->ldo_dir_stripe_count = le32_to_cpu(lmv1->lmv_stripe_count);
        lo->ldo_dir_stripes_allocated = le32_to_cpu(lmv1->lmv_stripe_count);
        if (rc != 0)
-               lod_object_free_striping(env, lo);
+               lod_striping_free_nolock(env, lo);
 
        RETURN(rc);
 }
@@ -2006,11 +2020,12 @@ static int lod_prep_md_striped_create(const struct lu_env *env,
                stripe[i] = dto;
        }
 
-       lo->ldo_dir_stripe_loaded = 1;
        lo->ldo_dir_striped = 1;
        lo->ldo_stripe = stripe;
        lo->ldo_dir_stripe_count = i;
        lo->ldo_dir_stripes_allocated = stripe_count;
+       smp_mb();
+       lo->ldo_dir_stripe_loaded = 1;
 
        if (lo->ldo_dir_stripe_count == 0)
                GOTO(out_put, rc = -ENOSPC);
@@ -2081,7 +2096,7 @@ static int lod_declare_xattr_set_lmv(const struct lu_env *env,
        if (rc != 0) {
                /* failed to create striping, let's reset
                 * config so that others don't get confused */
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
                GOTO(out, rc);
        }
 out:
@@ -2137,7 +2152,7 @@ static int lod_dir_declare_xattr_set(const struct lu_env *env,
                RETURN(0);
 
        /* set xattr to each stripes, if needed */
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc != 0)
                RETURN(rc);
 
@@ -2234,7 +2249,7 @@ static int lod_replace_parent_fid(const struct lu_env *env,
        LASSERT(S_ISREG(dt->do_lu.lo_header->loh_attr));
 
        /* set xattr to each stripes, if needed */
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc != 0)
                RETURN(rc);
 
@@ -2495,7 +2510,7 @@ static int lod_declare_layout_set(const struct lu_env *env,
 
                if (flags & LCME_FL_INIT) {
                        if (changed)
-                               lod_object_free_striping(env, lo);
+                               lod_striping_free(env, lo);
                        RETURN(-EINVAL);
                }
 
@@ -2685,7 +2700,6 @@ static int lod_declare_modify_layout(const struct lu_env *env,
 {
        struct lod_device *d = lu2lod_dev(dt->do_lu.lo_dev);
        struct lod_object *lo = lod_dt_obj(dt);
-       struct dt_object *next = dt_object_child(&lo->ldo_obj);
        char *op;
        int rc, len = strlen(XATTR_LUSTRE_LOV);
        ENTRY;
@@ -2699,8 +2713,7 @@ static int lod_declare_modify_layout(const struct lu_env *env,
        }
        len++;
 
-       dt_write_lock(env, next, 0);
-       rc = lod_load_striping_locked(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc)
                GOTO(unlock, rc);
 
@@ -2725,8 +2738,7 @@ static int lod_declare_modify_layout(const struct lu_env *env,
        }
 unlock:
        if (rc)
-               lod_object_free_striping(env, lo);
-       dt_write_unlock(env, next);
+               lod_striping_free(env, lo);
 
        RETURN(rc);
 }
@@ -2924,9 +2936,7 @@ static int lod_declare_layout_merge(const struct lu_env *env,
        if ((le16_to_cpu(lcm->lcm_flags) & LCM_FL_FLR_MASK) == LCM_FL_NONE)
                lcm->lcm_flags = cpu_to_le32(LCM_FL_RDONLY);
 
-       LASSERT(dt_write_locked(env, dt_object_child(dt)));
-       lod_object_free_striping(env, lo);
-       rc = lod_parse_striping(env, lo, buf);
+       rc = lod_striping_reload(env, lo, buf);
        if (rc)
                GOTO(out, rc);
 
@@ -2953,8 +2963,7 @@ static int lod_declare_layout_split(const struct lu_env *env,
        lod_obj_inc_layout_gen(lo);
        lcm->lcm_layout_gen = cpu_to_le32(lo->ldo_layout_gen);
 
-       lod_object_free_striping(env, lo);
-       rc = lod_parse_striping(env, lo, mbuf);
+       rc = lod_striping_reload(env, lo, mbuf);
        if (rc)
                RETURN(rc);
 
@@ -3166,6 +3175,7 @@ static int lod_xattr_set_lov_on_dir(const struct lu_env *env,
        lum = buf->lb_buf;
 
        switch (lum->lmm_magic) {
+       case LOV_USER_MAGIC_SPECIFIC:
        case LOV_USER_MAGIC_V3:
                v3 = buf->lb_buf;
                if (v3->lmm_pool_name[0] != '\0')
@@ -3609,7 +3619,7 @@ static int lod_generate_and_set_lovea(const struct lu_env *env,
        LASSERT(lo);
 
        if (lo->ldo_comp_cnt == 0) {
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
                rc = lod_sub_xattr_del(env, next, XATTR_NAME_LOV, th);
                RETURN(rc);
        }
@@ -3736,7 +3746,7 @@ static int lod_layout_del(const struct lu_env *env, struct dt_object *dt,
        EXIT;
 out:
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        return rc;
 }
 
@@ -3855,7 +3865,7 @@ static int lod_xattr_set(const struct lu_env *env,
                 * defines striping, then create() does the work */
                if (fl & LU_XATTR_REPLACE) {
                        /* free stripes, then update disk */
-                       lod_object_free_striping(env, lod_dt_obj(dt));
+                       lod_striping_free(env, lod_dt_obj(dt));
 
                        rc = lod_sub_xattr_set(env, next, buf, name, fl, th);
                } else if (dt_object_remote(dt)) {
@@ -3923,7 +3933,7 @@ static int lod_declare_xattr_del(const struct lu_env *env,
                RETURN(0);
 
        /* set xattr to each stripes, if needed */
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc != 0)
                RETURN(rc);
 
@@ -3959,7 +3969,7 @@ static int lod_xattr_del(const struct lu_env *env, struct dt_object *dt,
        ENTRY;
 
        if (!strcmp(name, XATTR_NAME_LOV))
-               lod_object_free_striping(env, lod_dt_obj(dt));
+               lod_striping_free(env, lod_dt_obj(dt));
 
        rc = lod_sub_xattr_del(env, next, name, th);
        if (rc != 0 || !S_ISDIR(dt->do_lu.lo_header->loh_attr))
@@ -3996,6 +4006,49 @@ static inline int lod_object_will_be_striped(int is_reg, const struct lu_fid *fi
        return (is_reg && fid_seq(fid) != FID_SEQ_LOCAL_FILE);
 }
 
+/**
+ * Copy OST list from layout provided by user.
+ *
+ * \param[in] lod_comp         layout_component to be filled
+ * \param[in] v3               LOV EA V3 user data
+ *
+ * \retval             0 on success
+ * \retval             negative if failed
+ */
+int lod_comp_copy_ost_lists(struct lod_layout_component *lod_comp,
+                           struct lov_user_md_v3 *v3)
+{
+       int j;
+
+       ENTRY;
+
+       if (v3->lmm_stripe_offset == LOV_OFFSET_DEFAULT)
+               v3->lmm_stripe_offset = v3->lmm_objects[0].l_ost_idx;
+
+       if (lod_comp->llc_ostlist.op_array) {
+               if (lod_comp->llc_ostlist.op_count ==
+                                       v3->lmm_stripe_count)
+                       goto skip;
+               OBD_FREE(lod_comp->llc_ostlist.op_array,
+                        lod_comp->llc_ostlist.op_size);
+       }
+
+       /* copy ost list from lmm */
+       lod_comp->llc_ostlist.op_count = v3->lmm_stripe_count;
+       lod_comp->llc_ostlist.op_size = v3->lmm_stripe_count * sizeof(__u32);
+       OBD_ALLOC(lod_comp->llc_ostlist.op_array,
+                 lod_comp->llc_ostlist.op_size);
+       if (!lod_comp->llc_ostlist.op_array)
+               RETURN(-ENOMEM);
+skip:
+       for (j = 0; j < v3->lmm_stripe_count; j++) {
+               lod_comp->llc_ostlist.op_array[j] =
+                       v3->lmm_objects[j].l_ost_idx;
+       }
+
+       RETURN(0);
+}
+
 
 /**
  * Get default striping.
@@ -4036,13 +4089,19 @@ static int lod_get_default_lov_striping(const struct lu_env *env,
        } else if (v1->lmm_magic == __swab32(LOV_USER_MAGIC_V3)) {
                v3 = (struct lov_user_md_v3 *)v1;
                lustre_swab_lov_user_md_v3(v3);
+       } else if (v1->lmm_magic == __swab32(LOV_USER_MAGIC_SPECIFIC)) {
+               v3 = (struct lov_user_md_v3 *)v1;
+               lustre_swab_lov_user_md_v3(v3);
+               lustre_swab_lov_user_md_objects(v3->lmm_objects,
+                                               v3->lmm_stripe_count);
        } else if (v1->lmm_magic == __swab32(LOV_USER_MAGIC_COMP_V1)) {
                comp_v1 = (struct lov_comp_md_v1 *)v1;
                lustre_swab_lov_comp_md_v1(comp_v1);
        }
 
        if (v1->lmm_magic != LOV_MAGIC_V3 && v1->lmm_magic != LOV_MAGIC_V1 &&
-           v1->lmm_magic != LOV_MAGIC_COMP_V1)
+           v1->lmm_magic != LOV_MAGIC_COMP_V1 &&
+           v1->lmm_magic != LOV_USER_MAGIC_SPECIFIC)
                RETURN(-ENOTSUPP);
 
        if (v1->lmm_magic == LOV_MAGIC_COMP_V1) {
@@ -4113,6 +4172,12 @@ static int lod_get_default_lov_striping(const struct lu_env *env,
                                pool = v3->lmm_pool_name;
                }
                lod_set_def_pool(lds, i, pool);
+               if (v1->lmm_magic == LOV_USER_MAGIC_SPECIFIC) {
+                       v3 = (struct lov_user_md_v3 *)v1;
+                       rc = lod_comp_copy_ost_lists(lod_comp, v3);
+                       if (rc)
+                               RETURN(rc);
+               }
        }
 
        lds->lds_def_striping_set = 1;
@@ -4231,6 +4296,17 @@ static void lod_striping_from_default(struct lod_object *lo,
                                lod_obj_set_pool(lo, i, def_comp->llc_pool);
                        }
 
+                       /* copy ost list */
+                       if (def_comp->llc_ostlist.op_array) {
+                               OBD_ALLOC(obj_comp->llc_ostlist.op_array,
+                                         obj_comp->llc_ostlist.op_size);
+                               if (!obj_comp->llc_ostlist.op_array)
+                                       return;
+                               memcpy(obj_comp->llc_ostlist.op_array,
+                                      def_comp->llc_ostlist.op_array,
+                                      obj_comp->llc_ostlist.op_size);
+                       }
+
                        /*
                         * Don't initialize these fields for plain layout
                         * (v1/v3) here, they are inherited in the order of
@@ -4634,7 +4710,7 @@ out:
        /* failed to create striping or to set initial size, let's reset
         * config so that others don't get confused */
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
 
        RETURN(rc);
 }
@@ -4748,7 +4824,7 @@ out:
        /* failed to create striping or to set initial size, let's reset
         * config so that others don't get confused */
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -4881,7 +4957,7 @@ int lod_striped_create(const struct lu_env *env, struct dt_object *dt,
        RETURN(0);
 
 out:
-       lod_object_free_striping(env, lo);
+       lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -4956,7 +5032,7 @@ static int lod_declare_destroy(const struct lu_env *env, struct dt_object *dt,
         * is being initialized as we don't need this information till
         * few specific cases like destroy, chown
         */
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc)
                RETURN(rc);
 
@@ -5246,7 +5322,7 @@ static int lod_object_lock(const struct lu_env *env,
        if (!S_ISDIR(dt->do_lu.lo_header->loh_attr))
                RETURN(-ENOTDIR);
 
-       rc = lod_load_striping(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc != 0)
                RETURN(rc);
 
@@ -5349,22 +5425,15 @@ static int lod_declare_instantiate_components(const struct lu_env *env,
                struct lod_object *lo, struct thandle *th)
 {
        struct lod_thread_info *info = lod_env_info(env);
-       struct ost_pool *inuse = &info->lti_inuse_osts;
        int i;
        int rc = 0;
        ENTRY;
 
        LASSERT(info->lti_count < lo->ldo_comp_cnt);
-       if (info->lti_count > 0) {
-               /* Prepare inuse array for composite file */
-               rc = lod_prepare_inuse(env, lo);
-               if (rc)
-                       RETURN(rc);
-       }
 
        for (i = 0; i < info->lti_count; i++) {
                rc = lod_qos_prep_create(env, lo, NULL, th,
-                                        info->lti_comp_idx[i], inuse);
+                                        info->lti_comp_idx[i]);
                if (rc)
                        break;
        }
@@ -5410,7 +5479,6 @@ static int lod_declare_update_plain(const struct lu_env *env,
                        GOTO(out, rc = -EINVAL);
                }
 
-               lod_object_free_striping(env, lo);
                rc = lod_use_defined_striping(env, lo, buf);
                if (rc)
                        GOTO(out, rc);
@@ -5423,7 +5491,7 @@ static int lod_declare_update_plain(const struct lu_env *env,
                replay = true;
        } else {
                /* non replay path */
-               rc = lod_load_striping_locked(env, lo);
+               rc = lod_striping_load(env, lo);
                if (rc)
                        GOTO(out, rc);
        }
@@ -5489,7 +5557,7 @@ static int lod_declare_update_plain(const struct lu_env *env,
        rc = lod_declare_instantiate_components(env, lo, th);
 out:
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -5849,7 +5917,7 @@ static int lod_declare_update_rdonly(const struct lu_env *env,
 
 out:
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -5977,7 +6045,7 @@ static int lod_declare_update_write_pending(const struct lu_env *env,
        lod_obj_inc_layout_gen(lo);
 out:
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -6065,7 +6133,7 @@ static int lod_declare_update_sync_pending(const struct lu_env *env,
 
 out:
        if (rc)
-               lod_object_free_striping(env, lo);
+               lod_striping_free(env, lo);
        RETURN(rc);
 }
 
@@ -6082,8 +6150,7 @@ static int lod_declare_layout_change(const struct lu_env *env,
            dt_object_remote(dt_object_child(dt)))
                RETURN(-EINVAL);
 
-       lod_write_lock(env, dt, 0);
-       rc = lod_load_striping_locked(env, lo);
+       rc = lod_striping_load(env, lo);
        if (rc)
                GOTO(out, rc);
 
@@ -6112,7 +6179,6 @@ static int lod_declare_layout_change(const struct lu_env *env,
                break;
        }
 out:
-       dt_write_unlock(env, dt);
        RETURN(rc);
 }
 
@@ -6331,7 +6397,7 @@ static int lod_object_init(const struct lu_env *env, struct lu_object *lo,
  * \param[in] env      execution environment
  * \param[in] lo       object
  */
-void lod_object_free_striping(const struct lu_env *env, struct lod_object *lo)
+void lod_striping_free_nolock(const struct lu_env *env, struct lod_object *lo)
 {
        struct lod_layout_component *lod_comp;
        int i, j;
@@ -6379,6 +6445,13 @@ void lod_object_free_striping(const struct lu_env *env, struct lod_object *lo)
        }
 }
 
+void lod_striping_free(const struct lu_env *env, struct lod_object *lo)
+{
+       mutex_lock(&lo->ldo_layout_mutex);
+       lod_striping_free_nolock(env, lo);
+       mutex_unlock(&lo->ldo_layout_mutex);
+}
+
 /**
  * Implementation of lu_object_operations::loo_object_free.
  *
@@ -6390,7 +6463,7 @@ static void lod_object_free(const struct lu_env *env, struct lu_object *o)
        struct lod_object *lo = lu2lod_obj(o);
 
        /* release all underlying object pinned */
-       lod_object_free_striping(env, lo);
+       lod_striping_free(env, lo);
        lu_object_fini(o);
        OBD_SLAB_FREE_PTR(lo, lod_object_kmem);
 }