Whamcloud - gitweb
LU-4543 osd: return actual hash value for a record
[fs/lustre-release.git] / lustre / osd-zfs / osd_index.c
index 29df71d..1e7c441 100644 (file)
@@ -472,8 +472,8 @@ static inline void osd_object_put(const struct lu_env *env,
        lu_object_put(env, &obj->oo_dt.do_lu);
 }
 
-static int osd_mdt_seq_exists(const struct lu_env *env, struct osd_device *osd,
-                             obd_seq seq)
+static int osd_seq_exists(const struct lu_env *env, struct osd_device *osd,
+                         obd_seq seq)
 {
        struct lu_seq_range     *range = &osd_oti_get(env)->oti_seq_range;
        struct seq_server_site  *ss = osd_seq_site(osd);
@@ -483,10 +483,6 @@ static int osd_mdt_seq_exists(const struct lu_env *env, struct osd_device *osd,
        if (ss == NULL)
                RETURN(1);
 
-       /* XXX: currently, each MDT only store avaible sequence on disk,
-        * and no allocated sequences information on disk, so it has to
-        * lookup FLDB. It probably makes more sense also store allocated
-        * sequence locally, so we do not need do remote FLDB lookup in OSD */
        rc = osd_fld_lookup(env, osd, seq, range);
        if (rc != 0) {
                CERROR("%s: Can not lookup fld for "LPX64"\n",
@@ -505,8 +501,7 @@ static int osd_remote_fid(const struct lu_env *env, struct osd_device *osd,
        if (!fid_is_norm(fid) && !fid_is_root(fid))
                RETURN(0);
 
-       /* Currently, it only used to check FID on MDT */
-       if (osd_mdt_seq_exists(env, osd, fid_seq(fid)))
+       if (osd_seq_exists(env, osd, fid_seq(fid)))
                RETURN(0);
 
        RETURN(1);
@@ -937,11 +932,11 @@ static int osd_dir_it_rec(const struct lu_env *env, const struct dt_it *di,
 
        LASSERT(lde);
 
-       lde->lde_hash = cpu_to_le64(udmu_zap_cursor_serialize(it->ozi_zc));
-
-       if ((rc = -zap_cursor_retrieve(it->ozi_zc, za)))
+       rc = -zap_cursor_retrieve(it->ozi_zc, za);
+       if (unlikely(rc != 0))
                GOTO(out, rc);
 
+       lde->lde_hash = cpu_to_le64(udmu_zap_cursor_serialize(it->ozi_zc));
        namelen = strlen(za->za_name);
        if (namelen > NAME_MAX)
                GOTO(out, rc = -EOVERFLOW);
@@ -1046,20 +1041,44 @@ static struct dt_index_operations osd_dir_ops = {
 
 /*
  * Primitives for index files using binary keys.
- * XXX: only 64-bit keys are supported for now.
  */
 
+/* key integer_size is 8 */
+static int osd_prepare_key_uint64(struct osd_object *o, __u64 *dst,
+                                 const struct dt_key *src)
+{
+       int size;
+
+       LASSERT(dst);
+       LASSERT(src);
+
+       /* align keysize to 64bit */
+       size = (o->oo_keysize + sizeof(__u64) - 1) / sizeof(__u64);
+       size *= sizeof(__u64);
+
+       LASSERT(size <= MAXNAMELEN);
+
+       if (unlikely(size > o->oo_keysize))
+               memset(dst + o->oo_keysize, 0, size - o->oo_keysize);
+       memcpy(dst, (const char *)src, o->oo_keysize);
+
+       return (size/sizeof(__u64));
+}
+
 static int osd_index_lookup(const struct lu_env *env, struct dt_object *dt,
                        struct dt_rec *rec, const struct dt_key *key,
                        struct lustre_capa *capa)
 {
        struct osd_object *obj = osd_dt_obj(dt);
        struct osd_device *osd = osd_obj2dev(obj);
+       __u64             *k = osd_oti_get(env)->oti_key64;
        int                rc;
        ENTRY;
 
+       rc = osd_prepare_key_uint64(obj, k, key);
+
        rc = -zap_lookup_uint64(osd->od_objset.os, obj->oo_db->db_object,
-                               (const __u64 *)key, 1, 8, obj->oo_recsize,
+                               k, rc, obj->oo_recusize, obj->oo_recsize,
                                (void *)rec);
        RETURN(rc == 0 ? 1 : rc);
 }
@@ -1097,6 +1116,7 @@ static int osd_index_insert(const struct lu_env *env, struct dt_object *dt,
        struct osd_object  *obj = osd_dt_obj(dt);
        struct osd_device  *osd = osd_obj2dev(obj);
        struct osd_thandle *oh;
+       __u64              *k = osd_oti_get(env)->oti_key64;
        int                 rc;
        ENTRY;
 
@@ -1107,9 +1127,11 @@ static int osd_index_insert(const struct lu_env *env, struct dt_object *dt,
 
        oh = container_of0(th, struct osd_thandle, ot_super);
 
+       rc = osd_prepare_key_uint64(obj, k, key);
+
        /* Insert (key,oid) into ZAP */
        rc = -zap_add_uint64(osd->od_objset.os, obj->oo_db->db_object,
-                            (const __u64 *)key, 1, 8, obj->oo_recsize,
+                            k, rc, obj->oo_recusize, obj->oo_recsize,
                             (void *)rec, oh->ot_tx);
        RETURN(rc);
 }
@@ -1141,6 +1163,7 @@ static int osd_index_delete(const struct lu_env *env, struct dt_object *dt,
        struct osd_object  *obj = osd_dt_obj(dt);
        struct osd_device  *osd = osd_obj2dev(obj);
        struct osd_thandle *oh;
+       __u64              *k = osd_oti_get(env)->oti_key64;
        int                 rc;
        ENTRY;
 
@@ -1148,9 +1171,11 @@ static int osd_index_delete(const struct lu_env *env, struct dt_object *dt,
        LASSERT(th != NULL);
        oh = container_of0(th, struct osd_thandle, ot_super);
 
+       rc = osd_prepare_key_uint64(obj, k, key);
+
        /* Remove binary key from the ZAP */
        rc = -zap_remove_uint64(osd->od_objset.os, obj->oo_db->db_object,
-                               (const __u64 *)key, 1, oh->ot_tx);
+                               k, rc, oh->ot_tx);
        RETURN(rc);
 }
 
@@ -1165,8 +1190,11 @@ static int osd_index_it_get(const struct lu_env *env, struct dt_it *di,
        LASSERT(it);
        LASSERT(it->ozi_zc);
 
-       /* XXX: API is broken at the moment */
-       LASSERT(*((const __u64 *)key) == 0);
+       /*
+        * XXX: we need a binary version of zap_cursor_move_to_key()
+        *      to implement this API */
+       if (*((const __u64 *)key) != 0)
+               CERROR("NOT IMPLEMETED YET (move to %Lx)\n", *((__u64 *)key));
 
        zap_cursor_fini(it->ozi_zc);
        memset(it->ozi_zc, 0, sizeof(*it->ozi_zc));
@@ -1204,6 +1232,7 @@ static struct dt_key *osd_index_it_key(const struct lu_env *env,
                                       const struct dt_it *di)
 {
        struct osd_zap_it *it = (struct osd_zap_it *)di;
+       struct osd_object *obj = it->ozi_obj;
        zap_attribute_t   *za = &osd_oti_get(env)->oti_za;
        int                rc = 0;
        ENTRY;
@@ -1214,7 +1243,7 @@ static struct dt_key *osd_index_it_key(const struct lu_env *env,
                RETURN(ERR_PTR(rc));
 
        /* the binary key is stored in the name */
-       it->ozi_key = *((__u64 *)za->za_name);
+       memcpy(&it->ozi_key, za->za_name, obj->oo_keysize);
 
        RETURN((struct dt_key *)&it->ozi_key);
 }
@@ -1222,8 +1251,9 @@ static struct dt_key *osd_index_it_key(const struct lu_env *env,
 static int osd_index_it_key_size(const struct lu_env *env,
                                const struct dt_it *di)
 {
-       /* we only support 64-bit binary keys for the time being */
-       RETURN(sizeof(__u64));
+       struct osd_zap_it *it = (struct osd_zap_it *)di;
+       struct osd_object *obj = it->ozi_obj;
+       RETURN(obj->oo_keysize);
 }
 
 static int osd_index_it_rec(const struct lu_env *env, const struct dt_it *di,
@@ -1233,6 +1263,7 @@ static int osd_index_it_rec(const struct lu_env *env, const struct dt_it *di,
        struct osd_zap_it *it = (struct osd_zap_it *)di;
        struct osd_object *obj = it->ozi_obj;
        struct osd_device *osd = osd_obj2dev(obj);
+       __u64             *k = osd_oti_get(env)->oti_key64;
        int                rc;
        ENTRY;
 
@@ -1241,9 +1272,11 @@ static int osd_index_it_rec(const struct lu_env *env, const struct dt_it *di,
        if (rc)
                RETURN(rc);
 
+       rc = osd_prepare_key_uint64(obj, k, (const struct dt_key *)za->za_name);
+
        rc = -zap_lookup_uint64(osd->od_objset.os, obj->oo_db->db_object,
-                               (const __u64 *)za->za_name, 1, 8,
-                               obj->oo_recsize, (void *)rec);
+                               k, rc, obj->oo_recusize, obj->oo_recsize,
+                               (void *)rec);
        RETURN(rc);
 }
 
@@ -1339,10 +1372,9 @@ int osd_index_try(const struct lu_env *env, struct dt_object *dt,
                if ((feat->dif_flags & ~DT_IND_UPDATE) != 0)
                        RETURN(-EINVAL);
 
-               /* Although the zap_*_uint64() primitives support large keys, we
-                * limit ourselves to 64-bit keys for now */
-               if (feat->dif_keysize_max != sizeof(__u64) ||
-                   feat->dif_keysize_min != sizeof(__u64))
+               if (feat->dif_keysize_max > ZAP_MAXNAMELEN)
+                       RETURN(-E2BIG);
+               if (feat->dif_keysize_max != feat->dif_keysize_min)
                        RETURN(-EINVAL);
 
                /* As for the record size, it should be a multiple of 8 bytes
@@ -1350,11 +1382,18 @@ int osd_index_try(const struct lu_env *env, struct dt_object *dt,
                 */
                if (feat->dif_recsize_max > ZAP_MAXVALUELEN)
                        RETURN(-E2BIG);
-               if (feat->dif_recsize_max != feat->dif_recsize_min ||
-                   (feat->dif_recsize_max & (sizeof(__u64) - 1)))
+               if (feat->dif_recsize_max != feat->dif_recsize_min)
                        RETURN(-EINVAL);
 
-               obj->oo_recsize = feat->dif_recsize_max / sizeof(__u64);
+               obj->oo_keysize = feat->dif_keysize_max;
+               obj->oo_recsize = feat->dif_recsize_max;
+               obj->oo_recusize = 1;
+
+               /* ZFS prefers to work with array of 64bits */
+               if ((obj->oo_recsize & 7) == 0) {
+                       obj->oo_recsize >>= 3;
+                       obj->oo_recusize = 8;
+               }
                dt->do_index_ops = &osd_index_ops;
        }