Whamcloud - gitweb
b=24255 move seq_client_alloc_seq out of lcs_sem
[fs/lustre-release.git] / lustre / include / lustre_fid.h
index d00b9af..6894735 100644 (file)
@@ -26,7 +26,7 @@
  * GPL HEADER END
  */
 /*
- * Copyright  2008 Sun Microsystems, Inc. All rights reserved
+ * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  */
 /*
 /*
  * struct lu_fid
  */
+#include <libcfs/libcfs.h>
 #include <lustre/lustre_idl.h>
 #include <lustre_req_layout.h>
 #include <lustre_mdt.h>
 
-#include <libcfs/libcfs.h>
 
 struct lu_site;
 struct lu_context;
@@ -67,17 +67,14 @@ extern const struct lu_fid LU_DOT_LUSTRE_FID;
 
 enum {
         /*
-         * This is how may FIDs may be allocated in one sequence. 16384 for
-         * now.
+         * This is how may FIDs may be allocated in one sequence(128k)
          */
-        LUSTRE_SEQ_MAX_WIDTH = 0x0000000000000400ULL,
+        LUSTRE_SEQ_MAX_WIDTH = 0x0000000000020000ULL,
 
         /*
-         * How many sequences may be allocate for meta-sequence (this is 128
-         * sequences).
+         * How many sequences to allocate to a client at once.
          */
-        /* changed to 16 to avoid overflow in test11 */
-        LUSTRE_SEQ_META_WIDTH = 0x0000000000000010ULL,
+        LUSTRE_SEQ_META_WIDTH = 0x0000000000000001ULL,
 
          /*
           * seq allocation pool size.
@@ -91,22 +88,8 @@ enum {
         LUSTRE_SEQ_SUPER_WIDTH = ((1ULL << 30ULL) * LUSTRE_SEQ_META_WIDTH)
 };
 
-/** special fid seq: used for local object create. */
-#define FID_SEQ_LOCAL_FILE      (FID_SEQ_START + 1)
-
-/** special fid seq: used for .lustre objects. */
-#define LU_DOT_LUSTRE_SEQ       (FID_SEQ_START + 0x02ULL)
-
-/* Note that reserved SEQ numbers below 12 will conflict with ldiskfs
- * inodes in the IGIF namespace, so these reserved SEQ numbers must be
- * used sparingly until ldiskfs-based MDT backends and/or IGIF FIDs 
- * have been completely removed. */
-
-/** fid sequence for distributed fs objects */
-#define FID_SEQ_DISTRIBUTED_START     (FID_SEQ_START + 0x400ULL)
-
 /** special OID for local objects */
-enum {
+enum local_oid {
         /** \see osd_oi_index_create */
         OSD_OI_FID_16_OID       = 2UL,
         /** \see fld_mod_init */
@@ -181,6 +164,10 @@ struct lu_client_seq {
 
         /* Seq-server for direct talking */
         struct lu_server_seq   *lcs_srv;
+
+        /* wait queue for fid allocation and update indicator */
+        cfs_waitq_t             lcs_waitq;
+        int                     lcs_update;
 };
 
 /* server sequence manager interface */
@@ -330,9 +317,66 @@ fid_build_pdo_res_name(const struct lu_fid *f,
         return name;
 }
 
+
+/**
+ * Flatten 128-bit FID values into a 64-bit value for use as an inode number.
+ * For non-IGIF FIDs this starts just over 2^32, and continues without
+ * conflict until 2^64, at which point we wrap the high 24 bits of the SEQ
+ * into the range where there may not be many OID values in use, to minimize
+ * the risk of conflict.
+ *
+ * Suppose LUSTRE_SEQ_MAX_WIDTH less than (1 << 24) which is currently true,
+ * the time between re-used inode numbers is very long - 2^40 SEQ numbers,
+ * or about 2^40 client mounts, if clients create less than 2^24 files/mount.
+ */
 static inline __u64 fid_flatten(const struct lu_fid *fid)
 {
-        return (fid_seq(fid) - 1) * LUSTRE_SEQ_MAX_WIDTH + fid_oid(fid);
+        __u64 ino;
+        __u64 seq;
+
+        if (fid_is_igif(fid)) {
+                ino = lu_igif_ino(fid);
+                RETURN(ino);
+        }
+
+        seq = fid_seq(fid);
+
+        ino = (seq << 24) + ((seq >> 24) & 0xffffff0000ULL) + fid_oid(fid);
+
+        RETURN(ino ? ino : fid_oid(fid));
+}
+
+static inline __u32 fid_hash(const struct lu_fid *f, int bits)
+{
+        /* all objects with same id and different versions will belong to same
+         * collisions list. */
+        return cfs_hash_long(fid_flatten(f), bits);
+}
+
+/**
+ * map fid to 32 bit value for ino on 32bit systems. */
+static inline __u32 fid_flatten32(const struct lu_fid *fid)
+{
+        __u32 ino;
+        __u64 seq;
+
+        if (fid_is_igif(fid)) {
+                ino = lu_igif_ino(fid);
+                RETURN(ino);
+        }
+
+        seq = fid_seq(fid) - FID_SEQ_START;
+
+        /* Map the high bits of the OID into higher bits of the inode number so
+         * that inodes generated at about the same time have a reduced chance
+         * of collisions. This will give a period of 2^12 = 1024 unique clients
+         * (from SEQ) and up to min(LUSTRE_SEQ_MAX_WIDTH, 2^20) = 128k objects
+         * (from OID), or up to 128M inodes without collisions for new files. */
+        ino = ((seq & 0x000fffffULL) << 12) + ((seq >> 8) & 0xfffff000) +
+               (seq >> (64 - (40-8)) & 0xffffff00) +
+               (fid_oid(fid) & 0xff000fff) + ((fid_oid(fid) & 0x00fff000) << 8);
+
+        RETURN(ino ? ino : fid_oid(fid));
 }
 
 #define LUSTRE_SEQ_SRV_NAME "seq_srv"
@@ -343,28 +387,32 @@ static inline void range_cpu_to_le(struct lu_seq_range *dst, const struct lu_seq
 {
         dst->lsr_start = cpu_to_le64(src->lsr_start);
         dst->lsr_end = cpu_to_le64(src->lsr_end);
-        dst->lsr_mdt = cpu_to_le32(src->lsr_mdt);
+        dst->lsr_index = cpu_to_le32(src->lsr_index);
+        dst->lsr_flags = cpu_to_le32(src->lsr_flags);
 }
 
 static inline void range_le_to_cpu(struct lu_seq_range *dst, const struct lu_seq_range *src)
 {
         dst->lsr_start = le64_to_cpu(src->lsr_start);
         dst->lsr_end = le64_to_cpu(src->lsr_end);
-        dst->lsr_mdt = le32_to_cpu(src->lsr_mdt);
+        dst->lsr_index = le32_to_cpu(src->lsr_index);
+        dst->lsr_flags = le32_to_cpu(src->lsr_flags);
 }
 
 static inline void range_cpu_to_be(struct lu_seq_range *dst, const struct lu_seq_range *src)
 {
         dst->lsr_start = cpu_to_be64(src->lsr_start);
         dst->lsr_end = cpu_to_be64(src->lsr_end);
-        dst->lsr_mdt = cpu_to_be32(src->lsr_mdt);
+        dst->lsr_index = cpu_to_be32(src->lsr_index);
+        dst->lsr_flags = cpu_to_be32(src->lsr_flags);
 }
 
 static inline void range_be_to_cpu(struct lu_seq_range *dst, const struct lu_seq_range *src)
 {
         dst->lsr_start = be64_to_cpu(src->lsr_start);
         dst->lsr_end = be64_to_cpu(src->lsr_end);
-        dst->lsr_mdt = be32_to_cpu(src->lsr_mdt);
+        dst->lsr_index = be32_to_cpu(src->lsr_index);
+        dst->lsr_flags = be32_to_cpu(src->lsr_flags);
 }
 
 /** @} fid */