Whamcloud - gitweb
b=20581 MDS returns full hash for readdir to decrease hash collision
[fs/lustre-release.git] / lustre / llite / llite_internal.h
index 00f933c..6967afb 100644 (file)
@@ -26,7 +26,7 @@
  * GPL HEADER END
  */
 /*
- * Copyright  2008 Sun Microsystems, Inc. All rights reserved
+ * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  * Use is subject to license terms.
  */
 /*
@@ -53,7 +53,7 @@
 #endif
 
 #ifndef DCACHE_LUSTRE_INVALID
-#define DCACHE_LUSTRE_INVALID 0x100
+#define DCACHE_LUSTRE_INVALID 0x4000
 #endif
 
 #define LL_IT2STR(it) ((it) ? ldlm_it2str((it)->it_op) : "0")
@@ -121,7 +121,7 @@ struct ll_inode_info {
         cfs_semaphore_t         lli_size_sem;           /* protect open and change size */
         void                   *lli_size_sem_owner;
         cfs_semaphore_t         lli_write_sem;
-        cfs_semaphore_t         lli_trunc_sem;
+        cfs_rw_semaphore_t      lli_trunc_sem;
         char                   *lli_symlink_name;
         __u64                   lli_maxbytes;
         __u64                   lli_ioepoch;
@@ -138,6 +138,7 @@ struct ll_inode_info {
 
         /* for writepage() only to communicate to fsync */
         int                     lli_async_rc;
+        int                     lli_write_rc;
 
         struct posix_acl       *lli_posix_acl;
 
@@ -149,7 +150,9 @@ struct ll_inode_info {
         cfs_list_t              lli_dead_list;
 
         cfs_semaphore_t         lli_och_sem; /* Protects access to och pointers
-                                                and their usage counters */
+                                                and their usage counters, also
+                                                atomicity of check-update of
+                                                lli_smd */
         /* We need all three because every inode may be opened in different
            modes */
         struct obd_client_handle *lli_mds_read_och;
@@ -172,7 +175,10 @@ struct ll_inode_info {
         struct obd_capa        *lli_mds_capa;
         cfs_list_t              lli_oss_capas;
 
-        /* metadata stat-ahead */
+        /* metadata statahead */
+        /* protect statahead stuff: lli_opendir_pid, lli_opendir_key, lli_sai,
+         * and so on. */
+        cfs_spinlock_t          lli_sa_lock;
         /*
          * "opendir_pid" is the token when lookup/revalid -- I am the owner of
          * dir statahead.
@@ -184,7 +190,14 @@ struct ll_inode_info {
          * before child -- it is me should cleanup the dir readahead. */
         void                   *lli_opendir_key;
         struct ll_statahead_info *lli_sai;
+        __u64                   lli_sa_pos;
         struct cl_object       *lli_clob;
+        /* the most recent timestamps obtained from mds */
+        struct ost_lvb          lli_lvb;
+        /**
+         * serialize normal readdir and statahead-readdir
+         */
+        cfs_semaphore_t         lli_readdir_sem;
 };
 
 /*
@@ -302,6 +315,8 @@ enum stats_track_type {
 #define LL_SBI_LOCALFLOCK       0x200 /* Local flocks support by kernel */
 #define LL_SBI_LRU_RESIZE       0x400 /* lru resize support */
 #define LL_SBI_LAZYSTATFS       0x800 /* lazystatfs mount option */
+#define LL_SBI_SOM_PREVIEW      0x1000 /* SOM preview mount option */
+#define LL_SBI_32BIT_API        0x2000 /* generate 32 bit inodes. */
 
 /* default value for ll_sb_info->contention_time */
 #define SBI_DEFAULT_CONTENTION_SECONDS     60
@@ -366,10 +381,6 @@ struct ll_sb_info {
         unsigned int              ll_namelen;
         struct file_operations   *ll_fop;
 
-#ifdef HAVE_EXPORT___IGET
-        cfs_list_t                ll_deathrow;/*inodes to be destroyed (b1443)*/
-        cfs_spinlock_t            ll_deathrow_lock;
-#endif
         /* =0 - hold lock over whole read/write
          * >0 - max. chunk to be read/written w/o lock re-acquiring */
         unsigned long             ll_max_rw_chunk;
@@ -389,15 +400,10 @@ struct ll_sb_info {
 
         /* metadata stat-ahead */
         unsigned int              ll_sa_max;     /* max statahead RPCs */
-        unsigned int              ll_sa_wrong;   /* statahead thread stopped for
-                                                  * low hit ratio */
-        unsigned int              ll_sa_total;   /* statahead thread started
+        atomic_t                  ll_sa_total;   /* statahead thread started
                                                   * count */
-        unsigned long long        ll_sa_blocked; /* ls count waiting for
-                                                  * statahead */
-        unsigned long long        ll_sa_cached;  /* ls count got in cache */
-        unsigned long long        ll_sa_hit;     /* hit count */
-        unsigned long long        ll_sa_miss;    /* miss count */
+        atomic_t                  ll_sa_wrong;   /* statahead thread stopped for
+                                                  * low hit ratio */
 
         dev_t                     ll_sdev_orig; /* save s_dev before assign for
                                                  * clustred nfs */
@@ -501,6 +507,8 @@ struct ll_readahead_state {
 };
 
 struct ll_file_dir {
+        __u64 lfd_pos;
+        __u64 lfd_next;
 };
 
 extern cfs_mem_cache_t *ll_file_data_slab;
@@ -526,14 +534,23 @@ static inline struct inode *ll_info2i(struct ll_inode_info *lli)
 }
 
 struct it_cb_data {
-        struct inode *icbd_parent;
+        struct inode  *icbd_parent;
         struct dentry **icbd_childp;
-        obd_id hash;
+        obd_id        hash;
 };
 
 __u32 ll_i2suppgid(struct inode *i);
 void ll_i2gids(__u32 *suppgids, struct inode *i1,struct inode *i2);
 
+static inline int ll_need_32bit_api(struct ll_sb_info *sbi)
+{
+#if BITS_PER_LONG == 32
+        return 1;
+#else
+        return unlikely(cfs_curproc_is_32bit() || (sbi->ll_flags & LL_SBI_32BIT_API));
+#endif
+}
+
 #define LLAP_MAGIC 98764321
 
 extern cfs_mem_cache_t *ll_async_page_slab;
@@ -571,8 +588,8 @@ static inline void ll_put_page(struct page *page)
 
 extern struct file_operations ll_dir_operations;
 extern struct inode_operations ll_dir_inode_operations;
-struct page *ll_get_dir_page(struct inode *dir, __u64 hash, int exact,
-                             struct ll_dir_chain *chain);
+struct page *ll_get_dir_page(struct file *filp, struct inode *dir, __u64 hash,
+                             int exact, struct ll_dir_chain *chain);
 
 int ll_get_mdt_idx(struct inode *inode);
 /* llite/namei.c */
@@ -588,7 +605,6 @@ struct lookup_intent *ll_convert_intent(struct open_intent *oit,
 #endif
 int ll_lookup_it_finish(struct ptlrpc_request *request,
                         struct lookup_intent *it, void *data);
-void ll_lookup_finish_locks(struct lookup_intent *it, struct dentry *dentry);
 
 /* llite/rw.c */
 int ll_prepare_write(struct file *, struct page *, unsigned from, unsigned to);
@@ -611,7 +627,7 @@ extern struct file_operations ll_file_operations_flock;
 extern struct file_operations ll_file_operations_noflock;
 extern struct inode_operations ll_file_inode_operations;
 extern int ll_inode_revalidate_it(struct dentry *, struct lookup_intent *);
-extern int ll_have_md_lock(struct inode *inode, __u64 bits);
+extern int ll_have_md_lock(struct inode *inode, __u64 bits, ldlm_mode_t l_req_mode);
 extern ldlm_mode_t ll_take_md_lock(struct inode *inode, __u64 bits,
                                    struct lustre_handle *lockh);
 int __ll_inode_revalidate_it(struct dentry *, struct lookup_intent *,  __u64 bits);
@@ -673,12 +689,12 @@ int ll_fid2path(struct obd_export *exp, void *arg);
 /**
  * protect race ll_find_aliases vs ll_revalidate_it vs ll_unhash_aliases
  */
+int ll_dops_init(struct dentry *de, int block);
 extern cfs_spinlock_t ll_lookup_lock;
 extern struct dentry_operations ll_d_ops;
 void ll_intent_drop_lock(struct lookup_intent *);
 void ll_intent_release(struct lookup_intent *);
 int ll_drop_dentry(struct dentry *dentry);
-extern void ll_set_dd(struct dentry *de);
 int ll_drop_dentry(struct dentry *dentry);
 void ll_unhash_aliases(struct inode *);
 void ll_frob_intent(struct lookup_intent **itp, struct lookup_intent *deft);
@@ -949,12 +965,6 @@ struct vm_area_struct *our_vma(unsigned long addr, size_t count);
 
 #define    ll_s2sbi(sb)        (s2lsi(sb)->lsi_llsbi)
 
-static inline __u64 ll_ts2u64(struct timespec *time)
-{
-        __u64 t = time->tv_sec;
-        return t;
-}
-
 /* don't need an addref as the sb_info should be holding one */
 static inline struct obd_export *ll_s2dtexp(struct super_block *sb)
 {
@@ -1127,11 +1137,12 @@ struct ll_statahead_info {
         cfs_list_t              sai_entries_sent;     /* entries sent out */
         cfs_list_t              sai_entries_received; /* entries returned */
         cfs_list_t              sai_entries_stated;   /* entries stated */
+        pid_t                   sai_pid;        /* pid of statahead itself */
 };
 
 int do_statahead_enter(struct inode *dir, struct dentry **dentry, int lookup);
 void ll_statahead_exit(struct inode *dir, struct dentry *dentry, int result);
-void ll_stop_statahead(struct inode *inode, void *key);
+void ll_stop_statahead(struct inode *dir, void *key);
 
 static inline
 void ll_statahead_mark(struct inode *dir, struct dentry *dentry)
@@ -1148,10 +1159,10 @@ void ll_statahead_mark(struct inode *dir, struct dentry *dentry)
         if (lli->lli_opendir_pid != cfs_curproc_pid())
                 return;
 
-        cfs_spin_lock(&lli->lli_lock);
+        cfs_spin_lock(&lli->lli_sa_lock);
         if (likely(lli->lli_sai != NULL && ldd != NULL))
                 ldd->lld_sa_generation = lli->lli_sai->sai_generation;
-        cfs_spin_unlock(&lli->lli_lock);
+        cfs_spin_unlock(&lli->lli_sa_lock);
 }
 
 static inline
@@ -1193,21 +1204,6 @@ int ll_statahead_enter(struct inode *dir, struct dentry **dentryp, int lookup)
         return do_statahead_enter(dir, dentryp, lookup);
 }
 
-static void inline ll_dops_init(struct dentry *de, int block)
-{
-        struct ll_dentry_data *lld = ll_d2d(de);
-
-        if (lld == NULL && block != 0) {
-                ll_set_dd(de);
-                lld = ll_d2d(de);
-        }
-
-        if (lld != NULL)
-                lld->lld_sa_generation = 0;
-
-        de->d_op = &ll_d_ops;
-}
-
 /* llite ioctl register support rountine */
 #ifdef __KERNEL__
 enum llioc_iter {