Whamcloud - gitweb
b=22176 Add .sync_fs super block handler
[fs/lustre-release.git] / lustre / lov / lov_internal.h
index 75258d7..9e640b2 100644 (file)
 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
  * vim:expandtab:shiftwidth=8:tabstop=8:
  *
- * Copyright (C) 2003 Cluster File Systems, Inc.
+ * GPL HEADER START
  *
- * This code is issued under the GNU General Public License.
- * See the file COPYING in this distribution
+ * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
+ *
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License version 2 only,
+ * as published by the Free Software Foundation.
+ *
+ * This program is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * General Public License version 2 for more details (a copy is included
+ * in the LICENSE file that accompanied this code).
+ *
+ * You should have received a copy of the GNU General Public License
+ * version 2 along with this program; If not, see
+ * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
+ *
+ * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
+ * CA 95054 USA or visit www.sun.com if you need additional information or
+ * have any questions.
+ *
+ * GPL HEADER END
+ */
+/*
+ * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
+ * Use is subject to license terms.
+ */
+/*
+ * This file is part of Lustre, http://www.lustre.org/
+ * Lustre is a trademark of Sun Microsystems, Inc.
  */
 
 #ifndef LOV_INTERNAL_H
 #define LOV_INTERNAL_H
 
+#include <obd_class.h>
 #include <lustre/lustre_user.h>
 
 struct lov_lock_handles {
         struct portals_handle   llh_handle;
-        atomic_t                llh_refcount;
+        cfs_atomic_t            llh_refcount;
         int                     llh_stripe_count;
         struct lustre_handle    llh_handles[0];
 };
 
 struct lov_request {
-        struct list_head         rq_link;
-        struct ldlm_extent       rq_extent;
+        struct obd_info          rq_oi;
+        struct lov_request_set  *rq_rqset;
+
+        cfs_list_t               rq_link;
+
         int                      rq_idx;        /* index in lov->tgts array */
-        int                      rq_gen;        /* lov target generation # */
         int                      rq_stripe;     /* stripe number */
         int                      rq_complete;
         int                      rq_rc;
         int                      rq_buflen;     /* length of sub_md */
-        struct obdo             *rq_oa;
-        struct lov_stripe_md    *rq_md;
+
         obd_count                rq_oabufs;
         obd_count                rq_pgaidx;
 };
 
 struct lov_request_set {
-        atomic_t                 set_refcount;
+        struct ldlm_enqueue_info*set_ei;
+        struct obd_info         *set_oi;
+        cfs_atomic_t             set_refcount;
         struct obd_export       *set_exp;
+        /* XXX: There is @set_exp already, however obd_statfs gets obd_device
+           only. */
+        struct obd_device       *set_obd;
         int                      set_count;
         int                      set_completes;
         int                      set_success;
         struct llog_cookie      *set_cookies;
         int                      set_cookie_sent;
-        struct lov_stripe_md    *set_md;
-        struct obdo             *set_oa;
         struct obd_trans_info   *set_oti;
         obd_count                set_oabufs;
         struct brw_page         *set_pga;
         struct lov_lock_handles *set_lockh;
-        struct list_head         set_list;
+        cfs_list_t               set_list;
+        cfs_waitq_t              set_waitq;
+        cfs_spinlock_t           set_lock;
 };
 
-#define LAP_MAGIC 8200
-
-#define LOV_MAX_TGT_COUNT 1024
-
-#define lov_tgts_lock(lov)      spin_lock(&lov->lov_lock);
-#define lov_tgts_unlock(lov)    spin_unlock(&lov->lov_lock);
-
-static inline void
-lov_tgt_set_flags(struct lov_obd *lov, struct lov_tgt_desc *tgt, int flags)
-{
-        lov_tgts_lock(lov);
-        if ((flags & LTD_ACTIVE) && ((tgt->ltd_flags & LTD_ACTIVE) == 0))
-                lov->desc.ld_active_tgt_count++;
-        tgt->ltd_flags |= flags;
-        lov_tgts_unlock(lov);
-}
-
-static inline void
-lov_tgt_clear_flags(struct lov_obd *lov, struct lov_tgt_desc *tgt, int flags)
-{
-        ENTRY;
-
-        lov_tgts_lock(lov);
-        if ((flags & LTD_ACTIVE) && (tgt->ltd_flags & LTD_ACTIVE))
-                lov->desc.ld_active_tgt_count--;
-        tgt->ltd_flags &= ~flags;
-        lov_tgts_unlock(lov);
-        EXIT;
-}
-
-static inline int
-lov_tgt_changed(struct lov_obd *lov, struct lov_oinfo *loi)
-{
-        int changed;
-
-        lov_tgts_lock(lov);
-        changed = lov->tgts[loi->loi_ost_idx].ltd_gen != loi->loi_ost_gen;
-        lov_tgts_unlock(lov);
-
-        return changed;
-}
-
-static inline int
-lov_tgt_active(struct lov_obd *lov, struct lov_tgt_desc *tgt, int gen)
-{
-        int rc = 0;
-        lov_tgts_lock(lov);
-
-        if (((gen == 0) || (gen == tgt->ltd_gen)) &&
-            ((tgt->ltd_flags &(LTD_ACTIVE|LTD_DEL_PENDING)) == LTD_ACTIVE)) {
-                tgt->ltd_refcount++;
-                rc = 1;
-        }
-
-        lov_tgts_unlock(lov);
-        return rc;
-}
-
-static inline int
-lov_tgt_ready(struct lov_obd *lov, struct lov_tgt_desc *tgt, int gen)
-{
-        int rc = 0;
-
-        lov_tgts_lock(lov);
-
-        if (((gen == 0) || (gen == tgt->ltd_gen)) &&
-            (tgt->ltd_flags & LTD_ACTIVE)) {
-                tgt->ltd_refcount++;
-                rc = 1;
-        }
-
-        lov_tgts_unlock(lov);
-        return rc;
-}
-
-static inline void
-lov_tgt_decref(struct lov_obd *lov, struct lov_tgt_desc *tgt)
-{
-        int do_wakeup = 0;
-
-        lov_tgts_lock(lov);
-
-        if ((--tgt->ltd_refcount == 0) && (tgt->ltd_flags & LTD_DEL_PENDING)) {
-                do_wakeup = 1;
-        } 
-
-        lov_tgts_unlock(lov);
-        if (do_wakeup)
-                wake_up(&lov->lov_tgt_waitq);
-}
-
-struct lov_async_page {
-        int                             lap_magic;
-        int                             lap_stripe;
-        obd_off                         lap_sub_offset;
-        void                            *lap_sub_cookie;
-        struct obd_async_page_ops       *lap_caller_ops;
-        void                            *lap_caller_data;
-        obd_id                          lap_loi_id;
-};
-
-#define LAP_FROM_COOKIE(c)                                                      \
-        (LASSERT(((struct lov_async_page *)(c))->lap_magic == LAP_MAGIC),       \
-         (struct lov_async_page *)(c))
+extern cfs_mem_cache_t *lov_oinfo_slab;
 
 static inline void lov_llh_addref(void *llhp)
 {
         struct lov_lock_handles *llh = llhp;
-        atomic_inc(&llh->llh_refcount);
+        cfs_atomic_inc(&llh->llh_refcount);
         CDEBUG(D_INFO, "GETting llh %p : new refcount %d\n", llh,
-               atomic_read(&llh->llh_refcount));
+               cfs_atomic_read(&llh->llh_refcount));
 }
 
 static inline struct lov_lock_handles *lov_llh_new(struct lov_stripe_md *lsm)
@@ -170,15 +101,30 @@ static inline struct lov_lock_handles *lov_llh_new(struct lov_stripe_md *lsm)
 
         OBD_ALLOC(llh, sizeof *llh +
                   sizeof(*llh->llh_handles) * lsm->lsm_stripe_count);
-        if (llh == NULL) 
+        if (llh == NULL)
                 return NULL;
-        atomic_set(&llh->llh_refcount, 2);
+        cfs_atomic_set(&llh->llh_refcount, 2);
         llh->llh_stripe_count = lsm->lsm_stripe_count;
-        INIT_LIST_HEAD(&llh->llh_handle.h_link);
+        CFS_INIT_LIST_HEAD(&llh->llh_handle.h_link);
         class_handle_hash(&llh->llh_handle, lov_llh_addref);
         return llh;
 }
 
+void lov_finish_set(struct lov_request_set *set);
+
+static inline void lov_get_reqset(struct lov_request_set *set)
+{
+        LASSERT(set != NULL);
+        LASSERT(cfs_atomic_read(&set->set_refcount) > 0);
+        cfs_atomic_inc(&set->set_refcount);
+}
+
+static inline void lov_put_reqset(struct lov_request_set *set)
+{
+        if (cfs_atomic_dec_and_test(&set->set_refcount))
+                lov_finish_set(set);
+}
+
 static inline struct lov_lock_handles *
 lov_handle2llh(struct lustre_handle *handle)
 {
@@ -189,25 +135,37 @@ lov_handle2llh(struct lustre_handle *handle)
 static inline void lov_llh_put(struct lov_lock_handles *llh)
 {
         CDEBUG(D_INFO, "PUTting llh %p : new refcount %d\n", llh,
-               atomic_read(&llh->llh_refcount) - 1);
-        LASSERT(atomic_read(&llh->llh_refcount) > 0 &&
-                atomic_read(&llh->llh_refcount) < 0x5a5a);
-        if (atomic_dec_and_test(&llh->llh_refcount)) {
+               cfs_atomic_read(&llh->llh_refcount) - 1);
+        LASSERT(cfs_atomic_read(&llh->llh_refcount) > 0 &&
+                cfs_atomic_read(&llh->llh_refcount) < 0x5a5a);
+        if (cfs_atomic_dec_and_test(&llh->llh_refcount)) {
                 class_handle_unhash(&llh->llh_handle);
-                LASSERT(list_empty(&llh->llh_handle.h_link));
-                OBD_FREE(llh, sizeof *llh +
-                         sizeof(*llh->llh_handles) * llh->llh_stripe_count);
+                /* The structure may be held by other threads because RCU.
+                 *   -jxiong */
+                if (cfs_atomic_read(&llh->llh_refcount))
+                        return;
+
+                OBD_FREE_RCU(llh, sizeof *llh +
+                             sizeof(*llh->llh_handles) * llh->llh_stripe_count,
+                             &llh->llh_handle);
         }
 }
 
+#define lov_uuid2str(lv, index) \
+        (char *)((lv)->lov_tgts[index]->ltd_uuid.uuid)
+
 /* lov_merge.c */
-void lov_merge_attrs(struct obdo *tgt, struct obdo *src, obd_flags valid,
+void lov_merge_attrs(struct obdo *tgt, struct obdo *src, obd_flag valid,
                      struct lov_stripe_md *lsm, int stripeno, int *set);
-
+int lov_merge_lvb(struct obd_export *exp, struct lov_stripe_md *lsm,
+                  struct ost_lvb *lvb, int kms_only);
 int lov_adjust_kms(struct obd_export *exp, struct lov_stripe_md *lsm,
                    obd_off size, int shrink);
+int lov_merge_lvb_kms(struct lov_stripe_md *lsm,
+                      struct ost_lvb *lvb, __u64 *kms_place);
+
 /* lov_offset.c */
-obd_size lov_stripe_size(struct lov_stripe_md *lsm, obd_size ost_size, 
+obd_size lov_stripe_size(struct lov_stripe_md *lsm, obd_size ost_size,
                          int stripeno);
 int lov_stripe_offset(struct lov_stripe_md *lsm, obd_off lov_off,
                       int stripeno, obd_off *obd_off);
@@ -219,93 +177,196 @@ int lov_stripe_intersects(struct lov_stripe_md *lsm, int stripeno,
 int lov_stripe_number(struct lov_stripe_md *lsm, obd_off lov_off);
 
 /* lov_qos.c */
+#define LOV_USES_ASSIGNED_STRIPE        0
+#define LOV_USES_DEFAULT_STRIPE         1
+int qos_add_tgt(struct obd_device *obd, __u32 index);
+int qos_del_tgt(struct obd_device *obd, struct lov_tgt_desc *tgt);
 void qos_shrink_lsm(struct lov_request_set *set);
-int qos_prep_create(struct lov_obd *lov, struct lov_request_set *set, 
-                    int newea);
+int qos_prep_create(struct obd_export *exp, struct lov_request_set *set);
+void qos_update(struct lov_obd *lov);
+void qos_statfs_done(struct lov_obd *lov);
+void qos_statfs_update(struct obd_device *obd, __u64 max_age, int wait);
+int qos_remedy_create(struct lov_request_set *set, struct lov_request *req);
 
 /* lov_request.c */
 void lov_set_add_req(struct lov_request *req, struct lov_request_set *set);
-int lov_update_common_set(struct lov_request_set *set, 
+int lov_finished_set(struct lov_request_set *set);
+void lov_update_set(struct lov_request_set *set,
+                    struct lov_request *req, int rc);
+int lov_update_common_set(struct lov_request_set *set,
                           struct lov_request *req, int rc);
-int lov_prep_create_set(struct obd_export *exp, struct lov_stripe_md **ea, 
-                        struct obdo *src_oa, struct obd_trans_info *oti,
+int lov_prep_create_set(struct obd_export *exp, struct obd_info *oifo,
+                        struct lov_stripe_md **ea, struct obdo *src_oa,
+                        struct obd_trans_info *oti,
                         struct lov_request_set **reqset);
-int lov_update_create_set(struct lov_request_set *set,
-                          struct lov_request *req, int rc);
+int cb_create_update(void *cookie, int rc);
 int lov_fini_create_set(struct lov_request_set *set, struct lov_stripe_md **ea);
-int lov_prep_brw_set(struct obd_export *exp, struct obdo *src_oa, 
-                     struct lov_stripe_md *lsm, obd_count oa_bufs,
-                     struct brw_page *pga, struct obd_trans_info *oti,
+int lov_prep_brw_set(struct obd_export *exp, struct obd_info *oinfo,
+                     obd_count oa_bufs, struct brw_page *pga,
+                     struct obd_trans_info *oti,
                      struct lov_request_set **reqset);
 int lov_fini_brw_set(struct lov_request_set *set);
-int lov_prep_getattr_set(struct obd_export *exp, struct obdo *src_oa, 
-                         struct lov_stripe_md *lsm, 
+int lov_prep_getattr_set(struct obd_export *exp, struct obd_info *oinfo,
                          struct lov_request_set **reqset);
 int lov_fini_getattr_set(struct lov_request_set *set);
-int lov_prep_destroy_set(struct obd_export *exp, struct obdo *src_oa,
-                         struct lov_stripe_md *lsm, 
-                         struct obd_trans_info *oti, 
+int lov_prep_destroy_set(struct obd_export *exp, struct obd_info *oinfo,
+                         struct obdo *src_oa, struct lov_stripe_md *lsm,
+                         struct obd_trans_info *oti,
                          struct lov_request_set **reqset);
 int lov_update_destroy_set(struct lov_request_set *set,
                            struct lov_request *req, int rc);
 int lov_fini_destroy_set(struct lov_request_set *set);
-int lov_prep_setattr_set(struct obd_export *exp, struct obdo *src_oa,
-                         struct lov_stripe_md *lsm, struct obd_trans_info *oti,
+int lov_prep_setattr_set(struct obd_export *exp, struct obd_info *oinfo,
+                         struct obd_trans_info *oti,
                          struct lov_request_set **reqset);
+int lov_update_setattr_set(struct lov_request_set *set,
+                           struct lov_request *req, int rc);
 int lov_fini_setattr_set(struct lov_request_set *set);
-int lov_prep_punch_set(struct obd_export *exp, struct obdo *src_oa,
-                       struct lov_stripe_md *lsm, obd_off start,
-                       obd_off end, struct obd_trans_info *oti,
+int lov_prep_punch_set(struct obd_export *exp, struct obd_info *oinfo,
+                       struct obd_trans_info *oti,
                        struct lov_request_set **reqset);
-int lov_update_punch_set(struct lov_request_set *set, struct lov_request *req,
-                         int rc);
 int lov_fini_punch_set(struct lov_request_set *set);
-int lov_prep_sync_set(struct obd_export *exp, struct obdo *src_oa,
+int lov_prep_sync_set(struct obd_export *exp, struct obd_info *obd_info,
+                      struct obdo *src_oa,
                       struct lov_stripe_md *lsm, obd_off start,
                       obd_off end, struct lov_request_set **reqset);
 int lov_fini_sync_set(struct lov_request_set *set);
-int lov_prep_enqueue_set(struct obd_export *exp, struct lov_stripe_md *lsm, 
-                         ldlm_policy_data_t *policy, __u32 mode,
-                         struct lustre_handle *lockh,
+int lov_prep_enqueue_set(struct obd_export *exp, struct obd_info *oinfo,
+                         struct ldlm_enqueue_info *einfo,
                          struct lov_request_set **reqset);
-int lov_update_enqueue_set(struct lov_request_set *set, 
-                           struct lov_request *req, int rc, int flags);
-int lov_fini_enqueue_set(struct lov_request_set *set, __u32 mode);
-int lov_prep_match_set(struct obd_export *exp, struct lov_stripe_md *lsm,
+int lov_fini_enqueue_set(struct lov_request_set *set, __u32 mode, int rc,
+                         struct ptlrpc_request_set *rqset);
+int lov_prep_match_set(struct obd_export *exp, struct obd_info *oinfo,
+                       struct lov_stripe_md *lsm,
                        ldlm_policy_data_t *policy, __u32 mode,
                        struct lustre_handle *lockh,
                        struct lov_request_set **reqset);
 int lov_update_match_set(struct lov_request_set *set, struct lov_request *req,
                          int rc);
-int lov_fini_match_set(struct lov_request_set *set, __u32 mode, int flags); 
-int lov_prep_cancel_set(struct obd_export *exp, struct lov_stripe_md *lsm,
+int lov_fini_match_set(struct lov_request_set *set, __u32 mode, int flags);
+int lov_prep_cancel_set(struct obd_export *exp, struct obd_info *oinfo,
+                        struct lov_stripe_md *lsm,
                         __u32 mode, struct lustre_handle *lockh,
                         struct lov_request_set **reqset);
 int lov_fini_cancel_set(struct lov_request_set *set);
-
+int lov_prep_statfs_set(struct obd_device *obd, struct obd_info *oinfo,
+                        struct lov_request_set **reqset);
+void lov_update_statfs(struct obd_statfs *osfs, struct obd_statfs *lov_sfs,
+                       int success);
+int lov_fini_statfs(struct obd_device *obd, struct obd_statfs *osfs,
+                    int success);
+int lov_fini_statfs_set(struct lov_request_set *set);
+int lov_statfs_interpret(struct ptlrpc_request_set *rqset, void *data, int rc);
+
+int cb_sync_fs_update(void *cookie, int rc);
+int lov_fini_sync_fs_set(struct lov_request_set *set);
+int lov_prep_sync_fs_set(struct obd_device *obd, struct obd_info *oinfo,
+                         struct lov_request_set **reqset);
 /* lov_obd.c */
-int lov_get_stripecnt(struct lov_obd *lov, int stripe_count);
-int lov_alloc_memmd(struct lov_stripe_md **lsmp, int stripe_count, int pattern);
-void lov_free_memmd(struct lov_stripe_md **lsmp);
-
+void lov_fix_desc(struct lov_desc *desc);
+void lov_fix_desc_stripe_size(__u64 *val);
+void lov_fix_desc_stripe_count(__u32 *val);
+void lov_fix_desc_pattern(__u32 *val);
+void lov_fix_desc_qos_maxage(__u32 *val);
+int lov_get_stripecnt(struct lov_obd *lov, __u32 stripe_count);
+int lov_connect_obd(struct obd_device *obd, __u32 index, int activate,
+                    struct obd_connect_data *data);
+int lov_setup(struct obd_device *obd, struct lustre_cfg *lcfg);
+int lov_process_config_base(struct obd_device *obd, struct lustre_cfg *lcfg,
+                            __u32 *indexp, int *genp);
+int lov_del_target(struct obd_device *obd, __u32 index,
+                   struct obd_uuid *uuidp, int gen);
 /* lov_log.c */
-int lov_llog_init(struct obd_device *, struct obd_llogs *,
-                  struct obd_device *, int, struct llog_catid *);
-int lov_llog_finish(struct obd_device *, struct obd_llogs *, int);
+int lov_llog_init(struct obd_device *obd, struct obd_llog_group *olg,
+                  struct obd_device *tgt, int *idx);
+int lov_llog_finish(struct obd_device *obd, int count);
 
 /* lov_pack.c */
 int lov_packmd(struct obd_export *exp, struct lov_mds_md **lmm,
                struct lov_stripe_md *lsm);
 int lov_unpackmd(struct obd_export *exp, struct lov_stripe_md **lsmp,
                  struct lov_mds_md *lmm, int lmm_bytes);
-int lov_setstripe(struct obd_export *exp,
+int lov_setstripe(struct obd_export *exp, int max_lmm_size,
                   struct lov_stripe_md **lsmp, struct lov_user_md *lump);
 int lov_setea(struct obd_export *exp, struct lov_stripe_md **lsmp,
               struct lov_user_md *lump);
 int lov_getstripe(struct obd_export *exp,
                   struct lov_stripe_md *lsm, struct lov_user_md *lump);
+int lov_alloc_memmd(struct lov_stripe_md **lsmp, int stripe_count,
+                      int pattern, int magic);
+void lov_free_memmd(struct lov_stripe_md **lsmp);
+
+void lov_dump_lmm_v1(int level, struct lov_mds_md_v1 *lmm);
+void lov_dump_lmm_v3(int level, struct lov_mds_md_v3 *lmm);
+void lov_dump_lmm(int level, void *lmm);
 
+/* lov_ea.c */
+struct lov_stripe_md *lsm_alloc_plain(int stripe_count, int *size);
+void lsm_free_plain(struct lov_stripe_md *lsm);
+
+int lovea_destroy_object(struct lov_obd *lov, struct lov_stripe_md *lsm,
+                         struct obdo *oa, void *data);
 /* lproc_lov.c */
 extern struct file_operations lov_proc_target_fops;
+#ifdef LPROCFS
+void lprocfs_lov_init_vars(struct lprocfs_static_vars *lvars);
+#else
+static inline void lprocfs_lov_init_vars(struct lprocfs_static_vars *lvars)
+{
+        memset(lvars, 0, sizeof(*lvars));
+}
+#endif
+
+/* lov_cl.c */
+extern struct lu_device_type lov_device_type;
+
+/* pools */
+extern cfs_hash_ops_t pool_hash_operations;
+/* ost_pool methods */
+int lov_ost_pool_init(struct ost_pool *op, unsigned int count);
+int lov_ost_pool_extend(struct ost_pool *op, unsigned int min_count);
+int lov_ost_pool_add(struct ost_pool *op, __u32 idx, unsigned int min_count);
+int lov_ost_pool_remove(struct ost_pool *op, __u32 idx);
+int lov_ost_pool_free(struct ost_pool *op);
+
+/* high level pool methods */
+int lov_pool_new(struct obd_device *obd, char *poolname);
+int lov_pool_del(struct obd_device *obd, char *poolname);
+int lov_pool_add(struct obd_device *obd, char *poolname, char *ostname);
+int lov_pool_remove(struct obd_device *obd, char *poolname, char *ostname);
+void lov_dump_pool(int level, struct pool_desc *pool);
+struct pool_desc *lov_find_pool(struct lov_obd *lov, char *poolname);
+int lov_check_index_in_pool(__u32 idx, struct pool_desc *pool);
+void lov_pool_putref(struct pool_desc *pool);
+
+#if BITS_PER_LONG == 64
+# define ll_do_div64(n,base) ({                                 \
+        uint64_t __base = (base);                               \
+        uint64_t __rem;                                         \
+        __rem = ((uint64_t)(n)) % __base;                       \
+        (n) = ((uint64_t)(n)) / __base;                         \
+        __rem;                                                  \
+  })
+#elif BITS_PER_LONG == 32
+# define ll_do_div64(n,base) ({                                 \
+        uint64_t __rem;                                         \
+        if ((sizeof(base) > 4) && (((base)&0xffffffff00000000ULL) != 0)) { \
+                int __remainder;                                \
+                LASSERTF(!((base) & (LOV_MIN_STRIPE_SIZE - 1)), "64 bit lov "\
+                          "division %llu / %llu\n", (n), (base)); \
+                __remainder = (n) & (LOV_MIN_STRIPE_SIZE - 1);  \
+                (n) >>= LOV_MIN_STRIPE_BITS;                    \
+                (base) >>= LOV_MIN_STRIPE_BITS;                 \
+                __rem = do_div(n, base);                        \
+                __rem <<= LOV_MIN_STRIPE_BITS;                  \
+                __rem += __remainder;                           \
+        } else {                                                \
+                __rem = do_div(n, base);                        \
+        }                                                       \
+        __rem;                                                  \
+  })
+#else
+#error Unsupported architecture.
+#endif
 
 #endif