Whamcloud - gitweb
LU-12624 lod: alloc dir stripes by QoS
[fs/lustre-release.git] / lustre / lmv / lmv_internal.h
index 4e8c721..84a6d98 100644 (file)
-/* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
- * vim:expandtab:shiftwidth=8:tabstop=8:
+/*
+ * GPL HEADER START
  *
- * Copyright (C) 2002, 2003, 2004, 2005, 2006 Cluster File Systems, Inc.
+ * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
  *
- *   This file is part of Lustre, http://www.lustre.org.
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License version 2 only,
+ * as published by the Free Software Foundation.
  *
- *   Lustre is free software; you can redistribute it and/or
- *   modify it under the terms of version 2 of the GNU General Public
- *   License as published by the Free Software Foundation.
+ * This program is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * General Public License version 2 for more details (a copy is included
+ * in the LICENSE file that accompanied this code).
  *
- *   Lustre is distributed in the hope that it will be useful,
- *   but WITHOUT ANY WARRANTY; without even the implied warranty of
- *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- *   GNU General Public License for more details.
+ * You should have received a copy of the GNU General Public License
+ * version 2 along with this program; If not, see
+ * http://www.gnu.org/licenses/gpl-2.0.html
  *
- *   You should have received a copy of the GNU General Public License
- *   along with Lustre; if not, write to the Free Software
- *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+ * GPL HEADER END
+ */
+/*
+ * Copyright (c) 2004, 2010, Oracle and/or its affiliates. All rights reserved.
+ * Use is subject to license terms.
+ *
+ * Copyright (c) 2011, 2016, Intel Corporation.
+ */
+/*
+ * This file is part of Lustre, http://www.lustre.org/
+ * Lustre is a trademark of Sun Microsystems, Inc.
  */
 
 #ifndef _LMV_INTERNAL_H_
 #define _LMV_INTERNAL_H_
 
-#include <lustre/lustre_idl.h>
 #include <obd.h>
-
-#ifndef __KERNEL__
-/* XXX: dirty hack, needs to be fixed more clever way. */
-struct qstr {
-        const char *name;
-        size_t      len;
-        unsigned    hashval;
-};
-#endif
+#include <lustre_lmv.h>
 
 #define LMV_MAX_TGT_COUNT 128
 
-#define lmv_init_lock(lmv)   down(&lmv->init_sem);
-#define lmv_init_unlock(lmv) up(&lmv->init_sem);
-
 #define LL_IT2STR(it)                                  \
        ((it) ? ldlm_it2str((it)->it_op) : "0")
 
-struct lmv_inode {
-        struct lu_fid      li_fid;        /* id of dirobj */
-        mdsno_t            li_mds;        /* cached mdsno where @li_fid lives */
-        unsigned long      li_size;       /* slave size value */
-        int                li_flags;
-};
-
-#define O_FREEING          (1 << 0)
-
-struct lmv_obj {
-        struct list_head   lo_list;
-       struct semaphore   lo_guard;
-       int                lo_state;      /* object state. */
-        atomic_t           lo_count;      /* ref counter. */
-        struct lu_fid      lo_fid;        /* master id of dir */
-        void              *lo_update;     /* bitmap of status (up-to-date) */
-       __u32              lo_hashtype;
-        int                lo_objcount;   /* number of slaves */
-        struct lmv_inode  *lo_inodes;     /* array of sub-objs */
-        struct obd_device *lo_obd;        /* pointer to LMV itself */
-};
-
-int lmv_obj_setup(struct obd_device *obd);
-void lmv_obj_cleanup(struct obd_device *obd);
-
-static inline void
-lmv_obj_lock(struct lmv_obj *obj)
+int lmv_intent_lock(struct obd_export *exp, struct md_op_data *op_data,
+                   struct lookup_intent *it, struct ptlrpc_request **reqp,
+                   ldlm_blocking_callback cb_blocking,
+                   __u64 extra_lock_flags);
+
+int lmv_blocking_ast(struct ldlm_lock *, struct ldlm_lock_desc *,
+                    void *, int);
+int lmv_fld_lookup(struct lmv_obd *lmv, const struct lu_fid *fid, u32 *mds);
+int lmv_fid_alloc(const struct lu_env *env, struct obd_export *exp,
+                 struct lu_fid *fid, struct md_op_data *op_data);
+
+int lmv_revalidate_slaves(struct obd_export *exp,
+                         const struct lmv_stripe_md *lsm,
+                         ldlm_blocking_callback cb_blocking,
+                         int extra_lock_flags);
+
+int lmv_getattr_name(struct obd_export *exp, struct md_op_data *op_data,
+                    struct ptlrpc_request **preq);
+void lmv_activate_target(struct lmv_obd *lmv, struct lmv_tgt_desc *tgt,
+                        int activate);
+
+int lmv_statfs_check_update(struct obd_device *obd, struct lmv_tgt_desc *tgt);
+
+static inline struct obd_device *lmv2obd_dev(struct lmv_obd *lmv)
 {
-        LASSERT(obj);
-        down(&obj->lo_guard);
+       return container_of0(lmv, struct obd_device, u.lmv);
 }
 
-static inline void
-lmv_obj_unlock(struct lmv_obj *obj)
+static inline struct lu_tgt_desc *
+lmv_tgt(struct lmv_obd *lmv, __u32 index)
 {
-        LASSERT(obj);
-        up(&obj->lo_guard);
+       return index < lmv->lmv_mdt_descs.ltd_tgt_bitmap->size ?
+               LTD_TGT(&lmv->lmv_mdt_descs, index) : NULL;
 }
 
-void lmv_obj_add(struct lmv_obj *obj);
-void lmv_obj_del(struct lmv_obj *obj);
-
-void lmv_obj_put(struct lmv_obj *obj);
-void lmv_obj_free(struct lmv_obj *obj);
-
-struct lmv_obj *lmv_obj_get(struct lmv_obj *obj);
-
-struct lmv_obj *lmv_obj_grab(struct obd_device *obd,
-                            const struct lu_fid *fid);
+static inline bool
+lmv_mdt0_inited(struct lmv_obd *lmv)
+{
+       return lmv->lmv_mdt_descs.ltd_tgt_bitmap->size > 0 &&
+              cfs_bitmap_check(lmv->lmv_mdt_descs.ltd_tgt_bitmap, 0);
+}
 
-struct lmv_obj *lmv_obj_alloc(struct obd_device *obd,
-                             const struct lu_fid *fid,
-                             struct lmv_stripe_md *mea);
+#define lmv_foreach_tgt(lmv, tgt) ltd_foreach_tgt(&(lmv)->lmv_mdt_descs, tgt)
 
-struct lmv_obj *lmv_obj_create(struct obd_export *exp,
-                              const struct lu_fid *fid,
-                              struct lmv_stripe_md *mea);
+#define lmv_foreach_tgt_safe(lmv, tgt, tmp) \
+       ltd_foreach_tgt_safe(&(lmv)->lmv_mdt_descs, tgt, tmp)
 
-int lmv_obj_delete(struct obd_export *exp,
-                   const struct lu_fid *fid);
+static inline
+struct lu_tgt_desc *lmv_first_connected_tgt(struct lmv_obd *lmv)
+{
+       struct lu_tgt_desc *tgt;
 
-int lmv_check_connect(struct obd_device *obd);
+       tgt = ltd_first_tgt(&lmv->lmv_mdt_descs);
+       while (tgt && !tgt->ltd_exp)
+               tgt = ltd_next_tgt(&lmv->lmv_mdt_descs, tgt);
 
-int lmv_intent_lock(struct obd_export *exp, struct md_op_data *op_data,
-                    void *lmm, int lmmsize, struct lookup_intent *it,
-                    int flags, struct ptlrpc_request **reqp,
-                    ldlm_blocking_callback cb_blocking,
-                    int extra_lock_flags);
-
-int lmv_intent_lookup(struct obd_export *exp, struct md_op_data *op_data,
-                      void *lmm, int lmmsize, struct lookup_intent *it,
-                      int flags, struct ptlrpc_request **reqp,
-                      ldlm_blocking_callback cb_blocking,
-                      int extra_lock_flags);
-
-int lmv_intent_open(struct obd_export *exp, struct md_op_data *op_data,
-                    void *lmm, int lmmsize, struct lookup_intent *it,
-                    int flags, struct ptlrpc_request **reqp,
-                    ldlm_blocking_callback cb_blocking,
-                    int extra_lock_flags);
-
-int lmv_intent_getattr(struct obd_export *exp, struct md_op_data *op_data,
-                       void *lmm, int lmmsize, struct lookup_intent *it,
-                       int flags, struct ptlrpc_request **reqp,
-                       ldlm_blocking_callback cb_blocking,
-                       int extra_lock_flags);
-
-int lmv_revalidate_slaves(struct obd_export *, struct ptlrpc_request **,
-                          const struct lu_fid *, struct lookup_intent *, int,
-                         ldlm_blocking_callback cb_blocking,
-                          int extra_lock_flags);
+       return tgt;
+}
 
-int lmv_handle_split(struct obd_export *, const struct lu_fid *);
-int lmv_blocking_ast(struct ldlm_lock *, struct ldlm_lock_desc *,
-                    void *, int);
-int lmv_fld_lookup(struct lmv_obd *lmv, const struct lu_fid *fid,
-                   mdsno_t *mds);
-int __lmv_fid_alloc(struct lmv_obd *lmv, struct lu_fid *fid,
-                    mdsno_t mds);
-int lmv_fid_alloc(struct obd_export *exp, struct lu_fid *fid,
-                  struct md_op_data *op_data);
-int lmv_alloc_slave_fids(struct obd_device *obd, struct lu_fid *pid,
-                         struct md_op_data *op, struct lu_fid *fid);
-
-static inline struct lmv_stripe_md * 
-lmv_get_mea(struct ptlrpc_request *req, int offset)
+static inline
+struct lu_tgt_desc *lmv_next_connected_tgt(struct lmv_obd *lmv,
+                                          struct lu_tgt_desc *tgt)
 {
-       struct mdt_body *body;
-       struct lmv_stripe_md *mea;
+       do {
+               tgt = ltd_next_tgt(&lmv->lmv_mdt_descs, tgt);
+       } while (tgt && !tgt->ltd_exp);
 
-       LASSERT(req);
+       return tgt;
+}
 
-        body = lustre_msg_buf(req->rq_repmsg, offset, sizeof(*body));
-        LASSERT(lustre_rep_swabbed(req, offset));
+#define lmv_foreach_connected_tgt(lmv, tgt) \
+       for (tgt = lmv_first_connected_tgt(lmv); tgt; \
+            tgt = lmv_next_connected_tgt(lmv, tgt))
 
-       if (!body || !S_ISDIR(body->mode) || !body->eadatasize)
-               return NULL;
+static inline int
+lmv_fid2tgt_index(struct lmv_obd *lmv, const struct lu_fid *fid)
+{
+       u32 mdt_idx;
+       int rc;
 
-        mea = lustre_msg_buf(req->rq_repmsg, offset + 1,
-                            body->eadatasize);
-       LASSERT(mea != NULL);
+       if (lmv->lmv_mdt_count < 2)
+               return 0;
 
-       if (mea->mea_count == 0)
-               return NULL;
-        if( mea->mea_magic != MEA_MAGIC_LAST_CHAR &&
-                mea->mea_magic != MEA_MAGIC_ALL_CHARS &&
-                mea->mea_magic != MEA_MAGIC_HASH_SEGMENT)
-                return NULL;
-       
-       return mea;
-}
+       rc = lmv_fld_lookup(lmv, fid, &mdt_idx);
+       if (rc < 0)
+               return rc;
 
-static inline int lmv_get_easize(struct lmv_obd *lmv)
-{
-        return sizeof(struct lmv_stripe_md) +
-                lmv->desc.ld_tgt_count *
-                sizeof(struct lu_fid);
+       return mdt_idx;
 }
 
 static inline struct lmv_tgt_desc *
-lmv_get_target(struct lmv_obd *lmv, mdsno_t mds)
+lmv_fid2tgt(struct lmv_obd *lmv, const struct lu_fid *fid)
 {
-        return &lmv->tgts[mds];
-}
+       struct lu_tgt_desc *tgt;
+       int index;
 
-static inline struct obd_export *
-lmv_get_export(struct lmv_obd *lmv, mdsno_t mds)
-{
-        return lmv_get_target(lmv, mds)->ltd_exp;
+       index = lmv_fid2tgt_index(lmv, fid);
+       if (index < 0)
+               return ERR_PTR(index);
+
+       tgt = lmv_tgt(lmv, index);
+
+       return tgt ? tgt : ERR_PTR(-ENODEV);
 }
 
-static inline struct lmv_tgt_desc *
-lmv_find_target(struct lmv_obd *lmv, const struct lu_fid *fid)
+static inline int lmv_stripe_md_size(int stripe_count)
 {
-        mdsno_t mds;
-        int rc;
-        
-        rc = lmv_fld_lookup(lmv, fid, &mds);
-        if (rc)
-                return ERR_PTR(rc);
-
-        return lmv_get_target(lmv, mds);
+       struct lmv_stripe_md *lsm;
+
+       return sizeof(*lsm) + stripe_count * sizeof(lsm->lsm_md_oinfo[0]);
 }
 
-static inline struct obd_export *
-lmv_find_export(struct lmv_obd *lmv, const struct lu_fid *fid)
+/* for file under migrating directory, return the target stripe info */
+static inline const struct lmv_oinfo *
+lsm_name_to_stripe_info(const struct lmv_stripe_md *lsm, const char *name,
+                       int namelen, bool post_migrate)
 {
-        struct lmv_tgt_desc *tgt = lmv_find_target(lmv, fid);
-        if (IS_ERR(tgt))
-                return (struct obd_export *)tgt;
-        return tgt->ltd_exp;
+       __u32 hash_type = lsm->lsm_md_hash_type;
+       __u32 stripe_count = lsm->lsm_md_stripe_count;
+       int stripe_index;
+
+       LASSERT(lmv_dir_striped(lsm));
+
+       if (hash_type & LMV_HASH_FLAG_MIGRATION) {
+               if (post_migrate) {
+                       hash_type &= ~LMV_HASH_FLAG_MIGRATION;
+                       stripe_count = lsm->lsm_md_migrate_offset;
+               } else {
+                       hash_type = lsm->lsm_md_migrate_hash;
+                       stripe_count -= lsm->lsm_md_migrate_offset;
+               }
+       }
+
+       stripe_index = lmv_name_to_stripe_index(hash_type, stripe_count,
+                                               name, namelen);
+       if (stripe_index < 0)
+               return ERR_PTR(stripe_index);
+
+       if ((lsm->lsm_md_hash_type & LMV_HASH_FLAG_MIGRATION) && !post_migrate)
+               stripe_index += lsm->lsm_md_migrate_offset;
+
+       if (stripe_index >= lsm->lsm_md_stripe_count) {
+               CERROR("stripe_index %d stripe_count %d hash_type %#x "
+                       "migrate_offset %d migrate_hash %#x name %.*s\n",
+                       stripe_index, lsm->lsm_md_stripe_count,
+                       lsm->lsm_md_hash_type, lsm->lsm_md_migrate_offset,
+                       lsm->lsm_md_migrate_hash, namelen, name);
+               return ERR_PTR(-EBADF);
+       }
+
+       return &lsm->lsm_md_oinfo[stripe_index];
 }
 
-static inline void lmv_update_body(struct mdt_body *body, 
-                                   struct lmv_inode *lino)
+static inline bool lmv_dir_retry_check_update(struct md_op_data *op_data)
 {
-        /* update object size */
-        body->size += lino->li_size;
+       const struct lmv_stripe_md *lsm = op_data->op_mea1;
+
+       if (!lsm)
+               return false;
+
+       if (lmv_dir_migrating(lsm) && !op_data->op_post_migrate) {
+               op_data->op_post_migrate = true;
+               return true;
+       }
+
+       if (lmv_dir_bad_hash(lsm) &&
+           op_data->op_stripe_index < lsm->lsm_md_stripe_count - 1) {
+               op_data->op_stripe_index++;
+               return true;
+       }
+
+       return false;
 }
 
-/* lproc_lmv.c */
-extern struct file_operations lmv_proc_target_fops;
+struct lmv_tgt_desc *lmv_locate_tgt(struct lmv_obd *lmv,
+                                   struct md_op_data *op_data);
+int lmv_migrate_existence_check(struct lmv_obd *lmv,
+                               struct md_op_data *op_data);
 
+/* lproc_lmv.c */
+int lmv_tunables_init(struct obd_device *obd);
 #endif
-