Whamcloud - gitweb
LU-5502 lod: add a high-level description of the LOD layer
[fs/lustre-release.git] / lustre / lod / lod_dev.c
index 0a77113..96d2ac9 100644 (file)
  * Author: Alex Zhuravlev <alexey.zhuravlev@intel.com>
  * Author: Mikhail Pershin <mike.pershin@intel.com>
  */
+/**
+ * The Logical Object Device (LOD) layer manages access to striped
+ * objects (both regular files and directories). It implements the DT
+ * device and object APIs and is responsible for creating, storing,
+ * and loading striping information as an extended attribute of the
+ * underlying OSD object. LOD is the server side analog of the LOV and
+ * LMV layers on the client side.
+ *
+ * Metadata LU object stack (layers of the same compound LU object,
+ * all have the same FID):
+ *
+ *        MDT
+ *         |      MD API
+ *        MDD
+ *         |      DT API
+ *        LOD
+ *       /   \    DT API
+ *     OSD   OSP
+ *
+ * During LOD object initialization the localness or remoteness of the
+ * object FID dictates the choice between OSD and OSP.
+ *
+ * An LOD object (file or directory) with N stripes (each has a
+ * different FID):
+ *
+ *          LOD
+ *           |
+ *   +---+---+---+...+
+ *   |   |   |   |   |
+ *   S0  S1  S2  S3  S(N-1)  OS[DP] objects, seen as DT objects by LOD
+ *
+ * When upper layers must access an object's stripes (which are
+ * themselves OST or MDT LU objects) LOD finds these objects by their
+ * FIDs and stores them as an array of DT object pointers on the
+ * object. Declarations and operations on LOD objects are received by
+ * LOD (as DT object operations) and performed on the underlying
+ * OS[DP] object and (as needed) on the stripes. From the perspective
+ * of LOD, a stripe-less file (created by mknod() or open with
+ * O_LOV_DELAY_CREATE) is an object which does not yet have stripes,
+ * while a non-striped directory (created by mkdir()) is an object
+ * which will never have stripes.
+ *
+ * The LOD layer also implements a small subset of the OBD device API
+ * to support MDT stack initialization and finalization (an MDD device
+ * connects and disconnects itself to and from the underlying LOD
+ * device), and pool management. In turn LOD uses the OBD device API
+ * to connect it self to the underlying OSD, and to connect itself to
+ * OSP devices representing the MDTs and OSTs that bear the stripes of
+ * its objects.
+ */
 
 #define DEBUG_SUBSYSTEM S_MDS
 
  * \param type indidcate the FID is on MDS or OST.
  **/
 int lod_fld_lookup(const struct lu_env *env, struct lod_device *lod,
-                  const struct lu_fid *fid, __u32 *tgt, int type)
+                  const struct lu_fid *fid, __u32 *tgt, int *type)
 {
        struct lu_seq_range     range = { 0 };
        struct lu_server_fld    *server_fld;
@@ -65,24 +115,29 @@ int lod_fld_lookup(const struct lu_env *env, struct lod_device *lod,
        ENTRY;
 
        LASSERTF(fid_is_sane(fid), "Invalid FID "DFID"\n", PFID(fid));
+
        if (fid_is_idif(fid)) {
                *tgt = fid_idif_ost_idx(fid);
+               *type = LU_SEQ_RANGE_OST;
                RETURN(rc);
        }
 
        if (!lod->lod_initialized || (!fid_seq_in_fldb(fid_seq(fid)))) {
                LASSERT(lu_site2seq(lod2lu_dev(lod)->ld_site) != NULL);
+
                *tgt = lu_site2seq(lod2lu_dev(lod)->ld_site)->ss_node_id;
+               *type = LU_SEQ_RANGE_MDT;
                RETURN(rc);
        }
 
        server_fld = lu_site2seq(lod2lu_dev(lod)->ld_site)->ss_server_fld;
-       fld_range_set_type(&range, type);
+       fld_range_set_type(&range, *type);
        rc = fld_server_lookup(env, server_fld, fid_seq(fid), &range);
        if (rc)
                RETURN(rc);
 
        *tgt = range.lsr_index;
+       *type = range.lsr_flags;
 
        CDEBUG(D_INFO, "LOD: got tgt %x for sequence: "
               LPX64"\n", *tgt, fid_seq(fid));
@@ -91,7 +146,6 @@ int lod_fld_lookup(const struct lu_env *env, struct lod_device *lod,
 }
 
 extern struct lu_object_operations lod_lu_obj_ops;
-extern struct lu_object_operations lod_lu_robj_ops;
 extern struct dt_object_operations lod_obj_ops;
 
 /* Slab for OSD object allocation */
@@ -117,29 +171,17 @@ struct lu_object *lod_object_alloc(const struct lu_env *env,
 {
        struct lod_object       *lod_obj;
        struct lu_object        *lu_obj;
-       const struct lu_fid     *fid = &hdr->loh_fid;
-       mdsno_t                 mds;
-       int                     rc = 0;
        ENTRY;
 
-       OBD_SLAB_ALLOC_PTR_GFP(lod_obj, lod_object_kmem, __GFP_IO);
+       OBD_SLAB_ALLOC_PTR_GFP(lod_obj, lod_object_kmem, GFP_NOFS);
        if (lod_obj == NULL)
                RETURN(ERR_PTR(-ENOMEM));
 
-       rc = lod_fld_lookup(env, lu2lod_dev(dev), fid, &mds, LU_SEQ_RANGE_MDT);
-       if (rc) {
-               OBD_SLAB_FREE_PTR(lod_obj, lod_object_kmem);
-               RETURN(ERR_PTR(rc));
-       }
-
-       lod_obj->ldo_mds_num = mds;
        lu_obj = lod2lu_obj(lod_obj);
        dt_object_init(&lod_obj->ldo_obj, NULL, dev);
        lod_obj->ldo_obj.do_ops = &lod_obj_ops;
-       if (likely(mds == lu_site2seq(dev->ld_site)->ss_node_id))
-               lu_obj->lo_ops = &lod_lu_obj_ops;
-       else
-               lu_obj->lo_ops = &lod_lu_robj_ops;
+       lu_obj->lo_ops = &lod_lu_obj_ops;
+
        RETURN(lu_obj);
 }
 
@@ -150,7 +192,7 @@ static int lod_cleanup_desc_tgts(const struct lu_env *env,
 {
        struct lu_device  *next;
        int rc = 0;
-       int i;
+       unsigned int i;
 
        lod_getref(ltd);
        if (ltd->ltd_tgts_size <= 0) {
@@ -297,12 +339,10 @@ static int lod_process_config(const struct lu_env *env,
        }
 
        case LCFG_PARAM: {
-               struct lprocfs_static_vars  v = { 0 };
-               struct obd_device         *obd = lod2obd(lod);
+               struct obd_device *obd = lod2obd(lod);
 
-               lprocfs_lod_init_vars(&v);
-
-               rc = class_process_proc_param(PARAM_LOV, v.obd_vars, lcfg, obd);
+               rc = class_process_proc_seq_param(PARAM_LOV, obd->obd_vars,
+                                                 lcfg, obd);
                if (rc > 0)
                        rc = 0;
                GOTO(out, rc);
@@ -345,7 +385,8 @@ static int lod_recovery_complete(const struct lu_env *env,
 {
        struct lod_device   *lod = lu2lod_dev(dev);
        struct lu_device    *next = &lod->lod_child->dd_lu_dev;
-       int                  i, rc;
+       unsigned int         i;
+       int                  rc;
        ENTRY;
 
        LASSERT(lod->lod_recovery_completed == 0);
@@ -429,12 +470,12 @@ static int lod_trans_start(const struct lu_env *env, struct dt_device *dev,
 
        if (unlikely(th->th_update != NULL)) {
                struct thandle_update *tu = th->th_update;
-               struct update_request *update;
+               struct dt_update_request *update;
 
                list_for_each_entry(update, &tu->tu_remote_update_list,
-                                   ur_list) {
-                       LASSERT(update->ur_dt != NULL);
-                       rc = dt_trans_start(env, update->ur_dt, th);
+                                   dur_list) {
+                       LASSERT(update->dur_dt != NULL);
+                       rc = dt_trans_start(env, update->dur_dt, th);
                        if (rc != 0)
                                return rc;
                }
@@ -445,21 +486,22 @@ static int lod_trans_start(const struct lu_env *env, struct dt_device *dev,
 static int lod_trans_stop(const struct lu_env *env, struct dt_device *dt,
                          struct thandle *th)
 {
-       struct thandle_update   *tu = th->th_update;
-       struct update_request   *update;
-       struct update_request   *tmp;
-       int                     rc2 = 0;
-       int                     rc;
+       struct thandle_update           *tu = th->th_update;
+       struct dt_update_request        *update;
+       struct dt_update_request        *tmp;
+       int                             rc2 = 0;
+       int                             rc;
        ENTRY;
 
        rc = dt_trans_stop(env, th->th_dev, th);
        if (likely(tu == NULL))
                RETURN(rc);
 
-       list_for_each_entry_safe(update, tmp, &tu->tu_remote_update_list,
-                                ur_list) {
+       list_for_each_entry_safe(update, tmp,
+                                &tu->tu_remote_update_list,
+                                dur_list) {
                /* update will be freed inside dt_trans_stop */
-               rc2 = dt_trans_stop(env, update->ur_dt, th);
+               rc2 = dt_trans_stop(env, update->dur_dt, th);
                if (unlikely(rc2 != 0 && rc == 0))
                        rc = rc2;
        }
@@ -478,7 +520,8 @@ static int lod_sync(const struct lu_env *env, struct dt_device *dev)
 {
        struct lod_device   *lod = dt2lod_dev(dev);
        struct lod_ost_desc *ost;
-       int                  rc = 0, i;
+       unsigned int         i;
+       int                  rc = 0;
        ENTRY;
 
        lod_getref(&lod->lod_ost_descs);
@@ -690,7 +733,7 @@ static struct lu_device *lod_device_free(const struct lu_env *env,
        struct lu_device  *next = &lod->lod_child->dd_lu_dev;
        ENTRY;
 
-       LASSERT(cfs_atomic_read(&lu->ld_ref) == 0);
+       LASSERT(atomic_read(&lu->ld_ref) == 0);
        dt_device_fini(&lod->lod_dt_dev);
        OBD_FREE_PTR(lod);
        RETURN(next);
@@ -823,6 +866,7 @@ static void lod_key_fini(const struct lu_context *ctx,
                info->lti_ea_store = NULL;
                info->lti_ea_store_size = 0;
        }
+       lu_buf_free(&info->lti_linkea_buf);
        OBD_FREE_PTR(info);
 }
 
@@ -861,7 +905,8 @@ static int lod_obd_get_info(const struct lu_env *env, struct obd_export *exp,
                struct obd_device       *obd = exp->exp_obd;
                struct lod_device       *d;
                struct lod_ost_desc     *ost;
-               int                     i, rc = 1;
+               unsigned int            i;
+               int                     rc = 1;
 
                if (!obd->obd_set_up || obd->obd_stopping)
                        RETURN(-EAGAIN);
@@ -898,44 +943,41 @@ static struct obd_ops lod_obd_device_ops = {
 
 static int __init lod_mod_init(void)
 {
-       struct lprocfs_static_vars  lvars = { 0 };
-       cfs_proc_dir_entry_t       *lov_proc_dir;
-       int                         rc;
+       struct obd_type *type;
+       int rc;
 
        rc = lu_kmem_init(lod_caches);
        if (rc)
                return rc;
 
-       lprocfs_lod_init_vars(&lvars);
-
-       rc = class_register_type(&lod_obd_device_ops, NULL, NULL,
+       rc = class_register_type(&lod_obd_device_ops, NULL, true, NULL,
 #ifndef HAVE_ONLY_PROCFS_SEQ
-                               lvars.module_vars,
+                                NULL,
 #endif
-                               LUSTRE_LOD_NAME, &lod_device_type);
+                                LUSTRE_LOD_NAME, &lod_device_type);
        if (rc) {
                lu_kmem_fini(lod_caches);
                return rc;
        }
 
        /* create "lov" entry in procfs for compatibility purposes */
-       lov_proc_dir = lprocfs_srch(proc_lustre_root, "lov");
-       if (lov_proc_dir == NULL) {
-               lov_proc_dir = lprocfs_register("lov", proc_lustre_root,
-                                               NULL, NULL);
-               if (IS_ERR(lov_proc_dir))
-                       CERROR("lod: can't create compat entry \"lov\": %d\n",
-                              (int)PTR_ERR(lov_proc_dir));
-       }
+       type = class_search_type(LUSTRE_LOV_NAME);
+       if (type != NULL && type->typ_procroot != NULL)
+               return rc;
 
+       type = class_search_type(LUSTRE_LOD_NAME);
+       type->typ_procsym = lprocfs_seq_register("lov", proc_lustre_root,
+                                                NULL, NULL);
+       if (IS_ERR(type->typ_procsym)) {
+               CERROR("lod: can't create compat entry \"lov\": %d\n",
+                      (int)PTR_ERR(type->typ_procsym));
+               type->typ_procsym = NULL;
+       }
        return rc;
 }
 
 static void __exit lod_mod_exit(void)
 {
-
-       lprocfs_try_remove_proc_entry("lov", proc_lustre_root);
-
        class_unregister_type(LUSTRE_LOD_NAME);
        lu_kmem_fini(lod_caches);
 }