Whamcloud - gitweb
LU-6086 obdclass: check peer's version for MDT-MDT connection
[fs/lustre-release.git] / lustre / lod / lod_lov.c
index 4ff0f10..47eefff 100644 (file)
@@ -6,16 +6,16 @@
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License version 2 only,
  * as published by the Free Software Foundation.
-
+ *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  * GNU General Public License version 2 for more details.  A copy is
  * included in the COPYING file that accompanied this code.
-
+ *
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
+ * version 2 along with this program; If not, see
+ * http://www.gnu.org/licenses/gpl-2.0.html
  *
  * GPL HEADER END
  */
  * Copyright  2009 Sun Microsystems, Inc. All rights reserved
  * Use is subject to license terms.
  *
- * Copyright (c) 2012, 2013, Intel Corporation.
+ * Copyright (c) 2012, 2014, Intel Corporation.
  */
 /*
  * lustre/lod/lod_lov.c
  *
- * Author: Alex Zhuravlev <alexey.zhuravlev@intel.com> 
+ * A set of helpers to maintain Logical Object Volume (LOV)
+ * Extended Attribute (EA) and known OST targets
+ *
+ * Author: Alex Zhuravlev <alexey.zhuravlev@intel.com>
  */
 
 #define DEBUG_SUBSYSTEM S_MDS
 
 #include <obd_class.h>
 #include <lustre_lfsck.h>
+#include <lustre_lmv.h>
 
 #include "lod_internal.h"
 
-/*
- * Keep a refcount of lod->ltd_tgts usage to prevent racing with
- * addition/deletion. Any function that expects lov_tgts to remain stationary
- * must take a ref.
+/**
+ * Increase reference count on the target table.
+ *
+ * Increase reference count on the target table usage to prevent racing with
+ * addition/deletion. Any function that expects the table to remain
+ * stationary must take a ref.
  *
- * \param lod - is the lod device from which we want to grab a reference
+ * \param[in] ltd      target table (lod_ost_descs or lod_mdt_descs)
  */
 void lod_getref(struct lod_tgt_descs *ltd)
 {
@@ -53,12 +59,15 @@ void lod_getref(struct lod_tgt_descs *ltd)
        mutex_unlock(&ltd->ltd_mutex);
 }
 
-/*
- * Companion of lod_getref() to release a reference on the lod table.
- * If this is the last reference and the ost entry was scheduled for deletion,
- * the descriptor is removed from the array.
+/**
+ * Decrease reference count on the target table.
  *
- * \param lod - is the lod device from which we release a reference
+ * Companion of lod_getref() to release a reference on the target table.
+ * If this is the last reference and the OST entry was scheduled for deletion,
+ * the descriptor is removed from the table.
+ *
+ * \param[in] lod      LOD device from which we release a reference
+ * \param[in] ltd      target table (lod_ost_descs or lod_mdt_descs)
  */
 void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd)
 {
@@ -66,12 +75,14 @@ void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd)
        ltd->ltd_refcount--;
        if (ltd->ltd_refcount == 0 && ltd->ltd_death_row) {
                struct lod_tgt_desc *tgt_desc, *tmp;
-               int                  idx;
-               CFS_LIST_HEAD(kill);
+               struct list_head kill;
+               unsigned int idx;
 
                CDEBUG(D_CONFIG, "destroying %d ltd desc\n",
                       ltd->ltd_death_row);
 
+               INIT_LIST_HEAD(&kill);
+
                cfs_foreach_bit(ltd->ltd_tgt_bitmap, idx) {
                        tgt_desc = LTD_TGT(ltd, idx);
                        LASSERT(tgt_desc);
@@ -79,7 +90,7 @@ void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd)
                        if (!tgt_desc->ltd_reap)
                                continue;
 
-                       cfs_list_add(&tgt_desc->ltd_kill, &kill);
+                       list_add(&tgt_desc->ltd_kill, &kill);
                        LTD_TGT(ltd, idx) = NULL;
                        /*FIXME: only support ost pool for now */
                        if (ltd == &lod->lod_ost_descs) {
@@ -94,9 +105,9 @@ void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd)
                mutex_unlock(&ltd->ltd_mutex);
                up_read(&ltd->ltd_rw_sem);
 
-               cfs_list_for_each_entry_safe(tgt_desc, tmp, &kill, ltd_kill) {
+               list_for_each_entry_safe(tgt_desc, tmp, &kill, ltd_kill) {
                        int rc;
-                       cfs_list_del(&tgt_desc->ltd_kill);
+                       list_del(&tgt_desc->ltd_kill);
                        if (ltd == &lod->lod_ost_descs) {
                                /* remove from QoS structures */
                                rc = qos_del_tgt(lod, tgt_desc);
@@ -120,6 +131,20 @@ void lod_putref(struct lod_device *lod, struct lod_tgt_descs *ltd)
        }
 }
 
+/**
+ * Expand size of target table.
+ *
+ * When the target table is full, we have to extend the table. To do so,
+ * we allocate new memory with some reserve, move data from the old table
+ * to the new one and release memory consumed by the old table.
+ * Notice we take ltd_rw_sem exclusively to ensure atomic switch.
+ *
+ * \param[in] ltd              target table
+ * \param[in] newsize          new size of the table
+ *
+ * \retval                     0 on success
+ * \retval                     -ENOMEM if reallocation failed
+ */
 static int ltd_bitmap_resize(struct lod_tgt_descs *ltd, __u32 newsize)
 {
        cfs_bitmap_t *new_bitmap, *old_bitmap = NULL;
@@ -160,16 +185,23 @@ out:
        return rc;
 }
 
-/*
- * Connect LOD to a new OSP and add it to the device table.
+/**
+ * Connect LOD to a new OSP and add it to the target table.
  *
- * \param env - is the environment passed by the caller
- * \param lod - is the LOD device to be connected to the new OSP
- * \param osp - is the name of OSP device name about to be added
- * \param index - is the OSP index
- * \param gen - is the generation number
- * \param tgt_index - is the group of the OSP.
- * \param type - is the type of device (mdc or osc)
+ * Connect to the OSP device passed, initialize all the internal
+ * structures related to the device and add it to the target table.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in] lod              LOD device to be connected to the new OSP
+ * \param[in] osp              name of OSP device name to be added
+ * \param[in] index            index of the new target
+ * \param[in] gen              target's generation number
+ * \param[in] tgt_index                OSP's group
+ * \param[in] type             type of device (mdc or osc)
+ * \param[in] active           state of OSP: 0 - inactive, 1 - active
+ *
+ * \retval                     0 if added successfully
+ * \retval                     negative error number on failure
  */
 int lod_add_device(const struct lu_env *env, struct lod_device *lod,
                   char *osp, unsigned index, unsigned gen, int tgt_index,
@@ -246,9 +278,6 @@ int lod_add_device(const struct lu_env *env, struct lod_device *lod,
                                           OBD_CONNECT_AT |
                                           OBD_CONNECT_FULL20 |
                                           OBD_CONNECT_LFSCK;
-               /* XXX set MDS-MDS flags, remove this when running this
-                * on client*/
-               data->ocd_connect_flags |= OBD_CONNECT_MDS_MDS;
                spin_lock(&imp->imp_lock);
                imp->imp_server_timeout = 1;
                spin_unlock(&imp->imp_lock);
@@ -372,8 +401,18 @@ out_free:
        return rc;
 }
 
-/*
- * helper function to schedule OST removal from the device table
+/**
+ * Schedule target removal from the target table.
+ *
+ * Mark the device as dead. The device is not removed here because it may
+ * still be in use. The device will be removed in lod_putref() when the
+ * last reference is released.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in] lod              LOD device the target table belongs to
+ * \param[in] ltd              target table
+ * \param[in] idx              index of the target
+ * \param[in] for_ost          type of the target: 0 - MDT, 1 - OST
  */
 static void __lod_del_device(const struct lu_env *env, struct lod_device *lod,
                             struct lod_tgt_descs *ltd, unsigned idx,
@@ -390,10 +429,22 @@ static void __lod_del_device(const struct lu_env *env, struct lod_device *lod,
        }
 }
 
+/**
+ * Schedule removal of all the targets from the given target table.
+ *
+ * See more details in the description for __lod_del_device()
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in] lod              LOD device the target table belongs to
+ * \param[in] ltd              target table
+ * \param[in] for_ost          type of the target: MDT or OST
+ *
+ * \retval                     0 always
+ */
 int lod_fini_tgt(const struct lu_env *env, struct lod_device *lod,
                 struct lod_tgt_descs *ltd, bool for_ost)
 {
-       int idx;
+       unsigned int idx;
 
        if (ltd->ltd_tgts_size <= 0)
                return 0;
@@ -412,18 +463,22 @@ int lod_fini_tgt(const struct lu_env *env, struct lod_device *lod,
        return 0;
 }
 
-/*
- * Add support for administratively disabled OST (through the MGS).
- * Schedule a target for deletion.  Disconnection and real removal from the
- * table takes place in lod_putref() once the last table user release its
- * reference.
+/**
+ * Remove device by name.
+ *
+ * Remove a device identified by \a osp from the target table. Given
+ * the device can be in use, the real deletion happens in lod_putref().
  *
- * \param env - is the environment passed by the caller
- * \param lod - is the lod device currently connected to the OSP about to be
- *              removed
- * \param osp - is the name of OSP device about to be removed
- * \param idx - is the OSP index
- * \param gen - is the generation number, not used currently
+ * \param[in] env              execution environment for this thread
+ * \param[in] lod              LOD device to be connected to the new OSP
+ * \param[in] ltd              target table
+ * \param[in] osp              name of OSP device to be removed
+ * \param[in] idx              index of the target
+ * \param[in] gen              generation number, not used currently
+ * \param[in] for_ost          type of the target: 0 - MDT, 1 - OST
+ *
+ * \retval                     0 if the device was scheduled for removal
+ * \retval                     -EINVAL if no device was found
  */
 int lod_del_device(const struct lu_env *env, struct lod_device *lod,
                   struct lod_tgt_descs *ltd, char *osp, unsigned idx,
@@ -478,9 +533,23 @@ out:
        return(rc);
 }
 
-int lod_ea_store_resize(struct lod_thread_info *info, int size)
+/**
+ * Resize per-thread storage to hold specified size.
+ *
+ * A helper function to resize per-thread temporary storage. This storage
+ * is used to process LOV/LVM EAs and may be quite large. We do not want to
+ * allocate/release it every time, so instead we put it into the env and
+ * reallocate on demand. The memory is released when the correspondent thread
+ * is finished.
+ *
+ * \param[in] info             LOD-specific storage in the environment
+ * \param[in] size             new size to grow the buffer to
+
+ * \retval                     0 on success, -ENOMEM if reallocation failed
+ */
+int lod_ea_store_resize(struct lod_thread_info *info, size_t size)
 {
-       int round = size_roundup_power2(size);
+       __u32 round = size_roundup_power2(size);
 
        LASSERT(round <=
                lov_mds_md_size(LOV_MAX_STRIPE_COUNT, LOV_MAGIC_V3));
@@ -501,8 +570,21 @@ int lod_ea_store_resize(struct lod_thread_info *info, int size)
        RETURN(0);
 }
 
-/*
- * generate and write LOV EA for given striped object
+/**
+ * Make LOV EA for striped object.
+ *
+ * Generate striping information and store it in the LOV EA of the given
+ * object. The caller must ensure nobody else is calling the function
+ * against the object concurrently. The transaction must be started.
+ * FLDB service must be running as well; it's used to map FID to the target,
+ * which is stored in LOV EA.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in] lo               LOD object
+ * \param[in] th               transaction handle
+ *
+ * \retval                     0 if LOV EA is stored successfully
+ * \retval                     negative error number on failure
  */
 int lod_generate_and_set_lovea(const struct lu_env *env,
                               struct lod_object *lo, struct thandle *th)
@@ -513,8 +595,8 @@ int lod_generate_and_set_lovea(const struct lu_env *env,
        struct lov_mds_md_v1    *lmm;
        struct lov_ost_data_v1  *objs;
        __u32                    magic;
-       int                      i, rc, lmm_size;
-       int                      cplen = 0;
+       int                      i, rc;
+       size_t                   lmm_size;
        ENTRY;
 
        LASSERT(lo);
@@ -547,7 +629,7 @@ int lod_generate_and_set_lovea(const struct lu_env *env,
                objs = &lmm->lmm_objects[0];
        } else {
                struct lov_mds_md_v3 *v3 = (struct lov_mds_md_v3 *) lmm;
-               cplen = strlcpy(v3->lmm_pool_name, lo->ldo_pool,
+               size_t cplen = strlcpy(v3->lmm_pool_name, lo->ldo_pool,
                                sizeof(v3->lmm_pool_name));
                if (cplen >= sizeof(v3->lmm_pool_name))
                        RETURN(-E2BIG);
@@ -596,6 +678,20 @@ int lod_generate_and_set_lovea(const struct lu_env *env,
        RETURN(rc);
 }
 
+/**
+ * Get LOV EA.
+ *
+ * Fill lti_ea_store buffer in the environment with a value for the given
+ * EA. The buffer is reallocated if the value doesn't fit.
+ *
+ * \param[in,out] env          execution environment for this thread
+ *                             .lti_ea_store buffer is filled with EA's value
+ * \param[in] lo               LOD object
+ * \param[in] name             name of the EA
+ *
+ * \retval                     0 if EA is fetched successfully
+ * \retval                     negative error number on failure
+ */
 int lod_get_ea(const struct lu_env *env, struct lod_object *lo,
               const char *name)
 {
@@ -639,55 +735,16 @@ repeat:
        RETURN(rc);
 }
 
-int lod_store_def_striping(const struct lu_env *env, struct dt_object *dt,
-                          struct thandle *th)
-{
-       struct lod_thread_info  *info = lod_env_info(env);
-       struct lod_object       *lo = lod_dt_obj(dt);
-       struct dt_object        *next = dt_object_child(dt);
-       struct lov_user_md_v3   *v3;
-       int                      rc;
-       ENTRY;
-
-       if (S_ISDIR(dt->do_lu.lo_header->loh_attr))
-               RETURN(-ENOTDIR);
-       /*
-        * store striping defaults into new directory
-        * used to implement defaults inheritance
-        */
-
-       /* probably nothing to inherite */
-       if (lo->ldo_striping_cached == 0)
-               RETURN(0);
-
-       if (LOVEA_DELETE_VALUES(lo->ldo_def_stripe_size, lo->ldo_def_stripenr,
-                               lo->ldo_def_stripe_offset))
-               RETURN(0);
-
-       v3 = info->lti_ea_store;
-       if (info->lti_ea_store_size < sizeof(*v3)) {
-               rc = lod_ea_store_resize(info, sizeof(*v3));
-               if (rc != 0)
-                       RETURN(rc);
-               v3 = info->lti_ea_store;
-       }
-       memset(v3, 0, sizeof(*v3));
-       v3->lmm_magic = cpu_to_le32(LOV_USER_MAGIC_V3);
-       v3->lmm_stripe_count = cpu_to_le16(lo->ldo_def_stripenr);
-       v3->lmm_stripe_offset = cpu_to_le16(lo->ldo_def_stripe_offset);
-       v3->lmm_stripe_size = cpu_to_le32(lo->ldo_def_stripe_size);
-       if (lo->ldo_pool != NULL)
-               strlcpy(v3->lmm_pool_name, lo->ldo_pool,
-                       sizeof(v3->lmm_pool_name));
-       info->lti_buf.lb_buf = v3;
-       info->lti_buf.lb_len = sizeof(*v3);
-       rc = dt_xattr_set(env, next, &info->lti_buf, XATTR_NAME_LOV, 0, th,
-                       BYPASS_CAPA);
-
-       RETURN(rc);
-}
-
-static int validate_lod_and_idx(struct lod_device *md, int idx)
+/**
+ * Verify the target index is present in the current configuration.
+ *
+ * \param[in] md               LOD device where the target table is stored
+ * \param[in] idx              target's index
+ *
+ * \retval                     0 if the index is present
+ * \retval                     -EINVAL if not
+ */
+static int validate_lod_and_idx(struct lod_device *md, __u32 idx)
 {
        if (unlikely(idx >= md->lod_ost_descs.ltd_tgts_size ||
                     !cfs_bitmap_check(md->lod_ost_bitmap, idx))) {
@@ -711,9 +768,21 @@ static int validate_lod_and_idx(struct lod_device *md, int idx)
        return 0;
 }
 
-/*
- * allocate array of objects pointers, find/create objects
- * stripenr and other fields should be initialized by this moment
+/**
+ * Instantiate objects for stripes.
+ *
+ * Allocate and initialize LU-objects representing the stripes. The number
+ * of the stripes (ldo_stripenr) must be initialized already. The caller
+ * must ensure nobody else is calling the function on the object at the same
+ * time. FLDB service must be running to be able to map a FID to the targets
+ * and find appropriate device representing that target.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in,out] lo           LOD object
+ * \param[in] objs             an array of IDs to creates the objects from
+ *
+ * \retval                     0 if the objects are instantiated successfully
+ * \retval                     negative error number on failure
  */
 int lod_initialize_objects(const struct lu_env *env, struct lod_object *lo,
                           struct lov_ost_data_v1 *objs)
@@ -724,7 +793,8 @@ int lod_initialize_objects(const struct lu_env *env, struct lod_object *lo,
        struct lu_device        *nd;
        struct dt_object       **stripe;
        int                      stripe_len;
-       int                      i, idx, rc = 0;
+       int                      i, rc = 0;
+       __u32                   idx;
        ENTRY;
 
        LASSERT(lo != NULL);
@@ -789,8 +859,18 @@ out:
        RETURN(rc);
 }
 
-/*
- * Parse striping information stored in lti_ea_store
+/**
+ * Instantiate objects for striping.
+ *
+ * Parse striping information in \a buf and instantiate the objects
+ * representing the stripes.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in] lo               LOD object
+ * \param[in] buf              buffer storing LOV EA to parse
+ *
+ * \retval                     0 if parsing and objects creation succeed
+ * \retval                     negative error number on failure
  */
 int lod_parse_striping(const struct lu_env *env, struct lod_object *lo,
                       const struct lu_buf *buf)
@@ -840,9 +920,23 @@ out:
        RETURN(rc);
 }
 
+/**
+ * Initialize the object representing the stripes.
+ *
+ * Unless the stripes are initialized already, fetch LOV (for regular
+ * objects) or LMV (for directory objects) EA and call lod_parse_striping()
+ * to instantiate the objects representing the stripes.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in,out] lo           LOD object
+ *
+ * \retval                     0 if parsing and object creation succeed
+ * \retval                     negative error number on failure
+ */
 int lod_load_striping_locked(const struct lu_env *env, struct lod_object *lo)
 {
        struct lod_thread_info  *info = lod_env_info(env);
+       struct lu_buf           *buf  = &info->lti_buf;
        struct dt_object        *next = dt_object_child(&lo->ldo_obj);
        int                      rc = 0;
        ENTRY;
@@ -866,28 +960,54 @@ int lod_load_striping_locked(const struct lu_env *env, struct lod_object *lo)
                 * there is LOV EA (striping information) in this object
                 * let's parse it and create in-core objects for the stripes
                 */
-               info->lti_buf.lb_buf = info->lti_ea_store;
-               info->lti_buf.lb_len = info->lti_ea_store_size;
-               rc = lod_parse_striping(env, lo, &info->lti_buf);
+               buf->lb_buf = info->lti_ea_store;
+               buf->lb_len = info->lti_ea_store_size;
+               rc = lod_parse_striping(env, lo, buf);
        } else if (S_ISDIR(lu_object_attr(lod2lu_obj(lo)))) {
                rc = lod_get_lmv_ea(env, lo);
-               if (rc <= 0)
-                       GOTO(out, rc);
+               if (rc < (typeof(rc))sizeof(struct lmv_mds_md_v1))
+                       GOTO(out, rc = rc > 0 ? -EINVAL : rc);
+
+               buf->lb_buf = info->lti_ea_store;
+               buf->lb_len = info->lti_ea_store_size;
+               if (rc == sizeof(struct lmv_mds_md_v1)) {
+                       rc = lod_load_lmv_shards(env, lo, buf, true);
+                       if (buf->lb_buf != info->lti_ea_store) {
+                               OBD_FREE_LARGE(info->lti_ea_store,
+                                              info->lti_ea_store_size);
+                               info->lti_ea_store = buf->lb_buf;
+                               info->lti_ea_store_size = buf->lb_len;
+                       }
+
+                       if (rc < 0)
+                               GOTO(out, rc);
+               }
+
                /*
                 * there is LOV EA (striping information) in this object
                 * let's parse it and create in-core objects for the stripes
                 */
-               info->lti_buf.lb_buf = info->lti_ea_store;
-               info->lti_buf.lb_len = info->lti_ea_store_size;
-               rc = lod_parse_dir_striping(env, lo, &info->lti_buf);
+               rc = lod_parse_dir_striping(env, lo, buf);
        }
 out:
        RETURN(rc);
 }
 
 /**
- * Load and parse striping information, create in-core representation for the
- * stripes
+ * A generic function to initialize the stripe objects.
+ *
+ * A protected version of lod_load_striping_locked() - load the striping
+ * information from storage, parse that and instantiate LU objects to
+ * represent the stripes.  The LOD object \a lo supplies a pointer to the
+ * next sub-object in the LU stack so we can lock it. Also use \a lo to
+ * return an array of references to the newly instantiated objects.
+ *
+ * \param[in] env              execution environment for this thread
+ * \param[in,out] lo           LOD object, where striping is stored and
+ *                             which gets an array of references
+ *
+ * \retval                     0 if parsing and object creation succeed
+ * \retval                     negative error number on failure
  **/
 int lod_load_striping(const struct lu_env *env, struct lod_object *lo)
 {
@@ -902,7 +1022,23 @@ int lod_load_striping(const struct lu_env *env, struct lod_object *lo)
        return rc;
 }
 
-/* verify the striping information for directory */
+/**
+ * Verify striping.
+ *
+ * Check the validity of all fields including the magic, stripe size,
+ * stripe count, stripe offset and that the pool is present.  Also check
+ * that each target index points to an existing target. The additional
+ * \a is_from_disk turns additional checks. In some cases zero fields
+ * are allowed (like pattern=0).
+ *
+ * \param[in] d                        LOD device
+ * \param[in] buf              buffer with LOV EA to verify
+ * \param[in] is_from_disk     0 - from user, allow some fields to be 0
+ *                             1 - from disk, do not allow
+ *
+ * \retval                     0 if the striping is valid
+ * \retval                     -EINVAL if striping is invalid
+ */
 int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
                        bool is_from_disk)
 {
@@ -922,7 +1058,7 @@ int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
        LASSERT(sizeof(*lum) < sizeof(*lum3));
 
        if (buf->lb_len < sizeof(*lum)) {
-               CDEBUG(D_IOCTL, "buf len %zd too small for lov_user_md\n",
+               CDEBUG(D_IOCTL, "buf len %zu too small for lov_user_md\n",
                       buf->lb_len);
                GOTO(out, rc = -EINVAL);
        }
@@ -955,9 +1091,8 @@ int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
                GOTO(out, rc = -EINVAL);
        }
 
-       /* an offset of -1 is treated as a "special" valid offset */
        stripe_offset = le16_to_cpu(lum->lmm_stripe_offset);
-       if (stripe_offset != (typeof(stripe_offset))-1) {
+       if (stripe_offset != LOV_OFFSET_DEFAULT) {
                /* if offset is not within valid range [0, osts_size) */
                if (stripe_offset >= d->lod_osts_size) {
                        CDEBUG(D_IOCTL, "stripe offset %u >= bitmap size %u\n",
@@ -984,7 +1119,7 @@ int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
 
        stripe_count = le16_to_cpu(lum->lmm_stripe_count);
        if (buf->lb_len != lum_size) {
-               CDEBUG(D_IOCTL, "invalid buf len %zd for lov_user_md with "
+               CDEBUG(D_IOCTL, "invalid buf len %zu for lov_user_md with "
                       "magic %#x and stripe_count %u\n",
                       buf->lb_len, magic, stripe_count);
                GOTO(out, rc = -EINVAL);
@@ -995,7 +1130,7 @@ int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
 
        lum3 = buf->lb_buf;
        if (buf->lb_len < sizeof(*lum3)) {
-               CDEBUG(D_IOCTL, "buf len %zd too small for lov_user_md_v3\n",
+               CDEBUG(D_IOCTL, "buf len %zu too small for lov_user_md_v3\n",
                       buf->lb_len);
                GOTO(out, rc = -EINVAL);
        }
@@ -1007,7 +1142,7 @@ int lod_verify_striping(struct lod_device *d, const struct lu_buf *buf,
        if (pool == NULL)
                goto out;
 
-       if (stripe_offset != (typeof(stripe_offset))-1) {
+       if (stripe_offset != LOV_OFFSET_DEFAULT) {
                rc = lod_check_index_in_pool(stripe_offset, pool);
                if (rc < 0)
                        GOTO(out, rc = -EINVAL);
@@ -1065,6 +1200,11 @@ void lod_fix_desc_qos_maxage(__u32 *val)
                *val = LOV_DESC_QOS_MAXAGE_DEFAULT;
 }
 
+/**
+ * Used to fix insane default striping.
+ *
+ * \param[in] desc     striping description
+ */
 void lod_fix_desc(struct lov_desc *desc)
 {
        lod_fix_desc_stripe_size(&desc->ld_default_stripe_size);
@@ -1073,6 +1213,15 @@ void lod_fix_desc(struct lov_desc *desc)
        lod_fix_desc_qos_maxage(&desc->ld_qos_maxage);
 }
 
+/**
+ * Initialize the structures used to store pools and default striping.
+ *
+ * \param[in] lod      LOD device
+ * \param[in] lcfg     configuration structure storing default striping.
+ *
+ * \retval             0 if initialization succeeds
+ * \retval             negative error number on failure
+ */
 int lod_pools_init(struct lod_device *lod, struct lustre_cfg *lcfg)
 {
        struct obd_device          *obd;
@@ -1117,7 +1266,7 @@ int lod_pools_init(struct lod_device *lod, struct lustre_cfg *lcfg)
        lod->lod_sp_me = LUSTRE_SP_CLI;
 
        /* Set up allocation policy (QoS and RR) */
-       CFS_INIT_LIST_HEAD(&lod->lod_qos.lq_oss_list);
+       INIT_LIST_HEAD(&lod->lod_qos.lq_oss_list);
        init_rwsem(&lod->lod_qos.lq_rw_sem);
        lod->lod_qos.lq_dirty = 1;
        lod->lod_qos.lq_rr.lqr_dirty = 1;
@@ -1138,7 +1287,7 @@ int lod_pools_init(struct lod_device *lod, struct lustre_cfg *lcfg)
        if (lod->lod_pools_hash_body == NULL)
                RETURN(-ENOMEM);
 
-       CFS_INIT_LIST_HEAD(&lod->lod_pool_list);
+       INIT_LIST_HEAD(&lod->lod_pool_list);
        lod->lod_pool_count = 0;
        rc = lod_ost_pool_init(&lod->lod_pool_info, 0);
        if (rc)
@@ -1157,15 +1306,20 @@ out_hash:
        return rc;
 }
 
+/**
+ * Release the structures describing the pools.
+ *
+ * \param[in] lod      LOD device from which we release the structures
+ *
+ * \retval             0 always
+ */
 int lod_pools_fini(struct lod_device *lod)
 {
        struct obd_device   *obd = lod2obd(lod);
-       cfs_list_t          *pos, *tmp;
-       struct pool_desc    *pool;
+       struct pool_desc    *pool, *tmp;
        ENTRY;
 
-       cfs_list_for_each_safe(pos, tmp, &lod->lod_pool_list) {
-               pool = cfs_list_entry(pos, struct pool_desc, pool_list);
+       list_for_each_entry_safe(pool, tmp, &lod->lod_pool_list, pool_list) {
                /* free pool structs */
                CDEBUG(D_INFO, "delete pool %p\n", pool);
                /* In the function below, .hs_keycmp resolves to
@@ -1180,4 +1334,3 @@ int lod_pools_fini(struct lod_device *lod)
 
        RETURN(0);
 }
-