Whamcloud - gitweb
LU-8357 nodemap: reclassify nodemap requires active conf lock
[fs/lustre-release.git] / lustre / ptlrpc / nodemap_handler.c
index ec7dda2..a416c90 100644 (file)
@@ -70,15 +70,16 @@ static void nodemap_destroy(struct lu_nodemap *nodemap)
        down_read(&active_config->nmc_range_tree_lock);
        nm_member_reclassify_nodemap(nodemap);
        up_read(&active_config->nmc_range_tree_lock);
-       mutex_unlock(&active_config_lock);
-
-       if (!list_empty(&nodemap->nm_member_list))
-               CWARN("nodemap_destroy failed to reclassify all members\n");
 
        write_lock(&nodemap->nm_idmap_lock);
        idmap_delete_tree(nodemap);
        write_unlock(&nodemap->nm_idmap_lock);
 
+       mutex_unlock(&active_config_lock);
+
+       if (!list_empty(&nodemap->nm_member_list))
+               CWARN("nodemap_destroy failed to reclassify all members\n");
+
        nm_member_delete_list(nodemap);
 
        OBD_FREE_PTR(nodemap);
@@ -89,9 +90,11 @@ static void nodemap_destroy(struct lu_nodemap *nodemap)
 /**
  * Functions used for the cfs_hash
  */
-static void nodemap_getref(struct lu_nodemap *nodemap)
+void nodemap_getref(struct lu_nodemap *nodemap)
 {
        atomic_inc(&nodemap->nm_refcount);
+       CDEBUG(D_INFO, "GETting nodemap %s(p=%p) : new refcount %d\n",
+              nodemap->nm_name, nodemap, atomic_read(&nodemap->nm_refcount));
 }
 
 /**
@@ -100,12 +103,19 @@ static void nodemap_getref(struct lu_nodemap *nodemap)
  */
 void nodemap_putref(struct lu_nodemap *nodemap)
 {
-       LASSERT(nodemap != NULL);
+       if (!nodemap)
+               return;
+
        LASSERT(atomic_read(&nodemap->nm_refcount) > 0);
 
+       CDEBUG(D_INFO, "PUTting nodemap %s(p=%p) : new refcount %d\n",
+              nodemap->nm_name, nodemap,
+              atomic_read(&nodemap->nm_refcount) - 1);
+
        if (atomic_dec_and_test(&nodemap->nm_refcount))
                nodemap_destroy(nodemap);
 }
+EXPORT_SYMBOL(nodemap_putref);
 
 static __u32 nodemap_hashfn(struct cfs_hash *hash_body,
                            const void *key, unsigned mask)
@@ -243,11 +253,30 @@ struct lu_nodemap *nodemap_lookup(const char *name)
  * \param      nid                     nid to classify
  * \retval     nodemap                 nodemap containing the nid
  * \retval     default_nodemap         default nodemap
+ * \retval     -EINVAL                 LO nid given without other local nid
  */
 struct lu_nodemap *nodemap_classify_nid(lnet_nid_t nid)
 {
        struct lu_nid_range     *range;
        struct lu_nodemap       *nodemap;
+       int rc;
+
+       ENTRY;
+
+       /* don't use 0@lo, use the first non-lo local NID instead */
+       if (LNET_NETTYP(LNET_NIDNET(nid)) == LOLND) {
+               lnet_process_id_t id;
+               int i = 0;
+
+               do {
+                       rc = LNetGetId(i++, &id);
+                       if (rc < 0)
+                               RETURN(ERR_PTR(-EINVAL));
+               } while (LNET_NETTYP(LNET_NIDNET(id.nid)) == LOLND);
+
+               nid = id.nid;
+               CDEBUG(D_INFO, "found nid %s\n", libcfs_nid2str(nid));
+       }
 
        range = range_search(&active_config->nmc_range_tree, nid);
        if (range != NULL)
@@ -255,9 +284,10 @@ struct lu_nodemap *nodemap_classify_nid(lnet_nid_t nid)
        else
                nodemap = active_config->nmc_default_nodemap;
 
+       LASSERT(nodemap != NULL);
        nodemap_getref(nodemap);
 
-       return nodemap;
+       RETURN(nodemap);
 }
 
 /**
@@ -345,26 +375,35 @@ EXPORT_SYMBOL(nodemap_parse_idmap);
  * \param      nid             nid to add to the members
  * \param      exp             obd_export structure for the connection
  *                             that is being added
- * \retval     -EINVAL         export is NULL
+ * \retval     -EINVAL         export is NULL, or has invalid NID
  * \retval     -EEXIST         export is already member of a nodemap
  */
 int nodemap_add_member(lnet_nid_t nid, struct obd_export *exp)
 {
-       struct lu_nodemap       *nodemap;
-       int rc;
+       struct lu_nodemap *nodemap;
+       int rc = 0;
+       ENTRY;
 
        mutex_lock(&active_config_lock);
        down_read(&active_config->nmc_range_tree_lock);
 
        nodemap = nodemap_classify_nid(nid);
-       rc = nm_member_add(nodemap, exp);
+
+       if (IS_ERR(nodemap)) {
+               CWARN("%s: error adding to nodemap, no valid NIDs found\n",
+                         exp->exp_obd->obd_name);
+               rc = -EINVAL;
+       } else {
+               rc = nm_member_add(nodemap, exp);
+       }
 
        up_read(&active_config->nmc_range_tree_lock);
        mutex_unlock(&active_config_lock);
 
-       nodemap_putref(nodemap);
+       if (!IS_ERR(nodemap))
+               nodemap_putref(nodemap);
 
-       return rc;
+       RETURN(rc);
 }
 EXPORT_SYMBOL(nodemap_add_member);
 
@@ -375,10 +414,34 @@ EXPORT_SYMBOL(nodemap_add_member);
  */
 void nodemap_del_member(struct obd_export *exp)
 {
-       struct lu_nodemap       *nodemap = exp->exp_target_data.ted_nodemap;
+       struct lu_nodemap *nodemap;
+
+       ENTRY;
+
+       /* using ac lock to prevent nodemap reclassification while deleting */
+       mutex_lock(&active_config_lock);
+
+       /* use of ted_nodemap is protected by active_config_lock. we take an
+        * extra reference to make sure nodemap isn't destroyed under
+        * active_config_lock
+        */
+       nodemap = exp->exp_target_data.ted_nodemap;
+       if (nodemap == NULL)
+               goto out;
+       else
+               nodemap_getref(nodemap);
+
+       mutex_lock(&nodemap->nm_member_list_lock);
+       nm_member_del(nodemap, exp);
+       mutex_unlock(&nodemap->nm_member_list_lock);
+
+out:
+       mutex_unlock(&active_config_lock);
+
+       if (nodemap)
+               nodemap_putref(nodemap);
 
-       if (nodemap != NULL)
-               nm_member_del(nodemap, exp);
+       EXIT;
 }
 EXPORT_SYMBOL(nodemap_del_member);
 
@@ -492,6 +555,50 @@ out:
 EXPORT_SYMBOL(nodemap_del_idmap);
 
 /**
+ * Get nodemap assigned to given export. Takes a reference on the nodemap.
+ *
+ * Note that this function may return either NULL, or an ERR_PTR()
+ * or a valid nodemap pointer.  All of the functions accessing the
+ * returned nodemap can check IS_ERR(nodemap) to see if an error is
+ * returned.  NULL is not considered an error, which is OK since this
+ * is a valid case if nodemap are not in use.  All nodemap handling
+ * functions must check for nodemap == NULL and do nothing, and the
+ * nodemap returned from this function should not be dereferenced.
+ *
+ * \param      export          export to get nodemap for
+ *
+ * \retval     pointer to nodemap on success
+ * \retval     NULL    nodemap subsystem disabled
+ * \retval     -EACCES export does not have nodemap assigned
+ */
+struct lu_nodemap *nodemap_get_from_exp(struct obd_export *exp)
+{
+       struct lu_nodemap *nodemap;
+
+       ENTRY;
+
+       if (!nodemap_active)
+               RETURN(NULL);
+
+       spin_lock(&exp->exp_target_data.ted_nodemap_lock);
+       nodemap = exp->exp_target_data.ted_nodemap;
+       if (nodemap)
+               nodemap_getref(nodemap);
+       spin_unlock(&exp->exp_target_data.ted_nodemap_lock);
+
+       if (!nodemap) {
+               CDEBUG(D_INFO, "%s: nodemap null on export %s (at %s)\n",
+                      exp->exp_obd->obd_name,
+                      obd_uuid2str(&exp->exp_client_uuid),
+                      obd_export_nid2str(exp));
+               RETURN(ERR_PTR(-EACCES));
+       }
+
+       RETURN(nodemap);
+}
+EXPORT_SYMBOL(nodemap_get_from_exp);
+
+/**
  * mapping function for nodemap idmaps
  *
  * \param      nodemap         lu_nodemap structure defining nodemap
@@ -523,6 +630,8 @@ __u32 nodemap_map_id(struct lu_nodemap *nodemap,
        struct lu_idmap         *idmap = NULL;
        __u32                    found_id;
 
+       ENTRY;
+
        if (!nodemap_active)
                goto out;
 
@@ -554,15 +663,15 @@ __u32 nodemap_map_id(struct lu_nodemap *nodemap,
        else
                found_id = idmap->id_fs;
        read_unlock(&nodemap->nm_idmap_lock);
-       return found_id;
+       RETURN(found_id);
 
 squash:
        if (id_type == NODEMAP_UID)
-               return nodemap->nm_squash_uid;
+               RETURN(nodemap->nm_squash_uid);
        else
-               return nodemap->nm_squash_gid;
+               RETURN(nodemap->nm_squash_gid);
 out:
-       return id;
+       RETURN(id);
 }
 EXPORT_SYMBOL(nodemap_map_id);
 
@@ -668,15 +777,21 @@ int nodemap_add_range_helper(struct nodemap_config *config,
        }
 
        list_add(&range->rn_list, &nodemap->nm_ranges);
-       nm_member_reclassify_nodemap(config->nmc_default_nodemap);
+
+       /* nodemaps have no members if they aren't on the active config */
+       if (config == active_config)
+               nm_member_reclassify_nodemap(config->nmc_default_nodemap);
+
        up_write(&config->nmc_range_tree_lock);
 
        /* if range_id is non-zero, we are loading from disk */
        if (range_id == 0)
                rc = nodemap_idx_range_add(range, nid);
 
-       nm_member_revoke_locks(config->nmc_default_nodemap);
-       nm_member_revoke_locks(nodemap);
+       if (config == active_config) {
+               nm_member_revoke_locks(config->nmc_default_nodemap);
+               nm_member_revoke_locks(nodemap);
+       }
 
 out:
        return rc;
@@ -752,6 +867,72 @@ out:
 EXPORT_SYMBOL(nodemap_del_range);
 
 /**
+ * set fileset on nodemap
+ * \param      name            nodemap to set fileset on
+ * \param      fileset         string containing fileset
+ * \retval     0 on success
+ *
+ * set a fileset on the named nodemap
+ */
+static int nodemap_set_fileset_helper(struct nodemap_config *config,
+                                     struct lu_nodemap *nodemap,
+                                     const char *fileset)
+{
+       int rc = 0;
+
+       /* we allow fileset = "" which means clear fileset info */
+       if (fileset == NULL || (fileset[0] != 0 && fileset[0] != '/'))
+               rc = -EINVAL;
+       else if (strlcpy(nodemap->nm_fileset, fileset,
+                        sizeof(nodemap->nm_fileset)) >=
+                sizeof(nodemap->nm_fileset))
+               rc = -ENAMETOOLONG;
+
+       return rc;
+}
+
+int nodemap_set_fileset(const char *name, const char *fileset)
+{
+       struct lu_nodemap       *nodemap = NULL;
+       int                      rc = 0;
+
+       mutex_lock(&active_config_lock);
+       nodemap = nodemap_lookup(name);
+       if (IS_ERR(nodemap)) {
+               mutex_unlock(&active_config_lock);
+               GOTO(out, rc = PTR_ERR(nodemap));
+       }
+
+       if (is_default_nodemap(nodemap))
+               rc = -EINVAL;
+       else
+               rc = nodemap_set_fileset_helper(active_config, nodemap,
+                                               fileset);
+       mutex_unlock(&active_config_lock);
+
+       nodemap_putref(nodemap);
+out:
+       return rc;
+}
+EXPORT_SYMBOL(nodemap_set_fileset);
+
+/**
+ * get fileset defined on nodemap
+ * \param      nodemap         nodemap to get fileset from
+ * \retval     fileset name, or NULL if not defined or not activated
+ *
+ * get the fileset defined on the nodemap
+ */
+char *nodemap_get_fileset(const struct lu_nodemap *nodemap)
+{
+       if (!nodemap_active || is_default_nodemap(nodemap))
+               return NULL;
+       else
+               return (char *)nodemap->nm_fileset;
+}
+EXPORT_SYMBOL(nodemap_get_fileset);
+
+/**
  * Nodemap constructor
  *
  * Creates an lu_nodemap structure and assigns sane default
@@ -830,6 +1011,7 @@ struct lu_nodemap *nodemap_create(const char *name,
        if (is_default || default_nodemap == NULL) {
                nodemap->nmf_trust_client_ids = 0;
                nodemap->nmf_allow_root_access = 0;
+               nodemap->nmf_deny_unknown = 0;
 
                nodemap->nm_squash_uid = NODEMAP_NOBODY_UID;
                nodemap->nm_squash_gid = NODEMAP_NOBODY_GID;
@@ -841,9 +1023,12 @@ struct lu_nodemap *nodemap_create(const char *name,
                                default_nodemap->nmf_trust_client_ids;
                nodemap->nmf_allow_root_access =
                                default_nodemap->nmf_allow_root_access;
+               nodemap->nmf_deny_unknown =
+                               default_nodemap->nmf_deny_unknown;
 
                nodemap->nm_squash_uid = default_nodemap->nm_squash_uid;
                nodemap->nm_squash_gid = default_nodemap->nm_squash_gid;
+               nodemap->nm_fileset[0] = 0;
        }
 
        return nodemap;
@@ -854,12 +1039,39 @@ out:
 }
 
 /**
- * update flag to turn on or off nodemap functions
+ * Set the nmf_deny_unknown flag to true or false.
  * \param      name            nodemap name
- * \param      admin_string    string containing updated value
+ * \param      deny_unknown    if true, squashed users will get EACCES
+ * \retval     0 on success
+ *
+ */
+int nodemap_set_deny_unknown(const char *name, bool deny_unknown)
+{
+       struct lu_nodemap       *nodemap = NULL;
+       int                     rc = 0;
+
+       mutex_lock(&active_config_lock);
+       nodemap = nodemap_lookup(name);
+       mutex_unlock(&active_config_lock);
+       if (IS_ERR(nodemap))
+               GOTO(out, rc = PTR_ERR(nodemap));
+
+       nodemap->nmf_deny_unknown = deny_unknown;
+       rc = nodemap_idx_nodemap_update(nodemap);
+
+       nm_member_revoke_locks(nodemap);
+       nodemap_putref(nodemap);
+out:
+       return rc;
+}
+EXPORT_SYMBOL(nodemap_set_deny_unknown);
+
+/**
+ * Set the nmf_allow_root_access flag to true or false.
+ * \param      name            nodemap name
+ * \param      allow_root      if true, nodemap will not squash the root user
  * \retval     0 on success
  *
- * Update admin flag to turn on or off nodemap functions.
  */
 int nodemap_set_allow_root(const char *name, bool allow_root)
 {
@@ -883,13 +1095,12 @@ out:
 EXPORT_SYMBOL(nodemap_set_allow_root);
 
 /**
- * updated trust_client_ids flag for nodemap
+ * Set the nmf_trust_client_ids flag to true or false.
  *
- * \param      name            nodemap name
- * \param      trust_string    new value for trust flag
+ * \param      name                    nodemap name
+ * \param      trust_client_ids        if true, nodemap will not map its IDs
  * \retval     0 on success
  *
- * Update the trust_client_ids flag for a nodemap.
  */
 int nodemap_set_trust_client_ids(const char *name, bool trust_client_ids)
 {
@@ -913,10 +1124,10 @@ out:
 EXPORT_SYMBOL(nodemap_set_trust_client_ids);
 
 /**
- * update the squash_uid for a nodemap
+ * Update the squash_uid for a nodemap.
  *
  * \param      name            nodemap name
- * \param      uid_string      string containing new squash_uid value
+ * \param      uid             the new uid to squash unknown users to
  * \retval     0 on success
  *
  * Update the squash_uid for a nodemap. The squash_uid is the uid
@@ -949,7 +1160,7 @@ EXPORT_SYMBOL(nodemap_set_squash_uid);
  * Update the squash_gid for a nodemap.
  *
  * \param      name            nodemap name
- * \param      gid_string      string containing new squash_gid value
+ * \param      gid             the new gid to squash unknown gids to
  * \retval     0 on success
  *
  * Update the squash_gid for a nodemap. The squash_uid is the gid
@@ -986,7 +1197,7 @@ EXPORT_SYMBOL(nodemap_set_squash_gid);
  */
 bool nodemap_can_setquota(const struct lu_nodemap *nodemap)
 {
-       return !nodemap_active || nodemap->nmf_allow_root_access;
+       return !nodemap_active || (nodemap && nodemap->nmf_allow_root_access);
 }
 EXPORT_SYMBOL(nodemap_can_setquota);
 
@@ -1071,6 +1282,15 @@ int nodemap_del(const char *nodemap_name)
         */
        lprocfs_nodemap_remove(nodemap->nm_pde_data);
        nodemap->nm_pde_data = NULL;
+
+       /* reclassify all member exports from nodemap, so they put their refs */
+       down_read(&active_config->nmc_range_tree_lock);
+       nm_member_reclassify_nodemap(nodemap);
+       up_read(&active_config->nmc_range_tree_lock);
+
+       if (!list_empty(&nodemap->nm_member_list))
+               CWARN("nodemap_del failed to reclassify all members\n");
+
        mutex_unlock(&active_config_lock);
 
        nodemap_putref(nodemap);
@@ -1120,10 +1340,31 @@ static int nodemap_cleanup_iter_cb(struct cfs_hash *hs, struct cfs_hash_bd *bd,
        return 0;
 }
 
+struct nodemap_config *nodemap_config_alloc(void)
+{
+       struct nodemap_config *config;
+       int rc = 0;
+
+       OBD_ALLOC_PTR(config);
+       if (config == NULL)
+               return ERR_PTR(-ENOMEM);
+
+       rc = nodemap_init_hash(config);
+       if (rc != 0) {
+               OBD_FREE_PTR(config);
+               return ERR_PTR(rc);
+       }
+
+       init_rwsem(&config->nmc_range_tree_lock);
+
+       return config;
+}
+EXPORT_SYMBOL(nodemap_config_alloc);
+
 /**
  * Walk the nodemap_hash and remove all nodemaps.
  */
-void nodemap_config_cleanup(struct nodemap_config *config)
+void nodemap_config_dealloc(struct nodemap_config *config)
 {
        struct lu_nodemap       *nodemap = NULL;
        struct lu_nodemap       *nodemap_temp;
@@ -1140,41 +1381,23 @@ void nodemap_config_cleanup(struct nodemap_config *config)
         */
        list_for_each_entry_safe(nodemap, nodemap_temp, &nodemap_list_head,
                                 nm_list) {
+               mutex_lock(&active_config_lock);
                down_write(&config->nmc_range_tree_lock);
+
+               /* move members to new config, requires ac lock */
+               nm_member_reclassify_nodemap(nodemap);
                list_for_each_entry_safe(range, range_temp, &nodemap->nm_ranges,
                                         rn_list)
                        range_delete(&config->nmc_range_tree, range);
                up_write(&config->nmc_range_tree_lock);
+               mutex_unlock(&active_config_lock);
 
+               /* putref must be outside of ac lock if nm could be destroyed */
                nodemap_putref(nodemap);
        }
-}
-
-struct nodemap_config *nodemap_config_alloc(void)
-{
-       struct nodemap_config *config;
-       int rc = 0;
-
-       OBD_ALLOC_PTR(config);
-       if (config == NULL)
-               return ERR_PTR(-ENOMEM);
-
-       rc = nodemap_init_hash(config);
-       if (rc != 0) {
-               OBD_FREE_PTR(config);
-               return ERR_PTR(rc);
-       }
-
-       init_rwsem(&config->nmc_range_tree_lock);
-
-       return config;
-}
-
-void nodemap_config_dealloc(struct nodemap_config *config)
-{
-       nodemap_config_cleanup(config);
        OBD_FREE_PTR(config);
 }
+EXPORT_SYMBOL(nodemap_config_dealloc);
 
 static int nm_hash_list_cb(struct cfs_hash *hs, struct cfs_hash_bd *bd,
                           struct hlist_node *hnode,
@@ -1197,6 +1420,7 @@ void nodemap_config_set_active(struct nodemap_config *config)
        ENTRY;
 
        LASSERT(active_config != config);
+       LASSERT(config->nmc_default_nodemap);
 
        mutex_lock(&active_config_lock);
 
@@ -1318,6 +1542,9 @@ void nodemap_test_nid(lnet_nid_t nid, char *name_buf, size_t name_len)
        up_read(&active_config->nmc_range_tree_lock);
        mutex_unlock(&active_config_lock);
 
+       if (IS_ERR(nodemap))
+               return;
+
        strncpy(name_buf, nodemap->nm_name, name_len);
        if (name_len > 0)
                name_buf[name_len - 1] = '\0';
@@ -1327,20 +1554,21 @@ void nodemap_test_nid(lnet_nid_t nid, char *name_buf, size_t name_len)
 EXPORT_SYMBOL(nodemap_test_nid);
 
 /**
- * Returns the id mapping for a given nid/id pair. Useful for testing the
+ * Passes back the id mapping for a given nid/id pair. Useful for testing the
  * nodemap configuration to make sure it is working as expected.
  *
  * \param      nid             nid to classify
  * \param      idtype          uid or gid
  * \param      client_id       id to map to fs
+ * \param      fs_id_buf       pointer to save mapped fs_id to
  *
- * \retval     the mapped fs_id of the given client_id
+ * \retval     0       success
+ * \retval     -EINVAL invalid NID
  */
-__u32 nodemap_test_id(lnet_nid_t nid, enum nodemap_id_type idtype,
-                     __u32 client_id)
+int nodemap_test_id(lnet_nid_t nid, enum nodemap_id_type idtype,
+                   __u32 client_id, __u32 *fs_id)
 {
        struct lu_nodemap       *nodemap;
-       __u32                    fs_id;
 
        mutex_lock(&active_config_lock);
        down_read(&active_config->nmc_range_tree_lock);
@@ -1348,10 +1576,13 @@ __u32 nodemap_test_id(lnet_nid_t nid, enum nodemap_id_type idtype,
        up_read(&active_config->nmc_range_tree_lock);
        mutex_unlock(&active_config_lock);
 
-       fs_id = nodemap_map_id(nodemap, idtype, NODEMAP_CLIENT_TO_FS,
+       if (IS_ERR(nodemap))
+               return PTR_ERR(nodemap);
+
+       *fs_id = nodemap_map_id(nodemap, idtype, NODEMAP_CLIENT_TO_FS,
                               client_id);
        nodemap_putref(nodemap);
 
-       return fs_id;
+       return 0;
 }
 EXPORT_SYMBOL(nodemap_test_id);