Whamcloud - gitweb
LU-9960 osd-zfs: don't auto-upgrade quota
[fs/lustre-release.git] / lustre / osd-zfs / osd_handler.c
index 9c09620..25ffbc6 100644 (file)
@@ -39,7 +39,6 @@
 
 #define DEBUG_SUBSYSTEM S_OSD
 
-#include <lustre_ver.h>
 #include <libcfs/libcfs.h>
 #include <obd_support.h>
 #include <lustre_net.h>
@@ -47,7 +46,7 @@
 #include <obd_class.h>
 #include <lustre_disk.h>
 #include <lustre_fid.h>
-#include <lustre_param.h>
+#include <uapi/linux/lustre/lustre_param.h>
 #include <md_object.h>
 
 #include "osd_internal.h"
@@ -96,6 +95,8 @@ static void arc_prune_func(int64_t bytes, void *private)
        struct lu_env      env;
        int rc;
 
+       LASSERT(site->ls_obj_hash);
+
        rc = lu_env_init(&env, LCT_SHRINKER);
        if (rc) {
                CERROR("%s: can't initialize shrinker env: rc = %d\n",
@@ -232,9 +233,8 @@ static int osd_trans_start(const struct lu_env *env, struct dt_device *d,
        RETURN(rc);
 }
 
-static int osd_unlinked_object_free(struct osd_device *osd, uint64_t oid);
-
-static void osd_unlinked_list_emptify(struct osd_device *osd,
+static void osd_unlinked_list_emptify(const struct lu_env *env,
+                                     struct osd_device *osd,
                                      struct list_head *list, bool free)
 {
        struct osd_object *obj;
@@ -248,7 +248,7 @@ static void osd_unlinked_list_emptify(struct osd_device *osd,
 
                list_del_init(&obj->oo_unlinked_linkage);
                if (free)
-                       (void)osd_unlinked_object_free(osd, oid);
+                       (void)osd_unlinked_object_free(env, osd, oid);
        }
 }
 
@@ -291,8 +291,8 @@ static int osd_trans_stop(const struct lu_env *env, struct dt_device *dt,
        if (oh->ot_assigned == 0) {
                LASSERT(oh->ot_tx);
                dmu_tx_abort(oh->ot_tx);
-               osd_object_sa_dirty_rele(oh);
-               osd_unlinked_list_emptify(osd, &unlinked, false);
+               osd_object_sa_dirty_rele(env, oh);
+               osd_unlinked_list_emptify(env, osd, &unlinked, false);
                /* there won't be any commit, release reserved quota space now,
                 * if any */
                qsd_op_end(env, osd->od_quota_slave, &oh->ot_quota_trans);
@@ -310,12 +310,12 @@ static int osd_trans_stop(const struct lu_env *env, struct dt_device *dt,
        LASSERT(oh->ot_tx);
        txg = oh->ot_tx->tx_txg;
 
-       osd_object_sa_dirty_rele(oh);
+       osd_object_sa_dirty_rele(env, oh);
        /* XXX: Once dmu_tx_commit() called, oh/th could have been freed
         * by osd_trans_commit_cb already. */
        dmu_tx_commit(oh->ot_tx);
 
-       osd_unlinked_list_emptify(osd, &unlinked, true);
+       osd_unlinked_list_emptify(env, osd, &unlinked, true);
 
        if (sync)
                txg_wait_synced(dmu_objset_pool(osd->od_os), txg);
@@ -356,7 +356,6 @@ static struct thandle *osd_trans_create(const struct lu_env *env,
        INIT_LIST_HEAD(&oh->ot_stop_dcb_list);
        INIT_LIST_HEAD(&oh->ot_unlinked_list);
        INIT_LIST_HEAD(&oh->ot_sa_list);
-       sema_init(&oh->ot_sa_lock, 1);
        memset(&oh->ot_quota_trans, 0, sizeof(oh->ot_quota_trans));
        th = &oh->ot_super;
        th->th_dev = dt;
@@ -715,6 +714,7 @@ static void osd_key_fini(const struct lu_context *ctx,
                info->oti_ins_cache = NULL;
                info->oti_ins_cache_size = 0;
        }
+       lu_buf_free(&info->oti_xattr_lbuf);
        OBD_FREE_PTR(info);
 }
 
@@ -746,6 +746,9 @@ static int osd_shutdown(const struct lu_env *env, struct osd_device *o)
 
        /* shutdown quota slave instance associated with the device */
        if (o->od_quota_slave != NULL) {
+               /* complete all in-flight callbacks */
+               osd_sync(env, &o->od_dt_dev);
+               txg_wait_callbacks(spa_get_dsl(dmu_objset_spa(o->od_os)));
                qsd_fini(env, o->od_quota_slave);
                o->od_quota_slave = NULL;
        }
@@ -843,13 +846,14 @@ err:
 static int osd_objset_open(struct osd_device *o)
 {
        uint64_t        version = ZPL_VERSION;
-       uint64_t        sa_obj;
+       uint64_t        sa_obj, unlink_obj;
        int             rc;
        ENTRY;
 
-       rc = -dmu_objset_own(o->od_mntdev, DMU_OST_ZFS,
+       rc = -osd_dmu_objset_own(o->od_mntdev, DMU_OST_ZFS,
                             o->od_dt_dev.dd_rdonly ? B_TRUE : B_FALSE,
-                            o, &o->od_os);
+                            B_FALSE, o, &o->od_os);
+
        if (rc) {
                CERROR("%s: can't open %s\n", o->od_svname, o->od_mntdev);
                o->od_os = NULL;
@@ -888,7 +892,7 @@ static int osd_objset_open(struct osd_device *o)
        }
 
        rc = -zap_lookup(o->od_os, MASTER_NODE_OBJ, ZFS_UNLINKED_SET,
-                        8, 1, &o->od_unlinkedid);
+                        8, 1, &unlink_obj);
        if (rc) {
                CERROR("%s: lookup for %s failed: rc = %d\n",
                       o->od_svname, ZFS_UNLINKED_SET, rc);
@@ -904,18 +908,26 @@ static int osd_objset_open(struct osd_device *o)
                GOTO(out, rc = -ENOTSUPP);
        }
 
+       rc = __osd_obj2dnode(o->od_os, unlink_obj, &o->od_unlinked);
+       if (rc) {
+               CERROR("%s: can't get dnode for unlinked: rc = %d\n",
+                      o->od_svname, rc);
+               GOTO(out, rc);
+       }
+
 out:
        if (rc != 0 && o->od_os != NULL) {
-               dmu_objset_disown(o->od_os, o);
+               osd_dmu_objset_disown(o->od_os, B_FALSE, o);
                o->od_os = NULL;
        }
 
        RETURN(rc);
 }
 
-static int
-osd_unlinked_object_free(struct osd_device *osd, uint64_t oid)
+int osd_unlinked_object_free(const struct lu_env *env, struct osd_device *osd,
+                        uint64_t oid)
 {
+       char *key = osd_oti_get(env)->oti_str;
        int       rc;
        dmu_tx_t *tx;
 
@@ -936,7 +948,8 @@ osd_unlinked_object_free(struct osd_device *osd, uint64_t oid)
 
        tx = dmu_tx_create(osd->od_os);
        dmu_tx_hold_free(tx, oid, 0, DMU_OBJECT_END);
-       dmu_tx_hold_zap(tx, osd->od_unlinkedid, FALSE, NULL);
+       osd_tx_hold_zap(tx, osd->od_unlinked->dn_object, osd->od_unlinked,
+                       FALSE, NULL);
        rc = -dmu_tx_assign(tx, TXG_WAIT);
        if (rc != 0) {
                CWARN("%s: Cannot assign tx for %llu: rc = %d\n",
@@ -944,7 +957,9 @@ osd_unlinked_object_free(struct osd_device *osd, uint64_t oid)
                goto failed;
        }
 
-       rc = -zap_remove_int(osd->od_os, osd->od_unlinkedid, oid, tx);
+       snprintf(key, sizeof(osd_oti_get(env)->oti_str), "%llx", oid);
+       rc = osd_zap_remove(osd, osd->od_unlinked->dn_object,
+                           osd->od_unlinked, key, tx);
        if (rc != 0) {
                CWARN("%s: Cannot remove %llu from unlinked set: rc = %d\n",
                      osd->od_svname, oid, rc);
@@ -974,13 +989,13 @@ osd_unlinked_drain(const struct lu_env *env, struct osd_device *osd)
        zap_cursor_t     zc;
        zap_attribute_t *za = &osd_oti_get(env)->oti_za;
 
-       zap_cursor_init(&zc, osd->od_os, osd->od_unlinkedid);
+       zap_cursor_init(&zc, osd->od_os, osd->od_unlinked->dn_object);
 
        while (zap_cursor_retrieve(&zc, za) == 0) {
                /* If cannot free the object, leave it in the unlinked set,
                 * until the OSD is mounted again when obd_unlinked_drain()
                 * will be called. */
-               if (osd_unlinked_object_free(osd, za->za_first_integer) != 0)
+               if (osd_unlinked_object_free(env, osd, za->za_first_integer))
                        break;
                zap_cursor_advance(&zc);
        }
@@ -1038,16 +1053,21 @@ static int osd_mount(const struct lu_env *env,
        o->od_xattr_in_sa = B_TRUE;
        o->od_max_blksz = osd_spa_maxblocksize(o->od_os->os_spa);
 
-       rc = osd_objset_register_callbacks(o);
+       rc = __osd_obj2dnode(o->od_os, o->od_rootid, &rootdn);
        if (rc)
                GOTO(err, rc);
+       o->od_root = rootdn->dn_object;
+       osd_dnode_rele(rootdn);
 
-       rc = __osd_obj2dnode(env, o->od_os, o->od_rootid, &rootdn);
+       rc = __osd_obj2dnode(o->od_os, DMU_USERUSED_OBJECT,
+                            &o->od_userused_dn);
        if (rc)
                GOTO(err, rc);
 
-       o->od_root = rootdn->dn_object;
-       osd_dnode_rele(rootdn);
+       rc = __osd_obj2dnode(o->od_os, DMU_GROUPUSED_OBJECT,
+                            &o->od_groupused_dn);
+       if (rc)
+               GOTO(err, rc);
 
        /* 1. initialize oi before any file create or file open */
        rc = osd_oi_init(env, o);
@@ -1063,6 +1083,10 @@ static int osd_mount(const struct lu_env *env,
        if (rc)
                GOTO(err, rc);
 
+       rc = osd_objset_register_callbacks(o);
+       if (rc)
+               GOTO(err, rc);
+
        rc = osd_procfs_init(o, o->od_svname);
        if (rc)
                GOTO(err, rc);
@@ -1076,6 +1100,13 @@ static int osd_mount(const struct lu_env *env,
                GOTO(err, rc);
        }
 
+#ifdef HAVE_DMU_USEROBJ_ACCOUNTING
+       if (!osd_dmu_userobj_accounting_available(o))
+               CWARN("%s: dnode accounting not enabled: "
+                     "enable feature@userobj_accounting in pool\n",
+                     o->od_mntdev);
+#endif
+
        /* parse mount option "noacl", and enable ACL by default */
        opts = lustre_cfg_string(cfg, 3);
        if (opts == NULL || strstr(opts, "noacl") == NULL)
@@ -1084,7 +1115,7 @@ static int osd_mount(const struct lu_env *env,
        osd_unlinked_drain(env, o);
 err:
        if (rc && o->od_os) {
-               dmu_objset_disown(o->od_os, o);
+               osd_dmu_objset_disown(o->od_os, B_FALSE, o);
                o->od_os = NULL;
        }
 
@@ -1105,14 +1136,26 @@ static void osd_umount(const struct lu_env *env, struct osd_device *o)
                CERROR("%s: lost %d pinned dbuf(s)\n", o->od_svname,
                       atomic_read(&o->od_zerocopy_pin));
 
+       if (o->od_unlinked) {
+               osd_dnode_rele(o->od_unlinked);
+               o->od_unlinked = NULL;
+       }
+       if (o->od_userused_dn) {
+               osd_dnode_rele(o->od_userused_dn);
+               o->od_userused_dn = NULL;
+       }
+       if (o->od_groupused_dn) {
+               osd_dnode_rele(o->od_groupused_dn);
+               o->od_groupused_dn = NULL;
+       }
+
        if (o->od_os != NULL) {
                if (!o->od_dt_dev.dd_rdonly)
                        /* force a txg sync to get all commit callbacks */
                        txg_wait_synced(dmu_objset_pool(o->od_os), 0ULL);
 
                /* close the object set */
-               dmu_objset_disown(o->od_os, o);
-
+               osd_dmu_objset_disown(o->od_os, B_FALSE, o);
                o->od_os = NULL;
        }
 
@@ -1204,9 +1247,6 @@ static struct lu_device *osd_device_fini(const struct lu_env *env,
        ENTRY;
 
 
-       osd_shutdown(env, o);
-       osd_oi_fini(env, o);
-
        if (o->od_os) {
                osd_objset_unregister_callbacks(o);
                if (!o->od_dt_dev.dd_rdonly) {
@@ -1216,6 +1256,10 @@ static struct lu_device *osd_device_fini(const struct lu_env *env,
                }
        }
 
+       /* now with all the callbacks completed we can cleanup the remainings */
+       osd_shutdown(env, o);
+       osd_oi_fini(env, o);
+
        rc = osd_procfs_fini(o);
        if (rc) {
                CERROR("proc fini error %d\n", rc);
@@ -1256,10 +1300,13 @@ static int osd_process_config(const struct lu_env *env,
                LASSERT(&o->od_dt_dev);
                rc = class_process_proc_param(PARAM_OSD, lprocfs_osd_obd_vars,
                                              cfg, &o->od_dt_dev);
-               if (rc > 0 || rc == -ENOSYS)
+               if (rc > 0 || rc == -ENOSYS) {
                        rc = class_process_proc_param(PARAM_OST,
                                                      lprocfs_osd_obd_vars,
                                                      cfg, &o->od_dt_dev);
+                       if (rc > 0)
+                               rc = 0;
+               }
                break;
        }
        default: