Whamcloud - gitweb
LU-14291 lustre: further cleanup of acl code.
[fs/lustre-release.git] / lustre / mdd / mdd_internal.h
index 9af66f0..bdb6e6d 100644 (file)
@@ -39,7 +39,6 @@
 
 #include <lustre_acl.h>
 #include <lustre_compat.h>
-#include <lustre_eacl.h>
 #include <md_object.h>
 #include <dt_object.h>
 #include <lustre_lfsck.h>
 #define CLM_FINI  0x20000
 /** some changelog records purged */
 #define CLM_PURGE 0x40000
+/** changelog cleanup done, to prevent double cleanup */
+#define CLM_CLEANUP_DONE 0x80000
 
 #define LLOG_CHANGELOG_HDR_SZ (sizeof(struct llog_changelog_rec) - \
                               sizeof(struct changelog_rec))
+/* mc_gc_task values */
+/** no GC thread to be started **/
+#define MDD_CHLG_GC_NONE NULL
+/** a GC thread need to be started **/
+#define MDD_CHLG_GC_NEED (struct task_struct *)(-1)
+/** a GC thread will be started now **/
+#define MDD_CHLG_GC_START (struct task_struct *)(-2)
+/** else the started task_struct address when running **/
 
 struct mdd_changelog {
        spinlock_t              mc_lock;        /* for index */
@@ -92,8 +101,9 @@ struct mdd_changelog {
        ktime_t                 mc_starttime;
        spinlock_t              mc_user_lock;
        int                     mc_lastuser;
+       int                     mc_users;      /* registered users number */
        struct task_struct      *mc_gc_task;
-       time64_t                mc_gc_time;
+       time64_t                mc_gc_time;    /* last GC check or run time */
        unsigned int            mc_deniednext; /* interval for recording denied
                                                * accesses
                                                */
@@ -130,7 +140,6 @@ struct mdd_device {
        struct lu_fid                    mdd_local_root_fid;
         struct dt_device_param           mdd_dt_conf;
         struct dt_object                *mdd_orphans; /* PENDING directory */
-       struct proc_dir_entry            *mdd_proc_entry;
         struct mdd_changelog             mdd_cl;
        unsigned int                     mdd_changelog_gc;
        time64_t                         mdd_changelog_max_idle_time;
@@ -142,15 +151,20 @@ struct mdd_device {
         struct mdd_dot_lustre_objs       mdd_dot_lustre_objs;
        unsigned int                     mdd_sync_permission;
        int                              mdd_connects;
+       int                              mdd_append_stripe_count;
+       char                             mdd_append_pool[LOV_MAXPOOLNAME + 1];
        struct local_oid_storage        *mdd_los;
        struct mdd_generic_thread        mdd_orphan_cleanup_thread;
+       struct kobject                   mdd_kobj;
+       struct kobj_type                 mdd_ktype;
+       struct completion                mdd_kobj_unregister;
 };
 
 enum mod_flags {
        /* The dir object has been unlinked */
-       DEAD_OBJ   = 1 << 0,
-       ORPHAN_OBJ = 1 << 1,
-       VOLATILE_OBJ = 1 << 4,
+       DEAD_OBJ        = BIT(0),
+       ORPHAN_OBJ      = BIT(1),
+       VOLATILE_OBJ    = BIT(4),
 };
 
 struct mdd_object {
@@ -163,6 +177,8 @@ struct mdd_object {
        struct list_head        mod_users;  /**< unique user opens */
 };
 
+#define        MTI_KEEP_KEY    0x01
+
 struct mdd_thread_info {
        struct lu_fid             mti_fid;
        struct lu_fid             mti_fid2; /* used for be & cpu converting */
@@ -181,6 +197,8 @@ struct mdd_thread_info {
        * then mti_ent::lde_name will be mti_key. */
        struct lu_dirent          mti_ent;
        char                      mti_key[NAME_MAX + 16];
+       int                       mti_flags;
+       char                      mti_name[NAME_MAX + 1];
        struct lu_buf             mti_buf[4];
        struct lu_buf             mti_big_buf; /* biggish persistent buf */
        struct lu_buf             mti_link_buf; /* buf for link ea */
@@ -193,6 +211,8 @@ struct mdd_thread_info {
        struct dt_insert_rec      mti_dt_rec;
        struct lfsck_req_local    mti_lrl;
        struct lu_seq_range       mti_range;
+       union lmv_mds_md          mti_lmv;
+       struct md_layout_change   mti_mlc;
 };
 
 int mdd_la_get(const struct lu_env *env, struct mdd_object *obj,
@@ -217,16 +237,14 @@ int mdd_create_object_internal(const struct lu_env *env, struct mdd_object *p,
 
 /* mdd_lock.c */
 void mdd_write_lock(const struct lu_env *env, struct mdd_object *obj,
-                    enum mdd_object_role role);
+                   enum dt_object_role role);
 void mdd_read_lock(const struct lu_env *env, struct mdd_object *obj,
-                   enum mdd_object_role role);
+                  enum dt_object_role role);
 void mdd_write_unlock(const struct lu_env *env, struct mdd_object *obj);
 void mdd_read_unlock(const struct lu_env *env, struct mdd_object *obj);
 int mdd_write_locked(const struct lu_env *env, struct mdd_object *obj);
 
 /* mdd_dir.c */
-int mdd_is_subdir(const struct lu_env *env, struct md_object *mo,
-                  const struct lu_fid *fid, struct lu_fid *sfid);
 int mdd_may_create(const struct lu_env *env, struct mdd_object *pobj,
                   const struct lu_attr *pattr, struct mdd_object *cobj,
                   bool check_perm);
@@ -241,7 +259,7 @@ int mdd_unlink_sanity_check(const struct lu_env *env, struct mdd_object *pobj,
                            struct mdd_object *cobj,
                            const struct lu_attr *cattr);
 int mdd_finish_unlink(const struct lu_env *env, struct mdd_object *obj,
-                     struct md_attr *ma, const struct mdd_object *pobj,
+                     struct md_attr *ma, struct mdd_object *pobj,
                      const struct lu_name *lname, struct thandle *th);
 
 int mdd_is_root(struct mdd_device *mdd, const struct lu_fid *fid);
@@ -250,6 +268,9 @@ int mdd_lookup(const struct lu_env *env,
                struct lu_fid* fid, struct md_op_spec *spec);
 int mdd_links_write(const struct lu_env *env, struct mdd_object *mdd_obj,
                    struct linkea_data *ldata, struct thandle *handle);
+int mdd_links_read(const struct lu_env *env,
+                  struct mdd_object *mdd_obj,
+                  struct linkea_data *ldata);
 struct lu_buf *mdd_links_get(const struct lu_env *env,
                              struct mdd_object *mdd_obj);
 int mdd_links_rename(const struct lu_env *env,
@@ -261,6 +282,17 @@ int mdd_links_rename(const struct lu_env *env,
                     struct thandle *handle,
                     struct linkea_data *ldata,
                     int first, int check);
+int mdd_dir_layout_shrink(const struct lu_env *env,
+                         struct md_object *md_obj,
+                         struct md_layout_change *mlc);
+int mdd_dir_layout_split(const struct lu_env *env, struct md_object *o,
+                        struct md_layout_change *mlc);
+
+int mdd_changelog_write_rec(const struct lu_env *env,
+                           struct llog_handle *loghandle,
+                           struct llog_rec_hdr *rec,
+                           struct llog_cookie *cookie,
+                           int idx, struct thandle *th);
 
 struct mdd_thread_info *mdd_env_info(const struct lu_env *env);
 
@@ -281,6 +313,7 @@ int mdd_orphan_declare_insert(const struct lu_env *env, struct mdd_object *obj,
                              umode_t mode, struct thandle *thandle);
 int mdd_orphan_declare_delete(const struct lu_env *env, struct mdd_object *obj,
                              struct thandle *thandle);
+int mdd_dir_is_empty(const struct lu_env *env, struct mdd_object *dir);
 
 /* mdd_lproc.c */
 int mdd_procfs_init(struct mdd_device *mdd, const char *name);
@@ -292,7 +325,6 @@ extern const struct md_dir_operations    mdd_dir_ops;
 extern const struct md_object_operations mdd_obj_ops;
 int mdd_readlink(const struct lu_env *env, struct md_object *obj,
                 struct lu_buf *buf);
-int accmode(const struct lu_env *env, const struct lu_attr *la, int flags);
 extern struct lu_context_key mdd_thread_key;
 extern const struct lu_device_operations mdd_lu_ops;
 
@@ -313,18 +345,20 @@ void mdd_changelog_rec_extra_uidgid(struct changelog_rec *rec,
                                    __u64 uid, __u64 gid);
 void mdd_changelog_rec_extra_nid(struct changelog_rec *rec,
                                 lnet_nid_t nid);
-void mdd_changelog_rec_extra_omode(struct changelog_rec *rec, int flags);
+void mdd_changelog_rec_extra_omode(struct changelog_rec *rec, u32 flags);
 void mdd_changelog_rec_extra_xattr(struct changelog_rec *rec,
                                   const char *xattr_name);
 int mdd_changelog_store(const struct lu_env *env, struct mdd_device *mdd,
                        struct llog_changelog_rec *rec, struct thandle *th);
 int mdd_changelog_data_store(const struct lu_env *env, struct mdd_device *mdd,
-                            enum changelog_rec_type type, int flags,
+                            enum changelog_rec_type type,
+                            enum changelog_rec_flags clf_flags,
                             struct mdd_object *mdd_obj,
-                            struct thandle *handle);
+                            struct thandle *handle,
+                            const struct lu_fid *pfid);
 int mdd_changelog_ns_store(const struct lu_env *env, struct mdd_device *mdd,
                           enum changelog_rec_type type,
-                          enum changelog_rec_flags crf,
+                          enum changelog_rec_flags clf_flags,
                           struct mdd_object *target,
                           const struct lu_fid *tpfid,
                           const struct lu_fid *sfid,
@@ -340,8 +374,15 @@ int mdd_declare_create_object_internal(const struct lu_env *env,
                                       struct thandle *handle,
                                       const struct md_op_spec *spec,
                                       struct dt_allocation_hint *hint);
-int mdd_get_lov_ea(const struct lu_env *env, struct mdd_object *obj,
-                  struct lu_buf *lmm_buf);
+int mdd_stripe_get(const struct lu_env *env, struct mdd_object *obj,
+                  struct lu_buf *lmm_buf, const char *name);
+int mdd_changelog_data_store_xattr(const struct lu_env *env,
+                                  struct mdd_device *mdd,
+                                  enum changelog_rec_type type,
+                                  enum changelog_rec_flags clf_flags,
+                                  struct mdd_object *mdd_obj,
+                                  const char *xattr_name,
+                                  struct thandle *handle);
 
 /* mdd_trans.c */
 void mdd_object_make_hint(const struct lu_env *env, struct mdd_object *parent,
@@ -382,10 +423,11 @@ int mdd_acl_set(const struct lu_env *env, struct mdd_object *obj,
 int __mdd_fix_mode_acl(const struct lu_env *env, struct lu_buf *buf,
                       __u32 *mode);
 int __mdd_permission_internal(const struct lu_env *env, struct mdd_object *obj,
-                             const struct lu_attr *la, int mask, int role);
-int mdd_permission(const struct lu_env *env,
-                   struct md_object *pobj, struct md_object *cobj,
-                   struct md_attr *ma, int mask);
+                             const struct lu_attr *la, unsigned int may_mask,
+                             int role);
+int mdd_permission(const struct lu_env *env, struct md_object *pobj,
+                  struct md_object *cobj, struct md_attr *ma,
+                  unsigned int may_mask);
 int mdd_generic_thread_start(struct mdd_generic_thread *thread,
                             int (*func)(void *), void *data, char *name);
 void mdd_generic_thread_stop(struct mdd_generic_thread *thread);
@@ -395,54 +437,68 @@ int mdd_changelog_user_purge(const struct lu_env *env, struct mdd_device *mdd,
 /* mdd_prepare.c */
 int mdd_compat_fixes(const struct lu_env *env, struct mdd_device *mdd);
 
+/* acl.c */
+extern int lustre_posix_acl_permission(struct lu_ucred *mu,
+                                      const struct lu_attr *la,
+                                      unsigned int may_mask,
+                                      posix_acl_xattr_entry *entry,
+                                      int count);
+extern int lustre_posix_acl_chmod_masq(posix_acl_xattr_entry *entry,
+                                      __u32 mode, int count);
+extern int lustre_posix_acl_create_masq(posix_acl_xattr_entry *entry,
+                                       __u32 *pmode, int count);
+extern int lustre_posix_acl_equiv_mode(posix_acl_xattr_entry *entry,
+                                      mode_t *mode_p, int count);
+
 /* inline functions */
 static inline int lu_device_is_mdd(struct lu_device *d)
 {
         return ergo(d != NULL && d->ld_ops != NULL, d->ld_ops == &mdd_lu_ops);
 }
 
-static inline struct mdd_devicelu2mdd_dev(struct lu_device *d)
+static inline struct mdd_device *lu2mdd_dev(struct lu_device *d)
 {
-        LASSERT(lu_device_is_mdd(d));
-        return container_of0(d, struct mdd_device, mdd_md_dev.md_lu_dev);
+       LASSERT(lu_device_is_mdd(d));
+       return container_of_safe(d, struct mdd_device, mdd_md_dev.md_lu_dev);
 }
 
-static inline struct lu_device *mdd2lu_dev(struct mdd_device *d)
+static inline struct lu_device *mdd2lu_dev(struct mdd_device *mdd)
 {
-        return (&d->mdd_md_dev.md_lu_dev);
+       return &mdd->mdd_md_dev.md_lu_dev;
 }
 
 static inline struct mdd_object *lu2mdd_obj(struct lu_object *o)
 {
-        LASSERT(ergo(o != NULL, lu_device_is_mdd(o->lo_dev)));
-        return container_of0(o, struct mdd_object, mod_obj.mo_lu);
+       LASSERT(ergo(o != NULL, lu_device_is_mdd(o->lo_dev)));
+       return container_of_safe(o, struct mdd_object,
+                                mod_obj.mo_lu);
 }
 
-static inline struct mdd_devicemdo2mdd(struct md_object *mdo)
+static inline struct mdd_device *mdo2mdd(struct md_object *mdo)
 {
-        return lu2mdd_dev(mdo->mo_lu.lo_dev);
+       return lu2mdd_dev(mdo->mo_lu.lo_dev);
 }
 
-static inline struct mdd_objectmd2mdd_obj(struct md_object *mdo)
+static inline struct mdd_object *md2mdd_obj(struct md_object *mdo)
 {
-        return container_of0(mdo, struct mdd_object, mod_obj);
+       return container_of_safe(mdo, struct mdd_object, mod_obj);
 }
 
-static inline const struct dt_device_operations *
-mdd_child_ops(struct mdd_device *d)
+static inline const
+struct dt_device_operations *mdd_child_ops(struct mdd_device *mdd)
 {
-        return d->mdd_child->dd_ops;
+       return mdd->mdd_child->dd_ops;
 }
 
 static inline struct lu_object *mdd2lu_obj(struct mdd_object *obj)
 {
-        return &obj->mod_obj.mo_lu;
+       return &obj->mod_obj.mo_lu;
 }
 
-static inline struct dt_object* mdd_object_child(struct mdd_object *o)
+static inline struct dt_object *mdd_object_child(struct mdd_object *obj)
 {
-        return container_of0(lu_object_next(mdd2lu_obj(o)),
-                             struct dt_object, do_lu);
+       return container_of(lu_object_next(mdd2lu_obj(obj)),
+                           struct dt_object, do_lu);
 }
 
 static inline struct obd_device *mdd2obd_dev(struct mdd_device *mdd)
@@ -452,42 +508,42 @@ static inline struct obd_device *mdd2obd_dev(struct mdd_device *mdd)
 
 static inline struct mdd_device *mdd_obj2mdd_dev(struct mdd_object *obj)
 {
-        return mdo2mdd(&obj->mod_obj);
+       return mdo2mdd(&obj->mod_obj);
 }
 
-static inline const struct lu_fid *mdo2fid(const struct mdd_object *obj)
+static inline umode_t mdd_object_type(const struct mdd_object *mdd_obj)
 {
-        return lu_object_fid(&obj->mod_obj.mo_lu);
+       return lu_object_attr(&mdd_obj->mod_obj.mo_lu);
 }
 
-static inline umode_t mdd_object_type(const struct mdd_object *obj)
+static inline int mdd_is_dead_obj(struct mdd_object *mdd_obj)
 {
-        return lu_object_attr(&obj->mod_obj.mo_lu);
+       return mdd_obj && mdd_obj->mod_flags & DEAD_OBJ;
 }
 
-static inline int mdd_is_dead_obj(struct mdd_object *obj)
+static inline bool mdd_is_volatile_obj(struct mdd_object *mdd_obj)
 {
-        return obj && obj->mod_flags & DEAD_OBJ;
+       return mdd_obj->mod_flags & VOLATILE_OBJ;
 }
 
-static inline bool mdd_is_volatile_obj(struct mdd_object *obj)
+static inline bool mdd_is_orphan_obj(struct mdd_object *mdd_obj)
 {
-       return obj->mod_flags & VOLATILE_OBJ;
+       return mdd_obj->mod_flags & ORPHAN_OBJ;
 }
 
-static inline int mdd_object_exists(struct mdd_object *obj)
+static inline int mdd_object_exists(struct mdd_object *mdd_obj)
 {
-        return lu_object_exists(mdd2lu_obj(obj));
+       return lu_object_exists(mdd2lu_obj(mdd_obj));
 }
 
-static inline int mdd_object_remote(struct mdd_object *obj)
+static inline int mdd_object_remote(struct mdd_object *mdd_obj)
 {
-       return lu_object_remote(mdd2lu_obj(obj));
+       return lu_object_remote(mdd2lu_obj(mdd_obj));
 }
 
-static inline const struct lu_fid *mdd_object_fid(struct mdd_object *obj)
+static inline const struct lu_fid *mdd_object_fid(struct mdd_object *mdd_obj)
 {
-        return lu_object_fid(mdd2lu_obj(obj));
+       return lu_object_fid(mdd2lu_obj(mdd_obj));
 }
 
 static inline struct seq_server_site *mdd_seq_site(struct mdd_device *mdd)
@@ -495,27 +551,28 @@ static inline struct seq_server_site *mdd_seq_site(struct mdd_device *mdd)
        return mdd2lu_dev(mdd)->ld_site->ld_seq_site;
 }
 
-static inline const char *mdd_obj_dev_name(const struct mdd_object *obj)
+static inline const char *mdd_obj_dev_name(const struct mdd_object *mdd_obj)
 {
-        return lu_dev_name(obj->mod_obj.mo_lu.lo_dev);
+       return lu_dev_name(mdd_obj->mod_obj.mo_lu.lo_dev);
 }
 
 #define MAX_ATIME_DIFF 60
 
 static inline int mdd_permission_internal(const struct lu_env *env,
                                          struct mdd_object *obj,
-                                         const struct lu_attr *la, int mask)
+                                         const struct lu_attr *la,
+                                         unsigned int may_mask)
 {
-       return __mdd_permission_internal(env, obj, la, mask, -1);
+       return __mdd_permission_internal(env, obj, la, may_mask, -1);
 }
 
 static inline int mdd_permission_internal_locked(const struct lu_env *env,
                                                struct mdd_object *obj,
                                                const struct lu_attr *la,
-                                               int mask,
-                                               enum mdd_object_role role)
+                                               unsigned int may_mask,
+                                               enum dt_object_role role)
 {
-       return __mdd_permission_internal(env, obj, la, mask, role);
+       return __mdd_permission_internal(env, obj, la, may_mask, role);
 }
 
 /* mdd inline func for calling osd_dt_object ops */
@@ -561,8 +618,18 @@ static inline int mdo_declare_xattr_set(const struct lu_env *env,
                                         const char *name,
                                         int fl, struct thandle *handle)
 {
-        struct dt_object *next = mdd_object_child(obj);
-        return dt_declare_xattr_set(env, next, buf, name, fl, handle);
+       struct dt_object *next = mdd_object_child(obj);
+       int rc;
+
+       rc = dt_declare_xattr_set(env, next, buf, name, fl, handle);
+       if (rc >= 0 && strcmp(name, LL_XATTR_NAME_ENCRYPTION_CONTEXT) == 0) {
+               struct lu_attr la = { 0 };
+
+               la.la_valid = LA_FLAGS;
+               la.la_flags = LUSTRE_ENCRYPT_FL;
+               rc = dt_declare_attr_set(env, next, &la, handle);
+       }
+       return rc;
 }
 
 static inline int mdo_xattr_set(const struct lu_env *env,struct mdd_object *obj,
@@ -570,11 +637,35 @@ static inline int mdo_xattr_set(const struct lu_env *env,struct mdd_object *obj,
                                int fl, struct thandle *handle)
 {
        struct dt_object *next = mdd_object_child(obj);
+       int rc = 0;
 
        if (!mdd_object_exists(obj))
                return -ENOENT;
 
-       return dt_xattr_set(env, next, buf, name, fl, handle);
+       /* If we are about to set the LL_XATTR_NAME_ENCRYPTION_CONTEXT
+        * xattr, it means the file/dir is encrypted. In that case we want
+        * to set the LUSTRE_ENCRYPT_FL flag as well: it will be stored
+        * into the LMA, making it more efficient to recognise we are
+        * dealing with an encrypted file/dir, as LMA info is cached upon
+        * object init.
+        * However, marking a dir as encrypted is only possible if it is
+        * being created or migrated (LU_XATTR_CREATE flag not set), or
+        * if it is empty.
+        */
+       if ((strcmp(name, LL_XATTR_NAME_ENCRYPTION_CONTEXT) == 0) &&
+           (!S_ISDIR(mdd_object_type(obj)) ||
+            !(fl & LU_XATTR_CREATE) ||
+            (rc = mdd_dir_is_empty(env, obj)) == 0)) {
+               struct lu_attr la = { 0 };
+
+               la.la_valid = LA_FLAGS;
+               la.la_flags = LUSTRE_ENCRYPT_FL;
+               rc = dt_attr_set(env, next, &la, handle);
+       }
+       if (rc >= 0)
+               rc = dt_xattr_set(env, next, buf, name, fl, handle);
+
+       return rc;
 }
 
 static inline int mdo_declare_xattr_del(const struct lu_env *env,
@@ -748,7 +839,7 @@ static inline bool mdd_changelog_enabled(const struct lu_env *env,
        const struct lu_ucred *uc;
 
        if ((mdd->mdd_cl.mc_flags & CLM_ON) &&
-           (mdd->mdd_cl.mc_mask & (1 << type))) {
+           (mdd->mdd_cl.mc_mask & BIT(type))) {
                uc = lu_ucred_check(env);
 
                return uc != NULL ? uc->uc_enable_audit : true;