Whamcloud - gitweb
LU-12553 mdc: polling mode for changelog reader
[fs/lustre-release.git] / lustre / include / lustre / lustreapi.h
index a434d10..4839fca 100644 (file)
@@ -126,8 +126,12 @@ struct llapi_stripe_param {
 
 #define lsp_tgts       lsp_osts
 
+__u32 llapi_pattern_to_lov(uint64_t pattern);
+
 int llapi_file_open_param(const char *name, int flags, mode_t mode,
                          const struct llapi_stripe_param *param);
+int llapi_file_create_foreign(const char *name, mode_t mode, __u32 type,
+                             __u32 flags, char *foreign_lov);
 int llapi_file_create(const char *name, unsigned long long stripe_size,
                      int stripe_offset, int stripe_count, int stripe_pattern);
 int llapi_file_open(const char *name, int flags, int mode,
@@ -149,30 +153,40 @@ int llapi_file_lookup(int dirfd, const char *name);
 void llapi_set_command_name(const char *cmd);
 void llapi_clear_command_name(void);
 
-#define VERBOSE_COUNT             0x1
-#define VERBOSE_SIZE              0x2
-#define VERBOSE_OFFSET            0x4
-#define VERBOSE_POOL              0x8
-#define VERBOSE_DETAIL           0x10
-#define VERBOSE_OBJID            0x20
-#define VERBOSE_GENERATION       0x40
-#define VERBOSE_MDTINDEX         0x80
-#define VERBOSE_LAYOUT          0x100
-#define VERBOSE_COMP_COUNT      0x200
-#define VERBOSE_COMP_FLAGS      0x400
-#define VERBOSE_COMP_START      0x800
-#define VERBOSE_COMP_END       0x1000
-#define VERBOSE_COMP_ID                0x2000
-#define VERBOSE_DFID           0x4000
-#define VERBOSE_HASH_TYPE      0x8000
-#define VERBOSE_MIRROR_COUNT   0x10000
-#define VERBOSE_DEFAULT                (VERBOSE_COUNT | VERBOSE_SIZE | \
-                                VERBOSE_OFFSET | VERBOSE_POOL | \
-                                VERBOSE_OBJID | VERBOSE_GENERATION | \
-                                VERBOSE_LAYOUT | VERBOSE_HASH_TYPE | \
-                                VERBOSE_COMP_COUNT | VERBOSE_COMP_FLAGS | \
-                                VERBOSE_COMP_START | VERBOSE_COMP_END | \
-                                VERBOSE_COMP_ID | VERBOSE_MIRROR_COUNT)
+enum llapi_layout_verbose  {
+       VERBOSE_STRIPE_COUNT    =     0x1,
+       VERBOSE_STRIPE_SIZE     =     0x2,
+       VERBOSE_STRIPE_OFFSET   =     0x4,
+       VERBOSE_POOL            =     0x8,
+       VERBOSE_DETAIL          =    0x10,
+       VERBOSE_OBJID           =    0x20,
+       VERBOSE_GENERATION      =    0x40,
+       VERBOSE_MDTINDEX        =    0x80,
+       VERBOSE_PATTERN         =   0x100,
+       VERBOSE_COMP_COUNT      =   0x200,
+       VERBOSE_COMP_FLAGS      =   0x400,
+       VERBOSE_COMP_START      =   0x800,
+       VERBOSE_COMP_END        =  0x1000,
+       VERBOSE_COMP_ID         =  0x2000,
+       VERBOSE_DFID            =  0x4000,
+       VERBOSE_HASH_TYPE       =  0x8000,
+       VERBOSE_MIRROR_COUNT    = 0x10000,
+       VERBOSE_MIRROR_ID       = 0x20000,
+       VERBOSE_EXT_SIZE        = 0x40000,
+       VERBOSE_DEFAULT         = VERBOSE_STRIPE_COUNT | VERBOSE_STRIPE_SIZE |
+                                 VERBOSE_STRIPE_OFFSET | VERBOSE_POOL |
+                                 VERBOSE_OBJID | VERBOSE_GENERATION |
+                                 VERBOSE_PATTERN | VERBOSE_HASH_TYPE |
+                                 VERBOSE_COMP_COUNT | VERBOSE_COMP_FLAGS |
+                                 VERBOSE_COMP_START | VERBOSE_COMP_END |
+                                 VERBOSE_COMP_ID | VERBOSE_MIRROR_COUNT |
+                                 VERBOSE_MIRROR_ID | VERBOSE_EXT_SIZE
+};
+/* Compatibility with original names */
+#define VERBOSE_SIZE   VERBOSE_STRIPE_SIZE
+#define VERBOSE_COUNT  VERBOSE_STRIPE_COUNT
+#define VERBOSE_OFFSET VERBOSE_STRIPE_OFFSET
+#define VERBOSE_LAYOUT VERBOSE_PATTERN
 
 struct find_param {
        unsigned int             fp_max_depth;
@@ -195,7 +209,12 @@ struct find_param {
                                 fp_comp_start_sign:2,
                                 fp_comp_end_sign:2,
                                 fp_comp_count_sign:2,
-                                fp_mdt_count_sign:2;
+                                fp_mirror_count_sign:2,
+                                fp_mirror_index_sign:2,
+                                fp_mirror_id_sign:2,
+                                fp_mdt_count_sign:2,
+                                fp_blocks_sign:2,
+                                fp_ext_size_sign:2;
        unsigned long long       fp_size;
        unsigned long long       fp_size_units;
 
@@ -230,20 +249,33 @@ struct find_param {
                                 fp_exclude_projid:1,
                                 fp_check_comp_count:1,
                                 fp_exclude_comp_count:1,
+                                fp_check_mirror_count:1,
+                                fp_exclude_mirror_count:1,
                                 fp_check_comp_flags:1,
+                                fp_check_mirror_state:1,
                                 fp_check_comp_start:1,
                                 fp_exclude_comp_start:1,
                                 fp_check_comp_end:1,
                                 fp_exclude_comp_end:1,
                                 fp_check_comp_id:1,
                                 fp_exclude_comp_id:1,
+                                fp_check_mirror_id:1,
+                                fp_exclude_mirror_id:1,
+                                fp_check_mirror_index:1,
+                                fp_exclude_mirror_index:1,
                                 fp_check_mdt_count:1,
                                 fp_exclude_mdt_count:1,
                                 fp_check_hash_type:1,
                                 fp_exclude_hash_type:1,
-                                fp_yaml:1;     /* output layout in YAML */
-
-       int                      fp_verbose;
+                                fp_yaml:1,     /* output layout in YAML */
+                                fp_check_blocks:1,
+                                fp_exclude_blocks:1,
+                                fp_check_foreign:1,
+                                fp_exclude_foreign:1,
+                                fp_check_ext_size:1, /* extension size */
+                                fp_exclude_ext_size:1;
+
+       enum llapi_layout_verbose fp_verbose;
        int                      fp_quiet;
 
        /* regular expression */
@@ -276,21 +308,32 @@ struct find_param {
        __u32                    fp_layout;
 
        __u32                    fp_comp_count;
+       __u32                    fp_mirror_count;
        __u32                    fp_comp_flags;
        __u32                    fp_comp_neg_flags;
+       __u16                    fp_mirror_state;
+       __u16                    fp_mirror_neg_state;
        __u32                    fp_comp_id;
+       __u16                    fp_mirror_id;
+       __u16                    fp_mirror_index;
        unsigned long long       fp_comp_start;
        unsigned long long       fp_comp_start_units;
        unsigned long long       fp_comp_end;
        unsigned long long       fp_comp_end_units;
        unsigned long long       fp_mdt_count;
        unsigned                 fp_projid;
+       unsigned long long       fp_blocks;
+       unsigned long long       fp_blocks_units;
+       unsigned long long       fp_ext_size;
+       unsigned long long       fp_ext_size_units;
 
        /* In-process parameters. */
        unsigned long            fp_got_uuids:1,
                                 fp_obds_printed:1;
        unsigned int             fp_depth;
        unsigned int             fp_hash_type;
+       unsigned int             fp_time_margin; /* time margin in seconds */
+       __u32                    fp_foreign_type;
 };
 
 int llapi_ostlist(char *path, struct find_param *param);
@@ -304,8 +347,10 @@ int llapi_dir_set_default_lmv(const char *name,
 int llapi_dir_set_default_lmv_stripe(const char *name, int stripe_offset,
                                     int stripe_count, int stripe_pattern,
                                     const char *pool_name);
-int llapi_dir_create_param(const char *name, mode_t mode,
-                          const struct llapi_stripe_param *param);
+int llapi_dir_create(const char *name, mode_t mode,
+                    const struct llapi_stripe_param *param);
+int llapi_dir_create_foreign(const char *name, mode_t mode, __u32 type,
+                            __u32 flags, const char *value);
 int llapi_dir_create_pool(const char *name, int flags, int stripe_offset,
                          int stripe_count, int stripe_pattern,
                          const char *poolname);
@@ -323,8 +368,12 @@ int llapi_file_fget_lov_uuid(int fd, struct obd_uuid *lov_uuid);
 int llapi_lov_get_uuids(int fd, struct obd_uuid *uuidp, int *ost_count);
 int llapi_lmv_get_uuids(int fd, struct obd_uuid *uuidp, int *mdt_count);
 int llapi_is_lustre_mnttype(const char *type);
-int llapi_search_tgt(char *fsname, char *poolname, char *tgtname, bool is_mdt);
-int llapi_search_ost(char *fsname, char *poolname, char *ostname);
+int llapi_search_tgt(const char *fsname, const char *poolname,
+                    const char *tgtname, bool is_mdt);
+int llapi_search_mdt(const char *fsname, const char *poolname,
+                    const char *mdtname);
+int llapi_search_ost(const char *fsname, const char *poolname,
+                    const char *ostname);
 int llapi_get_obd_count(char *mnt, int *count, int is_mdt);
 int llapi_parse_size(const char *optarg, unsigned long long *size,
                     unsigned long long *size_units, int bytes_spec);
@@ -360,6 +409,7 @@ int llapi_path2parent(const char *path, unsigned int linkno,
                      struct lu_fid *parent_fid, char *name, size_t name_size);
 int llapi_fd2parent(int fd, unsigned int linkno, struct lu_fid *parent_fid,
                    char *name, size_t name_size);
+int llapi_rmfid(const char *path, struct fid_array *fa);
 int llapi_chomp_string(char *buf);
 int llapi_open_by_fid(const char *dir, const struct lu_fid *fid,
                      int open_flags);
@@ -382,11 +432,15 @@ void llapi_hsm_log_error(enum llapi_message_level level, int _rc,
                         const char *fmt, va_list args);
 
 int llapi_get_agent_uuid(char *path, char *buf, size_t bufsize);
-int llapi_create_volatile_idx(char *directory, int idx, int mode);
+int llapi_create_volatile_idx(const char *directory, int mdt_idx,
+                             int open_flags);
+int llapi_create_volatile_param(const char *directory, int mdt_idx,
+                               int open_flags, mode_t mode,
+                               const struct llapi_stripe_param *stripe_param);
 
-static inline int llapi_create_volatile(char *directory, int mode)
+static inline int llapi_create_volatile(char *directory, int open_flags)
 {
-       return llapi_create_volatile_idx(directory, -1, mode);
+       return llapi_create_volatile_idx(directory, -1, open_flags);
 }
 
 
@@ -408,6 +462,7 @@ int llapi_changelog_start(void **priv, enum changelog_send_flag flags,
                          const char *mdtname, long long startrec);
 int llapi_changelog_fini(void **priv);
 int llapi_changelog_recv(void *priv, struct changelog_rec **rech);
+int llapi_changelog_in_buf(void *priv);
 int llapi_changelog_free(struct changelog_rec **rech);
 int llapi_changelog_get_fd(void *priv);
 /* Allow records up to endrec to be destroyed; requires registered id. */
@@ -461,10 +516,12 @@ int llapi_json_add_item(struct llapi_json_item_list **item_list, char *key,
 int llapi_json_write_list(struct llapi_json_item_list **item_list, FILE *fp);
 
 /* File lease */
-int llapi_lease_get(int fd, int mode);
+int llapi_lease_acquire(int fd, enum ll_lease_mode mode);
+int llapi_lease_release(int fd);
+int llapi_lease_set(int fd, const struct ll_ioc_lease *data);
 int llapi_lease_check(int fd);
-int llapi_lease_put(int fd);
-extern int llapi_lease_get_ext(int fd, struct ll_ioc_lease *data);
+int llapi_lease_get(int fd, int mode); /* obsoleted */
+int llapi_lease_put(int fd); /* obsoleted */
 
 /* Group lock */
 int llapi_group_lock(int fd, int gid);
@@ -473,26 +530,27 @@ int llapi_group_unlock(int fd, int gid);
 /* Ladvise */
 int llapi_ladvise(int fd, unsigned long long flags, int num_advise,
                  struct llapi_lu_ladvise *ladvise);
+
+/* PCC */
+int llapi_pcc_attach(const char *path, __u32 id, enum lu_pcc_type type);
+int llapi_pcc_attach_fid(const char *mntpath, const struct lu_fid *fid,
+                        __u32 id, enum lu_pcc_type type);
+int llapi_pcc_attach_fid_str(const char *mntpath, const char *fidstr,
+                            __u32 id, enum lu_pcc_type type);
+int llapi_pcc_detach_fd(int fd, __u32 option);
+int llapi_pcc_detach_fid(const char *mntpath, const struct lu_fid *fid,
+                        __u32 option);
+int llapi_pcc_detach_fid_str(const char *mntpath, const char *fidstr,
+                            __u32 option);
+int llapi_pcc_detach_file(const char *path, __u32 option);
+int llapi_pcc_state_get_fd(int fd, struct lu_pcc_state *state);
+int llapi_pcc_state_get(const char *path, struct lu_pcc_state *state);
+int llapi_pccdev_set(const char *mntpath, const char *cmd);
+int llapi_pccdev_get(const char *mntpath);
 /** @} llapi */
 
 /* llapi_layout user interface */
 
-static inline const char *lcm_flags_string(__u16 flags)
-{
-       switch (flags & LCM_FL_FLR_MASK) {
-       case LCM_FL_NOT_FLR:
-               return "not_flr";
-       case LCM_FL_RDONLY:
-               return "ro";
-       case LCM_FL_WRITE_PENDING:
-               return "wp";
-       case LCM_FL_SYNC_PENDING:
-               return "sp";
-       default:
-               return "";
-       }
-}
-
 /**
  * An array element storing component info to be resynced during mirror
  * resynchronization.
@@ -508,11 +566,18 @@ struct llapi_resync_comp {
 /** Opaque data type abstracting the layout of a Lustre file. */
 struct llapi_layout;
 
+int llapi_mirror_truncate(int fd, unsigned int id, off_t length);
+ssize_t llapi_mirror_write(int fd, unsigned int id, const void *buf,
+                          size_t count, off_t pos);
+uint32_t llapi_mirror_find(struct llapi_layout *layout,
+                          uint64_t file_start, uint64_t file_end,
+                          uint64_t *endp);
 int llapi_mirror_find_stale(struct llapi_layout *layout,
                struct llapi_resync_comp *comp, size_t comp_size,
                __u16 *mirror_ids, int ids_nr);
-ssize_t llapi_mirror_resync_one(int fd, struct llapi_layout *layout,
-                               uint32_t dst, uint64_t start, uint64_t end);
+int llapi_mirror_resync_many(int fd, struct llapi_layout *layout,
+                            struct llapi_resync_comp *comp_array,
+                            int comp_size,  uint64_t start, uint64_t end);
 /*
  * Flags to control how layouts are retrieved.
  */
@@ -539,8 +604,8 @@ struct llapi_layout *llapi_layout_get_by_fd(int fd, uint32_t flags);
 
 /**
  * Return a pointer to a newly-allocated opaque data type containing the
- * layout for the file associated with Lustre file identifier string
- * \a fidstr.  The string \a path must name a path within the
+ * layout for the file associated with Lustre file identifier
+ * \a fid.  The string \a path must name a path within the
  * filesystem that contains the file being looked up, such as the
  * filesystem root.  The returned pointer should be freed with
  * llapi_layout_free() when it is no longer needed.  Failure is
@@ -551,6 +616,32 @@ struct llapi_layout *llapi_layout_get_by_fid(const char *path,
                                             const struct lu_fid *fid,
                                             uint32_t flags);
 
+enum llapi_layout_xattr_flags {
+       LLAPI_LXF_CHECK = 0x0001,
+       LLAPI_LXF_COPY  = 0x0002,
+};
+
+/**
+ * Return a pointer to a newly-allocated opaque data type containing the
+ * layout for the file associated with extended attribute \a lov_xattr.  The
+ * length of the extended attribute is \a lov_xattr_size. The \a lov_xattr
+ * should be raw xattr without being swapped, since this function will swap it
+ * properly. Thus, \a lov_xattr will be modified during the process. If the
+ * \a LLAPI_LXF_CHECK flag of \a flags is set, this function will check whether
+ * the objects count in lum is consistent with the stripe count in lum. This
+ * check only apply to regular file, so \a LLAPI_LXF_CHECK flag should be
+ * cleared if the xattr belongs to a directory. If the \a LLAPI_LXF_COPY flag
+ * of \a flags is set, this function will use a temporary buffer for byte
+ * swapping when necessary, leaving \a lov_xattr untouched. Otherwise, the byte
+ * swapping will be done to the \a lov_xattr buffer directly.  The returned
+ * pointer should be freed with llapi_layout_free() when it is no longer
+ * needed.  Failure is  * indicated with a NULL return value and an appropriate
+ * error code stored in errno.
+ */
+struct llapi_layout *llapi_layout_get_by_xattr(void *lov_xattr,
+                                              ssize_t lov_xattr_size,
+                                              uint32_t flags);
+
 /**
  * Allocate a new layout. Use this when creating a new file with
  * llapi_layout_file_create().
@@ -596,8 +687,9 @@ int llapi_layout_merge(struct llapi_layout **dst_layout,
  * stored using RAID0.  That is, data will be split evenly and without
  * redundancy across all OSTs in the layout.
  */
-#define LLAPI_LAYOUT_RAID0     0ULL
-#define LLAPI_LAYOUT_MDT       2ULL
+#define LLAPI_LAYOUT_RAID0             0ULL
+#define LLAPI_LAYOUT_MDT               2ULL
+#define LLAPI_LAYOUT_OVERSTRIPING      4ULL
 
 /**
 * The layout includes a specific set of OSTs on which to allocate.
@@ -650,6 +742,27 @@ int llapi_layout_stripe_size_get(const struct llapi_layout *layout,
  */
 int llapi_layout_stripe_size_set(struct llapi_layout *layout, uint64_t size);
 
+
+/******************** Extension Size ********************/
+
+/**
+ * Store the extension size of \a layout in \a size.
+ *
+ * \retval  0 Success.
+ * \retval -1 Invalid argument, errno set to EINVAL.
+ */
+int llapi_layout_extension_size_get(const struct llapi_layout *layout,
+                                   uint64_t *size);
+
+/**
+ * Set the extension size of \a layout to \a stripe_size.
+ *
+ * \retval  0 Success.
+ * \retval -1 Invalid argument, errno set to EINVAL.
+ */
+int llapi_layout_extension_size_set(struct llapi_layout *layout, uint64_t size);
+
+
 /******************** Stripe Pattern ********************/
 
 /**
@@ -802,6 +915,8 @@ int llapi_layout_file_create(const char *path, int open_flags, int mode,
  */
 int llapi_layout_flags_set(struct llapi_layout *layout, uint32_t flags);
 int llapi_layout_flags_get(struct llapi_layout *layout, uint32_t *flags);
+const char *llapi_layout_flags_string(uint32_t flags);
+const __u16 llapi_layout_string_flags(char *string);
 
 /**
  * llapi_layout_mirror_count_get() - Get mirror count from the header of
@@ -848,6 +963,8 @@ static const struct comp_flag_name {
        { LCME_FL_STALE,        "stale" },
        { LCME_FL_PREF_RW,      "prefer" },
        { LCME_FL_OFFLINE,      "offline" },
+       { LCME_FL_NOSYNC,       "nosync" },
+       { LCME_FL_EXTENSION,    "extension" },
 };
 
 /**
@@ -876,6 +993,10 @@ int llapi_layout_mirror_id_get(const struct llapi_layout *layout, uint32_t *id);
  */
 int llapi_layout_comp_add(struct llapi_layout *layout);
 /**
+ * Adds a first component of a mirror to the existing composite layout.
+ */
+int llapi_layout_add_first_comp(struct llapi_layout *layout);
+/**
  * Deletes the current layout component from the composite layout.
  */
 int llapi_layout_comp_del(struct llapi_layout *layout);
@@ -945,11 +1066,15 @@ int llapi_mirror_set(int fd, unsigned int id);
 int llapi_mirror_clear(int fd);
 ssize_t llapi_mirror_read(int fd, unsigned int id,
                           void *buf, size_t count, off_t pos);
-ssize_t llapi_mirror_copy_many(int fd, unsigned int src,
-                               unsigned int *dst, size_t count);
+ssize_t llapi_mirror_copy_many(int fd, __u16 src, __u16 *dst, size_t count);
 int llapi_mirror_copy(int fd, unsigned int src, unsigned int dst,
                       off_t pos, size_t count);
 
+int llapi_heat_get(int fd, struct lu_heat *heat);
+int llapi_heat_set(int fd, __u64 flags);
+int llapi_layout_sanity(struct llapi_layout *layout, bool incomplete, bool flr);
+void llapi_layout_sanity_perror(int error);
+
 /** @} llapi */
 
 #if defined(__cplusplus)