lustre/utils/liblustreapi_chlg.c

   1 /*
   2  * LGPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * (C) Copyright 2017 Commissariat a l'energie atomique et aux energies
   7  *     alternatives
   8  *
   9  * All rights reserved. This program and the accompanying materials
  10  * are made available under the terms of the GNU Lesser General Public License
  11  * (LGPL) version 2.1 or (at your discretion) any later version.
  12  * (LGPL) version 2.1 accompanies this distribution, and is available at
  13  * http://www.gnu.org/licenses/lgpl-2.1.html
  14  *
  15  * This library is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  18  * Lesser General Public License for more details.
  19  *
  20  * LGPL HEADER END
  21  */
  22 /*
  23  * lustre/utils/liblustreapi_chlg.c
  24  *
  25  * lustreapi library for filesystem changelog
  26  *
  27  * Author: Henri Doreau <henri.doreau@cea.fr>
  28  */
  29
  30 #include <fcntl.h>
  31 #include <stdlib.h>
  32 #include <stdio.h>
  33 #include <string.h>
  34 #include <unistd.h>
  35 #include <errno.h>
  36 #include <poll.h>
  37 #include <sys/stat.h>
  38 #include <sys/types.h>
  39 #include <sys/ioctl.h>
  40
  41 #include <lustre/lustreapi.h>
  42 #include <linux/lustre/lustre_ioctl.h>
  43
  44
  45 static int chlg_dev_path(char *path, size_t path_len, const char *device)
  46 {
  47         int rc;
  48
  49         rc = snprintf(path, path_len, "/dev/changelog-%s", device);
  50         if (rc < 0)
  51                 return -EIO;
  52
  53         if (rc >= path_len)
  54                 return -EOVERFLOW;
  55
  56         return 0;
  57 }
  58
  59 #define CHANGELOG_PRIV_MAGIC 0xCA8E1080
  60 #define CHANGELOG_BUFFER_SZ  4096
  61
  62 /**
  63  * Record state for efficient changelog consumption.
  64  * Read chunks of CHANGELOG_BUFFER_SZ bytes.
  65  */
  66 struct changelog_private {
  67         /* Ensure that the structure is valid and initialized */
  68         int                              clp_magic;
  69         /* File descriptor on the changelog character device */
  70         int                              clp_fd;
  71         /* Changelog delivery mode */
  72         enum changelog_send_flag         clp_send_flags;
  73         /* Changelog extra flags */
  74         enum changelog_send_extra_flag   clp_send_extra_flags;
  75         /* Available bytes in buffer */
  76         size_t                           clp_buf_len;
  77         /* Current position in buffer */
  78         char                            *clp_buf_pos;
  79         /* Read buffer with records read from system */
  80         char                             clp_buf[0];
  81 };
  82
  83 /**
  84  * Start reading from a changelog
  85  *
  86  * @param priv      Opaque private control structure
  87  * @param flags     Start flags (e.g. CHANGELOG_FLAG_JOBID)
  88  * @param device    Report changes recorded on this MDT
  89  * @param startrec  Report changes beginning with this record number
  90  * (just call llapi_changelog_fini when done; don't need an endrec)
  91  */
  92 int llapi_changelog_start(void **priv, enum changelog_send_flag flags,
  93                           const char *device, long long startrec)
  94 {
  95         struct changelog_private *cp;
  96         static bool warned_extra_flags;
  97         static bool warned_jobid;
  98         char cdev_path[PATH_MAX];
  99         int rc;
 100
 101         rc = chlg_dev_path(cdev_path, sizeof(cdev_path), device);
 102         if (rc != 0)
 103                 return rc;
 104
 105         /* Set up the receiver control struct */
 106         cp = calloc(1, sizeof(*cp) + CHANGELOG_BUFFER_SZ);
 107         if (cp == NULL)
 108                 return -ENOMEM;
 109
 110         cp->clp_magic = CHANGELOG_PRIV_MAGIC;
 111         cp->clp_send_flags = flags;
 112
 113         cp->clp_buf_len = 0;
 114         cp->clp_buf_pos = cp->clp_buf;
 115
 116         /* Set up the receiver */
 117         cp->clp_fd = open(cdev_path, O_RDONLY);
 118         if (cp->clp_fd < 0) {
 119                 rc = -errno;
 120                 goto out_free_cp;
 121         }
 122
 123         if (startrec != 0) {
 124                 off_t res;
 125
 126                 res = lseek(cp->clp_fd, startrec, SEEK_SET);
 127                 if (res == (off_t)-1) {
 128                         rc = -errno;
 129                         goto out_close;
 130                 }
 131         }
 132
 133         *priv = cp;
 134
 135         /* CHANGELOG_FLAG_EXTRA_FLAGS will eventually become mandatory.
 136          * If it wasn't specified, display a warning here.
 137          * Code elsewhere will remove the corresponding extension.
 138          */
 139         if (!(flags & CHANGELOG_FLAG_EXTRA_FLAGS) && !warned_extra_flags) {
 140                 llapi_err_noerrno(LLAPI_MSG_WARN,
 141                       "warning: %s() called without CHANGELOG_FLAG_EXTRA_FLAGS",
 142                       __func__);
 143                 warned_extra_flags = true;
 144         }
 145
 146         /* CHANGELOG_FLAG_JOBID will eventually become mandatory. Display a
 147          * warning if it's missing. */
 148         if (!(flags & CHANGELOG_FLAG_JOBID) && !warned_jobid) {
 149                 llapi_err_noerrno(LLAPI_MSG_WARN, "warning: %s() called "
 150                                   "without CHANGELOG_FLAG_JOBID", __func__);
 151                 warned_jobid = true;
 152         }
 153
 154         if (flags & CHANGELOG_FLAG_FOLLOW) {
 155                 int rc;
 156
 157                 rc = ioctl(cp->clp_fd, OBD_IOC_CHLG_SET_FLAGS,
 158                            CHANGELOG_FLAG_FOLLOW);
 159                 if (rc < 0)
 160                         llapi_err_noerrno(LLAPI_MSG_ERROR, "can't enable "
 161                                           "CHANGELOG_FLAG_FOLLOW");
 162         }
 163
 164         return 0;
 165
 166 out_close:
 167         close(cp->clp_fd);
 168 out_free_cp:
 169         free(cp);
 170         return rc;
 171 }
 172
 173 /** Finish reading from a changelog */
 174 int llapi_changelog_fini(void **priv)
 175 {
 176         struct changelog_private *cp = *priv;
 177
 178         if (!cp || (cp->clp_magic != CHANGELOG_PRIV_MAGIC))
 179                 return -EINVAL;
 180
 181         close(cp->clp_fd);
 182         free(cp);
 183         *priv = NULL;
 184         return 0;
 185 }
 186
 187 static ssize_t chlg_read_bulk(struct changelog_private *cp)
 188 {
 189         ssize_t rd_bytes;
 190
 191         if (!cp || cp->clp_magic != CHANGELOG_PRIV_MAGIC)
 192                 return -EINVAL;
 193
 194         rd_bytes = read(cp->clp_fd, cp->clp_buf, CHANGELOG_BUFFER_SZ);
 195         if (rd_bytes < 0)
 196                 return -errno;
 197
 198         cp->clp_buf_pos = cp->clp_buf;
 199         cp->clp_buf_len = rd_bytes;
 200
 201         return rd_bytes;
 202 }
 203
 204 /**
 205  * Returns a file descriptor to poll on.
 206  *
 207  * \@param[in]  priv  Opaque changelog reader structure.
 208  * @return valid file descriptor on success, negated errno code on failure.
 209  */
 210 int llapi_changelog_get_fd(void *priv)
 211 {
 212         struct changelog_private *cp = priv;
 213
 214         if (!cp || cp->clp_magic != CHANGELOG_PRIV_MAGIC)
 215                 return -EINVAL;
 216
 217         return cp->clp_fd;
 218 }
 219
 220 /** Read the next changelog entry
 221  * @param priv Opaque private control structure
 222  * @param rech Changelog record handle; record will be allocated here
 223  * @return 0 valid message received; rec is set
 224  *       <0 error code
 225  *       1 EOF
 226  */
 227 #define DEFAULT_RECORD_FMT      (CLF_VERSION | CLF_RENAME)
 228 int llapi_changelog_recv(void *priv, struct changelog_rec **rech)
 229 {
 230         struct changelog_private *cp = priv;
 231         enum changelog_rec_flags rec_fmt = DEFAULT_RECORD_FMT;
 232         enum changelog_rec_extra_flags rec_extra_fmt = CLFE_INVALID;
 233         struct changelog_rec *tmp;
 234         int rc = 0;
 235
 236         if (!cp || (cp->clp_magic != CHANGELOG_PRIV_MAGIC))
 237                 return -EINVAL;
 238
 239         if (rech == NULL)
 240                 return -EINVAL;
 241
 242         *rech = malloc(CR_MAXSIZE);
 243         if (*rech == NULL)
 244                 return -ENOMEM;
 245
 246         if (cp->clp_send_flags & CHANGELOG_FLAG_JOBID)
 247                 rec_fmt |= CLF_JOBID;
 248
 249         if (cp->clp_send_flags & CHANGELOG_FLAG_EXTRA_FLAGS) {
 250                 rec_fmt |= CLF_EXTRA_FLAGS;
 251                 if (cp->clp_send_extra_flags & CHANGELOG_EXTRA_FLAG_UIDGID)
 252                         rec_extra_fmt |= CLFE_UIDGID;
 253                 if (cp->clp_send_extra_flags & CHANGELOG_EXTRA_FLAG_NID)
 254                         rec_extra_fmt |= CLFE_NID;
 255                 if (cp->clp_send_extra_flags & CHANGELOG_EXTRA_FLAG_OMODE)
 256                         rec_extra_fmt |= CLFE_OPEN;
 257                 if (cp->clp_send_extra_flags & CHANGELOG_EXTRA_FLAG_XATTR)
 258                         rec_extra_fmt |= CLFE_XATTR;
 259         }
 260
 261         if (cp->clp_buf + cp->clp_buf_len <= cp->clp_buf_pos) {
 262                 ssize_t refresh;
 263
 264                 refresh = chlg_read_bulk(cp);
 265                 if (refresh == 0) {
 266                         /* EOF */
 267                         rc = 1;
 268                         goto out_free;
 269                 } else if (refresh < 0) {
 270                         rc = refresh;
 271                         goto out_free;
 272                 }
 273         }
 274
 275         /* TODO check changelog_rec_size */
 276         tmp = (struct changelog_rec *)cp->clp_buf_pos;
 277
 278         memcpy(*rech, cp->clp_buf_pos,
 279                changelog_rec_size(tmp) + tmp->cr_namelen);
 280
 281         cp->clp_buf_pos += changelog_rec_size(tmp) + tmp->cr_namelen;
 282         changelog_remap_rec(*rech, rec_fmt, rec_extra_fmt);
 283
 284         return 0;
 285
 286 out_free:
 287         free(*rech);
 288         *rech = NULL;
 289         return rc;
 290 }
 291
 292 /** Release the changelog record when done with it. */
 293 int llapi_changelog_free(struct changelog_rec **rech)
 294 {
 295         free(*rech);
 296         *rech = NULL;
 297         return 0;
 298 }
 299
 300 int llapi_changelog_in_buf(void *priv)
 301 {
 302         struct changelog_private *cp = priv;
 303         if (cp->clp_buf + cp->clp_buf_len > cp->clp_buf_pos)
 304                 return 1;
 305         return 0;
 306 }
 307
 308 int llapi_changelog_clear(const char *mdtname, const char *idstr,
 309                           long long endrec)
 310 {
 311         char dev_path[PATH_MAX];
 312         char cmd[64];
 313         size_t cmd_len = sizeof(cmd);
 314         char *dashp, *clidp = NULL;
 315         int fd;
 316         int rc;
 317
 318         if (endrec < 0) {
 319                 llapi_err_noerrno(LLAPI_MSG_ERROR,
 320                                   "can't purge negative records\n");
 321                 return -EINVAL;
 322         }
 323
 324         chlg_dev_path(dev_path, sizeof(dev_path), mdtname);
 325
 326         dashp = strchr(idstr, '-');
 327         if (dashp) {
 328                 clidp = strndup(idstr, dashp - idstr);
 329                 if (!clidp)
 330                         return -ENOMEM;
 331         }
 332
 333         rc = snprintf(cmd, cmd_len, "clear:%s:%lld", dashp ? clidp : idstr,
 334                       endrec);
 335         if (rc >= sizeof(cmd)) {
 336                 rc = -EINVAL;
 337                 goto out;
 338         }
 339         cmd_len = rc + 1;
 340
 341         fd = open(dev_path, O_WRONLY);
 342         if (fd < 0) {
 343                 rc = -errno;
 344                 llapi_error(LLAPI_MSG_ERROR, rc, "cannot open '%s'", dev_path);
 345                 goto out;
 346         }
 347
 348         rc = write(fd, cmd, cmd_len);
 349         if (rc < 0) {
 350                 rc = -errno;
 351                 llapi_error(LLAPI_MSG_ERROR, rc,
 352                             "cannot purge records for '%s'", idstr);
 353                 goto out_close;
 354         }
 355
 356         rc = 0;
 357
 358 out_close:
 359         close(fd);
 360 out:
 361         free(clidp);
 362         return rc;
 363 }
 364
 365 /**
 366  * Set extra flags for reading changelogs
 367  *
 368  * @param priv          Opaque private control structure
 369  * @param extra_flags   Read extra flags (e.g. CHANGELOG_EXTRA_FLAG_UIDGID)
 370  *
 371  * Just call this function right after llapi_changelog_start().
 372  */
 373 int llapi_changelog_set_xflags(void *priv,
 374                                enum changelog_send_extra_flag extra_flags)
 375 {
 376         struct changelog_private *cp = priv;
 377         static bool warned_uidgid;
 378
 379         if (!cp || cp->clp_magic != CHANGELOG_PRIV_MAGIC)
 380                 return -EINVAL;
 381
 382         cp->clp_send_extra_flags = extra_flags;
 383
 384         /* CHANGELOG_EXTRA_FLAG_UIDGID will eventually become mandatory.
 385          * If it wasn't specified, display a warning here.
 386          * Code elsewhere will remove the corresponding extension.
 387          */
 388         if (!(extra_flags & CHANGELOG_EXTRA_FLAG_UIDGID) && !warned_uidgid) {
 389                 llapi_err_noerrno(LLAPI_MSG_WARN,
 390                      "warning: %s() called without CHANGELOG_EXTRA_FLAG_UIDGID",
 391                      __func__);
 392                 warned_uidgid = true;
 393         }
 394
 395         return 0;
 396 }