lustre/include/lustre_log.h

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (C) 2001 Cluster File Systems, Inc. <info@clusterfs.com>
   5  *
   6  *   This file is part of Lustre, http://www.lustre.org.
   7  *
   8  *   Lustre is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Lustre is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Lustre; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  *
  21  * Generic infrastructure for managing a collection of logs.
  22  *
  23  * These logs are used for:
  24  *
  25  * - orphan recovery: OST adds record on create
  26  * - mtime/size consistency: the OST adds a record on first write
  27  * - open/unlinked objects: OST adds a record on destroy
  28  *
  29  * - mds unlink log: the MDS adds an entry upon delete
  30  *
  31  * - raid1 replication log between OST's
  32  * - MDS replication logs
  33  */
  34
  35 #ifndef _LUSTRE_LOG_H
  36 #define _LUSTRE_LOG_H
  37
  38 #if defined(__linux__)
  39 #include <linux/lustre_log.h>
  40 #elif defined(__APPLE__)
  41 #include <darwin/lustre_log.h>
  42 #elif defined(__WINNT__)
  43 #include <winnt/lustre_log.h>
  44 #else
  45 #error Unsupported operating system.
  46 #endif
  47
  48 #include <obd.h>
  49 #include <obd_ost.h>
  50 #include <lustre/lustre_idl.h>
  51
  52 #define LOG_NAME_LIMIT(logname, name)                   \
  53         snprintf(logname, sizeof(logname), "LOGS/%s", name)
  54 #define LLOG_EEMPTY 4711
  55
  56 struct plain_handle_data {
  57         struct list_head    phd_entry;
  58         struct llog_handle *phd_cat_handle;
  59         struct llog_cookie  phd_cookie; /* cookie of this log in its cat */
  60         int                 phd_last_idx;
  61 };
  62
  63 struct cat_handle_data {
  64         struct list_head        chd_head;
  65         struct llog_handle     *chd_current_log; /* currently open log */
  66 };
  67
  68 /* In-memory descriptor for a log object or log catalog */
  69 struct llog_handle {
  70         struct rw_semaphore     lgh_lock;
  71         struct llog_logid       lgh_id;              /* id of this log */
  72         struct llog_log_hdr    *lgh_hdr;
  73         struct file            *lgh_file;
  74         int                     lgh_last_idx;
  75         int                     lgh_cur_idx;    /* used during llog_process */
  76         __u64                   lgh_cur_offset; /* used during llog_process */
  77         struct llog_ctxt       *lgh_ctxt;
  78         union {
  79                 struct plain_handle_data phd;
  80                 struct cat_handle_data   chd;
  81         } u;
  82 };
  83
  84 /* llog.c  -  general API */
  85 typedef int (*llog_cb_t)(struct llog_handle *, struct llog_rec_hdr *, void *);
  86 typedef int (*llog_fill_rec_cb_t)(struct llog_rec_hdr *rec, void *data);
  87 extern struct llog_handle *llog_alloc_handle(void);
  88 int llog_init_handle(struct llog_handle *handle, int flags,
  89                      struct obd_uuid *uuid);
  90 extern void llog_free_handle(struct llog_handle *handle);
  91 int llog_process(struct llog_handle *loghandle, llog_cb_t cb,
  92                  void *data, void *catdata);
  93 int llog_reverse_process(struct llog_handle *loghandle, llog_cb_t cb,
  94                          void *data, void *catdata);
  95 extern int llog_cancel_rec(struct llog_handle *loghandle, int index);
  96 extern int llog_close(struct llog_handle *cathandle);
  97 extern int llog_get_size(struct llog_handle *loghandle);
  98
  99 /* llog_cat.c   -  catalog api */
 100 struct llog_process_data {
 101         void *lpd_data;
 102         llog_cb_t lpd_cb;
 103 };
 104
 105 struct llog_process_cat_data {
 106         int     first_idx;
 107         int     last_idx;
 108         /* to process catalog across zero record */
 109 };
 110
 111 int llog_cat_put(struct llog_handle *cathandle);
 112 int llog_cat_add_rec(struct llog_handle *cathandle, struct llog_rec_hdr *rec,
 113                      struct llog_cookie *reccookie, void *buf);
 114 int llog_cat_cancel_records(struct llog_handle *cathandle, int count,
 115                             struct llog_cookie *cookies);
 116 int llog_cat_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
 117 int llog_cat_reverse_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
 118 int llog_cat_set_first_idx(struct llog_handle *cathandle, int index);
 119
 120 /* llog_obd.c */
 121 int llog_setup(struct obd_device *obd, int index, struct obd_device *disk_obd,
 122                int count,  struct llog_logid *logid,struct llog_operations *op);
 123 int __llog_ctxt_put(struct llog_ctxt *ctxt);
 124 int llog_cleanup(struct llog_ctxt *);
 125 int llog_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
 126 int llog_add(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
 127              struct lov_stripe_md *lsm, struct llog_cookie *logcookies,
 128              int numcookies);
 129 int llog_cancel(struct llog_ctxt *, struct lov_stripe_md *lsm,
 130                 int count, struct llog_cookie *cookies, int flags);
 131
 132 int llog_obd_origin_setup(struct obd_device *obd, int index,
 133                           struct obd_device *disk_obd, int count,
 134                           struct llog_logid *logid);
 135 int llog_obd_origin_cleanup(struct llog_ctxt *ctxt);
 136 int llog_obd_origin_add(struct llog_ctxt *ctxt,
 137                         struct llog_rec_hdr *rec, struct lov_stripe_md *lsm,
 138                         struct llog_cookie *logcookies, int numcookies);
 139
 140 int llog_cat_initialize(struct obd_device *obd, int count,
 141                         struct obd_uuid *uuid);
 142 int obd_llog_init(struct obd_device *obd, struct obd_device *disk_obd,
 143                   int count, struct llog_catid *logid, struct obd_uuid *uuid);
 144
 145 int obd_llog_finish(struct obd_device *obd, int count);
 146
 147 /* llog_ioctl.c */
 148 int llog_ioctl(struct llog_ctxt *ctxt, int cmd, struct obd_ioctl_data *data);
 149 int llog_catalog_list(struct obd_device *obd, int count,
 150                       struct obd_ioctl_data *data);
 151
 152 /* llog_net.c */
 153 int llog_initiator_connect(struct llog_ctxt *ctxt);
 154 int llog_receptor_accept(struct llog_ctxt *ctxt, struct obd_import *imp);
 155 int llog_origin_connect(struct llog_ctxt *ctxt, int count,
 156                         struct llog_logid *logid, struct llog_gen *gen,
 157                         struct obd_uuid *uuid);
 158 int llog_handle_connect(struct ptlrpc_request *req);
 159
 160 /* recov_thread.c */
 161 int llog_obd_repl_cancel(struct llog_ctxt *ctxt,
 162                          struct lov_stripe_md *lsm, int count,
 163                          struct llog_cookie *cookies, int flags);
 164 int llog_obd_repl_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
 165 int llog_repl_connect(struct llog_ctxt *ctxt, int count,
 166                       struct llog_logid *logid, struct llog_gen *gen,
 167                       struct obd_uuid *uuid);
 168
 169 struct llog_operations {
 170         int (*lop_write_rec)(struct llog_handle *loghandle,
 171                              struct llog_rec_hdr *rec,
 172                              struct llog_cookie *logcookies, int numcookies,
 173                              void *, int idx);
 174         int (*lop_destroy)(struct llog_handle *handle);
 175         int (*lop_next_block)(struct llog_handle *h, int *curr_idx,
 176                               int next_idx, __u64 *offset, void *buf, int len);
 177         int (*lop_prev_block)(struct llog_handle *h,
 178                               int prev_idx, void *buf, int len);
 179         int (*lop_create)(struct llog_ctxt *ctxt, struct llog_handle **,
 180                           struct llog_logid *logid, char *name);
 181         int (*lop_close)(struct llog_handle *handle);
 182         int (*lop_read_header)(struct llog_handle *handle);
 183
 184         int (*lop_setup)(struct obd_device *obd, int ctxt_idx,
 185                          struct obd_device *disk_obd, int count,
 186                          struct llog_logid *logid);
 187         int (*lop_sync)(struct llog_ctxt *ctxt, struct obd_export *exp);
 188         int (*lop_cleanup)(struct llog_ctxt *ctxt);
 189         int (*lop_add)(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
 190                        struct lov_stripe_md *lsm,
 191                        struct llog_cookie *logcookies, int numcookies);
 192         int (*lop_cancel)(struct llog_ctxt *ctxt, struct lov_stripe_md *lsm,
 193                           int count, struct llog_cookie *cookies, int flags);
 194         int (*lop_connect)(struct llog_ctxt *ctxt, int count,
 195                            struct llog_logid *logid, struct llog_gen *gen,
 196                            struct obd_uuid *uuid);
 197         /* XXX add 2 more: commit callbacks and llog recovery functions */
 198 };
 199
 200 /* llog_lvfs.c */
 201 extern struct llog_operations llog_lvfs_ops;
 202 int llog_get_cat_list(struct obd_device *obd, struct obd_device *disk_obd,
 203                       char *name, int count, struct llog_catid *idarray);
 204
 205 struct llog_ctxt {
 206         int                      loc_idx; /* my index the obd array of ctxt's */
 207         struct llog_gen          loc_gen;
 208         struct obd_device       *loc_obd; /* points back to the containing obd*/
 209         struct obd_export       *loc_exp; /* parent "disk" export (e.g. MDS) */
 210         struct obd_import       *loc_imp; /* to use in RPC's: can be backward
 211                                              pointing import */
 212         struct llog_operations  *loc_logops;
 213         struct llog_handle      *loc_handle;
 214         struct llog_canceld_ctxt *loc_llcd;
 215         struct semaphore         loc_sem; /* protects loc_llcd and loc_imp */
 216         atomic_t                 loc_refcount;
 217         struct llog_commit_master *loc_lcm;
 218         void                    *llog_proc_cb;
 219 };
 220
 221 static inline void llog_gen_init(struct llog_ctxt *ctxt)
 222 {
 223         struct obd_device *obd = ctxt->loc_exp->exp_obd;
 224
 225         if (!strcmp(obd->obd_type->typ_name, LUSTRE_MDS_NAME))
 226                 ctxt->loc_gen.mnt_cnt = obd->u.mds.mds_mount_count;
 227         else if (!strstr(obd->obd_type->typ_name, LUSTRE_OST_NAME))
 228                 ctxt->loc_gen.mnt_cnt = obd->u.filter.fo_mount_count;
 229         else
 230                 ctxt->loc_gen.mnt_cnt = 0;
 231 }
 232
 233 static inline int llog_gen_lt(struct llog_gen a, struct llog_gen b)
 234 {
 235         if (a.mnt_cnt < b.mnt_cnt)
 236                 return 1;
 237         if (a.mnt_cnt > b.mnt_cnt)
 238                 return 0;
 239         return(a.conn_cnt < b.conn_cnt ? 1 : 0);
 240 }
 241
 242 #define LLOG_GEN_INC(gen)  ((gen).conn_cnt ++)
 243 #define LLOG_PROC_BREAK 0x0001
 244 #define LLOG_DEL_RECORD 0x0002
 245
 246 static inline int llog_obd2ops(struct llog_ctxt *ctxt,
 247                                struct llog_operations **lop)
 248 {
 249         if (ctxt == NULL)
 250                 return -ENOTCONN;
 251
 252         *lop = ctxt->loc_logops;
 253         if (*lop == NULL)
 254                 return -EOPNOTSUPP;
 255
 256         return 0;
 257 }
 258
 259 static inline int llog_handle2ops(struct llog_handle *loghandle,
 260                                   struct llog_operations **lop)
 261 {
 262         if (loghandle == NULL)
 263                 return -EINVAL;
 264
 265         return llog_obd2ops(loghandle->lgh_ctxt, lop);
 266 }
 267
 268 static inline int llog_data_len(int len)
 269 {
 270         return size_round(len);
 271 }
 272
 273 #define llog_ctxt_get(ctxt)                                                 \
 274 ({                                                                          \
 275          struct llog_ctxt *ctxt_ = ctxt;                                    \
 276          LASSERT(atomic_read(&ctxt_->loc_refcount) > 0);                    \
 277          atomic_inc(&ctxt_->loc_refcount);                                  \
 278          CDEBUG(D_INFO, "GETting ctxt %p : new refcount %d\n", ctxt_,       \
 279                 atomic_read(&ctxt_->loc_refcount));                         \
 280          ctxt_;                                                             \
 281 })
 282
 283 #define llog_ctxt_put(ctxt)                                                 \
 284 do {                                                                        \
 285          if ((ctxt) == NULL)                                                \
 286                  break;                                                     \
 287          CDEBUG(D_INFO, "PUTting ctxt %p : new refcount %d\n", (ctxt),      \
 288                 atomic_read(&(ctxt)->loc_refcount) - 1);                    \
 289          LASSERT(atomic_read(&(ctxt)->loc_refcount) > 0);                   \
 290          LASSERT(atomic_read(&(ctxt)->loc_refcount) < 0x5a5a5a);            \
 291          __llog_ctxt_put(ctxt);                                             \
 292 } while (0)
 293
 294 static inline struct llog_ctxt *llog_get_context(struct obd_device *obd,
 295                                                    int index)
 296 {
 297          struct llog_ctxt *ctxt;
 298
 299          if (index < 0 || index >= LLOG_MAX_CTXTS)
 300                  return NULL;
 301
 302          spin_lock(&obd->obd_dev_lock);
 303          if (obd->obd_llog_ctxt[index] == NULL) {
 304                  spin_unlock(&obd->obd_dev_lock);
 305                  CDEBUG(D_INFO, "obd %p and ctxt index %d is NULL \n", obd, index);
 306                  return NULL;
 307          }
 308          ctxt = llog_ctxt_get(obd->obd_llog_ctxt[index]);
 309          spin_unlock(&obd->obd_dev_lock);
 310          return ctxt;
 311 }
 312
 313 static inline int llog_ctxt_null(struct obd_device *obd, int index)
 314 {
 315         return (obd->obd_llog_ctxt[index] == NULL);
 316 }
 317
 318 static inline int llog_write_rec(struct llog_handle *handle,
 319                                  struct llog_rec_hdr *rec,
 320                                  struct llog_cookie *logcookies,
 321                                  int numcookies, void *buf, int idx)
 322 {
 323         struct llog_operations *lop;
 324         int rc, buflen;
 325         ENTRY;
 326
 327         rc = llog_handle2ops(handle, &lop);
 328         if (rc)
 329                 RETURN(rc);
 330         if (lop->lop_write_rec == NULL)
 331                 RETURN(-EOPNOTSUPP);
 332
 333         if (buf)
 334                 buflen = rec->lrh_len + sizeof(struct llog_rec_hdr)
 335                                 + sizeof(struct llog_rec_tail);
 336         else
 337                 buflen = rec->lrh_len;
 338         LASSERT(size_round(buflen) == buflen);
 339
 340         rc = lop->lop_write_rec(handle, rec, logcookies, numcookies, buf, idx);
 341         RETURN(rc);
 342 }
 343
 344 static inline int llog_read_header(struct llog_handle *handle)
 345 {
 346         struct llog_operations *lop;
 347         int rc;
 348         ENTRY;
 349
 350         rc = llog_handle2ops(handle, &lop);
 351         if (rc)
 352                 RETURN(rc);
 353         if (lop->lop_read_header == NULL)
 354                 RETURN(-EOPNOTSUPP);
 355
 356         rc = lop->lop_read_header(handle);
 357         RETURN(rc);
 358 }
 359
 360 static inline int llog_destroy(struct llog_handle *handle)
 361 {
 362         struct llog_operations *lop;
 363         int rc;
 364         ENTRY;
 365
 366         rc = llog_handle2ops(handle, &lop);
 367         if (rc)
 368                 RETURN(rc);
 369         if (lop->lop_destroy == NULL)
 370                 RETURN(-EOPNOTSUPP);
 371
 372         rc = lop->lop_destroy(handle);
 373         RETURN(rc);
 374 }
 375
 376 #if 0
 377 static inline int llog_cancel(struct obd_export *exp,
 378                               struct lov_stripe_md *lsm, int count,
 379                               struct llog_cookie *cookies, int flags)
 380 {
 381         struct llog_operations *lop;
 382         int rc;
 383         ENTRY;
 384
 385         rc = llog_handle2ops(loghandle, &lop);
 386         if (rc)
 387                 RETURN(rc);
 388         if (lop->lop_cancel == NULL)
 389                 RETURN(-EOPNOTSUPP);
 390
 391         rc = lop->lop_cancel(exp, lsm, count, cookies, flags);
 392         RETURN(rc);
 393 }
 394 #endif
 395
 396 static inline int llog_next_block(struct llog_handle *loghandle, int *cur_idx,
 397                                   int next_idx, __u64 *cur_offset, void *buf,
 398                                   int len)
 399 {
 400         struct llog_operations *lop;
 401         int rc;
 402         ENTRY;
 403
 404         rc = llog_handle2ops(loghandle, &lop);
 405         if (rc)
 406                 RETURN(rc);
 407         if (lop->lop_next_block == NULL)
 408                 RETURN(-EOPNOTSUPP);
 409
 410         rc = lop->lop_next_block(loghandle, cur_idx, next_idx, cur_offset, buf,
 411                                  len);
 412         RETURN(rc);
 413 }
 414
 415 static inline int llog_prev_block(struct llog_handle *loghandle,
 416                                   int prev_idx, void *buf, int len)
 417 {
 418         struct llog_operations *lop;
 419         int rc;
 420         ENTRY;
 421
 422         rc = llog_handle2ops(loghandle, &lop);
 423         if (rc)
 424                 RETURN(rc);
 425         if (lop->lop_prev_block == NULL)
 426                 RETURN(-EOPNOTSUPP);
 427
 428         rc = lop->lop_prev_block(loghandle, prev_idx, buf, len);
 429         RETURN(rc);
 430 }
 431
 432 static inline int llog_create(struct llog_ctxt *ctxt, struct llog_handle **res,
 433                               struct llog_logid *logid, char *name)
 434 {
 435         struct llog_operations *lop;
 436         int rc;
 437         ENTRY;
 438
 439         rc = llog_obd2ops(ctxt, &lop);
 440         if (rc)
 441                 RETURN(rc);
 442         if (lop->lop_create == NULL)
 443                 RETURN(-EOPNOTSUPP);
 444
 445         rc = lop->lop_create(ctxt, res, logid, name);
 446         RETURN(rc);
 447 }
 448
 449 static inline int llog_connect(struct llog_ctxt *ctxt, int count,
 450                                struct llog_logid *logid, struct llog_gen *gen,
 451                                struct obd_uuid *uuid)
 452 {
 453         struct llog_operations *lop;
 454         int rc;
 455         ENTRY;
 456
 457         rc = llog_obd2ops(ctxt, &lop);
 458         if (rc)
 459                 RETURN(rc);
 460         if (lop->lop_connect == NULL)
 461                 RETURN(-EOPNOTSUPP);
 462
 463         rc = lop->lop_connect(ctxt, count, logid, gen, uuid);
 464         RETURN(rc);
 465 }
 466
 467 #endif