lustre/include/lustre_log.h

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * GPL HEADER START
   5  *
   6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 only,
  10  * as published by the Free Software Foundation.
  11  *
  12  * This program is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * General Public License version 2 for more details (a copy is included
  16  * in the LICENSE file that accompanied this code).
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * version 2 along with this program; If not, see [sun.com URL with a
  20  * copy of GPLv2].
  21  *
  22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  23  * CA 95054 USA or visit www.sun.com if you need additional information or
  24  * have any questions.
  25  *
  26  * GPL HEADER END
  27  */
  28 /*
  29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
  30  * Use is subject to license terms.
  31  */
  32 /*
  33  * This file is part of Lustre, http://www.lustre.org/
  34  * Lustre is a trademark of Sun Microsystems, Inc.
  35  *
  36  * lustre/include/lustre_log.h
  37  *
  38  * Generic infrastructure for managing a collection of logs.
  39  * These logs are used for:
  40  *
  41  * - orphan recovery: OST adds record on create
  42  * - mtime/size consistency: the OST adds a record on first write
  43  * - open/unlinked objects: OST adds a record on destroy
  44  *
  45  * - mds unlink log: the MDS adds an entry upon delete
  46  *
  47  * - raid1 replication log between OST's
  48  * - MDS replication logs
  49  */
  50
  51 #ifndef _LUSTRE_LOG_H
  52 #define _LUSTRE_LOG_H
  53
  54 #if defined(__linux__)
  55 #include <linux/lustre_log.h>
  56 #elif defined(__APPLE__)
  57 #include <darwin/lustre_log.h>
  58 #elif defined(__WINNT__)
  59 #include <winnt/lustre_log.h>
  60 #else
  61 #error Unsupported operating system.
  62 #endif
  63
  64 #include <obd.h>
  65 #include <obd_ost.h>
  66 #include <lustre/lustre_idl.h>
  67
  68 #define LOG_NAME_LIMIT(logname, name)                   \
  69         snprintf(logname, sizeof(logname), "LOGS/%s", name)
  70 #define LLOG_EEMPTY 4711
  71
  72 struct plain_handle_data {
  73         struct list_head    phd_entry;
  74         struct llog_handle *phd_cat_handle;
  75         struct llog_cookie  phd_cookie; /* cookie of this log in its cat */
  76         int                 phd_last_idx;
  77 };
  78
  79 struct cat_handle_data {
  80         struct list_head        chd_head;
  81         struct llog_handle     *chd_current_log; /* currently open log */
  82 };
  83
  84 /* In-memory descriptor for a log object or log catalog */
  85 struct llog_handle {
  86         struct rw_semaphore     lgh_lock;
  87         struct llog_logid       lgh_id;              /* id of this log */
  88         struct llog_log_hdr    *lgh_hdr;
  89         struct file            *lgh_file;
  90         int                     lgh_last_idx;
  91         int                     lgh_cur_idx;    /* used during llog_process */
  92         __u64                   lgh_cur_offset; /* used during llog_process */
  93         struct llog_ctxt       *lgh_ctxt;
  94         union {
  95                 struct plain_handle_data phd;
  96                 struct cat_handle_data   chd;
  97         } u;
  98 };
  99
 100 /* llog.c  -  general API */
 101 typedef int (*llog_cb_t)(struct llog_handle *, struct llog_rec_hdr *, void *);
 102 typedef int (*llog_fill_rec_cb_t)(struct llog_rec_hdr *rec, void *data);
 103 extern struct llog_handle *llog_alloc_handle(void);
 104 int llog_init_handle(struct llog_handle *handle, int flags,
 105                      struct obd_uuid *uuid);
 106 extern void llog_free_handle(struct llog_handle *handle);
 107 int llog_process(struct llog_handle *loghandle, llog_cb_t cb,
 108                  void *data, void *catdata);
 109 int llog_reverse_process(struct llog_handle *loghandle, llog_cb_t cb,
 110                          void *data, void *catdata);
 111 extern int llog_cancel_rec(struct llog_handle *loghandle, int index);
 112 extern int llog_close(struct llog_handle *cathandle);
 113 extern int llog_get_size(struct llog_handle *loghandle);
 114
 115 /* llog_cat.c   -  catalog api */
 116 struct llog_process_data {
 117         void *lpd_data;
 118         llog_cb_t lpd_cb;
 119 };
 120
 121 struct llog_process_cat_data {
 122         int     first_idx;
 123         int     last_idx;
 124         /* to process catalog across zero record */
 125 };
 126
 127 int llog_cat_put(struct llog_handle *cathandle);
 128 int llog_cat_add_rec(struct llog_handle *cathandle, struct llog_rec_hdr *rec,
 129                      struct llog_cookie *reccookie, void *buf);
 130 int llog_cat_cancel_records(struct llog_handle *cathandle, int count,
 131                             struct llog_cookie *cookies);
 132 int llog_cat_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
 133 int llog_cat_reverse_process(struct llog_handle *cat_llh, llog_cb_t cb, void *data);
 134 int llog_cat_set_first_idx(struct llog_handle *cathandle, int index);
 135
 136 /* llog_obd.c */
 137 int llog_setup(struct obd_device *obd, struct obd_llog_group *olg, int index,
 138                struct obd_device *disk_obd, int count,  struct llog_logid *logid,
 139                struct llog_operations *op);
 140 int __llog_ctxt_put(struct llog_ctxt *ctxt);
 141 int llog_cleanup(struct llog_ctxt *);
 142 int llog_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
 143 int llog_add(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
 144              struct lov_stripe_md *lsm, struct llog_cookie *logcookies,
 145              int numcookies);
 146 int llog_cancel(struct llog_ctxt *, struct lov_stripe_md *lsm,
 147                 int count, struct llog_cookie *cookies, int flags);
 148
 149 int llog_obd_origin_setup(struct obd_device *obd, struct obd_llog_group *olg,
 150                           int index, struct obd_device *disk_obd, int count,
 151                           struct llog_logid *logid);
 152 int llog_obd_origin_cleanup(struct llog_ctxt *ctxt);
 153 int llog_obd_origin_add(struct llog_ctxt *ctxt,
 154                         struct llog_rec_hdr *rec, struct lov_stripe_md *lsm,
 155                         struct llog_cookie *logcookies, int numcookies);
 156
 157 int llog_cat_initialize(struct obd_device *obd, struct obd_llog_group *olg,
 158                         int count, struct obd_uuid *uuid);
 159 int obd_llog_init(struct obd_device *obd, struct obd_llog_group *olg,
 160                   struct obd_device *disk_obd, int count,
 161                   struct llog_catid *logid, struct obd_uuid *uuid);
 162
 163 int obd_llog_finish(struct obd_device *obd, int count);
 164
 165 /* llog_ioctl.c */
 166 int llog_ioctl(struct llog_ctxt *ctxt, int cmd, struct obd_ioctl_data *data);
 167 int llog_catalog_list(struct obd_device *obd, int count,
 168                       struct obd_ioctl_data *data);
 169
 170 /* llog_net.c */
 171 int llog_initiator_connect(struct llog_ctxt *ctxt);
 172 int llog_receptor_accept(struct llog_ctxt *ctxt, struct obd_import *imp);
 173 int llog_origin_connect(struct llog_ctxt *ctxt, int count,
 174                         struct llog_logid *logid, struct llog_gen *gen,
 175                         struct obd_uuid *uuid);
 176 int llog_handle_connect(struct ptlrpc_request *req);
 177
 178 /* recov_thread.c */
 179 int llog_obd_repl_cancel(struct llog_ctxt *ctxt,
 180                          struct lov_stripe_md *lsm, int count,
 181                          struct llog_cookie *cookies, int flags);
 182 int llog_obd_repl_sync(struct llog_ctxt *ctxt, struct obd_export *exp);
 183 int llog_repl_connect(struct llog_ctxt *ctxt, int count,
 184                       struct llog_logid *logid, struct llog_gen *gen,
 185                       struct obd_uuid *uuid);
 186
 187 struct llog_operations {
 188         int (*lop_write_rec)(struct llog_handle *loghandle,
 189                              struct llog_rec_hdr *rec,
 190                              struct llog_cookie *logcookies, int numcookies,
 191                              void *, int idx);
 192         int (*lop_destroy)(struct llog_handle *handle);
 193         int (*lop_next_block)(struct llog_handle *h, int *curr_idx,
 194                               int next_idx, __u64 *offset, void *buf, int len);
 195         int (*lop_prev_block)(struct llog_handle *h,
 196                               int prev_idx, void *buf, int len);
 197         int (*lop_create)(struct llog_ctxt *ctxt, struct llog_handle **,
 198                           struct llog_logid *logid, char *name);
 199         int (*lop_close)(struct llog_handle *handle);
 200         int (*lop_read_header)(struct llog_handle *handle);
 201
 202         int (*lop_setup)(struct obd_device *obd, struct obd_llog_group *olg,
 203                          int ctxt_idx, struct obd_device *disk_obd, int count,
 204                          struct llog_logid *logid);
 205         int (*lop_sync)(struct llog_ctxt *ctxt, struct obd_export *exp);
 206         int (*lop_cleanup)(struct llog_ctxt *ctxt);
 207         int (*lop_add)(struct llog_ctxt *ctxt, struct llog_rec_hdr *rec,
 208                        struct lov_stripe_md *lsm,
 209                        struct llog_cookie *logcookies, int numcookies);
 210         int (*lop_cancel)(struct llog_ctxt *ctxt, struct lov_stripe_md *lsm,
 211                           int count, struct llog_cookie *cookies, int flags);
 212         int (*lop_connect)(struct llog_ctxt *ctxt, int count,
 213                            struct llog_logid *logid, struct llog_gen *gen,
 214                            struct obd_uuid *uuid);
 215         /* XXX add 2 more: commit callbacks and llog recovery functions */
 216 };
 217
 218 /* llog_lvfs.c */
 219 extern struct llog_operations llog_lvfs_ops;
 220 int llog_get_cat_list(struct obd_device *obd, struct obd_device *disk_obd,
 221                       char *name, int count, struct llog_catid *idarray);
 222
 223 struct llog_ctxt {
 224         int                      loc_idx; /* my index the obd array of ctxt's */
 225         struct llog_gen          loc_gen;
 226         struct obd_device       *loc_obd; /* points back to the containing obd*/
 227         struct obd_llog_group     *loc_olg; /* group containing that ctxt */
 228         struct obd_export       *loc_exp; /* parent "disk" export (e.g. MDS) */
 229         struct obd_import       *loc_imp; /* to use in RPC's: can be backward
 230                                              pointing import */
 231         struct llog_operations  *loc_logops;
 232         struct llog_handle      *loc_handle;
 233         struct llog_canceld_ctxt *loc_llcd;
 234         struct semaphore         loc_sem; /* protects loc_llcd and loc_imp */
 235         atomic_t                   loc_refcount;
 236         struct llog_commit_master *loc_lcm;
 237         void                    *llog_proc_cb;
 238 };
 239
 240 #ifndef __KERNEL__
 241
 242 #define cap_raise(c, flag) do {} while(0)
 243
 244 #define CAP_SYS_RESOURCE 24
 245
 246 #endif   /* !__KERNEL__ */
 247
 248 static inline void llog_gen_init(struct llog_ctxt *ctxt)
 249 {
 250         struct obd_device *obd = ctxt->loc_exp->exp_obd;
 251
 252         if (!strcmp(obd->obd_type->typ_name, LUSTRE_MDS_NAME))
 253                 ctxt->loc_gen.mnt_cnt = obd->u.mds.mds_mount_count;
 254         else if (!strstr(obd->obd_type->typ_name, LUSTRE_OST_NAME))
 255                 ctxt->loc_gen.mnt_cnt = obd->u.filter.fo_mount_count;
 256         else
 257                 ctxt->loc_gen.mnt_cnt = 0;
 258 }
 259
 260 static inline int llog_gen_lt(struct llog_gen a, struct llog_gen b)
 261 {
 262         if (a.mnt_cnt < b.mnt_cnt)
 263                 return 1;
 264         if (a.mnt_cnt > b.mnt_cnt)
 265                 return 0;
 266         return(a.conn_cnt < b.conn_cnt ? 1 : 0);
 267 }
 268
 269 #define LLOG_GEN_INC(gen)  ((gen).conn_cnt ++)
 270 #define LLOG_PROC_BREAK 0x0001
 271 #define LLOG_DEL_RECORD 0x0002
 272
 273 static inline int llog_obd2ops(struct llog_ctxt *ctxt,
 274                                struct llog_operations **lop)
 275 {
 276         if (ctxt == NULL)
 277                 return -ENOTCONN;
 278
 279         *lop = ctxt->loc_logops;
 280         if (*lop == NULL)
 281                 return -EOPNOTSUPP;
 282
 283         return 0;
 284 }
 285
 286 static inline int llog_handle2ops(struct llog_handle *loghandle,
 287                                   struct llog_operations **lop)
 288 {
 289         if (loghandle == NULL)
 290                 return -EINVAL;
 291
 292         return llog_obd2ops(loghandle->lgh_ctxt, lop);
 293 }
 294
 295 static inline int llog_data_len(int len)
 296 {
 297         return size_round(len);
 298 }
 299
 300 static inline struct llog_ctxt *llog_ctxt_get(struct llog_ctxt *ctxt)
 301 {
 302         LASSERT(atomic_read(&ctxt->loc_refcount) > 0);
 303         atomic_inc(&ctxt->loc_refcount);
 304         CDEBUG(D_INFO, "GETting ctxt %p : new refcount %d\n", ctxt,
 305                atomic_read(&ctxt->loc_refcount));
 306         return ctxt;
 307 }
 308
 309 static inline void llog_ctxt_put(struct llog_ctxt *ctxt)
 310 {
 311         if (ctxt == NULL)
 312                 return;
 313         CDEBUG(D_INFO, "PUTting ctxt %p : new refcount %d\n", ctxt,
 314                atomic_read(&ctxt->loc_refcount) - 1);
 315         LASSERT(atomic_read(&ctxt->loc_refcount) > 0);
 316         LASSERT(atomic_read(&ctxt->loc_refcount) < 0x5a5a5a);
 317         __llog_ctxt_put(ctxt);
 318 }
 319
 320 static inline void llog_group_init(struct obd_llog_group *olg, int group)
 321 {
 322         cfs_waitq_init(&olg->olg_waitq);
 323         spin_lock_init(&olg->olg_lock);
 324         olg->olg_group = group;
 325 }
 326
 327 static inline void llog_group_set_export(struct obd_llog_group *olg,
 328                                          struct obd_export *exp)
 329 {
 330         LASSERT(exp != NULL);
 331
 332         spin_lock(&olg->olg_lock);
 333         if (olg->olg_exp != NULL && olg->olg_exp != exp)
 334                 CWARN("%s: export for group %d is changed: 0x%p -> 0x%p\n",
 335                       exp->exp_obd->obd_name, olg->olg_group,
 336                       olg->olg_exp, exp);
 337         olg->olg_exp = exp;
 338         spin_unlock(&olg->olg_lock);
 339 }
 340
 341 static inline int llog_group_set_ctxt(struct obd_llog_group *olg,
 342                                       struct llog_ctxt *ctxt, int index)
 343 {
 344         LASSERT(index >= 0 && index < LLOG_MAX_CTXTS);
 345
 346         spin_lock(&olg->olg_lock);
 347         if (olg->olg_ctxts[index] != NULL) {
 348                 spin_unlock(&olg->olg_lock);
 349                 return -EEXIST;
 350         }
 351         olg->olg_ctxts[index] = ctxt;
 352         spin_unlock(&olg->olg_lock);
 353         return 0;
 354 }
 355
 356 static inline struct llog_ctxt *llog_group_get_ctxt(struct obd_llog_group *olg,
 357                                                     int index)
 358 {
 359         struct llog_ctxt *ctxt;
 360
 361         LASSERT(index >= 0 && index < LLOG_MAX_CTXTS);
 362
 363         spin_lock(&olg->olg_lock);
 364         if (olg->olg_ctxts[index] == NULL) {
 365                 ctxt = NULL;
 366         } else {
 367                 ctxt = llog_ctxt_get(olg->olg_ctxts[index]);
 368         }
 369         spin_unlock(&olg->olg_lock);
 370         return ctxt;
 371 }
 372
 373 static inline struct llog_ctxt *llog_get_context(struct obd_device *obd,
 374                                                  int index)
 375 {
 376         return llog_group_get_ctxt(&obd->obd_olg, index);
 377 }
 378
 379 static inline int llog_group_ctxt_null(struct obd_llog_group *olg, int index)
 380 {
 381         return (olg->olg_ctxts[index] == NULL);
 382 }
 383
 384 static inline int llog_ctxt_null(struct obd_device *obd, int index)
 385 {
 386         return (llog_group_ctxt_null(&obd->obd_olg, index));
 387 }
 388
 389 static inline int llog_write_rec(struct llog_handle *handle,
 390                                  struct llog_rec_hdr *rec,
 391                                  struct llog_cookie *logcookies,
 392                                  int numcookies, void *buf, int idx)
 393 {
 394         struct llog_operations *lop;
 395         __u32 cap;
 396         int rc, buflen;
 397         ENTRY;
 398
 399         rc = llog_handle2ops(handle, &lop);
 400         if (rc)
 401                 RETURN(rc);
 402         LASSERT(lop);
 403         if (lop->lop_write_rec == NULL)
 404                 RETURN(-EOPNOTSUPP);
 405
 406         if (buf)
 407                 buflen = rec->lrh_len + sizeof(struct llog_rec_hdr)
 408                                 + sizeof(struct llog_rec_tail);
 409         else
 410                 buflen = rec->lrh_len;
 411         LASSERT(size_round(buflen) == buflen);
 412
 413         cap = current->cap_effective;
 414         cap_raise(current->cap_effective, CAP_SYS_RESOURCE);
 415         rc = lop->lop_write_rec(handle, rec, logcookies, numcookies, buf, idx);
 416         current->cap_effective = cap;
 417         RETURN(rc);
 418 }
 419
 420 static inline int llog_read_header(struct llog_handle *handle)
 421 {
 422         struct llog_operations *lop;
 423         int rc;
 424         ENTRY;
 425
 426         rc = llog_handle2ops(handle, &lop);
 427         if (rc)
 428                 RETURN(rc);
 429         if (lop->lop_read_header == NULL)
 430                 RETURN(-EOPNOTSUPP);
 431
 432         rc = lop->lop_read_header(handle);
 433         RETURN(rc);
 434 }
 435
 436 static inline int llog_destroy(struct llog_handle *handle)
 437 {
 438         struct llog_operations *lop;
 439         int rc;
 440         ENTRY;
 441
 442         rc = llog_handle2ops(handle, &lop);
 443         if (rc)
 444                 RETURN(rc);
 445         if (lop->lop_destroy == NULL)
 446                 RETURN(-EOPNOTSUPP);
 447
 448         rc = lop->lop_destroy(handle);
 449         RETURN(rc);
 450 }
 451
 452 #if 0
 453 static inline int llog_cancel(struct obd_export *exp,
 454                               struct lov_stripe_md *lsm, int count,
 455                               struct llog_cookie *cookies, int flags)
 456 {
 457         struct llog_operations *lop;
 458         int rc;
 459         ENTRY;
 460
 461         rc = llog_handle2ops(loghandle, &lop);
 462         if (rc)
 463                 RETURN(rc);
 464         if (lop->lop_cancel == NULL)
 465                 RETURN(-EOPNOTSUPP);
 466
 467         rc = lop->lop_cancel(exp, lsm, count, cookies, flags);
 468         RETURN(rc);
 469 }
 470 #endif
 471
 472 static inline int llog_next_block(struct llog_handle *loghandle, int *cur_idx,
 473                                   int next_idx, __u64 *cur_offset, void *buf,
 474                                   int len)
 475 {
 476         struct llog_operations *lop;
 477         int rc;
 478         ENTRY;
 479
 480         rc = llog_handle2ops(loghandle, &lop);
 481         if (rc)
 482                 RETURN(rc);
 483         if (lop->lop_next_block == NULL)
 484                 RETURN(-EOPNOTSUPP);
 485
 486         rc = lop->lop_next_block(loghandle, cur_idx, next_idx, cur_offset, buf,
 487                                  len);
 488         RETURN(rc);
 489 }
 490
 491 static inline int llog_prev_block(struct llog_handle *loghandle,
 492                                   int prev_idx, void *buf, int len)
 493 {
 494         struct llog_operations *lop;
 495         int rc;
 496         ENTRY;
 497
 498         rc = llog_handle2ops(loghandle, &lop);
 499         if (rc)
 500                 RETURN(rc);
 501         if (lop->lop_prev_block == NULL)
 502                 RETURN(-EOPNOTSUPP);
 503
 504         rc = lop->lop_prev_block(loghandle, prev_idx, buf, len);
 505         RETURN(rc);
 506 }
 507
 508 static inline int llog_create(struct llog_ctxt *ctxt, struct llog_handle **res,
 509                               struct llog_logid *logid, char *name)
 510 {
 511         struct llog_operations *lop;
 512         __u32 cap;
 513         int rc;
 514         ENTRY;
 515
 516         rc = llog_obd2ops(ctxt, &lop);
 517         if (rc)
 518                 RETURN(rc);
 519         if (lop->lop_create == NULL)
 520                 RETURN(-EOPNOTSUPP);
 521
 522         cap = current->cap_effective;
 523         cap_raise(current->cap_effective, CAP_SYS_RESOURCE);
 524         rc = lop->lop_create(ctxt, res, logid, name);
 525         current->cap_effective = cap;
 526         RETURN(rc);
 527 }
 528
 529 static inline int llog_connect(struct llog_ctxt *ctxt, int count,
 530                                struct llog_logid *logid, struct llog_gen *gen,
 531                                struct obd_uuid *uuid)
 532 {
 533         struct llog_operations *lop;
 534         int rc;
 535         ENTRY;
 536
 537         rc = llog_obd2ops(ctxt, &lop);
 538         if (rc)
 539                 RETURN(rc);
 540         if (lop->lop_connect == NULL)
 541                 RETURN(-EOPNOTSUPP);
 542
 543         rc = lop->lop_connect(ctxt, count, logid, gen, uuid);
 544         RETURN(rc);
 545 }
 546
 547 #endif