lustre/ofd/ofd_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  19  *
  20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  21  * CA 95054 USA or visit www.sun.com if you need additional information or
  22  * have any questions.
  23  *
  24  * GPL HEADER END
  25  */
  26 /*
  27  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  28  * Use is subject to license terms.
  29  *
  30  * Copyright (c) 2011, 2012, Whamcloud, Inc.
  31  */
  32 /*
  33  * This file is part of Lustre, http://www.lustre.org/
  34  * Lustre is a trademark of Sun Microsystems, Inc.
  35  */
  36
  37 #ifndef _OFD_INTERNAL_H
  38 #define _OFD_INTERNAL_H
  39
  40 #include <obd.h>
  41 #include <obd_class.h>
  42 #include <dt_object.h>
  43 #include <lustre_fid.h>
  44 #include <lustre_capa.h>
  45
  46 #define OFD_INIT_OBJID  0
  47 #define OFD_ROCOMPAT_SUPP (0)
  48 #define OFD_INCOMPAT_SUPP (OBD_INCOMPAT_GROUPS | OBD_INCOMPAT_OST | \
  49                            OBD_INCOMPAT_COMMON_LR)
  50 #define OFD_MAX_GROUPS  256
  51
  52 /* per-client-per-object persistent state (LRU) */
  53 struct ofd_mod_data {
  54         cfs_list_t      fmd_list;        /* linked to fed_mod_list */
  55         struct lu_fid   fmd_fid;         /* FID being written to */
  56         __u64           fmd_mactime_xid; /* xid highest {m,a,c}time setattr */
  57         cfs_time_t      fmd_expire;      /* time when the fmd should expire */
  58         int             fmd_refcount;    /* reference counter - list holds 1 */
  59 };
  60
  61 #define OFD_FMD_MAX_NUM_DEFAULT 128
  62 #define OFD_FMD_MAX_AGE_DEFAULT ((obd_timeout + 10) * CFS_HZ)
  63
  64 enum {
  65         LPROC_OFD_READ_BYTES = 0,
  66         LPROC_OFD_WRITE_BYTES = 1,
  67         LPROC_OFD_LAST,
  68 };
  69
  70 struct ofd_device {
  71         struct dt_device         ofd_dt_dev;
  72         struct dt_device        *ofd_osd;
  73         struct dt_device_param   ofd_dt_conf;
  74         /* DLM name-space for meta-data locks maintained by this server */
  75         struct ldlm_namespace   *ofd_namespace;
  76
  77         /* transaction callbacks */
  78         struct dt_txn_callback   ofd_txn_cb;
  79
  80         /* last_rcvd file */
  81         struct lu_target         ofd_lut;
  82         struct dt_object        *ofd_last_group_file;
  83         struct dt_object        *ofd_health_check_file;
  84
  85         int                      ofd_subdir_count;
  86
  87         int                      ofd_max_group;
  88         obd_id                   ofd_last_objids[OFD_MAX_GROUPS];
  89         cfs_mutex_t              ofd_create_locks[OFD_MAX_GROUPS];
  90         struct dt_object        *ofd_lastid_obj[OFD_MAX_GROUPS];
  91         cfs_spinlock_t           ofd_objid_lock;
  92
  93         /* protect all statfs-related counters */
  94         cfs_spinlock_t           ofd_osfs_lock;
  95         /* statfs optimization: we cache a bit  */
  96         struct obd_statfs        ofd_osfs;
  97         __u64                    ofd_osfs_age;
  98         int                      ofd_blockbits;
  99         /* writes which might be be accounted twice in ofd_osfs.os_bavail */
 100         obd_size                 ofd_osfs_unstable;
 101
 102         /* counters used during statfs update, protected by ofd_osfs_lock.
 103          * record when some statfs refresh are in progress */
 104         int                      ofd_statfs_inflight;
 105         /* track writes completed while statfs refresh is underway.
 106          * tracking is only effective when ofd_statfs_inflight > 1 */
 107         obd_size                 ofd_osfs_inflight;
 108
 109         /* grants: all values in bytes */
 110         /* grant lock to protect all grant counters */
 111         cfs_spinlock_t           ofd_grant_lock;
 112         /* total amount of dirty data reported by clients in incoming obdo */
 113         obd_size                 ofd_tot_dirty;
 114         /* sum of filesystem space granted to clients for async writes */
 115         obd_size                 ofd_tot_granted;
 116         /* grant used by I/Os in progress (between prepare and commit) */
 117         obd_size                 ofd_tot_pending;
 118         /* free space threshold over which we stop granting space to clients
 119          * ofd_grant_ratio is stored as a fixed-point fraction using
 120          * OFD_GRANT_RATIO_SHIFT of the remaining free space, not in percentage
 121          * values */
 122         int                      ofd_grant_ratio;
 123         /* number of clients using grants */
 124         int                      ofd_tot_granted_clients;
 125
 126         /* ofd mod data: ofd_device wide values */
 127         int                      ofd_fmd_max_num; /* per ofd ofd_mod_data */
 128         cfs_duration_t           ofd_fmd_max_age; /* time to fmd expiry */
 129
 130         cfs_spinlock_t           ofd_flags_lock;
 131         unsigned long            ofd_raid_degraded:1,
 132                                  /* sync journal on writes */
 133                                  ofd_syncjournal:1,
 134                                  /* sync on lock cancel */
 135                                  ofd_sync_lock_cancel:2,
 136                                  /* shall we grant space to clients not
 137                                   * supporting OBD_CONNECT_GRANT_PARAM? */
 138                                  ofd_grant_compat_disable:1;
 139
 140         struct lu_site           ofd_site;
 141 };
 142
 143 static inline struct ofd_device *ofd_dev(struct lu_device *d)
 144 {
 145         return container_of0(d, struct ofd_device, ofd_dt_dev.dd_lu_dev);
 146 }
 147
 148 static inline struct obd_device *ofd_obd(struct ofd_device *ofd)
 149 {
 150         return ofd->ofd_dt_dev.dd_lu_dev.ld_obd;
 151 }
 152
 153 static inline struct ofd_device *ofd_exp(struct obd_export *exp)
 154 {
 155         return ofd_dev(exp->exp_obd->obd_lu_dev);
 156 }
 157
 158 static inline char *ofd_name(struct ofd_device *ofd)
 159 {
 160         return ofd->ofd_dt_dev.dd_lu_dev.ld_obd->obd_name;
 161 }
 162
 163 struct ofd_object {
 164         struct lu_object_header ofo_header;
 165         struct dt_object        ofo_obj;
 166 };
 167
 168 static inline struct ofd_object *ofd_obj(struct lu_object *o)
 169 {
 170         return container_of0(o, struct ofd_object, ofo_obj.do_lu);
 171 }
 172
 173 static inline int ofd_object_exists(struct ofd_object *obj)
 174 {
 175         LASSERT(obj != NULL);
 176         if (lu_object_is_dying(obj->ofo_obj.do_lu.lo_header))
 177                 return 0;
 178         return lu_object_exists(&obj->ofo_obj.do_lu);
 179 }
 180
 181 static inline struct dt_object *fo2dt(struct ofd_object *obj)
 182 {
 183         return &obj->ofo_obj;
 184 }
 185
 186 static inline struct dt_object *ofd_object_child(struct ofd_object *_obj)
 187 {
 188         struct lu_object *lu = &(_obj)->ofo_obj.do_lu;
 189
 190         return container_of0(lu_object_next(lu), struct dt_object, do_lu);
 191 }
 192
 193 /*
 194  * Common data shared by obdofd-level handlers. This is allocated per-thread
 195  * to reduce stack consumption.
 196  */
 197 struct ofd_thread_info {
 198         const struct lu_env             *fti_env;
 199
 200         struct obd_export               *fti_exp;
 201         __u64                            fti_xid;
 202         __u64                            fti_transno;
 203         __u64                            fti_pre_version;
 204         __u32                            fti_has_trans:1, /* has txn already */
 205                                          fti_mult_trans:1;
 206
 207         struct lu_fid                    fti_fid;
 208         struct lu_attr                   fti_attr;
 209         struct ofd_object               *fti_obj;
 210         union {
 211                 char                     name[64]; /* for ofd_init0() */
 212                 struct obd_statfs        osfs;    /* for obdofd_statfs() */
 213         } fti_u;
 214
 215         struct dt_object_format          fti_dof;
 216         struct lu_buf                    fti_buf;
 217         loff_t                           fti_off;
 218
 219         /* Space used by the I/O, used by grant code */
 220         unsigned long                    fti_used;
 221 };
 222
 223 extern void target_recovery_fini(struct obd_device *obd);
 224 extern void target_recovery_init(struct lu_target *lut, svc_handler_t handler);
 225
 226 /* ofd_capa.c */
 227 int ofd_update_capa_key(struct ofd_device *ofd, struct lustre_capa_key *key);
 228 int ofd_auth_capa(struct obd_export *exp, struct lu_fid *fid, obd_seq seq,
 229                   struct lustre_capa *capa, __u64 opc);
 230 void ofd_free_capa_keys(struct ofd_device *ofd);
 231
 232 /* ofd_dev.c */
 233 extern struct lu_context_key ofd_thread_key;
 234
 235 /* ofd_obd.c */
 236 extern struct obd_ops ofd_obd_ops;
 237 int ofd_statfs_internal(const struct lu_env *env, struct ofd_device *ofd,
 238                         struct obd_statfs *osfs, __u64 max_age,
 239                         int *from_cache);
 240
 241 /* ofd_fs.c */
 242 obd_id ofd_last_id(struct ofd_device *ofd, obd_seq seq);
 243 int ofd_group_load(const struct lu_env *env, struct ofd_device *ofd, int);
 244 int ofd_fs_setup(const struct lu_env *env, struct ofd_device *ofd,
 245                  struct obd_device *obd);
 246 void ofd_fs_cleanup(const struct lu_env *env, struct ofd_device *ofd);
 247
 248 /* ofd_trans.c */
 249 struct thandle *ofd_trans_create(const struct lu_env *env,
 250                                  struct ofd_device *ofd);
 251 int ofd_trans_start(const struct lu_env *env,
 252                     struct ofd_device *ofd, struct ofd_object *fo,
 253                     struct thandle *th);
 254 void ofd_trans_stop(const struct lu_env *env, struct ofd_device *ofd,
 255                     struct thandle *th, int rc);
 256 int ofd_txn_stop_cb(const struct lu_env *env, struct thandle *txn,
 257                     void *cookie);
 258
 259 /* lproc_ofd.c */
 260 void lprocfs_ofd_init_vars(struct lprocfs_static_vars *lvars);
 261 int lproc_ofd_attach_seqstat(struct obd_device *dev);
 262 extern struct file_operations ofd_per_nid_stats_fops;
 263
 264 /* ofd_grants.c */
 265 #define OFD_GRANT_RATIO_SHIFT 8
 266 static inline __u64 ofd_grant_reserved(struct ofd_device *ofd, obd_size bavail)
 267 {
 268         return (bavail * ofd->ofd_grant_ratio) >> OFD_GRANT_RATIO_SHIFT;
 269 }
 270
 271 static inline int ofd_grant_ratio_conv(int percentage)
 272 {
 273         return (percentage << OFD_GRANT_RATIO_SHIFT) / 100;
 274 }
 275
 276 static inline int ofd_grant_param_supp(struct obd_export *exp)
 277 {
 278         return !!(exp->exp_connect_flags & OBD_CONNECT_GRANT_PARAM);
 279 }
 280
 281 /* Blocksize used for client not supporting OBD_CONNECT_GRANT_PARAM.
 282  * That's 4KB=2^12 which is the biggest block size known to work whatever
 283  * the client's page size is. */
 284 #define COMPAT_BSIZE_SHIFT 12
 285 static inline int ofd_grant_compat(struct obd_export *exp,
 286                                    struct ofd_device *ofd)
 287 {
 288         /* Clients which don't support OBD_CONNECT_GRANT_PARAM cannot handle
 289          * a block size > page size and consume CFS_PAGE_SIZE of grant when
 290          * dirtying a page regardless of the block size */
 291         return !!(ofd_obd(ofd)->obd_self_export != exp &&
 292                   ofd->ofd_blockbits > COMPAT_BSIZE_SHIFT &&
 293                   !ofd_grant_param_supp(exp));
 294 }
 295
 296 static inline int ofd_grant_prohibit(struct obd_export *exp,
 297                                      struct ofd_device *ofd)
 298 {
 299         /* When ofd_grant_compat_disable is set, we don't grant any space to
 300          * clients not supporting OBD_CONNECT_GRANT_PARAM.
 301          * Otherwise, space granted to such a client is inflated since it
 302          * consumes CFS_PAGE_SIZE of grant space per block */
 303         return !!(ofd_grant_compat(exp, ofd) && ofd->ofd_grant_compat_disable);
 304 }
 305
 306 void ofd_grant_sanity_check(struct obd_device *obd, const char *func);
 307 long ofd_grant_connect(const struct lu_env *env, struct obd_export *exp,
 308                        obd_size want);
 309 void ofd_grant_discard(struct obd_export *exp);
 310 void ofd_grant_prepare_read(const struct lu_env *env, struct obd_export *exp,
 311                             struct obdo *oa);
 312 void ofd_grant_prepare_write(const struct lu_env *env, struct obd_export *exp,
 313                              struct obdo *oa, struct niobuf_remote *rnb,
 314                              int niocount);
 315 void ofd_grant_commit(const struct lu_env *env, struct obd_export *exp, int rc);
 316 int ofd_grant_create(const struct lu_env *env, struct obd_export *exp, int *nr);
 317
 318 /* ofd_fmd.c */
 319 int ofd_fmd_init(void);
 320 void ofd_fmd_exit(void);
 321 struct ofd_mod_data *ofd_fmd_find(struct obd_export *exp,
 322                                   struct lu_fid *fid);
 323 struct ofd_mod_data *ofd_fmd_get(struct obd_export *exp,
 324                                  struct lu_fid *fid);
 325 void ofd_fmd_put(struct obd_export *exp, struct ofd_mod_data *fmd);
 326 void ofd_fmd_expire(struct obd_export *exp);
 327 void ofd_fmd_cleanup(struct obd_export *exp);
 328 #ifdef DO_FMD_DROP
 329 void ofd_fmd_drop(struct obd_export *exp, struct lu_fid *fid);
 330 #else
 331 #define ofd_fmd_drop(exp, fid) do {} while (0)
 332 #endif
 333
 334 static inline struct ofd_thread_info * ofd_info(const struct lu_env *env)
 335 {
 336         struct ofd_thread_info *info;
 337
 338         info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
 339         LASSERT(info);
 340         LASSERT(info->fti_env);
 341         LASSERT(info->fti_env == env);
 342         return info;
 343 }
 344
 345 static inline struct ofd_thread_info * ofd_info_init(const struct lu_env *env,
 346                                                      struct obd_export *exp)
 347 {
 348         struct ofd_thread_info *info;
 349
 350         info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
 351         LASSERT(info);
 352         LASSERT(info->fti_exp == NULL);
 353         LASSERT(info->fti_env == NULL);
 354
 355         info->fti_env = env;
 356         info->fti_exp = exp;
 357         return info;
 358 }
 359
 360 /* sync on lock cancel is useless when we force a journal flush,
 361  * and if we enable async journal commit, we should also turn on
 362  * sync on lock cancel if it is not enabled already. */
 363 static inline void ofd_slc_set(struct ofd_device *ofd)
 364 {
 365         if (ofd->ofd_syncjournal == 1)
 366                 ofd->ofd_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
 367         else if (ofd->ofd_sync_lock_cancel == NEVER_SYNC_ON_CANCEL)
 368                 ofd->ofd_sync_lock_cancel = ALWAYS_SYNC_ON_CANCEL;
 369 }
 370
 371 /* niobuf_local has no rnb_ prefix in master */
 372 #define rnb_offset offset
 373 #define rnb_flags  flags
 374 #define rnb_len    len
 375
 376 #endif /* _OFD_INTERNAL_H */