lustre/ofd/ofd_internal.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  19  *
  20  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  21  * CA 95054 USA or visit www.sun.com if you need additional information or
  22  * have any questions.
  23  *
  24  * GPL HEADER END
  25  */
  26 /*
  27  * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
  28  * Use is subject to license terms.
  29  *
  30  * Copyright (c) 2011, 2012, Whamcloud, Inc.
  31  */
  32 /*
  33  * This file is part of Lustre, http://www.lustre.org/
  34  * Lustre is a trademark of Sun Microsystems, Inc.
  35  */
  36
  37 #ifndef _OFD_INTERNAL_H
  38 #define _OFD_INTERNAL_H
  39
  40 #include <obd.h>
  41 #include <obd_class.h>
  42 #include <dt_object.h>
  43 #include <lustre_fid.h>
  44 #include <obd_ost.h>
  45 #include <lustre_capa.h>
  46
  47 #define OFD_INIT_OBJID  0
  48 #define OFD_ROCOMPAT_SUPP (0)
  49 #define OFD_INCOMPAT_SUPP (OBD_INCOMPAT_GROUPS | OBD_INCOMPAT_OST | \
  50                            OBD_INCOMPAT_COMMON_LR)
  51 #define OFD_MAX_GROUPS  256
  52
  53 /* Limit the returned fields marked valid to those that we actually might set */
  54 #define OFD_VALID_FLAGS (LA_TYPE | LA_MODE | LA_SIZE | LA_BLOCKS | \
  55                          LA_BLKSIZE | LA_ATIME | LA_MTIME | LA_CTIME)
  56
  57 /* per-client-per-object persistent state (LRU) */
  58 struct ofd_mod_data {
  59         cfs_list_t      fmd_list;        /* linked to fed_mod_list */
  60         struct lu_fid   fmd_fid;         /* FID being written to */
  61         __u64           fmd_mactime_xid; /* xid highest {m,a,c}time setattr */
  62         cfs_time_t      fmd_expire;      /* time when the fmd should expire */
  63         int             fmd_refcount;    /* reference counter - list holds 1 */
  64 };
  65
  66 #define OFD_FMD_MAX_NUM_DEFAULT 128
  67 #define OFD_FMD_MAX_AGE_DEFAULT ((obd_timeout + 10) * CFS_HZ)
  68
  69 enum {
  70         LPROC_OFD_READ_BYTES = 0,
  71         LPROC_OFD_WRITE_BYTES = 1,
  72         LPROC_OFD_LAST,
  73 };
  74
  75 struct ofd_device {
  76         struct dt_device         ofd_dt_dev;
  77         struct dt_device        *ofd_osd;
  78         struct dt_device_param   ofd_dt_conf;
  79         /* DLM name-space for meta-data locks maintained by this server */
  80         struct ldlm_namespace   *ofd_namespace;
  81
  82         /* transaction callbacks */
  83         struct dt_txn_callback   ofd_txn_cb;
  84
  85         /* last_rcvd file */
  86         struct lu_target         ofd_lut;
  87         struct dt_object        *ofd_last_group_file;
  88         struct dt_object        *ofd_health_check_file;
  89
  90         int                      ofd_subdir_count;
  91
  92         int                      ofd_max_group;
  93         obd_id                   ofd_last_objids[OFD_MAX_GROUPS];
  94         cfs_mutex_t              ofd_create_locks[OFD_MAX_GROUPS];
  95         struct dt_object        *ofd_lastid_obj[OFD_MAX_GROUPS];
  96         cfs_spinlock_t           ofd_objid_lock;
  97         unsigned long            ofd_destroys_in_progress;
  98
  99         /* protect all statfs-related counters */
 100         cfs_spinlock_t           ofd_osfs_lock;
 101         /* statfs optimization: we cache a bit  */
 102         struct obd_statfs        ofd_osfs;
 103         __u64                    ofd_osfs_age;
 104         int                      ofd_blockbits;
 105         /* writes which might be be accounted twice in ofd_osfs.os_bavail */
 106         obd_size                 ofd_osfs_unstable;
 107
 108         /* counters used during statfs update, protected by ofd_osfs_lock.
 109          * record when some statfs refresh are in progress */
 110         int                      ofd_statfs_inflight;
 111         /* track writes completed while statfs refresh is underway.
 112          * tracking is only effective when ofd_statfs_inflight > 1 */
 113         obd_size                 ofd_osfs_inflight;
 114
 115         /* grants: all values in bytes */
 116         /* grant lock to protect all grant counters */
 117         cfs_spinlock_t           ofd_grant_lock;
 118         /* total amount of dirty data reported by clients in incoming obdo */
 119         obd_size                 ofd_tot_dirty;
 120         /* sum of filesystem space granted to clients for async writes */
 121         obd_size                 ofd_tot_granted;
 122         /* grant used by I/Os in progress (between prepare and commit) */
 123         obd_size                 ofd_tot_pending;
 124         /* free space threshold over which we stop granting space to clients
 125          * ofd_grant_ratio is stored as a fixed-point fraction using
 126          * OFD_GRANT_RATIO_SHIFT of the remaining free space, not in percentage
 127          * values */
 128         int                      ofd_grant_ratio;
 129         /* number of clients using grants */
 130         int                      ofd_tot_granted_clients;
 131
 132         /* ofd mod data: ofd_device wide values */
 133         int                      ofd_fmd_max_num; /* per ofd ofd_mod_data */
 134         cfs_duration_t           ofd_fmd_max_age; /* time to fmd expiry */
 135
 136         cfs_spinlock_t           ofd_flags_lock;
 137         unsigned long            ofd_raid_degraded:1,
 138                                  /* sync journal on writes */
 139                                  ofd_syncjournal:1,
 140                                  /* sync on lock cancel */
 141                                  ofd_sync_lock_cancel:2,
 142                                  /* shall we grant space to clients not
 143                                   * supporting OBD_CONNECT_GRANT_PARAM? */
 144                                  ofd_grant_compat_disable:1;
 145
 146         struct lu_site           ofd_site;
 147 };
 148
 149 static inline struct ofd_device *ofd_dev(struct lu_device *d)
 150 {
 151         return container_of0(d, struct ofd_device, ofd_dt_dev.dd_lu_dev);
 152 }
 153
 154 static inline struct obd_device *ofd_obd(struct ofd_device *ofd)
 155 {
 156         return ofd->ofd_dt_dev.dd_lu_dev.ld_obd;
 157 }
 158
 159 static inline struct ofd_device *ofd_exp(struct obd_export *exp)
 160 {
 161         return ofd_dev(exp->exp_obd->obd_lu_dev);
 162 }
 163
 164 static inline char *ofd_name(struct ofd_device *ofd)
 165 {
 166         return ofd->ofd_dt_dev.dd_lu_dev.ld_obd->obd_name;
 167 }
 168
 169 struct ofd_object {
 170         struct lu_object_header ofo_header;
 171         struct dt_object        ofo_obj;
 172         int                     ofo_ff_exists;
 173 };
 174
 175 static inline struct ofd_object *ofd_obj(struct lu_object *o)
 176 {
 177         return container_of0(o, struct ofd_object, ofo_obj.do_lu);
 178 }
 179
 180 static inline int ofd_object_exists(struct ofd_object *obj)
 181 {
 182         LASSERT(obj != NULL);
 183         if (lu_object_is_dying(obj->ofo_obj.do_lu.lo_header))
 184                 return 0;
 185         return lu_object_exists(&obj->ofo_obj.do_lu);
 186 }
 187
 188 static inline struct dt_object *fo2dt(struct ofd_object *obj)
 189 {
 190         return &obj->ofo_obj;
 191 }
 192
 193 static inline struct dt_object *ofd_object_child(struct ofd_object *_obj)
 194 {
 195         struct lu_object *lu = &(_obj)->ofo_obj.do_lu;
 196
 197         return container_of0(lu_object_next(lu), struct dt_object, do_lu);
 198 }
 199
 200 static inline struct ofd_device *ofd_obj2dev(const struct ofd_object *fo)
 201 {
 202         return ofd_dev(fo->ofo_obj.do_lu.lo_dev);
 203 }
 204
 205 static inline struct lustre_capa *ofd_object_capa(const struct lu_env *env,
 206                                                   const struct ofd_object *obj)
 207 {
 208         /* TODO: see mdd_object_capa() */
 209         return BYPASS_CAPA;
 210 }
 211
 212 static inline void ofd_read_lock(const struct lu_env *env,
 213                                  struct ofd_object *fo)
 214 {
 215         struct dt_object  *next = ofd_object_child(fo);
 216
 217         next->do_ops->do_read_lock(env, next, 0);
 218 }
 219
 220 static inline void ofd_read_unlock(const struct lu_env *env,
 221                                    struct ofd_object *fo)
 222 {
 223         struct dt_object  *next = ofd_object_child(fo);
 224
 225         next->do_ops->do_read_unlock(env, next);
 226 }
 227
 228 static inline void ofd_write_lock(const struct lu_env *env,
 229                                   struct ofd_object *fo)
 230 {
 231         struct dt_object *next = ofd_object_child(fo);
 232
 233         next->do_ops->do_write_lock(env, next, 0);
 234 }
 235
 236 static inline void ofd_write_unlock(const struct lu_env *env,
 237                                     struct ofd_object *fo)
 238 {
 239         struct dt_object  *next = ofd_object_child(fo);
 240
 241         next->do_ops->do_write_unlock(env, next);
 242 }
 243
 244 /*
 245  * Common data shared by obdofd-level handlers. This is allocated per-thread
 246  * to reduce stack consumption.
 247  */
 248 struct ofd_thread_info {
 249         const struct lu_env             *fti_env;
 250
 251         struct obd_export               *fti_exp;
 252         __u64                            fti_xid;
 253         __u64                            fti_transno;
 254         __u64                            fti_pre_version;
 255         __u32                            fti_has_trans:1, /* has txn already */
 256                                          fti_mult_trans:1;
 257
 258         struct lu_fid                    fti_fid;
 259         struct lu_attr                   fti_attr;
 260         struct lu_attr                   fti_attr2;
 261         struct ldlm_res_id               fti_resid;
 262         struct filter_fid                fti_mds_fid;
 263         struct filter_fid                fti_mds_fid2;
 264         struct ost_id                    fti_ostid;
 265         struct ofd_object               *fti_obj;
 266         union {
 267                 char                     name[64]; /* for ofd_init0() */
 268                 struct obd_statfs        osfs;    /* for obdofd_statfs() */
 269         } fti_u;
 270
 271         /* Ops object filename */
 272         struct lu_name                   fti_name;
 273         struct dt_object_format          fti_dof;
 274         struct lu_buf                    fti_buf;
 275         loff_t                           fti_off;
 276
 277         /* Space used by the I/O, used by grant code */
 278         unsigned long                    fti_used;
 279 };
 280
 281 extern void target_recovery_fini(struct obd_device *obd);
 282 extern void target_recovery_init(struct lu_target *lut, svc_handler_t handler);
 283
 284 /* ofd_capa.c */
 285 int ofd_update_capa_key(struct ofd_device *ofd, struct lustre_capa_key *key);
 286 int ofd_auth_capa(struct obd_export *exp, struct lu_fid *fid, obd_seq seq,
 287                   struct lustre_capa *capa, __u64 opc);
 288 void ofd_free_capa_keys(struct ofd_device *ofd);
 289
 290 /* ofd_dev.c */
 291 extern struct lu_context_key ofd_thread_key;
 292
 293 /* ofd_obd.c */
 294 extern struct obd_ops ofd_obd_ops;
 295 int ofd_statfs_internal(const struct lu_env *env, struct ofd_device *ofd,
 296                         struct obd_statfs *osfs, __u64 max_age,
 297                         int *from_cache);
 298
 299 /* ofd_fs.c */
 300 obd_id ofd_last_id(struct ofd_device *ofd, obd_seq seq);
 301 void ofd_last_id_set(struct ofd_device *ofd, obd_id id, obd_seq seq);
 302 int ofd_last_id_write(const struct lu_env *env, struct ofd_device *ofd,
 303                       obd_seq seq);
 304 int ofd_group_load(const struct lu_env *env, struct ofd_device *ofd, int);
 305 int ofd_fs_setup(const struct lu_env *env, struct ofd_device *ofd,
 306                  struct obd_device *obd);
 307 void ofd_fs_cleanup(const struct lu_env *env, struct ofd_device *ofd);
 308
 309 /* ofd_io.c */
 310 int ofd_preprw(const struct lu_env *env,int cmd, struct obd_export *exp,
 311                struct obdo *oa, int objcount, struct obd_ioobj *obj,
 312                struct niobuf_remote *rnb, int *nr_local,
 313                struct niobuf_local *lnb, struct obd_trans_info *oti,
 314                struct lustre_capa *capa);
 315 int ofd_commitrw(const struct lu_env *env, int cmd, struct obd_export *exp,
 316                  struct obdo *oa, int objcount, struct obd_ioobj *obj,
 317                  struct niobuf_remote *rnb, int npages,
 318                  struct niobuf_local *lnb, struct obd_trans_info *oti,
 319                  int old_rc);
 320
 321 /* ofd_trans.c */
 322 struct thandle *ofd_trans_create(const struct lu_env *env,
 323                                  struct ofd_device *ofd);
 324 int ofd_trans_start(const struct lu_env *env,
 325                     struct ofd_device *ofd, struct ofd_object *fo,
 326                     struct thandle *th);
 327 void ofd_trans_stop(const struct lu_env *env, struct ofd_device *ofd,
 328                     struct thandle *th, int rc);
 329 int ofd_txn_stop_cb(const struct lu_env *env, struct thandle *txn,
 330                     void *cookie);
 331
 332 /* lproc_ofd.c */
 333 void lprocfs_ofd_init_vars(struct lprocfs_static_vars *lvars);
 334 int lproc_ofd_attach_seqstat(struct obd_device *dev);
 335 extern struct file_operations ofd_per_nid_stats_fops;
 336
 337 /* ofd_objects.c */
 338 struct ofd_object *ofd_object_find(const struct lu_env *env,
 339                                    struct ofd_device *ofd,
 340                                    const struct lu_fid *fid);
 341 struct ofd_object *ofd_object_find_or_create(const struct lu_env *env,
 342                                              struct ofd_device *ofd,
 343                                              const struct lu_fid *fid,
 344                                              struct lu_attr *attr);
 345 int ofd_object_ff_check(const struct lu_env *env, struct ofd_object *fo);
 346 int ofd_precreate_object(const struct lu_env *env, struct ofd_device *ofd,
 347                          obd_id id, obd_seq seq);
 348
 349 void ofd_object_put(const struct lu_env *env, struct ofd_object *fo);
 350 int ofd_attr_set(const struct lu_env *env, struct ofd_object *fo,
 351                  struct lu_attr *la, struct filter_fid *ff);
 352 int ofd_object_punch(const struct lu_env *env, struct ofd_object *fo,
 353                      __u64 start, __u64 end, struct lu_attr *la,
 354                      struct filter_fid *ff);
 355 int ofd_object_destroy(const struct lu_env *, struct ofd_object *, int);
 356 int ofd_attr_get(const struct lu_env *env, struct ofd_object *fo,
 357                  struct lu_attr *la);
 358 int ofd_attr_handle_ugid(const struct lu_env *env, struct ofd_object *fo,
 359                          struct lu_attr *la, int is_setattr);
 360
 361 /* ofd_grants.c */
 362 #define OFD_GRANT_RATIO_SHIFT 8
 363 static inline __u64 ofd_grant_reserved(struct ofd_device *ofd, obd_size bavail)
 364 {
 365         return (bavail * ofd->ofd_grant_ratio) >> OFD_GRANT_RATIO_SHIFT;
 366 }
 367
 368 static inline int ofd_grant_ratio_conv(int percentage)
 369 {
 370         return (percentage << OFD_GRANT_RATIO_SHIFT) / 100;
 371 }
 372
 373 static inline int ofd_grant_param_supp(struct obd_export *exp)
 374 {
 375         return !!(exp->exp_connect_flags & OBD_CONNECT_GRANT_PARAM);
 376 }
 377
 378 /* Blocksize used for client not supporting OBD_CONNECT_GRANT_PARAM.
 379  * That's 4KB=2^12 which is the biggest block size known to work whatever
 380  * the client's page size is. */
 381 #define COMPAT_BSIZE_SHIFT 12
 382 static inline int ofd_grant_compat(struct obd_export *exp,
 383                                    struct ofd_device *ofd)
 384 {
 385         /* Clients which don't support OBD_CONNECT_GRANT_PARAM cannot handle
 386          * a block size > page size and consume CFS_PAGE_SIZE of grant when
 387          * dirtying a page regardless of the block size */
 388         return !!(ofd_obd(ofd)->obd_self_export != exp &&
 389                   ofd->ofd_blockbits > COMPAT_BSIZE_SHIFT &&
 390                   !ofd_grant_param_supp(exp));
 391 }
 392
 393 static inline int ofd_grant_prohibit(struct obd_export *exp,
 394                                      struct ofd_device *ofd)
 395 {
 396         /* When ofd_grant_compat_disable is set, we don't grant any space to
 397          * clients not supporting OBD_CONNECT_GRANT_PARAM.
 398          * Otherwise, space granted to such a client is inflated since it
 399          * consumes CFS_PAGE_SIZE of grant space per block */
 400         return !!(ofd_grant_compat(exp, ofd) && ofd->ofd_grant_compat_disable);
 401 }
 402
 403 void ofd_grant_sanity_check(struct obd_device *obd, const char *func);
 404 long ofd_grant_connect(const struct lu_env *env, struct obd_export *exp,
 405                        obd_size want);
 406 void ofd_grant_discard(struct obd_export *exp);
 407 void ofd_grant_prepare_read(const struct lu_env *env, struct obd_export *exp,
 408                             struct obdo *oa);
 409 void ofd_grant_prepare_write(const struct lu_env *env, struct obd_export *exp,
 410                              struct obdo *oa, struct niobuf_remote *rnb,
 411                              int niocount);
 412 void ofd_grant_commit(const struct lu_env *env, struct obd_export *exp, int rc);
 413 int ofd_grant_create(const struct lu_env *env, struct obd_export *exp, int *nr);
 414
 415 /* ofd_fmd.c */
 416 int ofd_fmd_init(void);
 417 void ofd_fmd_exit(void);
 418 struct ofd_mod_data *ofd_fmd_find(struct obd_export *exp,
 419                                   struct lu_fid *fid);
 420 struct ofd_mod_data *ofd_fmd_get(struct obd_export *exp,
 421                                  struct lu_fid *fid);
 422 void ofd_fmd_put(struct obd_export *exp, struct ofd_mod_data *fmd);
 423 void ofd_fmd_expire(struct obd_export *exp);
 424 void ofd_fmd_cleanup(struct obd_export *exp);
 425 #ifdef DO_FMD_DROP
 426 void ofd_fmd_drop(struct obd_export *exp, struct lu_fid *fid);
 427 #else
 428 #define ofd_fmd_drop(exp, fid) do {} while (0)
 429 #endif
 430
 431 /* ofd_lvb.c */
 432 extern struct ldlm_valblock_ops ofd_lvbo;
 433
 434 /* ofd_dlm.c */
 435 int ofd_intent_policy(struct ldlm_namespace *ns, struct ldlm_lock **lockp,
 436                       void *req_cookie, ldlm_mode_t mode, int flags,
 437                       void *data);
 438
 439 static inline struct ofd_thread_info * ofd_info(const struct lu_env *env)
 440 {
 441         struct ofd_thread_info *info;
 442
 443         info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
 444         LASSERT(info);
 445         LASSERT(info->fti_env);
 446         LASSERT(info->fti_env == env);
 447         return info;
 448 }
 449
 450 static inline struct ofd_thread_info * ofd_info_init(const struct lu_env *env,
 451                                                      struct obd_export *exp)
 452 {
 453         struct ofd_thread_info *info;
 454
 455         info = lu_context_key_get(&env->le_ctx, &ofd_thread_key);
 456         LASSERT(info);
 457         LASSERT(info->fti_exp == NULL);
 458         LASSERT(info->fti_env == NULL);
 459         LASSERT(info->fti_attr.la_valid == 0);
 460
 461         info->fti_env = env;
 462         info->fti_exp = exp;
 463         info->fti_pre_version = 0;
 464         info->fti_transno = 0;
 465         info->fti_has_trans = 0;
 466         return info;
 467 }
 468
 469 /* The same as osc_build_res_name() */
 470 static inline void ofd_build_resid(const struct lu_fid *fid,
 471                                    struct ldlm_res_id *resname)
 472 {
 473         if (fid_is_idif(fid)) {
 474                 /* get id/seq like ostid_idif_pack() does */
 475                 osc_build_res_name(fid_idif_id(fid_seq(fid), fid_oid(fid),
 476                                                fid_ver(fid)),
 477                                    FID_SEQ_OST_MDT0, resname);
 478         } else {
 479                 /* In the future, where OSTs have FID sequences allocated. */
 480                 fid_build_reg_res_name(fid, resname);
 481         }
 482 }
 483
 484 static inline void ofd_fid_from_resid(struct lu_fid *fid,
 485                                       const struct ldlm_res_id *name)
 486 {
 487         /* if seq is FID_SEQ_OST_MDT0 then we have IDIF and resid was built
 488          * using osc_build_res_name function. */
 489         if (fid_seq_is_mdt0(name->name[LUSTRE_RES_ID_VER_OID_OFF])) {
 490                 struct ost_id ostid;
 491
 492                 ostid.oi_id = name->name[LUSTRE_RES_ID_SEQ_OFF];
 493                 ostid.oi_seq = name->name[LUSTRE_RES_ID_VER_OID_OFF];
 494                 fid_ostid_unpack(fid, &ostid, 0);
 495         } else {
 496                 fid->f_seq = name->name[LUSTRE_RES_ID_SEQ_OFF];
 497                 fid->f_oid = (__u32)name->name[LUSTRE_RES_ID_VER_OID_OFF];
 498                 fid->f_ver = name->name[LUSTRE_RES_ID_VER_OID_OFF] >> 32;
 499         }
 500 }
 501
 502 static inline void ofd_oti2info(struct ofd_thread_info *info,
 503                                 struct obd_trans_info *oti)
 504 {
 505         info->fti_xid = oti->oti_xid;
 506         info->fti_transno = oti->oti_transno;
 507         info->fti_pre_version = oti->oti_pre_version;
 508 }
 509
 510 static inline void ofd_info2oti(struct ofd_thread_info *info,
 511                                 struct obd_trans_info *oti)
 512 {
 513         oti->oti_xid = info->fti_xid;
 514         LASSERTF(ergo(oti->oti_transno > 0,
 515                       oti->oti_transno == info->fti_transno),
 516                  "Overwrite replay transno "LPX64" by "LPX64"\n",
 517                  oti->oti_transno, info->fti_transno);
 518         oti->oti_transno = info->fti_transno;
 519         oti->oti_pre_version = info->fti_pre_version;
 520 }
 521
 522 /* sync on lock cancel is useless when we force a journal flush,
 523  * and if we enable async journal commit, we should also turn on
 524  * sync on lock cancel if it is not enabled already. */
 525 static inline void ofd_slc_set(struct ofd_device *ofd)
 526 {
 527         if (ofd->ofd_syncjournal == 1)
 528                 ofd->ofd_sync_lock_cancel = NEVER_SYNC_ON_CANCEL;
 529         else if (ofd->ofd_sync_lock_cancel == NEVER_SYNC_ON_CANCEL)
 530                 ofd->ofd_sync_lock_cancel = ALWAYS_SYNC_ON_CANCEL;
 531 }
 532
 533 static inline void ofd_prepare_fidea(struct filter_fid *ff, struct obdo *oa)
 534 {
 535         if (!(oa->o_valid & OBD_MD_FLGROUP))
 536                 oa->o_seq = 0;
 537         /* packing fid and converting it to LE for storing into EA.
 538          * Here ->o_stripe_idx should be filled by LOV and rest of
 539          * fields - by client. */
 540         ff->ff_parent.f_seq = cpu_to_le64(oa->o_parent_seq);
 541         ff->ff_parent.f_oid = cpu_to_le32(oa->o_parent_oid);
 542         /* XXX: we are ignoring o_parent_ver here, since this should
 543          *      be the same for all objects in this fileset. */
 544         ff->ff_parent.f_ver = cpu_to_le32(oa->o_stripe_idx);
 545         ff->ff_objid = cpu_to_le64(oa->o_id);
 546         ff->ff_seq = cpu_to_le64(oa->o_seq);
 547 }
 548
 549 /* niobuf_remote has no rnb_ prefix in master */
 550 #define rnb_offset offset
 551 #define rnb_flags  flags
 552 #define rnb_len    len
 553 /* the same for niobuf_local */
 554 #define lnb_flags flags
 555 #define lnb_rc    rc
 556
 557 #endif /* _OFD_INTERNAL_H */