lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2003 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of the Lustre file system, http://www.lustre.org
   7  *   Lustre is a trademark of Cluster File Systems, Inc.
   8  *
   9  *   You may have signed or agreed to another license before downloading
  10  *   this software.  If so, you are bound by the terms and conditions
  11  *   of that agreement, and the following does not apply to you.  See the
  12  *   LICENSE file included with this distribution for more information.
  13  *
  14  *   If you did not agree to a different license, then this copy of Lustre
  15  *   is open source software; you can redistribute it and/or modify it
  16  *   under the terms of version 2 of the GNU General Public License as
  17  *   published by the Free Software Foundation.
  18  *
  19  *   In either case, Lustre is distributed in the hope that it will be
  20  *   useful, but WITHOUT ANY WARRANTY; without even the implied warranty
  21  *   of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22  *   license text for more details.
  23  */
  24
  25 #define DEBUG_SUBSYSTEM S_MDC
  26 #ifndef __KERNEL__
  27 # include <fcntl.h>
  28 # include <liblustre.h>
  29 #endif
  30 #include <lustre/lustre_idl.h>
  31 #include <lustre_net.h>
  32 #include "mdc_internal.h"
  33
  34 #ifndef __KERNEL__
  35 /* some liblustre hackings here */
  36 #ifndef O_DIRECTORY
  37 #define O_DIRECTORY     0
  38 #endif
  39 #endif
  40
  41 static void mdc_pack_body(struct mdt_body *b)
  42 {
  43         LASSERT (b != NULL);
  44
  45         b->fsuid = current->fsuid;
  46         b->fsgid = current->fsgid;
  47         b->capability = current->cap_effective;
  48 }
  49
  50 void mdc_pack_capa(struct ptlrpc_request *req, int offset, struct obd_capa *oc)
  51 {
  52         struct lustre_capa *c;
  53
  54         if (oc == NULL) {
  55                 LASSERT(lustre_msg_buflen(req->rq_reqmsg, offset) == 0);
  56                 return;
  57         }
  58
  59         c = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*c));
  60         LASSERT(c != NULL);
  61         capa_cpy(c, oc);
  62         DEBUG_CAPA(D_SEC, c, "pack");
  63 }
  64
  65 void mdc_is_subdir_pack(struct ptlrpc_request *req, int offset,
  66                         const struct lu_fid *pfid,
  67                         const struct lu_fid *cfid, int flags)
  68 {
  69         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  70
  71         if (pfid)
  72                 b->fid1 = *pfid;
  73         if (cfid)
  74                 b->fid2 = *cfid;
  75         b->valid = OBD_MD_FLID;
  76         b->flags = flags;
  77 }
  78
  79 void mdc_pack_req_body(struct ptlrpc_request *req, int offset,
  80                        __u64 valid, const struct lu_fid *fid,
  81                        struct obd_capa *oc, int ea_size, int flags)
  82 {
  83         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  84
  85         b->valid = valid;
  86         b->eadatasize = ea_size;
  87         b->flags = flags;
  88         mdc_pack_body(b);
  89         if (fid) {
  90                 b->fid1 = *fid;
  91                 mdc_pack_capa(req, offset + 1, oc);
  92         }
  93 }
  94
  95 void mdc_readdir_pack(struct ptlrpc_request *req, int offset, __u64 pgoff,
  96                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
  97 {
  98         struct mdt_body *b;
  99
 100         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
 101         b->fid1 = *fid;
 102         b->size = pgoff;                       /* !! */
 103         b->suppgid = -1;
 104         b->nlink = size;                        /* !! */
 105         mdc_pack_body(b);
 106         mdc_pack_capa(req, offset + 1, oc);
 107 }
 108
 109 /* packing of MDS records */
 110 void mdc_create_pack(struct ptlrpc_request *req, int offset,
 111                      struct md_op_data *op_data, const void *data, int datalen,
 112                      __u32 mode, __u32 uid, __u32 gid, __u32 cap_effective,
 113                      __u64 rdev)
 114 {
 115         struct mdt_rec_create *rec;
 116         char *tmp;
 117
 118         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 119
 120         rec->cr_opcode = REINT_CREATE;
 121         rec->cr_fsuid = uid;
 122         rec->cr_fsgid = gid;
 123         rec->cr_cap = cap_effective;
 124         rec->cr_fid1 = op_data->op_fid1;
 125         rec->cr_fid2 = op_data->op_fid2;
 126         rec->cr_mode = mode;
 127         rec->cr_rdev = rdev;
 128         rec->cr_time = op_data->op_mod_time;
 129         rec->cr_suppgid1 = op_data->op_suppgids[0];
 130         rec->cr_suppgid2 = op_data->op_suppgids[1];
 131         rec->cr_flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 132         rec->cr_bias = op_data->op_bias;
 133
 134         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 135
 136         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 137         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 138
 139         if (data) {
 140                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, datalen);
 141                 memcpy(tmp, data, datalen);
 142         }
 143 }
 144
 145 static __u32 mds_pack_open_flags(__u32 flags)
 146 {
 147         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 148                                    MDS_OPEN_DELAY_CREATE | MDS_OPEN_HAS_EA |
 149                                    MDS_OPEN_HAS_OBJS | MDS_OPEN_OWNEROVERRIDE |
 150                                    MDS_OPEN_LOCK));
 151         if (flags & O_CREAT)
 152                 cr_flags |= MDS_OPEN_CREAT;
 153         if (flags & O_EXCL)
 154                 cr_flags |= MDS_OPEN_EXCL;
 155         if (flags & O_TRUNC)
 156                 cr_flags |= MDS_OPEN_TRUNC;
 157         if (flags & O_APPEND)
 158                 cr_flags |= MDS_OPEN_APPEND;
 159         if (flags & O_SYNC)
 160                 cr_flags |= MDS_OPEN_SYNC;
 161         if (flags & O_DIRECTORY)
 162                 cr_flags |= MDS_OPEN_DIRECTORY;
 163         if (flags & O_JOIN_FILE)
 164                 cr_flags |= MDS_OPEN_JOIN_FILE;
 165 #ifdef FMODE_EXEC
 166         if (flags & FMODE_EXEC)
 167                 cr_flags |= MDS_FMODE_EXEC;
 168 #endif
 169         return cr_flags;
 170 }
 171
 172 /* packing of MDS records */
 173 void mdc_join_pack(struct ptlrpc_request *req, int offset,
 174                    struct md_op_data *op_data, __u64 head_size)
 175 {
 176         struct mdt_rec_join *rec;
 177
 178         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 179         LASSERT(rec != NULL);
 180         rec->jr_fid = op_data->op_fid2;
 181         rec->jr_headsize = head_size;
 182 }
 183
 184 void mdc_open_pack(struct ptlrpc_request *req, int offset,
 185                    struct md_op_data *op_data, __u32 mode, __u64 rdev,
 186                    __u32 flags, const void *lmm, int lmmlen)
 187 {
 188         struct mdt_rec_create *rec;
 189         char *tmp;
 190         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 191
 192         /* XXX do something about time, uid, gid */
 193         rec->cr_opcode = REINT_OPEN;
 194         rec->cr_fsuid = current->fsuid;
 195         rec->cr_fsgid = current->fsgid;
 196         rec->cr_cap = current->cap_effective;
 197         if (op_data != NULL) {
 198                 rec->cr_fid1 = op_data->op_fid1;
 199                 rec->cr_fid2 = op_data->op_fid2;
 200         }
 201         rec->cr_mode = mode;
 202         rec->cr_flags = mds_pack_open_flags(flags);
 203         rec->cr_time = op_data->op_mod_time;
 204         rec->cr_rdev = rdev;
 205         rec->cr_suppgid1 = op_data->op_suppgids[0];
 206         rec->cr_suppgid2 = op_data->op_suppgids[1];
 207         rec->cr_bias = op_data->op_bias;
 208
 209         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 210         /* the next buffer is child capa, which is used for replay,
 211          * will be packed from the data in reply message. */
 212
 213         if (op_data->op_name) {
 214                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3,
 215                                      op_data->op_namelen + 1);
 216                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 217         }
 218
 219         if (lmm) {
 220                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 221 #ifndef __KERNEL__
 222                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 223                 rec->cr_fid2 = op_data->op_fid2;
 224 #endif
 225                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, lmmlen);
 226                 memcpy (tmp, lmm, lmmlen);
 227         }
 228 }
 229
 230 static inline __u64 attr_pack(unsigned int ia_valid) {
 231         __u64 sa_valid = 0;
 232
 233         if (ia_valid & ATTR_MODE)
 234                 sa_valid |= MDS_ATTR_MODE;
 235         if (ia_valid & ATTR_UID)
 236                 sa_valid |= MDS_ATTR_UID;
 237         if (ia_valid & ATTR_GID)
 238                 sa_valid |= MDS_ATTR_GID;
 239         if (ia_valid & ATTR_SIZE)
 240                 sa_valid |= MDS_ATTR_SIZE;
 241         if (ia_valid & ATTR_ATIME)
 242                 sa_valid |= MDS_ATTR_ATIME;
 243         if (ia_valid & ATTR_MTIME)
 244                 sa_valid |= MDS_ATTR_MTIME;
 245         if (ia_valid & ATTR_CTIME)
 246                 sa_valid |= MDS_ATTR_CTIME;
 247         if (ia_valid & ATTR_ATIME_SET)
 248                 sa_valid |= MDS_ATTR_ATIME_SET;
 249         if (ia_valid & ATTR_MTIME_SET)
 250                 sa_valid |= MDS_ATTR_MTIME_SET;
 251         if (ia_valid & ATTR_FORCE)
 252                 sa_valid |= MDS_ATTR_FORCE;
 253         if (ia_valid & ATTR_ATTR_FLAG)
 254                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 255         if (ia_valid & ATTR_KILL_SUID)
 256                 sa_valid |=  MDS_ATTR_KILL_SUID;
 257         if (ia_valid & ATTR_KILL_SGID)
 258                 sa_valid |= MDS_ATTR_KILL_SGID;
 259         if (ia_valid & ATTR_CTIME_SET)
 260                 sa_valid |= MDS_ATTR_CTIME_SET;
 261         if (ia_valid & ATTR_FROM_OPEN)
 262                 sa_valid |= MDS_ATTR_FROM_OPEN;
 263         if (ia_valid & ATTR_BLOCKS)
 264                 sa_valid |= MDS_ATTR_BLOCKS;
 265         return sa_valid;
 266 }
 267
 268 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 269                                  struct md_op_data *op_data)
 270 {
 271         rec->sa_opcode = REINT_SETATTR;
 272         rec->sa_fsuid = current->fsuid;
 273         rec->sa_fsgid = current->fsgid;
 274         rec->sa_cap = current->cap_effective;
 275         rec->sa_suppgid = -1;
 276
 277         rec->sa_fid = op_data->op_fid1;
 278         rec->sa_valid = attr_pack(op_data->op_attr.ia_valid);
 279         rec->sa_mode = op_data->op_attr.ia_mode;
 280         rec->sa_uid = op_data->op_attr.ia_uid;
 281         rec->sa_gid = op_data->op_attr.ia_gid;
 282         rec->sa_size = op_data->op_attr.ia_size;
 283         rec->sa_blocks = op_data->op_attr_blocks;
 284         rec->sa_atime = LTIME_S(op_data->op_attr.ia_atime);
 285         rec->sa_mtime = LTIME_S(op_data->op_attr.ia_mtime);
 286         rec->sa_ctime = LTIME_S(op_data->op_attr.ia_ctime);
 287         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 288         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 289             in_group_p(op_data->op_attr.ia_gid))
 290                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 291         else
 292                 rec->sa_suppgid = op_data->op_suppgids[0];
 293 }
 294
 295 static void mdc_epoch_pack(struct mdt_epoch *epoch, struct md_op_data *op_data)
 296 {
 297         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 298         epoch->ioepoch = op_data->op_ioepoch;
 299         epoch->flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 300 }
 301
 302 void mdc_setattr_pack(struct ptlrpc_request *req, int offset,
 303                       struct md_op_data *op_data, void *ea,
 304                       int ealen, void *ea2, int ea2len)
 305 {
 306         struct mdt_rec_setattr *rec;
 307         struct mdt_epoch *epoch;
 308
 309         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 310         mdc_setattr_pack_rec(rec, op_data);
 311
 312         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 313
 314         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 315                 epoch = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 316                                         sizeof(*epoch));
 317                 mdc_epoch_pack(epoch, op_data);
 318         }
 319
 320         if (ealen == 0)
 321                 return;
 322
 323         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 3, ealen), ea, ealen);
 324
 325         if (ea2len == 0)
 326                 return;
 327
 328         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 4, ea2len), ea2, ea2len);
 329 }
 330
 331 void mdc_unlink_pack(struct ptlrpc_request *req, int offset,
 332                      struct md_op_data *op_data)
 333 {
 334         struct mdt_rec_unlink *rec;
 335         char *tmp;
 336
 337         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 338         LASSERT (rec != NULL);
 339
 340         rec->ul_opcode = REINT_UNLINK;
 341         rec->ul_fsuid = op_data->op_fsuid;//current->fsuid;
 342         rec->ul_fsgid = op_data->op_fsgid;//current->fsgid;
 343         rec->ul_cap = op_data->op_cap;//current->cap_effective;
 344         rec->ul_mode = op_data->op_mode;
 345         rec->ul_suppgid = op_data->op_suppgids[0];
 346         rec->ul_fid1 = op_data->op_fid1;
 347         rec->ul_fid2 = op_data->op_fid2;
 348         rec->ul_time = op_data->op_mod_time;
 349         rec->ul_bias = op_data->op_bias;
 350
 351         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 352
 353         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 354         LASSERT(tmp != NULL);
 355         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 356 }
 357
 358 void mdc_link_pack(struct ptlrpc_request *req, int offset,
 359                    struct md_op_data *op_data)
 360 {
 361         struct mdt_rec_link *rec;
 362         char *tmp;
 363
 364         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 365
 366         rec->lk_opcode = REINT_LINK;
 367         rec->lk_fsuid = op_data->op_fsuid;//current->fsuid;
 368         rec->lk_fsgid = op_data->op_fsgid;//current->fsgid;
 369         rec->lk_cap = op_data->op_cap;//current->cap_effective;
 370         rec->lk_suppgid1 = op_data->op_suppgids[0];
 371         rec->lk_suppgid2 = op_data->op_suppgids[1];
 372         rec->lk_fid1 = op_data->op_fid1;
 373         rec->lk_fid2 = op_data->op_fid2;
 374         rec->lk_time = op_data->op_mod_time;
 375         rec->lk_bias = op_data->op_bias;
 376
 377         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 378         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 379
 380         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, op_data->op_namelen + 1);
 381         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 382 }
 383
 384 void mdc_rename_pack(struct ptlrpc_request *req, int offset,
 385                      struct md_op_data *op_data,
 386                      const char *old, int oldlen, const char *new, int newlen)
 387 {
 388         struct mdt_rec_rename *rec;
 389         char *tmp;
 390
 391         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 392
 393         /* XXX do something about time, uid, gid */
 394         rec->rn_opcode = REINT_RENAME;
 395         rec->rn_fsuid = op_data->op_fsuid;//current->fsuid;
 396         rec->rn_fsgid = op_data->op_fsgid;//current->fsgid;
 397         rec->rn_cap = op_data->op_cap;//current->cap_effective;
 398         rec->rn_suppgid1 = op_data->op_suppgids[0];
 399         rec->rn_suppgid2 = op_data->op_suppgids[1];
 400         rec->rn_fid1 = op_data->op_fid1;
 401         rec->rn_fid2 = op_data->op_fid2;
 402         rec->rn_time = op_data->op_mod_time;
 403         rec->rn_mode = op_data->op_mode;
 404         rec->rn_bias = op_data->op_bias;
 405
 406         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 407         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 408
 409         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, oldlen + 1);
 410         LOGL0(old, oldlen, tmp);
 411
 412         if (new) {
 413                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, newlen + 1);
 414                 LOGL0(new, newlen, tmp);
 415         }
 416 }
 417
 418 void mdc_getattr_pack(struct ptlrpc_request *req, int offset, __u64 valid,
 419                       int flags, struct md_op_data *op_data)
 420 {
 421         struct mdt_body *b;
 422         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*b));
 423
 424         b->fsuid = current->fsuid;
 425         b->fsgid = current->fsgid;
 426         b->capability = current->cap_effective;
 427         b->valid = valid;
 428         if (op_data->op_bias & MDS_CHECK_SPLIT)
 429                 b->valid |= OBD_MD_FLCKSPLIT;
 430         if (op_data->op_bias & MDS_CROSS_REF)
 431                 b->valid |= OBD_MD_FLCROSSREF;
 432         b->flags = flags | MDS_BFLAG_EXT_FLAGS;
 433         b->suppgid = op_data->op_suppgids[0];
 434
 435         b->fid1 = op_data->op_fid1;
 436         b->fid2 = op_data->op_fid2;
 437
 438         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 439
 440         if (op_data->op_name) {
 441                 char *tmp;
 442                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 443                                      op_data->op_namelen + 1);
 444                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 445         }
 446 }
 447
 448 void mdc_close_pack(struct ptlrpc_request *req, int offset,
 449                     struct md_op_data *op_data)
 450 {
 451         struct mdt_epoch *epoch;
 452         struct mdt_rec_setattr *rec;
 453
 454         epoch = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*epoch));
 455         rec = lustre_msg_buf(req->rq_reqmsg, offset + 1, sizeof(*rec));
 456
 457         mdc_setattr_pack_rec(rec, op_data);
 458         mdc_pack_capa(req, offset + 2, op_data->op_capa1);
 459         mdc_epoch_pack(epoch, op_data);
 460 }
 461
 462 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 463 {
 464         int rc;
 465         ENTRY;
 466         spin_lock(&cli->cl_loi_list_lock);
 467         rc = list_empty(&mcw->mcw_entry);
 468         spin_unlock(&cli->cl_loi_list_lock);
 469         RETURN(rc);
 470 };
 471
 472 /* We record requests in flight in cli->cl_r_in_flight here.
 473  * There is only one write rpc possible in mdc anyway. If this to change
 474  * in the future - the code may need to be revisited. */
 475 void mdc_enter_request(struct client_obd *cli)
 476 {
 477         struct mdc_cache_waiter mcw;
 478         struct l_wait_info lwi = { 0 };
 479
 480         spin_lock(&cli->cl_loi_list_lock);
 481         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 482                 list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 483                 init_waitqueue_head(&mcw.mcw_waitq);
 484                 spin_unlock(&cli->cl_loi_list_lock);
 485                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 486         } else {
 487                 cli->cl_r_in_flight++;
 488                 spin_unlock(&cli->cl_loi_list_lock);
 489         }
 490 }
 491
 492 void mdc_exit_request(struct client_obd *cli)
 493 {
 494         struct list_head *l, *tmp;
 495         struct mdc_cache_waiter *mcw;
 496
 497         spin_lock(&cli->cl_loi_list_lock);
 498         cli->cl_r_in_flight--;
 499         list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 500
 501                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 502                         /* No free request slots anymore */
 503                         break;
 504                 }
 505
 506                 mcw = list_entry(l, struct mdc_cache_waiter, mcw_entry);
 507                 list_del_init(&mcw->mcw_entry);
 508                 cli->cl_r_in_flight++;
 509                 wake_up(&mcw->mcw_waitq);
 510         }
 511         /* Empty waiting list? Decrease reqs in-flight number */
 512
 513         spin_unlock(&cli->cl_loi_list_lock);
 514 }