lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2003 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of the Lustre file system, http://www.lustre.org
   7  *   Lustre is a trademark of Cluster File Systems, Inc.
   8  *
   9  *   You may have signed or agreed to another license before downloading
  10  *   this software.  If so, you are bound by the terms and conditions
  11  *   of that agreement, and the following does not apply to you.  See the
  12  *   LICENSE file included with this distribution for more information.
  13  *
  14  *   If you did not agree to a different license, then this copy of Lustre
  15  *   is open source software; you can redistribute it and/or modify it
  16  *   under the terms of version 2 of the GNU General Public License as
  17  *   published by the Free Software Foundation.
  18  *
  19  *   In either case, Lustre is distributed in the hope that it will be
  20  *   useful, but WITHOUT ANY WARRANTY; without even the implied warranty
  21  *   of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22  *   license text for more details.
  23  */
  24
  25 #define DEBUG_SUBSYSTEM S_MDC
  26 #ifndef __KERNEL__
  27 # include <fcntl.h>
  28 # include <liblustre.h>
  29 #endif
  30 #include <lustre/lustre_idl.h>
  31 #include <lustre_net.h>
  32 #include "mdc_internal.h"
  33
  34 #ifndef __KERNEL__
  35 /* some liblustre hackings here */
  36 #ifndef O_DIRECTORY
  37 #define O_DIRECTORY     0
  38 #endif
  39 #endif
  40
  41 static void mdc_pack_body(struct mdt_body *b, __u32 suppgid)
  42 {
  43         LASSERT (b != NULL);
  44
  45         b->suppgid = suppgid;
  46         b->uid = current->uid;
  47         b->gid = current->gid;
  48         b->fsuid = current->fsuid;
  49         b->fsgid = current->fsgid;
  50         b->capability = current->cap_effective;
  51 }
  52
  53 void mdc_pack_capa(struct ptlrpc_request *req, int offset, struct obd_capa *oc)
  54 {
  55         struct lustre_capa *c;
  56
  57         if (oc == NULL) {
  58                 LASSERT(lustre_msg_buflen(req->rq_reqmsg, offset) == 0);
  59                 return;
  60         }
  61
  62         c = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*c));
  63         LASSERT(c != NULL);
  64         capa_cpy(c, oc);
  65         DEBUG_CAPA(D_SEC, c, "pack");
  66 }
  67
  68 void mdc_is_subdir_pack(struct ptlrpc_request *req, int offset,
  69                         const struct lu_fid *pfid,
  70                         const struct lu_fid *cfid, int flags)
  71 {
  72         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  73
  74         if (pfid)
  75                 b->fid1 = *pfid;
  76         if (cfid)
  77                 b->fid2 = *cfid;
  78         b->valid = OBD_MD_FLID;
  79         b->flags = flags;
  80 }
  81
  82 void mdc_pack_req_body(struct ptlrpc_request *req, int offset,
  83                        __u64 valid, const struct lu_fid *fid,
  84                        struct obd_capa *oc, int ea_size, __u32 suppgid,
  85                        int flags)
  86 {
  87         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  88
  89         b->valid = valid;
  90         b->eadatasize = ea_size;
  91         b->flags = flags;
  92         mdc_pack_body(b, suppgid);
  93         if (fid) {
  94                 b->fid1 = *fid;
  95                 mdc_pack_capa(req, offset + 1, oc);
  96         }
  97 }
  98
  99 void mdc_readdir_pack(struct ptlrpc_request *req, int offset, __u64 pgoff,
 100                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
 101 {
 102         struct mdt_body *b;
 103
 104         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
 105         b->fid1 = *fid;
 106         b->size = pgoff;                       /* !! */
 107         b->nlink = size;                        /* !! */
 108         mdc_pack_body(b, -1);
 109         mdc_pack_capa(req, offset + 1, oc);
 110 }
 111
 112 /* packing of MDS records */
 113 void mdc_create_pack(struct ptlrpc_request *req, int offset,
 114                      struct md_op_data *op_data, const void *data, int datalen,
 115                      __u32 mode, __u32 uid, __u32 gid, __u32 cap_effective,
 116                      __u64 rdev)
 117 {
 118         struct mdt_rec_create *rec;
 119         char *tmp;
 120
 121         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 122
 123         rec->cr_opcode = REINT_CREATE;
 124         rec->cr_fsuid = uid;
 125         rec->cr_fsgid = gid;
 126         rec->cr_cap = cap_effective;
 127         rec->cr_fid1 = op_data->op_fid1;
 128         rec->cr_fid2 = op_data->op_fid2;
 129         rec->cr_mode = mode;
 130         rec->cr_rdev = rdev;
 131         rec->cr_time = op_data->op_mod_time;
 132         rec->cr_suppgid1 = op_data->op_suppgids[0];
 133         rec->cr_suppgid2 = op_data->op_suppgids[1];
 134         rec->cr_flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 135         rec->cr_bias = op_data->op_bias;
 136
 137         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 138
 139         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 140         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 141
 142         if (data) {
 143                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, datalen);
 144                 memcpy(tmp, data, datalen);
 145         }
 146 }
 147
 148 static __u32 mds_pack_open_flags(__u32 flags)
 149 {
 150         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 151                                    MDS_OPEN_HAS_EA | MDS_OPEN_HAS_OBJS |
 152                                    MDS_OPEN_OWNEROVERRIDE | MDS_OPEN_LOCK));
 153         if (flags & O_CREAT)
 154                 cr_flags |= MDS_OPEN_CREAT;
 155         if (flags & O_EXCL)
 156                 cr_flags |= MDS_OPEN_EXCL;
 157         if (flags & O_TRUNC)
 158                 cr_flags |= MDS_OPEN_TRUNC;
 159         if (flags & O_APPEND)
 160                 cr_flags |= MDS_OPEN_APPEND;
 161         if (flags & O_SYNC)
 162                 cr_flags |= MDS_OPEN_SYNC;
 163         if (flags & O_DIRECTORY)
 164                 cr_flags |= MDS_OPEN_DIRECTORY;
 165         if (flags & O_JOIN_FILE)
 166                 cr_flags |= MDS_OPEN_JOIN_FILE;
 167 #ifdef FMODE_EXEC
 168         if (flags & FMODE_EXEC)
 169                 cr_flags |= MDS_FMODE_EXEC;
 170 #endif
 171         if (flags & O_LOV_DELAY_CREATE)
 172                 cr_flags |= MDS_OPEN_DELAY_CREATE;
 173
 174         return cr_flags;
 175 }
 176
 177 /* packing of MDS records */
 178 void mdc_join_pack(struct ptlrpc_request *req, int offset,
 179                    struct md_op_data *op_data, __u64 head_size)
 180 {
 181         struct mdt_rec_join *rec;
 182
 183         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 184         LASSERT(rec != NULL);
 185         rec->jr_fid = op_data->op_fid2;
 186         rec->jr_headsize = head_size;
 187 }
 188
 189 void mdc_open_pack(struct ptlrpc_request *req, int offset,
 190                    struct md_op_data *op_data, __u32 mode, __u64 rdev,
 191                    __u32 flags, const void *lmm, int lmmlen)
 192 {
 193         struct mdt_rec_create *rec;
 194         char *tmp;
 195         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 196
 197         /* XXX do something about time, uid, gid */
 198         rec->cr_opcode = REINT_OPEN;
 199         rec->cr_fsuid = current->fsuid;
 200         rec->cr_fsgid = current->fsgid;
 201         rec->cr_cap = current->cap_effective;
 202         if (op_data != NULL) {
 203                 rec->cr_fid1 = op_data->op_fid1;
 204                 rec->cr_fid2 = op_data->op_fid2;
 205         }
 206         rec->cr_mode = mode;
 207         rec->cr_flags = mds_pack_open_flags(flags);
 208         rec->cr_time = op_data->op_mod_time;
 209         rec->cr_rdev = rdev;
 210         rec->cr_suppgid1 = op_data->op_suppgids[0];
 211         rec->cr_suppgid2 = op_data->op_suppgids[1];
 212         rec->cr_bias = op_data->op_bias;
 213
 214         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 215         /* the next buffer is child capa, which is used for replay,
 216          * will be packed from the data in reply message. */
 217
 218         if (op_data->op_name) {
 219                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3,
 220                                      op_data->op_namelen + 1);
 221                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 222         }
 223
 224         if (lmm) {
 225                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 226 #ifndef __KERNEL__
 227                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 228                 rec->cr_fid2 = op_data->op_fid2;
 229 #endif
 230                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, lmmlen);
 231                 memcpy (tmp, lmm, lmmlen);
 232         }
 233 }
 234
 235 static inline __u64 attr_pack(unsigned int ia_valid) {
 236         __u64 sa_valid = 0;
 237
 238         if (ia_valid & ATTR_MODE)
 239                 sa_valid |= MDS_ATTR_MODE;
 240         if (ia_valid & ATTR_UID)
 241                 sa_valid |= MDS_ATTR_UID;
 242         if (ia_valid & ATTR_GID)
 243                 sa_valid |= MDS_ATTR_GID;
 244         if (ia_valid & ATTR_SIZE)
 245                 sa_valid |= MDS_ATTR_SIZE;
 246         if (ia_valid & ATTR_ATIME)
 247                 sa_valid |= MDS_ATTR_ATIME;
 248         if (ia_valid & ATTR_MTIME)
 249                 sa_valid |= MDS_ATTR_MTIME;
 250         if (ia_valid & ATTR_CTIME)
 251                 sa_valid |= MDS_ATTR_CTIME;
 252         if (ia_valid & ATTR_ATIME_SET)
 253                 sa_valid |= MDS_ATTR_ATIME_SET;
 254         if (ia_valid & ATTR_MTIME_SET)
 255                 sa_valid |= MDS_ATTR_MTIME_SET;
 256         if (ia_valid & ATTR_FORCE)
 257                 sa_valid |= MDS_ATTR_FORCE;
 258         if (ia_valid & ATTR_ATTR_FLAG)
 259                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 260         if (ia_valid & ATTR_KILL_SUID)
 261                 sa_valid |=  MDS_ATTR_KILL_SUID;
 262         if (ia_valid & ATTR_KILL_SGID)
 263                 sa_valid |= MDS_ATTR_KILL_SGID;
 264         if (ia_valid & ATTR_CTIME_SET)
 265                 sa_valid |= MDS_ATTR_CTIME_SET;
 266         if (ia_valid & ATTR_FROM_OPEN)
 267                 sa_valid |= MDS_ATTR_FROM_OPEN;
 268         if (ia_valid & ATTR_BLOCKS)
 269                 sa_valid |= MDS_ATTR_BLOCKS;
 270         if (ia_valid & MDS_OPEN_OWNEROVERRIDE)
 271                 /* NFSD hack (see bug 5781) */
 272                 sa_valid |= MDS_OPEN_OWNEROVERRIDE;
 273         return sa_valid;
 274 }
 275
 276 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 277                                  struct md_op_data *op_data)
 278 {
 279         rec->sa_opcode = REINT_SETATTR;
 280         rec->sa_fsuid = current->fsuid;
 281         rec->sa_fsgid = current->fsgid;
 282         rec->sa_cap = current->cap_effective;
 283         rec->sa_suppgid = -1;
 284
 285         rec->sa_fid = op_data->op_fid1;
 286         rec->sa_valid = attr_pack(op_data->op_attr.ia_valid);
 287         rec->sa_mode = op_data->op_attr.ia_mode;
 288         rec->sa_uid = op_data->op_attr.ia_uid;
 289         rec->sa_gid = op_data->op_attr.ia_gid;
 290         rec->sa_size = op_data->op_attr.ia_size;
 291         rec->sa_blocks = op_data->op_attr_blocks;
 292         rec->sa_atime = LTIME_S(op_data->op_attr.ia_atime);
 293         rec->sa_mtime = LTIME_S(op_data->op_attr.ia_mtime);
 294         rec->sa_ctime = LTIME_S(op_data->op_attr.ia_ctime);
 295         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 296         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 297             in_group_p(op_data->op_attr.ia_gid))
 298                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 299         else
 300                 rec->sa_suppgid = op_data->op_suppgids[0];
 301 }
 302
 303 static void mdc_epoch_pack(struct mdt_epoch *epoch, struct md_op_data *op_data)
 304 {
 305         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 306         epoch->ioepoch = op_data->op_ioepoch;
 307         epoch->flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 308 }
 309
 310 void mdc_setattr_pack(struct ptlrpc_request *req, int offset,
 311                       struct md_op_data *op_data, void *ea,
 312                       int ealen, void *ea2, int ea2len)
 313 {
 314         struct mdt_rec_setattr *rec;
 315         struct mdt_epoch *epoch;
 316
 317         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 318         mdc_setattr_pack_rec(rec, op_data);
 319
 320         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 321
 322         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 323                 epoch = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 324                                         sizeof(*epoch));
 325                 mdc_epoch_pack(epoch, op_data);
 326         }
 327
 328         if (ealen == 0)
 329                 return;
 330
 331         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 3, ealen), ea, ealen);
 332
 333         if (ea2len == 0)
 334                 return;
 335
 336         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 4, ea2len), ea2, ea2len);
 337 }
 338
 339 void mdc_unlink_pack(struct ptlrpc_request *req, int offset,
 340                      struct md_op_data *op_data)
 341 {
 342         struct mdt_rec_unlink *rec;
 343         char *tmp;
 344
 345         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 346         LASSERT (rec != NULL);
 347
 348         rec->ul_opcode = REINT_UNLINK;
 349         rec->ul_fsuid = op_data->op_fsuid;//current->fsuid;
 350         rec->ul_fsgid = op_data->op_fsgid;//current->fsgid;
 351         rec->ul_cap = op_data->op_cap;//current->cap_effective;
 352         rec->ul_mode = op_data->op_mode;
 353         rec->ul_suppgid = op_data->op_suppgids[0];
 354         rec->ul_fid1 = op_data->op_fid1;
 355         rec->ul_fid2 = op_data->op_fid2;
 356         rec->ul_time = op_data->op_mod_time;
 357         rec->ul_bias = op_data->op_bias;
 358
 359         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 360
 361         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 362         LASSERT(tmp != NULL);
 363         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 364 }
 365
 366 void mdc_link_pack(struct ptlrpc_request *req, int offset,
 367                    struct md_op_data *op_data)
 368 {
 369         struct mdt_rec_link *rec;
 370         char *tmp;
 371
 372         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 373
 374         rec->lk_opcode = REINT_LINK;
 375         rec->lk_fsuid = op_data->op_fsuid;//current->fsuid;
 376         rec->lk_fsgid = op_data->op_fsgid;//current->fsgid;
 377         rec->lk_cap = op_data->op_cap;//current->cap_effective;
 378         rec->lk_suppgid1 = op_data->op_suppgids[0];
 379         rec->lk_suppgid2 = op_data->op_suppgids[1];
 380         rec->lk_fid1 = op_data->op_fid1;
 381         rec->lk_fid2 = op_data->op_fid2;
 382         rec->lk_time = op_data->op_mod_time;
 383         rec->lk_bias = op_data->op_bias;
 384
 385         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 386         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 387
 388         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, op_data->op_namelen + 1);
 389         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 390 }
 391
 392 void mdc_rename_pack(struct ptlrpc_request *req, int offset,
 393                      struct md_op_data *op_data,
 394                      const char *old, int oldlen, const char *new, int newlen)
 395 {
 396         struct mdt_rec_rename *rec;
 397         char *tmp;
 398
 399         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 400
 401         /* XXX do something about time, uid, gid */
 402         rec->rn_opcode = REINT_RENAME;
 403         rec->rn_fsuid = op_data->op_fsuid;//current->fsuid;
 404         rec->rn_fsgid = op_data->op_fsgid;//current->fsgid;
 405         rec->rn_cap = op_data->op_cap;//current->cap_effective;
 406         rec->rn_suppgid1 = op_data->op_suppgids[0];
 407         rec->rn_suppgid2 = op_data->op_suppgids[1];
 408         rec->rn_fid1 = op_data->op_fid1;
 409         rec->rn_fid2 = op_data->op_fid2;
 410         rec->rn_time = op_data->op_mod_time;
 411         rec->rn_mode = op_data->op_mode;
 412         rec->rn_bias = op_data->op_bias;
 413
 414         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 415         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 416
 417         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, oldlen + 1);
 418         LOGL0(old, oldlen, tmp);
 419
 420         if (new) {
 421                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, newlen + 1);
 422                 LOGL0(new, newlen, tmp);
 423         }
 424 }
 425
 426 void mdc_getattr_pack(struct ptlrpc_request *req, int offset, __u64 valid,
 427                       int flags, struct md_op_data *op_data)
 428 {
 429         struct mdt_body *b;
 430         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*b));
 431
 432         b->fsuid = current->fsuid;
 433         b->fsgid = current->fsgid;
 434         b->capability = current->cap_effective;
 435         b->valid = valid;
 436         if (op_data->op_bias & MDS_CHECK_SPLIT)
 437                 b->valid |= OBD_MD_FLCKSPLIT;
 438         if (op_data->op_bias & MDS_CROSS_REF)
 439                 b->valid |= OBD_MD_FLCROSSREF;
 440         b->flags = flags | MDS_BFLAG_EXT_FLAGS;
 441         b->suppgid = op_data->op_suppgids[0];
 442
 443         b->fid1 = op_data->op_fid1;
 444         b->fid2 = op_data->op_fid2;
 445
 446         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 447
 448         if (op_data->op_name) {
 449                 char *tmp;
 450                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 451                                      op_data->op_namelen + 1);
 452                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 453         }
 454 }
 455
 456 void mdc_close_pack(struct ptlrpc_request *req, int offset,
 457                     struct md_op_data *op_data)
 458 {
 459         struct mdt_epoch *epoch;
 460         struct mdt_rec_setattr *rec;
 461
 462         epoch = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*epoch));
 463         rec = lustre_msg_buf(req->rq_reqmsg, offset + 1, sizeof(*rec));
 464
 465         mdc_setattr_pack_rec(rec, op_data);
 466         mdc_pack_capa(req, offset + 2, op_data->op_capa1);
 467         mdc_epoch_pack(epoch, op_data);
 468 }
 469
 470 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 471 {
 472         int rc;
 473         ENTRY;
 474         spin_lock(&cli->cl_loi_list_lock);
 475         rc = list_empty(&mcw->mcw_entry);
 476         spin_unlock(&cli->cl_loi_list_lock);
 477         RETURN(rc);
 478 };
 479
 480 /* We record requests in flight in cli->cl_r_in_flight here.
 481  * There is only one write rpc possible in mdc anyway. If this to change
 482  * in the future - the code may need to be revisited. */
 483 void mdc_enter_request(struct client_obd *cli)
 484 {
 485         struct mdc_cache_waiter mcw;
 486         struct l_wait_info lwi = { 0 };
 487
 488         spin_lock(&cli->cl_loi_list_lock);
 489         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 490                 list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 491                 init_waitqueue_head(&mcw.mcw_waitq);
 492                 spin_unlock(&cli->cl_loi_list_lock);
 493                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 494         } else {
 495                 cli->cl_r_in_flight++;
 496                 spin_unlock(&cli->cl_loi_list_lock);
 497         }
 498 }
 499
 500 void mdc_exit_request(struct client_obd *cli)
 501 {
 502         struct list_head *l, *tmp;
 503         struct mdc_cache_waiter *mcw;
 504
 505         spin_lock(&cli->cl_loi_list_lock);
 506         cli->cl_r_in_flight--;
 507         list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 508
 509                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 510                         /* No free request slots anymore */
 511                         break;
 512                 }
 513
 514                 mcw = list_entry(l, struct mdc_cache_waiter, mcw_entry);
 515                 list_del_init(&mcw->mcw_entry);
 516                 cli->cl_r_in_flight++;
 517                 wake_up(&mcw->mcw_waitq);
 518         }
 519         /* Empty waiting list? Decrease reqs in-flight number */
 520
 521         spin_unlock(&cli->cl_loi_list_lock);
 522 }