lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2003 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of the Lustre file system, http://www.lustre.org
   7  *   Lustre is a trademark of Cluster File Systems, Inc.
   8  *
   9  *   You may have signed or agreed to another license before downloading
  10  *   this software.  If so, you are bound by the terms and conditions
  11  *   of that agreement, and the following does not apply to you.  See the
  12  *   LICENSE file included with this distribution for more information.
  13  *
  14  *   If you did not agree to a different license, then this copy of Lustre
  15  *   is open source software; you can redistribute it and/or modify it
  16  *   under the terms of version 2 of the GNU General Public License as
  17  *   published by the Free Software Foundation.
  18  *
  19  *   In either case, Lustre is distributed in the hope that it will be
  20  *   useful, but WITHOUT ANY WARRANTY; without even the implied warranty
  21  *   of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22  *   license text for more details.
  23  */
  24
  25 #define DEBUG_SUBSYSTEM S_MDC
  26 #ifndef __KERNEL__
  27 # include <fcntl.h>
  28 # include <liblustre.h>
  29 #endif
  30 #include <lustre/lustre_idl.h>
  31 #include <lustre_net.h>
  32 #include "mdc_internal.h"
  33
  34 #ifndef __KERNEL__
  35 /* some liblustre hackings here */
  36 #ifndef O_DIRECTORY
  37 #define O_DIRECTORY     0
  38 #endif
  39 #endif
  40
  41 static void mdc_pack_body(struct mdt_body *b)
  42 {
  43         LASSERT (b != NULL);
  44
  45         b->fsuid = current->fsuid;
  46         b->fsgid = current->fsgid;
  47         b->capability = current->cap_effective;
  48 }
  49
  50 void mdc_pack_capa(struct ptlrpc_request *req, int offset, struct obd_capa *oc)
  51 {
  52         struct lustre_capa *c;
  53
  54         if (oc == NULL) {
  55                 LASSERT(lustre_msg_buflen(req->rq_reqmsg, offset) == 0);
  56                 return;
  57         }
  58
  59         c = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*c));
  60         LASSERT(c != NULL);
  61         capa_cpy(c, oc);
  62         DEBUG_CAPA(D_SEC, c, "pack");
  63 }
  64
  65 void mdc_is_subdir_pack(struct ptlrpc_request *req, int offset,
  66                         const struct lu_fid *pfid,
  67                         const struct lu_fid *cfid, int flags)
  68 {
  69         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  70
  71         if (pfid)
  72                 b->fid1 = *pfid;
  73         if (cfid)
  74                 b->fid2 = *cfid;
  75         b->valid = OBD_MD_FLID;
  76         b->flags = flags;
  77 }
  78
  79 void mdc_pack_req_body(struct ptlrpc_request *req, int offset,
  80                        __u64 valid, const struct lu_fid *fid,
  81                        struct obd_capa *oc, int ea_size, int flags)
  82 {
  83         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  84
  85         b->valid = valid;
  86         b->eadatasize = ea_size;
  87         b->flags = flags;
  88         mdc_pack_body(b);
  89         if (fid) {
  90                 b->fid1 = *fid;
  91                 mdc_pack_capa(req, offset + 1, oc);
  92         }
  93 }
  94
  95 void mdc_readdir_pack(struct ptlrpc_request *req, int offset, __u64 pgoff,
  96                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
  97 {
  98         struct mdt_body *b;
  99
 100         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
 101         b->fid1 = *fid;
 102         b->size = pgoff;                       /* !! */
 103         b->suppgid = -1;
 104         b->nlink = size;                        /* !! */
 105         mdc_pack_body(b);
 106         mdc_pack_capa(req, offset + 1, oc);
 107 }
 108
 109 /* packing of MDS records */
 110 void mdc_create_pack(struct ptlrpc_request *req, int offset,
 111                      struct md_op_data *op_data, const void *data, int datalen,
 112                      __u32 mode, __u32 uid, __u32 gid, __u32 cap_effective,
 113                      __u64 rdev)
 114 {
 115         struct mdt_rec_create *rec;
 116         char *tmp;
 117
 118         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 119
 120         rec->cr_opcode = REINT_CREATE;
 121         rec->cr_fsuid = uid;
 122         rec->cr_fsgid = gid;
 123         rec->cr_cap = cap_effective;
 124         rec->cr_fid1 = op_data->op_fid1;
 125         rec->cr_fid2 = op_data->op_fid2;
 126         rec->cr_mode = mode;
 127         rec->cr_rdev = rdev;
 128         rec->cr_time = op_data->op_mod_time;
 129         rec->cr_suppgid1 = op_data->op_suppgids[0];
 130         rec->cr_suppgid2 = op_data->op_suppgids[1];
 131         rec->cr_flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 132         rec->cr_bias = op_data->op_bias;
 133
 134         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 135
 136         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 137         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 138
 139         if (data) {
 140                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, datalen);
 141                 memcpy(tmp, data, datalen);
 142         }
 143 }
 144
 145 static __u32 mds_pack_open_flags(__u32 flags)
 146 {
 147         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 148                                    MDS_OPEN_DELAY_CREATE | MDS_OPEN_HAS_EA |
 149                                    MDS_OPEN_HAS_OBJS | MDS_OPEN_OWNEROVERRIDE |
 150                                    MDS_OPEN_LOCK));
 151         if (flags & O_CREAT)
 152                 cr_flags |= MDS_OPEN_CREAT;
 153         if (flags & O_EXCL)
 154                 cr_flags |= MDS_OPEN_EXCL;
 155         if (flags & O_TRUNC)
 156                 cr_flags |= MDS_OPEN_TRUNC;
 157         if (flags & O_APPEND)
 158                 cr_flags |= MDS_OPEN_APPEND;
 159         if (flags & O_SYNC)
 160                 cr_flags |= MDS_OPEN_SYNC;
 161         if (flags & O_DIRECTORY)
 162                 cr_flags |= MDS_OPEN_DIRECTORY;
 163         if (flags & O_JOIN_FILE)
 164                 cr_flags |= MDS_OPEN_JOIN_FILE;
 165 #ifdef FMODE_EXEC
 166         if (flags & FMODE_EXEC)
 167                 cr_flags |= MDS_FMODE_EXEC;
 168 #endif
 169         return cr_flags;
 170 }
 171
 172 /* packing of MDS records */
 173 void mdc_join_pack(struct ptlrpc_request *req, int offset,
 174                    struct md_op_data *op_data, __u64 head_size)
 175 {
 176         struct mdt_rec_join *rec;
 177
 178         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 179         LASSERT(rec != NULL);
 180         rec->jr_fid = op_data->op_fid2;
 181         rec->jr_headsize = head_size;
 182 }
 183
 184 void mdc_open_pack(struct ptlrpc_request *req, int offset,
 185                    struct md_op_data *op_data, __u32 mode, __u64 rdev,
 186                    __u32 flags, const void *lmm, int lmmlen)
 187 {
 188         struct mdt_rec_create *rec;
 189         char *tmp;
 190         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 191
 192         /* XXX do something about time, uid, gid */
 193         rec->cr_opcode = REINT_OPEN;
 194         rec->cr_fsuid = current->fsuid;
 195         rec->cr_fsgid = current->fsgid;
 196         rec->cr_cap = current->cap_effective;
 197         if (op_data != NULL) {
 198                 rec->cr_fid1 = op_data->op_fid1;
 199                 rec->cr_fid2 = op_data->op_fid2;
 200         }
 201         rec->cr_mode = mode;
 202         rec->cr_flags = mds_pack_open_flags(flags);
 203         rec->cr_time = op_data->op_mod_time;
 204         rec->cr_rdev = rdev;
 205         rec->cr_suppgid1 = op_data->op_suppgids[0];
 206         rec->cr_suppgid2 = op_data->op_suppgids[1];
 207         rec->cr_bias = op_data->op_bias;
 208
 209         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 210         /* the next buffer is child capa, which is used for replay,
 211          * will be packed from the data in reply message. */
 212
 213         if (op_data->op_name) {
 214                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3,
 215                                      op_data->op_namelen + 1);
 216                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 217         }
 218
 219         if (lmm) {
 220                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 221 #ifndef __KERNEL__
 222                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 223                 rec->cr_fid2 = op_data->op_fid2;
 224 #endif
 225                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, lmmlen);
 226                 memcpy (tmp, lmm, lmmlen);
 227         }
 228 }
 229
 230 static inline __u64 attr_pack(unsigned int ia_valid) {
 231         __u64 sa_valid = 0;
 232
 233         if (ia_valid & ATTR_MODE)
 234                 sa_valid |= MDS_ATTR_MODE;
 235         if (ia_valid & ATTR_UID)
 236                 sa_valid |= MDS_ATTR_UID;
 237         if (ia_valid & ATTR_GID)
 238                 sa_valid |= MDS_ATTR_GID;
 239         if (ia_valid & ATTR_SIZE)
 240                 sa_valid |= MDS_ATTR_SIZE;
 241         if (ia_valid & ATTR_ATIME)
 242                 sa_valid |= MDS_ATTR_ATIME;
 243         if (ia_valid & ATTR_MTIME)
 244                 sa_valid |= MDS_ATTR_MTIME;
 245         if (ia_valid & ATTR_CTIME)
 246                 sa_valid |= MDS_ATTR_CTIME;
 247         if (ia_valid & ATTR_ATIME_SET)
 248                 sa_valid |= MDS_ATTR_ATIME_SET;
 249         if (ia_valid & ATTR_MTIME_SET)
 250                 sa_valid |= MDS_ATTR_MTIME_SET;
 251         if (ia_valid & ATTR_FORCE)
 252                 sa_valid |= MDS_ATTR_FORCE;
 253         if (ia_valid & ATTR_ATTR_FLAG)
 254                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 255         if (ia_valid & ATTR_KILL_SUID)
 256                 sa_valid |=  MDS_ATTR_KILL_SUID;
 257         if (ia_valid & ATTR_KILL_SGID)
 258                 sa_valid |= MDS_ATTR_KILL_SGID;
 259         if (ia_valid & ATTR_CTIME_SET)
 260                 sa_valid |= MDS_ATTR_CTIME_SET;
 261         if (ia_valid & ATTR_FROM_OPEN)
 262                 sa_valid |= MDS_ATTR_FROM_OPEN;
 263         if (ia_valid & ATTR_BLOCKS)
 264                 sa_valid |= MDS_ATTR_BLOCKS;
 265         if (ia_valid & MDS_OPEN_OWNEROVERRIDE)
 266                 /* NFSD hack (see bug 5781) */
 267                 sa_valid |= MDS_OPEN_OWNEROVERRIDE;
 268         return sa_valid;
 269 }
 270
 271 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 272                                  struct md_op_data *op_data)
 273 {
 274         rec->sa_opcode = REINT_SETATTR;
 275         rec->sa_fsuid = current->fsuid;
 276         rec->sa_fsgid = current->fsgid;
 277         rec->sa_cap = current->cap_effective;
 278         rec->sa_suppgid = -1;
 279
 280         rec->sa_fid = op_data->op_fid1;
 281         rec->sa_valid = attr_pack(op_data->op_attr.ia_valid);
 282         rec->sa_mode = op_data->op_attr.ia_mode;
 283         rec->sa_uid = op_data->op_attr.ia_uid;
 284         rec->sa_gid = op_data->op_attr.ia_gid;
 285         rec->sa_size = op_data->op_attr.ia_size;
 286         rec->sa_blocks = op_data->op_attr_blocks;
 287         rec->sa_atime = LTIME_S(op_data->op_attr.ia_atime);
 288         rec->sa_mtime = LTIME_S(op_data->op_attr.ia_mtime);
 289         rec->sa_ctime = LTIME_S(op_data->op_attr.ia_ctime);
 290         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 291         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 292             in_group_p(op_data->op_attr.ia_gid))
 293                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 294         else
 295                 rec->sa_suppgid = op_data->op_suppgids[0];
 296 }
 297
 298 static void mdc_epoch_pack(struct mdt_epoch *epoch, struct md_op_data *op_data)
 299 {
 300         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 301         epoch->ioepoch = op_data->op_ioepoch;
 302         epoch->flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 303 }
 304
 305 void mdc_setattr_pack(struct ptlrpc_request *req, int offset,
 306                       struct md_op_data *op_data, void *ea,
 307                       int ealen, void *ea2, int ea2len)
 308 {
 309         struct mdt_rec_setattr *rec;
 310         struct mdt_epoch *epoch;
 311
 312         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 313         mdc_setattr_pack_rec(rec, op_data);
 314
 315         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 316
 317         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 318                 epoch = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 319                                         sizeof(*epoch));
 320                 mdc_epoch_pack(epoch, op_data);
 321         }
 322
 323         if (ealen == 0)
 324                 return;
 325
 326         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 3, ealen), ea, ealen);
 327
 328         if (ea2len == 0)
 329                 return;
 330
 331         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 4, ea2len), ea2, ea2len);
 332 }
 333
 334 void mdc_unlink_pack(struct ptlrpc_request *req, int offset,
 335                      struct md_op_data *op_data)
 336 {
 337         struct mdt_rec_unlink *rec;
 338         char *tmp;
 339
 340         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 341         LASSERT (rec != NULL);
 342
 343         rec->ul_opcode = REINT_UNLINK;
 344         rec->ul_fsuid = op_data->op_fsuid;//current->fsuid;
 345         rec->ul_fsgid = op_data->op_fsgid;//current->fsgid;
 346         rec->ul_cap = op_data->op_cap;//current->cap_effective;
 347         rec->ul_mode = op_data->op_mode;
 348         rec->ul_suppgid = op_data->op_suppgids[0];
 349         rec->ul_fid1 = op_data->op_fid1;
 350         rec->ul_fid2 = op_data->op_fid2;
 351         rec->ul_time = op_data->op_mod_time;
 352         rec->ul_bias = op_data->op_bias;
 353
 354         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 355
 356         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 357         LASSERT(tmp != NULL);
 358         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 359 }
 360
 361 void mdc_link_pack(struct ptlrpc_request *req, int offset,
 362                    struct md_op_data *op_data)
 363 {
 364         struct mdt_rec_link *rec;
 365         char *tmp;
 366
 367         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 368
 369         rec->lk_opcode = REINT_LINK;
 370         rec->lk_fsuid = op_data->op_fsuid;//current->fsuid;
 371         rec->lk_fsgid = op_data->op_fsgid;//current->fsgid;
 372         rec->lk_cap = op_data->op_cap;//current->cap_effective;
 373         rec->lk_suppgid1 = op_data->op_suppgids[0];
 374         rec->lk_suppgid2 = op_data->op_suppgids[1];
 375         rec->lk_fid1 = op_data->op_fid1;
 376         rec->lk_fid2 = op_data->op_fid2;
 377         rec->lk_time = op_data->op_mod_time;
 378         rec->lk_bias = op_data->op_bias;
 379
 380         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 381         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 382
 383         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, op_data->op_namelen + 1);
 384         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 385 }
 386
 387 void mdc_rename_pack(struct ptlrpc_request *req, int offset,
 388                      struct md_op_data *op_data,
 389                      const char *old, int oldlen, const char *new, int newlen)
 390 {
 391         struct mdt_rec_rename *rec;
 392         char *tmp;
 393
 394         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 395
 396         /* XXX do something about time, uid, gid */
 397         rec->rn_opcode = REINT_RENAME;
 398         rec->rn_fsuid = op_data->op_fsuid;//current->fsuid;
 399         rec->rn_fsgid = op_data->op_fsgid;//current->fsgid;
 400         rec->rn_cap = op_data->op_cap;//current->cap_effective;
 401         rec->rn_suppgid1 = op_data->op_suppgids[0];
 402         rec->rn_suppgid2 = op_data->op_suppgids[1];
 403         rec->rn_fid1 = op_data->op_fid1;
 404         rec->rn_fid2 = op_data->op_fid2;
 405         rec->rn_time = op_data->op_mod_time;
 406         rec->rn_mode = op_data->op_mode;
 407         rec->rn_bias = op_data->op_bias;
 408
 409         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 410         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 411
 412         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, oldlen + 1);
 413         LOGL0(old, oldlen, tmp);
 414
 415         if (new) {
 416                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, newlen + 1);
 417                 LOGL0(new, newlen, tmp);
 418         }
 419 }
 420
 421 void mdc_getattr_pack(struct ptlrpc_request *req, int offset, __u64 valid,
 422                       int flags, struct md_op_data *op_data)
 423 {
 424         struct mdt_body *b;
 425         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*b));
 426
 427         b->fsuid = current->fsuid;
 428         b->fsgid = current->fsgid;
 429         b->capability = current->cap_effective;
 430         b->valid = valid;
 431         if (op_data->op_bias & MDS_CHECK_SPLIT)
 432                 b->valid |= OBD_MD_FLCKSPLIT;
 433         if (op_data->op_bias & MDS_CROSS_REF)
 434                 b->valid |= OBD_MD_FLCROSSREF;
 435         b->flags = flags | MDS_BFLAG_EXT_FLAGS;
 436         b->suppgid = op_data->op_suppgids[0];
 437
 438         b->fid1 = op_data->op_fid1;
 439         b->fid2 = op_data->op_fid2;
 440
 441         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 442
 443         if (op_data->op_name) {
 444                 char *tmp;
 445                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 446                                      op_data->op_namelen + 1);
 447                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 448         }
 449 }
 450
 451 void mdc_close_pack(struct ptlrpc_request *req, int offset,
 452                     struct md_op_data *op_data)
 453 {
 454         struct mdt_epoch *epoch;
 455         struct mdt_rec_setattr *rec;
 456
 457         epoch = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*epoch));
 458         rec = lustre_msg_buf(req->rq_reqmsg, offset + 1, sizeof(*rec));
 459
 460         mdc_setattr_pack_rec(rec, op_data);
 461         mdc_pack_capa(req, offset + 2, op_data->op_capa1);
 462         mdc_epoch_pack(epoch, op_data);
 463 }
 464
 465 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 466 {
 467         int rc;
 468         ENTRY;
 469         spin_lock(&cli->cl_loi_list_lock);
 470         rc = list_empty(&mcw->mcw_entry);
 471         spin_unlock(&cli->cl_loi_list_lock);
 472         RETURN(rc);
 473 };
 474
 475 /* We record requests in flight in cli->cl_r_in_flight here.
 476  * There is only one write rpc possible in mdc anyway. If this to change
 477  * in the future - the code may need to be revisited. */
 478 void mdc_enter_request(struct client_obd *cli)
 479 {
 480         struct mdc_cache_waiter mcw;
 481         struct l_wait_info lwi = { 0 };
 482
 483         spin_lock(&cli->cl_loi_list_lock);
 484         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 485                 list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 486                 init_waitqueue_head(&mcw.mcw_waitq);
 487                 spin_unlock(&cli->cl_loi_list_lock);
 488                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 489         } else {
 490                 cli->cl_r_in_flight++;
 491                 spin_unlock(&cli->cl_loi_list_lock);
 492         }
 493 }
 494
 495 void mdc_exit_request(struct client_obd *cli)
 496 {
 497         struct list_head *l, *tmp;
 498         struct mdc_cache_waiter *mcw;
 499
 500         spin_lock(&cli->cl_loi_list_lock);
 501         cli->cl_r_in_flight--;
 502         list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 503
 504                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 505                         /* No free request slots anymore */
 506                         break;
 507                 }
 508
 509                 mcw = list_entry(l, struct mdc_cache_waiter, mcw_entry);
 510                 list_del_init(&mcw->mcw_entry);
 511                 cli->cl_r_in_flight++;
 512                 wake_up(&mcw->mcw_waitq);
 513         }
 514         /* Empty waiting list? Decrease reqs in-flight number */
 515
 516         spin_unlock(&cli->cl_loi_list_lock);
 517 }