lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2003 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of the Lustre file system, http://www.lustre.org
   7  *   Lustre is a trademark of Cluster File Systems, Inc.
   8  *
   9  *   You may have signed or agreed to another license before downloading
  10  *   this software.  If so, you are bound by the terms and conditions
  11  *   of that agreement, and the following does not apply to you.  See the
  12  *   LICENSE file included with this distribution for more information.
  13  *
  14  *   If you did not agree to a different license, then this copy of Lustre
  15  *   is open source software; you can redistribute it and/or modify it
  16  *   under the terms of version 2 of the GNU General Public License as
  17  *   published by the Free Software Foundation.
  18  *
  19  *   In either case, Lustre is distributed in the hope that it will be
  20  *   useful, but WITHOUT ANY WARRANTY; without even the implied warranty
  21  *   of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22  *   license text for more details.
  23  */
  24
  25 #define DEBUG_SUBSYSTEM S_MDC
  26 #ifndef __KERNEL__
  27 # include <fcntl.h>
  28 # include <liblustre.h>
  29 #endif
  30 #include <lustre/lustre_idl.h>
  31 #include <lustre_net.h>
  32 #include "mdc_internal.h"
  33
  34 #ifndef __KERNEL__
  35 /* some liblustre hackings here */
  36 #ifndef O_DIRECTORY
  37 #define O_DIRECTORY     0
  38 #endif
  39 #endif
  40
  41 static void mdc_pack_body(struct mdt_body *b)
  42 {
  43         LASSERT (b != NULL);
  44
  45         b->fsuid = current->fsuid;
  46         b->fsgid = current->fsgid;
  47         b->capability = current->cap_effective;
  48 }
  49
  50 void mdc_pack_capa(struct ptlrpc_request *req, int offset, struct obd_capa *oc)
  51 {
  52         struct lustre_capa *c;
  53
  54         if (oc == NULL) {
  55                 LASSERT(lustre_msg_buflen(req->rq_reqmsg, offset) == 0);
  56                 return;
  57         }
  58
  59         c = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*c));
  60         LASSERT(c != NULL);
  61         capa_cpy(c, oc);
  62         DEBUG_CAPA(D_SEC, c, "pack");
  63 }
  64
  65 void mdc_is_subdir_pack(struct ptlrpc_request *req, int offset,
  66                         const struct lu_fid *pfid,
  67                         const struct lu_fid *cfid, int flags)
  68 {
  69         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  70
  71         if (pfid)
  72                 b->fid1 = *pfid;
  73         if (cfid)
  74                 b->fid2 = *cfid;
  75         b->valid = OBD_MD_FLID;
  76         b->flags = flags;
  77 }
  78
  79 void mdc_pack_req_body(struct ptlrpc_request *req, int offset,
  80                        __u64 valid, const struct lu_fid *fid,
  81                        struct obd_capa *oc, int ea_size, int flags)
  82 {
  83         struct mdt_body *b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
  84
  85         b->valid = valid;
  86         b->eadatasize = ea_size;
  87         b->flags = flags;
  88         mdc_pack_body(b);
  89         if (fid) {
  90                 b->fid1 = *fid;
  91                 mdc_pack_capa(req, offset + 1, oc);
  92         }
  93 }
  94
  95 void mdc_readdir_pack(struct ptlrpc_request *req, int offset, __u64 pgoff,
  96                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
  97 {
  98         struct mdt_body *b;
  99
 100         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*b));
 101         b->fid1 = *fid;
 102         b->size = pgoff;                       /* !! */
 103         b->suppgid = -1;
 104         b->nlink = size;                        /* !! */
 105         mdc_pack_body(b);
 106         mdc_pack_capa(req, offset + 1, oc);
 107 }
 108
 109 /* packing of MDS records */
 110 void mdc_create_pack(struct ptlrpc_request *req, int offset,
 111                      struct md_op_data *op_data, const void *data, int datalen,
 112                      __u32 mode, __u32 uid, __u32 gid, __u32 cap_effective,
 113                      __u64 rdev)
 114 {
 115         struct mdt_rec_create *rec;
 116         char *tmp;
 117
 118         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 119
 120         rec->cr_opcode = REINT_CREATE;
 121         rec->cr_fsuid = uid;
 122         rec->cr_fsgid = gid;
 123         rec->cr_cap = cap_effective;
 124         rec->cr_fid1 = op_data->op_fid1;
 125         rec->cr_fid2 = op_data->op_fid2;
 126         rec->cr_mode = mode;
 127         rec->cr_rdev = rdev;
 128         rec->cr_time = op_data->op_mod_time;
 129         rec->cr_suppgid1 = op_data->op_suppgids[0];
 130         rec->cr_suppgid2 = op_data->op_suppgids[1];
 131         rec->cr_flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 132         rec->cr_bias = op_data->op_bias;
 133
 134         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 135
 136         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 137         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 138
 139         if (data) {
 140                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, datalen);
 141                 memcpy(tmp, data, datalen);
 142         }
 143 }
 144
 145 static __u32 mds_pack_open_flags(__u32 flags)
 146 {
 147         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 148                                    MDS_OPEN_HAS_EA | MDS_OPEN_HAS_OBJS |
 149                                    MDS_OPEN_OWNEROVERRIDE | MDS_OPEN_LOCK));
 150         if (flags & O_CREAT)
 151                 cr_flags |= MDS_OPEN_CREAT;
 152         if (flags & O_EXCL)
 153                 cr_flags |= MDS_OPEN_EXCL;
 154         if (flags & O_TRUNC)
 155                 cr_flags |= MDS_OPEN_TRUNC;
 156         if (flags & O_APPEND)
 157                 cr_flags |= MDS_OPEN_APPEND;
 158         if (flags & O_SYNC)
 159                 cr_flags |= MDS_OPEN_SYNC;
 160         if (flags & O_DIRECTORY)
 161                 cr_flags |= MDS_OPEN_DIRECTORY;
 162         if (flags & O_JOIN_FILE)
 163                 cr_flags |= MDS_OPEN_JOIN_FILE;
 164 #ifdef FMODE_EXEC
 165         if (flags & FMODE_EXEC)
 166                 cr_flags |= MDS_FMODE_EXEC;
 167 #endif
 168         if (flags & O_LOV_DELAY_CREATE)
 169                 cr_flags |= MDS_OPEN_DELAY_CREATE;
 170
 171         return cr_flags;
 172 }
 173
 174 /* packing of MDS records */
 175 void mdc_join_pack(struct ptlrpc_request *req, int offset,
 176                    struct md_op_data *op_data, __u64 head_size)
 177 {
 178         struct mdt_rec_join *rec;
 179
 180         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*rec));
 181         LASSERT(rec != NULL);
 182         rec->jr_fid = op_data->op_fid2;
 183         rec->jr_headsize = head_size;
 184 }
 185
 186 void mdc_open_pack(struct ptlrpc_request *req, int offset,
 187                    struct md_op_data *op_data, __u32 mode, __u64 rdev,
 188                    __u32 flags, const void *lmm, int lmmlen)
 189 {
 190         struct mdt_rec_create *rec;
 191         char *tmp;
 192         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 193
 194         /* XXX do something about time, uid, gid */
 195         rec->cr_opcode = REINT_OPEN;
 196         rec->cr_fsuid = current->fsuid;
 197         rec->cr_fsgid = current->fsgid;
 198         rec->cr_cap = current->cap_effective;
 199         if (op_data != NULL) {
 200                 rec->cr_fid1 = op_data->op_fid1;
 201                 rec->cr_fid2 = op_data->op_fid2;
 202         }
 203         rec->cr_mode = mode;
 204         rec->cr_flags = mds_pack_open_flags(flags);
 205         rec->cr_time = op_data->op_mod_time;
 206         rec->cr_rdev = rdev;
 207         rec->cr_suppgid1 = op_data->op_suppgids[0];
 208         rec->cr_suppgid2 = op_data->op_suppgids[1];
 209         rec->cr_bias = op_data->op_bias;
 210
 211         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 212         /* the next buffer is child capa, which is used for replay,
 213          * will be packed from the data in reply message. */
 214
 215         if (op_data->op_name) {
 216                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3,
 217                                      op_data->op_namelen + 1);
 218                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 219         }
 220
 221         if (lmm) {
 222                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 223 #ifndef __KERNEL__
 224                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 225                 rec->cr_fid2 = op_data->op_fid2;
 226 #endif
 227                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, lmmlen);
 228                 memcpy (tmp, lmm, lmmlen);
 229         }
 230 }
 231
 232 static inline __u64 attr_pack(unsigned int ia_valid) {
 233         __u64 sa_valid = 0;
 234
 235         if (ia_valid & ATTR_MODE)
 236                 sa_valid |= MDS_ATTR_MODE;
 237         if (ia_valid & ATTR_UID)
 238                 sa_valid |= MDS_ATTR_UID;
 239         if (ia_valid & ATTR_GID)
 240                 sa_valid |= MDS_ATTR_GID;
 241         if (ia_valid & ATTR_SIZE)
 242                 sa_valid |= MDS_ATTR_SIZE;
 243         if (ia_valid & ATTR_ATIME)
 244                 sa_valid |= MDS_ATTR_ATIME;
 245         if (ia_valid & ATTR_MTIME)
 246                 sa_valid |= MDS_ATTR_MTIME;
 247         if (ia_valid & ATTR_CTIME)
 248                 sa_valid |= MDS_ATTR_CTIME;
 249         if (ia_valid & ATTR_ATIME_SET)
 250                 sa_valid |= MDS_ATTR_ATIME_SET;
 251         if (ia_valid & ATTR_MTIME_SET)
 252                 sa_valid |= MDS_ATTR_MTIME_SET;
 253         if (ia_valid & ATTR_FORCE)
 254                 sa_valid |= MDS_ATTR_FORCE;
 255         if (ia_valid & ATTR_ATTR_FLAG)
 256                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 257         if (ia_valid & ATTR_KILL_SUID)
 258                 sa_valid |=  MDS_ATTR_KILL_SUID;
 259         if (ia_valid & ATTR_KILL_SGID)
 260                 sa_valid |= MDS_ATTR_KILL_SGID;
 261         if (ia_valid & ATTR_CTIME_SET)
 262                 sa_valid |= MDS_ATTR_CTIME_SET;
 263         if (ia_valid & ATTR_FROM_OPEN)
 264                 sa_valid |= MDS_ATTR_FROM_OPEN;
 265         if (ia_valid & ATTR_BLOCKS)
 266                 sa_valid |= MDS_ATTR_BLOCKS;
 267         if (ia_valid & MDS_OPEN_OWNEROVERRIDE)
 268                 /* NFSD hack (see bug 5781) */
 269                 sa_valid |= MDS_OPEN_OWNEROVERRIDE;
 270         return sa_valid;
 271 }
 272
 273 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 274                                  struct md_op_data *op_data)
 275 {
 276         rec->sa_opcode = REINT_SETATTR;
 277         rec->sa_fsuid = current->fsuid;
 278         rec->sa_fsgid = current->fsgid;
 279         rec->sa_cap = current->cap_effective;
 280         rec->sa_suppgid = -1;
 281
 282         rec->sa_fid = op_data->op_fid1;
 283         rec->sa_valid = attr_pack(op_data->op_attr.ia_valid);
 284         rec->sa_mode = op_data->op_attr.ia_mode;
 285         rec->sa_uid = op_data->op_attr.ia_uid;
 286         rec->sa_gid = op_data->op_attr.ia_gid;
 287         rec->sa_size = op_data->op_attr.ia_size;
 288         rec->sa_blocks = op_data->op_attr_blocks;
 289         rec->sa_atime = LTIME_S(op_data->op_attr.ia_atime);
 290         rec->sa_mtime = LTIME_S(op_data->op_attr.ia_mtime);
 291         rec->sa_ctime = LTIME_S(op_data->op_attr.ia_ctime);
 292         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 293         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 294             in_group_p(op_data->op_attr.ia_gid))
 295                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 296         else
 297                 rec->sa_suppgid = op_data->op_suppgids[0];
 298 }
 299
 300 static void mdc_epoch_pack(struct mdt_epoch *epoch, struct md_op_data *op_data)
 301 {
 302         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 303         epoch->ioepoch = op_data->op_ioepoch;
 304         epoch->flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 305 }
 306
 307 void mdc_setattr_pack(struct ptlrpc_request *req, int offset,
 308                       struct md_op_data *op_data, void *ea,
 309                       int ealen, void *ea2, int ea2len)
 310 {
 311         struct mdt_rec_setattr *rec;
 312         struct mdt_epoch *epoch;
 313
 314         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 315         mdc_setattr_pack_rec(rec, op_data);
 316
 317         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 318
 319         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 320                 epoch = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 321                                         sizeof(*epoch));
 322                 mdc_epoch_pack(epoch, op_data);
 323         }
 324
 325         if (ealen == 0)
 326                 return;
 327
 328         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 3, ealen), ea, ealen);
 329
 330         if (ea2len == 0)
 331                 return;
 332
 333         memcpy(lustre_msg_buf(req->rq_reqmsg, offset + 4, ea2len), ea2, ea2len);
 334 }
 335
 336 void mdc_unlink_pack(struct ptlrpc_request *req, int offset,
 337                      struct md_op_data *op_data)
 338 {
 339         struct mdt_rec_unlink *rec;
 340         char *tmp;
 341
 342         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 343         LASSERT (rec != NULL);
 344
 345         rec->ul_opcode = REINT_UNLINK;
 346         rec->ul_fsuid = op_data->op_fsuid;//current->fsuid;
 347         rec->ul_fsgid = op_data->op_fsgid;//current->fsgid;
 348         rec->ul_cap = op_data->op_cap;//current->cap_effective;
 349         rec->ul_mode = op_data->op_mode;
 350         rec->ul_suppgid = op_data->op_suppgids[0];
 351         rec->ul_fid1 = op_data->op_fid1;
 352         rec->ul_fid2 = op_data->op_fid2;
 353         rec->ul_time = op_data->op_mod_time;
 354         rec->ul_bias = op_data->op_bias;
 355
 356         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 357
 358         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2, op_data->op_namelen + 1);
 359         LASSERT(tmp != NULL);
 360         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 361 }
 362
 363 void mdc_link_pack(struct ptlrpc_request *req, int offset,
 364                    struct md_op_data *op_data)
 365 {
 366         struct mdt_rec_link *rec;
 367         char *tmp;
 368
 369         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 370
 371         rec->lk_opcode = REINT_LINK;
 372         rec->lk_fsuid = op_data->op_fsuid;//current->fsuid;
 373         rec->lk_fsgid = op_data->op_fsgid;//current->fsgid;
 374         rec->lk_cap = op_data->op_cap;//current->cap_effective;
 375         rec->lk_suppgid1 = op_data->op_suppgids[0];
 376         rec->lk_suppgid2 = op_data->op_suppgids[1];
 377         rec->lk_fid1 = op_data->op_fid1;
 378         rec->lk_fid2 = op_data->op_fid2;
 379         rec->lk_time = op_data->op_mod_time;
 380         rec->lk_bias = op_data->op_bias;
 381
 382         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 383         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 384
 385         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, op_data->op_namelen + 1);
 386         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 387 }
 388
 389 void mdc_rename_pack(struct ptlrpc_request *req, int offset,
 390                      struct md_op_data *op_data,
 391                      const char *old, int oldlen, const char *new, int newlen)
 392 {
 393         struct mdt_rec_rename *rec;
 394         char *tmp;
 395
 396         rec = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*rec));
 397
 398         /* XXX do something about time, uid, gid */
 399         rec->rn_opcode = REINT_RENAME;
 400         rec->rn_fsuid = op_data->op_fsuid;//current->fsuid;
 401         rec->rn_fsgid = op_data->op_fsgid;//current->fsgid;
 402         rec->rn_cap = op_data->op_cap;//current->cap_effective;
 403         rec->rn_suppgid1 = op_data->op_suppgids[0];
 404         rec->rn_suppgid2 = op_data->op_suppgids[1];
 405         rec->rn_fid1 = op_data->op_fid1;
 406         rec->rn_fid2 = op_data->op_fid2;
 407         rec->rn_time = op_data->op_mod_time;
 408         rec->rn_mode = op_data->op_mode;
 409         rec->rn_bias = op_data->op_bias;
 410
 411         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 412         mdc_pack_capa(req, offset + 2, op_data->op_capa2);
 413
 414         tmp = lustre_msg_buf(req->rq_reqmsg, offset + 3, oldlen + 1);
 415         LOGL0(old, oldlen, tmp);
 416
 417         if (new) {
 418                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 4, newlen + 1);
 419                 LOGL0(new, newlen, tmp);
 420         }
 421 }
 422
 423 void mdc_getattr_pack(struct ptlrpc_request *req, int offset, __u64 valid,
 424                       int flags, struct md_op_data *op_data)
 425 {
 426         struct mdt_body *b;
 427         b = lustre_msg_buf(req->rq_reqmsg, offset, sizeof (*b));
 428
 429         b->fsuid = current->fsuid;
 430         b->fsgid = current->fsgid;
 431         b->capability = current->cap_effective;
 432         b->valid = valid;
 433         if (op_data->op_bias & MDS_CHECK_SPLIT)
 434                 b->valid |= OBD_MD_FLCKSPLIT;
 435         if (op_data->op_bias & MDS_CROSS_REF)
 436                 b->valid |= OBD_MD_FLCROSSREF;
 437         b->flags = flags | MDS_BFLAG_EXT_FLAGS;
 438         b->suppgid = op_data->op_suppgids[0];
 439
 440         b->fid1 = op_data->op_fid1;
 441         b->fid2 = op_data->op_fid2;
 442
 443         mdc_pack_capa(req, offset + 1, op_data->op_capa1);
 444
 445         if (op_data->op_name) {
 446                 char *tmp;
 447                 tmp = lustre_msg_buf(req->rq_reqmsg, offset + 2,
 448                                      op_data->op_namelen + 1);
 449                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 450         }
 451 }
 452
 453 void mdc_close_pack(struct ptlrpc_request *req, int offset,
 454                     struct md_op_data *op_data)
 455 {
 456         struct mdt_epoch *epoch;
 457         struct mdt_rec_setattr *rec;
 458
 459         epoch = lustre_msg_buf(req->rq_reqmsg, offset, sizeof(*epoch));
 460         rec = lustre_msg_buf(req->rq_reqmsg, offset + 1, sizeof(*rec));
 461
 462         mdc_setattr_pack_rec(rec, op_data);
 463         mdc_pack_capa(req, offset + 2, op_data->op_capa1);
 464         mdc_epoch_pack(epoch, op_data);
 465 }
 466
 467 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 468 {
 469         int rc;
 470         ENTRY;
 471         spin_lock(&cli->cl_loi_list_lock);
 472         rc = list_empty(&mcw->mcw_entry);
 473         spin_unlock(&cli->cl_loi_list_lock);
 474         RETURN(rc);
 475 };
 476
 477 /* We record requests in flight in cli->cl_r_in_flight here.
 478  * There is only one write rpc possible in mdc anyway. If this to change
 479  * in the future - the code may need to be revisited. */
 480 void mdc_enter_request(struct client_obd *cli)
 481 {
 482         struct mdc_cache_waiter mcw;
 483         struct l_wait_info lwi = { 0 };
 484
 485         spin_lock(&cli->cl_loi_list_lock);
 486         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 487                 list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 488                 init_waitqueue_head(&mcw.mcw_waitq);
 489                 spin_unlock(&cli->cl_loi_list_lock);
 490                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 491         } else {
 492                 cli->cl_r_in_flight++;
 493                 spin_unlock(&cli->cl_loi_list_lock);
 494         }
 495 }
 496
 497 void mdc_exit_request(struct client_obd *cli)
 498 {
 499         struct list_head *l, *tmp;
 500         struct mdc_cache_waiter *mcw;
 501
 502         spin_lock(&cli->cl_loi_list_lock);
 503         cli->cl_r_in_flight--;
 504         list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 505
 506                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 507                         /* No free request slots anymore */
 508                         break;
 509                 }
 510
 511                 mcw = list_entry(l, struct mdc_cache_waiter, mcw_entry);
 512                 list_del_init(&mcw->mcw_entry);
 513                 cli->cl_r_in_flight++;
 514                 wake_up(&mcw->mcw_waitq);
 515         }
 516         /* Empty waiting list? Decrease reqs in-flight number */
 517
 518         spin_unlock(&cli->cl_loi_list_lock);
 519 }