lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  *  Copyright (c) 2003 Cluster File Systems, Inc.
   5  *
   6  *   This file is part of the Lustre file system, http://www.lustre.org
   7  *   Lustre is a trademark of Cluster File Systems, Inc.
   8  *
   9  *   You may have signed or agreed to another license before downloading
  10  *   this software.  If so, you are bound by the terms and conditions
  11  *   of that agreement, and the following does not apply to you.  See the
  12  *   LICENSE file included with this distribution for more information.
  13  *
  14  *   If you did not agree to a different license, then this copy of Lustre
  15  *   is open source software; you can redistribute it and/or modify it
  16  *   under the terms of version 2 of the GNU General Public License as
  17  *   published by the Free Software Foundation.
  18  *
  19  *   In either case, Lustre is distributed in the hope that it will be
  20  *   useful, but WITHOUT ANY WARRANTY; without even the implied warranty
  21  *   of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  22  *   license text for more details.
  23  */
  24
  25 #define DEBUG_SUBSYSTEM S_MDC
  26 #ifndef __KERNEL__
  27 # include <fcntl.h>
  28 # include <liblustre.h>
  29 #endif
  30 #include <lustre/lustre_idl.h>
  31 #include <lustre_net.h>
  32 #include "mdc_internal.h"
  33
  34 #ifndef __KERNEL__
  35 /* some liblustre hackings here */
  36 #ifndef O_DIRECTORY
  37 #define O_DIRECTORY     0
  38 #endif
  39 #endif
  40
  41 static void __mdc_pack_body(struct mdt_body *b, __u32 suppgid)
  42 {
  43         LASSERT (b != NULL);
  44
  45         b->suppgid = suppgid;
  46         b->uid = current->uid;
  47         b->gid = current->gid;
  48         b->fsuid = current->fsuid;
  49         b->fsgid = current->fsgid;
  50         b->capability = current->cap_effective;
  51 }
  52
  53 void mdc_pack_capa(struct ptlrpc_request *req, const struct req_msg_field *field,
  54                    struct obd_capa *oc)
  55 {
  56         struct req_capsule *pill = &req->rq_pill;
  57         struct lustre_capa *c;
  58
  59         if (oc == NULL) {
  60                 LASSERT(req_capsule_get_size(pill, field, RCL_CLIENT) == 0);
  61                 return;
  62         }
  63
  64         c = req_capsule_client_get(pill, field);
  65         LASSERT(c != NULL);
  66         capa_cpy(c, oc);
  67         DEBUG_CAPA(D_SEC, c, "pack");
  68 }
  69
  70 void mdc_is_subdir_pack(struct ptlrpc_request *req, const struct lu_fid *pfid,
  71                         const struct lu_fid *cfid, int flags)
  72 {
  73         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
  74                                                     &RMF_MDT_BODY);
  75
  76         if (pfid) {
  77                 b->fid1 = *pfid;
  78                 b->valid = OBD_MD_FLID;
  79         }
  80         if (cfid)
  81                 b->fid2 = *cfid;
  82         b->flags = flags;
  83 }
  84
  85 void mdc_pack_body(struct ptlrpc_request *req,
  86                    const struct lu_fid *fid, struct obd_capa *oc,
  87                    __u64 valid, int ea_size, __u32 suppgid, int flags)
  88 {
  89         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
  90                                                     &RMF_MDT_BODY);
  91         LASSERT(b != NULL);
  92         b->valid = valid;
  93         b->eadatasize = ea_size;
  94         b->flags = flags;
  95         __mdc_pack_body(b, suppgid);
  96         if (fid) {
  97                 b->fid1 = *fid;
  98                 b->valid |= OBD_MD_FLID;
  99                 mdc_pack_capa(req, &RMF_CAPA1, oc);
 100         }
 101 }
 102
 103 void mdc_readdir_pack(struct ptlrpc_request *req, __u64 pgoff,
 104                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
 105 {
 106         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
 107                                                     &RMF_MDT_BODY);
 108         b->fid1 = *fid;
 109         b->valid |= OBD_MD_FLID;
 110         b->size = pgoff;                       /* !! */
 111         b->nlink = size;                        /* !! */
 112         __mdc_pack_body(b, -1);
 113         mdc_pack_capa(req, &RMF_CAPA1, oc);
 114 }
 115
 116 /* packing of MDS records */
 117 void mdc_create_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 118                      const void *data, int datalen, __u32 mode,
 119                      __u32 uid, __u32 gid, __u32 cap_effective, __u64 rdev)
 120 {
 121         struct mdt_rec_create *rec;
 122         char                  *tmp;
 123
 124         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_create));
 125         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 126
 127
 128         rec->cr_opcode   = REINT_CREATE;
 129         rec->cr_fsuid    = uid;
 130         rec->cr_fsgid    = gid;
 131         rec->cr_cap      = cap_effective;
 132         rec->cr_fid1     = op_data->op_fid1;
 133         rec->cr_fid2     = op_data->op_fid2;
 134         rec->cr_mode     = mode;
 135         rec->cr_rdev     = rdev;
 136         rec->cr_time     = op_data->op_mod_time;
 137         rec->cr_suppgid1 = op_data->op_suppgids[0];
 138         rec->cr_suppgid2 = op_data->op_suppgids[1];
 139         rec->cr_flags    = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 140         rec->cr_bias     = op_data->op_bias;
 141
 142         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 143
 144         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 145         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 146
 147         if (data) {
 148                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_EADATA);
 149                 memcpy(tmp, data, datalen);
 150         }
 151 }
 152
 153 static __u32 mds_pack_open_flags(__u32 flags)
 154 {
 155         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 156                                    MDS_OPEN_HAS_EA | MDS_OPEN_HAS_OBJS |
 157                                    MDS_OPEN_OWNEROVERRIDE | MDS_OPEN_LOCK));
 158         if (flags & O_CREAT)
 159                 cr_flags |= MDS_OPEN_CREAT;
 160         if (flags & O_EXCL)
 161                 cr_flags |= MDS_OPEN_EXCL;
 162         if (flags & O_TRUNC)
 163                 cr_flags |= MDS_OPEN_TRUNC;
 164         if (flags & O_APPEND)
 165                 cr_flags |= MDS_OPEN_APPEND;
 166         if (flags & O_SYNC)
 167                 cr_flags |= MDS_OPEN_SYNC;
 168         if (flags & O_DIRECTORY)
 169                 cr_flags |= MDS_OPEN_DIRECTORY;
 170         if (flags & O_JOIN_FILE)
 171                 cr_flags |= MDS_OPEN_JOIN_FILE;
 172 #ifdef FMODE_EXEC
 173         if (flags & FMODE_EXEC)
 174                 cr_flags |= MDS_FMODE_EXEC;
 175 #endif
 176         if (flags & O_LOV_DELAY_CREATE)
 177                 cr_flags |= MDS_OPEN_DELAY_CREATE;
 178
 179         return cr_flags;
 180 }
 181
 182 /* packing of MDS records */
 183 void mdc_join_pack(struct ptlrpc_request *req,
 184                    struct md_op_data *op_data,
 185                    __u64 head_size)
 186 {
 187         struct mdt_rec_join *rec;
 188
 189         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_JOINFILE);
 190         LASSERT(rec != NULL);
 191         rec->jr_fid = op_data->op_fid2;
 192         rec->jr_headsize = head_size;
 193 }
 194
 195 void mdc_open_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 196                    __u32 mode, __u64 rdev, __u32 flags, const void *lmm,
 197                    int lmmlen)
 198 {
 199         struct mdt_rec_create *rec;
 200         char *tmp;
 201
 202         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_create));
 203         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 204
 205         /* XXX do something about time, uid, gid */
 206         rec->cr_opcode   = REINT_OPEN;
 207         rec->cr_fsuid    = current->fsuid;
 208         rec->cr_fsgid    = current->fsgid;
 209         rec->cr_cap      = current->cap_effective;
 210         if (op_data != NULL) {
 211                 rec->cr_fid1 = op_data->op_fid1;
 212                 rec->cr_fid2 = op_data->op_fid2;
 213         }
 214         rec->cr_mode     = mode;
 215         rec->cr_flags    = mds_pack_open_flags(flags);
 216         rec->cr_rdev     = rdev;
 217         rec->cr_time     = op_data->op_mod_time;
 218         rec->cr_suppgid1 = op_data->op_suppgids[0];
 219         rec->cr_suppgid2 = op_data->op_suppgids[1];
 220         rec->cr_bias     = op_data->op_bias;
 221
 222         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 223         /* the next buffer is child capa, which is used for replay,
 224          * will be packed from the data in reply message. */
 225
 226         if (op_data->op_name) {
 227                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 228                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 229         }
 230
 231         if (lmm) {
 232                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 233 #ifndef __KERNEL__
 234                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 235                 rec->cr_fid2 = op_data->op_fid2;
 236 #endif
 237                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_EADATA);
 238                 memcpy (tmp, lmm, lmmlen);
 239         }
 240 }
 241
 242 static inline __u64 attr_pack(unsigned int ia_valid) {
 243         __u64 sa_valid = 0;
 244
 245         if (ia_valid & ATTR_MODE)
 246                 sa_valid |= MDS_ATTR_MODE;
 247         if (ia_valid & ATTR_UID)
 248                 sa_valid |= MDS_ATTR_UID;
 249         if (ia_valid & ATTR_GID)
 250                 sa_valid |= MDS_ATTR_GID;
 251         if (ia_valid & ATTR_SIZE)
 252                 sa_valid |= MDS_ATTR_SIZE;
 253         if (ia_valid & ATTR_ATIME)
 254                 sa_valid |= MDS_ATTR_ATIME;
 255         if (ia_valid & ATTR_MTIME)
 256                 sa_valid |= MDS_ATTR_MTIME;
 257         if (ia_valid & ATTR_CTIME)
 258                 sa_valid |= MDS_ATTR_CTIME;
 259         if (ia_valid & ATTR_ATIME_SET)
 260                 sa_valid |= MDS_ATTR_ATIME_SET;
 261         if (ia_valid & ATTR_MTIME_SET)
 262                 sa_valid |= MDS_ATTR_MTIME_SET;
 263         if (ia_valid & ATTR_FORCE)
 264                 sa_valid |= MDS_ATTR_FORCE;
 265         if (ia_valid & ATTR_ATTR_FLAG)
 266                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 267         if (ia_valid & ATTR_KILL_SUID)
 268                 sa_valid |=  MDS_ATTR_KILL_SUID;
 269         if (ia_valid & ATTR_KILL_SGID)
 270                 sa_valid |= MDS_ATTR_KILL_SGID;
 271         if (ia_valid & ATTR_CTIME_SET)
 272                 sa_valid |= MDS_ATTR_CTIME_SET;
 273         if (ia_valid & ATTR_FROM_OPEN)
 274                 sa_valid |= MDS_ATTR_FROM_OPEN;
 275         if (ia_valid & ATTR_BLOCKS)
 276                 sa_valid |= MDS_ATTR_BLOCKS;
 277         if (ia_valid & MDS_OPEN_OWNEROVERRIDE)
 278                 /* NFSD hack (see bug 5781) */
 279                 sa_valid |= MDS_OPEN_OWNEROVERRIDE;
 280         return sa_valid;
 281 }
 282
 283 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 284                                  struct md_op_data *op_data)
 285 {
 286         rec->sa_opcode  = REINT_SETATTR;
 287         rec->sa_fsuid   = current->fsuid;
 288         rec->sa_fsgid   = current->fsgid;
 289         rec->sa_cap     = current->cap_effective;
 290         rec->sa_suppgid = -1;
 291
 292         rec->sa_fid    = op_data->op_fid1;
 293         rec->sa_valid  = attr_pack(op_data->op_attr.ia_valid);
 294         rec->sa_mode   = op_data->op_attr.ia_mode;
 295         rec->sa_uid    = op_data->op_attr.ia_uid;
 296         rec->sa_gid    = op_data->op_attr.ia_gid;
 297         rec->sa_size   = op_data->op_attr.ia_size;
 298         rec->sa_blocks = op_data->op_attr_blocks;
 299         rec->sa_atime  = LTIME_S(op_data->op_attr.ia_atime);
 300         rec->sa_mtime  = LTIME_S(op_data->op_attr.ia_mtime);
 301         rec->sa_ctime  = LTIME_S(op_data->op_attr.ia_ctime);
 302         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 303         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 304             in_group_p(op_data->op_attr.ia_gid))
 305                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 306         else
 307                 rec->sa_suppgid = op_data->op_suppgids[0];
 308 }
 309
 310 static void mdc_epoch_pack(struct mdt_epoch *epoch, struct md_op_data *op_data)
 311 {
 312         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 313         epoch->ioepoch = op_data->op_ioepoch;
 314         epoch->flags = op_data->op_flags & ~MF_SOM_LOCAL_FLAGS;
 315 }
 316
 317 void mdc_setattr_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 318                       void *ea, int ealen, void *ea2, int ea2len)
 319 {
 320         struct mdt_rec_setattr *rec;
 321         struct mdt_epoch *epoch;
 322
 323         CLASSERT(sizeof(struct mdt_rec_reint) ==sizeof(struct mdt_rec_setattr));
 324         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 325         mdc_setattr_pack_rec(rec, op_data);
 326
 327         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 328
 329         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 330                 epoch = req_capsule_client_get(&req->rq_pill, &RMF_MDT_EPOCH);
 331                 mdc_epoch_pack(epoch, op_data);
 332         }
 333
 334         if (ealen == 0)
 335                 return;
 336
 337         memcpy(req_capsule_client_get(&req->rq_pill, &RMF_EADATA), ea, ealen);
 338
 339         if (ea2len == 0)
 340                 return;
 341
 342         memcpy(req_capsule_client_get(&req->rq_pill, &RMF_LOGCOOKIES), ea2,
 343                ea2len);
 344 }
 345
 346 void mdc_unlink_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 347 {
 348         struct mdt_rec_unlink *rec;
 349         char *tmp;
 350
 351         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_unlink));
 352         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 353         LASSERT (rec != NULL);
 354
 355         rec->ul_opcode  = REINT_UNLINK;
 356         rec->ul_fsuid   = op_data->op_fsuid;
 357         rec->ul_fsgid   = op_data->op_fsgid;
 358         rec->ul_cap     = op_data->op_cap;
 359         rec->ul_mode    = op_data->op_mode;
 360         rec->ul_suppgid1= op_data->op_suppgids[0];
 361         rec->ul_suppgid2= -1;
 362         rec->ul_fid1    = op_data->op_fid1;
 363         rec->ul_fid2    = op_data->op_fid2;
 364         rec->ul_time    = op_data->op_mod_time;
 365         rec->ul_bias    = op_data->op_bias;
 366
 367         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 368
 369         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 370         LASSERT(tmp != NULL);
 371         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 372 }
 373
 374 void mdc_link_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 375 {
 376         struct mdt_rec_link *rec;
 377         char *tmp;
 378
 379         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_link));
 380         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 381         LASSERT (rec != NULL);
 382
 383         rec->lk_opcode   = REINT_LINK;
 384         rec->lk_fsuid    = op_data->op_fsuid;//current->fsuid;
 385         rec->lk_fsgid    = op_data->op_fsgid;//current->fsgid;
 386         rec->lk_cap      = op_data->op_cap;//current->cap_effective;
 387         rec->lk_suppgid1 = op_data->op_suppgids[0];
 388         rec->lk_suppgid2 = op_data->op_suppgids[1];
 389         rec->lk_fid1     = op_data->op_fid1;
 390         rec->lk_fid2     = op_data->op_fid2;
 391         rec->lk_time     = op_data->op_mod_time;
 392         rec->lk_bias     = op_data->op_bias;
 393
 394         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 395         mdc_pack_capa(req, &RMF_CAPA2, op_data->op_capa2);
 396
 397         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 398         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 399 }
 400
 401 void mdc_rename_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 402                      const char *old, int oldlen, const char *new, int newlen)
 403 {
 404         struct mdt_rec_rename *rec;
 405         char *tmp;
 406
 407         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_rename));
 408         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 409
 410         /* XXX do something about time, uid, gid */
 411         rec->rn_opcode   = REINT_RENAME;
 412         rec->rn_fsuid    = op_data->op_fsuid;
 413         rec->rn_fsgid    = op_data->op_fsgid;
 414         rec->rn_cap      = op_data->op_cap;
 415         rec->rn_suppgid1 = op_data->op_suppgids[0];
 416         rec->rn_suppgid2 = op_data->op_suppgids[1];
 417         rec->rn_fid1     = op_data->op_fid1;
 418         rec->rn_fid2     = op_data->op_fid2;
 419         rec->rn_time     = op_data->op_mod_time;
 420         rec->rn_mode     = op_data->op_mode;
 421         rec->rn_bias     = op_data->op_bias;
 422
 423         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 424         mdc_pack_capa(req, &RMF_CAPA2, op_data->op_capa2);
 425
 426         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 427         LOGL0(old, oldlen, tmp);
 428
 429         if (new) {
 430                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_SYMTGT);
 431                 LOGL0(new, newlen, tmp);
 432         }
 433 }
 434
 435 void mdc_getattr_pack(struct ptlrpc_request *req, __u64 valid, int flags,
 436                       struct md_op_data *op_data)
 437 {
 438         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
 439                                                     &RMF_MDT_BODY);
 440
 441         b->fsuid = current->fsuid;
 442         b->fsgid = current->fsgid;
 443         b->capability = current->cap_effective;
 444         b->valid = valid;
 445         if (op_data->op_bias & MDS_CHECK_SPLIT)
 446                 b->valid |= OBD_MD_FLCKSPLIT;
 447         if (op_data->op_bias & MDS_CROSS_REF)
 448                 b->valid |= OBD_MD_FLCROSSREF;
 449         b->flags = flags | MDS_BFLAG_EXT_FLAGS;
 450         b->suppgid = op_data->op_suppgids[0];
 451
 452         b->fid1 = op_data->op_fid1;
 453         b->fid2 = op_data->op_fid2;
 454         b->valid |= OBD_MD_FLID;
 455
 456         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 457
 458         if (op_data->op_name) {
 459                 char *tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 460                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 461         }
 462 }
 463
 464 void mdc_close_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 465 {
 466         struct mdt_epoch *epoch;
 467         struct mdt_rec_setattr *rec;
 468
 469         epoch = req_capsule_client_get(&req->rq_pill, &RMF_MDT_EPOCH);
 470         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 471
 472         mdc_setattr_pack_rec(rec, op_data);
 473         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 474         mdc_epoch_pack(epoch, op_data);
 475 }
 476
 477 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 478 {
 479         int rc;
 480         ENTRY;
 481         spin_lock(&cli->cl_loi_list_lock);
 482         rc = list_empty(&mcw->mcw_entry);
 483         spin_unlock(&cli->cl_loi_list_lock);
 484         RETURN(rc);
 485 };
 486
 487 /* We record requests in flight in cli->cl_r_in_flight here.
 488  * There is only one write rpc possible in mdc anyway. If this to change
 489  * in the future - the code may need to be revisited. */
 490 void mdc_enter_request(struct client_obd *cli)
 491 {
 492         struct mdc_cache_waiter mcw;
 493         struct l_wait_info lwi = { 0 };
 494
 495         spin_lock(&cli->cl_loi_list_lock);
 496         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 497                 list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 498                 init_waitqueue_head(&mcw.mcw_waitq);
 499                 spin_unlock(&cli->cl_loi_list_lock);
 500                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 501         } else {
 502                 cli->cl_r_in_flight++;
 503                 spin_unlock(&cli->cl_loi_list_lock);
 504         }
 505 }
 506
 507 void mdc_exit_request(struct client_obd *cli)
 508 {
 509         struct list_head *l, *tmp;
 510         struct mdc_cache_waiter *mcw;
 511
 512         spin_lock(&cli->cl_loi_list_lock);
 513         cli->cl_r_in_flight--;
 514         list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 515
 516                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 517                         /* No free request slots anymore */
 518                         break;
 519                 }
 520
 521                 mcw = list_entry(l, struct mdc_cache_waiter, mcw_entry);
 522                 list_del_init(&mcw->mcw_entry);
 523                 cli->cl_r_in_flight++;
 524                 wake_up(&mcw->mcw_waitq);
 525         }
 526         /* Empty waiting list? Decrease reqs in-flight number */
 527
 528         spin_unlock(&cli->cl_loi_list_lock);
 529 }