lustre/mdc/mdc_lib.c

   1 /* -*- mode: c; c-basic-offset: 8; indent-tabs-mode: nil; -*-
   2  * vim:expandtab:shiftwidth=8:tabstop=8:
   3  *
   4  * GPL HEADER START
   5  *
   6  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 only,
  10  * as published by the Free Software Foundation.
  11  *
  12  * This program is distributed in the hope that it will be useful, but
  13  * WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * General Public License version 2 for more details (a copy is included
  16  * in the LICENSE file that accompanied this code).
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * version 2 along with this program; If not, see
  20  * http://www.sun.com/software/products/lustre/docs/GPLv2.pdf
  21  *
  22  * Please contact Sun Microsystems, Inc., 4150 Network Circle, Santa Clara,
  23  * CA 95054 USA or visit www.sun.com if you need additional information or
  24  * have any questions.
  25  *
  26  * GPL HEADER END
  27  */
  28 /*
  29  * Copyright  2008 Sun Microsystems, Inc. All rights reserved
  30  * Use is subject to license terms.
  31  */
  32 /*
  33  * This file is part of Lustre, http://www.lustre.org/
  34  * Lustre is a trademark of Sun Microsystems, Inc.
  35  */
  36
  37 #define DEBUG_SUBSYSTEM S_MDC
  38 #ifndef __KERNEL__
  39 # include <fcntl.h>
  40 # include <liblustre.h>
  41 #endif
  42 #include <lustre_net.h>
  43 #include <lustre/lustre_idl.h>
  44 #include "mdc_internal.h"
  45
  46 #ifndef __KERNEL__
  47 /* some liblustre hackings here */
  48 #ifndef O_DIRECTORY
  49 #define O_DIRECTORY     0
  50 #endif
  51 #endif
  52
  53 static void __mdc_pack_body(struct mdt_body *b, __u32 suppgid)
  54 {
  55         LASSERT (b != NULL);
  56
  57         b->suppgid = suppgid;
  58         b->uid = cfs_curproc_uid();
  59         b->gid = cfs_curproc_gid();
  60         b->fsuid = cfs_curproc_fsuid();
  61         b->fsgid = cfs_curproc_fsgid();
  62         b->capability = cfs_curproc_cap_pack();
  63 }
  64
  65 void mdc_pack_capa(struct ptlrpc_request *req, const struct req_msg_field *field,
  66                    struct obd_capa *oc)
  67 {
  68         struct req_capsule *pill = &req->rq_pill;
  69         struct lustre_capa *c;
  70
  71         if (oc == NULL) {
  72                 LASSERT(req_capsule_get_size(pill, field, RCL_CLIENT) == 0);
  73                 return;
  74         }
  75
  76         c = req_capsule_client_get(pill, field);
  77         LASSERT(c != NULL);
  78         capa_cpy(c, oc);
  79         DEBUG_CAPA(D_SEC, c, "pack");
  80 }
  81
  82 void mdc_is_subdir_pack(struct ptlrpc_request *req, const struct lu_fid *pfid,
  83                         const struct lu_fid *cfid, int flags)
  84 {
  85         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
  86                                                     &RMF_MDT_BODY);
  87
  88         if (pfid) {
  89                 b->fid1 = *pfid;
  90                 b->valid = OBD_MD_FLID;
  91         }
  92         if (cfid)
  93                 b->fid2 = *cfid;
  94         b->flags = flags;
  95 }
  96
  97 void mdc_pack_body(struct ptlrpc_request *req,
  98                    const struct lu_fid *fid, struct obd_capa *oc,
  99                    __u64 valid, int ea_size, __u32 suppgid, int flags)
 100 {
 101         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
 102                                                     &RMF_MDT_BODY);
 103         LASSERT(b != NULL);
 104         b->valid = valid;
 105         b->eadatasize = ea_size;
 106         b->flags = flags;
 107         __mdc_pack_body(b, suppgid);
 108         if (fid) {
 109                 b->fid1 = *fid;
 110                 b->valid |= OBD_MD_FLID;
 111                 mdc_pack_capa(req, &RMF_CAPA1, oc);
 112         }
 113 }
 114
 115 void mdc_readdir_pack(struct ptlrpc_request *req, __u64 pgoff,
 116                       __u32 size, const struct lu_fid *fid, struct obd_capa *oc)
 117 {
 118         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
 119                                                     &RMF_MDT_BODY);
 120         b->fid1 = *fid;
 121         b->valid |= OBD_MD_FLID;
 122         b->size = pgoff;                       /* !! */
 123         b->nlink = size;                        /* !! */
 124         __mdc_pack_body(b, -1);
 125         b->mode = LUDA_FID | LUDA_TYPE;
 126
 127         mdc_pack_capa(req, &RMF_CAPA1, oc);
 128 }
 129
 130 /* packing of MDS records */
 131 void mdc_create_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 132                      const void *data, int datalen, __u32 mode,
 133                      __u32 uid, __u32 gid, cfs_cap_t cap_effective, __u64 rdev)
 134 {
 135         struct mdt_rec_create *rec;
 136         char                  *tmp;
 137
 138         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_create));
 139         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 140
 141
 142         rec->cr_opcode   = REINT_CREATE;
 143         rec->cr_fsuid    = uid;
 144         rec->cr_fsgid    = gid;
 145         rec->cr_cap      = cap_effective;
 146         rec->cr_fid1     = op_data->op_fid1;
 147         rec->cr_fid2     = op_data->op_fid2;
 148         rec->cr_mode     = mode;
 149         rec->cr_rdev     = rdev;
 150         rec->cr_time     = op_data->op_mod_time;
 151         rec->cr_suppgid1 = op_data->op_suppgids[0];
 152         rec->cr_suppgid2 = op_data->op_suppgids[1];
 153         rec->cr_flags    = op_data->op_flags & MF_SOM_LOCAL_FLAGS;
 154         rec->cr_bias     = op_data->op_bias;
 155
 156         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 157
 158         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 159         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 160
 161         if (data) {
 162                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_EADATA);
 163                 memcpy(tmp, data, datalen);
 164         }
 165 }
 166
 167 static __u32 mds_pack_open_flags(__u32 flags, __u32 mode)
 168 {
 169         __u32 cr_flags = (flags & (FMODE_READ | FMODE_WRITE |
 170                                    MDS_OPEN_HAS_EA | MDS_OPEN_HAS_OBJS |
 171                                    MDS_OPEN_OWNEROVERRIDE | MDS_OPEN_LOCK));
 172         if (flags & O_CREAT)
 173                 cr_flags |= MDS_OPEN_CREAT;
 174         if (flags & O_EXCL)
 175                 cr_flags |= MDS_OPEN_EXCL;
 176         if (flags & O_TRUNC)
 177                 cr_flags |= MDS_OPEN_TRUNC;
 178         if (flags & O_APPEND)
 179                 cr_flags |= MDS_OPEN_APPEND;
 180         if (flags & O_SYNC)
 181                 cr_flags |= MDS_OPEN_SYNC;
 182         if (flags & O_DIRECTORY)
 183                 cr_flags |= MDS_OPEN_DIRECTORY;
 184 #ifdef FMODE_EXEC
 185         if (flags & FMODE_EXEC)
 186                 cr_flags |= MDS_FMODE_EXEC;
 187 #endif
 188         if (flags & O_LOV_DELAY_CREATE)
 189                 cr_flags |= MDS_OPEN_DELAY_CREATE;
 190
 191         return cr_flags;
 192 }
 193
 194 /* packing of MDS records */
 195 void mdc_open_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 196                    __u32 mode, __u64 rdev, __u32 flags, const void *lmm,
 197                    int lmmlen)
 198 {
 199         struct mdt_rec_create *rec;
 200         char *tmp;
 201
 202         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_create));
 203         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 204
 205         /* XXX do something about time, uid, gid */
 206         rec->cr_opcode   = REINT_OPEN;
 207         rec->cr_fsuid   = cfs_curproc_fsuid();
 208         rec->cr_fsgid   = cfs_curproc_fsgid();
 209         rec->cr_cap      = cfs_curproc_cap_pack();
 210         if (op_data != NULL) {
 211                 rec->cr_fid1 = op_data->op_fid1;
 212                 rec->cr_fid2 = op_data->op_fid2;
 213         }
 214         rec->cr_mode     = mode;
 215         rec->cr_flags    = mds_pack_open_flags(flags, mode);
 216         rec->cr_rdev     = rdev;
 217         rec->cr_time     = op_data->op_mod_time;
 218         rec->cr_suppgid1 = op_data->op_suppgids[0];
 219         rec->cr_suppgid2 = op_data->op_suppgids[1];
 220         rec->cr_bias     = op_data->op_bias;
 221
 222         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 223         /* the next buffer is child capa, which is used for replay,
 224          * will be packed from the data in reply message. */
 225
 226         if (op_data->op_name) {
 227                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 228                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 229         }
 230
 231         if (lmm) {
 232                 rec->cr_flags |= MDS_OPEN_HAS_EA;
 233 #ifndef __KERNEL__
 234                 /*XXX a hack for liblustre to set EA (LL_IOC_LOV_SETSTRIPE) */
 235                 rec->cr_fid2 = op_data->op_fid2;
 236 #endif
 237                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_EADATA);
 238                 memcpy (tmp, lmm, lmmlen);
 239         }
 240 }
 241
 242 static inline __u64 attr_pack(unsigned int ia_valid) {
 243         __u64 sa_valid = 0;
 244
 245         if (ia_valid & ATTR_MODE)
 246                 sa_valid |= MDS_ATTR_MODE;
 247         if (ia_valid & ATTR_UID)
 248                 sa_valid |= MDS_ATTR_UID;
 249         if (ia_valid & ATTR_GID)
 250                 sa_valid |= MDS_ATTR_GID;
 251         if (ia_valid & ATTR_SIZE)
 252                 sa_valid |= MDS_ATTR_SIZE;
 253         if (ia_valid & ATTR_ATIME)
 254                 sa_valid |= MDS_ATTR_ATIME;
 255         if (ia_valid & ATTR_MTIME)
 256                 sa_valid |= MDS_ATTR_MTIME;
 257         if (ia_valid & ATTR_CTIME)
 258                 sa_valid |= MDS_ATTR_CTIME;
 259         if (ia_valid & ATTR_ATIME_SET)
 260                 sa_valid |= MDS_ATTR_ATIME_SET;
 261         if (ia_valid & ATTR_MTIME_SET)
 262                 sa_valid |= MDS_ATTR_MTIME_SET;
 263         if (ia_valid & ATTR_FORCE)
 264                 sa_valid |= MDS_ATTR_FORCE;
 265         if (ia_valid & ATTR_ATTR_FLAG)
 266                 sa_valid |= MDS_ATTR_ATTR_FLAG;
 267         if (ia_valid & ATTR_KILL_SUID)
 268                 sa_valid |=  MDS_ATTR_KILL_SUID;
 269         if (ia_valid & ATTR_KILL_SGID)
 270                 sa_valid |= MDS_ATTR_KILL_SGID;
 271         if (ia_valid & ATTR_CTIME_SET)
 272                 sa_valid |= MDS_ATTR_CTIME_SET;
 273         if (ia_valid & ATTR_FROM_OPEN)
 274                 sa_valid |= MDS_ATTR_FROM_OPEN;
 275         if (ia_valid & ATTR_BLOCKS)
 276                 sa_valid |= MDS_ATTR_BLOCKS;
 277         if (ia_valid & MDS_OPEN_OWNEROVERRIDE)
 278                 /* NFSD hack (see bug 5781) */
 279                 sa_valid |= MDS_OPEN_OWNEROVERRIDE;
 280         return sa_valid;
 281 }
 282
 283 static void mdc_setattr_pack_rec(struct mdt_rec_setattr *rec,
 284                                  struct md_op_data *op_data)
 285 {
 286         rec->sa_opcode  = REINT_SETATTR;
 287         rec->sa_fsuid   = cfs_curproc_fsuid();
 288         rec->sa_fsgid   = cfs_curproc_fsgid();
 289         rec->sa_cap     = cfs_curproc_cap_pack();
 290         rec->sa_suppgid = -1;
 291
 292         rec->sa_fid    = op_data->op_fid1;
 293         rec->sa_valid  = attr_pack(op_data->op_attr.ia_valid);
 294         rec->sa_mode   = op_data->op_attr.ia_mode;
 295         rec->sa_uid    = op_data->op_attr.ia_uid;
 296         rec->sa_gid    = op_data->op_attr.ia_gid;
 297         rec->sa_size   = op_data->op_attr.ia_size;
 298         rec->sa_blocks = op_data->op_attr_blocks;
 299         rec->sa_atime  = LTIME_S(op_data->op_attr.ia_atime);
 300         rec->sa_mtime  = LTIME_S(op_data->op_attr.ia_mtime);
 301         rec->sa_ctime  = LTIME_S(op_data->op_attr.ia_ctime);
 302         rec->sa_attr_flags = ((struct ll_iattr *)&op_data->op_attr)->ia_attr_flags;
 303         if ((op_data->op_attr.ia_valid & ATTR_GID) &&
 304             cfs_curproc_is_in_groups(op_data->op_attr.ia_gid))
 305                 rec->sa_suppgid = op_data->op_attr.ia_gid;
 306         else
 307                 rec->sa_suppgid = op_data->op_suppgids[0];
 308 }
 309
 310 static void mdc_ioepoch_pack(struct mdt_ioepoch *epoch,
 311                              struct md_op_data *op_data)
 312 {
 313         memcpy(&epoch->handle, &op_data->op_handle, sizeof(epoch->handle));
 314         epoch->ioepoch = op_data->op_ioepoch;
 315         epoch->flags = op_data->op_flags & MF_SOM_LOCAL_FLAGS;
 316 }
 317
 318 void mdc_setattr_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 319                       void *ea, int ealen, void *ea2, int ea2len)
 320 {
 321         struct mdt_rec_setattr *rec;
 322         struct mdt_ioepoch *epoch;
 323
 324         CLASSERT(sizeof(struct mdt_rec_reint) ==sizeof(struct mdt_rec_setattr));
 325         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 326         mdc_setattr_pack_rec(rec, op_data);
 327
 328         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 329
 330         if (op_data->op_flags & (MF_SOM_CHANGE | MF_EPOCH_OPEN)) {
 331                 epoch = req_capsule_client_get(&req->rq_pill, &RMF_MDT_EPOCH);
 332                 mdc_ioepoch_pack(epoch, op_data);
 333         }
 334
 335         if (ealen == 0)
 336                 return;
 337
 338         memcpy(req_capsule_client_get(&req->rq_pill, &RMF_EADATA), ea, ealen);
 339
 340         if (ea2len == 0)
 341                 return;
 342
 343         memcpy(req_capsule_client_get(&req->rq_pill, &RMF_LOGCOOKIES), ea2,
 344                ea2len);
 345 }
 346
 347 void mdc_unlink_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 348 {
 349         struct mdt_rec_unlink *rec;
 350         char *tmp;
 351
 352         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_unlink));
 353         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 354         LASSERT (rec != NULL);
 355
 356         rec->ul_opcode  = REINT_UNLINK;
 357         rec->ul_fsuid   = op_data->op_fsuid;
 358         rec->ul_fsgid   = op_data->op_fsgid;
 359         rec->ul_cap     = op_data->op_cap;
 360         rec->ul_mode    = op_data->op_mode;
 361         rec->ul_suppgid1= op_data->op_suppgids[0];
 362         rec->ul_suppgid2= -1;
 363         rec->ul_fid1    = op_data->op_fid1;
 364         rec->ul_fid2    = op_data->op_fid2;
 365         rec->ul_time    = op_data->op_mod_time;
 366         rec->ul_bias    = op_data->op_bias;
 367
 368         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 369
 370         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 371         LASSERT(tmp != NULL);
 372         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 373 }
 374
 375 void mdc_link_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 376 {
 377         struct mdt_rec_link *rec;
 378         char *tmp;
 379
 380         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_link));
 381         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 382         LASSERT (rec != NULL);
 383
 384         rec->lk_opcode   = REINT_LINK;
 385         rec->lk_fsuid    = op_data->op_fsuid;//current->fsuid;
 386         rec->lk_fsgid    = op_data->op_fsgid;//current->fsgid;
 387         rec->lk_cap      = op_data->op_cap;//current->cap_effective;
 388         rec->lk_suppgid1 = op_data->op_suppgids[0];
 389         rec->lk_suppgid2 = op_data->op_suppgids[1];
 390         rec->lk_fid1     = op_data->op_fid1;
 391         rec->lk_fid2     = op_data->op_fid2;
 392         rec->lk_time     = op_data->op_mod_time;
 393         rec->lk_bias     = op_data->op_bias;
 394
 395         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 396         mdc_pack_capa(req, &RMF_CAPA2, op_data->op_capa2);
 397
 398         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 399         LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 400 }
 401
 402 void mdc_rename_pack(struct ptlrpc_request *req, struct md_op_data *op_data,
 403                      const char *old, int oldlen, const char *new, int newlen)
 404 {
 405         struct mdt_rec_rename *rec;
 406         char *tmp;
 407
 408         CLASSERT(sizeof(struct mdt_rec_reint) == sizeof(struct mdt_rec_rename));
 409         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 410
 411         /* XXX do something about time, uid, gid */
 412         rec->rn_opcode   = REINT_RENAME;
 413         rec->rn_fsuid    = op_data->op_fsuid;
 414         rec->rn_fsgid    = op_data->op_fsgid;
 415         rec->rn_cap      = op_data->op_cap;
 416         rec->rn_suppgid1 = op_data->op_suppgids[0];
 417         rec->rn_suppgid2 = op_data->op_suppgids[1];
 418         rec->rn_fid1     = op_data->op_fid1;
 419         rec->rn_fid2     = op_data->op_fid2;
 420         rec->rn_time     = op_data->op_mod_time;
 421         rec->rn_mode     = op_data->op_mode;
 422         rec->rn_bias     = op_data->op_bias;
 423
 424         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 425         mdc_pack_capa(req, &RMF_CAPA2, op_data->op_capa2);
 426
 427         tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 428         LOGL0(old, oldlen, tmp);
 429
 430         if (new) {
 431                 tmp = req_capsule_client_get(&req->rq_pill, &RMF_SYMTGT);
 432                 LOGL0(new, newlen, tmp);
 433         }
 434 }
 435
 436 void mdc_getattr_pack(struct ptlrpc_request *req, __u64 valid, int flags,
 437                       struct md_op_data *op_data)
 438 {
 439         struct mdt_body *b = req_capsule_client_get(&req->rq_pill,
 440                                                     &RMF_MDT_BODY);
 441
 442         b->fsuid = cfs_curproc_fsuid();
 443         b->fsgid = cfs_curproc_fsgid();
 444         b->capability = cfs_curproc_cap_pack();
 445         b->valid = valid;
 446         if (op_data->op_bias & MDS_CHECK_SPLIT)
 447                 b->valid |= OBD_MD_FLCKSPLIT;
 448         if (op_data->op_bias & MDS_CROSS_REF)
 449                 b->valid |= OBD_MD_FLCROSSREF;
 450         b->flags = flags;
 451         b->suppgid = op_data->op_suppgids[0];
 452
 453         b->fid1 = op_data->op_fid1;
 454         b->fid2 = op_data->op_fid2;
 455         b->valid |= OBD_MD_FLID;
 456
 457         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 458
 459         if (op_data->op_name) {
 460                 char *tmp = req_capsule_client_get(&req->rq_pill, &RMF_NAME);
 461                 LOGL0(op_data->op_name, op_data->op_namelen, tmp);
 462
 463         }
 464 }
 465
 466 void mdc_close_pack(struct ptlrpc_request *req, struct md_op_data *op_data)
 467 {
 468         struct mdt_ioepoch *epoch;
 469         struct mdt_rec_setattr *rec;
 470
 471         epoch = req_capsule_client_get(&req->rq_pill, &RMF_MDT_EPOCH);
 472         rec = req_capsule_client_get(&req->rq_pill, &RMF_REC_REINT);
 473
 474         mdc_setattr_pack_rec(rec, op_data);
 475         mdc_pack_capa(req, &RMF_CAPA1, op_data->op_capa1);
 476         mdc_ioepoch_pack(epoch, op_data);
 477 }
 478
 479 static int mdc_req_avail(struct client_obd *cli, struct mdc_cache_waiter *mcw)
 480 {
 481         int rc;
 482         ENTRY;
 483         client_obd_list_lock(&cli->cl_loi_list_lock);
 484         rc = cfs_list_empty(&mcw->mcw_entry);
 485         client_obd_list_unlock(&cli->cl_loi_list_lock);
 486         RETURN(rc);
 487 };
 488
 489 /* We record requests in flight in cli->cl_r_in_flight here.
 490  * There is only one write rpc possible in mdc anyway. If this to change
 491  * in the future - the code may need to be revisited. */
 492 void mdc_enter_request(struct client_obd *cli)
 493 {
 494         struct mdc_cache_waiter mcw;
 495         struct l_wait_info lwi = { 0 };
 496
 497         client_obd_list_lock(&cli->cl_loi_list_lock);
 498         if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 499                 cfs_list_add_tail(&mcw.mcw_entry, &cli->cl_cache_waiters);
 500                 cfs_waitq_init(&mcw.mcw_waitq);
 501                 client_obd_list_unlock(&cli->cl_loi_list_lock);
 502                 l_wait_event(mcw.mcw_waitq, mdc_req_avail(cli, &mcw), &lwi);
 503         } else {
 504                 cli->cl_r_in_flight++;
 505                 client_obd_list_unlock(&cli->cl_loi_list_lock);
 506         }
 507 }
 508
 509 void mdc_exit_request(struct client_obd *cli)
 510 {
 511         cfs_list_t *l, *tmp;
 512         struct mdc_cache_waiter *mcw;
 513
 514         client_obd_list_lock(&cli->cl_loi_list_lock);
 515         cli->cl_r_in_flight--;
 516         cfs_list_for_each_safe(l, tmp, &cli->cl_cache_waiters) {
 517
 518                 if (cli->cl_r_in_flight >= cli->cl_max_rpcs_in_flight) {
 519                         /* No free request slots anymore */
 520                         break;
 521                 }
 522
 523                 mcw = cfs_list_entry(l, struct mdc_cache_waiter, mcw_entry);
 524                 cfs_list_del_init(&mcw->mcw_entry);
 525                 cli->cl_r_in_flight++;
 526                 cfs_waitq_signal(&mcw->mcw_waitq);
 527         }
 528         /* Empty waiting list? Decrease reqs in-flight number */
 529
 530         client_obd_list_unlock(&cli->cl_loi_list_lock);
 531 }