lustre/osp/osp_md_object.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2013, 2017, Intel Corporation.
  24  */
  25 /*
  26  * lustre/osp/osp_md_object.c
  27  *
  28  * OST/MDT proxy device (OSP) Metadata methods
  29  *
  30  * This file implements methods for remote MD object, which include
  31  * dt_object_operations, dt_index_operations and dt_body_operations.
  32  *
  33  * If there are multiple MDTs in one filesystem, one operation might
  34  * include modifications in several MDTs. In such cases, clients
  35  * send the RPC to the master MDT, then the operation is decomposed into
  36  * object updates which will be dispatched to OSD or OSP. The local updates
  37  * go to local OSD and the remote updates go to OSP. In OSP, these remote
  38  * object updates will be packed into an update RPC, sent to the remote MDT
  39  * and handled by Object Update Target (OUT).
  40  *
  41  * In DNE phase I, because of missing complete recovery solution, updates
  42  * will be executed in order and synchronously.
  43  *     1. The transaction is created.
  44  *     2. In transaction declare, it collects and packs remote
  45  *        updates (in osp_md_declare_xxx()).
  46  *     3. In transaction start, it sends these remote updates
  47  *        to remote MDTs, which will execute these updates synchronously.
  48  *     4. In transaction execute phase, the local updates will be executed
  49  *        synchronously.
  50  *
  51  * Author: Di Wang <di.wang@intel.com>
  52  */
  53
  54 #define DEBUG_SUBSYSTEM S_MDS
  55
  56 #include <llog_swab.h>
  57 #include <lustre_log.h>
  58 #include "osp_internal.h"
  59
  60 #define OUT_UPDATE_BUFFER_SIZE_ADD      4096
  61 #define OUT_UPDATE_BUFFER_SIZE_MAX      (256 * 4096)  /*  1M update size now */
  62
  63 /**
  64  * Interpreter call for object creation
  65  *
  66  * Object creation interpreter, which will be called after creating
  67  * the remote object to set flags and status.
  68  *
  69  * \param[in] env       execution environment
  70  * \param[in] reply     update reply
  71  * \param[in] req       ptlrpc update request for creating object
  72  * \param[in] obj       object to be created
  73  * \param[in] data      data used in this function.
  74  * \param[in] index     index(position) of create update in the whole
  75  *                      updates
  76  * \param[in] rc        update result on the remote MDT.
  77  *
  78  * \retval              only return 0 for now
  79  */
  80 static int osp_create_interpreter(const struct lu_env *env,
  81                                   struct object_update_reply *reply,
  82                                   struct ptlrpc_request *req,
  83                                   struct osp_object *obj,
  84                                   void *data, int index, int rc)
  85 {
  86         if (rc != 0 && rc != -EEXIST) {
  87                 obj->opo_obj.do_lu.lo_header->loh_attr &= ~LOHA_EXISTS;
  88                 obj->opo_non_exist = 1;
  89         }
  90
  91         /*
  92          * invalidate opo cache for the object after the object is created, so
  93          * attr_get will try to get attr from remote object.
  94          */
  95         osp_obj_invalidate_cache(obj);
  96
  97         return 0;
  98 }
  99
 100 /**
 101  * Implementation of dt_object_operations::do_declare_create
 102  *
 103  * Create the osp_update_request to track the update for this OSP
 104  * in the transaction.
 105  *
 106  * \param[in] env       execution environment
 107  * \param[in] dt        remote object to be created
 108  * \param[in] attr      attribute of the created object
 109  * \param[in] hint      creation hint
 110  * \param[in] dof       creation format information
 111  * \param[in] th        the transaction handle
 112  *
 113  * \retval              0 if preparation succeeds.
 114  * \retval              negative errno if preparation fails.
 115  */
 116 int osp_md_declare_create(const struct lu_env *env, struct dt_object *dt,
 117                           struct lu_attr *attr, struct dt_allocation_hint *hint,
 118                           struct dt_object_format *dof, struct thandle *th)
 119 {
 120         return osp_trans_update_request_create(th);
 121 }
 122
 123 struct object_update *
 124 update_buffer_get_update(struct object_update_request *request,
 125                          unsigned int index)
 126 {
 127         void    *ptr;
 128         int     i;
 129
 130         if (index > request->ourq_count)
 131                 return NULL;
 132
 133         ptr = &request->ourq_updates[0];
 134         for (i = 0; i < index; i++)
 135                 ptr += object_update_size(ptr);
 136
 137         return ptr;
 138 }
 139
 140 /**
 141  * Implementation of dt_object_operations::do_create
 142  *
 143  * It adds an OUT_CREATE sub-request into the OUT RPC that will be flushed
 144  * when the transaction stop, and sets necessary flags for created object.
 145  *
 146  * \param[in] env       execution environment
 147  * \param[in] dt        object to be created
 148  * \param[in] attr      attribute of the created object
 149  * \param[in] hint      creation hint
 150  * \param[in] dof       creation format information
 151  * \param[in] th        the transaction handle
 152  *
 153  * \retval              0 if packing creation succeeds.
 154  * \retval              negative errno if packing creation fails.
 155  */
 156 int osp_md_create(const struct lu_env *env, struct dt_object *dt,
 157                   struct lu_attr *attr, struct dt_allocation_hint *hint,
 158                   struct dt_object_format *dof, struct thandle *th)
 159 {
 160         struct osp_update_request       *update;
 161         struct osp_object               *obj = dt2osp_obj(dt);
 162         int                             rc;
 163
 164         update = thandle_to_osp_update_request(th);
 165         LASSERT(update != NULL);
 166
 167         LASSERT(attr->la_valid & LA_TYPE);
 168         rc = osp_update_rpc_pack(env, create, update, OUT_CREATE,
 169                                  lu_object_fid(&dt->do_lu), attr, hint, dof);
 170         if (rc != 0)
 171                 GOTO(out, rc);
 172
 173         rc = osp_insert_update_callback(env, update, dt2osp_obj(dt), NULL,
 174                                         osp_create_interpreter);
 175
 176         if (rc < 0)
 177                 GOTO(out, rc);
 178
 179         dt->do_lu.lo_header->loh_attr |= LOHA_EXISTS | (attr->la_mode & S_IFMT);
 180         dt2osp_obj(dt)->opo_non_exist = 0;
 181
 182         obj->opo_attr = *attr;
 183 out:
 184         return rc;
 185 }
 186
 187 /**
 188  * Implementation of dt_object_operations::do_declare_ref_del
 189  *
 190  * Create the osp_update_request to track the update for this OSP
 191  * in the transaction.
 192  *
 193  * \param[in] env       execution environment
 194  * \param[in] dt        object to decrease the reference count.
 195  * \param[in] th        the transaction handle of refcount decrease.
 196  *
 197  * \retval              0 if preparation succeeds.
 198  * \retval              negative errno if preparation fails.
 199  */
 200 static int osp_md_declare_ref_del(const struct lu_env *env,
 201                                   struct dt_object *dt, struct thandle *th)
 202 {
 203         return osp_trans_update_request_create(th);
 204 }
 205
 206 /**
 207  * Implementation of dt_object_operations::do_ref_del
 208  *
 209  * Add an OUT_REF_DEL sub-request into the OUT RPC that will be
 210  * flushed when the transaction stop.
 211  *
 212  * \param[in] env       execution environment
 213  * \param[in] dt        object to decrease the reference count
 214  * \param[in] th        the transaction handle
 215  *
 216  * \retval              0 if packing ref_del succeeds.
 217  * \retval              negative errno if packing fails.
 218  */
 219 static int osp_md_ref_del(const struct lu_env *env, struct dt_object *dt,
 220                           struct thandle *th)
 221 {
 222         struct osp_update_request       *update;
 223         int                             rc;
 224
 225         update = thandle_to_osp_update_request(th);
 226         LASSERT(update != NULL);
 227
 228         rc = osp_update_rpc_pack(env, ref_del, update, OUT_REF_DEL,
 229                                  lu_object_fid(&dt->do_lu));
 230         return rc;
 231 }
 232
 233 /**
 234  * Implementation of dt_object_operations::do_declare_ref_del
 235  *
 236  * Create the osp_update_request to track the update for this OSP
 237  * in the transaction.
 238  *
 239  * \param[in] env       execution environment
 240  * \param[in] dt        object on which to increase the reference count.
 241  * \param[in] th        the transaction handle.
 242  *
 243  * \retval              0 if preparation succeeds.
 244  * \retval              negative errno if preparation fails.
 245  */
 246 static int osp_md_declare_ref_add(const struct lu_env *env,
 247                                   struct dt_object *dt, struct thandle *th)
 248 {
 249         return osp_trans_update_request_create(th);
 250 }
 251
 252 /**
 253  * Implementation of dt_object_operations::do_ref_add
 254  *
 255  * Add an OUT_REF_ADD sub-request into the OUT RPC that will be flushed
 256  * when the transaction stop.
 257  *
 258  * \param[in] env       execution environment
 259  * \param[in] dt        object on which to increase the reference count
 260  * \param[in] th        the transaction handle
 261  *
 262  * \retval              0 if packing ref_add succeeds.
 263  * \retval              negative errno if packing fails.
 264  */
 265 static int osp_md_ref_add(const struct lu_env *env, struct dt_object *dt,
 266                           struct thandle *th)
 267 {
 268         struct osp_update_request       *update;
 269         int                             rc;
 270
 271         update = thandle_to_osp_update_request(th);
 272         LASSERT(update != NULL);
 273
 274         rc = osp_update_rpc_pack(env, ref_add, update, OUT_REF_ADD,
 275                                  lu_object_fid(&dt->do_lu));
 276         return rc;
 277 }
 278
 279 /**
 280  * Implementation of dt_object_operations::do_ah_init
 281  *
 282  * Initialize the allocation hint for object creation, which is usually called
 283  * before the creation, and these hints (parent and child mode) will be sent to
 284  * the remote Object Update Target (OUT) and used in the object create process,
 285  * same as OSD object creation.
 286  *
 287  * \param[in] env       execution environment
 288  * \param[in] ah        the hint to be initialized
 289  * \param[in] parent    the parent of the object
 290  * \param[in] child     the object to be created
 291  * \param[in] child_mode the mode of the created object
 292  */
 293 static void osp_md_ah_init(const struct lu_env *env,
 294                            struct dt_allocation_hint *ah,
 295                            struct dt_object *parent,
 296                            struct dt_object *child,
 297                            umode_t child_mode)
 298 {
 299         LASSERT(ah);
 300
 301         ah->dah_parent = parent;
 302         ah->dah_mode = child_mode;
 303 }
 304
 305 /**
 306  * Implementation of dt_object_operations::do_declare_attr_get
 307  *
 308  * Create the osp_update_request to track the update for this OSP
 309  * in the transaction.
 310  *
 311  * \param[in] env       execution environment
 312  * \param[in] dt        object on which to set attributes
 313  * \param[in] attr      attributes to be set
 314  * \param[in] th        the transaction handle
 315  *
 316  * \retval              0 if preparation succeeds.
 317  * \retval              negative errno if preparation fails.
 318  */
 319 int osp_md_declare_attr_set(const struct lu_env *env, struct dt_object *dt,
 320                             const struct lu_attr *attr, struct thandle *th)
 321 {
 322         return osp_trans_update_request_create(th);
 323 }
 324
 325 /**
 326  * Implementation of dt_object_operations::do_attr_set
 327  *
 328  * Set attributes to the specified remote object.
 329  *
 330  * Add the OUT_ATTR_SET sub-request into the OUT RPC that will be flushed
 331  * when the transaction stop.
 332  *
 333  * \param[in] env       execution environment
 334  * \param[in] dt        object to set attributes
 335  * \param[in] attr      attributes to be set
 336  * \param[in] th        the transaction handle
 337  *
 338  * \retval              0 if packing attr_set succeeds.
 339  * \retval              negative errno if packing fails.
 340  */
 341 int osp_md_attr_set(const struct lu_env *env, struct dt_object *dt,
 342                     const struct lu_attr *attr, struct thandle *th)
 343 {
 344         struct osp_update_request       *update;
 345         int                             rc;
 346
 347         update = thandle_to_osp_update_request(th);
 348         LASSERT(update != NULL);
 349
 350         rc = osp_update_rpc_pack(env, attr_set, update, OUT_ATTR_SET,
 351                                  lu_object_fid(&dt->do_lu), attr);
 352         return rc;
 353 }
 354
 355 /**
 356  * Implementation of dt_object_operations::do_read_lock
 357  *
 358  * osp_md_{read,write}_lock() will only lock the remote object in the
 359  * local cache, which uses the semaphore (opo_sem) inside the osp_object to
 360  * lock the object. Note: it will not lock the object in the whole cluster,
 361  * which relies on the LDLM lock.
 362  *
 363  * \param[in] env       execution environment
 364  * \param[in] dt        object to be locked
 365  * \param[in] role      lock role from MDD layer, see mdd_object_role().
 366  */
 367 static void osp_md_read_lock(const struct lu_env *env, struct dt_object *dt,
 368                              unsigned role)
 369 {
 370         struct osp_object  *obj = dt2osp_obj(dt);
 371
 372         LASSERT(obj->opo_owner != env);
 373         down_read_nested(&obj->opo_sem, role);
 374
 375         LASSERT(obj->opo_owner == NULL);
 376 }
 377
 378 /**
 379  * Implementation of dt_object_operations::do_write_lock
 380  *
 381  * Lock the remote object in write mode.
 382  *
 383  * \param[in] env       execution environment
 384  * \param[in] dt        object to be locked
 385  * \param[in] role      lock role from MDD layer, see mdd_object_role().
 386  */
 387 static void osp_md_write_lock(const struct lu_env *env, struct dt_object *dt,
 388                               unsigned role)
 389 {
 390         struct osp_object *obj = dt2osp_obj(dt);
 391
 392         down_write_nested(&obj->opo_sem, role);
 393
 394         LASSERT(obj->opo_owner == NULL);
 395         obj->opo_owner = env;
 396 }
 397
 398 /**
 399  * Implementation of dt_object_operations::do_read_unlock
 400  *
 401  * Unlock the read lock of remote object.
 402  *
 403  * \param[in] env       execution environment
 404  * \param[in] dt        object to be unlocked
 405  */
 406 static void osp_md_read_unlock(const struct lu_env *env, struct dt_object *dt)
 407 {
 408         struct osp_object *obj = dt2osp_obj(dt);
 409
 410         up_read(&obj->opo_sem);
 411 }
 412
 413 /**
 414  * Implementation of dt_object_operations::do_write_unlock
 415  *
 416  * Unlock the write lock of remote object.
 417  *
 418  * \param[in] env       execution environment
 419  * \param[in] dt        object to be unlocked
 420  */
 421 static void osp_md_write_unlock(const struct lu_env *env, struct dt_object *dt)
 422 {
 423         struct osp_object *obj = dt2osp_obj(dt);
 424
 425         LASSERT(obj->opo_owner == env);
 426         obj->opo_owner = NULL;
 427         up_write(&obj->opo_sem);
 428 }
 429
 430 /**
 431  * Implementation of dt_object_operations::do_write_locked
 432  *
 433  * Test if the object is locked in write mode.
 434  *
 435  * \param[in] env       execution environment
 436  * \param[in] dt        object to be tested
 437  */
 438 static int osp_md_write_locked(const struct lu_env *env, struct dt_object *dt)
 439 {
 440         struct osp_object *obj = dt2osp_obj(dt);
 441
 442         return obj->opo_owner == env;
 443 }
 444
 445 /**
 446  * Implementation of dt_index_operations::dio_lookup
 447  *
 448  * Look up record by key under a remote index object. It packs lookup update
 449  * into RPC, sends to the remote OUT and waits for the lookup result.
 450  *
 451  * \param[in] env       execution environment
 452  * \param[in] dt        index object to lookup
 453  * \param[out] rec      record in which to return lookup result
 454  * \param[in] key       key of index which will be looked up
 455  *
 456  * \retval              1 if the lookup succeeds.
 457  * \retval              negative errno if the lookup fails.
 458  */
 459 static int osp_md_index_lookup(const struct lu_env *env, struct dt_object *dt,
 460                                struct dt_rec *rec, const struct dt_key *key)
 461 {
 462         struct lu_buf           *lbuf   = &osp_env_info(env)->osi_lb2;
 463         struct osp_device       *osp    = lu2osp_dev(dt->do_lu.lo_dev);
 464         struct dt_device        *dt_dev = &osp->opd_dt_dev;
 465         struct osp_update_request   *update;
 466         struct object_update_reply *reply;
 467         struct ptlrpc_request      *req = NULL;
 468         struct lu_fid              *fid;
 469         int                        rc;
 470         ENTRY;
 471
 472         /* Because it needs send the update buffer right away,
 473          * just create an update buffer, instead of attaching the
 474          * update_remote list of the thandle.
 475          */
 476         update = osp_update_request_create(dt_dev);
 477         if (IS_ERR(update))
 478                 RETURN(PTR_ERR(update));
 479
 480         rc = osp_update_rpc_pack(env, index_lookup, update, OUT_INDEX_LOOKUP,
 481                                  lu_object_fid(&dt->do_lu), rec, key);
 482         if (rc != 0) {
 483                 CERROR("%s: Insert update error: rc = %d\n",
 484                        dt_dev->dd_lu_dev.ld_obd->obd_name, rc);
 485                 GOTO(out, rc);
 486         }
 487
 488         rc = osp_remote_sync(env, osp, update, &req);
 489         if (rc < 0)
 490                 GOTO(out, rc);
 491
 492         reply = req_capsule_server_sized_get(&req->rq_pill,
 493                                              &RMF_OUT_UPDATE_REPLY,
 494                                              OUT_UPDATE_REPLY_SIZE);
 495         if (reply->ourp_magic != UPDATE_REPLY_MAGIC) {
 496                 CERROR("%s: Wrong version %x expected %x: rc = %d\n",
 497                        dt_dev->dd_lu_dev.ld_obd->obd_name,
 498                        reply->ourp_magic, UPDATE_REPLY_MAGIC, -EPROTO);
 499                 GOTO(out, rc = -EPROTO);
 500         }
 501
 502         rc = object_update_result_data_get(reply, lbuf, 0);
 503         if (rc < 0)
 504                 GOTO(out, rc);
 505
 506         if (lbuf->lb_len != sizeof(*fid)) {
 507                 CERROR("%s: lookup "DFID" %s wrong size %d\n",
 508                        dt_dev->dd_lu_dev.ld_obd->obd_name,
 509                        PFID(lu_object_fid(&dt->do_lu)), (char *)key,
 510                        (int)lbuf->lb_len);
 511                 GOTO(out, rc = -EINVAL);
 512         }
 513
 514         fid = lbuf->lb_buf;
 515         if (ptlrpc_rep_need_swab(req))
 516                 lustre_swab_lu_fid(fid);
 517         if (!fid_is_sane(fid)) {
 518                 CERROR("%s: lookup "DFID" %s invalid fid "DFID"\n",
 519                        dt_dev->dd_lu_dev.ld_obd->obd_name,
 520                        PFID(lu_object_fid(&dt->do_lu)), (char *)key, PFID(fid));
 521                 GOTO(out, rc = -EINVAL);
 522         }
 523
 524         memcpy(rec, fid, sizeof(*fid));
 525
 526         GOTO(out, rc = 1);
 527
 528 out:
 529         if (req != NULL)
 530                 ptlrpc_req_finished(req);
 531
 532         osp_update_request_destroy(env, update);
 533
 534         return rc;
 535 }
 536
 537 /**
 538  * Implementation of dt_index_operations::dio_declare_insert
 539  *
 540  * Create the osp_update_request to track the update for this OSP
 541  * in the transaction.
 542  *
 543  * \param[in] env       execution environment
 544  * \param[in] dt        object for which to insert index
 545  * \param[in] rec       record of the index which will be inserted
 546  * \param[in] key       key of the index which will be inserted
 547  * \param[in] th        the transaction handle
 548  *
 549  * \retval              0 if preparation succeeds.
 550  * \retval              negative errno if preparation fails.
 551  */
 552 static int osp_md_declare_index_insert(const struct lu_env *env,
 553                                        struct dt_object *dt,
 554                                        const struct dt_rec *rec,
 555                                        const struct dt_key *key,
 556                                        struct thandle *th)
 557 {
 558         return osp_trans_update_request_create(th);
 559 }
 560
 561 /**
 562  * Implementation of dt_index_operations::dio_insert
 563  *
 564  * Add an OUT_INDEX_INSERT sub-request into the OUT RPC that will
 565  * be flushed when the transaction stop.
 566  *
 567  * \param[in] env       execution environment
 568  * \param[in] dt        object for which to insert index
 569  * \param[in] rec       record of the index to be inserted
 570  * \param[in] key       key of the index to be inserted
 571  * \param[in] th        the transaction handle
 572  * \param[in] ignore_quota quota enforcement for insert
 573  *
 574  * \retval              0 if packing index insert succeeds.
 575  * \retval              negative errno if packing fails.
 576  */
 577 static int osp_md_index_insert(const struct lu_env *env,
 578                                struct dt_object *dt,
 579                                const struct dt_rec *rec,
 580                                const struct dt_key *key,
 581                                struct thandle *th,
 582                                int ignore_quota)
 583 {
 584         struct osp_update_request *update;
 585         int                      rc;
 586
 587         update = thandle_to_osp_update_request(th);
 588         LASSERT(update != NULL);
 589
 590         rc = osp_update_rpc_pack(env, index_insert, update, OUT_INDEX_INSERT,
 591                                  lu_object_fid(&dt->do_lu), rec, key);
 592         return rc;
 593 }
 594
 595 /**
 596  * Implementation of dt_index_operations::dio_declare_delete
 597  *
 598  * Create the osp_update_request to track the update for this OSP
 599  * in the transaction.
 600  *
 601  * \param[in] env       execution environment
 602  * \param[in] dt        object for which to delete index
 603  * \param[in] key       key of the index
 604  * \param[in] th        the transaction handle
 605  *
 606  * \retval              0 if preparation succeeds.
 607  * \retval              negative errno if preparation fails.
 608  */
 609 static int osp_md_declare_index_delete(const struct lu_env *env,
 610                                        struct dt_object *dt,
 611                                        const struct dt_key *key,
 612                                        struct thandle *th)
 613 {
 614         return osp_trans_update_request_create(th);
 615 }
 616
 617 /**
 618  * Implementation of dt_index_operations::dio_delete
 619  *
 620  * Add an OUT_INDEX_DELETE sub-request into the OUT RPC that will
 621  * be flushed when the transaction stop.
 622  *
 623  * \param[in] env       execution environment
 624  * \param[in] dt        object for which to delete index
 625  * \param[in] key       key of the index which will be deleted
 626  * \param[in] th        the transaction handle
 627  *
 628  * \retval              0 if packing index delete succeeds.
 629  * \retval              negative errno if packing fails.
 630  */
 631 static int osp_md_index_delete(const struct lu_env *env,
 632                                struct dt_object *dt,
 633                                const struct dt_key *key,
 634                                struct thandle *th)
 635 {
 636         struct osp_update_request *update;
 637         int                      rc;
 638
 639         update = thandle_to_osp_update_request(th);
 640         LASSERT(update != NULL);
 641
 642         rc = osp_update_rpc_pack(env, index_delete, update, OUT_INDEX_DELETE,
 643                                  lu_object_fid(&dt->do_lu), key);
 644
 645         return rc;
 646 }
 647
 648 /**
 649  * Implementation of dt_index_operations::dio_it.next
 650  *
 651  * Advance the pointer of the iterator to the next entry. It shares a similar
 652  * internal implementation with osp_orphan_it_next(), which is being used for
 653  * remote orphan index object. This method will be used for remote directory.
 654  *
 655  * \param[in] env       execution environment
 656  * \param[in] di        iterator of this iteration
 657  *
 658  * \retval              0 if the pointer is advanced successfully.
 659  * \retval              1 if it reaches to the end of the index object.
 660  * \retval              negative errno if the pointer cannot be advanced.
 661  */
 662 static int osp_md_index_it_next(const struct lu_env *env, struct dt_it *di)
 663 {
 664         struct osp_it           *it = (struct osp_it *)di;
 665         struct lu_idxpage       *idxpage;
 666         struct lu_dirent        *ent = (struct lu_dirent *)it->ooi_ent;
 667         int                     rc;
 668         ENTRY;
 669
 670 again:
 671         idxpage = it->ooi_cur_idxpage;
 672         if (idxpage != NULL) {
 673                 if (idxpage->lip_nr == 0)
 674                         RETURN(1);
 675
 676                 it->ooi_pos_ent++;
 677                 if (ent == NULL) {
 678                         it->ooi_ent =
 679                               (struct lu_dirent *)idxpage->lip_entries;
 680                         RETURN(0);
 681                 } else if (le16_to_cpu(ent->lde_reclen) != 0 &&
 682                            it->ooi_pos_ent < idxpage->lip_nr) {
 683                         ent = (struct lu_dirent *)(((char *)ent) +
 684                                         le16_to_cpu(ent->lde_reclen));
 685                         it->ooi_ent = ent;
 686                         RETURN(0);
 687                 } else {
 688                         it->ooi_ent = NULL;
 689                 }
 690         }
 691
 692         rc = osp_it_next_page(env, di);
 693         if (rc == 0)
 694                 goto again;
 695
 696         RETURN(rc);
 697 }
 698
 699 /**
 700  * Implementation of dt_index_operations::dio_it.key
 701  *
 702  * Get the key at current iterator poisiton. These iteration methods
 703  * (dio_it) will only be used for iterating the remote directory, so
 704  * the key is the name of the directory entry.
 705  *
 706  * \param[in] env       execution environment
 707  * \param[in] di        iterator of this iteration
 708  *
 709  * \retval              name of the current entry
 710  */
 711 static struct dt_key *osp_it_key(const struct lu_env *env,
 712                                  const struct dt_it *di)
 713 {
 714         struct osp_it           *it = (struct osp_it *)di;
 715         struct lu_dirent        *ent = (struct lu_dirent *)it->ooi_ent;
 716
 717         return (struct dt_key *)ent->lde_name;
 718 }
 719
 720 /**
 721  * Implementation of dt_index_operations::dio_it.key_size
 722  *
 723  * Get the key size at current iterator poisiton. These iteration methods
 724  * (dio_it) will only be used for iterating the remote directory, so the key
 725  * size is the name size of the directory entry.
 726  *
 727  * \param[in] env       execution environment
 728  * \param[in] di        iterator of this iteration
 729  *
 730  * \retval              name size of the current entry
 731  */
 732
 733 static int osp_it_key_size(const struct lu_env *env, const struct dt_it *di)
 734 {
 735         struct osp_it           *it = (struct osp_it *)di;
 736         struct lu_dirent        *ent = (struct lu_dirent *)it->ooi_ent;
 737
 738         return (int)le16_to_cpu(ent->lde_namelen);
 739 }
 740
 741 /**
 742  * Implementation of dt_index_operations::dio_it.rec
 743  *
 744  * Get the record at current iterator position. These iteration methods
 745  * (dio_it) will only be used for iterating the remote directory, so it
 746  * uses lu_dirent_calc_size() to calculate the record size.
 747  *
 748  * \param[in] env       execution environment
 749  * \param[in] di        iterator of this iteration
 750  * \param[out] rec      the record to be returned
 751  * \param[in] attr      attributes of the index object, so it knows
 752  *                      how to pack the entry.
 753  *
 754  * \retval              only return 0 for now
 755  */
 756 static int osp_md_index_it_rec(const struct lu_env *env, const struct dt_it *di,
 757                                struct dt_rec *rec, __u32 attr)
 758 {
 759         struct osp_it           *it = (struct osp_it *)di;
 760         struct lu_dirent        *ent = (struct lu_dirent *)it->ooi_ent;
 761         size_t                  reclen;
 762
 763         reclen = lu_dirent_calc_size(le16_to_cpu(ent->lde_namelen), attr);
 764         memcpy(rec, ent, reclen);
 765         return 0;
 766 }
 767
 768 /**
 769  * Implementation of dt_index_operations::dio_it.load
 770  *
 771  * Locate the iteration cursor to the specified position (cookie).
 772  *
 773  * \param[in] env       pointer to the thread context
 774  * \param[in] di        pointer to the iteration structure
 775  * \param[in] hash      the specified position
 776  *
 777  * \retval              positive number for locating to the exactly position
 778  *                      or the next
 779  * \retval              0 for arriving at the end of the iteration
 780  * \retval              negative error number on failure
 781  */
 782 static int osp_it_load(const struct lu_env *env, const struct dt_it *di,
 783                        __u64 hash)
 784 {
 785         struct osp_it   *it     = (struct osp_it *)di;
 786         int              rc;
 787
 788         it->ooi_next = hash;
 789         rc = osp_md_index_it_next(env, (struct dt_it *)di);
 790         if (rc == 1)
 791                 return 0;
 792
 793         if (rc == 0)
 794                 return 1;
 795
 796         return rc;
 797 }
 798
 799 const struct dt_index_operations osp_md_index_ops = {
 800         .dio_lookup         = osp_md_index_lookup,
 801         .dio_declare_insert = osp_md_declare_index_insert,
 802         .dio_insert         = osp_md_index_insert,
 803         .dio_declare_delete = osp_md_declare_index_delete,
 804         .dio_delete         = osp_md_index_delete,
 805         .dio_it     = {
 806                 .init     = osp_it_init,
 807                 .fini     = osp_it_fini,
 808                 .get      = osp_it_get,
 809                 .put      = osp_it_put,
 810                 .next     = osp_md_index_it_next,
 811                 .key      = osp_it_key,
 812                 .key_size = osp_it_key_size,
 813                 .rec      = osp_md_index_it_rec,
 814                 .store    = osp_it_store,
 815                 .load     = osp_it_load,
 816                 .key_rec  = osp_it_key_rec,
 817         }
 818 };
 819
 820 /**
 821  * Implementation of dt_object_operations::do_index_try
 822  *
 823  * Try to initialize the index API pointer for the given object. This
 824  * is the entry point of the index API, i.e. we must call this method
 825  * to initialize the index object before calling other index methods.
 826  *
 827  * \param[in] env       execution environment
 828  * \param[in] dt        index object to be initialized
 829  * \param[in] feat      the index feature of the object
 830  *
 831  * \retval              0 if the initialization succeeds.
 832  * \retval              negative errno if the initialization fails.
 833  */
 834 static int osp_md_index_try(const struct lu_env *env,
 835                             struct dt_object *dt,
 836                             const struct dt_index_features *feat)
 837 {
 838         dt->do_index_ops = &osp_md_index_ops;
 839         return 0;
 840 }
 841
 842 /**
 843  * Implementation of dt_object_operations::do_object_lock
 844  *
 845  * Enqueue a lock (by ldlm_cli_enqueue()) of remote object on the remote MDT,
 846  * which will lock the object in the global namespace. And because the
 847  * cross-MDT locks are relatively rare compared with normal local MDT operation,
 848  * let's release it right away, instead of putting it into the LRU list.
 849  *
 850  * \param[in] env       execution environment
 851  * \param[in] dt        object to be locked
 852  * \param[out] lh       lock handle
 853  * \param[in] einfo     enqueue information
 854  * \param[in] policy    lock policy
 855  *
 856  * \retval              ELDLM_OK if locking the object succeeds.
 857  * \retval              negative errno if locking fails.
 858  */
 859 static int osp_md_object_lock(const struct lu_env *env,
 860                               struct dt_object *dt,
 861                               struct lustre_handle *lh,
 862                               struct ldlm_enqueue_info *einfo,
 863                               union ldlm_policy_data *policy)
 864 {
 865         struct ldlm_res_id      *res_id;
 866         struct osp_device       *osp = dt2osp_dev(lu2dt_dev(dt->do_lu.lo_dev));
 867         struct ptlrpc_request   *req;
 868         int                     rc = 0;
 869         __u64                   flags = LDLM_FL_NO_LRU;
 870         ENTRY;
 871
 872         res_id = einfo->ei_res_id;
 873         LASSERT(res_id != NULL);
 874
 875         if (einfo->ei_mode & (LCK_EX | LCK_PW))
 876                 flags |= LDLM_FL_COS_INCOMPAT;
 877
 878         req = ldlm_enqueue_pack(osp->opd_exp, 0);
 879         if (IS_ERR(req))
 880                 RETURN(PTR_ERR(req));
 881
 882         osp_set_req_replay(osp, req);
 883         rc = ldlm_cli_enqueue(osp->opd_exp, &req, einfo, res_id,
 884                               (const union ldlm_policy_data *)policy,
 885                               &flags, NULL, 0, LVB_T_NONE, lh, 0);
 886
 887         ptlrpc_req_finished(req);
 888
 889         RETURN(rc == ELDLM_OK ? 0 : -EIO);
 890 }
 891
 892 /**
 893  * Implementation of dt_object_operations::do_object_unlock
 894  *
 895  * Cancel a lock of a remote object.
 896  *
 897  * \param[in] env       execution environment
 898  * \param[in] dt        object to be unlocked
 899  * \param[in] einfo     lock enqueue information
 900  * \param[in] policy    lock policy
 901  *
 902  * \retval              Only return 0 for now.
 903  */
 904 static int osp_md_object_unlock(const struct lu_env *env,
 905                                 struct dt_object *dt,
 906                                 struct ldlm_enqueue_info *einfo,
 907                                 union ldlm_policy_data *policy)
 908 {
 909         struct lustre_handle    *lockh = einfo->ei_cbdata;
 910
 911         /* unlock finally */
 912         ldlm_lock_decref(lockh, einfo->ei_mode);
 913
 914         return 0;
 915 }
 916
 917 /**
 918  * Implement OSP layer dt_object_operations::do_declare_destroy() interface.
 919  *
 920  * Create the dt_update_request to track the update for this OSP
 921  * in the transaction.
 922  *
 923  * \param[in] env       pointer to the thread context
 924  * \param[in] dt        pointer to the OSP layer dt_object to be destroyed
 925  * \param[in] th        pointer to the transaction handler
 926  *
 927  * \retval              0 for success
 928  * \retval              negative error number on failure
 929  */
 930 int osp_md_declare_destroy(const struct lu_env *env, struct dt_object *dt,
 931                            struct thandle *th)
 932 {
 933         return osp_trans_update_request_create(th);
 934 }
 935
 936 /**
 937  * Implement OSP layer dt_object_operations::do_destroy() interface.
 938  *
 939  * Pack the destroy update into the RPC buffer, which will be sent
 940  * to the remote MDT during transaction stop.
 941  *
 942  * It also marks the object as non-cached.
 943  *
 944  * \param[in] env       pointer to the thread context
 945  * \param[in] dt        pointer to the OSP layer dt_object to be destroyed
 946  * \param[in] th        pointer to the transaction handler
 947  *
 948  * \retval              0 for success
 949  * \retval              negative error number on failure
 950  */
 951 int osp_md_destroy(const struct lu_env *env, struct dt_object *dt,
 952                    struct thandle *th)
 953 {
 954         struct osp_object               *o = dt2osp_obj(dt);
 955         struct osp_device               *osp = lu2osp_dev(dt->do_lu.lo_dev);
 956         struct osp_update_request       *update;
 957         int                             rc = 0;
 958
 959         ENTRY;
 960         o->opo_non_exist = 1;
 961
 962         LASSERT(osp->opd_connect_mdt);
 963         update = thandle_to_osp_update_request(th);
 964         LASSERT(update != NULL);
 965
 966         rc = osp_update_rpc_pack(env, destroy, update, OUT_DESTROY,
 967                                  lu_object_fid(&dt->do_lu));
 968         if (rc != 0)
 969                 RETURN(rc);
 970
 971         set_bit(LU_OBJECT_HEARD_BANSHEE, &dt->do_lu.lo_header->loh_flags);
 972         rc = osp_insert_update_callback(env, update, dt2osp_obj(dt), NULL,
 973                                         NULL);
 974
 975         RETURN(rc);
 976 }
 977
 978 struct dt_object_operations osp_md_obj_ops = {
 979         .do_read_lock         = osp_md_read_lock,
 980         .do_write_lock        = osp_md_write_lock,
 981         .do_read_unlock       = osp_md_read_unlock,
 982         .do_write_unlock      = osp_md_write_unlock,
 983         .do_write_locked      = osp_md_write_locked,
 984         .do_declare_create    = osp_md_declare_create,
 985         .do_create            = osp_md_create,
 986         .do_declare_ref_add   = osp_md_declare_ref_add,
 987         .do_ref_add           = osp_md_ref_add,
 988         .do_declare_ref_del   = osp_md_declare_ref_del,
 989         .do_ref_del           = osp_md_ref_del,
 990         .do_declare_destroy   = osp_md_declare_destroy,
 991         .do_destroy           = osp_md_destroy,
 992         .do_ah_init           = osp_md_ah_init,
 993         .do_attr_get          = osp_attr_get,
 994         .do_declare_attr_set  = osp_md_declare_attr_set,
 995         .do_attr_set          = osp_md_attr_set,
 996         .do_xattr_get         = osp_xattr_get,
 997         .do_declare_xattr_set = osp_declare_xattr_set,
 998         .do_xattr_set         = osp_xattr_set,
 999         .do_declare_xattr_del = osp_declare_xattr_del,
1000         .do_xattr_del         = osp_xattr_del,
1001         .do_index_try         = osp_md_index_try,
1002         .do_object_lock       = osp_md_object_lock,
1003         .do_object_unlock     = osp_md_object_unlock,
1004         .do_invalidate        = osp_invalidate,
1005 };
1006
1007 /**
1008  * Implementation of dt_body_operations::dbo_declare_write
1009  *
1010  * Create the osp_update_request to track the update for this OSP
1011  * in the transaction.
1012   *
1013  * \param[in] env       execution environment
1014  * \param[in] dt        object to be written
1015  * \param[in] buf       buffer to write which includes an embedded size field
1016  * \param[in] pos       offet in the object to start writing at
1017  * \param[in] th        transaction handle
1018  *
1019  * \retval              0 if preparation succeeds.
1020  * \retval              negative errno if preparation fails.
1021  */
1022 static ssize_t osp_md_declare_write(const struct lu_env *env,
1023                                     struct dt_object *dt,
1024                                     const struct lu_buf *buf,
1025                                     loff_t pos, struct thandle *th)
1026 {
1027         struct osp_device *osp = dt2osp_dev(th->th_dev);
1028         int rc;
1029
1030         rc = osp_trans_update_request_create(th);
1031         if (rc != 0)
1032                 return rc;
1033
1034         if (osp->opd_update == NULL)
1035                 return 0;
1036
1037         if (dt2osp_obj(dt)->opo_stale)
1038                 return -ESTALE;
1039
1040         return 0;
1041 }
1042
1043 /**
1044  * Implementation of dt_body_operations::dbo_write
1045  *
1046  * Pack the write object update into the RPC buffer, which will be sent
1047  * to the remote MDT during transaction stop.
1048  *
1049  * \param[in] env       execution environment
1050  * \param[in] dt        object to be written
1051  * \param[in] buf       buffer to write which includes an embedded size field
1052  * \param[in] pos       offet in the object to start writing at
1053  * \param[in] th        transaction handle
1054  * \param[in] ignore_quota quota enforcement for this write
1055  *
1056  * \retval              the buffer size in bytes if packing succeeds.
1057  * \retval              negative errno if packing fails.
1058  */
1059 static ssize_t osp_md_write(const struct lu_env *env, struct dt_object *dt,
1060                             const struct lu_buf *buf, loff_t *pos,
1061                             struct thandle *th, int ignore_quota)
1062 {
1063         struct osp_object         *obj = dt2osp_obj(dt);
1064         struct osp_update_request  *update;
1065         struct osp_thandle        *oth = thandle_to_osp_thandle(th);
1066         ssize_t                   rc;
1067         ENTRY;
1068
1069         update = thandle_to_osp_update_request(th);
1070         LASSERT(update != NULL);
1071
1072         CDEBUG(D_INFO, "write "DFID" offset = %llu length = %zu\n",
1073                PFID(lu_object_fid(&dt->do_lu)), *pos, buf->lb_len);
1074
1075         rc = osp_update_rpc_pack(env, write, update, OUT_WRITE,
1076                                  lu_object_fid(&dt->do_lu), buf, *pos);
1077         if (rc < 0)
1078                 RETURN(rc);
1079
1080         rc = osp_check_and_set_rpc_version(oth, obj);
1081         if (rc < 0)
1082                 RETURN(rc);
1083
1084         /* XXX: how about the write error happened later? */
1085         *pos += buf->lb_len;
1086
1087         if (obj->opo_attr.la_valid & LA_SIZE && obj->opo_attr.la_size < *pos)
1088                 obj->opo_attr.la_size = *pos;
1089
1090         spin_lock(&obj->opo_lock);
1091         if (list_empty(&obj->opo_invalidate_cb_list)) {
1092                 lu_object_get(&obj->opo_obj.do_lu);
1093
1094                 list_add_tail(&obj->opo_invalidate_cb_list,
1095                               &update->our_invalidate_cb_list);
1096         }
1097         spin_unlock(&obj->opo_lock);
1098
1099         RETURN(buf->lb_len);
1100 }
1101
1102 static inline void orr_le_to_cpu(struct out_read_reply *orr_dst,
1103                                  const struct out_read_reply *orr_src)
1104 {
1105         orr_dst->orr_size = le32_to_cpu(orr_src->orr_size);
1106         orr_dst->orr_padding = le32_to_cpu(orr_src->orr_padding);
1107         orr_dst->orr_offset = le64_to_cpu(orr_dst->orr_offset);
1108 }
1109
1110
1111
1112 static ssize_t osp_md_read(const struct lu_env *env, struct dt_object *dt,
1113                            struct lu_buf *rbuf, loff_t *pos)
1114 {
1115         struct osp_device *osp = lu2osp_dev(dt->do_lu.lo_dev);
1116         struct dt_device *dt_dev        = &osp->opd_dt_dev;
1117         struct lu_buf *lbuf = &osp_env_info(env)->osi_lb2;
1118         char *ptr = rbuf->lb_buf;
1119         struct osp_update_request *update;
1120         struct ptlrpc_request *req = NULL;
1121         struct out_read_reply *orr;
1122         struct ptlrpc_bulk_desc *desc;
1123         struct object_update_reply *reply;
1124         __u32 left_size;
1125         int nbufs;
1126         int i;
1127         int rc;
1128         ENTRY;
1129
1130         /* Because it needs send the update buffer right away,
1131          * just create an update buffer, instead of attaching the
1132          * update_remote list of the thandle.  */
1133         update = osp_update_request_create(dt_dev);
1134         if (IS_ERR(update))
1135                 RETURN(PTR_ERR(update));
1136
1137         rc = osp_update_rpc_pack(env, read, update, OUT_READ,
1138                                  lu_object_fid(&dt->do_lu),
1139                                  rbuf->lb_len, *pos);
1140         if (rc != 0) {
1141                 CERROR("%s: cannot insert update: rc = %d\n",
1142                        dt_dev->dd_lu_dev.ld_obd->obd_name, rc);
1143                 GOTO(out_update, rc);
1144         }
1145
1146         CDEBUG(D_INFO, "%s "DFID" read offset %llu size %zu\n",
1147                dt_dev->dd_lu_dev.ld_obd->obd_name,
1148                PFID(lu_object_fid(&dt->do_lu)), *pos, rbuf->lb_len);
1149         rc = osp_prep_update_req(env, osp->opd_obd->u.cli.cl_import, update,
1150                                  &req);
1151         if (rc != 0)
1152                 GOTO(out_update, rc);
1153
1154         nbufs = (rbuf->lb_len + OUT_BULK_BUFFER_SIZE - 1) /
1155                                         OUT_BULK_BUFFER_SIZE;
1156         /* allocate bulk descriptor */
1157         desc = ptlrpc_prep_bulk_imp(req, nbufs, 1,
1158                                     PTLRPC_BULK_PUT_SINK | PTLRPC_BULK_BUF_KVEC,
1159                                     MDS_BULK_PORTAL, &ptlrpc_bulk_kvec_ops);
1160         if (desc == NULL)
1161                 GOTO(out, rc = -ENOMEM);
1162
1163         /* split the buffer into small chunk size */
1164         left_size = rbuf->lb_len;
1165         for (i = 0; i < nbufs; i++) {
1166                 int read_size;
1167
1168                 read_size = left_size > OUT_BULK_BUFFER_SIZE ?
1169                                 OUT_BULK_BUFFER_SIZE : left_size;
1170                 desc->bd_frag_ops->add_iov_frag(desc, ptr, read_size);
1171
1172                 ptr += read_size;
1173         }
1174
1175         osp_set_req_replay(osp, req);
1176         req->rq_bulk_read = 1;
1177         /* send request to master and wait for RPC to complete */
1178         rc = ptlrpc_queue_wait(req);
1179         if (rc != 0)
1180                 GOTO(out, rc);
1181
1182         rc = sptlrpc_cli_unwrap_bulk_read(req, req->rq_bulk,
1183                                           req->rq_bulk->bd_nob_transferred);
1184         if (rc < 0)
1185                 GOTO(out, rc);
1186
1187         reply = req_capsule_server_sized_get(&req->rq_pill,
1188                                              &RMF_OUT_UPDATE_REPLY,
1189                                              OUT_UPDATE_REPLY_SIZE);
1190
1191         if (reply->ourp_magic != UPDATE_REPLY_MAGIC) {
1192                 CERROR("%s: invalid update reply magic %x expected %x:"
1193                        " rc = %d\n", dt_dev->dd_lu_dev.ld_obd->obd_name,
1194                        reply->ourp_magic, UPDATE_REPLY_MAGIC, -EPROTO);
1195                 GOTO(out, rc = -EPROTO);
1196         }
1197
1198         rc = object_update_result_data_get(reply, lbuf, 0);
1199         if (rc < 0)
1200                 GOTO(out, rc);
1201
1202         if (lbuf->lb_len < sizeof(*orr))
1203                 GOTO(out, rc = -EPROTO);
1204
1205         orr = lbuf->lb_buf;
1206         orr_le_to_cpu(orr, orr);
1207         rc = orr->orr_size;
1208         *pos = orr->orr_offset;
1209 out:
1210         ptlrpc_req_finished(req);
1211
1212 out_update:
1213         osp_update_request_destroy(env, update);
1214
1215         RETURN(rc);
1216 }
1217
1218 /* These body operation will be used to write symlinks during migration etc */
1219 struct dt_body_operations osp_md_body_ops = {
1220         .dbo_declare_write      = osp_md_declare_write,
1221         .dbo_write              = osp_md_write,
1222         .dbo_read               = osp_md_read,
1223 };