Whamcloud - gitweb
LU-12275 tests: exercise file content encryption/decryption
[fs/lustre-release.git] / lustre / ofd / ofd_io.c
index 27f379d..cdb3198 100644 (file)
@@ -475,6 +475,71 @@ out:
 
 }
 
+/*
+ * Lazy ATIME update to refresh atime every ofd_atime_diff
+ * seconds so that external scanning tool can see it actual
+ * within that period and be able to identify accessed files
+ */
+static void ofd_handle_atime(const struct lu_env *env, struct ofd_device *ofd,
+                            struct ofd_object *fo, time64_t atime)
+{
+       struct lu_attr *la;
+       struct dt_object *o;
+       struct thandle *th;
+       int rc;
+
+       if (ofd->ofd_atime_diff == 0)
+               return;
+
+       la = &ofd_info(env)->fti_attr2;
+       o = ofd_object_child(fo);
+
+       if (unlikely(fo->ofo_atime_ondisk == 0)) {
+               rc = dt_attr_get(env, o, la);
+               if (unlikely(rc))
+                       return;
+               LASSERT(la->la_valid & LA_ATIME);
+               if (la->la_atime == 0)
+                       la->la_atime = la->la_mtime;
+               fo->ofo_atime_ondisk = la->la_atime;
+       }
+       if (atime - fo->ofo_atime_ondisk < ofd->ofd_atime_diff)
+               return;
+
+       /* atime hasn't been updated too long, update it */
+       fo->ofo_atime_ondisk = atime;
+
+       th = ofd_trans_create(env, ofd);
+       if (IS_ERR(th)) {
+               CERROR("%s: cannot create transaction: rc = %d\n",
+                      ofd_name(ofd), (int)PTR_ERR(th));
+               return;
+       }
+
+       la->la_valid = LA_ATIME;
+       rc = dt_declare_attr_set(env, o, la, th);
+       if (rc)
+               GOTO(out_tx, rc);
+
+       rc = dt_trans_start_local(env, ofd->ofd_osd , th);
+       if (rc) {
+               CERROR("%s: cannot start transaction: rc = %d\n",
+                      ofd_name(ofd), rc);
+               GOTO(out_tx, rc);
+       }
+
+       ofd_read_lock(env, fo);
+       if (ofd_object_exists(fo)) {
+               la->la_atime = fo->ofo_atime_ondisk;
+               rc = dt_attr_set(env, o, la, th);
+       }
+
+       ofd_read_unlock(env, fo);
+
+out_tx:
+       ofd_trans_stop(env, ofd, th, rc);
+}
+
 /**
  * Prepare buffers for read request processing.
  *
@@ -506,6 +571,7 @@ static int ofd_preprw_read(const struct lu_env *env, struct obd_export *exp,
        int i, j, rc, tot_bytes = 0;
        enum dt_bufs_type dbt = DT_BUFS_TYPE_READ;
        int maxlnb = *nr_local;
+       __u64 begin, end;
 
        ENTRY;
        LASSERT(env != NULL);
@@ -515,6 +581,11 @@ static int ofd_preprw_read(const struct lu_env *env, struct obd_export *exp,
                RETURN(PTR_ERR(fo));
        LASSERT(fo != NULL);
 
+       ofd_info(env)->fti_obj = fo;
+
+       if (oa->o_valid & OBD_MD_FLATIME)
+               ofd_handle_atime(env, ofd, fo, oa->o_atime);
+
        ofd_read_lock(env, fo);
        if (!ofd_object_exists(fo))
                GOTO(unlock, rc = -ENOENT);
@@ -528,7 +599,12 @@ static int ofd_preprw_read(const struct lu_env *env, struct obd_export *exp,
        if (ptlrpc_connection_is_local(exp->exp_connection))
                dbt |= DT_BUFS_TYPE_LOCAL;
 
+       begin = -1;
+       end = 0;
+
        for (*nr_local = 0, i = 0, j = 0; i < niocount; i++) {
+               begin = min_t(__u64, begin, rnb[i].rnb_offset);
+               end = max_t(__u64, end, rnb[i].rnb_offset + rnb[i].rnb_len);
 
                if (OBD_FAIL_CHECK(OBD_FAIL_OST_2BIG_NIOBUF))
                        rnb[i].rnb_len = 100 * 1024 * 1024;
@@ -547,14 +623,21 @@ static int ofd_preprw_read(const struct lu_env *env, struct obd_export *exp,
        }
 
        LASSERT(*nr_local > 0 && *nr_local <= PTLRPC_MAX_BRW_PAGES);
-       rc = dt_attr_get(env, ofd_object_child(fo), la);
-       if (unlikely(rc))
-               GOTO(buf_put, rc);
-
        rc = dt_read_prep(env, ofd_object_child(fo), lnb, *nr_local);
        if (unlikely(rc))
                GOTO(buf_put, rc);
 
+       ofd_access(ofd,
+               &(struct lu_fid) {
+                       .f_seq = oa->o_parent_seq,
+                       .f_oid = oa->o_parent_oid,
+                       .f_ver = oa->o_stripe_idx,
+               },
+               begin, end,
+               tot_bytes,
+               niocount,
+               READ);
+
        ofd_counter_incr(exp, LPROC_OFD_STATS_READ, jobid, tot_bytes);
        RETURN(0);
 
@@ -600,6 +683,7 @@ static int ofd_preprw_write(const struct lu_env *env, struct obd_export *exp,
        int i, j, k, rc = 0, tot_bytes = 0;
        enum dt_bufs_type dbt = DT_BUFS_TYPE_WRITE;
        int maxlnb = *nr_local;
+       __u64 begin, end;
 
        ENTRY;
        LASSERT(env != NULL);
@@ -672,6 +756,8 @@ static int ofd_preprw_write(const struct lu_env *env, struct obd_export *exp,
                GOTO(out, rc = PTR_ERR(fo));
        LASSERT(fo != NULL);
 
+       ofd_info(env)->fti_obj = fo;
+
        ofd_read_lock(env, fo);
        if (!ofd_object_exists(fo)) {
                CERROR("%s: BRW to missing obj "DOSTID"\n",
@@ -705,8 +791,14 @@ static int ofd_preprw_write(const struct lu_env *env, struct obd_export *exp,
        if (ptlrpc_connection_is_local(exp->exp_connection))
                dbt |= DT_BUFS_TYPE_LOCAL;
 
+       begin = -1;
+       end = 0;
+
        /* parse remote buffers to local buffers and prepare the latter */
        for (*nr_local = 0, i = 0, j = 0; i < obj->ioo_bufcnt; i++) {
+               begin = min_t(__u64, begin, rnb[i].rnb_offset);
+               end = max_t(__u64, end, rnb[i].rnb_offset + rnb[i].rnb_len);
+
                if (OBD_FAIL_CHECK(OBD_FAIL_OST_2BIG_NIOBUF))
                        rnb[i].rnb_len += PAGE_SIZE;
                rc = dt_bufs_get(env, ofd_object_child(fo),
@@ -734,6 +826,18 @@ static int ofd_preprw_write(const struct lu_env *env, struct obd_export *exp,
                GOTO(err, rc);
 
        ofd_read_unlock(env, fo);
+
+       ofd_access(ofd,
+               &(struct lu_fid) {
+                       .f_seq = oa->o_parent_seq,
+                       .f_oid = oa->o_parent_oid,
+                       .f_ver = oa->o_stripe_idx,
+               },
+               begin, end,
+               tot_bytes,
+               obj->ioo_bufcnt,
+               WRITE);
+
        ofd_counter_incr(exp, LPROC_OFD_STATS_WRITE, jobid, tot_bytes);
        RETURN(0);
 err:
@@ -782,8 +886,7 @@ int ofd_preprw(const struct lu_env *env, int cmd, struct obd_export *exp,
        int                      rc = 0;
 
        if (*nr_local > PTLRPC_MAX_BRW_PAGES) {
-               CERROR("%s: bulk has too many pages %d, which exceeds the"
-                      "maximum pages per RPC of %d\n",
+               CERROR("%s: bulk has too many pages %d, which exceeds the maximum pages per RPC of %d\n",
                       exp->exp_obd->obd_name, *nr_local, PTLRPC_MAX_BRW_PAGES);
                RETURN(-EPROTO);
        }
@@ -831,7 +934,6 @@ int ofd_preprw(const struct lu_env *env, int cmd, struct obd_export *exp,
                rc = ofd_preprw_read(env, exp, ofd, fid, &info->fti_attr, oa,
                                     obj->ioo_bufcnt, rnb, nr_local, lnb,
                                     jobid);
-               obdo_from_la(oa, &info->fti_attr, LA_ATIME);
        } else {
                CERROR("%s: wrong cmd %d received!\n",
                       exp->exp_obd->obd_name, cmd);
@@ -866,17 +968,13 @@ ofd_commitrw_read(const struct lu_env *env, struct ofd_device *ofd,
 
        LASSERT(niocount > 0);
 
-       fo = ofd_object_find(env, ofd, fid);
-       if (IS_ERR(fo))
-               RETURN(PTR_ERR(fo));
+       fo = ofd_info(env)->fti_obj;
        LASSERT(fo != NULL);
        LASSERT(ofd_object_exists(fo));
        dt_bufs_put(env, ofd_object_child(fo), lnb, niocount);
 
        ofd_read_unlock(env, fo);
        ofd_object_put(env, fo);
-       /* second put is pair to object_get in ofd_preprw_read */
-       ofd_object_put(env, fo);
 
        RETURN(0);
 }
@@ -1121,7 +1219,7 @@ ofd_commitrw_write(const struct lu_env *env, struct obd_export *exp,
 
        LASSERT(objcount == 1);
 
-       fo = ofd_object_find(env, ofd, fid);
+       fo = ofd_info(env)->fti_obj;
        LASSERT(fo != NULL);
 
        o = ofd_object_child(fo);
@@ -1192,6 +1290,10 @@ retry:
                        GOTO(out_stop, rc);
        }
 
+       /* don't update atime on disk if it is older */
+       if (la->la_valid & LA_ATIME && la->la_atime <= fo->ofo_atime_ondisk)
+               la->la_valid &= ~LA_ATIME;
+
        if (la->la_valid) {
                /* update [mac]time if needed */
                rc = dt_declare_attr_set(env, o, la, th);
@@ -1208,7 +1310,9 @@ retry:
                GOTO(out_unlock, rc = -ENOENT);
 
        if (likely(!fake_write)) {
-               rc = dt_write_commit(env, o, lnb, niocount, th);
+               OBD_FAIL_TIMEOUT_ORSET(OBD_FAIL_OST_WR_ATTR_DELAY,
+                                      OBD_FAIL_ONCE, cfs_fail_val);
+               rc = dt_write_commit(env, o, lnb, niocount, th, oa->o_size);
                if (rc)
                        GOTO(out_unlock, rc);
        }
@@ -1219,6 +1323,8 @@ retry:
                rc = dt_attr_set(env, o, la, th);
                if (rc)
                        GOTO(out_unlock, rc);
+               if (la->la_valid & LA_ATIME)
+                       fo->ofo_atime_ondisk = la->la_atime;
        }
 
        /* get attr to return */
@@ -1262,8 +1368,6 @@ out_stop:
 out:
        dt_bufs_put(env, o, lnb, niocount);
        ofd_object_put(env, fo);
-       /* second put is pair to object_get in ofd_preprw_write */
-       ofd_object_put(env, fo);
        if (granted > 0)
                tgt_grant_commit(exp, granted, old_rc);
        RETURN(rc);
@@ -1299,6 +1403,8 @@ int ofd_commitrw(const struct lu_env *env, int cmd, struct obd_export *exp,
        struct ofd_thread_info *info = ofd_info(env);
        struct ofd_device *ofd = ofd_exp(exp);
        const struct lu_fid *fid = &oa->o_oi.oi_fid;
+       struct ldlm_namespace *ns = ofd->ofd_namespace;
+       struct ldlm_resource *rs = NULL;
        __u64 valid;
        int rc = 0;
 
@@ -1350,6 +1456,23 @@ int ofd_commitrw(const struct lu_env *env, int cmd, struct obd_export *exp,
                        oa->o_valid |= OBD_MD_FLALLQUOTA;
                }
 
+               /**
+                * Update LVB after writing finish for server lock, see
+                * comments in ldlm_lock_decref_internal(), If this is a
+                * local lock on a server namespace and this was the last
+                * reference, lock will be destroyed directly thus there
+                * is no chance for ldlm_request_cancel() to update lvb.
+                */
+               if (rc == 0 && (rnb[0].rnb_flags & OBD_BRW_SRVLOCK)) {
+                       ost_fid_build_resid(fid, &info->fti_resid);
+                       rs = ldlm_resource_get(ns, NULL, &info->fti_resid,
+                                              LDLM_EXTENT, 0);
+                       if (!IS_ERR(rs)) {
+                               ldlm_res_lvbo_update(rs, NULL, 1);
+                               ldlm_resource_putref(rs);
+                       }
+               }
+
                /* Convert back to client IDs. LU-9671.
                 * nodemap_get_from_exp() may fail due to nodemap deactivated,
                 * server ID will be returned back to client in that case. */
@@ -1364,22 +1487,6 @@ int ofd_commitrw(const struct lu_env *env, int cmd, struct obd_export *exp,
                        nodemap_putref(nodemap);
                }
        } else if (cmd == OBD_BRW_READ) {
-               struct ldlm_namespace *ns = ofd->ofd_namespace;
-
-               /* If oa != NULL then ofd_preprw_read updated the inode
-                * atime and we should update the lvb so that other glimpses
-                * will also get the updated value. bug 5972 */
-               if (oa && ns && ns->ns_lvbo && ns->ns_lvbo->lvbo_update) {
-                        struct ldlm_resource *rs = NULL;
-
-                       ost_fid_build_resid(fid, &info->fti_resid);
-                       rs = ldlm_resource_get(ns, NULL, &info->fti_resid,
-                                              LDLM_EXTENT, 0);
-                       if (!IS_ERR(rs)) {
-                               ldlm_res_lvbo_update(rs, NULL, 1);
-                               ldlm_resource_putref(rs);
-                       }
-               }
                rc = ofd_commitrw_read(env, ofd, fid, objcount,
                                       npages, lnb);
                if (old_rc)