Whamcloud - gitweb
LU-10383 hsm: flatten mdt_cdt_started_cb()
[fs/lustre-release.git] / lustre / mdt / mdt_hsm.c
1 /*
2  * GPL HEADER START
3  *
4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 only,
8  * as published by the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License version 2 for more details.  A copy is
14  * included in the COPYING file that accompanied this code.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
19  *
20  * GPL HEADER END
21  */
22 /*
23  * Copyright (c) 2011, 2012 Commissariat a l'energie atomique et aux energies
24  *                          alternatives
25  * Use is subject to license terms.
26  *
27  * Copyright (c) 2012, 2015, Intel Corporation.
28  */
29 /*
30  * lustre/mdt/mdt_hsm.c
31  *
32  * Lustre Metadata Target (mdt) request handler
33  *
34  * Author: Aurelien Degremont <aurelien.degremont@cea.fr>
35  * Author: JC Lafoucriere <jacques-charles.lafoucriere@cea.fr>
36  */
37
38 #define DEBUG_SUBSYSTEM S_MDS
39
40 #include <lustre_errno.h>
41 #include "mdt_internal.h"
42
43 /* Max allocation to satisfy single HSM RPC. */
44 #define MDT_HSM_ALLOC_MAX (1 << 20)
45
46 #define MDT_HSM_ALLOC(ptr, size)                        \
47         do {                                            \
48                 if ((size) <= MDT_HSM_ALLOC_MAX)        \
49                         OBD_ALLOC_LARGE((ptr), (size)); \
50                 else                                    \
51                         (ptr) = NULL;                   \
52         } while (0)
53
54 #define MDT_HSM_FREE(ptr, size) OBD_FREE_LARGE((ptr), (size))
55
56 /**
57  * Update on-disk HSM attributes.
58  */
59 int mdt_hsm_attr_set(struct mdt_thread_info *info, struct mdt_object *obj,
60                      const struct md_hsm *mh)
61 {
62         struct md_object *next = mdt_object_child(obj);
63         struct lu_buf *buf = &info->mti_buf;
64         struct hsm_attrs *attrs;
65         int rc;
66         ENTRY;
67
68         attrs = (struct hsm_attrs *)info->mti_xattr_buf;
69         CLASSERT(sizeof(info->mti_xattr_buf) >= sizeof(*attrs));
70
71         /* pack HSM attributes */
72         lustre_hsm2buf(info->mti_xattr_buf, mh);
73
74         /* update HSM attributes */
75         buf->lb_buf = attrs;
76         buf->lb_len = sizeof(*attrs);
77         rc = mo_xattr_set(info->mti_env, next, buf, XATTR_NAME_HSM, 0);
78
79         RETURN(rc);
80 }
81
82 static inline bool mdt_hsm_is_admin(struct mdt_thread_info *info)
83 {
84         bool is_admin;
85         int rc;
86
87         if (info->mti_body == NULL)
88                 return false;
89
90         rc = mdt_init_ucred(info, (struct mdt_body *)info->mti_body);
91         if (rc < 0)
92                 return false;
93
94         is_admin = md_capable(mdt_ucred(info), CFS_CAP_SYS_ADMIN);
95
96         mdt_exit_ucred(info);
97
98         return is_admin;
99 }
100
101 /**
102  * Extract information coming from a copytool and asks coordinator to update
103  * a request status depending on the update content.
104  *
105  * Copytools could use this to report failure in their process.
106  *
107  * This is HSM_PROGRESS RPC handler.
108  */
109 int mdt_hsm_progress(struct tgt_session_info *tsi)
110 {
111         struct mdt_thread_info          *info;
112         struct hsm_progress_kernel      *hpk;
113         int                              rc;
114         ENTRY;
115
116         if (tsi->tsi_mdt_body == NULL)
117                 RETURN(-EPROTO);
118
119         hpk = req_capsule_client_get(tsi->tsi_pill, &RMF_MDS_HSM_PROGRESS);
120         if (hpk == NULL)
121                 RETURN(err_serious(-EPROTO));
122
123         hpk->hpk_errval = lustre_errno_ntoh(hpk->hpk_errval);
124
125         CDEBUG(D_HSM, "Progress on "DFID": len=%llu : rc = %d\n",
126                PFID(&hpk->hpk_fid), hpk->hpk_extent.length, hpk->hpk_errval);
127
128         if (hpk->hpk_errval)
129                 CDEBUG(D_HSM, "Copytool progress on "DFID" failed : rc = %d; %s.\n",
130                        PFID(&hpk->hpk_fid), hpk->hpk_errval,
131                        hpk->hpk_flags & HP_FLAG_RETRY ? "will retry" : "fatal");
132
133         if (hpk->hpk_flags & HP_FLAG_COMPLETED)
134                 CDEBUG(D_HSM, "Finished "DFID" : rc = %d; cancel cookie=%#llx\n",
135                        PFID(&hpk->hpk_fid), hpk->hpk_errval, hpk->hpk_cookie);
136
137         info = tsi2mdt_info(tsi);
138         if (!mdt_hsm_is_admin(info))
139                 GOTO(out, rc = -EPERM);
140
141         rc = mdt_hsm_update_request_state(info, hpk);
142 out:
143         mdt_thread_info_fini(info);
144         RETURN(rc);
145 }
146
147 int mdt_hsm_ct_register(struct tgt_session_info *tsi)
148 {
149         struct mdt_thread_info  *info;
150         __u32                   *archives;
151         int                      rc;
152         ENTRY;
153
154         archives = req_capsule_client_get(tsi->tsi_pill, &RMF_MDS_HSM_ARCHIVE);
155         if (archives == NULL)
156                 RETURN(err_serious(-EPROTO));
157
158         info = tsi2mdt_info(tsi);
159         if (!mdt_hsm_is_admin(info))
160                 GOTO(out, rc = -EPERM);
161
162         /* XXX: directly include this function here? */
163         rc = mdt_hsm_agent_register_mask(info, &tsi->tsi_exp->exp_client_uuid,
164                                          *archives);
165 out:
166         mdt_thread_info_fini(info);
167         RETURN(rc);
168 }
169
170 int mdt_hsm_ct_unregister(struct tgt_session_info *tsi)
171 {
172         struct mdt_thread_info  *info;
173         int                      rc;
174         ENTRY;
175
176         if (tsi->tsi_mdt_body == NULL)
177                 RETURN(-EPROTO);
178
179         info = tsi2mdt_info(tsi);
180         if (!mdt_hsm_is_admin(info))
181                 GOTO(out, rc = -EPERM);
182
183         /* XXX: directly include this function here? */
184         rc = mdt_hsm_agent_unregister(info, &tsi->tsi_exp->exp_client_uuid);
185 out:
186         mdt_thread_info_fini(info);
187         RETURN(rc);
188 }
189
190 /**
191  * Retrieve the current HSM flags, archive id and undergoing HSM requests for
192  * the fid provided in RPC body.
193  *
194  * Current requests are read from coordinator states.
195  *
196  * This is MDS_HSM_STATE_GET RPC handler.
197  */
198 int mdt_hsm_state_get(struct tgt_session_info *tsi)
199 {
200         struct mdt_thread_info  *info = tsi2mdt_info(tsi);
201         struct mdt_object       *obj = info->mti_object;
202         struct md_attr          *ma  = &info->mti_attr;
203         struct hsm_user_state   *hus;
204         struct mdt_lock_handle  *lh;
205         int                      rc;
206         ENTRY;
207
208         if (info->mti_body == NULL || obj == NULL)
209                 GOTO(out, rc = -EPROTO);
210
211         /* Only valid if client is remote */
212         rc = mdt_init_ucred(info, (struct mdt_body *)info->mti_body);
213         if (rc < 0)
214                 GOTO(out, rc = err_serious(rc));
215
216         lh = &info->mti_lh[MDT_LH_CHILD];
217         mdt_lock_reg_init(lh, LCK_PR);
218         rc = mdt_object_lock(info, obj, lh, MDS_INODELOCK_LOOKUP);
219         if (rc < 0)
220                 GOTO(out_ucred, rc);
221
222         ma->ma_valid = 0;
223         ma->ma_need = MA_HSM;
224         rc = mdt_attr_get_complex(info, obj, ma);
225         if (rc)
226                 GOTO(out_unlock, rc);
227
228         hus = req_capsule_server_get(tsi->tsi_pill, &RMF_HSM_USER_STATE);
229         if (hus == NULL)
230                 GOTO(out_unlock, rc = -EPROTO);
231
232         /* Current HSM flags */
233         hus->hus_states = ma->ma_hsm.mh_flags;
234         hus->hus_archive_id = ma->ma_hsm.mh_arch_id;
235
236         EXIT;
237 out_unlock:
238         mdt_object_unlock(info, obj, lh, 1);
239 out_ucred:
240         mdt_exit_ucred(info);
241 out:
242         mdt_thread_info_fini(info);
243         return rc;
244 }
245
246 /**
247  * Change HSM state and archive number of a file.
248  *
249  * Archive number is changed iif the value is not 0.
250  * The new flagset that will be computed should result in a coherent state.
251  * This function checks that flags are compatible.
252  *
253  * This is MDS_HSM_STATE_SET RPC handler.
254  */
255 int mdt_hsm_state_set(struct tgt_session_info *tsi)
256 {
257         struct mdt_thread_info  *info = tsi2mdt_info(tsi);
258         struct mdt_object       *obj = info->mti_object;
259         struct md_attr          *ma = &info->mti_attr;
260         struct hsm_state_set    *hss;
261         struct mdt_lock_handle  *lh;
262         int                      rc;
263         __u64                    flags;
264         ENTRY;
265
266         hss = req_capsule_client_get(info->mti_pill, &RMF_HSM_STATE_SET);
267
268         if (info->mti_body == NULL || obj == NULL || hss == NULL)
269                 GOTO(out, rc = -EPROTO);
270
271         /* Only valid if client is remote */
272         rc = mdt_init_ucred(info, (struct mdt_body *)info->mti_body);
273         if (rc < 0)
274                 GOTO(out, rc = err_serious(rc));
275
276         lh = &info->mti_lh[MDT_LH_CHILD];
277         mdt_lock_reg_init(lh, LCK_PW);
278         rc = mdt_object_lock(info, obj, lh, MDS_INODELOCK_LOOKUP |
279                              MDS_INODELOCK_XATTR);
280         if (rc < 0)
281                 GOTO(out_ucred, rc);
282
283         /* Detect out-of range masks */
284         if ((hss->hss_setmask | hss->hss_clearmask) & ~HSM_FLAGS_MASK) {
285                 CDEBUG(D_HSM, "Incompatible masks provided (set %#llx"
286                        ", clear %#llx) vs supported set (%#x).\n",
287                        hss->hss_setmask, hss->hss_clearmask, HSM_FLAGS_MASK);
288                 GOTO(out_unlock, rc = -EINVAL);
289         }
290
291         /* Non-root users are forbidden to set or clear flags which are
292          * NOT defined in HSM_USER_MASK. */
293         if (((hss->hss_setmask | hss->hss_clearmask) & ~HSM_USER_MASK) &&
294             !md_capable(mdt_ucred(info), CFS_CAP_SYS_ADMIN)) {
295                 CDEBUG(D_HSM, "Incompatible masks provided (set %#llx"
296                        ", clear %#llx) vs unprivileged set (%#x).\n",
297                        hss->hss_setmask, hss->hss_clearmask, HSM_USER_MASK);
298                 GOTO(out_unlock, rc = -EPERM);
299         }
300
301         /* Read current HSM info */
302         ma->ma_valid = 0;
303         ma->ma_need = MA_HSM;
304         rc = mdt_attr_get_complex(info, obj, ma);
305         if (rc)
306                 GOTO(out_unlock, rc);
307
308         /* Change HSM flags depending on provided masks */
309         if (hss->hss_valid & HSS_SETMASK)
310                 ma->ma_hsm.mh_flags |= hss->hss_setmask;
311         if (hss->hss_valid & HSS_CLEARMASK)
312                 ma->ma_hsm.mh_flags &= ~hss->hss_clearmask;
313
314         /* Change archive_id if provided. */
315         if (hss->hss_valid & HSS_ARCHIVE_ID) {
316                 if (!(ma->ma_hsm.mh_flags & HS_EXISTS)) {
317                         CDEBUG(D_HSM, "Could not set an archive number for "
318                                DFID "if HSM EXISTS flag is not set.\n",
319                                PFID(&info->mti_body->mbo_fid1));
320                         GOTO(out_unlock, rc);
321                 }
322
323                 /* Detect out-of range archive id */
324                 if (hss->hss_archive_id > LL_HSM_MAX_ARCHIVE) {
325                         CDEBUG(D_HSM, "archive id %u exceeds maximum %zu.\n",
326                                hss->hss_archive_id, LL_HSM_MAX_ARCHIVE);
327                         GOTO(out_unlock, rc = -EINVAL);
328                 }
329
330                 ma->ma_hsm.mh_arch_id = hss->hss_archive_id;
331         }
332
333         /* Check for inconsistant HSM flagset.
334          * DIRTY without EXISTS: no dirty if no archive was created.
335          * DIRTY and RELEASED: a dirty file could not be released.
336          * RELEASED without ARCHIVED: do not release a non-archived file.
337          * LOST without ARCHIVED: cannot lost a non-archived file.
338          */
339         flags = ma->ma_hsm.mh_flags;
340         if ((flags & HS_DIRTY    && !(flags & HS_EXISTS)) ||
341             (flags & HS_RELEASED && flags & HS_DIRTY) ||
342             (flags & HS_RELEASED && !(flags & HS_ARCHIVED)) ||
343             (flags & HS_LOST     && !(flags & HS_ARCHIVED))) {
344                 CDEBUG(D_HSM, "Incompatible flag change on "DFID
345                               "flags=%#llx\n",
346                        PFID(&info->mti_body->mbo_fid1), flags);
347                 GOTO(out_unlock, rc = -EINVAL);
348         }
349
350         /* Save the modified flags */
351         rc = mdt_hsm_attr_set(info, obj, &ma->ma_hsm);
352         if (rc)
353                 GOTO(out_unlock, rc);
354
355         EXIT;
356
357 out_unlock:
358         mdt_object_unlock(info, obj, lh, 1);
359 out_ucred:
360         mdt_exit_ucred(info);
361 out:
362         mdt_thread_info_fini(info);
363         return rc;
364 }
365
366 /**
367  * Retrieve undergoing HSM requests for the fid provided in RPC body.
368  * Current requests are read from coordinator states.
369  *
370  * This is MDS_HSM_ACTION RPC handler.
371  */
372 int mdt_hsm_action(struct tgt_session_info *tsi)
373 {
374         struct mdt_thread_info          *info;
375         struct hsm_current_action       *hca;
376         struct hsm_action_list          *hal = NULL;
377         struct hsm_action_item          *hai;
378         int                              hal_size;
379         int                              rc;
380         ENTRY;
381
382         hca = req_capsule_server_get(tsi->tsi_pill,
383                                      &RMF_MDS_HSM_CURRENT_ACTION);
384         if (hca == NULL)
385                 RETURN(err_serious(-EPROTO));
386
387         if (tsi->tsi_mdt_body == NULL)
388                 RETURN(-EPROTO);
389
390         info = tsi2mdt_info(tsi);
391         /* Only valid if client is remote */
392         rc = mdt_init_ucred(info, (struct mdt_body *)info->mti_body);
393         if (rc)
394                 GOTO(out, rc = err_serious(rc));
395
396         /* Coordinator information */
397         hal_size = sizeof(*hal) +
398                    cfs_size_round(MTI_NAME_MAXLEN) /* fsname */ +
399                    cfs_size_round(sizeof(*hai));
400
401         MDT_HSM_ALLOC(hal, hal_size);
402         if (hal == NULL)
403                 GOTO(out_ucred, rc = -ENOMEM);
404
405         hal->hal_version = HAL_VERSION;
406         hal->hal_archive_id = 0;
407         hal->hal_flags = 0;
408         obd_uuid2fsname(hal->hal_fsname, mdt_obd_name(info->mti_mdt),
409                         MTI_NAME_MAXLEN);
410         hal->hal_count = 1;
411         hai = hai_first(hal);
412         hai->hai_action = HSMA_NONE;
413         hai->hai_cookie = 0;
414         hai->hai_gid = 0;
415         hai->hai_fid = info->mti_body->mbo_fid1;
416         hai->hai_len = sizeof(*hai);
417
418         rc = mdt_hsm_get_actions(info, hal);
419         if (rc)
420                 GOTO(out_free, rc);
421
422         /* cookie is used to give back request status */
423         if (hai->hai_cookie == 0)
424                 hca->hca_state = HPS_WAITING;
425         else
426                 hca->hca_state = HPS_RUNNING;
427
428         switch (hai->hai_action) {
429         case HSMA_NONE:
430                 hca->hca_action = HUA_NONE;
431                 break;
432         case HSMA_ARCHIVE:
433                 hca->hca_action = HUA_ARCHIVE;
434                 break;
435         case HSMA_RESTORE:
436                 hca->hca_action = HUA_RESTORE;
437                 break;
438         case HSMA_REMOVE:
439                 hca->hca_action = HUA_REMOVE;
440                 break;
441         case HSMA_CANCEL:
442                 hca->hca_action = HUA_CANCEL;
443                 break;
444         default:
445                 hca->hca_action = HUA_NONE;
446                 CERROR("%s: Unknown hsm action: %d on "DFID"\n",
447                        mdt_obd_name(info->mti_mdt),
448                        hai->hai_action, PFID(&hai->hai_fid));
449                 break;
450         }
451
452         hca->hca_location = hai->hai_extent;
453
454         EXIT;
455 out_free:
456         MDT_HSM_FREE(hal, hal_size);
457 out_ucred:
458         mdt_exit_ucred(info);
459 out:
460         mdt_thread_info_fini(info);
461         return rc;
462 }
463
464 /* Return true if a FID is present in an action list. */
465 static bool is_fid_in_hal(struct hsm_action_list *hal, const struct lu_fid *fid)
466 {
467         struct hsm_action_item *hai;
468         int i;
469
470         for (hai = hai_first(hal), i = 0;
471              i < hal->hal_count;
472              i++, hai = hai_next(hai)) {
473                 if (lu_fid_eq(&hai->hai_fid, fid))
474                         return true;
475         }
476
477         return false;
478 }
479
480 /**
481  * Process the HSM actions described in a struct hsm_user_request.
482  *
483  * The action described in hur will be send to coordinator to be saved and
484  * processed later or either handled directly if hur.hur_action is HUA_RELEASE.
485  *
486  * This is MDS_HSM_REQUEST RPC handler.
487  */
488 int mdt_hsm_request(struct tgt_session_info *tsi)
489 {
490         struct mdt_thread_info          *info;
491         struct req_capsule              *pill = tsi->tsi_pill;
492         struct hsm_request              *hr;
493         struct hsm_user_item            *hui;
494         struct hsm_action_list          *hal;
495         struct hsm_action_item          *hai;
496         const void                      *data;
497         int                              hui_list_size;
498         int                              data_size;
499         enum hsm_copytool_action         action = HSMA_NONE;
500         int                              hal_size, i, rc;
501         ENTRY;
502
503         hr = req_capsule_client_get(pill, &RMF_MDS_HSM_REQUEST);
504         hui = req_capsule_client_get(pill, &RMF_MDS_HSM_USER_ITEM);
505         data = req_capsule_client_get(pill, &RMF_GENERIC_DATA);
506
507         if (tsi->tsi_mdt_body == NULL || hr == NULL || hui == NULL || data == NULL)
508                 RETURN(-EPROTO);
509
510         /* Sanity check. Nothing to do with an empty list */
511         if (hr->hr_itemcount == 0)
512                 RETURN(0);
513
514         hui_list_size = req_capsule_get_size(pill, &RMF_MDS_HSM_USER_ITEM,
515                                              RCL_CLIENT);
516         if (hui_list_size < hr->hr_itemcount * sizeof(*hui))
517                 RETURN(-EPROTO);
518
519         data_size = req_capsule_get_size(pill, &RMF_GENERIC_DATA, RCL_CLIENT);
520         if (data_size != hr->hr_data_len)
521                 RETURN(-EPROTO);
522
523         info = tsi2mdt_info(tsi);
524         /* Only valid if client is remote */
525         rc = mdt_init_ucred(info, (struct mdt_body *)info->mti_body);
526         if (rc)
527                 GOTO(out, rc);
528
529         switch (hr->hr_action) {
530         /* code to be removed in hsm1_merge and final patch */
531         case HUA_RELEASE:
532                 CERROR("Release action is not working in hsm1_coord\n");
533                 GOTO(out_ucred, rc = -EINVAL);
534                 break;
535         /* end of code to be removed */
536         case HUA_ARCHIVE:
537                 action = HSMA_ARCHIVE;
538                 break;
539         case HUA_RESTORE:
540                 action = HSMA_RESTORE;
541                 break;
542         case HUA_REMOVE:
543                 action = HSMA_REMOVE;
544                 break;
545         case HUA_CANCEL:
546                 action = HSMA_CANCEL;
547                 break;
548         default:
549                 CERROR("Unknown hsm action: %d\n", hr->hr_action);
550                 GOTO(out_ucred, rc = -EINVAL);
551         }
552
553         hal_size = sizeof(*hal) + cfs_size_round(MTI_NAME_MAXLEN) /* fsname */ +
554                    (sizeof(*hai) + cfs_size_round(hr->hr_data_len)) *
555                    hr->hr_itemcount;
556
557         MDT_HSM_ALLOC(hal, hal_size);
558         if (hal == NULL)
559                 GOTO(out_ucred, rc = -ENOMEM);
560
561         hal->hal_version = HAL_VERSION;
562         hal->hal_archive_id = hr->hr_archive_id;
563         hal->hal_flags = hr->hr_flags;
564         obd_uuid2fsname(hal->hal_fsname, mdt_obd_name(info->mti_mdt),
565                         MTI_NAME_MAXLEN);
566
567         hal->hal_count = 0;
568         hai = hai_first(hal);
569         for (i = 0; i < hr->hr_itemcount; i++, hai = hai_next(hai)) {
570                 /* Get rid of duplicate entries. Otherwise we get
571                  * duplicated work in the llog. */
572                 if (is_fid_in_hal(hal, &hui[i].hui_fid))
573                         continue;
574
575                 hai->hai_action = action;
576                 hai->hai_cookie = 0;
577                 hai->hai_gid = 0;
578                 hai->hai_fid = hui[i].hui_fid;
579                 hai->hai_extent = hui[i].hui_extent;
580                 memcpy(hai->hai_data, data, hr->hr_data_len);
581                 hai->hai_len = sizeof(*hai) + hr->hr_data_len;
582
583                 hal->hal_count++;
584         }
585
586         rc = mdt_hsm_add_actions(info, hal);
587
588         MDT_HSM_FREE(hal, hal_size);
589
590         GOTO(out_ucred, rc);
591
592 out_ucred:
593         mdt_exit_ucred(info);
594 out:
595         mdt_thread_info_fini(info);
596         return rc;
597 }