lustre/ptlrpc/sec_gc.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2012, 2016, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  *
  32  * lustre/ptlrpc/sec_gc.c
  33  *
  34  * Author: Eric Mei <ericm@clusterfs.com>
  35  */
  36
  37 #define DEBUG_SUBSYSTEM S_SEC
  38
  39 #include <linux/workqueue.h>
  40 #include <libcfs/libcfs.h>
  41
  42 #include <obd_support.h>
  43 #include <obd_class.h>
  44 #include <lustre_net.h>
  45 #include <lustre_sec.h>
  46
  47 #include "ptlrpc_internal.h"
  48
  49 #define SEC_GC_INTERVAL (30 * 60)
  50
  51 static DEFINE_MUTEX(sec_gc_mutex);
  52 static DEFINE_SPINLOCK(sec_gc_list_lock);
  53 static DEFINE_SPINLOCK(sec_gc_ctx_list_lock);
  54 static LIST_HEAD(sec_gc_list);
  55 static LIST_HEAD(sec_gc_ctx_list);
  56
  57 static atomic_t sec_gc_wait_del = ATOMIC_INIT(0);
  58
  59 void sptlrpc_gc_add_sec(struct ptlrpc_sec *sec)
  60 {
  61         LASSERT(sec->ps_policy->sp_cops->gc_ctx);
  62         LASSERT(sec->ps_gc_interval > 0);
  63         LASSERT(list_empty(&sec->ps_gc_list));
  64
  65         sec->ps_gc_next = ktime_get_real_seconds() + sec->ps_gc_interval;
  66
  67         spin_lock(&sec_gc_list_lock);
  68         list_add_tail(&sec->ps_gc_list, &sec_gc_list);
  69         spin_unlock(&sec_gc_list_lock);
  70
  71         CDEBUG(D_SEC, "added sec %p(%s)\n", sec, sec->ps_policy->sp_name);
  72 }
  73
  74 void sptlrpc_gc_del_sec(struct ptlrpc_sec *sec)
  75 {
  76         if (list_empty(&sec->ps_gc_list))
  77                 return;
  78
  79         might_sleep();
  80
  81         /* signal before list_del to make iteration in gc thread safe */
  82         atomic_inc(&sec_gc_wait_del);
  83
  84         spin_lock(&sec_gc_list_lock);
  85         list_del_init(&sec->ps_gc_list);
  86         spin_unlock(&sec_gc_list_lock);
  87
  88         /* barrier */
  89         mutex_lock(&sec_gc_mutex);
  90         mutex_unlock(&sec_gc_mutex);
  91
  92         atomic_dec(&sec_gc_wait_del);
  93
  94         CDEBUG(D_SEC, "del sec %p(%s)\n", sec, sec->ps_policy->sp_name);
  95 }
  96
  97 static void sec_gc_main(struct work_struct *ws);
  98 static DECLARE_DELAYED_WORK(sec_gc_work, sec_gc_main);
  99
 100 void sptlrpc_gc_add_ctx(struct ptlrpc_cli_ctx *ctx)
 101 {
 102         LASSERT(list_empty(&ctx->cc_gc_chain));
 103
 104         CDEBUG(D_SEC, "hand over ctx %p(%u->%s)\n",
 105                ctx, ctx->cc_vcred.vc_uid, sec2target_str(ctx->cc_sec));
 106         spin_lock(&sec_gc_ctx_list_lock);
 107         list_add(&ctx->cc_gc_chain, &sec_gc_ctx_list);
 108         spin_unlock(&sec_gc_ctx_list_lock);
 109
 110         mod_delayed_work(system_wq, &sec_gc_work, 0);
 111 }
 112 EXPORT_SYMBOL(sptlrpc_gc_add_ctx);
 113
 114 static void sec_process_ctx_list(void)
 115 {
 116         struct ptlrpc_cli_ctx *ctx;
 117
 118         spin_lock(&sec_gc_ctx_list_lock);
 119
 120         while (!list_empty(&sec_gc_ctx_list)) {
 121                 ctx = list_entry(sec_gc_ctx_list.next,
 122                                      struct ptlrpc_cli_ctx, cc_gc_chain);
 123                 list_del_init(&ctx->cc_gc_chain);
 124                 spin_unlock(&sec_gc_ctx_list_lock);
 125
 126                 LASSERT(ctx->cc_sec);
 127                 LASSERT(atomic_read(&ctx->cc_refcount) == 1);
 128                 CDEBUG(D_SEC, "gc pick up ctx %p(%u->%s)\n",
 129                        ctx, ctx->cc_vcred.vc_uid, sec2target_str(ctx->cc_sec));
 130                 sptlrpc_cli_ctx_put(ctx, 1);
 131
 132                 spin_lock(&sec_gc_ctx_list_lock);
 133         }
 134
 135         spin_unlock(&sec_gc_ctx_list_lock);
 136 }
 137
 138 static void sec_do_gc(struct ptlrpc_sec *sec)
 139 {
 140         LASSERT(sec->ps_policy->sp_cops->gc_ctx);
 141
 142         if (unlikely(sec->ps_gc_next == 0)) {
 143                 CDEBUG(D_SEC, "sec %p(%s) has 0 gc time\n",
 144                        sec, sec->ps_policy->sp_name);
 145                 return;
 146         }
 147
 148         CDEBUG(D_SEC, "check on sec %p(%s)\n", sec, sec->ps_policy->sp_name);
 149
 150         if (sec->ps_gc_next > ktime_get_real_seconds())
 151                 return;
 152
 153         sec->ps_policy->sp_cops->gc_ctx(sec);
 154         sec->ps_gc_next = ktime_get_real_seconds() + sec->ps_gc_interval;
 155 }
 156
 157 static void sec_gc_main(struct work_struct *ws)
 158 {
 159         struct ptlrpc_sec *sec;
 160
 161         sec_process_ctx_list();
 162 again:
 163         /*
 164          * go through sec list do gc.
 165          * FIXME here we iterate through the whole list each time which
 166          * is not optimal. we perhaps want to use balanced binary tree
 167          * to trace each sec as order of expiry time.
 168          * another issue here is we wakeup as fixed interval instead of
 169          * according to each sec's expiry time
 170          */
 171         mutex_lock(&sec_gc_mutex);
 172         list_for_each_entry(sec, &sec_gc_list, ps_gc_list) {
 173                 /*
 174                  * if someone is waiting to be deleted, let it
 175                  * proceed as soon as possible.
 176                  */
 177                 if (atomic_read(&sec_gc_wait_del)) {
 178                         CDEBUG(D_SEC, "deletion pending, start over\n");
 179                         mutex_unlock(&sec_gc_mutex);
 180                         goto again;
 181                 }
 182
 183                 sec_do_gc(sec);
 184         }
 185         mutex_unlock(&sec_gc_mutex);
 186
 187         /* check ctx list again before sleep */
 188         sec_process_ctx_list();
 189         schedule_delayed_work(&sec_gc_work, cfs_time_seconds(SEC_GC_INTERVAL));
 190 }
 191
 192 int sptlrpc_gc_init(void)
 193 {
 194         schedule_delayed_work(&sec_gc_work, cfs_time_seconds(SEC_GC_INTERVAL));
 195         return 0;
 196 }
 197
 198 void sptlrpc_gc_fini(void)
 199 {
 200         cancel_delayed_work_sync(&sec_gc_work);
 201 }