lustre/obdclass/kernelcomm.c

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2015, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  *
  31  * Author: Nathan Rutman <nathan.rutman@sun.com>
  32  *
  33  * Kernel <-> userspace communication routines.
  34  * Using pipes for all arches.
  35  */
  36
  37 #define DEBUG_SUBSYSTEM S_CLASS
  38 #define D_KUC D_OTHER
  39
  40 #include <obd_support.h>
  41 #include <lustre_kernelcomm.h>
  42
  43 /* write a userspace buffer to disk.
  44  * NOTE: this returns 0 on success, not the number of bytes written. */
  45 static ssize_t
  46 filp_user_write(struct file *filp, const void *buf, size_t count,
  47                 loff_t *offset)
  48 {
  49         mm_segment_t fs;
  50         ssize_t size = 0;
  51
  52         fs = get_fs();
  53         set_fs(KERNEL_DS);
  54         while ((ssize_t)count > 0) {
  55                 size = vfs_write(filp, (const void __user *)buf, count, offset);
  56                 if (size < 0)
  57                         break;
  58                 count -= size;
  59                 buf += size;
  60                 size = 0;
  61         }
  62         set_fs(fs);
  63
  64         return size;
  65 }
  66
  67 /**
  68  * libcfs_kkuc_msg_put - send an message from kernel to userspace
  69  * @param fp to send the message to
  70  * @param payload Payload data.  First field of payload is always
  71  *   struct kuc_hdr
  72  */
  73 int libcfs_kkuc_msg_put(struct file *filp, void *payload)
  74 {
  75         struct kuc_hdr *kuch = (struct kuc_hdr *)payload;
  76         int rc = -ENOSYS;
  77         loff_t offset = 0;
  78
  79         if (filp == NULL || IS_ERR(filp))
  80                 return -EBADF;
  81
  82         if (kuch->kuc_magic != KUC_MAGIC) {
  83                 CERROR("KernelComm: bad magic %x\n", kuch->kuc_magic);
  84                 return -ENOSYS;
  85         }
  86
  87         rc = filp_user_write(filp, payload, kuch->kuc_msglen, &offset);
  88         if (rc < 0)
  89                 CWARN("message send failed (%d)\n", rc);
  90         else
  91                 CDEBUG(D_KUC, "Sent message rc=%d, fp=%p\n", rc, filp);
  92
  93         return rc;
  94 }
  95 EXPORT_SYMBOL(libcfs_kkuc_msg_put);
  96
  97 /* Broadcast groups are global across all mounted filesystems;
  98  * i.e. registering for a group on 1 fs will get messages for that
  99  * group from any fs */
 100 /** A single group registration has a uid and a file pointer */
 101 struct kkuc_reg {
 102         struct list_head kr_chain;
 103         int              kr_uid;
 104         struct file     *kr_fp;
 105         char             kr_data[0];
 106 };
 107
 108 static struct list_head kkuc_groups[KUC_GRP_MAX + 1];
 109 /* Protect message sending against remove and adds */
 110 static DECLARE_RWSEM(kg_sem);
 111
 112 static inline bool libcfs_kkuc_group_is_valid(int group)
 113 {
 114         return 0 <= group && group < ARRAY_SIZE(kkuc_groups);
 115 }
 116
 117 void libcfs_kkuc_init(void)
 118 {
 119         int group;
 120
 121         for (group = 0; group < ARRAY_SIZE(kkuc_groups); group++)
 122                 INIT_LIST_HEAD(&kkuc_groups[group]);
 123 }
 124
 125 /** Add a receiver to a broadcast group
 126  * @param filp pipe to write into
 127  * @param uid identifier for this receiver
 128  * @param group group number
 129  * @param data user data
 130  */
 131 int libcfs_kkuc_group_add(struct file *filp, int uid, int group,
 132                           void *data, size_t data_len)
 133 {
 134         struct kkuc_reg *reg;
 135
 136         if (!libcfs_kkuc_group_is_valid(group)) {
 137                 CDEBUG(D_WARNING, "Kernelcomm: bad group %d\n", group);
 138                 return -EINVAL;
 139         }
 140
 141         /* fput in group_rem */
 142         if (filp == NULL)
 143                 return -EBADF;
 144
 145         /* freed in group_rem */
 146         reg = kmalloc(sizeof(*reg) + data_len, 0);
 147         if (reg == NULL)
 148                 return -ENOMEM;
 149
 150         reg->kr_fp = filp;
 151         reg->kr_uid = uid;
 152         memcpy(reg->kr_data, data, data_len);
 153
 154         down_write(&kg_sem);
 155         list_add(&reg->kr_chain, &kkuc_groups[group]);
 156         up_write(&kg_sem);
 157
 158         CDEBUG(D_KUC, "Added uid=%d fp=%p to group %d\n", uid, filp, group);
 159
 160         return 0;
 161 }
 162 EXPORT_SYMBOL(libcfs_kkuc_group_add);
 163
 164 int libcfs_kkuc_group_rem(int uid, int group)
 165 {
 166         struct kkuc_reg *reg, *next;
 167         ENTRY;
 168
 169         if (!libcfs_kkuc_group_is_valid(group)) {
 170                 CDEBUG(D_WARNING, "Kernelcomm: bad group %d\n", group);
 171                 return -EINVAL;
 172         }
 173
 174         if (uid == 0) {
 175                 /* Broadcast a shutdown message */
 176                 struct kuc_hdr lh;
 177
 178                 lh.kuc_magic = KUC_MAGIC;
 179                 lh.kuc_transport = KUC_TRANSPORT_GENERIC;
 180                 lh.kuc_msgtype = KUC_MSG_SHUTDOWN;
 181                 lh.kuc_msglen = sizeof(lh);
 182                 libcfs_kkuc_group_put(group, &lh);
 183         }
 184
 185         down_write(&kg_sem);
 186         list_for_each_entry_safe(reg, next, &kkuc_groups[group], kr_chain) {
 187                 if ((uid == 0) || (uid == reg->kr_uid)) {
 188                         list_del(&reg->kr_chain);
 189                         CDEBUG(D_KUC, "Removed uid=%d fp=%p from group %d\n",
 190                                 reg->kr_uid, reg->kr_fp, group);
 191                         if (reg->kr_fp != NULL)
 192                                 fput(reg->kr_fp);
 193                         kfree(reg);
 194                 }
 195         }
 196         up_write(&kg_sem);
 197
 198         RETURN(0);
 199 }
 200 EXPORT_SYMBOL(libcfs_kkuc_group_rem);
 201
 202 int libcfs_kkuc_group_put(int group, void *payload)
 203 {
 204         struct kkuc_reg *reg;
 205         int              rc = 0;
 206         int one_success = 0;
 207         ENTRY;
 208
 209         if (!libcfs_kkuc_group_is_valid(group)) {
 210                 CDEBUG(D_WARNING, "Kernelcomm: bad group %d\n", group);
 211                 return -EINVAL;
 212         }
 213
 214         down_write(&kg_sem);
 215
 216         if (unlikely(list_empty(&kkuc_groups[group])) ||
 217             unlikely(OBD_FAIL_CHECK(OBD_FAIL_MDS_HSM_CT_REGISTER_NET))) {
 218                 /* no agent have fully registered, CDT will retry */
 219                 up_write(&kg_sem);
 220                 RETURN(-EAGAIN);
 221         }
 222
 223         list_for_each_entry(reg, &kkuc_groups[group], kr_chain) {
 224                 if (reg->kr_fp != NULL) {
 225                         rc = libcfs_kkuc_msg_put(reg->kr_fp, payload);
 226                         if (rc == 0)
 227                                 one_success = 1;
 228                         else if (rc == -EPIPE) {
 229                                 fput(reg->kr_fp);
 230                                 reg->kr_fp = NULL;
 231                         }
 232                 }
 233         }
 234         up_write(&kg_sem);
 235
 236         /* don't return an error if the message has been delivered
 237          * at least to one agent */
 238         if (one_success)
 239                 rc = 0;
 240
 241         RETURN(rc);
 242 }
 243 EXPORT_SYMBOL(libcfs_kkuc_group_put);
 244
 245 /**
 246  * Calls a callback function for each link of the given kuc group.
 247  * @param group the group to call the function on.
 248  * @param cb_func the function to be called.
 249  * @param cb_arg extra argument to be passed to the callback function.
 250  */
 251 int libcfs_kkuc_group_foreach(int group, libcfs_kkuc_cb_t cb_func,
 252                               void *cb_arg)
 253 {
 254         struct kkuc_reg *reg;
 255         int              rc = 0;
 256         ENTRY;
 257
 258         if (!libcfs_kkuc_group_is_valid(group)) {
 259                 CDEBUG(D_WARNING, "Kernelcomm: bad group %d\n", group);
 260                 RETURN(-EINVAL);
 261         }
 262
 263         down_read(&kg_sem);
 264         list_for_each_entry(reg, &kkuc_groups[group], kr_chain) {
 265                 if (reg->kr_fp != NULL)
 266                         rc = cb_func(reg->kr_data, cb_arg);
 267         }
 268         up_read(&kg_sem);
 269
 270         RETURN(rc);
 271 }
 272 EXPORT_SYMBOL(libcfs_kkuc_group_foreach);