lnet/klnds/socklnd/socklnd_modparams.c

   1 /*
   2  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
   3  *
   4  * Copyright (c) 2011, 2012, Intel Corporation.
   5  *
   6  *   Author: Eric Barton <eric@bartonsoftware.com>
   7  *
   8  *   Portals is free software; you can redistribute it and/or
   9  *   modify it under the terms of version 2 of the GNU General Public
  10  *   License as published by the Free Software Foundation.
  11  *
  12  *   Portals is distributed in the hope that it will be useful,
  13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  *   GNU General Public License for more details.
  16  *
  17  *   You should have received a copy of the GNU General Public License
  18  *   along with Portals; if not, write to the Free Software
  19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  */
  21
  22 #include "socklnd.h"
  23
  24 #include <linux/kvm_host.h>
  25 #if defined(__x86_64__) || defined(__i386__)
  26 #include <asm/hypervisor.h>
  27 #endif
  28
  29 static int sock_timeout;
  30 module_param(sock_timeout, int, 0644);
  31 MODULE_PARM_DESC(sock_timeout, "dead socket timeout (seconds)");
  32
  33 static int credits = DEFAULT_CREDITS;
  34 module_param(credits, int, 0444);
  35 MODULE_PARM_DESC(credits, "# concurrent sends");
  36
  37 static int peer_credits = DEFAULT_PEER_CREDITS;
  38 module_param(peer_credits, int, 0444);
  39 MODULE_PARM_DESC(peer_credits, "# concurrent sends to 1 peer");
  40
  41 static int peer_buffer_credits;
  42 module_param(peer_buffer_credits, int, 0444);
  43 MODULE_PARM_DESC(peer_buffer_credits, "# per-peer router buffer credits");
  44
  45 static int peer_timeout = DEFAULT_PEER_TIMEOUT;
  46 module_param(peer_timeout, int, 0444);
  47 MODULE_PARM_DESC(peer_timeout, "Seconds without aliveness news to declare peer dead (<=0 to disable)");
  48
  49 /* Number of daemons in each thread pool which is percpt,
  50  * we will estimate reasonable value based on CPUs if it's not set. */
  51 static unsigned int nscheds;
  52 module_param(nscheds, int, 0444);
  53 MODULE_PARM_DESC(nscheds, "# scheduler daemons in each pool while starting");
  54
  55 static int nconnds = 4;
  56 module_param(nconnds, int, 0444);
  57 MODULE_PARM_DESC(nconnds, "# connection daemons while starting");
  58
  59 static int nconnds_max = 64;
  60 module_param(nconnds_max, int, 0444);
  61 MODULE_PARM_DESC(nconnds_max, "max # connection daemons");
  62
  63 static int min_reconnectms = 1000;
  64 module_param(min_reconnectms, int, 0644);
  65 MODULE_PARM_DESC(min_reconnectms, "min connection retry interval (mS)");
  66
  67 static int max_reconnectms = 60000;
  68 module_param(max_reconnectms, int, 0644);
  69 MODULE_PARM_DESC(max_reconnectms, "max connection retry interval (mS)");
  70
  71 static int eager_ack;
  72 module_param(eager_ack, int, 0644);
  73 MODULE_PARM_DESC(eager_ack, "send tcp ack packets eagerly");
  74
  75 static int typed_conns = 1;
  76 module_param(typed_conns, int, 0444);
  77 MODULE_PARM_DESC(typed_conns, "use different sockets for bulk");
  78
  79 static int min_bulk = (1<<10);
  80 module_param(min_bulk, int, 0644);
  81 MODULE_PARM_DESC(min_bulk, "smallest 'large' message");
  82
  83 # define DEFAULT_BUFFER_SIZE 0
  84 static int tx_buffer_size = DEFAULT_BUFFER_SIZE;
  85 module_param(tx_buffer_size, int, 0644);
  86 MODULE_PARM_DESC(tx_buffer_size, "socket tx buffer size (0 for system default)");
  87
  88 static int rx_buffer_size = DEFAULT_BUFFER_SIZE;
  89 module_param(rx_buffer_size, int, 0644);
  90 MODULE_PARM_DESC(rx_buffer_size, "socket rx buffer size (0 for system default)");
  91
  92 static int nagle = 0;
  93 module_param(nagle, int, 0644);
  94 MODULE_PARM_DESC(nagle, "enable NAGLE?");
  95
  96 static int round_robin = 1;
  97 module_param(round_robin, int, 0644);
  98 MODULE_PARM_DESC(round_robin, "Round robin for multiple interfaces");
  99
 100 static int keepalive = 30;
 101 module_param(keepalive, int, 0644);
 102 MODULE_PARM_DESC(keepalive, "# seconds before send keepalive");
 103
 104 static int keepalive_idle = 30;
 105 module_param(keepalive_idle, int, 0644);
 106 MODULE_PARM_DESC(keepalive_idle, "# idle seconds before probe");
 107
 108 #define DEFAULT_KEEPALIVE_COUNT  5
 109 static int keepalive_count = DEFAULT_KEEPALIVE_COUNT;
 110 module_param(keepalive_count, int, 0644);
 111 MODULE_PARM_DESC(keepalive_count, "# missed probes == dead");
 112
 113 static int keepalive_intvl = 5;
 114 module_param(keepalive_intvl, int, 0644);
 115 MODULE_PARM_DESC(keepalive_intvl, "seconds between probes");
 116
 117 static int enable_csum = 0;
 118 module_param(enable_csum, int, 0644);
 119 MODULE_PARM_DESC(enable_csum, "enable check sum");
 120
 121 static int inject_csum_error = 0;
 122 module_param(inject_csum_error, int, 0644);
 123 MODULE_PARM_DESC(inject_csum_error, "set non-zero to inject a checksum error");
 124
 125 static int enable_irq_affinity = 0;
 126 module_param(enable_irq_affinity, int, 0644);
 127 MODULE_PARM_DESC(enable_irq_affinity, "enable IRQ affinity");
 128
 129 static int nonblk_zcack = 1;
 130 module_param(nonblk_zcack, int, 0644);
 131 MODULE_PARM_DESC(nonblk_zcack, "always send ZC-ACK on non-blocking connection");
 132
 133 static unsigned int zc_min_payload = (16 << 10);
 134 module_param(zc_min_payload, int, 0644);
 135 MODULE_PARM_DESC(zc_min_payload, "minimum payload size to zero copy");
 136
 137 static unsigned int zc_recv = 0;
 138 module_param(zc_recv, int, 0644);
 139 MODULE_PARM_DESC(zc_recv, "enable ZC recv for Chelsio driver");
 140
 141 static unsigned int zc_recv_min_nfrags = 16;
 142 module_param(zc_recv_min_nfrags, int, 0644);
 143 MODULE_PARM_DESC(zc_recv_min_nfrags, "minimum # of fragments to enable ZC recv");
 144
 145 static unsigned int conns_per_peer = 1;
 146 module_param(conns_per_peer, uint, 0444);
 147 MODULE_PARM_DESC(conns_per_peer, "number of connections per peer");
 148
 149 #ifdef SOCKNAL_BACKOFF
 150 static int backoff_init = 3;
 151 module_param(backoff_init, int, 0644);
 152 MODULE_PARM_DESC(backoff_init, "seconds for initial tcp backoff");
 153
 154 static int backoff_max = 3;
 155 module_param(backoff_max, int, 0644);
 156 MODULE_PARM_DESC(backoff_max, "seconds for maximum tcp backoff");
 157 #endif
 158
 159 #if SOCKNAL_VERSION_DEBUG
 160 static int protocol = 3;
 161 module_param(protocol, int, 0644);
 162 MODULE_PARM_DESC(protocol, "protocol version");
 163 #endif
 164
 165 static inline bool is_native_host(void)
 166 {
 167 #ifdef HAVE_HYPERVISOR_IS_TYPE
 168         return hypervisor_is_type(X86_HYPER_NATIVE);
 169 #elif defined(__x86_64__) || defined(__i386__)
 170         return x86_hyper == NULL;
 171 #else
 172         return true;
 173 #endif
 174 }
 175
 176 struct ksock_tunables ksocknal_tunables;
 177
 178 int ksocknal_tunables_init(void)
 179 {
 180         /* initialize ksocknal_tunables structure */
 181         ksocknal_tunables.ksnd_timeout            = &sock_timeout;
 182         ksocknal_tunables.ksnd_nscheds            = &nscheds;
 183         ksocknal_tunables.ksnd_nconnds            = &nconnds;
 184         ksocknal_tunables.ksnd_nconnds_max        = &nconnds_max;
 185         ksocknal_tunables.ksnd_min_reconnectms    = &min_reconnectms;
 186         ksocknal_tunables.ksnd_max_reconnectms    = &max_reconnectms;
 187         ksocknal_tunables.ksnd_eager_ack          = &eager_ack;
 188         ksocknal_tunables.ksnd_typed_conns        = &typed_conns;
 189         ksocknal_tunables.ksnd_min_bulk           = &min_bulk;
 190         ksocknal_tunables.ksnd_tx_buffer_size     = &tx_buffer_size;
 191         ksocknal_tunables.ksnd_rx_buffer_size     = &rx_buffer_size;
 192         ksocknal_tunables.ksnd_nagle              = &nagle;
 193         ksocknal_tunables.ksnd_round_robin        = &round_robin;
 194         ksocknal_tunables.ksnd_keepalive          = &keepalive;
 195         ksocknal_tunables.ksnd_keepalive_idle     = &keepalive_idle;
 196         ksocknal_tunables.ksnd_keepalive_count    = &keepalive_count;
 197         ksocknal_tunables.ksnd_keepalive_intvl    = &keepalive_intvl;
 198         ksocknal_tunables.ksnd_credits            = &credits;
 199         ksocknal_tunables.ksnd_peertxcredits      = &peer_credits;
 200         ksocknal_tunables.ksnd_peerrtrcredits     = &peer_buffer_credits;
 201         ksocknal_tunables.ksnd_peertimeout        = &peer_timeout;
 202         ksocknal_tunables.ksnd_enable_csum        = &enable_csum;
 203         ksocknal_tunables.ksnd_inject_csum_error  = &inject_csum_error;
 204         ksocknal_tunables.ksnd_nonblk_zcack       = &nonblk_zcack;
 205         ksocknal_tunables.ksnd_zc_min_payload     = &zc_min_payload;
 206         ksocknal_tunables.ksnd_zc_recv            = &zc_recv;
 207         ksocknal_tunables.ksnd_zc_recv_min_nfrags = &zc_recv_min_nfrags;
 208         if (conns_per_peer > ((1 << SOCKNAL_CONN_COUNT_MAX_BITS)-1)) {
 209                 CWARN("socklnd conns_per_peer is capped at %u.\n",
 210                       (1 << SOCKNAL_CONN_COUNT_MAX_BITS)-1);
 211         }
 212         ksocknal_tunables.ksnd_conns_per_peer     = &conns_per_peer;
 213
 214         if (enable_irq_affinity) {
 215                 CWARN("irq_affinity is removed from socklnd because modern "
 216                       "computer always has fast CPUs and more cores than "
 217                       "# NICs, although you still can set irq_affinity by "
 218                       "another way, please check manual for details.\n");
 219         }
 220         ksocknal_tunables.ksnd_irq_affinity       = &enable_irq_affinity;
 221
 222 #ifdef SOCKNAL_BACKOFF
 223         ksocknal_tunables.ksnd_backoff_init       = &backoff_init;
 224         ksocknal_tunables.ksnd_backoff_max        = &backoff_max;
 225 #endif
 226
 227 #if SOCKNAL_VERSION_DEBUG
 228         ksocknal_tunables.ksnd_protocol           = &protocol;
 229 #endif
 230
 231         if (*ksocknal_tunables.ksnd_zc_min_payload < (2 << 10))
 232                 *ksocknal_tunables.ksnd_zc_min_payload = (2 << 10);
 233
 234         /* When on a hypervisor set the minimum zero copy size
 235          * above the maximum payload size
 236          */
 237         if (!is_native_host())
 238                 *ksocknal_tunables.ksnd_zc_min_payload = (16 << 20) + 1;
 239
 240         return 0;
 241 };