Whamcloud - gitweb
LU-1346 libcfs: cleanup macros in kp30.h
[fs/lustre-release.git] / lnet / klnds / socklnd / socklnd_modparams.c
1 /*
2  * Copyright (c) 2007, 2010, Oracle and/or its affiliates. All rights reserved.
3  *
4  * Copyright (c) 2011, 2012, Intel Corporation.
5  *
6  *   Author: Eric Barton <eric@bartonsoftware.com>
7  *
8  *   Portals is free software; you can redistribute it and/or
9  *   modify it under the terms of version 2 of the GNU General Public
10  *   License as published by the Free Software Foundation.
11  *
12  *   Portals is distributed in the hope that it will be useful,
13  *   but WITHOUT ANY WARRANTY; without even the implied warranty of
14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  *   GNU General Public License for more details.
16  *
17  *   You should have received a copy of the GNU General Public License
18  *   along with Portals; if not, write to the Free Software
19  *   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
20  */
21
22 #include "socklnd.h"
23
24 static int sock_timeout = 50;
25 CFS_MODULE_PARM(sock_timeout, "i", int, 0644,
26                 "dead socket timeout (seconds)");
27
28 static int credits = 256;
29 CFS_MODULE_PARM(credits, "i", int, 0444,
30                 "# concurrent sends");
31
32 static int peer_credits = 8;
33 CFS_MODULE_PARM(peer_credits, "i", int, 0444,
34                 "# concurrent sends to 1 peer");
35
36 static int peer_buffer_credits = 0;
37 CFS_MODULE_PARM(peer_buffer_credits, "i", int, 0444,
38                 "# per-peer router buffer credits");
39
40 static int peer_timeout = 180;
41 CFS_MODULE_PARM(peer_timeout, "i", int, 0444,
42                 "Seconds without aliveness news to declare peer dead (<=0 to disable)");
43
44 /* Number of daemons in each thread pool which is percpt,
45  * we will estimate reasonable value based on CPUs if it's not set. */
46 static unsigned int nscheds;
47 CFS_MODULE_PARM(nscheds, "i", int, 0444,
48                 "# scheduler daemons in each pool while starting");
49
50 static int nconnds = 4;
51 CFS_MODULE_PARM(nconnds, "i", int, 0444,
52                 "# connection daemons while starting");
53
54 static int nconnds_max = 64;
55 CFS_MODULE_PARM(nconnds_max, "i", int, 0444,
56                 "max # connection daemons");
57
58 static int min_reconnectms = 1000;
59 CFS_MODULE_PARM(min_reconnectms, "i", int, 0644,
60                 "min connection retry interval (mS)");
61
62 static int max_reconnectms = 60000;
63 CFS_MODULE_PARM(max_reconnectms, "i", int, 0644,
64                 "max connection retry interval (mS)");
65
66 #if defined(__APPLE__) && !defined(__DARWIN8__)
67 # define DEFAULT_EAGER_ACK 1
68 #else
69 # define DEFAULT_EAGER_ACK 0
70 #endif
71 static int eager_ack = DEFAULT_EAGER_ACK;
72 CFS_MODULE_PARM(eager_ack, "i", int, 0644,
73                 "send tcp ack packets eagerly");
74
75 static int typed_conns = 1;
76 CFS_MODULE_PARM(typed_conns, "i", int, 0444,
77                 "use different sockets for bulk");
78
79 static int min_bulk = (1<<10);
80 CFS_MODULE_PARM(min_bulk, "i", int, 0644,
81                 "smallest 'large' message");
82
83 #ifdef __APPLE__
84 # ifdef __DARWIN8__
85 #  define DEFAULT_BUFFER_SIZE (224*1024)
86 # else
87 #  define DEFAULT_BUFFER_SIZE (1152 * 1024)
88 # endif
89 #else
90 # define DEFAULT_BUFFER_SIZE 0
91 #endif
92 static int tx_buffer_size = DEFAULT_BUFFER_SIZE;
93 CFS_MODULE_PARM(tx_buffer_size, "i", int, 0644,
94                 "socket tx buffer size (0 for system default)");
95
96 static int rx_buffer_size = DEFAULT_BUFFER_SIZE;
97 CFS_MODULE_PARM(rx_buffer_size, "i", int, 0644,
98                 "socket rx buffer size (0 for system default)");
99
100 static int nagle = 0;
101 CFS_MODULE_PARM(nagle, "i", int, 0644,
102                 "enable NAGLE?");
103
104 static int round_robin = 1;
105 CFS_MODULE_PARM(round_robin, "i", int, 0644,
106                 "Round robin for multiple interfaces");
107
108 static int keepalive = 30;
109 CFS_MODULE_PARM(keepalive, "i", int, 0644,
110                 "# seconds before send keepalive");
111
112 static int keepalive_idle = 30;
113 CFS_MODULE_PARM(keepalive_idle, "i", int, 0644,
114                 "# idle seconds before probe");
115
116 #define DEFAULT_KEEPALIVE_COUNT  5
117 static int keepalive_count = DEFAULT_KEEPALIVE_COUNT;
118 CFS_MODULE_PARM(keepalive_count, "i", int, 0644,
119                 "# missed probes == dead");
120
121 static int keepalive_intvl = 5;
122 CFS_MODULE_PARM(keepalive_intvl, "i", int, 0644,
123                 "seconds between probes");
124
125 static int enable_csum = 0;
126 CFS_MODULE_PARM(enable_csum, "i", int, 0644,
127                 "enable check sum");
128
129 static int inject_csum_error = 0;
130 CFS_MODULE_PARM(inject_csum_error, "i", int, 0644,
131                 "set non-zero to inject a checksum error");
132 #ifdef CPU_AFFINITY
133 static int enable_irq_affinity = 0;
134 CFS_MODULE_PARM(enable_irq_affinity, "i", int, 0644,
135                 "enable IRQ affinity");
136 #endif
137
138 static int nonblk_zcack = 1;
139 CFS_MODULE_PARM(nonblk_zcack, "i", int, 0644,
140                 "always send ZC-ACK on non-blocking connection");
141
142 static unsigned int zc_min_payload = (16 << 10);
143 CFS_MODULE_PARM(zc_min_payload, "i", int, 0644,
144                 "minimum payload size to zero copy");
145
146 static unsigned int zc_recv = 0;
147 CFS_MODULE_PARM(zc_recv, "i", int, 0644,
148                 "enable ZC recv for Chelsio driver");
149
150 static unsigned int zc_recv_min_nfrags = 16;
151 CFS_MODULE_PARM(zc_recv_min_nfrags, "i", int, 0644,
152                 "minimum # of fragments to enable ZC recv");
153
154 #ifdef SOCKNAL_BACKOFF
155 static int backoff_init = 3;
156 CFS_MODULE_PARM(backoff_init, "i", int, 0644,
157                 "seconds for initial tcp backoff");
158
159 static int backoff_max = 3;
160 CFS_MODULE_PARM(backoff_max, "i", int, 0644,
161                 "seconds for maximum tcp backoff");
162 #endif
163
164 #if SOCKNAL_VERSION_DEBUG
165 static int protocol = 3;
166 CFS_MODULE_PARM(protocol, "i", int, 0644,
167                 "protocol version");
168 #endif
169
170 ksock_tunables_t ksocknal_tunables;
171
172 int ksocknal_tunables_init(void)
173 {
174
175         /* initialize ksocknal_tunables structure */
176         ksocknal_tunables.ksnd_timeout            = &sock_timeout;
177         ksocknal_tunables.ksnd_nscheds            = &nscheds;
178         ksocknal_tunables.ksnd_nconnds            = &nconnds;
179         ksocknal_tunables.ksnd_nconnds_max        = &nconnds_max;
180         ksocknal_tunables.ksnd_min_reconnectms    = &min_reconnectms;
181         ksocknal_tunables.ksnd_max_reconnectms    = &max_reconnectms;
182         ksocknal_tunables.ksnd_eager_ack          = &eager_ack;
183         ksocknal_tunables.ksnd_typed_conns        = &typed_conns;
184         ksocknal_tunables.ksnd_min_bulk           = &min_bulk;
185         ksocknal_tunables.ksnd_tx_buffer_size     = &tx_buffer_size;
186         ksocknal_tunables.ksnd_rx_buffer_size     = &rx_buffer_size;
187         ksocknal_tunables.ksnd_nagle              = &nagle;
188         ksocknal_tunables.ksnd_round_robin        = &round_robin;
189         ksocknal_tunables.ksnd_keepalive          = &keepalive;
190         ksocknal_tunables.ksnd_keepalive_idle     = &keepalive_idle;
191         ksocknal_tunables.ksnd_keepalive_count    = &keepalive_count;
192         ksocknal_tunables.ksnd_keepalive_intvl    = &keepalive_intvl;
193         ksocknal_tunables.ksnd_credits            = &credits;
194         ksocknal_tunables.ksnd_peertxcredits      = &peer_credits;
195         ksocknal_tunables.ksnd_peerrtrcredits     = &peer_buffer_credits;
196         ksocknal_tunables.ksnd_peertimeout        = &peer_timeout;
197         ksocknal_tunables.ksnd_enable_csum        = &enable_csum;
198         ksocknal_tunables.ksnd_inject_csum_error  = &inject_csum_error;
199         ksocknal_tunables.ksnd_nonblk_zcack       = &nonblk_zcack;
200         ksocknal_tunables.ksnd_zc_min_payload     = &zc_min_payload;
201         ksocknal_tunables.ksnd_zc_recv            = &zc_recv;
202         ksocknal_tunables.ksnd_zc_recv_min_nfrags = &zc_recv_min_nfrags;
203
204 #ifdef CPU_AFFINITY
205         if (enable_irq_affinity) {
206                 CWARN("irq_affinity is removed from socklnd because modern "
207                       "computer always has fast CPUs and more cores than "
208                       "# NICs, although you still can set irq_affinity by "
209                       "another way, please check manual for details.\n");
210         }
211         ksocknal_tunables.ksnd_irq_affinity       = &enable_irq_affinity;
212 #endif
213
214 #ifdef SOCKNAL_BACKOFF
215         ksocknal_tunables.ksnd_backoff_init       = &backoff_init;
216         ksocknal_tunables.ksnd_backoff_max        = &backoff_max;
217 #endif
218
219 #if SOCKNAL_VERSION_DEBUG
220         ksocknal_tunables.ksnd_protocol           = &protocol;
221 #endif
222
223 #if defined(CONFIG_SYSCTL) && !CFS_SYSFS_MODULE_PARM
224         ksocknal_tunables.ksnd_sysctl             =  NULL;
225 #endif
226
227         if (*ksocknal_tunables.ksnd_zc_min_payload < (2 << 10))
228                 *ksocknal_tunables.ksnd_zc_min_payload = (2 << 10);
229
230         /* initialize platform-sepcific tunables */
231         return ksocknal_lib_tunables_init();
232 };
233
234 void ksocknal_tunables_fini(void)
235 {
236         ksocknal_lib_tunables_fini();
237 }