Whamcloud - gitweb
LU-6765 obdecho: don't copy lu_site
[fs/lustre-release.git] / libcfs / libcfs / linux / linux-crypto.c
1 /* GPL HEADER START
2  *
3  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License version 2 only,
7  * as published by the Free Software Foundation.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License version 2 for more details (a copy is included
13  * in the LICENSE file that accompanied this code).
14  *
15  * You should have received a copy of the GNU General Public License
16  * version 2 along with this program; If not, see http://www.gnu.org/licenses
17  *
18  * Please  visit http://www.xyratex.com/contact if you need additional
19  * information or have any questions.
20  *
21  * GPL HEADER END
22  */
23
24 /*
25  * Copyright 2012 Xyratex Technology Limited
26  *
27  * Copyright (c) 2012, 2014, Intel Corporation.
28  */
29
30 #include <linux/crypto.h>
31 #include <linux/scatterlist.h>
32 #include <libcfs/libcfs.h>
33 #include <libcfs/libcfs_crypto.h>
34 #include <libcfs/linux/linux-crypto.h>
35 /**
36  *  Array of hash algorithm speed in MByte per second
37  */
38 static int cfs_crypto_hash_speeds[CFS_HASH_ALG_MAX];
39
40 /**
41  * Initialize the state descriptor for the specified hash algorithm.
42  *
43  * An internal routine to allocate the hash-specific state in \a hdesc for
44  * use with cfs_crypto_hash_digest() to compute the hash of a single message,
45  * though possibly in multiple chunks.  The descriptor internal state should
46  * be freed with cfs_crypto_hash_final().
47  *
48  * \param[in]  hash_alg hash algorithm id (CFS_HASH_ALG_*)
49  * \param[out] type     pointer to the hash description in hash_types[] array
50  * \param[in,out] hdesc hash state descriptor to be initialized
51  * \param[in]  key      initial hash value/state, NULL to use default value
52  * \param[in]  key_len  length of \a key
53  *
54  * \retval              0 on success
55  * \retval              negative errno on failure
56  */
57 static int cfs_crypto_hash_alloc(enum cfs_crypto_hash_alg hash_alg,
58                                  const struct cfs_crypto_hash_type **type,
59                                  struct hash_desc *hdesc, unsigned char *key,
60                                  unsigned int key_len)
61 {
62         int err = 0;
63
64         *type = cfs_crypto_hash_type(hash_alg);
65
66         if (*type == NULL) {
67                 CWARN("Unsupported hash algorithm id = %d, max id is %d\n",
68                       hash_alg, CFS_HASH_ALG_MAX);
69                 return -EINVAL;
70         }
71         hdesc->tfm = crypto_alloc_hash((*type)->cht_name, 0, 0);
72
73         if (hdesc->tfm == NULL)
74                 return -EINVAL;
75
76         if (IS_ERR(hdesc->tfm)) {
77                 CDEBUG(D_INFO, "Failed to alloc crypto hash %s\n",
78                        (*type)->cht_name);
79                 return PTR_ERR(hdesc->tfm);
80         }
81
82         hdesc->flags = 0;
83
84         if (key != NULL)
85                 err = crypto_hash_setkey(hdesc->tfm, key, key_len);
86         else if ((*type)->cht_key != 0)
87                 err = crypto_hash_setkey(hdesc->tfm,
88                                          (unsigned char *)&((*type)->cht_key),
89                                          (*type)->cht_size);
90
91         if (err != 0) {
92                 crypto_free_hash(hdesc->tfm);
93                 return err;
94         }
95
96         CDEBUG(D_INFO, "Using crypto hash: %s (%s) speed %d MB/s\n",
97                (crypto_hash_tfm(hdesc->tfm))->__crt_alg->cra_name,
98                (crypto_hash_tfm(hdesc->tfm))->__crt_alg->cra_driver_name,
99                cfs_crypto_hash_speeds[hash_alg]);
100
101         return crypto_hash_init(hdesc);
102 }
103
104 /**
105  * Calculate hash digest for the passed buffer.
106  *
107  * This should be used when computing the hash on a single contiguous buffer.
108  * It combines the hash initialization, computation, and cleanup.
109  *
110  * \param[in] hash_alg  id of hash algorithm (CFS_HASH_ALG_*)
111  * \param[in] buf       data buffer on which to compute hash
112  * \param[in] buf_len   length of \a buf in bytes
113  * \param[in] key       initial value/state for algorithm, if \a key = NULL
114  *                      use default initial value
115  * \param[in] key_len   length of \a key in bytes
116  * \param[out] hash     pointer to computed hash value, if \a hash = NULL then
117  *                      \a hash_len is to digest size in bytes, retval -ENOSPC
118  * \param[in,out] hash_len size of \a hash buffer
119  *
120  * \retval -EINVAL       \a buf, \a buf_len, \a hash_len, \a alg_id invalid
121  * \retval -ENOENT       \a hash_alg is unsupported
122  * \retval -ENOSPC       \a hash is NULL, or \a hash_len less than digest size
123  * \retval              0 for success
124  * \retval              negative errno for other errors from lower layers.
125  */
126 int cfs_crypto_hash_digest(enum cfs_crypto_hash_alg hash_alg,
127                            const void *buf, unsigned int buf_len,
128                            unsigned char *key, unsigned int key_len,
129                            unsigned char *hash, unsigned int *hash_len)
130 {
131         struct scatterlist      sl;
132         struct hash_desc        hdesc;
133         int                     err;
134         const struct cfs_crypto_hash_type       *type;
135
136         if (buf == NULL || buf_len == 0 || hash_len == NULL)
137                 return -EINVAL;
138
139         err = cfs_crypto_hash_alloc(hash_alg, &type, &hdesc, key, key_len);
140         if (err != 0)
141                 return err;
142
143         if (hash == NULL || *hash_len < type->cht_size) {
144                 *hash_len = type->cht_size;
145                 crypto_free_hash(hdesc.tfm);
146                 return -ENOSPC;
147         }
148         sg_init_one(&sl, (void *)buf, buf_len);
149
150         hdesc.flags = 0;
151         err = crypto_hash_digest(&hdesc, &sl, sl.length, hash);
152         crypto_free_hash(hdesc.tfm);
153
154         return err;
155 }
156 EXPORT_SYMBOL(cfs_crypto_hash_digest);
157
158 /**
159  * Allocate and initialize desriptor for hash algorithm.
160  *
161  * This should be used to initialize a hash descriptor for multiple calls
162  * to a single hash function when computing the hash across multiple
163  * separate buffers or pages using cfs_crypto_hash_update{,_page}().
164  *
165  * The hash descriptor should be freed with cfs_crypto_hash_final().
166  *
167  * \param[in] hash_alg  algorithm id (CFS_HASH_ALG_*)
168  * \param[in] key       initial value/state for algorithm, if \a key = NULL
169  *                      use default initial value
170  * \param[in] key_len   length of \a key in bytes
171  *
172  * \retval              pointer to descriptor of hash instance
173  * \retval              ERR_PTR(errno) in case of error
174  */
175 struct cfs_crypto_hash_desc *
176         cfs_crypto_hash_init(enum cfs_crypto_hash_alg hash_alg,
177                              unsigned char *key, unsigned int key_len)
178 {
179
180         struct  hash_desc                       *hdesc;
181         int                                     err;
182         const struct cfs_crypto_hash_type       *type;
183
184         hdesc = kmalloc(sizeof(*hdesc), 0);
185         if (hdesc == NULL)
186                 return ERR_PTR(-ENOMEM);
187
188         err = cfs_crypto_hash_alloc(hash_alg, &type, hdesc, key, key_len);
189
190         if (err) {
191                 kfree(hdesc);
192                 hdesc = ERR_PTR(err);
193         }
194         return (struct cfs_crypto_hash_desc *)hdesc;
195 }
196 EXPORT_SYMBOL(cfs_crypto_hash_init);
197
198 /**
199  * Update hash digest computed on data within the given \a page
200  *
201  * \param[in] hdesc     hash state descriptor
202  * \param[in] page      data page on which to compute the hash
203  * \param[in] offset    offset within \a page at which to start hash
204  * \param[in] len       length of data on which to compute hash
205  *
206  * \retval              0 for success
207  * \retval              negative errno on failure
208  */
209 int cfs_crypto_hash_update_page(struct cfs_crypto_hash_desc *hdesc,
210                                 struct page *page, unsigned int offset,
211                                 unsigned int len)
212 {
213         struct scatterlist sl;
214
215         sg_init_table(&sl, 1);
216         sg_set_page(&sl, page, len, offset & ~PAGE_MASK);
217
218         return crypto_hash_update((struct hash_desc *)hdesc, &sl, sl.length);
219 }
220 EXPORT_SYMBOL(cfs_crypto_hash_update_page);
221
222 /**
223  * Update hash digest computed on the specified data
224  *
225  * \param[in] hdesc     hash state descriptor
226  * \param[in] buf       data buffer on which to compute the hash
227  * \param[in] buf_len   length of \buf on which to compute hash
228  *
229  * \retval              0 for success
230  * \retval              negative errno on failure
231  */
232 int cfs_crypto_hash_update(struct cfs_crypto_hash_desc *hdesc,
233                            const void *buf, unsigned int buf_len)
234 {
235         struct scatterlist sl;
236
237         sg_init_one(&sl, (void *)buf, buf_len);
238
239         return crypto_hash_update((struct hash_desc *)hdesc, &sl, sl.length);
240 }
241 EXPORT_SYMBOL(cfs_crypto_hash_update);
242
243 /**
244  * Finish hash calculation, copy hash digest to buffer, clean up hash descriptor
245  *
246  * \param[in]   hdesc           hash descriptor
247  * \param[out]  hash            pointer to hash buffer to store hash digest
248  * \param[in,out] hash_len      pointer to hash buffer size, if \a hash == NULL
249  *                              or hash_len == NULL only free \a hdesc instead
250  *                              of computing the hash
251  *
252  * \retval              0 for success
253  * \retval              -EOVERFLOW if hash_len is too small for the hash digest
254  * \retval              negative errno for other errors from lower layers
255  */
256 int cfs_crypto_hash_final(struct cfs_crypto_hash_desc *hdesc,
257                           unsigned char *hash, unsigned int *hash_len)
258 {
259         int     size = crypto_hash_digestsize(((struct hash_desc *)hdesc)->tfm);
260         int     err;
261
262         if (hash == NULL || hash_len == NULL) {
263                 err = 0;
264                 goto free;
265         }
266         if (*hash_len < size) {
267                 err = -EOVERFLOW;
268                 goto free;
269         }
270
271         err = crypto_hash_final((struct hash_desc *)hdesc, hash);
272         if (err == 0)
273                 *hash_len = size;
274 free:
275         crypto_free_hash(((struct hash_desc *)hdesc)->tfm);
276         kfree(hdesc);
277
278         return err;
279 }
280 EXPORT_SYMBOL(cfs_crypto_hash_final);
281
282 /**
283  * Compute the speed of specified hash function
284  *
285  * Run a speed test on the given hash algorithm on buffer of the given size.
286  * The speed is stored internally in the cfs_crypto_hash_speeds[] array, and
287  * is available through the cfs_crypto_hash_speed() function.
288  *
289  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
290  * \param[in] buf       data buffer on which to compute the hash
291  * \param[in] buf_len   length of \buf on which to compute hash
292  */
293 static void cfs_crypto_performance_test(enum cfs_crypto_hash_alg hash_alg)
294 {
295         int                     buf_len = max(PAGE_SIZE, 1048576UL);
296         void                    *buf;
297         unsigned long           start, end;
298         int                     bcount, err = 0;
299         struct page             *page;
300         unsigned char           hash[CFS_CRYPTO_HASH_DIGESTSIZE_MAX];
301         unsigned int            hash_len = sizeof(hash);
302
303         page = alloc_page(GFP_KERNEL);
304         if (page == NULL) {
305                 err = -ENOMEM;
306                 goto out_err;
307         }
308
309         buf = kmap(page);
310         memset(buf, 0xAD, PAGE_SIZE);
311         kunmap(page);
312
313         for (start = jiffies, end = start + msecs_to_jiffies(MSEC_PER_SEC),
314              bcount = 0;
315              time_before(jiffies, end) && err == 0; bcount++) {
316                 struct cfs_crypto_hash_desc *hdesc;
317                 int i;
318
319                 hdesc = cfs_crypto_hash_init(hash_alg, NULL, 0);
320                 if (IS_ERR(hdesc)) {
321                         err = PTR_ERR(hdesc);
322                         break;
323                 }
324
325                 for (i = 0; i < buf_len / PAGE_SIZE; i++) {
326                         err = cfs_crypto_hash_update_page(hdesc, page, 0,
327                                                           PAGE_SIZE);
328                         if (err != 0)
329                                 break;
330                 }
331
332                 err = cfs_crypto_hash_final(hdesc, hash, &hash_len);
333                 if (err != 0)
334                         break;
335         }
336         end = jiffies;
337         __free_page(page);
338 out_err:
339         if (err != 0) {
340                 cfs_crypto_hash_speeds[hash_alg] = err;
341                 CDEBUG(D_INFO, "Crypto hash algorithm %s test error: rc = %d\n",
342                        cfs_crypto_hash_name(hash_alg), err);
343         } else {
344                 unsigned long   tmp;
345
346                 tmp = ((bcount * buf_len / jiffies_to_msecs(end - start)) *
347                        1000) / (1024 * 1024);
348                 cfs_crypto_hash_speeds[hash_alg] = (int)tmp;
349                 CDEBUG(D_CONFIG, "Crypto hash algorithm %s speed = %d MB/s\n",
350                        cfs_crypto_hash_name(hash_alg),
351                        cfs_crypto_hash_speeds[hash_alg]);
352         }
353 }
354
355 /**
356  * hash speed in Mbytes per second for valid hash algorithm
357  *
358  * Return the performance of the specified \a hash_alg that was previously
359  * computed using cfs_crypto_performance_test().
360  *
361  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
362  *
363  * \retval              positive speed of the hash function in MB/s
364  * \retval              -ENOENT if \a hash_alg is unsupported
365  * \retval              negative errno if \a hash_alg speed is unavailable
366  */
367 int cfs_crypto_hash_speed(enum cfs_crypto_hash_alg hash_alg)
368 {
369         if (hash_alg < CFS_HASH_ALG_MAX)
370                 return cfs_crypto_hash_speeds[hash_alg];
371
372         return -ENOENT;
373 }
374 EXPORT_SYMBOL(cfs_crypto_hash_speed);
375
376 /**
377  * Run the performance test for all hash algorithms.
378  *
379  * Run the cfs_crypto_performance_test() benchmark for all of the available
380  * hash functions using a 1MB buffer size.  This is a reasonable buffer size
381  * for Lustre RPCs, even if the actual RPC size is larger or smaller.
382  *
383  * Since the setup cost and computation speed of various hash algorithms is
384  * a function of the buffer size (and possibly internal contention of offload
385  * engines), this speed only represents an estimate of the actual speed under
386  * actual usage, but is reasonable for comparing available algorithms.
387  *
388  * The actual speeds are available via cfs_crypto_hash_speed() for later
389  * comparison.
390  *
391  * \retval              0 on success
392  * \retval              -ENOMEM if no memory is available for test buffer
393  */
394 static int cfs_crypto_test_hashes(void)
395 {
396         enum cfs_crypto_hash_alg hash_alg;
397
398         for (hash_alg = 0; hash_alg < CFS_HASH_ALG_MAX; hash_alg++)
399                 cfs_crypto_performance_test(hash_alg);
400
401         return 0;
402 }
403
404 static int adler32;
405
406 #ifdef HAVE_CRC32
407 static int crc32;
408 #endif
409 #ifdef HAVE_PCLMULQDQ
410 #ifdef NEED_CRC32_ACCEL
411 static int crc32_pclmul;
412 #endif
413 #ifdef NEED_CRC32C_ACCEL
414 static int crc32c_pclmul;
415 #endif
416 #endif /* HAVE_PCLMULQDQ */
417
418 /**
419  * Register available hash functions
420  *
421  * \retval              0
422  */
423 int cfs_crypto_register(void)
424 {
425         request_module("crc32c");
426
427         adler32 = cfs_crypto_adler32_register();
428
429 #ifdef HAVE_CRC32
430         crc32 = cfs_crypto_crc32_register();
431 #endif
432 #ifdef HAVE_PCLMULQDQ
433 #ifdef NEED_CRC32_ACCEL
434         crc32_pclmul = cfs_crypto_crc32_pclmul_register();
435 #endif
436 #ifdef NEED_CRC32C_ACCEL
437         crc32c_pclmul = cfs_crypto_crc32c_pclmul_register();
438 #endif
439 #endif /* HAVE_PCLMULQDQ */
440
441         /* check all algorithms and do performance test */
442         cfs_crypto_test_hashes();
443
444         return 0;
445 }
446
447 /**
448  * Unregister previously registered hash functions
449  */
450 void cfs_crypto_unregister(void)
451 {
452         if (adler32 == 0)
453                 cfs_crypto_adler32_unregister();
454
455 #ifdef HAVE_CRC32
456         if (crc32 == 0)
457                 cfs_crypto_crc32_unregister();
458 #endif
459 #ifdef HAVE_PCLMULQDQ
460 #ifdef NEED_CRC32_ACCEL
461         if (crc32_pclmul == 0)
462                 cfs_crypto_crc32_pclmul_unregister();
463 #endif
464 #ifdef NEED_CRC32C_ACCEL
465         if (crc32c_pclmul == 0)
466                 cfs_crypto_crc32c_pclmul_unregister();
467 #endif
468 #endif /* HAVE_PCLMULQDQ */
469 }