Whamcloud - gitweb
LU-12977 ldiskfs: properly take inode_lock() for truncates
[fs/lustre-release.git] / libcfs / libcfs / linux-crypto.c
1 /* GPL HEADER START
2  *
3  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License version 2 only,
7  * as published by the Free Software Foundation.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License version 2 for more details (a copy is included
13  * in the LICENSE file that accompanied this code).
14  *
15  * You should have received a copy of the GNU General Public License
16  * version 2 along with this program; If not, see http://www.gnu.org/licenses
17  *
18  * Please  visit http://www.xyratex.com/contact if you need additional
19  * information or have any questions.
20  *
21  * GPL HEADER END
22  */
23
24 /*
25  * Copyright 2012 Xyratex Technology Limited
26  *
27  * Copyright (c) 2012, 2014, Intel Corporation.
28  */
29
30 #include <crypto/hash.h>
31 #include <linux/scatterlist.h>
32 #include <linux/pagemap.h>
33 #include <libcfs/libcfs.h>
34 #include <libcfs/libcfs_crypto.h>
35 #include "linux-crypto.h"
36
37 #ifndef HAVE_CRYPTO_HASH_HELPERS
38 static inline const char *crypto_ahash_alg_name(struct crypto_ahash *tfm)
39 {
40         return crypto_tfm_alg_name(crypto_ahash_tfm(tfm));
41 }
42
43 static inline const char *crypto_ahash_driver_name(struct crypto_ahash *tfm)
44 {
45         return crypto_tfm_alg_driver_name(crypto_ahash_tfm(tfm));
46 }
47 #endif
48
49 /**
50  *  Array of hash algorithm speed in MByte per second
51  */
52 static int cfs_crypto_hash_speeds[CFS_HASH_ALG_MAX];
53
54 /**
55  * Initialize the state descriptor for the specified hash algorithm.
56  *
57  * An internal routine to allocate the hash-specific state in \a hdesc for
58  * use with cfs_crypto_hash_digest() to compute the hash of a single message,
59  * though possibly in multiple chunks.  The descriptor internal state should
60  * be freed with cfs_crypto_hash_final().
61  *
62  * \param[in]  hash_alg hash algorithm id (CFS_HASH_ALG_*)
63  * \param[out] type     pointer to the hash description in hash_types[] array
64  * \param[in,out] req   ahash request to be initialized
65  * \param[in]  key      initial hash value/state, NULL to use default value
66  * \param[in]  key_len  length of \a key
67  *
68  * \retval              0 on success
69  * \retval              negative errno on failure
70  */
71 static int cfs_crypto_hash_alloc(enum cfs_crypto_hash_alg hash_alg,
72                                  const struct cfs_crypto_hash_type **type,
73                                  struct ahash_request **req,
74                                  unsigned char *key,
75                                  unsigned int key_len)
76 {
77         struct crypto_ahash *tfm;
78         int err = 0;
79
80         *type = cfs_crypto_hash_type(hash_alg);
81         if (!*type) {
82                 CWARN("Unsupported hash algorithm id = %d, max id is %d\n",
83                       hash_alg, CFS_HASH_ALG_MAX);
84                 return -EINVAL;
85         }
86
87         /* Keys are only supported for the hmac version */
88         if (key && key_len > 0) {
89                 char *algo_name;
90
91                 algo_name = kasprintf(GFP_KERNEL, "hmac(%s)",
92                                       (*type)->cht_name);
93                 if (!algo_name)
94                         return -ENOMEM;
95
96                 tfm = crypto_alloc_ahash(algo_name, 0, CRYPTO_ALG_ASYNC);
97                 kfree(algo_name);
98         } else {
99                 tfm = crypto_alloc_ahash((*type)->cht_name, 0,
100                                          CRYPTO_ALG_ASYNC);
101         }
102         if (IS_ERR(tfm)) {
103                 CDEBUG(D_INFO, "Failed to alloc crypto hash %s\n",
104                        (*type)->cht_name);
105                 return PTR_ERR(tfm);
106         }
107
108         *req = ahash_request_alloc(tfm, GFP_KERNEL);
109         if (!*req) {
110                 CDEBUG(D_INFO, "Failed to alloc ahash_request for %s\n",
111                        (*type)->cht_name);
112                 GOTO(out_free_tfm, err = -ENOMEM);
113         }
114
115         ahash_request_set_callback(*req, 0, NULL, NULL);
116
117         if (key)
118                 err = crypto_ahash_setkey(tfm, key, key_len);
119         else if ((*type)->cht_key != 0)
120                 err = crypto_ahash_setkey(tfm,
121                                          (unsigned char *)&((*type)->cht_key),
122                                          (*type)->cht_size);
123         if (err)
124                 GOTO(out_free_req, err);
125
126         CDEBUG(D_INFO, "Using crypto hash: %s (%s) speed %d MB/s\n",
127                crypto_ahash_alg_name(tfm), crypto_ahash_driver_name(tfm),
128                cfs_crypto_hash_speeds[hash_alg]);
129
130         err = crypto_ahash_init(*req);
131         if (err) {
132 out_free_req:
133                 ahash_request_free(*req);
134 out_free_tfm:
135                 crypto_free_ahash(tfm);
136         }
137         return err;
138 }
139
140 /**
141  * Calculate hash digest for the passed buffer.
142  *
143  * This should be used when computing the hash on a single contiguous buffer.
144  * It combines the hash initialization, computation, and cleanup.
145  *
146  * \param[in] hash_alg  id of hash algorithm (CFS_HASH_ALG_*)
147  * \param[in] buf       data buffer on which to compute hash
148  * \param[in] buf_len   length of \a buf in bytes
149  * \param[in] key       initial value/state for algorithm, if \a key = NULL
150  *                      use default initial value
151  * \param[in] key_len   length of \a key in bytes
152  * \param[out] hash     pointer to computed hash value, if \a hash = NULL then
153  *                      \a hash_len is to digest size in bytes, retval -ENOSPC
154  * \param[in,out] hash_len size of \a hash buffer
155  *
156  * \retval -EINVAL       \a buf, \a buf_len, \a hash_len, \a hash_alg invalid
157  * \retval -ENOENT       \a hash_alg is unsupported
158  * \retval -ENOSPC       \a hash is NULL, or \a hash_len less than digest size
159  * \retval              0 for success
160  * \retval              negative errno for other errors from lower layers.
161  */
162 int cfs_crypto_hash_digest(enum cfs_crypto_hash_alg hash_alg,
163                            const void *buf, unsigned int buf_len,
164                            unsigned char *key, unsigned int key_len,
165                            unsigned char *hash, unsigned int *hash_len)
166 {
167         struct scatterlist      sl;
168         struct ahash_request *req;
169         int                     err;
170         const struct cfs_crypto_hash_type       *type;
171
172         if (!buf || buf_len == 0 || !hash_len)
173                 return -EINVAL;
174
175         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
176         if (err != 0)
177                 return err;
178
179         if (!hash || *hash_len < type->cht_size) {
180                 *hash_len = type->cht_size;
181                 crypto_free_ahash(crypto_ahash_reqtfm(req));
182                 ahash_request_free(req);
183                 return -ENOSPC;
184         }
185         sg_init_one(&sl, (void *)buf, buf_len);
186
187         ahash_request_set_crypt(req, &sl, hash, sl.length);
188         err = crypto_ahash_digest(req);
189         crypto_free_ahash(crypto_ahash_reqtfm(req));
190         ahash_request_free(req);
191
192         return err;
193 }
194 EXPORT_SYMBOL(cfs_crypto_hash_digest);
195
196 /**
197  * Allocate and initialize desriptor for hash algorithm.
198  *
199  * This should be used to initialize a hash descriptor for multiple calls
200  * to a single hash function when computing the hash across multiple
201  * separate buffers or pages using cfs_crypto_hash_update{,_page}().
202  *
203  * The hash descriptor should be freed with cfs_crypto_hash_final().
204  *
205  * \param[in] hash_alg  algorithm id (CFS_HASH_ALG_*)
206  * \param[in] key       initial value/state for algorithm, if \a key = NULL
207  *                      use default initial value
208  * \param[in] key_len   length of \a key in bytes
209  *
210  * \retval              pointer to ahash request
211  * \retval              ERR_PTR(errno) in case of error
212  */
213 struct ahash_request *
214         cfs_crypto_hash_init(enum cfs_crypto_hash_alg hash_alg,
215                              unsigned char *key, unsigned int key_len)
216 {
217         struct ahash_request *req;
218         int                                     err;
219         const struct cfs_crypto_hash_type       *type;
220
221         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
222         if (err)
223                 return ERR_PTR(err);
224         return req;
225 }
226 EXPORT_SYMBOL(cfs_crypto_hash_init);
227
228 /**
229  * Update hash digest computed on data within the given \a page
230  *
231  * \param[in] req       ahash request
232  * \param[in] page      data page on which to compute the hash
233  * \param[in] offset    offset within \a page at which to start hash
234  * \param[in] len       length of data on which to compute hash
235  *
236  * \retval              0 for success
237  * \retval              negative errno on failure
238  */
239 int cfs_crypto_hash_update_page(struct ahash_request *req,
240                                 struct page *page, unsigned int offset,
241                                 unsigned int len)
242 {
243         struct scatterlist sl;
244
245         sg_init_table(&sl, 1);
246         sg_set_page(&sl, page, len, offset & ~PAGE_MASK);
247
248         ahash_request_set_crypt(req, &sl, NULL, sl.length);
249         return crypto_ahash_update(req);
250 }
251 EXPORT_SYMBOL(cfs_crypto_hash_update_page);
252
253 /**
254  * Update hash digest computed on the specified data
255  *
256  * \param[in] req       ahash request
257  * \param[in] buf       data buffer on which to compute the hash
258  * \param[in] buf_len   length of \buf on which to compute hash
259  *
260  * \retval              0 for success
261  * \retval              negative errno on failure
262  */
263 int cfs_crypto_hash_update(struct ahash_request *req,
264                            const void *buf, unsigned int buf_len)
265 {
266         struct scatterlist sl;
267
268         sg_init_one(&sl, (void *)buf, buf_len);
269
270         ahash_request_set_crypt(req, &sl, NULL, sl.length);
271         return crypto_ahash_update(req);
272 }
273 EXPORT_SYMBOL(cfs_crypto_hash_update);
274
275 /**
276  * Finish hash calculation, copy hash digest to buffer, clean up hash descriptor
277  *
278  * \param[in]   req             ahash request
279  * \param[out]  hash            pointer to hash buffer to store hash digest
280  * \param[in,out] hash_len      pointer to hash buffer size, if \a hash == NULL
281  *                              or hash_len == NULL only free \a hdesc instead
282  *                              of computing the hash
283  *
284  * \retval              0 for success
285  * \retval              -EOVERFLOW if hash_len is too small for the hash digest
286  * \retval              negative errno for other errors from lower layers
287  */
288 int cfs_crypto_hash_final(struct ahash_request *req,
289                           unsigned char *hash, unsigned int *hash_len)
290 {
291         int size = crypto_ahash_digestsize(crypto_ahash_reqtfm(req));
292         int err;
293
294         if (!hash || !hash_len) {
295                 err = 0;
296                 goto free;
297         }
298         if (*hash_len < size) {
299                 err = -EOVERFLOW;
300                 goto free;
301         }
302
303         ahash_request_set_crypt(req, NULL, hash, 0);
304         err = crypto_ahash_final(req);
305         if (err == 0)
306                 *hash_len = size;
307 free:
308         crypto_free_ahash(crypto_ahash_reqtfm(req));
309         ahash_request_free(req);
310
311         return err;
312 }
313 EXPORT_SYMBOL(cfs_crypto_hash_final);
314
315 /**
316  * Compute the speed of specified hash function
317  *
318  * Run a speed test on the given hash algorithm on buffer using a 1MB buffer
319  * size.  This is a reasonable buffer size for Lustre RPCs, even if the actual
320  * RPC size is larger or smaller.
321  *
322  * The speed is stored internally in the cfs_crypto_hash_speeds[] array, and
323  * is available through the cfs_crypto_hash_speed() function.
324  *
325  * This function needs to stay the same as obd_t10_performance_test() so that
326  * the speeds are comparable.
327  *
328  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
329  * \param[in] buf       data buffer on which to compute the hash
330  * \param[in] buf_len   length of \buf on which to compute hash
331  */
332 static void cfs_crypto_performance_test(enum cfs_crypto_hash_alg hash_alg)
333 {
334         int                     buf_len = max(PAGE_SIZE, 1048576UL);
335         void                    *buf;
336         unsigned long           start, end;
337         int                     err = 0;
338         unsigned long           bcount;
339         struct page             *page;
340         unsigned char           hash[CFS_CRYPTO_HASH_DIGESTSIZE_MAX];
341         unsigned int            hash_len = sizeof(hash);
342
343         page = alloc_page(GFP_KERNEL);
344         if (page == NULL) {
345                 err = -ENOMEM;
346                 goto out_err;
347         }
348
349         buf = kmap(page);
350         memset(buf, 0xAD, PAGE_SIZE);
351         kunmap(page);
352
353         for (start = jiffies, end = start + cfs_time_seconds(1) / 4,
354              bcount = 0; time_before(jiffies, end) && err == 0; bcount++) {
355                 struct ahash_request *req;
356                 int i;
357
358                 req = cfs_crypto_hash_init(hash_alg, NULL, 0);
359                 if (IS_ERR(req)) {
360                         err = PTR_ERR(req);
361                         break;
362                 }
363
364                 for (i = 0; i < buf_len / PAGE_SIZE; i++) {
365                         err = cfs_crypto_hash_update_page(req, page, 0,
366                                                           PAGE_SIZE);
367                         if (err != 0)
368                                 break;
369                 }
370
371                 err = cfs_crypto_hash_final(req, hash, &hash_len);
372                 if (err != 0)
373                         break;
374         }
375         end = jiffies;
376         __free_page(page);
377 out_err:
378         if (err != 0) {
379                 cfs_crypto_hash_speeds[hash_alg] = err;
380                 CDEBUG(D_INFO, "Crypto hash algorithm %s test error: rc = %d\n",
381                        cfs_crypto_hash_name(hash_alg), err);
382         } else {
383                 unsigned long   tmp;
384
385                 tmp = ((bcount * buf_len / jiffies_to_msecs(end - start)) *
386                        1000) / (1024 * 1024);
387                 cfs_crypto_hash_speeds[hash_alg] = (int)tmp;
388                 CDEBUG(D_CONFIG, "Crypto hash algorithm %s speed = %d MB/s\n",
389                        cfs_crypto_hash_name(hash_alg),
390                        cfs_crypto_hash_speeds[hash_alg]);
391         }
392 }
393
394 /**
395  * hash speed in Mbytes per second for valid hash algorithm
396  *
397  * Return the performance of the specified \a hash_alg that was
398  * computed using cfs_crypto_performance_test().  If the performance
399  * has not yet been computed, do that when it is first requested.
400  * That avoids computing the speed when it is not actually needed.
401  * To avoid competing threads computing the checksum speed at the
402  * same time, only compute a single checksum speed at one time.
403  *
404  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
405  *
406  * \retval              positive speed of the hash function in MB/s
407  * \retval              -ENOENT if \a hash_alg is unsupported
408  * \retval              negative errno if \a hash_alg speed is unavailable
409  */
410 int cfs_crypto_hash_speed(enum cfs_crypto_hash_alg hash_alg)
411 {
412         if (hash_alg < CFS_HASH_ALG_MAX) {
413                 if (unlikely(cfs_crypto_hash_speeds[hash_alg] == 0)) {
414                         static DEFINE_MUTEX(crypto_hash_speed_mutex);
415
416                         mutex_lock(&crypto_hash_speed_mutex);
417                         if (cfs_crypto_hash_speeds[hash_alg] == 0)
418                                 cfs_crypto_performance_test(hash_alg);
419                         mutex_unlock(&crypto_hash_speed_mutex);
420                 }
421                 return cfs_crypto_hash_speeds[hash_alg];
422         }
423
424         return -ENOENT;
425 }
426 EXPORT_SYMBOL(cfs_crypto_hash_speed);
427
428 /**
429  * Run the performance test for all hash algorithms.
430  *
431  * Run the cfs_crypto_performance_test() benchmark for some of the available
432  * hash functions at module load time.  This can't be reliably done at runtime
433  * since the CPUs may be under load from thousands of connecting clients when
434  * the first client connects and the checksum speeds are needed.
435  *
436  * Since the setup cost and computation speed of various hash algorithms is
437  * a function of the buffer size (and possibly internal contention of offload
438  * engines), this speed only represents an estimate of the actual speed under
439  * actual usage, but is reasonable for comparing available algorithms.
440  *
441  * The actual speeds are available via cfs_crypto_hash_speed() for later
442  * comparison.
443  *
444  * \retval              0 on success
445  * \retval              -ENOMEM if no memory is available for test buffer
446  */
447 static int cfs_crypto_test_hashes(void)
448 {
449         enum cfs_crypto_hash_alg hash_alg;
450
451         for (hash_alg = 1; hash_alg < CFS_HASH_ALG_SPEED_MAX; hash_alg++)
452                 cfs_crypto_performance_test(hash_alg);
453
454         return 0;
455 }
456
457 static int adler32;
458
459 /**
460  * Register available hash functions
461  *
462  * \retval              0
463  */
464 int cfs_crypto_register(void)
465 {
466         request_module("crc32c");
467
468         if (cfs_crypto_adler32_register() == 0)
469                 adler32 = 1;
470
471         /* check all algorithms and do performance test */
472         cfs_crypto_test_hashes();
473
474         return 0;
475 }
476
477 /**
478  * Unregister previously registered hash functions
479  */
480 void cfs_crypto_unregister(void)
481 {
482         if (adler32)
483                 cfs_crypto_adler32_unregister();
484         adler32 = 0;
485 }