libcfs/libcfs/linux/linux-crypto.c

   1 /* GPL HEADER START
   2  *
   3  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   4  *
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License version 2 only,
   7  * as published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License version 2 for more details (a copy is included
  13  * in the LICENSE file that accompanied this code).
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * version 2 along with this program; If not, see http://www.gnu.org/licenses
  17  *
  18  * Please  visit http://www.xyratex.com/contact if you need additional
  19  * information or have any questions.
  20  *
  21  * GPL HEADER END
  22  */
  23
  24 /*
  25  * Copyright 2012 Xyratex Technology Limited
  26  *
  27  * Copyright (c) 2012, 2014, Intel Corporation.
  28  */
  29
  30 #include <crypto/hash.h>
  31 #include <linux/scatterlist.h>
  32 #include <libcfs/libcfs.h>
  33 #include <libcfs/libcfs_crypto.h>
  34 #include <libcfs/linux/linux-crypto.h>
  35
  36 #ifndef HAVE_CRYPTO_HASH_HELPERS
  37 static inline const char *crypto_ahash_alg_name(struct crypto_ahash *tfm)
  38 {
  39         return crypto_tfm_alg_name(crypto_ahash_tfm(tfm));
  40 }
  41
  42 static inline const char *crypto_ahash_driver_name(struct crypto_ahash *tfm)
  43 {
  44         return crypto_tfm_alg_driver_name(crypto_ahash_tfm(tfm));
  45 }
  46 #endif
  47
  48 /**
  49  *  Array of hash algorithm speed in MByte per second
  50  */
  51 static int cfs_crypto_hash_speeds[CFS_HASH_ALG_MAX];
  52
  53 /**
  54  * Initialize the state descriptor for the specified hash algorithm.
  55  *
  56  * An internal routine to allocate the hash-specific state in \a hdesc for
  57  * use with cfs_crypto_hash_digest() to compute the hash of a single message,
  58  * though possibly in multiple chunks.  The descriptor internal state should
  59  * be freed with cfs_crypto_hash_final().
  60  *
  61  * \param[in]  hash_alg hash algorithm id (CFS_HASH_ALG_*)
  62  * \param[out] type     pointer to the hash description in hash_types[] array
  63  * \param[in,out] req   ahash request to be initialized
  64  * \param[in]  key      initial hash value/state, NULL to use default value
  65  * \param[in]  key_len  length of \a key
  66  *
  67  * \retval              0 on success
  68  * \retval              negative errno on failure
  69  */
  70 static int cfs_crypto_hash_alloc(enum cfs_crypto_hash_alg hash_alg,
  71                                  const struct cfs_crypto_hash_type **type,
  72                                  struct ahash_request **req,
  73                                  unsigned char *key,
  74                                  unsigned int key_len)
  75 {
  76         struct crypto_ahash *tfm;
  77         int err = 0;
  78
  79         *type = cfs_crypto_hash_type(hash_alg);
  80
  81         if (*type == NULL) {
  82                 CWARN("Unsupported hash algorithm id = %d, max id is %d\n",
  83                       hash_alg, CFS_HASH_ALG_MAX);
  84                 return -EINVAL;
  85         }
  86         tfm = crypto_alloc_ahash((*type)->cht_name, 0, CRYPTO_ALG_ASYNC);
  87         if (IS_ERR(tfm)) {
  88                 CDEBUG(D_INFO, "Failed to alloc crypto hash %s\n",
  89                        (*type)->cht_name);
  90                 return PTR_ERR(tfm);
  91         }
  92
  93         *req = ahash_request_alloc(tfm, GFP_KERNEL);
  94         if (!*req) {
  95                 CDEBUG(D_INFO, "Failed to alloc ahash_request for %s\n",
  96                        (*type)->cht_name);
  97                 crypto_free_ahash(tfm);
  98                 return -ENOMEM;
  99         }
 100
 101         ahash_request_set_callback(*req, 0, NULL, NULL);
 102
 103         if (key)
 104                 err = crypto_ahash_setkey(tfm, key, key_len);
 105         else if ((*type)->cht_key != 0)
 106                 err = crypto_ahash_setkey(tfm,
 107                                          (unsigned char *)&((*type)->cht_key),
 108                                          (*type)->cht_size);
 109
 110         if (err != 0) {
 111                 ahash_request_free(*req);
 112                 crypto_free_ahash(tfm);
 113                 return err;
 114         }
 115
 116         CDEBUG(D_INFO, "Using crypto hash: %s (%s) speed %d MB/s\n",
 117                crypto_ahash_alg_name(tfm), crypto_ahash_driver_name(tfm),
 118                cfs_crypto_hash_speeds[hash_alg]);
 119
 120         err = crypto_ahash_init(*req);
 121         if (err) {
 122                 ahash_request_free(*req);
 123                 crypto_free_ahash(tfm);
 124         }
 125         return err;
 126 }
 127
 128 /**
 129  * Calculate hash digest for the passed buffer.
 130  *
 131  * This should be used when computing the hash on a single contiguous buffer.
 132  * It combines the hash initialization, computation, and cleanup.
 133  *
 134  * \param[in] hash_alg  id of hash algorithm (CFS_HASH_ALG_*)
 135  * \param[in] buf       data buffer on which to compute hash
 136  * \param[in] buf_len   length of \a buf in bytes
 137  * \param[in] key       initial value/state for algorithm, if \a key = NULL
 138  *                      use default initial value
 139  * \param[in] key_len   length of \a key in bytes
 140  * \param[out] hash     pointer to computed hash value, if \a hash = NULL then
 141  *                      \a hash_len is to digest size in bytes, retval -ENOSPC
 142  * \param[in,out] hash_len size of \a hash buffer
 143  *
 144  * \retval -EINVAL       \a buf, \a buf_len, \a hash_len, \a hash_alg invalid
 145  * \retval -ENOENT       \a hash_alg is unsupported
 146  * \retval -ENOSPC       \a hash is NULL, or \a hash_len less than digest size
 147  * \retval              0 for success
 148  * \retval              negative errno for other errors from lower layers.
 149  */
 150 int cfs_crypto_hash_digest(enum cfs_crypto_hash_alg hash_alg,
 151                            const void *buf, unsigned int buf_len,
 152                            unsigned char *key, unsigned int key_len,
 153                            unsigned char *hash, unsigned int *hash_len)
 154 {
 155         struct scatterlist      sl;
 156         struct ahash_request *req;
 157         int                     err;
 158         const struct cfs_crypto_hash_type       *type;
 159
 160         if (!buf || buf_len == 0 || !hash_len)
 161                 return -EINVAL;
 162
 163         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
 164         if (err != 0)
 165                 return err;
 166
 167         if (!hash || *hash_len < type->cht_size) {
 168                 *hash_len = type->cht_size;
 169                 crypto_free_ahash(crypto_ahash_reqtfm(req));
 170                 ahash_request_free(req);
 171                 return -ENOSPC;
 172         }
 173         sg_init_one(&sl, (void *)buf, buf_len);
 174
 175         ahash_request_set_crypt(req, &sl, hash, sl.length);
 176         err = crypto_ahash_digest(req);
 177         crypto_free_ahash(crypto_ahash_reqtfm(req));
 178         ahash_request_free(req);
 179
 180         return err;
 181 }
 182 EXPORT_SYMBOL(cfs_crypto_hash_digest);
 183
 184 /**
 185  * Allocate and initialize desriptor for hash algorithm.
 186  *
 187  * This should be used to initialize a hash descriptor for multiple calls
 188  * to a single hash function when computing the hash across multiple
 189  * separate buffers or pages using cfs_crypto_hash_update{,_page}().
 190  *
 191  * The hash descriptor should be freed with cfs_crypto_hash_final().
 192  *
 193  * \param[in] hash_alg  algorithm id (CFS_HASH_ALG_*)
 194  * \param[in] key       initial value/state for algorithm, if \a key = NULL
 195  *                      use default initial value
 196  * \param[in] key_len   length of \a key in bytes
 197  *
 198  * \retval              pointer to descriptor of hash instance
 199  * \retval              ERR_PTR(errno) in case of error
 200  */
 201 struct cfs_crypto_hash_desc *
 202         cfs_crypto_hash_init(enum cfs_crypto_hash_alg hash_alg,
 203                              unsigned char *key, unsigned int key_len)
 204 {
 205         struct ahash_request *req;
 206         int                                     err;
 207         const struct cfs_crypto_hash_type       *type;
 208
 209         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
 210         if (err)
 211                 return ERR_PTR(err);
 212         return (struct cfs_crypto_hash_desc *)req;
 213 }
 214 EXPORT_SYMBOL(cfs_crypto_hash_init);
 215
 216 /**
 217  * Update hash digest computed on data within the given \a page
 218  *
 219  * \param[in] hdesc     hash state descriptor
 220  * \param[in] page      data page on which to compute the hash
 221  * \param[in] offset    offset within \a page at which to start hash
 222  * \param[in] len       length of data on which to compute hash
 223  *
 224  * \retval              0 for success
 225  * \retval              negative errno on failure
 226  */
 227 int cfs_crypto_hash_update_page(struct cfs_crypto_hash_desc *hdesc,
 228                                 struct page *page, unsigned int offset,
 229                                 unsigned int len)
 230 {
 231         struct ahash_request *req = (void *)hdesc;
 232         struct scatterlist sl;
 233
 234         sg_init_table(&sl, 1);
 235         sg_set_page(&sl, page, len, offset & ~PAGE_MASK);
 236
 237         ahash_request_set_crypt(req, &sl, NULL, sl.length);
 238         return crypto_ahash_update(req);
 239 }
 240 EXPORT_SYMBOL(cfs_crypto_hash_update_page);
 241
 242 /**
 243  * Update hash digest computed on the specified data
 244  *
 245  * \param[in] hdesc     hash state descriptor
 246  * \param[in] buf       data buffer on which to compute the hash
 247  * \param[in] buf_len   length of \buf on which to compute hash
 248  *
 249  * \retval              0 for success
 250  * \retval              negative errno on failure
 251  */
 252 int cfs_crypto_hash_update(struct cfs_crypto_hash_desc *hdesc,
 253                            const void *buf, unsigned int buf_len)
 254 {
 255         struct ahash_request *req = (void *)hdesc;
 256         struct scatterlist sl;
 257
 258         sg_init_one(&sl, (void *)buf, buf_len);
 259
 260         ahash_request_set_crypt(req, &sl, NULL, sl.length);
 261         return crypto_ahash_update(req);
 262 }
 263 EXPORT_SYMBOL(cfs_crypto_hash_update);
 264
 265 /**
 266  * Finish hash calculation, copy hash digest to buffer, clean up hash descriptor
 267  *
 268  * \param[in]   hdesc           hash descriptor
 269  * \param[out]  hash            pointer to hash buffer to store hash digest
 270  * \param[in,out] hash_len      pointer to hash buffer size, if \a hash == NULL
 271  *                              or hash_len == NULL only free \a hdesc instead
 272  *                              of computing the hash
 273  *
 274  * \retval              0 for success
 275  * \retval              -EOVERFLOW if hash_len is too small for the hash digest
 276  * \retval              negative errno for other errors from lower layers
 277  */
 278 int cfs_crypto_hash_final(struct cfs_crypto_hash_desc *hdesc,
 279                           unsigned char *hash, unsigned int *hash_len)
 280 {
 281         struct ahash_request *req = (void *)hdesc;
 282         int size = crypto_ahash_digestsize(crypto_ahash_reqtfm(req));
 283         int err;
 284
 285         if (!hash || !hash_len) {
 286                 err = 0;
 287                 goto free;
 288         }
 289         if (*hash_len < size) {
 290                 err = -EOVERFLOW;
 291                 goto free;
 292         }
 293
 294         ahash_request_set_crypt(req, NULL, hash, 0);
 295         err = crypto_ahash_final(req);
 296         if (err == 0)
 297                 *hash_len = size;
 298 free:
 299         crypto_free_ahash(crypto_ahash_reqtfm(req));
 300         ahash_request_free(req);
 301
 302         return err;
 303 }
 304 EXPORT_SYMBOL(cfs_crypto_hash_final);
 305
 306 /**
 307  * Compute the speed of specified hash function
 308  *
 309  * Run a speed test on the given hash algorithm on buffer using a 1MB buffer
 310  * size.  This is a reasonable buffer size for Lustre RPCs, even if the actual
 311  * RPC size is larger or smaller.
 312  *
 313  * The speed is stored internally in the cfs_crypto_hash_speeds[] array, and
 314  * is available through the cfs_crypto_hash_speed() function.
 315  *
 316  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
 317  * \param[in] buf       data buffer on which to compute the hash
 318  * \param[in] buf_len   length of \buf on which to compute hash
 319  */
 320 static void cfs_crypto_performance_test(enum cfs_crypto_hash_alg hash_alg)
 321 {
 322         int                     buf_len = max(PAGE_SIZE, 1048576UL);
 323         void                    *buf;
 324         unsigned long           start, end;
 325         int                     err = 0;
 326         unsigned long           bcount;
 327         struct page             *page;
 328         unsigned char           hash[CFS_CRYPTO_HASH_DIGESTSIZE_MAX];
 329         unsigned int            hash_len = sizeof(hash);
 330
 331         page = alloc_page(GFP_KERNEL);
 332         if (page == NULL) {
 333                 err = -ENOMEM;
 334                 goto out_err;
 335         }
 336
 337         buf = kmap(page);
 338         memset(buf, 0xAD, PAGE_SIZE);
 339         kunmap(page);
 340
 341         for (start = jiffies, end = start + msecs_to_jiffies(MSEC_PER_SEC / 4),
 342              bcount = 0; time_before(jiffies, end) && err == 0; bcount++) {
 343                 struct cfs_crypto_hash_desc *hdesc;
 344                 int i;
 345
 346                 hdesc = cfs_crypto_hash_init(hash_alg, NULL, 0);
 347                 if (IS_ERR(hdesc)) {
 348                         err = PTR_ERR(hdesc);
 349                         break;
 350                 }
 351
 352                 for (i = 0; i < buf_len / PAGE_SIZE; i++) {
 353                         err = cfs_crypto_hash_update_page(hdesc, page, 0,
 354                                                           PAGE_SIZE);
 355                         if (err != 0)
 356                                 break;
 357                 }
 358
 359                 err = cfs_crypto_hash_final(hdesc, hash, &hash_len);
 360                 if (err != 0)
 361                         break;
 362         }
 363         end = jiffies;
 364         __free_page(page);
 365 out_err:
 366         if (err != 0) {
 367                 cfs_crypto_hash_speeds[hash_alg] = err;
 368                 CDEBUG(D_INFO, "Crypto hash algorithm %s test error: rc = %d\n",
 369                        cfs_crypto_hash_name(hash_alg), err);
 370         } else {
 371                 unsigned long   tmp;
 372
 373                 tmp = ((bcount * buf_len / jiffies_to_msecs(end - start)) *
 374                        1000) / (1024 * 1024);
 375                 cfs_crypto_hash_speeds[hash_alg] = (int)tmp;
 376                 CDEBUG(D_CONFIG, "Crypto hash algorithm %s speed = %d MB/s\n",
 377                        cfs_crypto_hash_name(hash_alg),
 378                        cfs_crypto_hash_speeds[hash_alg]);
 379         }
 380 }
 381
 382 /**
 383  * hash speed in Mbytes per second for valid hash algorithm
 384  *
 385  * Return the performance of the specified \a hash_alg that was
 386  * computed using cfs_crypto_performance_test().  If the performance
 387  * has not yet been computed, do that when it is first requested.
 388  * That avoids computing the speed when it is not actually needed.
 389  * To avoid competing threads computing the checksum speed at the
 390  * same time, only compute a single checksum speed at one time.
 391  *
 392  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
 393  *
 394  * \retval              positive speed of the hash function in MB/s
 395  * \retval              -ENOENT if \a hash_alg is unsupported
 396  * \retval              negative errno if \a hash_alg speed is unavailable
 397  */
 398 int cfs_crypto_hash_speed(enum cfs_crypto_hash_alg hash_alg)
 399 {
 400         if (hash_alg < CFS_HASH_ALG_MAX) {
 401                 if (unlikely(cfs_crypto_hash_speeds[hash_alg] == 0)) {
 402                         static DEFINE_MUTEX(crypto_hash_speed_mutex);
 403
 404                         mutex_lock(&crypto_hash_speed_mutex);
 405                         if (cfs_crypto_hash_speeds[hash_alg] == 0)
 406                                 cfs_crypto_performance_test(hash_alg);
 407                         mutex_unlock(&crypto_hash_speed_mutex);
 408                 }
 409                 return cfs_crypto_hash_speeds[hash_alg];
 410         }
 411
 412         return -ENOENT;
 413 }
 414 EXPORT_SYMBOL(cfs_crypto_hash_speed);
 415
 416 /**
 417  * Run the performance test for all hash algorithms.
 418  *
 419  * Run the cfs_crypto_performance_test() benchmark for some of the available
 420  * hash functions at module load time.  This can't be reliably done at runtime
 421  * since the CPUs may be under load from thousands of connecting clients when
 422  * the first client connects and the checksum speeds are needed.
 423  *
 424  * Since the setup cost and computation speed of various hash algorithms is
 425  * a function of the buffer size (and possibly internal contention of offload
 426  * engines), this speed only represents an estimate of the actual speed under
 427  * actual usage, but is reasonable for comparing available algorithms.
 428  *
 429  * The actual speeds are available via cfs_crypto_hash_speed() for later
 430  * comparison.
 431  *
 432  * \retval              0 on success
 433  * \retval              -ENOMEM if no memory is available for test buffer
 434  */
 435 static int cfs_crypto_test_hashes(void)
 436 {
 437         enum cfs_crypto_hash_alg hash_alg;
 438
 439         for (hash_alg = 1; hash_alg < CFS_HASH_ALG_SPEED_MAX; hash_alg++)
 440                 cfs_crypto_performance_test(hash_alg);
 441
 442         return 0;
 443 }
 444
 445 static int adler32;
 446
 447 #ifdef HAVE_CRC32
 448 static int crc32;
 449 #endif
 450 #ifdef HAVE_PCLMULQDQ
 451 #ifdef NEED_CRC32_ACCEL
 452 static int crc32_pclmul;
 453 #endif
 454 #ifdef NEED_CRC32C_ACCEL
 455 static int crc32c_pclmul;
 456 #endif
 457 #endif /* HAVE_PCLMULQDQ */
 458
 459 /**
 460  * Register available hash functions
 461  *
 462  * \retval              0
 463  */
 464 int cfs_crypto_register(void)
 465 {
 466         request_module("crc32c");
 467
 468         adler32 = cfs_crypto_adler32_register();
 469
 470 #ifdef HAVE_CRC32
 471         crc32 = cfs_crypto_crc32_register();
 472 #endif
 473 #ifdef HAVE_PCLMULQDQ
 474 #ifdef NEED_CRC32_ACCEL
 475         crc32_pclmul = cfs_crypto_crc32_pclmul_register();
 476 #endif
 477 #ifdef NEED_CRC32C_ACCEL
 478         crc32c_pclmul = cfs_crypto_crc32c_pclmul_register();
 479 #endif
 480 #endif /* HAVE_PCLMULQDQ */
 481
 482         /* check all algorithms and do performance test */
 483         cfs_crypto_test_hashes();
 484
 485         return 0;
 486 }
 487
 488 /**
 489  * Unregister previously registered hash functions
 490  */
 491 void cfs_crypto_unregister(void)
 492 {
 493         if (adler32 == 0)
 494                 cfs_crypto_adler32_unregister();
 495
 496 #ifdef HAVE_CRC32
 497         if (crc32 == 0)
 498                 cfs_crypto_crc32_unregister();
 499 #endif
 500 #ifdef HAVE_PCLMULQDQ
 501 #ifdef NEED_CRC32_ACCEL
 502         if (crc32_pclmul == 0)
 503                 cfs_crypto_crc32_pclmul_unregister();
 504 #endif
 505 #ifdef NEED_CRC32C_ACCEL
 506         if (crc32c_pclmul == 0)
 507                 cfs_crypto_crc32c_pclmul_unregister();
 508 #endif
 509 #endif /* HAVE_PCLMULQDQ */
 510 }