libcfs/libcfs/linux/linux-crypto.c

   1 /* GPL HEADER START
   2  *
   3  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   4  *
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License version 2 only,
   7  * as published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License version 2 for more details (a copy is included
  13  * in the LICENSE file that accompanied this code).
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * version 2 along with this program; If not, see http://www.gnu.org/licenses
  17  *
  18  * Please  visit http://www.xyratex.com/contact if you need additional
  19  * information or have any questions.
  20  *
  21  * GPL HEADER END
  22  */
  23
  24 /*
  25  * Copyright 2012 Xyratex Technology Limited
  26  *
  27  * Copyright (c) 2012, 2014, Intel Corporation.
  28  */
  29
  30 #include <crypto/hash.h>
  31 #include <linux/scatterlist.h>
  32 #include <linux/pagemap.h>
  33 #include <libcfs/libcfs.h>
  34 #include <libcfs/libcfs_crypto.h>
  35 #include <libcfs/linux/linux-crypto.h>
  36
  37 #ifndef HAVE_CRYPTO_HASH_HELPERS
  38 static inline const char *crypto_ahash_alg_name(struct crypto_ahash *tfm)
  39 {
  40         return crypto_tfm_alg_name(crypto_ahash_tfm(tfm));
  41 }
  42
  43 static inline const char *crypto_ahash_driver_name(struct crypto_ahash *tfm)
  44 {
  45         return crypto_tfm_alg_driver_name(crypto_ahash_tfm(tfm));
  46 }
  47 #endif
  48
  49 /**
  50  *  Array of hash algorithm speed in MByte per second
  51  */
  52 static int cfs_crypto_hash_speeds[CFS_HASH_ALG_MAX];
  53
  54 /**
  55  * Initialize the state descriptor for the specified hash algorithm.
  56  *
  57  * An internal routine to allocate the hash-specific state in \a hdesc for
  58  * use with cfs_crypto_hash_digest() to compute the hash of a single message,
  59  * though possibly in multiple chunks.  The descriptor internal state should
  60  * be freed with cfs_crypto_hash_final().
  61  *
  62  * \param[in]  hash_alg hash algorithm id (CFS_HASH_ALG_*)
  63  * \param[out] type     pointer to the hash description in hash_types[] array
  64  * \param[in,out] req   ahash request to be initialized
  65  * \param[in]  key      initial hash value/state, NULL to use default value
  66  * \param[in]  key_len  length of \a key
  67  *
  68  * \retval              0 on success
  69  * \retval              negative errno on failure
  70  */
  71 static int cfs_crypto_hash_alloc(enum cfs_crypto_hash_alg hash_alg,
  72                                  const struct cfs_crypto_hash_type **type,
  73                                  struct ahash_request **req,
  74                                  unsigned char *key,
  75                                  unsigned int key_len)
  76 {
  77         struct crypto_ahash *tfm;
  78         int err = 0;
  79
  80         *type = cfs_crypto_hash_type(hash_alg);
  81         if (!*type) {
  82                 CWARN("Unsupported hash algorithm id = %d, max id is %d\n",
  83                       hash_alg, CFS_HASH_ALG_MAX);
  84                 return -EINVAL;
  85         }
  86
  87         /* Keys are only supported for the hmac version */
  88         if (key && key_len > 0) {
  89                 char *algo_name;
  90
  91                 algo_name = kasprintf(GFP_KERNEL, "hmac(%s)",
  92                                       (*type)->cht_name);
  93                 if (!algo_name)
  94                         return -ENOMEM;
  95
  96                 tfm = crypto_alloc_ahash(algo_name, 0, CRYPTO_ALG_ASYNC);
  97                 kfree(algo_name);
  98         } else {
  99                 tfm = crypto_alloc_ahash((*type)->cht_name, 0,
 100                                          CRYPTO_ALG_ASYNC);
 101         }
 102         if (IS_ERR(tfm)) {
 103                 CDEBUG(D_INFO, "Failed to alloc crypto hash %s\n",
 104                        (*type)->cht_name);
 105                 return PTR_ERR(tfm);
 106         }
 107
 108         *req = ahash_request_alloc(tfm, GFP_KERNEL);
 109         if (!*req) {
 110                 CDEBUG(D_INFO, "Failed to alloc ahash_request for %s\n",
 111                        (*type)->cht_name);
 112                 GOTO(out_free_tfm, err = -ENOMEM);
 113         }
 114
 115         ahash_request_set_callback(*req, 0, NULL, NULL);
 116
 117         if (key)
 118                 err = crypto_ahash_setkey(tfm, key, key_len);
 119         else if ((*type)->cht_key != 0)
 120                 err = crypto_ahash_setkey(tfm,
 121                                          (unsigned char *)&((*type)->cht_key),
 122                                          (*type)->cht_size);
 123         if (err)
 124                 GOTO(out_free_req, err);
 125
 126         CDEBUG(D_INFO, "Using crypto hash: %s (%s) speed %d MB/s\n",
 127                crypto_ahash_alg_name(tfm), crypto_ahash_driver_name(tfm),
 128                cfs_crypto_hash_speeds[hash_alg]);
 129
 130         err = crypto_ahash_init(*req);
 131         if (err) {
 132 out_free_req:
 133                 ahash_request_free(*req);
 134 out_free_tfm:
 135                 crypto_free_ahash(tfm);
 136         }
 137         return err;
 138 }
 139
 140 /**
 141  * Calculate hash digest for the passed buffer.
 142  *
 143  * This should be used when computing the hash on a single contiguous buffer.
 144  * It combines the hash initialization, computation, and cleanup.
 145  *
 146  * \param[in] hash_alg  id of hash algorithm (CFS_HASH_ALG_*)
 147  * \param[in] buf       data buffer on which to compute hash
 148  * \param[in] buf_len   length of \a buf in bytes
 149  * \param[in] key       initial value/state for algorithm, if \a key = NULL
 150  *                      use default initial value
 151  * \param[in] key_len   length of \a key in bytes
 152  * \param[out] hash     pointer to computed hash value, if \a hash = NULL then
 153  *                      \a hash_len is to digest size in bytes, retval -ENOSPC
 154  * \param[in,out] hash_len size of \a hash buffer
 155  *
 156  * \retval -EINVAL       \a buf, \a buf_len, \a hash_len, \a hash_alg invalid
 157  * \retval -ENOENT       \a hash_alg is unsupported
 158  * \retval -ENOSPC       \a hash is NULL, or \a hash_len less than digest size
 159  * \retval              0 for success
 160  * \retval              negative errno for other errors from lower layers.
 161  */
 162 int cfs_crypto_hash_digest(enum cfs_crypto_hash_alg hash_alg,
 163                            const void *buf, unsigned int buf_len,
 164                            unsigned char *key, unsigned int key_len,
 165                            unsigned char *hash, unsigned int *hash_len)
 166 {
 167         struct scatterlist      sl;
 168         struct ahash_request *req;
 169         int                     err;
 170         const struct cfs_crypto_hash_type       *type;
 171
 172         if (!buf || buf_len == 0 || !hash_len)
 173                 return -EINVAL;
 174
 175         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
 176         if (err != 0)
 177                 return err;
 178
 179         if (!hash || *hash_len < type->cht_size) {
 180                 *hash_len = type->cht_size;
 181                 crypto_free_ahash(crypto_ahash_reqtfm(req));
 182                 ahash_request_free(req);
 183                 return -ENOSPC;
 184         }
 185         sg_init_one(&sl, (void *)buf, buf_len);
 186
 187         ahash_request_set_crypt(req, &sl, hash, sl.length);
 188         err = crypto_ahash_digest(req);
 189         crypto_free_ahash(crypto_ahash_reqtfm(req));
 190         ahash_request_free(req);
 191
 192         return err;
 193 }
 194 EXPORT_SYMBOL(cfs_crypto_hash_digest);
 195
 196 /**
 197  * Allocate and initialize desriptor for hash algorithm.
 198  *
 199  * This should be used to initialize a hash descriptor for multiple calls
 200  * to a single hash function when computing the hash across multiple
 201  * separate buffers or pages using cfs_crypto_hash_update{,_page}().
 202  *
 203  * The hash descriptor should be freed with cfs_crypto_hash_final().
 204  *
 205  * \param[in] hash_alg  algorithm id (CFS_HASH_ALG_*)
 206  * \param[in] key       initial value/state for algorithm, if \a key = NULL
 207  *                      use default initial value
 208  * \param[in] key_len   length of \a key in bytes
 209  *
 210  * \retval              pointer to descriptor of hash instance
 211  * \retval              ERR_PTR(errno) in case of error
 212  */
 213 struct cfs_crypto_hash_desc *
 214         cfs_crypto_hash_init(enum cfs_crypto_hash_alg hash_alg,
 215                              unsigned char *key, unsigned int key_len)
 216 {
 217         struct ahash_request *req;
 218         int                                     err;
 219         const struct cfs_crypto_hash_type       *type;
 220
 221         err = cfs_crypto_hash_alloc(hash_alg, &type, &req, key, key_len);
 222         if (err)
 223                 return ERR_PTR(err);
 224         return (struct cfs_crypto_hash_desc *)req;
 225 }
 226 EXPORT_SYMBOL(cfs_crypto_hash_init);
 227
 228 /**
 229  * Update hash digest computed on data within the given \a page
 230  *
 231  * \param[in] hdesc     hash state descriptor
 232  * \param[in] page      data page on which to compute the hash
 233  * \param[in] offset    offset within \a page at which to start hash
 234  * \param[in] len       length of data on which to compute hash
 235  *
 236  * \retval              0 for success
 237  * \retval              negative errno on failure
 238  */
 239 int cfs_crypto_hash_update_page(struct cfs_crypto_hash_desc *hdesc,
 240                                 struct page *page, unsigned int offset,
 241                                 unsigned int len)
 242 {
 243         struct ahash_request *req = (void *)hdesc;
 244         struct scatterlist sl;
 245
 246         sg_init_table(&sl, 1);
 247         sg_set_page(&sl, page, len, offset & ~PAGE_MASK);
 248
 249         ahash_request_set_crypt(req, &sl, NULL, sl.length);
 250         return crypto_ahash_update(req);
 251 }
 252 EXPORT_SYMBOL(cfs_crypto_hash_update_page);
 253
 254 /**
 255  * Update hash digest computed on the specified data
 256  *
 257  * \param[in] hdesc     hash state descriptor
 258  * \param[in] buf       data buffer on which to compute the hash
 259  * \param[in] buf_len   length of \buf on which to compute hash
 260  *
 261  * \retval              0 for success
 262  * \retval              negative errno on failure
 263  */
 264 int cfs_crypto_hash_update(struct cfs_crypto_hash_desc *hdesc,
 265                            const void *buf, unsigned int buf_len)
 266 {
 267         struct ahash_request *req = (void *)hdesc;
 268         struct scatterlist sl;
 269
 270         sg_init_one(&sl, (void *)buf, buf_len);
 271
 272         ahash_request_set_crypt(req, &sl, NULL, sl.length);
 273         return crypto_ahash_update(req);
 274 }
 275 EXPORT_SYMBOL(cfs_crypto_hash_update);
 276
 277 /**
 278  * Finish hash calculation, copy hash digest to buffer, clean up hash descriptor
 279  *
 280  * \param[in]   hdesc           hash descriptor
 281  * \param[out]  hash            pointer to hash buffer to store hash digest
 282  * \param[in,out] hash_len      pointer to hash buffer size, if \a hash == NULL
 283  *                              or hash_len == NULL only free \a hdesc instead
 284  *                              of computing the hash
 285  *
 286  * \retval              0 for success
 287  * \retval              -EOVERFLOW if hash_len is too small for the hash digest
 288  * \retval              negative errno for other errors from lower layers
 289  */
 290 int cfs_crypto_hash_final(struct cfs_crypto_hash_desc *hdesc,
 291                           unsigned char *hash, unsigned int *hash_len)
 292 {
 293         struct ahash_request *req = (void *)hdesc;
 294         int size = crypto_ahash_digestsize(crypto_ahash_reqtfm(req));
 295         int err;
 296
 297         if (!hash || !hash_len) {
 298                 err = 0;
 299                 goto free;
 300         }
 301         if (*hash_len < size) {
 302                 err = -EOVERFLOW;
 303                 goto free;
 304         }
 305
 306         ahash_request_set_crypt(req, NULL, hash, 0);
 307         err = crypto_ahash_final(req);
 308         if (err == 0)
 309                 *hash_len = size;
 310 free:
 311         crypto_free_ahash(crypto_ahash_reqtfm(req));
 312         ahash_request_free(req);
 313
 314         return err;
 315 }
 316 EXPORT_SYMBOL(cfs_crypto_hash_final);
 317
 318 /**
 319  * Compute the speed of specified hash function
 320  *
 321  * Run a speed test on the given hash algorithm on buffer using a 1MB buffer
 322  * size.  This is a reasonable buffer size for Lustre RPCs, even if the actual
 323  * RPC size is larger or smaller.
 324  *
 325  * The speed is stored internally in the cfs_crypto_hash_speeds[] array, and
 326  * is available through the cfs_crypto_hash_speed() function.
 327  *
 328  * This function needs to stay the same as obd_t10_performance_test() so that
 329  * the speeds are comparable.
 330  *
 331  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
 332  * \param[in] buf       data buffer on which to compute the hash
 333  * \param[in] buf_len   length of \buf on which to compute hash
 334  */
 335 static void cfs_crypto_performance_test(enum cfs_crypto_hash_alg hash_alg)
 336 {
 337         int                     buf_len = max(PAGE_SIZE, 1048576UL);
 338         void                    *buf;
 339         unsigned long           start, end;
 340         int                     err = 0;
 341         unsigned long           bcount;
 342         struct page             *page;
 343         unsigned char           hash[CFS_CRYPTO_HASH_DIGESTSIZE_MAX];
 344         unsigned int            hash_len = sizeof(hash);
 345
 346         page = alloc_page(GFP_KERNEL);
 347         if (page == NULL) {
 348                 err = -ENOMEM;
 349                 goto out_err;
 350         }
 351
 352         buf = kmap(page);
 353         memset(buf, 0xAD, PAGE_SIZE);
 354         kunmap(page);
 355
 356         for (start = jiffies, end = start + msecs_to_jiffies(MSEC_PER_SEC / 4),
 357              bcount = 0; time_before(jiffies, end) && err == 0; bcount++) {
 358                 struct cfs_crypto_hash_desc *hdesc;
 359                 int i;
 360
 361                 hdesc = cfs_crypto_hash_init(hash_alg, NULL, 0);
 362                 if (IS_ERR(hdesc)) {
 363                         err = PTR_ERR(hdesc);
 364                         break;
 365                 }
 366
 367                 for (i = 0; i < buf_len / PAGE_SIZE; i++) {
 368                         err = cfs_crypto_hash_update_page(hdesc, page, 0,
 369                                                           PAGE_SIZE);
 370                         if (err != 0)
 371                                 break;
 372                 }
 373
 374                 err = cfs_crypto_hash_final(hdesc, hash, &hash_len);
 375                 if (err != 0)
 376                         break;
 377         }
 378         end = jiffies;
 379         __free_page(page);
 380 out_err:
 381         if (err != 0) {
 382                 cfs_crypto_hash_speeds[hash_alg] = err;
 383                 CDEBUG(D_INFO, "Crypto hash algorithm %s test error: rc = %d\n",
 384                        cfs_crypto_hash_name(hash_alg), err);
 385         } else {
 386                 unsigned long   tmp;
 387
 388                 tmp = ((bcount * buf_len / jiffies_to_msecs(end - start)) *
 389                        1000) / (1024 * 1024);
 390                 cfs_crypto_hash_speeds[hash_alg] = (int)tmp;
 391                 CDEBUG(D_CONFIG, "Crypto hash algorithm %s speed = %d MB/s\n",
 392                        cfs_crypto_hash_name(hash_alg),
 393                        cfs_crypto_hash_speeds[hash_alg]);
 394         }
 395 }
 396
 397 /**
 398  * hash speed in Mbytes per second for valid hash algorithm
 399  *
 400  * Return the performance of the specified \a hash_alg that was
 401  * computed using cfs_crypto_performance_test().  If the performance
 402  * has not yet been computed, do that when it is first requested.
 403  * That avoids computing the speed when it is not actually needed.
 404  * To avoid competing threads computing the checksum speed at the
 405  * same time, only compute a single checksum speed at one time.
 406  *
 407  * \param[in] hash_alg  hash algorithm id (CFS_HASH_ALG_*)
 408  *
 409  * \retval              positive speed of the hash function in MB/s
 410  * \retval              -ENOENT if \a hash_alg is unsupported
 411  * \retval              negative errno if \a hash_alg speed is unavailable
 412  */
 413 int cfs_crypto_hash_speed(enum cfs_crypto_hash_alg hash_alg)
 414 {
 415         if (hash_alg < CFS_HASH_ALG_MAX) {
 416                 if (unlikely(cfs_crypto_hash_speeds[hash_alg] == 0)) {
 417                         static DEFINE_MUTEX(crypto_hash_speed_mutex);
 418
 419                         mutex_lock(&crypto_hash_speed_mutex);
 420                         if (cfs_crypto_hash_speeds[hash_alg] == 0)
 421                                 cfs_crypto_performance_test(hash_alg);
 422                         mutex_unlock(&crypto_hash_speed_mutex);
 423                 }
 424                 return cfs_crypto_hash_speeds[hash_alg];
 425         }
 426
 427         return -ENOENT;
 428 }
 429 EXPORT_SYMBOL(cfs_crypto_hash_speed);
 430
 431 /**
 432  * Run the performance test for all hash algorithms.
 433  *
 434  * Run the cfs_crypto_performance_test() benchmark for some of the available
 435  * hash functions at module load time.  This can't be reliably done at runtime
 436  * since the CPUs may be under load from thousands of connecting clients when
 437  * the first client connects and the checksum speeds are needed.
 438  *
 439  * Since the setup cost and computation speed of various hash algorithms is
 440  * a function of the buffer size (and possibly internal contention of offload
 441  * engines), this speed only represents an estimate of the actual speed under
 442  * actual usage, but is reasonable for comparing available algorithms.
 443  *
 444  * The actual speeds are available via cfs_crypto_hash_speed() for later
 445  * comparison.
 446  *
 447  * \retval              0 on success
 448  * \retval              -ENOMEM if no memory is available for test buffer
 449  */
 450 static int cfs_crypto_test_hashes(void)
 451 {
 452         enum cfs_crypto_hash_alg hash_alg;
 453
 454         for (hash_alg = 1; hash_alg < CFS_HASH_ALG_SPEED_MAX; hash_alg++)
 455                 cfs_crypto_performance_test(hash_alg);
 456
 457         return 0;
 458 }
 459
 460 static int adler32;
 461
 462 #ifdef HAVE_CRC32
 463 static int crc32;
 464 #endif
 465 #ifdef HAVE_PCLMULQDQ
 466 #ifdef NEED_CRC32_ACCEL
 467 static int crc32_pclmul;
 468 #endif
 469 #ifdef NEED_CRC32C_ACCEL
 470 static int crc32c_pclmul;
 471 #endif
 472 #endif /* HAVE_PCLMULQDQ */
 473
 474 /**
 475  * Register available hash functions
 476  *
 477  * \retval              0
 478  */
 479 int cfs_crypto_register(void)
 480 {
 481         request_module("crc32c");
 482
 483         adler32 = cfs_crypto_adler32_register();
 484
 485 #ifdef HAVE_CRC32
 486         crc32 = cfs_crypto_crc32_register();
 487 #endif
 488 #ifdef HAVE_PCLMULQDQ
 489 #ifdef NEED_CRC32_ACCEL
 490         crc32_pclmul = cfs_crypto_crc32_pclmul_register();
 491 #endif
 492 #ifdef NEED_CRC32C_ACCEL
 493         crc32c_pclmul = cfs_crypto_crc32c_pclmul_register();
 494 #endif
 495 #endif /* HAVE_PCLMULQDQ */
 496
 497         /* check all algorithms and do performance test */
 498         cfs_crypto_test_hashes();
 499
 500         return 0;
 501 }
 502
 503 /**
 504  * Unregister previously registered hash functions
 505  */
 506 void cfs_crypto_unregister(void)
 507 {
 508         if (adler32 == 0)
 509                 cfs_crypto_adler32_unregister();
 510
 511 #ifdef HAVE_CRC32
 512         if (crc32 == 0)
 513                 cfs_crypto_crc32_unregister();
 514 #endif
 515 #ifdef HAVE_PCLMULQDQ
 516 #ifdef NEED_CRC32_ACCEL
 517         if (crc32_pclmul == 0)
 518                 cfs_crypto_crc32_pclmul_unregister();
 519 #endif
 520 #ifdef NEED_CRC32C_ACCEL
 521         if (crc32c_pclmul == 0)
 522                 cfs_crypto_crc32c_pclmul_unregister();
 523 #endif
 524 #endif /* HAVE_PCLMULQDQ */
 525 }