Add AVX and AVX/BMI2 implementations for SHA-1
[libgcrypt.git] / cipher / sha1.c
1 /* sha1.c - SHA1 hash function
2  * Copyright (C) 1998, 2001, 2002, 2003, 2008 Free Software Foundation, Inc.
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  */
19
20
21 /*  Test vectors:
22  *
23  *  "abc"
24  *  A999 3E36 4706 816A BA3E  2571 7850 C26C 9CD0 D89D
25  *
26  *  "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq"
27  *  8498 3E44 1C3B D26E BAAE  4AA1 F951 29E5 E546 70F1
28  */
29
30
31 #include <config.h>
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <string.h>
35 #ifdef HAVE_STDINT_H
36 # include <stdint.h>
37 #endif
38
39 #include "g10lib.h"
40 #include "bithelp.h"
41 #include "bufhelp.h"
42 #include "cipher.h"
43 #include "hash-common.h"
44
45
46 /* USE_SSSE3 indicates whether to compile with Intel SSSE3 code. */
47 #undef USE_SSSE3
48 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
49     defined(HAVE_GCC_INLINE_ASM_SSSE3)
50 # define USE_SSSE3 1
51 #endif
52
53 /* USE_AVX indicates whether to compile with Intel AVX code. */
54 #undef USE_AVX
55 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
56     defined(HAVE_GCC_INLINE_ASM_AVX)
57 # define USE_AVX 1
58 #endif
59
60 /* USE_BMI2 indicates whether to compile with Intel AVX/BMI2 code. */
61 #undef USE_BMI2
62 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
63     defined(HAVE_GCC_INLINE_ASM_AVX) && defined(HAVE_GCC_INLINE_ASM_BMI2)
64 # define USE_BMI2 1
65 #endif
66
67
68 /* A macro to test whether P is properly aligned for an u32 type.
69    Note that config.h provides a suitable replacement for uintptr_t if
70    it does not exist in stdint.h.  */
71 /* #if __GNUC__ >= 2 */
72 /* # define U32_ALIGNED_P(p) (!(((uintptr_t)p) % __alignof__ (u32))) */
73 /* #else */
74 /* # define U32_ALIGNED_P(p) (!(((uintptr_t)p) % sizeof (u32))) */
75 /* #endif */
76
77 typedef struct
78 {
79   gcry_md_block_ctx_t bctx;
80   u32           h0,h1,h2,h3,h4;
81 #ifdef USE_SSSE3
82   unsigned int use_ssse3:1;
83 #endif
84 #ifdef USE_AVX
85   unsigned int use_avx:1;
86 #endif
87 #ifdef USE_BMI2
88   unsigned int use_bmi2:1;
89 #endif
90 } SHA1_CONTEXT;
91
92 static unsigned int
93 transform (void *c, const unsigned char *data, size_t nblks);
94
95
96 static void
97 sha1_init (void *context)
98 {
99   SHA1_CONTEXT *hd = context;
100   unsigned int features = _gcry_get_hw_features ();
101
102   hd->h0 = 0x67452301;
103   hd->h1 = 0xefcdab89;
104   hd->h2 = 0x98badcfe;
105   hd->h3 = 0x10325476;
106   hd->h4 = 0xc3d2e1f0;
107
108   hd->bctx.nblocks = 0;
109   hd->bctx.nblocks_high = 0;
110   hd->bctx.count = 0;
111   hd->bctx.blocksize = 64;
112   hd->bctx.bwrite = transform;
113
114 #ifdef USE_SSSE3
115   hd->use_ssse3 = (features & HWF_INTEL_SSSE3) != 0;
116 #endif
117 #ifdef USE_AVX
118   /* AVX implementation uses SHLD which is known to be slow on non-Intel CPUs.
119    * Therefore use this implementation on Intel CPUs only. */
120   hd->use_avx = (features & HWF_INTEL_AVX) && (features & HWF_INTEL_CPU);
121 #endif
122 #ifdef USE_BMI2
123   hd->use_bmi2 = (features & HWF_INTEL_AVX) && (features & HWF_INTEL_BMI2);
124 #endif
125   (void)features;
126 }
127
128
129 /* Round function macros. */
130 #define K1  0x5A827999L
131 #define K2  0x6ED9EBA1L
132 #define K3  0x8F1BBCDCL
133 #define K4  0xCA62C1D6L
134 #define F1(x,y,z)   ( z ^ ( x & ( y ^ z ) ) )
135 #define F2(x,y,z)   ( x ^ y ^ z )
136 #define F3(x,y,z)   ( ( x & y ) | ( z & ( x | y ) ) )
137 #define F4(x,y,z)   ( x ^ y ^ z )
138 #define M(i) ( tm =    x[ i    &0x0f]  \
139                      ^ x[(i-14)&0x0f]  \
140                      ^ x[(i-8) &0x0f]  \
141                      ^ x[(i-3) &0x0f], \
142                      (x[i&0x0f] = rol(tm, 1)))
143 #define R(a,b,c,d,e,f,k,m)  do { e += rol( a, 5 )     \
144                                       + f( b, c, d )  \
145                                       + k             \
146                                       + m;            \
147                                  b = rol( b, 30 );    \
148                                } while(0)
149
150
151 /*
152  * Transform NBLOCKS of each 64 bytes (16 32-bit words) at DATA.
153  */
154 static unsigned int
155 transform_blk (void *ctx, const unsigned char *data)
156 {
157   SHA1_CONTEXT *hd = ctx;
158   const u32 *idata = (const void *)data;
159   register u32 a, b, c, d, e; /* Local copies of the chaining variables.  */
160   register u32 tm;            /* Helper.  */
161   u32 x[16];                  /* The array we work on. */
162
163 #define I(i) (x[i] = buf_get_be32(idata + i))
164
165       /* Get the values of the chaining variables. */
166       a = hd->h0;
167       b = hd->h1;
168       c = hd->h2;
169       d = hd->h3;
170       e = hd->h4;
171
172       /* Transform. */
173       R( a, b, c, d, e, F1, K1, I( 0) );
174       R( e, a, b, c, d, F1, K1, I( 1) );
175       R( d, e, a, b, c, F1, K1, I( 2) );
176       R( c, d, e, a, b, F1, K1, I( 3) );
177       R( b, c, d, e, a, F1, K1, I( 4) );
178       R( a, b, c, d, e, F1, K1, I( 5) );
179       R( e, a, b, c, d, F1, K1, I( 6) );
180       R( d, e, a, b, c, F1, K1, I( 7) );
181       R( c, d, e, a, b, F1, K1, I( 8) );
182       R( b, c, d, e, a, F1, K1, I( 9) );
183       R( a, b, c, d, e, F1, K1, I(10) );
184       R( e, a, b, c, d, F1, K1, I(11) );
185       R( d, e, a, b, c, F1, K1, I(12) );
186       R( c, d, e, a, b, F1, K1, I(13) );
187       R( b, c, d, e, a, F1, K1, I(14) );
188       R( a, b, c, d, e, F1, K1, I(15) );
189       R( e, a, b, c, d, F1, K1, M(16) );
190       R( d, e, a, b, c, F1, K1, M(17) );
191       R( c, d, e, a, b, F1, K1, M(18) );
192       R( b, c, d, e, a, F1, K1, M(19) );
193       R( a, b, c, d, e, F2, K2, M(20) );
194       R( e, a, b, c, d, F2, K2, M(21) );
195       R( d, e, a, b, c, F2, K2, M(22) );
196       R( c, d, e, a, b, F2, K2, M(23) );
197       R( b, c, d, e, a, F2, K2, M(24) );
198       R( a, b, c, d, e, F2, K2, M(25) );
199       R( e, a, b, c, d, F2, K2, M(26) );
200       R( d, e, a, b, c, F2, K2, M(27) );
201       R( c, d, e, a, b, F2, K2, M(28) );
202       R( b, c, d, e, a, F2, K2, M(29) );
203       R( a, b, c, d, e, F2, K2, M(30) );
204       R( e, a, b, c, d, F2, K2, M(31) );
205       R( d, e, a, b, c, F2, K2, M(32) );
206       R( c, d, e, a, b, F2, K2, M(33) );
207       R( b, c, d, e, a, F2, K2, M(34) );
208       R( a, b, c, d, e, F2, K2, M(35) );
209       R( e, a, b, c, d, F2, K2, M(36) );
210       R( d, e, a, b, c, F2, K2, M(37) );
211       R( c, d, e, a, b, F2, K2, M(38) );
212       R( b, c, d, e, a, F2, K2, M(39) );
213       R( a, b, c, d, e, F3, K3, M(40) );
214       R( e, a, b, c, d, F3, K3, M(41) );
215       R( d, e, a, b, c, F3, K3, M(42) );
216       R( c, d, e, a, b, F3, K3, M(43) );
217       R( b, c, d, e, a, F3, K3, M(44) );
218       R( a, b, c, d, e, F3, K3, M(45) );
219       R( e, a, b, c, d, F3, K3, M(46) );
220       R( d, e, a, b, c, F3, K3, M(47) );
221       R( c, d, e, a, b, F3, K3, M(48) );
222       R( b, c, d, e, a, F3, K3, M(49) );
223       R( a, b, c, d, e, F3, K3, M(50) );
224       R( e, a, b, c, d, F3, K3, M(51) );
225       R( d, e, a, b, c, F3, K3, M(52) );
226       R( c, d, e, a, b, F3, K3, M(53) );
227       R( b, c, d, e, a, F3, K3, M(54) );
228       R( a, b, c, d, e, F3, K3, M(55) );
229       R( e, a, b, c, d, F3, K3, M(56) );
230       R( d, e, a, b, c, F3, K3, M(57) );
231       R( c, d, e, a, b, F3, K3, M(58) );
232       R( b, c, d, e, a, F3, K3, M(59) );
233       R( a, b, c, d, e, F4, K4, M(60) );
234       R( e, a, b, c, d, F4, K4, M(61) );
235       R( d, e, a, b, c, F4, K4, M(62) );
236       R( c, d, e, a, b, F4, K4, M(63) );
237       R( b, c, d, e, a, F4, K4, M(64) );
238       R( a, b, c, d, e, F4, K4, M(65) );
239       R( e, a, b, c, d, F4, K4, M(66) );
240       R( d, e, a, b, c, F4, K4, M(67) );
241       R( c, d, e, a, b, F4, K4, M(68) );
242       R( b, c, d, e, a, F4, K4, M(69) );
243       R( a, b, c, d, e, F4, K4, M(70) );
244       R( e, a, b, c, d, F4, K4, M(71) );
245       R( d, e, a, b, c, F4, K4, M(72) );
246       R( c, d, e, a, b, F4, K4, M(73) );
247       R( b, c, d, e, a, F4, K4, M(74) );
248       R( a, b, c, d, e, F4, K4, M(75) );
249       R( e, a, b, c, d, F4, K4, M(76) );
250       R( d, e, a, b, c, F4, K4, M(77) );
251       R( c, d, e, a, b, F4, K4, M(78) );
252       R( b, c, d, e, a, F4, K4, M(79) );
253
254       /* Update the chaining variables. */
255       hd->h0 += a;
256       hd->h1 += b;
257       hd->h2 += c;
258       hd->h3 += d;
259       hd->h4 += e;
260
261   return /* burn_stack */ 88+4*sizeof(void*);
262 }
263
264
265 #ifdef USE_SSSE3
266 unsigned int
267 _gcry_sha1_transform_amd64_ssse3 (void *state, const unsigned char *data,
268                                   size_t nblks);
269 #endif
270
271 #ifdef USE_AVX
272 unsigned int
273 _gcry_sha1_transform_amd64_avx (void *state, const unsigned char *data,
274                                  size_t nblks);
275 #endif
276
277 #ifdef USE_BMI2
278 unsigned int
279 _gcry_sha1_transform_amd64_avx_bmi2 (void *state, const unsigned char *data,
280                                      size_t nblks);
281 #endif
282
283
284 static unsigned int
285 transform (void *ctx, const unsigned char *data, size_t nblks)
286 {
287   SHA1_CONTEXT *hd = ctx;
288   unsigned int burn;
289
290 #ifdef USE_BMI2
291   if (hd->use_bmi2)
292     return _gcry_sha1_transform_amd64_avx_bmi2 (&hd->h0, data, nblks)
293            + 4 * sizeof(void*);
294 #endif
295 #ifdef USE_AVX
296   if (hd->use_avx)
297     return _gcry_sha1_transform_amd64_avx (&hd->h0, data, nblks)
298            + 4 * sizeof(void*);
299 #endif
300 #ifdef USE_SSSE3
301   if (hd->use_ssse3)
302     return _gcry_sha1_transform_amd64_ssse3 (&hd->h0, data, nblks)
303            + 4 * sizeof(void*);
304 #endif
305
306   do
307     {
308       burn = transform_blk (ctx, data);
309       data += 64;
310     }
311   while (--nblks);
312
313   return burn;
314 }
315
316
317 /* The routine final terminates the computation and
318  * returns the digest.
319  * The handle is prepared for a new cycle, but adding bytes to the
320  * handle will the destroy the returned buffer.
321  * Returns: 20 bytes representing the digest.
322  */
323
324 static void
325 sha1_final(void *context)
326 {
327   SHA1_CONTEXT *hd = context;
328   u32 t, th, msb, lsb;
329   unsigned char *p;
330   unsigned int burn;
331
332   _gcry_md_block_write (hd, NULL, 0); /* flush */;
333
334   t = hd->bctx.nblocks;
335   if (sizeof t == sizeof hd->bctx.nblocks)
336     th = hd->bctx.nblocks_high;
337   else
338     th = hd->bctx.nblocks >> 32;
339
340   /* multiply by 64 to make a byte count */
341   lsb = t << 6;
342   msb = (th << 6) | (t >> 26);
343   /* add the count */
344   t = lsb;
345   if( (lsb += hd->bctx.count) < t )
346     msb++;
347   /* multiply by 8 to make a bit count */
348   t = lsb;
349   lsb <<= 3;
350   msb <<= 3;
351   msb |= t >> 29;
352
353   if( hd->bctx.count < 56 )  /* enough room */
354     {
355       hd->bctx.buf[hd->bctx.count++] = 0x80; /* pad */
356       while( hd->bctx.count < 56 )
357         hd->bctx.buf[hd->bctx.count++] = 0;  /* pad */
358     }
359   else  /* need one extra block */
360     {
361       hd->bctx.buf[hd->bctx.count++] = 0x80; /* pad character */
362       while( hd->bctx.count < 64 )
363         hd->bctx.buf[hd->bctx.count++] = 0;
364       _gcry_md_block_write(hd, NULL, 0);  /* flush */;
365       memset(hd->bctx.buf, 0, 56 ); /* fill next block with zeroes */
366     }
367   /* append the 64 bit count */
368   buf_put_be32(hd->bctx.buf + 56, msb);
369   buf_put_be32(hd->bctx.buf + 60, lsb);
370   burn = transform( hd, hd->bctx.buf, 1 );
371   _gcry_burn_stack (burn);
372
373   p = hd->bctx.buf;
374 #define X(a) do { *(u32*)p = be_bswap32(hd->h##a) ; p += 4; } while(0)
375   X(0);
376   X(1);
377   X(2);
378   X(3);
379   X(4);
380 #undef X
381
382 }
383
384 static unsigned char *
385 sha1_read( void *context )
386 {
387   SHA1_CONTEXT *hd = context;
388
389   return hd->bctx.buf;
390 }
391
392 /****************
393  * Shortcut functions which puts the hash value of the supplied buffer
394  * into outbuf which must have a size of 20 bytes.
395  */
396 void
397 _gcry_sha1_hash_buffer (void *outbuf, const void *buffer, size_t length)
398 {
399   SHA1_CONTEXT hd;
400
401   sha1_init (&hd);
402   _gcry_md_block_write (&hd, buffer, length);
403   sha1_final (&hd);
404   memcpy (outbuf, hd.bctx.buf, 20);
405 }
406
407
408 /* Variant of the above shortcut function using a multiple buffers.  */
409 void
410 _gcry_sha1_hash_buffers (void *outbuf, const gcry_buffer_t *iov, int iovcnt)
411 {
412   SHA1_CONTEXT hd;
413
414   sha1_init (&hd);
415   for (;iovcnt > 0; iov++, iovcnt--)
416     _gcry_md_block_write (&hd,
417                           (const char*)iov[0].data + iov[0].off, iov[0].len);
418   sha1_final (&hd);
419   memcpy (outbuf, hd.bctx.buf, 20);
420 }
421
422
423 \f
424 /*
425      Self-test section.
426  */
427
428
429 static gpg_err_code_t
430 selftests_sha1 (int extended, selftest_report_func_t report)
431 {
432   const char *what;
433   const char *errtxt;
434
435   what = "short string";
436   errtxt = _gcry_hash_selftest_check_one
437     (GCRY_MD_SHA1, 0,
438      "abc", 3,
439      "\xA9\x99\x3E\x36\x47\x06\x81\x6A\xBA\x3E"
440      "\x25\x71\x78\x50\xC2\x6C\x9C\xD0\xD8\x9D", 20);
441   if (errtxt)
442     goto failed;
443
444   if (extended)
445     {
446       what = "long string";
447       errtxt = _gcry_hash_selftest_check_one
448         (GCRY_MD_SHA1, 0,
449          "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq", 56,
450          "\x84\x98\x3E\x44\x1C\x3B\xD2\x6E\xBA\xAE"
451          "\x4A\xA1\xF9\x51\x29\xE5\xE5\x46\x70\xF1", 20);
452       if (errtxt)
453         goto failed;
454
455       what = "one million \"a\"";
456       errtxt = _gcry_hash_selftest_check_one
457         (GCRY_MD_SHA1, 1,
458          NULL, 0,
459          "\x34\xAA\x97\x3C\xD4\xC4\xDA\xA4\xF6\x1E"
460          "\xEB\x2B\xDB\xAD\x27\x31\x65\x34\x01\x6F", 20);
461       if (errtxt)
462         goto failed;
463     }
464
465   return 0; /* Succeeded. */
466
467  failed:
468   if (report)
469     report ("digest", GCRY_MD_SHA1, what, errtxt);
470   return GPG_ERR_SELFTEST_FAILED;
471 }
472
473
474 /* Run a full self-test for ALGO and return 0 on success.  */
475 static gpg_err_code_t
476 run_selftests (int algo, int extended, selftest_report_func_t report)
477 {
478   gpg_err_code_t ec;
479
480   switch (algo)
481     {
482     case GCRY_MD_SHA1:
483       ec = selftests_sha1 (extended, report);
484       break;
485     default:
486       ec = GPG_ERR_DIGEST_ALGO;
487       break;
488
489     }
490   return ec;
491 }
492
493
494
495 \f
496 static unsigned char asn[15] = /* Object ID is 1.3.14.3.2.26 */
497   { 0x30, 0x21, 0x30, 0x09, 0x06, 0x05, 0x2b, 0x0e, 0x03,
498     0x02, 0x1a, 0x05, 0x00, 0x04, 0x14 };
499
500 static gcry_md_oid_spec_t oid_spec_sha1[] =
501   {
502     /* iso.member-body.us.rsadsi.pkcs.pkcs-1.5 (sha1WithRSAEncryption) */
503     { "1.2.840.113549.1.1.5" },
504     /* iso.member-body.us.x9-57.x9cm.3 (dsaWithSha1)*/
505     { "1.2.840.10040.4.3" },
506     /* from NIST's OIW  (sha1) */
507     { "1.3.14.3.2.26" },
508     /* from NIST OIW (sha-1WithRSAEncryption) */
509     { "1.3.14.3.2.29" },
510     /* iso.member-body.us.ansi-x9-62.signatures.ecdsa-with-sha1 */
511     { "1.2.840.10045.4.1" },
512     { NULL },
513   };
514
515 gcry_md_spec_t _gcry_digest_spec_sha1 =
516   {
517     GCRY_MD_SHA1, {0, 1},
518     "SHA1", asn, DIM (asn), oid_spec_sha1, 20,
519     sha1_init, _gcry_md_block_write, sha1_final, sha1_read,
520     sizeof (SHA1_CONTEXT),
521     run_selftests
522   };