Add ARM/NEON implementation for SHA-1
[libgcrypt.git] / cipher / sha1.c
1 /* sha1.c - SHA1 hash function
2  * Copyright (C) 1998, 2001, 2002, 2003, 2008 Free Software Foundation, Inc.
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  */
19
20
21 /*  Test vectors:
22  *
23  *  "abc"
24  *  A999 3E36 4706 816A BA3E  2571 7850 C26C 9CD0 D89D
25  *
26  *  "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq"
27  *  8498 3E44 1C3B D26E BAAE  4AA1 F951 29E5 E546 70F1
28  */
29
30
31 #include <config.h>
32 #include <stdio.h>
33 #include <stdlib.h>
34 #include <string.h>
35 #ifdef HAVE_STDINT_H
36 # include <stdint.h>
37 #endif
38
39 #include "g10lib.h"
40 #include "bithelp.h"
41 #include "bufhelp.h"
42 #include "cipher.h"
43 #include "hash-common.h"
44
45
46 /* USE_SSSE3 indicates whether to compile with Intel SSSE3 code. */
47 #undef USE_SSSE3
48 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
49     defined(HAVE_GCC_INLINE_ASM_SSSE3)
50 # define USE_SSSE3 1
51 #endif
52
53 /* USE_AVX indicates whether to compile with Intel AVX code. */
54 #undef USE_AVX
55 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
56     defined(HAVE_GCC_INLINE_ASM_AVX)
57 # define USE_AVX 1
58 #endif
59
60 /* USE_BMI2 indicates whether to compile with Intel AVX/BMI2 code. */
61 #undef USE_BMI2
62 #if defined(__x86_64__) && defined(HAVE_COMPATIBLE_GCC_AMD64_PLATFORM_AS) && \
63     defined(HAVE_GCC_INLINE_ASM_AVX) && defined(HAVE_GCC_INLINE_ASM_BMI2)
64 # define USE_BMI2 1
65 #endif
66
67 /* USE_NEON indicates whether to enable ARM NEON assembly code. */
68 #undef USE_NEON
69 #if defined(HAVE_ARM_ARCH_V6) && defined(__ARMEL__)
70 # if defined(HAVE_COMPATIBLE_GCC_ARM_PLATFORM_AS) && \
71      defined(HAVE_GCC_INLINE_ASM_NEON)
72 #  define USE_NEON 1
73 # endif
74 #endif
75
76
77 /* A macro to test whether P is properly aligned for an u32 type.
78    Note that config.h provides a suitable replacement for uintptr_t if
79    it does not exist in stdint.h.  */
80 /* #if __GNUC__ >= 2 */
81 /* # define U32_ALIGNED_P(p) (!(((uintptr_t)p) % __alignof__ (u32))) */
82 /* #else */
83 /* # define U32_ALIGNED_P(p) (!(((uintptr_t)p) % sizeof (u32))) */
84 /* #endif */
85
86 typedef struct
87 {
88   gcry_md_block_ctx_t bctx;
89   u32           h0,h1,h2,h3,h4;
90 #ifdef USE_SSSE3
91   unsigned int use_ssse3:1;
92 #endif
93 #ifdef USE_AVX
94   unsigned int use_avx:1;
95 #endif
96 #ifdef USE_BMI2
97   unsigned int use_bmi2:1;
98 #endif
99 #ifdef USE_NEON
100   unsigned int use_neon:1;
101 #endif
102 } SHA1_CONTEXT;
103
104 static unsigned int
105 transform (void *c, const unsigned char *data, size_t nblks);
106
107
108 static void
109 sha1_init (void *context)
110 {
111   SHA1_CONTEXT *hd = context;
112   unsigned int features = _gcry_get_hw_features ();
113
114   hd->h0 = 0x67452301;
115   hd->h1 = 0xefcdab89;
116   hd->h2 = 0x98badcfe;
117   hd->h3 = 0x10325476;
118   hd->h4 = 0xc3d2e1f0;
119
120   hd->bctx.nblocks = 0;
121   hd->bctx.nblocks_high = 0;
122   hd->bctx.count = 0;
123   hd->bctx.blocksize = 64;
124   hd->bctx.bwrite = transform;
125
126 #ifdef USE_SSSE3
127   hd->use_ssse3 = (features & HWF_INTEL_SSSE3) != 0;
128 #endif
129 #ifdef USE_AVX
130   /* AVX implementation uses SHLD which is known to be slow on non-Intel CPUs.
131    * Therefore use this implementation on Intel CPUs only. */
132   hd->use_avx = (features & HWF_INTEL_AVX) && (features & HWF_INTEL_CPU);
133 #endif
134 #ifdef USE_BMI2
135   hd->use_bmi2 = (features & HWF_INTEL_AVX) && (features & HWF_INTEL_BMI2);
136 #endif
137 #ifdef USE_NEON
138   hd->use_neon = (features & HWF_ARM_NEON) != 0;
139 #endif
140   (void)features;
141 }
142
143
144 /* Round function macros. */
145 #define K1  0x5A827999L
146 #define K2  0x6ED9EBA1L
147 #define K3  0x8F1BBCDCL
148 #define K4  0xCA62C1D6L
149 #define F1(x,y,z)   ( z ^ ( x & ( y ^ z ) ) )
150 #define F2(x,y,z)   ( x ^ y ^ z )
151 #define F3(x,y,z)   ( ( x & y ) | ( z & ( x | y ) ) )
152 #define F4(x,y,z)   ( x ^ y ^ z )
153 #define M(i) ( tm =    x[ i    &0x0f]  \
154                      ^ x[(i-14)&0x0f]  \
155                      ^ x[(i-8) &0x0f]  \
156                      ^ x[(i-3) &0x0f], \
157                      (x[i&0x0f] = rol(tm, 1)))
158 #define R(a,b,c,d,e,f,k,m)  do { e += rol( a, 5 )     \
159                                       + f( b, c, d )  \
160                                       + k             \
161                                       + m;            \
162                                  b = rol( b, 30 );    \
163                                } while(0)
164
165
166
167 #ifdef USE_NEON
168 unsigned int
169 _gcry_sha1_transform_armv7_neon (void *state, const unsigned char *data,
170                                  size_t nblks);
171 #endif
172
173 /*
174  * Transform NBLOCKS of each 64 bytes (16 32-bit words) at DATA.
175  */
176 static unsigned int
177 transform_blk (void *ctx, const unsigned char *data)
178 {
179   SHA1_CONTEXT *hd = ctx;
180   const u32 *idata = (const void *)data;
181   register u32 a, b, c, d, e; /* Local copies of the chaining variables.  */
182   register u32 tm;            /* Helper.  */
183   u32 x[16];                  /* The array we work on. */
184
185 #define I(i) (x[i] = buf_get_be32(idata + i))
186
187       /* Get the values of the chaining variables. */
188       a = hd->h0;
189       b = hd->h1;
190       c = hd->h2;
191       d = hd->h3;
192       e = hd->h4;
193
194       /* Transform. */
195       R( a, b, c, d, e, F1, K1, I( 0) );
196       R( e, a, b, c, d, F1, K1, I( 1) );
197       R( d, e, a, b, c, F1, K1, I( 2) );
198       R( c, d, e, a, b, F1, K1, I( 3) );
199       R( b, c, d, e, a, F1, K1, I( 4) );
200       R( a, b, c, d, e, F1, K1, I( 5) );
201       R( e, a, b, c, d, F1, K1, I( 6) );
202       R( d, e, a, b, c, F1, K1, I( 7) );
203       R( c, d, e, a, b, F1, K1, I( 8) );
204       R( b, c, d, e, a, F1, K1, I( 9) );
205       R( a, b, c, d, e, F1, K1, I(10) );
206       R( e, a, b, c, d, F1, K1, I(11) );
207       R( d, e, a, b, c, F1, K1, I(12) );
208       R( c, d, e, a, b, F1, K1, I(13) );
209       R( b, c, d, e, a, F1, K1, I(14) );
210       R( a, b, c, d, e, F1, K1, I(15) );
211       R( e, a, b, c, d, F1, K1, M(16) );
212       R( d, e, a, b, c, F1, K1, M(17) );
213       R( c, d, e, a, b, F1, K1, M(18) );
214       R( b, c, d, e, a, F1, K1, M(19) );
215       R( a, b, c, d, e, F2, K2, M(20) );
216       R( e, a, b, c, d, F2, K2, M(21) );
217       R( d, e, a, b, c, F2, K2, M(22) );
218       R( c, d, e, a, b, F2, K2, M(23) );
219       R( b, c, d, e, a, F2, K2, M(24) );
220       R( a, b, c, d, e, F2, K2, M(25) );
221       R( e, a, b, c, d, F2, K2, M(26) );
222       R( d, e, a, b, c, F2, K2, M(27) );
223       R( c, d, e, a, b, F2, K2, M(28) );
224       R( b, c, d, e, a, F2, K2, M(29) );
225       R( a, b, c, d, e, F2, K2, M(30) );
226       R( e, a, b, c, d, F2, K2, M(31) );
227       R( d, e, a, b, c, F2, K2, M(32) );
228       R( c, d, e, a, b, F2, K2, M(33) );
229       R( b, c, d, e, a, F2, K2, M(34) );
230       R( a, b, c, d, e, F2, K2, M(35) );
231       R( e, a, b, c, d, F2, K2, M(36) );
232       R( d, e, a, b, c, F2, K2, M(37) );
233       R( c, d, e, a, b, F2, K2, M(38) );
234       R( b, c, d, e, a, F2, K2, M(39) );
235       R( a, b, c, d, e, F3, K3, M(40) );
236       R( e, a, b, c, d, F3, K3, M(41) );
237       R( d, e, a, b, c, F3, K3, M(42) );
238       R( c, d, e, a, b, F3, K3, M(43) );
239       R( b, c, d, e, a, F3, K3, M(44) );
240       R( a, b, c, d, e, F3, K3, M(45) );
241       R( e, a, b, c, d, F3, K3, M(46) );
242       R( d, e, a, b, c, F3, K3, M(47) );
243       R( c, d, e, a, b, F3, K3, M(48) );
244       R( b, c, d, e, a, F3, K3, M(49) );
245       R( a, b, c, d, e, F3, K3, M(50) );
246       R( e, a, b, c, d, F3, K3, M(51) );
247       R( d, e, a, b, c, F3, K3, M(52) );
248       R( c, d, e, a, b, F3, K3, M(53) );
249       R( b, c, d, e, a, F3, K3, M(54) );
250       R( a, b, c, d, e, F3, K3, M(55) );
251       R( e, a, b, c, d, F3, K3, M(56) );
252       R( d, e, a, b, c, F3, K3, M(57) );
253       R( c, d, e, a, b, F3, K3, M(58) );
254       R( b, c, d, e, a, F3, K3, M(59) );
255       R( a, b, c, d, e, F4, K4, M(60) );
256       R( e, a, b, c, d, F4, K4, M(61) );
257       R( d, e, a, b, c, F4, K4, M(62) );
258       R( c, d, e, a, b, F4, K4, M(63) );
259       R( b, c, d, e, a, F4, K4, M(64) );
260       R( a, b, c, d, e, F4, K4, M(65) );
261       R( e, a, b, c, d, F4, K4, M(66) );
262       R( d, e, a, b, c, F4, K4, M(67) );
263       R( c, d, e, a, b, F4, K4, M(68) );
264       R( b, c, d, e, a, F4, K4, M(69) );
265       R( a, b, c, d, e, F4, K4, M(70) );
266       R( e, a, b, c, d, F4, K4, M(71) );
267       R( d, e, a, b, c, F4, K4, M(72) );
268       R( c, d, e, a, b, F4, K4, M(73) );
269       R( b, c, d, e, a, F4, K4, M(74) );
270       R( a, b, c, d, e, F4, K4, M(75) );
271       R( e, a, b, c, d, F4, K4, M(76) );
272       R( d, e, a, b, c, F4, K4, M(77) );
273       R( c, d, e, a, b, F4, K4, M(78) );
274       R( b, c, d, e, a, F4, K4, M(79) );
275
276       /* Update the chaining variables. */
277       hd->h0 += a;
278       hd->h1 += b;
279       hd->h2 += c;
280       hd->h3 += d;
281       hd->h4 += e;
282
283   return /* burn_stack */ 88+4*sizeof(void*);
284 }
285
286
287 #ifdef USE_SSSE3
288 unsigned int
289 _gcry_sha1_transform_amd64_ssse3 (void *state, const unsigned char *data,
290                                   size_t nblks);
291 #endif
292
293 #ifdef USE_AVX
294 unsigned int
295 _gcry_sha1_transform_amd64_avx (void *state, const unsigned char *data,
296                                  size_t nblks);
297 #endif
298
299 #ifdef USE_BMI2
300 unsigned int
301 _gcry_sha1_transform_amd64_avx_bmi2 (void *state, const unsigned char *data,
302                                      size_t nblks);
303 #endif
304
305
306 static unsigned int
307 transform (void *ctx, const unsigned char *data, size_t nblks)
308 {
309   SHA1_CONTEXT *hd = ctx;
310   unsigned int burn;
311
312 #ifdef USE_BMI2
313   if (hd->use_bmi2)
314     return _gcry_sha1_transform_amd64_avx_bmi2 (&hd->h0, data, nblks)
315            + 4 * sizeof(void*);
316 #endif
317 #ifdef USE_AVX
318   if (hd->use_avx)
319     return _gcry_sha1_transform_amd64_avx (&hd->h0, data, nblks)
320            + 4 * sizeof(void*);
321 #endif
322 #ifdef USE_SSSE3
323   if (hd->use_ssse3)
324     return _gcry_sha1_transform_amd64_ssse3 (&hd->h0, data, nblks)
325            + 4 * sizeof(void*);
326 #endif
327 #ifdef USE_NEON
328   if (hd->use_neon)
329     return _gcry_sha1_transform_armv7_neon (&hd->h0, data, nblks)
330            + 4 * sizeof(void*);
331 #endif
332
333   do
334     {
335       burn = transform_blk (hd, data);
336       data += 64;
337     }
338   while (--nblks);
339
340   return burn;
341 }
342
343
344 /* The routine final terminates the computation and
345  * returns the digest.
346  * The handle is prepared for a new cycle, but adding bytes to the
347  * handle will the destroy the returned buffer.
348  * Returns: 20 bytes representing the digest.
349  */
350
351 static void
352 sha1_final(void *context)
353 {
354   SHA1_CONTEXT *hd = context;
355   u32 t, th, msb, lsb;
356   unsigned char *p;
357   unsigned int burn;
358
359   _gcry_md_block_write (hd, NULL, 0); /* flush */;
360
361   t = hd->bctx.nblocks;
362   if (sizeof t == sizeof hd->bctx.nblocks)
363     th = hd->bctx.nblocks_high;
364   else
365     th = hd->bctx.nblocks >> 32;
366
367   /* multiply by 64 to make a byte count */
368   lsb = t << 6;
369   msb = (th << 6) | (t >> 26);
370   /* add the count */
371   t = lsb;
372   if( (lsb += hd->bctx.count) < t )
373     msb++;
374   /* multiply by 8 to make a bit count */
375   t = lsb;
376   lsb <<= 3;
377   msb <<= 3;
378   msb |= t >> 29;
379
380   if( hd->bctx.count < 56 )  /* enough room */
381     {
382       hd->bctx.buf[hd->bctx.count++] = 0x80; /* pad */
383       while( hd->bctx.count < 56 )
384         hd->bctx.buf[hd->bctx.count++] = 0;  /* pad */
385     }
386   else  /* need one extra block */
387     {
388       hd->bctx.buf[hd->bctx.count++] = 0x80; /* pad character */
389       while( hd->bctx.count < 64 )
390         hd->bctx.buf[hd->bctx.count++] = 0;
391       _gcry_md_block_write(hd, NULL, 0);  /* flush */;
392       memset(hd->bctx.buf, 0, 56 ); /* fill next block with zeroes */
393     }
394   /* append the 64 bit count */
395   buf_put_be32(hd->bctx.buf + 56, msb);
396   buf_put_be32(hd->bctx.buf + 60, lsb);
397   burn = transform( hd, hd->bctx.buf, 1 );
398   _gcry_burn_stack (burn);
399
400   p = hd->bctx.buf;
401 #define X(a) do { *(u32*)p = be_bswap32(hd->h##a) ; p += 4; } while(0)
402   X(0);
403   X(1);
404   X(2);
405   X(3);
406   X(4);
407 #undef X
408
409 }
410
411 static unsigned char *
412 sha1_read( void *context )
413 {
414   SHA1_CONTEXT *hd = context;
415
416   return hd->bctx.buf;
417 }
418
419 /****************
420  * Shortcut functions which puts the hash value of the supplied buffer
421  * into outbuf which must have a size of 20 bytes.
422  */
423 void
424 _gcry_sha1_hash_buffer (void *outbuf, const void *buffer, size_t length)
425 {
426   SHA1_CONTEXT hd;
427
428   sha1_init (&hd);
429   _gcry_md_block_write (&hd, buffer, length);
430   sha1_final (&hd);
431   memcpy (outbuf, hd.bctx.buf, 20);
432 }
433
434
435 /* Variant of the above shortcut function using a multiple buffers.  */
436 void
437 _gcry_sha1_hash_buffers (void *outbuf, const gcry_buffer_t *iov, int iovcnt)
438 {
439   SHA1_CONTEXT hd;
440
441   sha1_init (&hd);
442   for (;iovcnt > 0; iov++, iovcnt--)
443     _gcry_md_block_write (&hd,
444                           (const char*)iov[0].data + iov[0].off, iov[0].len);
445   sha1_final (&hd);
446   memcpy (outbuf, hd.bctx.buf, 20);
447 }
448
449
450 \f
451 /*
452      Self-test section.
453  */
454
455
456 static gpg_err_code_t
457 selftests_sha1 (int extended, selftest_report_func_t report)
458 {
459   const char *what;
460   const char *errtxt;
461
462   what = "short string";
463   errtxt = _gcry_hash_selftest_check_one
464     (GCRY_MD_SHA1, 0,
465      "abc", 3,
466      "\xA9\x99\x3E\x36\x47\x06\x81\x6A\xBA\x3E"
467      "\x25\x71\x78\x50\xC2\x6C\x9C\xD0\xD8\x9D", 20);
468   if (errtxt)
469     goto failed;
470
471   if (extended)
472     {
473       what = "long string";
474       errtxt = _gcry_hash_selftest_check_one
475         (GCRY_MD_SHA1, 0,
476          "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq", 56,
477          "\x84\x98\x3E\x44\x1C\x3B\xD2\x6E\xBA\xAE"
478          "\x4A\xA1\xF9\x51\x29\xE5\xE5\x46\x70\xF1", 20);
479       if (errtxt)
480         goto failed;
481
482       what = "one million \"a\"";
483       errtxt = _gcry_hash_selftest_check_one
484         (GCRY_MD_SHA1, 1,
485          NULL, 0,
486          "\x34\xAA\x97\x3C\xD4\xC4\xDA\xA4\xF6\x1E"
487          "\xEB\x2B\xDB\xAD\x27\x31\x65\x34\x01\x6F", 20);
488       if (errtxt)
489         goto failed;
490     }
491
492   return 0; /* Succeeded. */
493
494  failed:
495   if (report)
496     report ("digest", GCRY_MD_SHA1, what, errtxt);
497   return GPG_ERR_SELFTEST_FAILED;
498 }
499
500
501 /* Run a full self-test for ALGO and return 0 on success.  */
502 static gpg_err_code_t
503 run_selftests (int algo, int extended, selftest_report_func_t report)
504 {
505   gpg_err_code_t ec;
506
507   switch (algo)
508     {
509     case GCRY_MD_SHA1:
510       ec = selftests_sha1 (extended, report);
511       break;
512     default:
513       ec = GPG_ERR_DIGEST_ALGO;
514       break;
515
516     }
517   return ec;
518 }
519
520
521
522 \f
523 static unsigned char asn[15] = /* Object ID is 1.3.14.3.2.26 */
524   { 0x30, 0x21, 0x30, 0x09, 0x06, 0x05, 0x2b, 0x0e, 0x03,
525     0x02, 0x1a, 0x05, 0x00, 0x04, 0x14 };
526
527 static gcry_md_oid_spec_t oid_spec_sha1[] =
528   {
529     /* iso.member-body.us.rsadsi.pkcs.pkcs-1.5 (sha1WithRSAEncryption) */
530     { "1.2.840.113549.1.1.5" },
531     /* iso.member-body.us.x9-57.x9cm.3 (dsaWithSha1)*/
532     { "1.2.840.10040.4.3" },
533     /* from NIST's OIW  (sha1) */
534     { "1.3.14.3.2.26" },
535     /* from NIST OIW (sha-1WithRSAEncryption) */
536     { "1.3.14.3.2.29" },
537     /* iso.member-body.us.ansi-x9-62.signatures.ecdsa-with-sha1 */
538     { "1.2.840.10045.4.1" },
539     { NULL },
540   };
541
542 gcry_md_spec_t _gcry_digest_spec_sha1 =
543   {
544     GCRY_MD_SHA1, {0, 1},
545     "SHA1", asn, DIM (asn), oid_spec_sha1, 20,
546     sha1_init, _gcry_md_block_write, sha1_final, sha1_read,
547     sizeof (SHA1_CONTEXT),
548     run_selftests
549   };