Add Intel PCLMUL acceleration for GCM
[libgcrypt.git] / src / hwf-x86.c
1 /* hwf-x86.c - Detect hardware features - x86 part
2  * Copyright (C) 2007, 2011, 2012  Free Software Foundation, Inc.
3  * Copyright (C) 2012  Jussi Kivilinna
4  *
5  * This file is part of Libgcrypt.
6  *
7  * Libgcrypt is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU Lesser General Public License as
9  * published by the Free Software Foundation; either version 2.1 of
10  * the License, or (at your option) any later version.
11  *
12  * Libgcrypt is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU Lesser General Public License for more details.
16  *
17  * You should have received a copy of the GNU Lesser General Public
18  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <stdarg.h>
26 #include <unistd.h>
27
28 #include "g10lib.h"
29 #include "hwf-common.h"
30
31 #if !defined (__i386__) && !defined (__x86_64__)
32 # error Module build for wrong CPU.
33 #endif
34
35 /* We use the next macro to decide whether we can test for certain
36    features.  */
37 #undef HAS_X86_CPUID
38
39 #if defined (__i386__) && SIZEOF_UNSIGNED_LONG == 4 && defined (__GNUC__)
40 # define HAS_X86_CPUID 1
41
42 static int
43 is_cpuid_available(void)
44 {
45   int has_cpuid = 0;
46
47   /* Detect the CPUID feature by testing some undefined behaviour (16
48      vs 32 bit pushf/popf). */
49   asm volatile
50     ("pushf\n\t"                 /* Copy flags to EAX.  */
51      "popl %%eax\n\t"
52      "movl %%eax, %%ecx\n\t"     /* Save flags into ECX.  */
53      "xorl $0x200000, %%eax\n\t" /* Toggle ID bit and copy it to the flags.  */
54      "pushl %%eax\n\t"
55      "popf\n\t"
56      "pushf\n\t"                 /* Copy changed flags again to EAX.  */
57      "popl %%eax\n\t"
58      "pushl %%ecx\n\t"           /* Restore flags from ECX.  */
59      "popf\n\t"
60      "xorl %%eax, %%ecx\n\t"     /* Compare flags against saved flags.  */
61      "jz .Lno_cpuid%=\n\t"       /* Toggling did not work, thus no CPUID.  */
62      "movl $1, %0\n"             /* Worked. true -> HAS_CPUID.  */
63      ".Lno_cpuid%=:\n\t"
64      : "+r" (has_cpuid)
65      :
66      : "%eax", "%ecx", "cc"
67      );
68
69   return has_cpuid;
70 }
71
72 static void
73 get_cpuid(unsigned int in, unsigned int *eax, unsigned int *ebx,
74           unsigned int *ecx, unsigned int *edx)
75 {
76   unsigned int regs[4];
77
78   asm volatile
79     ("pushl %%ebx\n\t"           /* Save GOT register.  */
80      "movl %1, %%ebx\n\t"
81      "cpuid\n\t"
82      "movl %%ebx, %1\n\t"
83      "popl %%ebx\n\t"            /* Restore GOT register. */
84      : "=a" (regs[0]), "=r" (regs[1]), "=c" (regs[2]), "=d" (regs[3])
85      : "0" (in), "1" (0), "2" (0), "3" (0)
86      : "cc"
87      );
88
89   if (eax)
90     *eax = regs[0];
91   if (ebx)
92     *ebx = regs[1];
93   if (ecx)
94     *ecx = regs[2];
95   if (edx)
96     *edx = regs[3];
97 }
98 #endif /* i386 && GNUC */
99
100
101 #if defined (__x86_64__) && defined (__GNUC__)
102 # define HAS_X86_CPUID 1
103
104 static int
105 is_cpuid_available(void)
106 {
107   return 1;
108 }
109
110 static void
111 get_cpuid(unsigned int in, unsigned int *eax, unsigned int *ebx,
112           unsigned int *ecx, unsigned int *edx)
113 {
114   unsigned int regs[4];
115
116   asm volatile
117     ("cpuid\n\t"
118      : "=a" (regs[0]), "=b" (regs[1]), "=c" (regs[2]), "=d" (regs[3])
119      : "0" (in), "1" (0), "2" (0), "3" (0)
120      : "cc"
121      );
122
123   if (eax)
124     *eax = regs[0];
125   if (ebx)
126     *ebx = regs[1];
127   if (ecx)
128     *ecx = regs[2];
129   if (edx)
130     *edx = regs[3];
131 }
132 #endif /* x86-64 && GNUC */
133
134
135 #ifdef HAS_X86_CPUID
136 static unsigned int
137 detect_x86_gnuc (void)
138 {
139   char vendor_id[12+1];
140   unsigned int features;
141   unsigned int max_cpuid_level;
142   unsigned int result = 0;
143
144   if (!is_cpuid_available())
145     return 0;
146
147   get_cpuid(0, &max_cpuid_level,
148             (unsigned int *)&vendor_id[0],
149             (unsigned int *)&vendor_id[8],
150             (unsigned int *)&vendor_id[4]);
151   vendor_id[12] = 0;
152
153   if (0)
154     ; /* Just to make "else if" and ifdef macros look pretty.  */
155 #ifdef ENABLE_PADLOCK_SUPPORT
156   else if (!strcmp (vendor_id, "CentaurHauls"))
157     {
158       /* This is a VIA CPU.  Check what PadLock features we have.  */
159
160       /* Check for extended centaur (EAX).  */
161       get_cpuid(0xC0000000, &features, NULL, NULL, NULL);
162
163       /* Has extended centaur features? */
164       if (features > 0xC0000000)
165         {
166            /* Ask for the extended feature flags (EDX). */
167            get_cpuid(0xC0000001, NULL, NULL, NULL, &features);
168
169            /* Test bits 2 and 3 to see whether the RNG exists and is enabled. */
170            if ((features & 0x0C) == 0x0C)
171              result |= HWF_PADLOCK_RNG;
172
173            /* Test bits 6 and 7 to see whether the ACE exists and is enabled. */
174            if ((features & 0xC0) == 0xC0)
175              result |= HWF_PADLOCK_AES;
176
177            /* Test bits 10 and 11 to see whether the PHE exists and is
178               enabled.  */
179            if ((features & 0xC00) == 0xC00)
180              result |= HWF_PADLOCK_SHA;
181
182            /* Test bits 12 and 13 to see whether the MONTMUL exists and is
183               enabled.  */
184            if ((features & 0x3000) == 0x3000)
185              result |= HWF_PADLOCK_MMUL;
186         }
187     }
188 #endif /*ENABLE_PADLOCK_SUPPORT*/
189   else if (!strcmp (vendor_id, "GenuineIntel"))
190     {
191       /* This is an Intel CPU.  */
192     }
193   else if (!strcmp (vendor_id, "AuthenticAMD"))
194     {
195       /* This is an AMD CPU.  */
196     }
197
198   /* Detect Intel features, that might also be supported by other
199      vendors.  */
200
201   /* Get CPU info and Intel feature flags (ECX).  */
202   get_cpuid(1, NULL, NULL, &features, NULL);
203
204 #ifdef ENABLE_PCLMUL_SUPPORT
205   /* Test bit 1 for PCLMUL.  */
206   if (features & 0x00000002)
207      result |= HWF_INTEL_PCLMUL;
208 #endif
209 #ifdef ENABLE_AESNI_SUPPORT
210   /* Test bit 25 for AES-NI.  */
211   if (features & 0x02000000)
212      result |= HWF_INTEL_AESNI;
213 #endif /*ENABLE_AESNI_SUPPORT*/
214 #ifdef ENABLE_AVX_SUPPORT
215   /* Test bit 28 for AVX.  */
216   if (features & 0x10000000)
217      result |= HWF_INTEL_AVX;
218 #endif /*ENABLE_AVX_SUPPORT*/
219 #ifdef ENABLE_DRNG_SUPPORT
220   /* Test bit 30 for RDRAND.  */
221   if (features & 0x40000000)
222      result |= HWF_INTEL_RDRAND;
223 #endif /*ENABLE_DRNG_SUPPORT*/
224
225   /* Check additional Intel feature flags.  Early Intel P5 processors report
226    * too high max_cpuid_level, so don't check level 7 if processor does not
227    * support SSE3 (as cpuid:7 contains only features for newer processors).
228    * Source: http://www.sandpile.org/x86/cpuid.htm  */
229   if (max_cpuid_level >= 7 && (features & 0x00000001))
230     {
231 #ifdef ENABLE_AVX2_SUPPORT
232       /* Get CPUID:7 contains further Intel feature flags. */
233       get_cpuid(7, NULL, &features, NULL, NULL);
234
235       /* Test bit 5 for AVX2.  */
236       if (features & 0x00000020)
237           result |= HWF_INTEL_AVX2;
238 #endif /*ENABLE_AVX_SUPPORT*/
239     }
240
241   return result;
242 }
243 #endif /* HAS_X86_CPUID */
244
245
246 unsigned int
247 _gcry_hwf_detect_x86 (void)
248 {
249 #if defined (HAS_X86_CPUID)
250   return detect_x86_gnuc ();
251 #else
252   return 0;
253 #endif
254 }