Add x86_64 support for AES-NI
[libgcrypt.git] / src / hwfeatures.c
1 /* hwfeatures.c - Detect hardware features.
2  * Copyright (C) 2007, 2011  Free Software Foundation, Inc.
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  */
19
20 #include <config.h>
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <stdarg.h>
25 #include <unistd.h>
26
27 #include "g10lib.h"
28
29 /* A bit vector describing the hardware features currently
30    available. */
31 static unsigned int hw_features;
32
33
34 /* Return a bit vector describing the available hardware features.
35    The HWF_ constants are used to test for them. */
36 unsigned int
37 _gcry_get_hw_features (void)
38 {
39   return hw_features;
40 }
41
42
43 #if defined (__x86_64__) && defined (__GNUC__)
44 static void
45 detect_x86_64_gnuc (void)
46 {
47   /* The code here is only useful for the PadLock engine thus we don't
48      build it if that support has been disabled.  */
49   char vendor_id[12+1];
50
51   asm volatile
52     ("xorl  %%eax, %%eax\n\t"    /* 0 -> EAX.  */
53      "cpuid\n\t"                 /* Get vendor ID.  */
54      "movl  %%ebx, (%0)\n\t"     /* EBX,EDX,ECX -> VENDOR_ID.  */
55      "movl  %%edx, 4(%0)\n\t"
56      "movl  %%ecx, 8(%0)\n\t"
57      :
58      : "S" (&vendor_id[0])
59      : "%eax", "%ebx", "%ecx", "%edx", "cc"
60      );
61   vendor_id[12] = 0;
62
63   if (0)
64     ; /* Just to make "else if" and ifdef macros look pretty.  */
65 #ifdef ENABLE_PADLOCK_SUPPORT
66   else if (!strcmp (vendor_id, "CentaurHauls"))
67     {
68       /* This is a VIA CPU.  Check what PadLock features we have.  */
69       asm volatile
70         ("movl $0xC0000000, %%eax\n\t"  /* Check for extended centaur  */
71          "cpuid\n\t"                    /* feature flags.              */
72          "cmpl $0xC0000001, %%eax\n\t"
73          "jb .Lready%=\n\t"             /* EAX < 0xC0000000 => no padlock.  */
74
75          "movl $0xC0000001, %%eax\n\t"  /* Ask for the extended */
76          "cpuid\n\t"                    /* feature flags.       */
77
78          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
79          "andl $0x0C, %%eax\n\t"        /* Test bits 2 and 3 to see whether */
80          "cmpl $0x0C, %%eax\n\t"        /* the RNG exists and is enabled.   */
81          "jnz .Lno_rng%=\n\t"
82          "orl $1, %0\n"                 /* Set our HWF_PADLOCK_RNG bit.  */
83
84          ".Lno_rng%=:\n\t"
85          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
86          "andl $0xC0, %%eax\n\t"        /* Test bits 6 and 7 to see whether */
87          "cmpl $0xC0, %%eax\n\t"        /* the ACE exists and is enabled.   */
88          "jnz .Lno_ace%=\n\t"
89          "orl $2, %0\n"                 /* Set our HWF_PADLOCK_AES bit.  */
90
91          ".Lno_ace%=:\n\t"
92          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
93          "andl $0xC00, %%eax\n\t"       /* Test bits 10, 11 to see whether  */
94          "cmpl $0xC00, %%eax\n\t"       /* the PHE exists and is enabled.   */
95          "jnz .Lno_phe%=\n\t"
96          "orl $4, %0\n"                 /* Set our HWF_PADLOCK_SHA bit.  */
97
98          ".Lno_phe%=:\n\t"
99          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
100          "andl $0x3000, %%eax\n\t"      /* Test bits 12, 13 to see whether  */
101          "cmpl $0x3000, %%eax\n\t"      /* MONTMUL exists and is enabled.   */
102          "jnz .Lready%=\n\t"
103          "orl $8, %0\n"                 /* Set our HWF_PADLOCK_MMUL bit.  */
104
105          ".Lready%=:\n"
106          : "+r" (hw_features)
107          :
108          : "%eax", "%ebx", "%ecx", "%edx", "cc"
109          );
110     }
111 #endif /*ENABLE_PADLOCK_SUPPORT*/
112   else if (!strcmp (vendor_id, "GenuineIntel"))
113     {
114       /* This is an Intel CPU.  */
115     }
116   else if (!strcmp (vendor_id, "AuthenticAMD"))
117     {
118       /* This is an AMD CPU.  */
119     }
120
121   /* Detect Intel features, that might be supported also by other vendors
122    * also. */
123   asm volatile
124     ("movl $1, %%eax\n\t"           /* Get CPU info and feature flags.  */
125      "cpuid\n"
126      "testl $0x02000000, %%ecx\n\t" /* Test bit 25.  */
127      "jz .Lno_aes%=\n\t"            /* No AES support.  */
128      "orl $256, %0\n"               /* Set our HWF_INTEL_AES bit.  */
129
130      ".Lno_aes%=:\n"
131      : "+r" (hw_features)
132      :
133      : "%eax", "%ebx", "%ecx", "%edx", "cc"
134      );
135 }
136 #endif /* __x86_64__ && __GNUC__ */
137
138 #if defined (__i386__) && SIZEOF_UNSIGNED_LONG == 4 && defined (__GNUC__)
139 static void
140 detect_ia32_gnuc (void)
141 {
142   /* The code here is only useful for the PadLock engine thus we don't
143      build it if that support has been disabled.  */
144   int has_cpuid = 0;
145   char vendor_id[12+1];
146
147   /* Detect the CPUID feature by testing some undefined behaviour (16
148      vs 32 bit pushf/popf). */
149   asm volatile
150     ("pushf\n\t"                 /* Copy flags to EAX.  */
151      "popl %%eax\n\t"
152      "movl %%eax, %%ecx\n\t"     /* Save flags into ECX.  */
153      "xorl $0x200000, %%eax\n\t" /* Toggle ID bit and copy it to the flags.  */
154      "pushl %%eax\n\t"
155      "popf\n\t"
156      "pushf\n\t"                 /* Copy changed flags again to EAX.  */
157      "popl %%eax\n\t"
158      "pushl %%ecx\n\t"           /* Restore flags from ECX.  */
159      "popf\n\t"
160      "xorl %%eax, %%ecx\n\t"     /* Compare flags against saved flags.  */
161      "jz .Lno_cpuid%=\n\t"       /* Toggling did not work, thus no CPUID.  */
162      "movl $1, %0\n"             /* Worked. true -> HAS_CPUID.  */
163      ".Lno_cpuid%=:\n\t"
164      : "+r" (has_cpuid)
165      :
166      : "%eax", "%ecx", "cc"
167      );
168
169   if (!has_cpuid)
170     return;  /* No way.  */
171
172   asm volatile
173     ("pushl %%ebx\n\t"           /* Save GOT register.  */
174      "xorl  %%eax, %%eax\n\t"    /* 0 -> EAX.  */
175      "cpuid\n\t"                 /* Get vendor ID.  */
176      "movl  %%ebx, (%0)\n\t"     /* EBX,EDX,ECX -> VENDOR_ID.  */
177      "movl  %%edx, 4(%0)\n\t"
178      "movl  %%ecx, 8(%0)\n\t"
179      "popl  %%ebx\n"
180      :
181      : "S" (&vendor_id[0])
182      : "%eax", "%ecx", "%edx", "cc"
183      );
184   vendor_id[12] = 0;
185
186   if (0)
187     ; /* Just to make "else if" and ifdef macros look pretty.  */
188 #ifdef ENABLE_PADLOCK_SUPPORT
189   else if (!strcmp (vendor_id, "CentaurHauls"))
190     {
191       /* This is a VIA CPU.  Check what PadLock features we have.  */
192       asm volatile
193         ("pushl %%ebx\n\t"              /* Save GOT register.  */
194          "movl $0xC0000000, %%eax\n\t"  /* Check for extended centaur  */
195          "cpuid\n\t"                    /* feature flags.              */
196          "popl %%ebx\n\t"               /* Restore GOT register. */
197          "cmpl $0xC0000001, %%eax\n\t"
198          "jb .Lready%=\n\t"             /* EAX < 0xC0000000 => no padlock.  */
199
200          "pushl %%ebx\n\t"              /* Save GOT register. */
201          "movl $0xC0000001, %%eax\n\t"  /* Ask for the extended */
202          "cpuid\n\t"                    /* feature flags.       */
203          "popl %%ebx\n\t"               /* Restore GOT register. */
204
205          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
206          "andl $0x0C, %%eax\n\t"        /* Test bits 2 and 3 to see whether */
207          "cmpl $0x0C, %%eax\n\t"        /* the RNG exists and is enabled.   */
208          "jnz .Lno_rng%=\n\t"
209          "orl $1, %0\n"                 /* Set our HWF_PADLOCK_RNG bit.  */
210
211          ".Lno_rng%=:\n\t"
212          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
213          "andl $0xC0, %%eax\n\t"        /* Test bits 6 and 7 to see whether */
214          "cmpl $0xC0, %%eax\n\t"        /* the ACE exists and is enabled.   */
215          "jnz .Lno_ace%=\n\t"
216          "orl $2, %0\n"                 /* Set our HWF_PADLOCK_AES bit.  */
217
218          ".Lno_ace%=:\n\t"
219          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
220          "andl $0xC00, %%eax\n\t"       /* Test bits 10, 11 to see whether  */
221          "cmpl $0xC00, %%eax\n\t"       /* the PHE exists and is enabled.   */
222          "jnz .Lno_phe%=\n\t"
223          "orl $4, %0\n"                 /* Set our HWF_PADLOCK_SHA bit.  */
224
225          ".Lno_phe%=:\n\t"
226          "movl %%edx, %%eax\n\t"        /* Take copy of feature flags.  */
227          "andl $0x3000, %%eax\n\t"      /* Test bits 12, 13 to see whether  */
228          "cmpl $0x3000, %%eax\n\t"      /* MONTMUL exists and is enabled.   */
229          "jnz .Lready%=\n\t"
230          "orl $8, %0\n"                 /* Set our HWF_PADLOCK_MMUL bit.  */
231
232          ".Lready%=:\n"
233          : "+r" (hw_features)
234          :
235          : "%eax", "%ecx", "%edx", "cc"
236          );
237     }
238 #endif /*ENABLE_PADLOCK_SUPPORT*/
239   else if (!strcmp (vendor_id, "GenuineIntel"))
240     {
241       /* This is an Intel CPU.  */
242     }
243   else if (!strcmp (vendor_id, "AuthenticAMD"))
244     {
245       /* This is an AMD CPU.  */
246
247     }
248
249   /* Detect Intel features, that might be supported also by other vendors
250    * also. */
251   asm volatile
252     ("pushl %%ebx\n\t"          /* Save GOT register.  */
253      "movl $1, %%eax\n\t"           /* Get CPU info and feature flags.  */
254      "cpuid\n"
255      "popl %%ebx\n\t"           /* Restore GOT register. */
256      "testl $0x02000000, %%ecx\n\t" /* Test bit 25.  */
257      "jz .Lno_aes%=\n\t"            /* No AES support.  */
258      "orl $256, %0\n"               /* Set our HWF_INTEL_AES bit.  */
259
260      ".Lno_aes%=:\n"
261      : "+r" (hw_features)
262      :
263      : "%eax", "%ecx", "%edx", "cc"
264      );
265 }
266 #endif /* __i386__ && SIZEOF_UNSIGNED_LONG == 4 && __GNUC__ */
267
268
269 /* Detect the available hardware features.  This function is called
270    once right at startup and we assume that no other threads are
271    running.  */
272 void
273 _gcry_detect_hw_features (unsigned int disabled_features)
274 {
275   hw_features = 0;
276
277   if (fips_mode ())
278     return; /* Hardware support is not to be evaluated.  */
279
280 #if defined (__i386__) && SIZEOF_UNSIGNED_LONG == 4
281 # ifdef __GNUC__
282   {
283     detect_ia32_gnuc ();
284   }
285 # endif
286 #elif defined (__i386__) && SIZEOF_UNSIGNED_LONG == 8
287 # ifdef __GNUC__
288   {
289   }
290 # endif
291 #elif defined (__x86_64__)
292 # ifdef __GNUC__
293   {
294     detect_x86_64_gnuc ();
295   }
296 # endif
297 #endif
298
299   hw_features &= ~disabled_features;
300 }