Add PowerPC extra CFLAGS also for chacha20-ppc and crc-ppc
[libgcrypt.git] / src / hwf-arm.c
1 /* hwf-arm.c - Detect hardware features - ARM part
2  * Copyright (C) 2013,2019 Jussi Kivilinna <jussi.kivilinna@iki.fi>
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  */
19
20 #include <config.h>
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <stdarg.h>
25 #include <unistd.h>
26 #include <errno.h>
27 #if defined(HAVE_SYS_AUXV_H) && (defined(HAVE_GETAUXVAL) || \
28     defined(HAVE_ELF_AUX_INFO))
29 #include <sys/auxv.h>
30 #endif
31
32 #include "g10lib.h"
33 #include "hwf-common.h"
34
35 #if !defined (__arm__) && !defined (__aarch64__)
36 # error Module build for wrong CPU.
37 #endif
38
39
40 #if defined(HAVE_SYS_AUXV_H) && defined(HAVE_ELF_AUX_INFO) && \
41     !defined(HAVE_GETAUXVAL) && defined(AT_HWCAP)
42 #define HAVE_GETAUXVAL
43 static unsigned long getauxval(unsigned long type)
44 {
45   unsigned long auxval = 0;
46   int err;
47
48   /* FreeBSD provides 'elf_aux_info' function that does the same as
49    * 'getauxval' on Linux. */
50
51   err = elf_aux_info (type, &auxval, sizeof(auxval));
52   if (err)
53     {
54       errno = err;
55       auxval = 0;
56     }
57
58   return auxval;
59 }
60 #endif
61
62
63 #undef HAS_SYS_AT_HWCAP
64 #if defined(__linux__) || \
65     (defined(HAVE_SYS_AUXV_H) && defined(HAVE_GETAUXVAL))
66 #define HAS_SYS_AT_HWCAP 1
67
68 struct feature_map_s {
69   unsigned int hwcap_flag;
70   unsigned int hwcap2_flag;
71   const char *feature_match;
72   unsigned int hwf_flag;
73 };
74
75 #ifdef __arm__
76
77 /* Note: These macros have same values on Linux and FreeBSD. */
78 #ifndef AT_HWCAP
79 # define AT_HWCAP      16
80 #endif
81 #ifndef AT_HWCAP2
82 # define AT_HWCAP2     26
83 #endif
84
85 #ifndef HWCAP_NEON
86 # define HWCAP_NEON    4096
87 #endif
88
89 #ifndef HWCAP2_AES
90 # define HWCAP2_AES    1
91 #endif
92 #ifndef HWCAP2_PMULL
93 # define HWCAP2_PMULL  2
94 #endif
95 #ifndef HWCAP2_SHA1
96 # define HWCAP2_SHA1   3
97 #endif
98 #ifndef HWCAP2_SHA2
99 # define HWCAP2_SHA2   4
100 #endif
101
102 static const struct feature_map_s arm_features[] =
103   {
104 #ifdef ENABLE_NEON_SUPPORT
105     { HWCAP_NEON, 0, " neon", HWF_ARM_NEON },
106 #endif
107 #ifdef ENABLE_ARM_CRYPTO_SUPPORT
108     { 0, HWCAP2_AES, " aes", HWF_ARM_AES },
109     { 0, HWCAP2_SHA1," sha1", HWF_ARM_SHA1 },
110     { 0, HWCAP2_SHA2, " sha2", HWF_ARM_SHA2 },
111     { 0, HWCAP2_PMULL, " pmull", HWF_ARM_PMULL },
112 #endif
113   };
114
115 #elif defined(__aarch64__)
116
117 /* Note: These macros have same values on Linux and FreeBSD. */
118 #ifndef AT_HWCAP
119 # define AT_HWCAP    16
120 #endif
121 #ifndef AT_HWCAP2
122 # define AT_HWCAP2   -1
123 #endif
124
125 #ifndef HWCAP_ASIMD
126 # define HWCAP_ASIMD 2
127 #endif
128 #ifndef HWCAP_AES
129 # define HWCAP_AES   8
130 #endif
131 #ifndef HWCAP_PMULL
132 # define HWCAP_PMULL 16
133 #endif
134 #ifndef HWCAP_SHA1
135 # define HWCAP_SHA1  32
136 #endif
137 #ifndef HWCAP_SHA2
138 # define HWCAP_SHA2  64
139 #endif
140
141 static const struct feature_map_s arm_features[] =
142   {
143 #ifdef ENABLE_NEON_SUPPORT
144     { HWCAP_ASIMD, 0, " asimd", HWF_ARM_NEON },
145 #endif
146 #ifdef ENABLE_ARM_CRYPTO_SUPPORT
147     { HWCAP_AES, 0, " aes", HWF_ARM_AES },
148     { HWCAP_SHA1, 0, " sha1", HWF_ARM_SHA1 },
149     { HWCAP_SHA2, 0, " sha2", HWF_ARM_SHA2 },
150     { HWCAP_PMULL, 0, " pmull", HWF_ARM_PMULL },
151 #endif
152   };
153
154 #endif
155
156 static int
157 get_hwcap(unsigned int *hwcap, unsigned int *hwcap2)
158 {
159   struct { unsigned long a_type; unsigned long a_val; } auxv;
160   FILE *f;
161   int err = -1;
162   static int hwcap_initialized = 0;
163   static unsigned int stored_hwcap = 0;
164   static unsigned int stored_hwcap2 = 0;
165
166   if (hwcap_initialized)
167     {
168       *hwcap = stored_hwcap;
169       *hwcap2 = stored_hwcap2;
170       return 0;
171     }
172
173 #if defined(HAVE_SYS_AUXV_H) && defined(HAVE_GETAUXVAL)
174   errno = 0;
175   auxv.a_val = getauxval (AT_HWCAP);
176   if (errno == 0)
177     {
178       stored_hwcap |= auxv.a_val;
179       hwcap_initialized = 1;
180     }
181
182   if (AT_HWCAP2 >= 0)
183     {
184       errno = 0;
185       auxv.a_val = getauxval (AT_HWCAP2);
186       if (errno == 0)
187         {
188           stored_hwcap2 |= auxv.a_val;
189           hwcap_initialized = 1;
190         }
191     }
192
193   if (hwcap_initialized && (stored_hwcap || stored_hwcap2))
194     {
195       *hwcap = stored_hwcap;
196       *hwcap2 = stored_hwcap2;
197       return 0;
198     }
199 #endif
200
201   f = fopen("/proc/self/auxv", "r");
202   if (!f)
203     {
204       *hwcap = stored_hwcap;
205       *hwcap2 = stored_hwcap2;
206       return -1;
207     }
208
209   while (fread(&auxv, sizeof(auxv), 1, f) > 0)
210     {
211       if (auxv.a_type == AT_HWCAP)
212         {
213           stored_hwcap |= auxv.a_val;
214           hwcap_initialized = 1;
215         }
216
217       if (auxv.a_type == AT_HWCAP2)
218         {
219           stored_hwcap2 |= auxv.a_val;
220           hwcap_initialized = 1;
221         }
222     }
223
224   if (hwcap_initialized)
225     err = 0;
226
227   fclose(f);
228   *hwcap = stored_hwcap;
229   *hwcap2 = stored_hwcap2;
230   return err;
231 }
232
233 static unsigned int
234 detect_arm_at_hwcap(void)
235 {
236   unsigned int hwcap;
237   unsigned int hwcap2;
238   unsigned int features = 0;
239   unsigned int i;
240
241   if (get_hwcap(&hwcap, &hwcap2) < 0)
242     return features;
243
244   for (i = 0; i < DIM(arm_features); i++)
245     {
246       if (hwcap & arm_features[i].hwcap_flag)
247         features |= arm_features[i].hwf_flag;
248
249       if (hwcap2 & arm_features[i].hwcap2_flag)
250         features |= arm_features[i].hwf_flag;
251     }
252
253   return features;
254 }
255
256 #endif
257
258 #undef HAS_PROC_CPUINFO
259 #ifdef __linux__
260 #define HAS_PROC_CPUINFO 1
261
262 static unsigned int
263 detect_arm_proc_cpuinfo(unsigned int *broken_hwfs)
264 {
265   char buf[1024]; /* large enough */
266   char *str_features, *str_feat;
267   int cpu_implementer, cpu_arch, cpu_variant, cpu_part, cpu_revision;
268   FILE *f;
269   int readlen, i;
270   size_t mlen;
271   static int cpuinfo_initialized = 0;
272   static unsigned int stored_cpuinfo_features;
273   static unsigned int stored_broken_hwfs;
274   struct {
275     const char *name;
276     int *value;
277   } cpu_entries[5] = {
278     { "CPU implementer", &cpu_implementer },
279     { "CPU architecture", &cpu_arch },
280     { "CPU variant", &cpu_variant },
281     { "CPU part", &cpu_part },
282     { "CPU revision", &cpu_revision },
283   };
284
285   if (cpuinfo_initialized)
286     {
287       *broken_hwfs |= stored_broken_hwfs;
288       return stored_cpuinfo_features;
289     }
290
291   f = fopen("/proc/cpuinfo", "r");
292   if (!f)
293     return 0;
294
295   memset (buf, 0, sizeof(buf));
296   readlen = fread (buf, 1, sizeof(buf), f);
297   fclose (f);
298   if (readlen <= 0 || readlen > sizeof(buf))
299     return 0;
300
301   buf[sizeof(buf) - 1] = '\0';
302
303   cpuinfo_initialized = 1;
304   stored_cpuinfo_features = 0;
305   stored_broken_hwfs = 0;
306
307   /* Find features line. */
308   str_features = strstr(buf, "Features");
309   if (!str_features)
310     return stored_cpuinfo_features;
311
312   /* Find CPU version information. */
313   for (i = 0; i < DIM(cpu_entries); i++)
314     {
315       char *str;
316
317       *cpu_entries[i].value = -1;
318
319       str = strstr(buf, cpu_entries[i].name);
320       if (!str)
321         continue;
322
323       str = strstr(str, ": ");
324       if (!str)
325         continue;
326
327       str += 2;
328       if (strcmp(cpu_entries[i].name, "CPU architecture") == 0
329           && strcmp(str, "AArch64") == 0)
330         *cpu_entries[i].value = 8;
331       else
332         *cpu_entries[i].value = strtoul(str, NULL, 0);
333     }
334
335   /* Lines to strings. */
336   for (i = 0; i < sizeof(buf); i++)
337     if (buf[i] == '\n')
338       buf[i] = '\0';
339
340   /* Check features. */
341   for (i = 0; i < DIM(arm_features); i++)
342     {
343       str_feat = strstr(str_features, arm_features[i].feature_match);
344       if (str_feat)
345         {
346           mlen = strlen(arm_features[i].feature_match);
347           if (str_feat[mlen] == ' ' || str_feat[mlen] == '\0')
348             {
349               stored_cpuinfo_features |= arm_features[i].hwf_flag;
350             }
351         }
352     }
353
354   /* Check for CPUs with broken NEON implementation. See
355    * https://code.google.com/p/chromium/issues/detail?id=341598
356    */
357   if (cpu_implementer == 0x51
358       && cpu_arch == 7
359       && cpu_variant == 1
360       && cpu_part == 0x4d
361       && cpu_revision == 0)
362     {
363       stored_broken_hwfs = HWF_ARM_NEON;
364     }
365
366   *broken_hwfs |= stored_broken_hwfs;
367   return stored_cpuinfo_features;
368 }
369
370 #endif /* __linux__ */
371
372 unsigned int
373 _gcry_hwf_detect_arm (void)
374 {
375   unsigned int ret = 0;
376   unsigned int broken_hwfs = 0;
377
378 #if defined (HAS_SYS_AT_HWCAP)
379   ret |= detect_arm_at_hwcap ();
380 #endif
381
382 #if defined (HAS_PROC_CPUINFO)
383   ret |= detect_arm_proc_cpuinfo (&broken_hwfs);
384 #endif
385
386 #if defined(__ARM_NEON) && defined(ENABLE_NEON_SUPPORT)
387   ret |= HWF_ARM_NEON;
388 #endif
389
390   ret &= ~broken_hwfs;
391
392   return ret;
393 }