doc: Fix typo.
[libgcrypt.git] / cipher / rijndael-ssse3-amd64.c
1 /* SSSE3 vector permutation AES for Libgcrypt
2  * Copyright (C) 2014-2015 Jussi Kivilinna <jussi.kivilinna@iki.fi>
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  *
19  *
20  * The code is based on the public domain library libvpaes version 0.5
21  * available at http://crypto.stanford.edu/vpaes/ and which carries
22  * this notice:
23  *
24  *     libvpaes: constant-time SSSE3 AES encryption and decryption.
25  *     version 0.5
26  *
27  *     By Mike Hamburg, Stanford University, 2009.  Public domain.
28  *     I wrote essentially all of this code.  I did not write the test
29  *     vectors; they are the NIST known answer tests.  I hereby release all
30  *     the code and documentation here that I wrote into the public domain.
31  *
32  *     This is an implementation of AES following my paper,
33  *       "Accelerating AES with Vector Permute Instructions"
34  *       CHES 2009; http://shiftleft.org/papers/vector_aes/
35  */
36
37 #include <config.h>
38 #include <stdio.h>
39 #include <stdlib.h>
40 #include <string.h> /* for memcmp() */
41
42 #include "types.h"  /* for byte and u32 typedefs */
43 #include "g10lib.h"
44 #include "cipher.h"
45 #include "bufhelp.h"
46 #include "cipher-selftest.h"
47 #include "rijndael-internal.h"
48 #include "./cipher-internal.h"
49
50
51 #ifdef USE_SSSE3
52
53
54 #if _GCRY_GCC_VERSION >= 40400 /* 4.4 */
55 /* Prevent compiler from issuing SSE instructions between asm blocks. */
56 #  pragma GCC target("no-sse")
57 #endif
58
59
60 /* Two macros to be called prior and after the use of SSSE3
61   instructions.  There should be no external function calls between
62   the use of these macros.  There purpose is to make sure that the
63   SSE registers are cleared and won't reveal any information about
64   the key or the data.  */
65 #ifdef HAVE_COMPATIBLE_GCC_WIN64_PLATFORM_AS
66 # define SSSE3_STATE_SIZE (16 * 10)
67 /* XMM6-XMM15 are callee-saved registers on WIN64. */
68 # define vpaes_ssse3_prepare() \
69     asm volatile ("movdqu %%xmm6,  0*16(%0)\n\t" \
70                   "movdqu %%xmm7,  1*16(%0)\n\t" \
71                   "movdqu %%xmm8,  2*16(%0)\n\t" \
72                   "movdqu %%xmm9,  3*16(%0)\n\t" \
73                   "movdqu %%xmm10, 4*16(%0)\n\t" \
74                   "movdqu %%xmm11, 5*16(%0)\n\t" \
75                   "movdqu %%xmm12, 6*16(%0)\n\t" \
76                   "movdqu %%xmm13, 7*16(%0)\n\t" \
77                   "movdqu %%xmm14, 8*16(%0)\n\t" \
78                   "movdqu %%xmm15, 9*16(%0)\n\t" \
79                   : \
80                   : "r" (ssse3_state) \
81                   : "memory" )
82 # define vpaes_ssse3_cleanup() \
83     asm volatile ("pxor %%xmm0,  %%xmm0 \n\t" \
84                   "pxor %%xmm1,  %%xmm1 \n\t" \
85                   "pxor %%xmm2,  %%xmm2 \n\t" \
86                   "pxor %%xmm3,  %%xmm3 \n\t" \
87                   "pxor %%xmm4,  %%xmm4 \n\t" \
88                   "pxor %%xmm5,  %%xmm5 \n\t" \
89                   "movdqu 0*16(%0), %%xmm6 \n\t" \
90                   "movdqu 1*16(%0), %%xmm7 \n\t" \
91                   "movdqu 2*16(%0), %%xmm8 \n\t" \
92                   "movdqu 3*16(%0), %%xmm9 \n\t" \
93                   "movdqu 4*16(%0), %%xmm10 \n\t" \
94                   "movdqu 5*16(%0), %%xmm11 \n\t" \
95                   "movdqu 6*16(%0), %%xmm12 \n\t" \
96                   "movdqu 7*16(%0), %%xmm13 \n\t" \
97                   "movdqu 8*16(%0), %%xmm14 \n\t" \
98                   "movdqu 9*16(%0), %%xmm15 \n\t" \
99                   : \
100                   : "r" (ssse3_state) \
101                   : "memory" )
102 #else
103 # define SSSE3_STATE_SIZE 1
104 # define vpaes_ssse3_prepare() (void)ssse3_state
105 # define vpaes_ssse3_cleanup() \
106     asm volatile ("pxor %%xmm0,  %%xmm0 \n\t" \
107                   "pxor %%xmm1,  %%xmm1 \n\t" \
108                   "pxor %%xmm2,  %%xmm2 \n\t" \
109                   "pxor %%xmm3,  %%xmm3 \n\t" \
110                   "pxor %%xmm4,  %%xmm4 \n\t" \
111                   "pxor %%xmm5,  %%xmm5 \n\t" \
112                   "pxor %%xmm6,  %%xmm6 \n\t" \
113                   "pxor %%xmm7,  %%xmm7 \n\t" \
114                   "pxor %%xmm8,  %%xmm8 \n\t" \
115                   ::: "memory" )
116 #endif
117
118 #define vpaes_ssse3_prepare_enc(const_ptr) \
119     vpaes_ssse3_prepare(); \
120     asm volatile ("lea  .Laes_consts(%%rip), %q0 \n\t" \
121                   "movdqa                 (%q0), %%xmm9  # 0F \n\t" \
122                   "movdqa       .Lk_inv   (%q0), %%xmm10 # inv \n\t" \
123                   "movdqa       .Lk_inv+16(%q0), %%xmm11 # inva \n\t" \
124                   "movdqa       .Lk_sb1   (%q0), %%xmm13 # sb1u \n\t" \
125                   "movdqa       .Lk_sb1+16(%q0), %%xmm12 # sb1t \n\t" \
126                   "movdqa       .Lk_sb2   (%q0), %%xmm15 # sb2u \n\t" \
127                   "movdqa       .Lk_sb2+16(%q0), %%xmm14 # sb2t \n\t" \
128                   : "=c" (const_ptr) \
129                   : \
130                   : "memory" )
131
132 #define vpaes_ssse3_prepare_dec(const_ptr) \
133     vpaes_ssse3_prepare(); \
134     asm volatile ("lea  .Laes_consts(%%rip), %q0 \n\t" \
135                   "movdqa                 (%q0), %%xmm9  # 0F \n\t" \
136                   "movdqa       .Lk_inv   (%q0), %%xmm10 # inv \n\t" \
137                   "movdqa       .Lk_inv+16(%q0), %%xmm11 # inva \n\t" \
138                   "movdqa       .Lk_dsb9   (%q0), %%xmm13 # sb9u \n\t" \
139                   "movdqa       .Lk_dsb9+16(%q0), %%xmm12 # sb9t \n\t" \
140                   "movdqa       .Lk_dsbd   (%q0), %%xmm15 # sbdu \n\t" \
141                   "movdqa       .Lk_dsbb   (%q0), %%xmm14 # sbbu \n\t" \
142                   "movdqa       .Lk_dsbe   (%q0), %%xmm8 # sbeu \n\t" \
143                   : "=c" (const_ptr) \
144                   : \
145                   : "memory" )
146
147
148
149 void
150 _gcry_aes_ssse3_do_setkey (RIJNDAEL_context *ctx, const byte *key)
151 {
152   unsigned int keybits = (ctx->rounds - 10) * 32 + 128;
153   byte ssse3_state[SSSE3_STATE_SIZE];
154
155   vpaes_ssse3_prepare();
156
157   asm volatile ("leaq %q[key], %%rdi"                   "\n\t"
158                 "movl %[bits], %%esi"                   "\n\t"
159                 "leaq %[buf], %%rdx"                    "\n\t"
160                 "movl %[dir], %%ecx"                    "\n\t"
161                 "movl %[rotoffs], %%r8d"                "\n\t"
162                 "call _aes_schedule_core"               "\n\t"
163                 :
164                 : [key] "m" (*key),
165                   [bits] "g" (keybits),
166                   [buf] "m" (ctx->keyschenc32[0][0]),
167                   [dir] "g" (0),
168                   [rotoffs] "g" (48)
169                 : "r8", "r9", "r10", "r11", "rax", "rcx", "rdx", "rdi", "rsi",
170                   "cc", "memory");
171
172   vpaes_ssse3_cleanup();
173
174   /* Save key for setting up decryption. */
175   memcpy(&ctx->keyschdec32[0][0], key, keybits / 8);
176 }
177
178
179 /* Make a decryption key from an encryption key. */
180 void
181 _gcry_aes_ssse3_prepare_decryption (RIJNDAEL_context *ctx)
182 {
183   unsigned int keybits = (ctx->rounds - 10) * 32 + 128;
184   byte ssse3_state[SSSE3_STATE_SIZE];
185
186   vpaes_ssse3_prepare();
187
188   asm volatile ("leaq %q[key], %%rdi"                   "\n\t"
189                 "movl %[bits], %%esi"                   "\n\t"
190                 "leaq %[buf], %%rdx"                    "\n\t"
191                 "movl %[dir], %%ecx"                    "\n\t"
192                 "movl %[rotoffs], %%r8d"                "\n\t"
193                 "call _aes_schedule_core"               "\n\t"
194                 :
195                 : [key] "m" (ctx->keyschdec32[0][0]),
196                   [bits] "g" (keybits),
197                   [buf] "m" (ctx->keyschdec32[ctx->rounds][0]),
198                   [dir] "g" (1),
199                   [rotoffs] "g" ((keybits == 192) ? 0 : 32)
200                 : "r8", "r9", "r10", "r11", "rax", "rcx", "rdx", "rdi", "rsi",
201                   "cc", "memory");
202
203   vpaes_ssse3_cleanup();
204 }
205
206
207 /* Encrypt one block using the Intel SSSE3 instructions.  Block is input
208 * and output through SSE register xmm0. */
209 static inline void
210 do_vpaes_ssse3_enc (const RIJNDAEL_context *ctx, unsigned int nrounds,
211                     const void *aes_const_ptr)
212 {
213   unsigned int middle_rounds = nrounds - 1;
214   const void *keysched = ctx->keyschenc32;
215
216   asm volatile ("call _aes_encrypt_core"                "\n\t"
217                 : "+a" (middle_rounds), "+d" (keysched)
218                 : "c" (aes_const_ptr)
219                 : "rdi", "rsi", "cc", "memory");
220 }
221
222
223 /* Decrypt one block using the Intel SSSE3 instructions.  Block is input
224 * and output through SSE register xmm0. */
225 static inline void
226 do_vpaes_ssse3_dec (const RIJNDAEL_context *ctx, unsigned int nrounds,
227                     const void *aes_const_ptr)
228 {
229   unsigned int middle_rounds = nrounds - 1;
230   const void *keysched = ctx->keyschdec32;
231
232   asm volatile ("call _aes_decrypt_core"                "\n\t"
233                 : "+a" (middle_rounds), "+d" (keysched)
234                 : "c" (aes_const_ptr)
235                 : "rsi", "cc", "memory");
236 }
237
238
239 unsigned int
240 _gcry_aes_ssse3_encrypt (const RIJNDAEL_context *ctx, unsigned char *dst,
241                         const unsigned char *src)
242 {
243   unsigned int nrounds = ctx->rounds;
244   const void *aes_const_ptr;
245   byte ssse3_state[SSSE3_STATE_SIZE];
246
247   vpaes_ssse3_prepare_enc (aes_const_ptr);
248   asm volatile ("movdqu %[src], %%xmm0\n\t"
249                 :
250                 : [src] "m" (*src)
251                 : "memory" );
252   do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
253   asm volatile ("movdqu %%xmm0, %[dst]\n\t"
254                 : [dst] "=m" (*dst)
255                 :
256                 : "memory" );
257   vpaes_ssse3_cleanup ();
258   return 0;
259 }
260
261
262 void
263 _gcry_aes_ssse3_cfb_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
264                         const unsigned char *inbuf, unsigned char *iv,
265                         size_t nblocks)
266 {
267   unsigned int nrounds = ctx->rounds;
268   const void *aes_const_ptr;
269   byte ssse3_state[SSSE3_STATE_SIZE];
270
271   vpaes_ssse3_prepare_enc (aes_const_ptr);
272
273   asm volatile ("movdqu %[iv], %%xmm0\n\t"
274                 : /* No output */
275                 : [iv] "m" (*iv)
276                 : "memory" );
277
278   for ( ;nblocks; nblocks-- )
279     {
280       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
281
282       asm volatile ("movdqu %[inbuf], %%xmm1\n\t"
283                     "pxor %%xmm1, %%xmm0\n\t"
284                     "movdqu %%xmm0, %[outbuf]\n\t"
285                     : [outbuf] "=m" (*outbuf)
286                     : [inbuf] "m" (*inbuf)
287                     : "memory" );
288
289       outbuf += BLOCKSIZE;
290       inbuf  += BLOCKSIZE;
291     }
292
293   asm volatile ("movdqu %%xmm0, %[iv]\n\t"
294                 : [iv] "=m" (*iv)
295                 :
296                 : "memory" );
297
298   vpaes_ssse3_cleanup ();
299 }
300
301
302 void
303 _gcry_aes_ssse3_cbc_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
304                         const unsigned char *inbuf, unsigned char *iv,
305                         size_t nblocks, int cbc_mac)
306 {
307   unsigned int nrounds = ctx->rounds;
308   const void *aes_const_ptr;
309   byte ssse3_state[SSSE3_STATE_SIZE];
310
311   vpaes_ssse3_prepare_enc (aes_const_ptr);
312
313   asm volatile ("movdqu %[iv], %%xmm7\n\t"
314                 : /* No output */
315                 : [iv] "m" (*iv)
316                 : "memory" );
317
318   for ( ;nblocks; nblocks-- )
319     {
320       asm volatile ("movdqu %[inbuf], %%xmm0\n\t"
321                     "pxor %%xmm7, %%xmm0\n\t"
322                     : /* No output */
323                     : [inbuf] "m" (*inbuf)
324                     : "memory" );
325
326       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
327
328       asm volatile ("movdqa %%xmm0, %%xmm7\n\t"
329                     "movdqu %%xmm0, %[outbuf]\n\t"
330                     : [outbuf] "=m" (*outbuf)
331                     :
332                     : "memory" );
333
334       inbuf += BLOCKSIZE;
335       if (!cbc_mac)
336         outbuf += BLOCKSIZE;
337     }
338
339   asm volatile ("movdqu %%xmm7, %[iv]\n\t"
340                 : [iv] "=m" (*iv)
341                 :
342                 : "memory" );
343
344   vpaes_ssse3_cleanup ();
345 }
346
347
348 void
349 _gcry_aes_ssse3_ctr_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
350                         const unsigned char *inbuf, unsigned char *ctr,
351                         size_t nblocks)
352 {
353   static const unsigned char be_mask[16] __attribute__ ((aligned (16))) =
354     { 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1, 0 };
355   unsigned int nrounds = ctx->rounds;
356   const void *aes_const_ptr;
357   byte ssse3_state[SSSE3_STATE_SIZE];
358   u64 ctrlow;
359
360   vpaes_ssse3_prepare_enc (aes_const_ptr);
361
362   asm volatile ("movdqa %[mask], %%xmm6\n\t" /* Preload mask */
363                 "movdqa (%[ctr]), %%xmm7\n\t"  /* Preload CTR */
364                 "movq 8(%[ctr]), %q[ctrlow]\n\t"
365                 "bswapq %q[ctrlow]\n\t"
366                 : [ctrlow] "=r" (ctrlow)
367                 : [mask] "m" (*be_mask),
368                   [ctr] "r" (ctr)
369                 : "memory", "cc");
370
371   for ( ;nblocks; nblocks-- )
372     {
373       asm volatile ("movdqa %%xmm7, %%xmm0\n\t"     /* xmm0 := CTR (xmm7)  */
374                     "pcmpeqd %%xmm1, %%xmm1\n\t"
375                     "psrldq $8, %%xmm1\n\t"         /* xmm1 = -1 */
376
377                     "pshufb %%xmm6, %%xmm7\n\t"
378                     "psubq  %%xmm1, %%xmm7\n\t"     /* xmm7++ (big endian) */
379
380                     /* detect if 64-bit carry handling is needed */
381                     "incq   %q[ctrlow]\n\t"
382                     "jnz    .Lno_carry%=\n\t"
383
384                     "pslldq $8, %%xmm1\n\t"         /* move lower 64-bit to high */
385                     "psubq   %%xmm1, %%xmm7\n\t"    /* add carry to upper 64bits */
386
387                     ".Lno_carry%=:\n\t"
388
389                     "pshufb %%xmm6, %%xmm7\n\t"
390                     :
391                     : [ctr] "r" (ctr), [ctrlow] "r" (ctrlow)
392                     : "cc", "memory");
393
394       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
395
396       asm volatile ("movdqu %[src], %%xmm1\n\t"      /* xmm1 := input   */
397                     "pxor %%xmm1, %%xmm0\n\t"        /* EncCTR ^= input  */
398                     "movdqu %%xmm0, %[dst]"          /* Store EncCTR.    */
399                     : [dst] "=m" (*outbuf)
400                     : [src] "m" (*inbuf)
401                     : "memory");
402
403       outbuf += BLOCKSIZE;
404       inbuf  += BLOCKSIZE;
405     }
406
407   asm volatile ("movdqu %%xmm7, %[ctr]\n\t"   /* Update CTR (mem).       */
408                 : [ctr] "=m" (*ctr)
409                 :
410                 : "memory" );
411
412   vpaes_ssse3_cleanup ();
413 }
414
415
416 unsigned int
417 _gcry_aes_ssse3_decrypt (const RIJNDAEL_context *ctx, unsigned char *dst,
418                         const unsigned char *src)
419 {
420   unsigned int nrounds = ctx->rounds;
421   const void *aes_const_ptr;
422   byte ssse3_state[SSSE3_STATE_SIZE];
423
424   vpaes_ssse3_prepare_dec (aes_const_ptr);
425   asm volatile ("movdqu %[src], %%xmm0\n\t"
426                 :
427                 : [src] "m" (*src)
428                 : "memory" );
429   do_vpaes_ssse3_dec (ctx, nrounds, aes_const_ptr);
430   asm volatile ("movdqu %%xmm0, %[dst]\n\t"
431                 : [dst] "=m" (*dst)
432                 :
433                 : "memory" );
434   vpaes_ssse3_cleanup ();
435   return 0;
436 }
437
438
439 void
440 _gcry_aes_ssse3_cfb_dec (RIJNDAEL_context *ctx, unsigned char *outbuf,
441                         const unsigned char *inbuf, unsigned char *iv,
442                         size_t nblocks)
443 {
444   unsigned int nrounds = ctx->rounds;
445   const void *aes_const_ptr;
446   byte ssse3_state[SSSE3_STATE_SIZE];
447
448   vpaes_ssse3_prepare_enc (aes_const_ptr);
449
450   asm volatile ("movdqu %[iv], %%xmm0\n\t"
451                 : /* No output */
452                 : [iv] "m" (*iv)
453                 : "memory" );
454
455   for ( ;nblocks; nblocks-- )
456     {
457       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
458
459       asm volatile ("movdqa %%xmm0, %%xmm6\n\t"
460                     "movdqu %[inbuf], %%xmm0\n\t"
461                     "pxor %%xmm0, %%xmm6\n\t"
462                     "movdqu %%xmm6, %[outbuf]\n\t"
463                     : [outbuf] "=m" (*outbuf)
464                     : [inbuf] "m" (*inbuf)
465                     : "memory" );
466
467       outbuf += BLOCKSIZE;
468       inbuf  += BLOCKSIZE;
469     }
470
471   asm volatile ("movdqu %%xmm0, %[iv]\n\t"
472                 : [iv] "=m" (*iv)
473                 :
474                 : "memory" );
475
476   vpaes_ssse3_cleanup ();
477 }
478
479
480 void
481 _gcry_aes_ssse3_cbc_dec (RIJNDAEL_context *ctx, unsigned char *outbuf,
482                         const unsigned char *inbuf, unsigned char *iv,
483                         size_t nblocks)
484 {
485   unsigned int nrounds = ctx->rounds;
486   const void *aes_const_ptr;
487   byte ssse3_state[SSSE3_STATE_SIZE];
488
489   vpaes_ssse3_prepare_dec (aes_const_ptr);
490
491   asm volatile
492     ("movdqu %[iv], %%xmm7\n\t" /* use xmm7 as fast IV storage */
493     : /* No output */
494     : [iv] "m" (*iv)
495     : "memory");
496
497   for ( ;nblocks; nblocks-- )
498     {
499       asm volatile
500         ("movdqu %[inbuf], %%xmm0\n\t"
501         "movdqa %%xmm0, %%xmm6\n\t"    /* use xmm6 as savebuf */
502         : /* No output */
503         : [inbuf] "m" (*inbuf)
504         : "memory");
505
506       do_vpaes_ssse3_dec (ctx, nrounds, aes_const_ptr);
507
508       asm volatile
509         ("pxor %%xmm7, %%xmm0\n\t"      /* xor IV with output */
510         "movdqu %%xmm0, %[outbuf]\n\t"
511         "movdqu %%xmm6, %%xmm7\n\t"     /* store savebuf as new IV */
512         : [outbuf] "=m" (*outbuf)
513         :
514         : "memory");
515
516       outbuf += BLOCKSIZE;
517       inbuf  += BLOCKSIZE;
518     }
519
520   asm volatile
521     ("movdqu %%xmm7, %[iv]\n\t" /* store IV */
522     : /* No output */
523     : [iv] "m" (*iv)
524     : "memory");
525
526   vpaes_ssse3_cleanup ();
527 }
528
529
530 static inline const unsigned char *
531 get_l (gcry_cipher_hd_t c, unsigned char *l_tmp, u64 i, unsigned char *iv,
532        unsigned char *ctr, const void **aes_const_ptr,
533        byte ssse3_state[SSSE3_STATE_SIZE], int encrypt)
534 {
535   const unsigned char *l;
536   unsigned int ntz;
537
538   if (i & 1)
539     return c->u_mode.ocb.L[0];
540   else if (i & 2)
541     return c->u_mode.ocb.L[1];
542   else if (i & 0xffffffffU)
543     {
544       asm ("rep;bsf %k[low], %k[ntz]\n\t"
545            : [ntz] "=r" (ntz)
546            : [low] "r" (i & 0xffffffffU)
547            : "cc");
548     }
549   else
550     {
551       if (OCB_L_TABLE_SIZE < 32)
552         {
553           ntz = 32;
554         }
555       else if (i)
556         {
557           asm ("rep;bsf %k[high], %k[ntz]\n\t"
558                : [ntz] "=r" (ntz)
559                : [high] "r" (i >> 32)
560                : "cc");
561           ntz += 32;
562         }
563       else
564         {
565           ntz = 64;
566         }
567     }
568
569   if (ntz < OCB_L_TABLE_SIZE)
570     {
571       l = c->u_mode.ocb.L[ntz];
572     }
573   else
574     {
575       /* Store Offset & Checksum before calling external function */
576       asm volatile ("movdqu %%xmm7, %[iv]\n\t"
577                     "movdqu %%xmm6, %[ctr]\n\t"
578                     : [iv] "=m" (*iv),
579                       [ctr] "=m" (*ctr)
580                     :
581                     : "memory" );
582
583       /* Restore SSSE3 state. */
584       vpaes_ssse3_cleanup();
585
586       l = _gcry_cipher_ocb_get_l (c, l_tmp, i);
587
588       /* Save SSSE3 state. */
589       if (encrypt)
590         {
591           vpaes_ssse3_prepare_enc (*aes_const_ptr);
592         }
593       else
594         {
595           vpaes_ssse3_prepare_dec (*aes_const_ptr);
596         }
597
598       /* Restore Offset & Checksum */
599       asm volatile ("movdqu %[iv], %%xmm7\n\t"
600                     "movdqu %[ctr], %%xmm6\n\t"
601                     : /* No output */
602                     : [iv] "m" (*iv),
603                       [ctr] "m" (*ctr)
604                     : "memory" );
605     }
606
607   return l;
608 }
609
610
611 static void
612 ssse3_ocb_enc (gcry_cipher_hd_t c, void *outbuf_arg,
613                const void *inbuf_arg, size_t nblocks)
614 {
615   union { unsigned char x1[16] ATTR_ALIGNED_16; u32 x32[4]; } l_tmp;
616   RIJNDAEL_context *ctx = (void *)&c->context.c;
617   unsigned char *outbuf = outbuf_arg;
618   const unsigned char *inbuf = inbuf_arg;
619   u64 n = c->u_mode.ocb.data_nblocks;
620   unsigned int nrounds = ctx->rounds;
621   const void *aes_const_ptr;
622   byte ssse3_state[SSSE3_STATE_SIZE];
623
624   vpaes_ssse3_prepare_enc (aes_const_ptr);
625
626   /* Preload Offset and Checksum */
627   asm volatile ("movdqu %[iv], %%xmm7\n\t"
628                 "movdqu %[ctr], %%xmm6\n\t"
629                 : /* No output */
630                 : [iv] "m" (*c->u_iv.iv),
631                   [ctr] "m" (*c->u_ctr.ctr)
632                 : "memory" );
633
634   for ( ;nblocks; nblocks-- )
635     {
636       const unsigned char *l;
637
638       l = get_l(c, l_tmp.x1, ++n, c->u_iv.iv, c->u_ctr.ctr, &aes_const_ptr,
639                 ssse3_state, 1);
640
641       /* Offset_i = Offset_{i-1} xor L_{ntz(i)} */
642       /* Checksum_i = Checksum_{i-1} xor P_i  */
643       /* C_i = Offset_i xor ENCIPHER(K, P_i xor Offset_i)  */
644       asm volatile ("movdqu %[l],     %%xmm1\n\t"
645                     "movdqu %[inbuf], %%xmm0\n\t"
646                     "pxor   %%xmm1,   %%xmm7\n\t"
647                     "pxor   %%xmm0,   %%xmm6\n\t"
648                     "pxor   %%xmm7,   %%xmm0\n\t"
649                     :
650                     : [l] "m" (*l),
651                       [inbuf] "m" (*inbuf)
652                     : "memory" );
653
654       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
655
656       asm volatile ("pxor   %%xmm7, %%xmm0\n\t"
657                     "movdqu %%xmm0, %[outbuf]\n\t"
658                     : [outbuf] "=m" (*outbuf)
659                     :
660                     : "memory" );
661
662       inbuf += BLOCKSIZE;
663       outbuf += BLOCKSIZE;
664     }
665
666   c->u_mode.ocb.data_nblocks = n;
667   asm volatile ("movdqu %%xmm7, %[iv]\n\t"
668                 "movdqu %%xmm6, %[ctr]\n\t"
669                 : [iv] "=m" (*c->u_iv.iv),
670                   [ctr] "=m" (*c->u_ctr.ctr)
671                 :
672                 : "memory" );
673
674   wipememory(&l_tmp, sizeof(l_tmp));
675   vpaes_ssse3_cleanup ();
676 }
677
678 static void
679 ssse3_ocb_dec (gcry_cipher_hd_t c, void *outbuf_arg,
680                const void *inbuf_arg, size_t nblocks)
681 {
682   union { unsigned char x1[16] ATTR_ALIGNED_16; u32 x32[4]; } l_tmp;
683   RIJNDAEL_context *ctx = (void *)&c->context.c;
684   unsigned char *outbuf = outbuf_arg;
685   const unsigned char *inbuf = inbuf_arg;
686   u64 n = c->u_mode.ocb.data_nblocks;
687   unsigned int nrounds = ctx->rounds;
688   const void *aes_const_ptr;
689   byte ssse3_state[SSSE3_STATE_SIZE];
690
691   vpaes_ssse3_prepare_dec (aes_const_ptr);
692
693   /* Preload Offset and Checksum */
694   asm volatile ("movdqu %[iv], %%xmm7\n\t"
695                 "movdqu %[ctr], %%xmm6\n\t"
696                 : /* No output */
697                 : [iv] "m" (*c->u_iv.iv),
698                   [ctr] "m" (*c->u_ctr.ctr)
699                 : "memory" );
700
701   for ( ;nblocks; nblocks-- )
702     {
703       const unsigned char *l;
704
705       l = get_l(c, l_tmp.x1, ++n, c->u_iv.iv, c->u_ctr.ctr, &aes_const_ptr,
706                 ssse3_state, 0);
707
708       /* Offset_i = Offset_{i-1} xor L_{ntz(i)} */
709       /* P_i = Offset_i xor DECIPHER(K, C_i xor Offset_i)  */
710       /* Checksum_i = Checksum_{i-1} xor P_i  */
711       asm volatile ("movdqu %[l],     %%xmm1\n\t"
712                     "movdqu %[inbuf], %%xmm0\n\t"
713                     "pxor   %%xmm1,   %%xmm7\n\t"
714                     "pxor   %%xmm7,   %%xmm0\n\t"
715                     :
716                     : [l] "m" (*l),
717                       [inbuf] "m" (*inbuf)
718                     : "memory" );
719
720       do_vpaes_ssse3_dec (ctx, nrounds, aes_const_ptr);
721
722       asm volatile ("pxor   %%xmm7, %%xmm0\n\t"
723                     "pxor   %%xmm0, %%xmm6\n\t"
724                     "movdqu %%xmm0, %[outbuf]\n\t"
725                     : [outbuf] "=m" (*outbuf)
726                     :
727                     : "memory" );
728
729       inbuf += BLOCKSIZE;
730       outbuf += BLOCKSIZE;
731     }
732
733   c->u_mode.ocb.data_nblocks = n;
734   asm volatile ("movdqu %%xmm7, %[iv]\n\t"
735                 "movdqu %%xmm6, %[ctr]\n\t"
736                 : [iv] "=m" (*c->u_iv.iv),
737                   [ctr] "=m" (*c->u_ctr.ctr)
738                 :
739                 : "memory" );
740
741   wipememory(&l_tmp, sizeof(l_tmp));
742   vpaes_ssse3_cleanup ();
743 }
744
745
746 void
747 _gcry_aes_ssse3_ocb_crypt(gcry_cipher_hd_t c, void *outbuf_arg,
748                           const void *inbuf_arg, size_t nblocks, int encrypt)
749 {
750   if (encrypt)
751     ssse3_ocb_enc(c, outbuf_arg, inbuf_arg, nblocks);
752   else
753     ssse3_ocb_dec(c, outbuf_arg, inbuf_arg, nblocks);
754 }
755
756
757 void
758 _gcry_aes_ssse3_ocb_auth (gcry_cipher_hd_t c, const void *abuf_arg,
759                           size_t nblocks)
760 {
761   union { unsigned char x1[16] ATTR_ALIGNED_16; u32 x32[4]; } l_tmp;
762   RIJNDAEL_context *ctx = (void *)&c->context.c;
763   const unsigned char *abuf = abuf_arg;
764   u64 n = c->u_mode.ocb.aad_nblocks;
765   unsigned int nrounds = ctx->rounds;
766   const void *aes_const_ptr;
767   byte ssse3_state[SSSE3_STATE_SIZE];
768
769   vpaes_ssse3_prepare_enc (aes_const_ptr);
770
771   /* Preload Offset and Sum */
772   asm volatile ("movdqu %[iv], %%xmm7\n\t"
773                 "movdqu %[ctr], %%xmm6\n\t"
774                 : /* No output */
775                 : [iv] "m" (*c->u_mode.ocb.aad_offset),
776                   [ctr] "m" (*c->u_mode.ocb.aad_sum)
777                 : "memory" );
778
779   for ( ;nblocks; nblocks-- )
780     {
781       const unsigned char *l;
782
783       l = get_l(c, l_tmp.x1, ++n, c->u_mode.ocb.aad_offset,
784                 c->u_mode.ocb.aad_sum, &aes_const_ptr, ssse3_state, 1);
785
786       /* Offset_i = Offset_{i-1} xor L_{ntz(i)} */
787       /* Sum_i = Sum_{i-1} xor ENCIPHER(K, A_i xor Offset_i)  */
788       asm volatile ("movdqu %[l],     %%xmm1\n\t"
789                     "movdqu %[abuf],  %%xmm0\n\t"
790                     "pxor   %%xmm1,   %%xmm7\n\t"
791                     "pxor   %%xmm7,   %%xmm0\n\t"
792                     :
793                     : [l] "m" (*l),
794                       [abuf] "m" (*abuf)
795                     : "memory" );
796
797       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
798
799       asm volatile ("pxor   %%xmm0,   %%xmm6\n\t"
800                     :
801                     :
802                     : "memory" );
803
804       abuf += BLOCKSIZE;
805     }
806
807   c->u_mode.ocb.aad_nblocks = n;
808   asm volatile ("movdqu %%xmm7, %[iv]\n\t"
809                 "movdqu %%xmm6, %[ctr]\n\t"
810                 : [iv] "=m" (*c->u_mode.ocb.aad_offset),
811                   [ctr] "=m" (*c->u_mode.ocb.aad_sum)
812                 :
813                 : "memory" );
814
815   wipememory(&l_tmp, sizeof(l_tmp));
816   vpaes_ssse3_cleanup ();
817 }
818
819
820 #ifdef HAVE_COMPATIBLE_GCC_WIN64_PLATFORM_AS
821 # define X(...)
822 #else
823 # define X(...) __VA_ARGS__
824 #endif
825
826 asm (
827   "\n\t" "##"
828   "\n\t" "## Constant-time SSSE3 AES core implementation."
829   "\n\t" "##"
830   "\n\t" "## By Mike Hamburg (Stanford University), 2009"
831   "\n\t" "## Public domain."
832   "\n\t" "##"
833
834   "\n\t" ".text"
835
836   "\n\t" "##"
837   "\n\t" "##  _aes_encrypt_core"
838   "\n\t" "##"
839   "\n\t" "##  AES-encrypt %xmm0."
840   "\n\t" "##"
841   "\n\t" "##  Inputs:"
842   "\n\t" "##     %xmm0 = input"
843   "\n\t" "##     %xmm9-%xmm15 as in .Laes_preheat"
844   "\n\t" "##     %rcx  = .Laes_consts"
845   "\n\t" "##    (%rdx) = scheduled keys"
846   "\n\t" "##     %rax  = nrounds - 1"
847   "\n\t" "##"
848   "\n\t" "##  Output in %xmm0"
849   "\n\t" "##  Clobbers  %xmm1-%xmm4, %r9, %r11, %rax"
850   "\n\t" "##  Preserves %xmm6 - %xmm7 so you get some local vectors"
851   "\n\t" "##"
852   "\n\t" "##"
853   "\n\t" ".align 16"
854 X("\n\t" ".type _aes_encrypt_core,@function")
855   "\n\t" "_aes_encrypt_core:"
856   "\n\t" "      leaq    .Lk_mc_backward(%rcx), %rdi"
857   "\n\t" "      mov     $16,    %rsi"
858   "\n\t" "      movdqa  .Lk_ipt   (%rcx), %xmm2 # iptlo"
859   "\n\t" "      movdqa  %xmm9,  %xmm1"
860   "\n\t" "      pandn   %xmm0,  %xmm1"
861   "\n\t" "      psrld   $4,     %xmm1"
862   "\n\t" "      pand    %xmm9,  %xmm0"
863   "\n\t" "      pshufb  %xmm0,  %xmm2"
864   "\n\t" "      movdqa  .Lk_ipt+16(%rcx), %xmm0 # ipthi"
865   "\n\t" "      pshufb  %xmm1,  %xmm0"
866   "\n\t" "      pxor    (%rdx),%xmm2"
867   "\n\t" "      pxor    %xmm2,  %xmm0"
868   "\n\t" "      add     $16,    %rdx"
869   "\n\t" "      jmp     .Laes_entry"
870
871   "\n\t" ".align 8"
872   "\n\t" ".Laes_loop:"
873   "\n\t" "      # middle of middle round"
874   "\n\t" "      movdqa  %xmm13, %xmm4   # 4 : sb1u"
875   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sb1u"
876   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
877   "\n\t" "      movdqa  %xmm12, %xmm0   # 0 : sb1t"
878   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
879   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
880   "\n\t" "      movdqa  %xmm15, %xmm4   # 4 : sb2u"
881   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sb2u"
882   "\n\t" "      movdqa  .Lk_mc_forward-.Lk_mc_backward(%rsi,%rdi), %xmm1"
883   "\n\t" "      movdqa  %xmm14, %xmm2   # 2 : sb2t"
884   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = sb2t"
885   "\n\t" "      pxor    %xmm4,  %xmm2   # 2 = 2A"
886   "\n\t" "      movdqa  %xmm0,  %xmm3   # 3 = A"
887   "\n\t" "      pshufb  %xmm1,  %xmm0   # 0 = B"
888   "\n\t" "      pxor    %xmm2,  %xmm0   # 0 = 2A+B"
889   "\n\t" "      pshufb  (%rsi,%rdi), %xmm3  # 3 = D"
890   "\n\t" "      lea     16(%esi),%esi   # next mc"
891   "\n\t" "      pxor    %xmm0,  %xmm3   # 3 = 2A+B+D"
892   "\n\t" "      lea     16(%rdx),%rdx   # next key"
893   "\n\t" "      pshufb  %xmm1,  %xmm0   # 0 = 2B+C"
894   "\n\t" "      pxor    %xmm3,  %xmm0   # 0 = 2A+3B+C+D"
895   "\n\t" "      and     $48, %rsi       # ... mod 4"
896   "\n\t" "      dec     %rax            # nr--"
897
898   "\n\t" ".Laes_entry:"
899   "\n\t" "      # top of round"
900   "\n\t" "      movdqa  %xmm9,  %xmm1   # 1 : i"
901   "\n\t" "      pandn   %xmm0,  %xmm1   # 1 = i<<4"
902   "\n\t" "      psrld   $4,     %xmm1   # 1 = i"
903   "\n\t" "      pand    %xmm9,  %xmm0   # 0 = k"
904   "\n\t" "      movdqa  %xmm11, %xmm2   # 2 : a/k"
905   "\n\t" "      pshufb  %xmm0,  %xmm2   # 2 = a/k"
906   "\n\t" "      pxor    %xmm1,  %xmm0   # 0 = j"
907   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/i"
908   "\n\t" "      pshufb  %xmm1,  %xmm3   # 3 = 1/i"
909   "\n\t" "      pxor    %xmm2,  %xmm3   # 3 = iak = 1/i + a/k"
910   "\n\t" "      movdqa  %xmm10, %xmm4   # 4 : 1/j"
911   "\n\t" "      pshufb  %xmm0,  %xmm4   # 4 = 1/j"
912   "\n\t" "      pxor    %xmm2,  %xmm4   # 4 = jak = 1/j + a/k"
913   "\n\t" "      movdqa  %xmm10, %xmm2   # 2 : 1/iak"
914   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = 1/iak"
915   "\n\t" "      pxor    %xmm0,  %xmm2   # 2 = io"
916   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/jak"
917   "\n\t" "      pshufb  %xmm4,  %xmm3   # 3 = 1/jak"
918   "\n\t" "      pxor    %xmm1,  %xmm3   # 3 = jo"
919   "\n\t" "      jnz     .Laes_loop"
920
921   "\n\t" "      # middle of last round"
922   "\n\t" "      movdqa  .Lk_sbo(%rcx), %xmm4    # 3 : sbou"
923   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sbou"
924   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
925   "\n\t" "      movdqa  .Lk_sbo+16(%rcx), %xmm0 # 0 : sbot"
926   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
927   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
928   "\n\t" "      pshufb  .Lk_sr(%rsi,%rcx), %xmm0"
929   "\n\t" "      ret"
930 X("\n\t" ".size _aes_encrypt_core,.-_aes_encrypt_core")
931
932   "\n\t" "##"
933   "\n\t" "##  Decryption core"
934   "\n\t" "##"
935   "\n\t" "##  Same API as encryption core."
936   "\n\t" "##"
937   "\n\t" ".align 16"
938 X("\n\t" ".type _aes_decrypt_core,@function")
939   "\n\t" "_aes_decrypt_core:"
940   "\n\t" "      movl    %eax,   %esi"
941   "\n\t" "      shll    $4,     %esi"
942   "\n\t" "      xorl    $48,    %esi"
943   "\n\t" "      andl    $48,    %esi"
944   "\n\t" "      movdqa  .Lk_dipt   (%rcx), %xmm2 # iptlo"
945   "\n\t" "      movdqa  %xmm9,  %xmm1"
946   "\n\t" "      pandn   %xmm0,  %xmm1"
947   "\n\t" "      psrld   $4,     %xmm1"
948   "\n\t" "      pand    %xmm9,  %xmm0"
949   "\n\t" "      pshufb  %xmm0,  %xmm2"
950   "\n\t" "      movdqa  .Lk_dipt+16(%rcx), %xmm0 # ipthi"
951   "\n\t" "      pshufb  %xmm1,  %xmm0"
952   "\n\t" "      pxor    (%rdx), %xmm2"
953   "\n\t" "      pxor    %xmm2,  %xmm0"
954   "\n\t" "      movdqa  .Lk_mc_forward+48(%rcx), %xmm5"
955   "\n\t" "      lea     16(%rdx), %rdx"
956   "\n\t" "      neg     %rax"
957   "\n\t" "      jmp     .Laes_dec_entry"
958
959   "\n\t" ".align 16"
960   "\n\t" ".Laes_dec_loop:"
961   "\n\t" "##"
962   "\n\t" "##  Inverse mix columns"
963   "\n\t" "##"
964   "\n\t" "      movdqa  %xmm13, %xmm4           # 4 : sb9u"
965   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sb9u"
966   "\n\t" "      pxor    (%rdx), %xmm4"
967   "\n\t" "      movdqa  %xmm12, %xmm0           # 0 : sb9t"
968   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sb9t"
969   "\n\t" "      movdqa  .Lk_dsbd+16(%rcx),%xmm1 # 1 : sbdt"
970   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
971   "\n\t" "      lea     16(%rdx), %rdx          # next round key"
972
973   "\n\t" "      pshufb  %xmm5,  %xmm0           # MC ch"
974   "\n\t" "      movdqa  %xmm15, %xmm4           # 4 : sbdu"
975   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbdu"
976   "\n\t" "      pxor    %xmm0,  %xmm4           # 4 = ch"
977   "\n\t" "      pshufb  %xmm3,  %xmm1           # 1 = sbdt"
978   "\n\t" "      pxor    %xmm4,  %xmm1           # 1 = ch"
979
980   "\n\t" "      pshufb  %xmm5,  %xmm1           # MC ch"
981   "\n\t" "      movdqa  %xmm14, %xmm4           # 4 : sbbu"
982   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbbu"
983   "\n\t" "      inc     %rax                    # nr--"
984   "\n\t" "      pxor    %xmm1,  %xmm4           # 4 = ch"
985   "\n\t" "      movdqa  .Lk_dsbb+16(%rcx),%xmm0 # 0 : sbbt"
986   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sbbt"
987   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
988
989   "\n\t" "      pshufb  %xmm5,  %xmm0           # MC ch"
990   "\n\t" "      movdqa  %xmm8,  %xmm4           # 4 : sbeu"
991   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbeu"
992   "\n\t" "      pshufd  $0x93,  %xmm5,  %xmm5"
993   "\n\t" "      pxor    %xmm0,  %xmm4           # 4 = ch"
994   "\n\t" "      movdqa  .Lk_dsbe+16(%rcx),%xmm0 # 0 : sbet"
995   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sbet"
996   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
997
998   "\n\t" ".Laes_dec_entry:"
999   "\n\t" "      # top of round"
1000   "\n\t" "      movdqa  %xmm9,  %xmm1   # 1 : i"
1001   "\n\t" "      pandn   %xmm0,  %xmm1   # 1 = i<<4"
1002   "\n\t" "      psrld   $4,     %xmm1   # 1 = i"
1003   "\n\t" "      pand    %xmm9,  %xmm0   # 0 = k"
1004   "\n\t" "      movdqa  %xmm11, %xmm2   # 2 : a/k"
1005   "\n\t" "      pshufb  %xmm0,  %xmm2   # 2 = a/k"
1006   "\n\t" "      pxor    %xmm1,  %xmm0   # 0 = j"
1007   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/i"
1008   "\n\t" "      pshufb  %xmm1,  %xmm3   # 3 = 1/i"
1009   "\n\t" "      pxor    %xmm2,  %xmm3   # 3 = iak = 1/i + a/k"
1010   "\n\t" "      movdqa  %xmm10, %xmm4   # 4 : 1/j"
1011   "\n\t" "      pshufb  %xmm0,  %xmm4   # 4 = 1/j"
1012   "\n\t" "      pxor    %xmm2,  %xmm4   # 4 = jak = 1/j + a/k"
1013   "\n\t" "      movdqa  %xmm10, %xmm2   # 2 : 1/iak"
1014   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = 1/iak"
1015   "\n\t" "      pxor    %xmm0,  %xmm2   # 2 = io"
1016   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/jak"
1017   "\n\t" "      pshufb  %xmm4,  %xmm3   # 3 = 1/jak"
1018   "\n\t" "      pxor    %xmm1,  %xmm3   # 3 = jo"
1019   "\n\t" "      jnz     .Laes_dec_loop"
1020
1021   "\n\t" "      # middle of last round"
1022   "\n\t" "      movdqa  .Lk_dsbo(%rcx), %xmm4           # 3 : sbou"
1023   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sbou"
1024   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
1025   "\n\t" "      movdqa  .Lk_dsbo+16(%rcx), %xmm0        # 0 : sbot"
1026   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
1027   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
1028   "\n\t" "      pshufb  .Lk_sr(%rsi,%rcx), %xmm0"
1029   "\n\t" "      ret"
1030 X("\n\t" ".size _aes_decrypt_core,.-_aes_decrypt_core")
1031
1032   "\n\t" "########################################################"
1033   "\n\t" "##                                                    ##"
1034   "\n\t" "##                  AES key schedule                  ##"
1035   "\n\t" "##                                                    ##"
1036   "\n\t" "########################################################"
1037
1038   "\n\t" ".align 16"
1039 X("\n\t" ".type _aes_schedule_core,@function")
1040   "\n\t" "_aes_schedule_core:"
1041   "\n\t" "      # rdi = key"
1042   "\n\t" "      # rsi = size in bits"
1043   "\n\t" "      # rdx = buffer"
1044   "\n\t" "      # rcx = direction.  0=encrypt, 1=decrypt"
1045
1046   "\n\t" "      # load the tables"
1047   "\n\t" "      lea     .Laes_consts(%rip), %r10"
1048   "\n\t" "      movdqa            (%r10), %xmm9  # 0F"
1049   "\n\t" "      movdqa  .Lk_inv   (%r10), %xmm10 # inv"
1050   "\n\t" "      movdqa  .Lk_inv+16(%r10), %xmm11 # inva"
1051   "\n\t" "      movdqa  .Lk_sb1   (%r10), %xmm13 # sb1u"
1052   "\n\t" "      movdqa  .Lk_sb1+16(%r10), %xmm12 # sb1t"
1053   "\n\t" "      movdqa  .Lk_sb2   (%r10), %xmm15 # sb2u"
1054   "\n\t" "      movdqa  .Lk_sb2+16(%r10), %xmm14 # sb2t"
1055
1056   "\n\t" "      movdqa  .Lk_rcon(%r10), %xmm8   # load rcon"
1057   "\n\t" "      movdqu  (%rdi), %xmm0           # load key (unaligned)"
1058
1059   "\n\t" "      # input transform"
1060   "\n\t" "      movdqu  %xmm0,  %xmm3"
1061   "\n\t" "      lea     .Lk_ipt(%r10), %r11"
1062   "\n\t" "      call    .Laes_schedule_transform"
1063   "\n\t" "      movdqu  %xmm0,  %xmm7"
1064
1065   "\n\t" "      test    %rcx,   %rcx"
1066   "\n\t" "      jnz     .Laes_schedule_am_decrypting"
1067
1068   "\n\t" "      # encrypting, output zeroth round key after transform"
1069   "\n\t" "      movdqa  %xmm0,  (%rdx)"
1070   "\n\t" "      jmp     .Laes_schedule_go"
1071
1072   "\n\t" ".Laes_schedule_am_decrypting:"
1073   "\n\t" "      # decrypting, output zeroth round key after shiftrows"
1074   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm3"
1075   "\n\t" "      movdqa  %xmm3,  (%rdx)"
1076   "\n\t" "      xor     $48,    %r8"
1077
1078   "\n\t" ".Laes_schedule_go:"
1079   "\n\t" "      cmp     $192,   %rsi"
1080   "\n\t" "      je      .Laes_schedule_192"
1081   "\n\t" "      cmp     $256,   %rsi"
1082   "\n\t" "      je      .Laes_schedule_256"
1083   "\n\t" "      # 128: fall though"
1084
1085   "\n\t" "##"
1086   "\n\t" "##  .Laes_schedule_128"
1087   "\n\t" "##"
1088   "\n\t" "##  128-bit specific part of key schedule."
1089   "\n\t" "##"
1090   "\n\t" "##  This schedule is really simple, because all its parts"
1091   "\n\t" "##  are accomplished by the subroutines."
1092   "\n\t" "##"
1093   "\n\t" ".Laes_schedule_128:"
1094   "\n\t" "      mov     $10, %rsi"
1095
1096   "\n\t" ".Laes_schedule_128_L:"
1097   "\n\t" "      call    .Laes_schedule_round"
1098   "\n\t" "      dec     %rsi"
1099   "\n\t" "      jz      .Laes_schedule_mangle_last"
1100   "\n\t" "      call    .Laes_schedule_mangle   # write output"
1101   "\n\t" "      jmp     .Laes_schedule_128_L"
1102
1103   "\n\t" "##"
1104   "\n\t" "##  .Laes_schedule_192"
1105   "\n\t" "##"
1106   "\n\t" "##  192-bit specific part of key schedule."
1107   "\n\t" "##"
1108   "\n\t" "##  The main body of this schedule is the same as the 128-bit"
1109   "\n\t" "##  schedule, but with more smearing.  The long, high side is"
1110   "\n\t" "##  stored in %xmm7 as before, and the short, low side is in"
1111   "\n\t" "##  the high bits of %xmm6."
1112   "\n\t" "##"
1113   "\n\t" "##  This schedule is somewhat nastier, however, because each"
1114   "\n\t" "##  round produces 192 bits of key material, or 1.5 round keys."
1115   "\n\t" "##  Therefore, on each cycle we do 2 rounds and produce 3 round"
1116   "\n\t" "##  keys."
1117   "\n\t" "##"
1118   "\n\t" ".Laes_schedule_192:"
1119   "\n\t" "      movdqu  8(%rdi),%xmm0           # load key part 2 (very unaligned)"
1120   "\n\t" "      call    .Laes_schedule_transform        # input transform"
1121   "\n\t" "      pshufd  $0x0E,  %xmm0,  %xmm6"
1122   "\n\t" "      pslldq  $8,     %xmm6           # clobber low side with zeros"
1123   "\n\t" "      mov     $4,     %rsi"
1124
1125   "\n\t" ".Laes_schedule_192_L:"
1126   "\n\t" "      call    .Laes_schedule_round"
1127   "\n\t" "      palignr $8,%xmm6,%xmm0  "
1128   "\n\t" "      call    .Laes_schedule_mangle   # save key n"
1129   "\n\t" "      call    .Laes_schedule_192_smear"
1130   "\n\t" "      call    .Laes_schedule_mangle   # save key n+1"
1131   "\n\t" "      call    .Laes_schedule_round"
1132   "\n\t" "      dec     %rsi"
1133   "\n\t" "      jz      .Laes_schedule_mangle_last"
1134   "\n\t" "      call    .Laes_schedule_mangle   # save key n+2"
1135   "\n\t" "      call    .Laes_schedule_192_smear"
1136   "\n\t" "      jmp     .Laes_schedule_192_L"
1137
1138   "\n\t" "##"
1139   "\n\t" "##  .Laes_schedule_192_smear"
1140   "\n\t" "##"
1141   "\n\t" "##  Smear the short, low side in the 192-bit key schedule."
1142   "\n\t" "##"
1143   "\n\t" "##  Inputs:"
1144   "\n\t" "##    %xmm7: high side, b  a  x  y"
1145   "\n\t" "##    %xmm6:  low side, d  c  0  0"
1146   "\n\t" "##    %xmm13: 0"
1147   "\n\t" "##"
1148   "\n\t" "##  Outputs:"
1149   "\n\t" "##    %xmm6: b+c+d  b+c  0  0"
1150   "\n\t" "##    %xmm0: b+c+d  b+c  b  a"
1151   "\n\t" "##"
1152   "\n\t" ".Laes_schedule_192_smear:"
1153   "\n\t" "      pshufd  $0x80,  %xmm6,  %xmm0   # d c 0 0 -> c 0 0 0"
1154   "\n\t" "      pxor    %xmm0,  %xmm6           # -> c+d c 0 0"
1155   "\n\t" "      pshufd  $0xFE,  %xmm7,  %xmm0   # b a _ _ -> b b b a"
1156   "\n\t" "      pxor    %xmm6,  %xmm0           # -> b+c+d b+c b a"
1157   "\n\t" "      pshufd  $0x0E,  %xmm0,  %xmm6"
1158   "\n\t" "      pslldq  $8,     %xmm6           # clobber low side with zeros"
1159   "\n\t" "      ret"
1160
1161   "\n\t" "##"
1162   "\n\t" "##  .Laes_schedule_256"
1163   "\n\t" "##"
1164   "\n\t" "##  256-bit specific part of key schedule."
1165   "\n\t" "##"
1166   "\n\t" "##  The structure here is very similar to the 128-bit"
1167   "\n\t" "##  schedule, but with an additional 'low side' in"
1168   "\n\t" "##  %xmm6.  The low side's rounds are the same as the"
1169   "\n\t" "##  high side's, except no rcon and no rotation."
1170   "\n\t" "##"
1171   "\n\t" ".Laes_schedule_256:"
1172   "\n\t" "      movdqu  16(%rdi),%xmm0          # load key part 2 (unaligned)"
1173   "\n\t" "      call    .Laes_schedule_transform        # input transform"
1174   "\n\t" "      mov     $7, %rsi"
1175
1176   "\n\t" ".Laes_schedule_256_L:"
1177   "\n\t" "      call    .Laes_schedule_mangle   # output low result"
1178   "\n\t" "      movdqa  %xmm0,  %xmm6           # save cur_lo in xmm6"
1179
1180   "\n\t" "      # high round"
1181   "\n\t" "      call    .Laes_schedule_round"
1182   "\n\t" "      dec     %rsi"
1183   "\n\t" "      jz      .Laes_schedule_mangle_last"
1184   "\n\t" "      call    .Laes_schedule_mangle   "
1185
1186   "\n\t" "      # low round. swap xmm7 and xmm6"
1187   "\n\t" "      pshufd  $0xFF,  %xmm0,  %xmm0"
1188   "\n\t" "      movdqa  %xmm7,  %xmm5"
1189   "\n\t" "      movdqa  %xmm6,  %xmm7"
1190   "\n\t" "      call    .Laes_schedule_low_round"
1191   "\n\t" "      movdqa  %xmm5,  %xmm7"
1192
1193   "\n\t" "      jmp     .Laes_schedule_256_L"
1194
1195   "\n\t" "##"
1196   "\n\t" "##  .Laes_schedule_round"
1197   "\n\t" "##"
1198   "\n\t" "##  Runs one main round of the key schedule on %xmm0, %xmm7"
1199   "\n\t" "##"
1200   "\n\t" "##  Specifically, runs subbytes on the high dword of %xmm0"
1201   "\n\t" "##  then rotates it by one byte and xors into the low dword of"
1202   "\n\t" "##  %xmm7."
1203   "\n\t" "##"
1204   "\n\t" "##  Adds rcon from low byte of %xmm8, then rotates %xmm8 for"
1205   "\n\t" "##  next rcon."
1206   "\n\t" "##"
1207   "\n\t" "##  Smears the dwords of %xmm7 by xoring the low into the"
1208   "\n\t" "##  second low, result into third, result into highest."
1209   "\n\t" "##"
1210   "\n\t" "##  Returns results in %xmm7 = %xmm0."
1211   "\n\t" "##  Clobbers %xmm1-%xmm4, %r11."
1212   "\n\t" "##"
1213   "\n\t" ".Laes_schedule_round:"
1214   "\n\t" "      # extract rcon from xmm8"
1215   "\n\t" "      pxor    %xmm1,  %xmm1"
1216   "\n\t" "      palignr $15,    %xmm8,  %xmm1"
1217   "\n\t" "      palignr $15,    %xmm8,  %xmm8"
1218   "\n\t" "      pxor    %xmm1,  %xmm7"
1219
1220   "\n\t" "      # rotate"
1221   "\n\t" "      pshufd  $0xFF,  %xmm0,  %xmm0"
1222   "\n\t" "      palignr $1,     %xmm0,  %xmm0"
1223
1224   "\n\t" "      # fall through..."
1225
1226   "\n\t" "      # low round: same as high round, but no rotation and no rcon."
1227   "\n\t" ".Laes_schedule_low_round:"
1228   "\n\t" "      # smear xmm7"
1229   "\n\t" "      movdqa  %xmm7,  %xmm1"
1230   "\n\t" "      pslldq  $4,     %xmm7"
1231   "\n\t" "      pxor    %xmm1,  %xmm7"
1232   "\n\t" "      movdqa  %xmm7,  %xmm1"
1233   "\n\t" "      pslldq  $8,     %xmm7"
1234   "\n\t" "      pxor    %xmm1,  %xmm7"
1235   "\n\t" "      pxor    .Lk_s63(%r10), %xmm7"
1236
1237   "\n\t" "      # subbytes"
1238   "\n\t" "      movdqa  %xmm9,  %xmm1"
1239   "\n\t" "      pandn   %xmm0,  %xmm1"
1240   "\n\t" "      psrld   $4,     %xmm1           # 1 = i"
1241   "\n\t" "      pand    %xmm9,  %xmm0           # 0 = k"
1242   "\n\t" "      movdqa  %xmm11, %xmm2           # 2 : a/k"
1243   "\n\t" "      pshufb  %xmm0,  %xmm2           # 2 = a/k"
1244   "\n\t" "      pxor    %xmm1,  %xmm0           # 0 = j"
1245   "\n\t" "      movdqa  %xmm10, %xmm3           # 3 : 1/i"
1246   "\n\t" "      pshufb  %xmm1,  %xmm3           # 3 = 1/i"
1247   "\n\t" "      pxor    %xmm2,  %xmm3           # 3 = iak = 1/i + a/k"
1248   "\n\t" "      movdqa  %xmm10, %xmm4           # 4 : 1/j"
1249   "\n\t" "      pshufb  %xmm0,  %xmm4           # 4 = 1/j"
1250   "\n\t" "      pxor    %xmm2,  %xmm4           # 4 = jak = 1/j + a/k"
1251   "\n\t" "      movdqa  %xmm10, %xmm2           # 2 : 1/iak"
1252   "\n\t" "      pshufb  %xmm3,  %xmm2           # 2 = 1/iak"
1253   "\n\t" "      pxor    %xmm0,  %xmm2           # 2 = io"
1254   "\n\t" "      movdqa  %xmm10, %xmm3           # 3 : 1/jak"
1255   "\n\t" "      pshufb  %xmm4,  %xmm3           # 3 = 1/jak"
1256   "\n\t" "      pxor    %xmm1,  %xmm3           # 3 = jo"
1257   "\n\t" "      movdqa  .Lk_sb1(%r10), %xmm4    # 4 : sbou"
1258   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbou"
1259   "\n\t" "      movdqa  .Lk_sb1+16(%r10), %xmm0 # 0 : sbot"
1260   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sb1t"
1261   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = sbox output"
1262
1263   "\n\t" "      # add in smeared stuff"
1264   "\n\t" "      pxor    %xmm7,  %xmm0   "
1265   "\n\t" "      movdqa  %xmm0,  %xmm7"
1266   "\n\t" "      ret"
1267
1268   "\n\t" "##"
1269   "\n\t" "##  .Laes_schedule_transform"
1270   "\n\t" "##"
1271   "\n\t" "##  Linear-transform %xmm0 according to tables at (%r11)"
1272   "\n\t" "##"
1273   "\n\t" "##  Requires that %xmm9 = 0x0F0F... as in preheat"
1274   "\n\t" "##  Output in %xmm0"
1275   "\n\t" "##  Clobbers %xmm1, %xmm2"
1276   "\n\t" "##"
1277   "\n\t" ".Laes_schedule_transform:"
1278   "\n\t" "      movdqa  %xmm9,  %xmm1"
1279   "\n\t" "      pandn   %xmm0,  %xmm1"
1280   "\n\t" "      psrld   $4,     %xmm1"
1281   "\n\t" "      pand    %xmm9,  %xmm0"
1282   "\n\t" "      movdqa  (%r11), %xmm2   # lo"
1283   "\n\t" "      pshufb  %xmm0,  %xmm2"
1284   "\n\t" "      movdqa  16(%r11), %xmm0 # hi"
1285   "\n\t" "      pshufb  %xmm1,  %xmm0"
1286   "\n\t" "      pxor    %xmm2,  %xmm0"
1287   "\n\t" "      ret"
1288
1289   "\n\t" "##"
1290   "\n\t" "##  .Laes_schedule_mangle"
1291   "\n\t" "##"
1292   "\n\t" "##  Mangle xmm0 from (basis-transformed) standard version"
1293   "\n\t" "##  to our version."
1294   "\n\t" "##"
1295   "\n\t" "##  On encrypt,"
1296   "\n\t" "##    xor with 0x63"
1297   "\n\t" "##    multiply by circulant 0,1,1,1"
1298   "\n\t" "##    apply shiftrows transform"
1299   "\n\t" "##"
1300   "\n\t" "##  On decrypt,"
1301   "\n\t" "##    xor with 0x63"
1302   "\n\t" "##    multiply by 'inverse mixcolumns' circulant E,B,D,9"
1303   "\n\t" "##    deskew"
1304   "\n\t" "##    apply shiftrows transform"
1305   "\n\t" "##"
1306   "\n\t" "##"
1307   "\n\t" "##  Writes out to (%rdx), and increments or decrements it"
1308   "\n\t" "##  Keeps track of round number mod 4 in %r8"
1309   "\n\t" "##  Preserves xmm0"
1310   "\n\t" "##  Clobbers xmm1-xmm5"
1311   "\n\t" "##"
1312   "\n\t" ".Laes_schedule_mangle:"
1313   "\n\t" "      movdqa  %xmm0,  %xmm4   # save xmm0 for later"
1314   "\n\t" "      movdqa  .Lk_mc_forward(%r10),%xmm5"
1315   "\n\t" "      test    %rcx,   %rcx"
1316   "\n\t" "      jnz     .Laes_schedule_mangle_dec"
1317
1318   "\n\t" "      # encrypting"
1319   "\n\t" "      add     $16,    %rdx"
1320   "\n\t" "      pxor    .Lk_s63(%r10),%xmm4"
1321   "\n\t" "      pshufb  %xmm5,  %xmm4"
1322   "\n\t" "      movdqa  %xmm4,  %xmm3"
1323   "\n\t" "      pshufb  %xmm5,  %xmm4"
1324   "\n\t" "      pxor    %xmm4,  %xmm3"
1325   "\n\t" "      pshufb  %xmm5,  %xmm4"
1326   "\n\t" "      pxor    %xmm4,  %xmm3"
1327
1328   "\n\t" "      jmp     .Laes_schedule_mangle_both"
1329
1330   "\n\t" ".Laes_schedule_mangle_dec:"
1331   "\n\t" "      lea     .Lk_dks_1(%r10), %r11   # first table: *9"
1332   "\n\t" "      call    .Laes_schedule_transform"
1333   "\n\t" "      movdqa  %xmm0,  %xmm3"
1334   "\n\t" "      pshufb  %xmm5,  %xmm3"
1335
1336   "\n\t" "      add     $32,    %r11            # next table:  *B"
1337   "\n\t" "      call    .Laes_schedule_transform"
1338   "\n\t" "      pxor    %xmm0,  %xmm3"
1339   "\n\t" "      pshufb  %xmm5,  %xmm3"
1340
1341   "\n\t" "      add     $32,    %r11            # next table:  *D"
1342   "\n\t" "      call    .Laes_schedule_transform"
1343   "\n\t" "      pxor    %xmm0,  %xmm3"
1344   "\n\t" "      pshufb  %xmm5,  %xmm3"
1345
1346   "\n\t" "      add     $32,    %r11            # next table:  *E"
1347   "\n\t" "      call    .Laes_schedule_transform"
1348   "\n\t" "      pxor    %xmm0,  %xmm3"
1349   "\n\t" "      pshufb  %xmm5,  %xmm3"
1350
1351   "\n\t" "      movdqa  %xmm4,  %xmm0           # restore %xmm0"
1352   "\n\t" "      add     $-16,   %rdx"
1353
1354   "\n\t" ".Laes_schedule_mangle_both:"
1355   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm3"
1356   "\n\t" "      add     $-16,   %r8"
1357   "\n\t" "      and     $48,    %r8"
1358   "\n\t" "      movdqa  %xmm3,  (%rdx)"
1359   "\n\t" "      ret"
1360
1361   "\n\t" "##"
1362   "\n\t" "##  .Laes_schedule_mangle_last"
1363   "\n\t" "##"
1364   "\n\t" "##  Mangler for last round of key schedule"
1365   "\n\t" "##  Mangles %xmm0"
1366   "\n\t" "##    when encrypting, outputs out(%xmm0) ^ 63"
1367   "\n\t" "##    when decrypting, outputs unskew(%xmm0)"
1368   "\n\t" "##"
1369   "\n\t" "##  Always called right before return... jumps to cleanup and exits"
1370   "\n\t" "##"
1371   "\n\t" ".Laes_schedule_mangle_last:"
1372   "\n\t" "      # schedule last round key from xmm0"
1373   "\n\t" "      lea     .Lk_deskew(%r10),%r11   # prepare to deskew"
1374   "\n\t" "      test    %rcx,   %rcx"
1375   "\n\t" "      jnz     .Laes_schedule_mangle_last_dec"
1376
1377   "\n\t" "      # encrypting"
1378   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm0  # output permute"
1379   "\n\t" "      lea     .Lk_opt(%r10),  %r11    # prepare to output transform"
1380   "\n\t" "      add     $32,    %rdx"
1381
1382   "\n\t" ".Laes_schedule_mangle_last_dec:"
1383   "\n\t" "      add     $-16,   %rdx"
1384   "\n\t" "      pxor    .Lk_s63(%r10),  %xmm0"
1385   "\n\t" "      call    .Laes_schedule_transform # output transform"
1386   "\n\t" "      movdqa  %xmm0,  (%rdx)          # save last key"
1387
1388   "\n\t" "      #_aes_cleanup"
1389   "\n\t" "      pxor    %xmm0,  %xmm0"
1390   "\n\t" "      pxor    %xmm1,  %xmm1"
1391   "\n\t" "      pxor    %xmm2,  %xmm2"
1392   "\n\t" "      pxor    %xmm3,  %xmm3"
1393   "\n\t" "      pxor    %xmm4,  %xmm4"
1394   "\n\t" "      pxor    %xmm5,  %xmm5"
1395   "\n\t" "      pxor    %xmm6,  %xmm6"
1396   "\n\t" "      pxor    %xmm7,  %xmm7"
1397   "\n\t" "      pxor    %xmm8,  %xmm8"
1398   "\n\t" "      ret"
1399 X("\n\t" ".size _aes_schedule_core,.-_aes_schedule_core")
1400
1401   "\n\t" "########################################################"
1402   "\n\t" "##                                                    ##"
1403   "\n\t" "##                     Constants                      ##"
1404   "\n\t" "##                                                    ##"
1405   "\n\t" "########################################################"
1406
1407   "\n\t" ".align 16"
1408 X("\n\t" ".type _aes_consts,@object")
1409   "\n\t" ".Laes_consts:"
1410   "\n\t" "_aes_consts:"
1411   "\n\t" "      # s0F"
1412   "\n\t" "      .Lk_s0F = .-.Laes_consts"
1413   "\n\t" "      .quad   0x0F0F0F0F0F0F0F0F"
1414   "\n\t" "      .quad   0x0F0F0F0F0F0F0F0F"
1415
1416   "\n\t" "      # input transform (lo, hi)"
1417   "\n\t" "      .Lk_ipt = .-.Laes_consts"
1418   "\n\t" "      .quad   0xC2B2E8985A2A7000"
1419   "\n\t" "      .quad   0xCABAE09052227808"
1420   "\n\t" "      .quad   0x4C01307D317C4D00"
1421   "\n\t" "      .quad   0xCD80B1FCB0FDCC81"
1422
1423   "\n\t" "      # inv, inva"
1424   "\n\t" "      .Lk_inv = .-.Laes_consts"
1425   "\n\t" "      .quad   0x0E05060F0D080180"
1426   "\n\t" "      .quad   0x040703090A0B0C02"
1427   "\n\t" "      .quad   0x01040A060F0B0780"
1428   "\n\t" "      .quad   0x030D0E0C02050809"
1429
1430   "\n\t" "      # sb1u, sb1t"
1431   "\n\t" "      .Lk_sb1 = .-.Laes_consts"
1432   "\n\t" "      .quad   0xB19BE18FCB503E00"
1433   "\n\t" "      .quad   0xA5DF7A6E142AF544"
1434   "\n\t" "      .quad   0x3618D415FAE22300"
1435   "\n\t" "      .quad   0x3BF7CCC10D2ED9EF"
1436
1437
1438   "\n\t" "      # sb2u, sb2t"
1439   "\n\t" "      .Lk_sb2 = .-.Laes_consts"
1440   "\n\t" "      .quad   0xE27A93C60B712400"
1441   "\n\t" "      .quad   0x5EB7E955BC982FCD"
1442   "\n\t" "      .quad   0x69EB88400AE12900"
1443   "\n\t" "      .quad   0xC2A163C8AB82234A"
1444
1445   "\n\t" "      # sbou, sbot"
1446   "\n\t" "      .Lk_sbo = .-.Laes_consts"
1447   "\n\t" "      .quad   0xD0D26D176FBDC700"
1448   "\n\t" "      .quad   0x15AABF7AC502A878"
1449   "\n\t" "      .quad   0xCFE474A55FBB6A00"
1450   "\n\t" "      .quad   0x8E1E90D1412B35FA"
1451
1452   "\n\t" "      # mc_forward"
1453   "\n\t" "      .Lk_mc_forward = .-.Laes_consts"
1454   "\n\t" "      .quad   0x0407060500030201"
1455   "\n\t" "      .quad   0x0C0F0E0D080B0A09"
1456   "\n\t" "      .quad   0x080B0A0904070605"
1457   "\n\t" "      .quad   0x000302010C0F0E0D"
1458   "\n\t" "      .quad   0x0C0F0E0D080B0A09"
1459   "\n\t" "      .quad   0x0407060500030201"
1460   "\n\t" "      .quad   0x000302010C0F0E0D"
1461   "\n\t" "      .quad   0x080B0A0904070605"
1462
1463   "\n\t" "      # mc_backward"
1464   "\n\t" "      .Lk_mc_backward = .-.Laes_consts"
1465   "\n\t" "      .quad   0x0605040702010003"
1466   "\n\t" "      .quad   0x0E0D0C0F0A09080B"
1467   "\n\t" "      .quad   0x020100030E0D0C0F"
1468   "\n\t" "      .quad   0x0A09080B06050407"
1469   "\n\t" "      .quad   0x0E0D0C0F0A09080B"
1470   "\n\t" "      .quad   0x0605040702010003"
1471   "\n\t" "      .quad   0x0A09080B06050407"
1472   "\n\t" "      .quad   0x020100030E0D0C0F"
1473
1474   "\n\t" "      # sr"
1475   "\n\t" "      .Lk_sr = .-.Laes_consts"
1476   "\n\t" "      .quad   0x0706050403020100"
1477   "\n\t" "      .quad   0x0F0E0D0C0B0A0908"
1478   "\n\t" "      .quad   0x030E09040F0A0500"
1479   "\n\t" "      .quad   0x0B06010C07020D08"
1480   "\n\t" "      .quad   0x0F060D040B020900"
1481   "\n\t" "      .quad   0x070E050C030A0108"
1482   "\n\t" "      .quad   0x0B0E0104070A0D00"
1483   "\n\t" "      .quad   0x0306090C0F020508"
1484
1485   "\n\t" "      # rcon"
1486   "\n\t" "      .Lk_rcon = .-.Laes_consts"
1487   "\n\t" "      .quad   0x1F8391B9AF9DEEB6"
1488   "\n\t" "      .quad   0x702A98084D7C7D81"
1489
1490   "\n\t" "      # s63: all equal to 0x63 transformed"
1491   "\n\t" "      .Lk_s63 = .-.Laes_consts"
1492   "\n\t" "      .quad   0x5B5B5B5B5B5B5B5B"
1493   "\n\t" "      .quad   0x5B5B5B5B5B5B5B5B"
1494
1495   "\n\t" "      # output transform"
1496   "\n\t" "      .Lk_opt = .-.Laes_consts"
1497   "\n\t" "      .quad   0xFF9F4929D6B66000"
1498   "\n\t" "      .quad   0xF7974121DEBE6808"
1499   "\n\t" "      .quad   0x01EDBD5150BCEC00"
1500   "\n\t" "      .quad   0xE10D5DB1B05C0CE0"
1501
1502   "\n\t" "      # deskew tables: inverts the sbox's 'skew'"
1503   "\n\t" "      .Lk_deskew = .-.Laes_consts"
1504   "\n\t" "      .quad   0x07E4A34047A4E300"
1505   "\n\t" "      .quad   0x1DFEB95A5DBEF91A"
1506   "\n\t" "      .quad   0x5F36B5DC83EA6900"
1507   "\n\t" "      .quad   0x2841C2ABF49D1E77"
1508
1509   "\n\t" "##"
1510   "\n\t" "##  Decryption stuff"
1511   "\n\t" "##  Key schedule constants"
1512   "\n\t" "##"
1513   "\n\t" "      # decryption key schedule: x -> invskew x*9"
1514   "\n\t" "      .Lk_dks_1 = .-.Laes_consts"
1515   "\n\t" "      .quad   0xB6116FC87ED9A700"
1516   "\n\t" "      .quad   0x4AED933482255BFC"
1517   "\n\t" "      .quad   0x4576516227143300"
1518   "\n\t" "      .quad   0x8BB89FACE9DAFDCE"
1519
1520   "\n\t" "      # decryption key schedule: invskew x*9 -> invskew x*D"
1521   "\n\t" "      .Lk_dks_2 = .-.Laes_consts"
1522   "\n\t" "      .quad   0x27438FEBCCA86400"
1523   "\n\t" "      .quad   0x4622EE8AADC90561"
1524   "\n\t" "      .quad   0x815C13CE4F92DD00"
1525   "\n\t" "      .quad   0x73AEE13CBD602FF2"
1526
1527   "\n\t" "      # decryption key schedule: invskew x*D -> invskew x*B"
1528   "\n\t" "      .Lk_dks_3 = .-.Laes_consts"
1529   "\n\t" "      .quad   0x03C4C50201C6C700"
1530   "\n\t" "      .quad   0xF83F3EF9FA3D3CFB"
1531   "\n\t" "      .quad   0xEE1921D638CFF700"
1532   "\n\t" "      .quad   0xA5526A9D7384BC4B"
1533
1534   "\n\t" "      # decryption key schedule: invskew x*B -> invskew x*E + 0x63"
1535   "\n\t" "      .Lk_dks_4 = .-.Laes_consts"
1536   "\n\t" "      .quad   0xE3C390B053732000"
1537   "\n\t" "      .quad   0xA080D3F310306343"
1538   "\n\t" "      .quad   0xA0CA214B036982E8"
1539   "\n\t" "      .quad   0x2F45AEC48CE60D67"
1540
1541   "\n\t" "##"
1542   "\n\t" "##  Decryption stuff"
1543   "\n\t" "##  Round function constants"
1544   "\n\t" "##"
1545   "\n\t" "      # decryption input transform"
1546   "\n\t" "      .Lk_dipt = .-.Laes_consts"
1547   "\n\t" "      .quad   0x0F505B040B545F00"
1548   "\n\t" "      .quad   0x154A411E114E451A"
1549   "\n\t" "      .quad   0x86E383E660056500"
1550   "\n\t" "      .quad   0x12771772F491F194"
1551
1552   "\n\t" "      # decryption sbox output *9*u, *9*t"
1553   "\n\t" "      .Lk_dsb9 = .-.Laes_consts"
1554   "\n\t" "      .quad   0x851C03539A86D600"
1555   "\n\t" "      .quad   0xCAD51F504F994CC9"
1556   "\n\t" "      .quad   0xC03B1789ECD74900"
1557   "\n\t" "      .quad   0x725E2C9EB2FBA565"
1558
1559   "\n\t" "      # decryption sbox output *D*u, *D*t"
1560   "\n\t" "      .Lk_dsbd = .-.Laes_consts"
1561   "\n\t" "      .quad   0x7D57CCDFE6B1A200"
1562   "\n\t" "      .quad   0xF56E9B13882A4439"
1563   "\n\t" "      .quad   0x3CE2FAF724C6CB00"
1564   "\n\t" "      .quad   0x2931180D15DEEFD3"
1565
1566   "\n\t" "      # decryption sbox output *B*u, *B*t"
1567   "\n\t" "      .Lk_dsbb = .-.Laes_consts"
1568   "\n\t" "      .quad   0xD022649296B44200"
1569   "\n\t" "      .quad   0x602646F6B0F2D404"
1570   "\n\t" "      .quad   0xC19498A6CD596700"
1571   "\n\t" "      .quad   0xF3FF0C3E3255AA6B"
1572
1573   "\n\t" "      # decryption sbox output *E*u, *E*t"
1574   "\n\t" "      .Lk_dsbe = .-.Laes_consts"
1575   "\n\t" "      .quad   0x46F2929626D4D000"
1576   "\n\t" "      .quad   0x2242600464B4F6B0"
1577   "\n\t" "      .quad   0x0C55A6CDFFAAC100"
1578   "\n\t" "      .quad   0x9467F36B98593E32"
1579
1580   "\n\t" "      # decryption sbox final output"
1581   "\n\t" "      .Lk_dsbo = .-.Laes_consts"
1582   "\n\t" "      .quad   0x1387EA537EF94000"
1583   "\n\t" "      .quad   0xC7AA6DB9D4943E2D"
1584   "\n\t" "      .quad   0x12D7560F93441D00"
1585   "\n\t" "      .quad   0xCA4B8159D8C58E9C"
1586 X("\n\t" ".size _aes_consts,.-_aes_consts")
1587 );
1588
1589 #endif /* USE_SSSE3 */