bufhelp: use one-byte aligned type for unaligned memory accesses
[libgcrypt.git] / cipher / rijndael-ssse3-amd64.c
1 /* SSSE3 vector permutation AES for Libgcrypt
2  * Copyright (C) 2014-2015 Jussi Kivilinna <jussi.kivilinna@iki.fi>
3  *
4  * This file is part of Libgcrypt.
5  *
6  * Libgcrypt is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as
8  * published by the Free Software Foundation; either version 2.1 of
9  * the License, or (at your option) any later version.
10  *
11  * Libgcrypt is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
18  *
19  *
20  * The code is based on the public domain library libvpaes version 0.5
21  * available at http://crypto.stanford.edu/vpaes/ and which carries
22  * this notice:
23  *
24  *     libvpaes: constant-time SSSE3 AES encryption and decryption.
25  *     version 0.5
26  *
27  *     By Mike Hamburg, Stanford University, 2009.  Public domain.
28  *     I wrote essentially all of this code.  I did not write the test
29  *     vectors; they are the NIST known answer tests.  I hereby release all
30  *     the code and documentation here that I wrote into the public domain.
31  *
32  *     This is an implementation of AES following my paper,
33  *       "Accelerating AES with Vector Permute Instructions"
34  *       CHES 2009; http://shiftleft.org/papers/vector_aes/
35  */
36
37 #include <config.h>
38 #include <stdio.h>
39 #include <stdlib.h>
40 #include <string.h> /* for memcmp() */
41
42 #include "types.h"  /* for byte and u32 typedefs */
43 #include "g10lib.h"
44 #include "cipher.h"
45 #include "bufhelp.h"
46 #include "cipher-selftest.h"
47 #include "rijndael-internal.h"
48
49
50 #ifdef USE_SSSE3
51
52
53 /* Two macros to be called prior and after the use of SSSE3
54   instructions.  There should be no external function calls between
55   the use of these macros.  There purpose is to make sure that the
56   SSE registers are cleared and won't reveal any information about
57   the key or the data.  */
58 #define vpaes_ssse3_prepare_enc(const_ptr) \
59     asm volatile ("lea  .Laes_consts(%%rip), %q0 \n\t" \
60                   "movdqa                 (%q0), %%xmm9  # 0F \n\t" \
61                   "movdqa       .Lk_inv   (%q0), %%xmm10 # inv \n\t" \
62                   "movdqa       .Lk_inv+16(%q0), %%xmm11 # inva \n\t" \
63                   "movdqa       .Lk_sb1   (%q0), %%xmm13 # sb1u \n\t" \
64                   "movdqa       .Lk_sb1+16(%q0), %%xmm12 # sb1t \n\t" \
65                   "movdqa       .Lk_sb2   (%q0), %%xmm15 # sb2u \n\t" \
66                   "movdqa       .Lk_sb2+16(%q0), %%xmm14 # sb2t \n\t" \
67                   : "=c" (const_ptr) \
68                   : \
69                   : "memory" )
70
71 #define vpaes_ssse3_prepare_dec(const_ptr) \
72     asm volatile ("lea  .Laes_consts(%%rip), %q0 \n\t" \
73                   "movdqa                 (%q0), %%xmm9  # 0F \n\t" \
74                   "movdqa       .Lk_inv   (%q0), %%xmm10 # inv \n\t" \
75                   "movdqa       .Lk_inv+16(%q0), %%xmm11 # inva \n\t" \
76                   "movdqa       .Lk_dsb9   (%q0), %%xmm13 # sb9u \n\t" \
77                   "movdqa       .Lk_dsb9+16(%q0), %%xmm12 # sb9t \n\t" \
78                   "movdqa       .Lk_dsbd   (%q0), %%xmm15 # sbdu \n\t" \
79                   "movdqa       .Lk_dsbb   (%q0), %%xmm14 # sbbu \n\t" \
80                   "movdqa       .Lk_dsbe   (%q0), %%xmm8 # sbeu \n\t" \
81                   : "=c" (const_ptr) \
82                   : \
83                   : "memory" )
84
85 #define vpaes_ssse3_cleanup() \
86     asm volatile ("pxor %%xmm0,  %%xmm0 \n\t" \
87                   "pxor %%xmm1,  %%xmm1 \n\t" \
88                   "pxor %%xmm2,  %%xmm2 \n\t" \
89                   "pxor %%xmm3,  %%xmm3 \n\t" \
90                   "pxor %%xmm4,  %%xmm4 \n\t" \
91                   "pxor %%xmm5,  %%xmm5 \n\t" \
92                   "pxor %%xmm6,  %%xmm6 \n\t" \
93                   "pxor %%xmm7,  %%xmm7 \n\t" \
94                   "pxor %%xmm8,  %%xmm8 \n\t" \
95                   ::: "memory" )
96
97
98 void
99 _gcry_aes_ssse3_do_setkey (RIJNDAEL_context *ctx, const byte *key)
100 {
101   unsigned int keybits = (ctx->rounds - 10) * 32 + 128;
102
103   asm volatile ("leaq %q[key], %%rdi"                   "\n\t"
104                 "movl %[bits], %%esi"                   "\n\t"
105                 "leaq %[buf], %%rdx"                    "\n\t"
106                 "movl %[dir], %%ecx"                    "\n\t"
107                 "movl %[rotoffs], %%r8d"                "\n\t"
108                 "call _aes_schedule_core"               "\n\t"
109                 :
110                 : [key] "m" (*key),
111                   [bits] "g" (keybits),
112                   [buf] "m" (ctx->keyschenc32[0][0]),
113                   [dir] "g" (0),
114                   [rotoffs] "g" (48)
115                 : "r8", "r9", "r10", "r11", "rax", "rcx", "rdx", "rdi", "rsi",
116                   "cc", "memory");
117
118   /* Save key for setting up decryption. */
119   memcpy(&ctx->keyschdec32[0][0], key, keybits / 8);
120 }
121
122
123 /* Make a decryption key from an encryption key. */
124 void
125 _gcry_aes_ssse3_prepare_decryption (RIJNDAEL_context *ctx)
126 {
127   unsigned int keybits = (ctx->rounds - 10) * 32 + 128;
128
129   asm volatile ("leaq %q[key], %%rdi"                   "\n\t"
130                 "movl %[bits], %%esi"                   "\n\t"
131                 "leaq %[buf], %%rdx"                    "\n\t"
132                 "movl %[dir], %%ecx"                    "\n\t"
133                 "movl %[rotoffs], %%r8d"                "\n\t"
134                 "call _aes_schedule_core"               "\n\t"
135                 :
136                 : [key] "m" (ctx->keyschdec32[0][0]),
137                   [bits] "g" (keybits),
138                   [buf] "m" (ctx->keyschdec32[ctx->rounds][0]),
139                   [dir] "g" (1),
140                   [rotoffs] "g" ((keybits == 192) ? 0 : 32)
141                 : "r8", "r9", "r10", "r11", "rax", "rcx", "rdx", "rdi", "rsi",
142                   "cc", "memory");
143 }
144
145
146 /* Encrypt one block using the Intel SSSE3 instructions.  Block is input
147 * and output through SSE register xmm0. */
148 static inline void
149 do_vpaes_ssse3_enc (const RIJNDAEL_context *ctx, unsigned int nrounds,
150                     const void *aes_const_ptr)
151 {
152   unsigned int middle_rounds = nrounds - 1;
153   const void *keysched = ctx->keyschenc32;
154
155   asm volatile ("call _aes_encrypt_core"                "\n\t"
156                 : "+a" (middle_rounds), "+d" (keysched)
157                 : "c" (aes_const_ptr)
158                 : "rdi", "rsi", "cc", "memory");
159 }
160
161
162 /* Decrypt one block using the Intel SSSE3 instructions.  Block is input
163 * and output through SSE register xmm0. */
164 static inline void
165 do_vpaes_ssse3_dec (const RIJNDAEL_context *ctx, unsigned int nrounds,
166                     const void *aes_const_ptr)
167 {
168   unsigned int middle_rounds = nrounds - 1;
169   const void *keysched = ctx->keyschdec32;
170
171   asm volatile ("call _aes_decrypt_core"                "\n\t"
172                 : "+a" (middle_rounds), "+d" (keysched)
173                 : "c" (aes_const_ptr)
174                 : "rsi", "cc", "memory");
175 }
176
177
178 unsigned int
179 _gcry_aes_ssse3_encrypt (const RIJNDAEL_context *ctx, unsigned char *dst,
180                         const unsigned char *src)
181 {
182   unsigned int nrounds = ctx->rounds;
183   const void *aes_const_ptr;
184
185   vpaes_ssse3_prepare_enc (aes_const_ptr);
186   asm volatile ("movdqu %[src], %%xmm0\n\t"
187                 :
188                 : [src] "m" (*src)
189                 : "memory" );
190   do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
191   asm volatile ("movdqu %%xmm0, %[dst]\n\t"
192                 : [dst] "=m" (*dst)
193                 :
194                 : "memory" );
195   vpaes_ssse3_cleanup ();
196   return 0;
197 }
198
199
200 void
201 _gcry_aes_ssse3_cfb_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
202                         const unsigned char *inbuf, unsigned char *iv,
203                         size_t nblocks)
204 {
205   unsigned int nrounds = ctx->rounds;
206   const void *aes_const_ptr;
207
208   vpaes_ssse3_prepare_enc (aes_const_ptr);
209
210   asm volatile ("movdqu %[iv], %%xmm0\n\t"
211                 : /* No output */
212                 : [iv] "m" (*iv)
213                 : "memory" );
214
215   for ( ;nblocks; nblocks-- )
216     {
217       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
218
219       asm volatile ("movdqu %[inbuf], %%xmm1\n\t"
220                     "pxor %%xmm1, %%xmm0\n\t"
221                     "movdqu %%xmm0, %[outbuf]\n\t"
222                     : [outbuf] "=m" (*outbuf)
223                     : [inbuf] "m" (*inbuf)
224                     : "memory" );
225
226       outbuf += BLOCKSIZE;
227       inbuf  += BLOCKSIZE;
228     }
229
230   asm volatile ("movdqu %%xmm0, %[iv]\n\t"
231                 : [iv] "=m" (*iv)
232                 :
233                 : "memory" );
234
235   vpaes_ssse3_cleanup ();
236 }
237
238
239 void
240 _gcry_aes_ssse3_cbc_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
241                         const unsigned char *inbuf, unsigned char *iv,
242                         size_t nblocks, int cbc_mac)
243 {
244   unsigned int nrounds = ctx->rounds;
245   const void *aes_const_ptr;
246
247   vpaes_ssse3_prepare_enc (aes_const_ptr);
248
249   asm volatile ("movdqu %[iv], %%xmm7\n\t"
250                 : /* No output */
251                 : [iv] "m" (*iv)
252                 : "memory" );
253
254   for ( ;nblocks; nblocks-- )
255     {
256       asm volatile ("movdqu %[inbuf], %%xmm0\n\t"
257                     "pxor %%xmm7, %%xmm0\n\t"
258                     : /* No output */
259                     : [inbuf] "m" (*inbuf)
260                     : "memory" );
261
262       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
263
264       asm volatile ("movdqa %%xmm0, %%xmm7\n\t"
265                     "movdqu %%xmm0, %[outbuf]\n\t"
266                     : [outbuf] "=m" (*outbuf)
267                     :
268                     : "memory" );
269
270       inbuf += BLOCKSIZE;
271       if (!cbc_mac)
272         outbuf += BLOCKSIZE;
273     }
274
275   asm volatile ("movdqu %%xmm7, %[iv]\n\t"
276                 : [iv] "=m" (*iv)
277                 :
278                 : "memory" );
279
280   vpaes_ssse3_cleanup ();
281 }
282
283
284 void
285 _gcry_aes_ssse3_ctr_enc (RIJNDAEL_context *ctx, unsigned char *outbuf,
286                         const unsigned char *inbuf, unsigned char *ctr,
287                         size_t nblocks)
288 {
289   static const unsigned char be_mask[16] __attribute__ ((aligned (16))) =
290     { 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1, 0 };
291   unsigned int nrounds = ctx->rounds;
292   const void *aes_const_ptr;
293   u64 ctrlow;
294
295   vpaes_ssse3_prepare_enc (aes_const_ptr);
296
297   asm volatile ("movdqa %[mask], %%xmm6\n\t" /* Preload mask */
298                 "movdqa (%[ctr]), %%xmm7\n\t"  /* Preload CTR */
299                 "movq 8(%[ctr]), %q[ctrlow]\n\t"
300                 "bswapq %q[ctrlow]\n\t"
301                 : [ctrlow] "=r" (ctrlow)
302                 : [mask] "m" (*be_mask),
303                   [ctr] "r" (ctr)
304                 : "memory", "cc");
305
306   for ( ;nblocks; nblocks-- )
307     {
308       asm volatile ("movdqa %%xmm7, %%xmm0\n\t"     /* xmm0 := CTR (xmm7)  */
309                     "pcmpeqd %%xmm1, %%xmm1\n\t"
310                     "psrldq $8, %%xmm1\n\t"         /* xmm1 = -1 */
311
312                     "pshufb %%xmm6, %%xmm7\n\t"
313                     "psubq  %%xmm1, %%xmm7\n\t"     /* xmm7++ (big endian) */
314
315                     /* detect if 64-bit carry handling is needed */
316                     "incq   %q[ctrlow]\n\t"
317                     "jnz    .Lno_carry%=\n\t"
318
319                     "pslldq $8, %%xmm1\n\t"         /* move lower 64-bit to high */
320                     "psubq   %%xmm1, %%xmm7\n\t"    /* add carry to upper 64bits */
321
322                     ".Lno_carry%=:\n\t"
323
324                     "pshufb %%xmm6, %%xmm7\n\t"
325                     :
326                     : [ctr] "r" (ctr), [ctrlow] "r" (ctrlow)
327                     : "cc", "memory");
328
329       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
330
331       asm volatile ("movdqu %[src], %%xmm1\n\t"      /* xmm1 := input   */
332                     "pxor %%xmm1, %%xmm0\n\t"        /* EncCTR ^= input  */
333                     "movdqu %%xmm0, %[dst]"          /* Store EncCTR.    */
334                     : [dst] "=m" (*outbuf)
335                     : [src] "m" (*inbuf)
336                     : "memory");
337
338       outbuf += BLOCKSIZE;
339       inbuf  += BLOCKSIZE;
340     }
341
342   asm volatile ("movdqu %%xmm7, %[ctr]\n\t"   /* Update CTR (mem).       */
343                 : [ctr] "=m" (*ctr)
344                 :
345                 : "memory" );
346
347   vpaes_ssse3_cleanup ();
348 }
349
350
351 unsigned int
352 _gcry_aes_ssse3_decrypt (const RIJNDAEL_context *ctx, unsigned char *dst,
353                         const unsigned char *src)
354 {
355   unsigned int nrounds = ctx->rounds;
356   const void *aes_const_ptr;
357
358   vpaes_ssse3_prepare_dec (aes_const_ptr);
359   asm volatile ("movdqu %[src], %%xmm0\n\t"
360                 :
361                 : [src] "m" (*src)
362                 : "memory" );
363   do_vpaes_ssse3_dec (ctx, nrounds, aes_const_ptr);
364   asm volatile ("movdqu %%xmm0, %[dst]\n\t"
365                 : [dst] "=m" (*dst)
366                 :
367                 : "memory" );
368   vpaes_ssse3_cleanup ();
369   return 0;
370 }
371
372
373 void
374 _gcry_aes_ssse3_cfb_dec (RIJNDAEL_context *ctx, unsigned char *outbuf,
375                         const unsigned char *inbuf, unsigned char *iv,
376                         size_t nblocks)
377 {
378   unsigned int nrounds = ctx->rounds;
379   const void *aes_const_ptr;
380
381   vpaes_ssse3_prepare_enc (aes_const_ptr);
382
383   asm volatile ("movdqu %[iv], %%xmm0\n\t"
384                 : /* No output */
385                 : [iv] "m" (*iv)
386                 : "memory" );
387
388   for ( ;nblocks; nblocks-- )
389     {
390       do_vpaes_ssse3_enc (ctx, nrounds, aes_const_ptr);
391
392       asm volatile ("movdqa %%xmm0, %%xmm6\n\t"
393                     "movdqu %[inbuf], %%xmm0\n\t"
394                     "pxor %%xmm0, %%xmm6\n\t"
395                     "movdqu %%xmm6, %[outbuf]\n\t"
396                     : [outbuf] "=m" (*outbuf)
397                     : [inbuf] "m" (*inbuf)
398                     : "memory" );
399
400       outbuf += BLOCKSIZE;
401       inbuf  += BLOCKSIZE;
402     }
403
404   asm volatile ("movdqu %%xmm0, %[iv]\n\t"
405                 : [iv] "=m" (*iv)
406                 :
407                 : "memory" );
408
409   vpaes_ssse3_cleanup ();
410 }
411
412
413 void
414 _gcry_aes_ssse3_cbc_dec (RIJNDAEL_context *ctx, unsigned char *outbuf,
415                         const unsigned char *inbuf, unsigned char *iv,
416                         size_t nblocks)
417 {
418   unsigned int nrounds = ctx->rounds;
419   const void *aes_const_ptr;
420
421   vpaes_ssse3_prepare_dec (aes_const_ptr);
422
423   asm volatile
424     ("movdqu %[iv], %%xmm7\n\t" /* use xmm7 as fast IV storage */
425     : /* No output */
426     : [iv] "m" (*iv)
427     : "memory");
428
429   for ( ;nblocks; nblocks-- )
430     {
431       asm volatile
432         ("movdqu %[inbuf], %%xmm0\n\t"
433         "movdqa %%xmm0, %%xmm6\n\t"    /* use xmm6 as savebuf */
434         : /* No output */
435         : [inbuf] "m" (*inbuf)
436         : "memory");
437
438       do_vpaes_ssse3_dec (ctx, nrounds, aes_const_ptr);
439
440       asm volatile
441         ("pxor %%xmm7, %%xmm0\n\t"      /* xor IV with output */
442         "movdqu %%xmm0, %[outbuf]\n\t"
443         "movdqu %%xmm6, %%xmm7\n\t"     /* store savebuf as new IV */
444         : [outbuf] "=m" (*outbuf)
445         :
446         : "memory");
447
448       outbuf += BLOCKSIZE;
449       inbuf  += BLOCKSIZE;
450     }
451
452   asm volatile
453     ("movdqu %%xmm7, %[iv]\n\t" /* store IV */
454     : /* No output */
455     : [iv] "m" (*iv)
456     : "memory");
457
458   vpaes_ssse3_cleanup ();
459 }
460
461
462
463 asm (
464   "\n\t" "##"
465   "\n\t" "## Constant-time SSSE3 AES core implementation."
466   "\n\t" "##"
467   "\n\t" "## By Mike Hamburg (Stanford University), 2009"
468   "\n\t" "## Public domain."
469   "\n\t" "##"
470
471   "\n\t" ".text"
472
473   "\n\t" "##"
474   "\n\t" "##  _aes_encrypt_core"
475   "\n\t" "##"
476   "\n\t" "##  AES-encrypt %xmm0."
477   "\n\t" "##"
478   "\n\t" "##  Inputs:"
479   "\n\t" "##     %xmm0 = input"
480   "\n\t" "##     %xmm9-%xmm15 as in .Laes_preheat"
481   "\n\t" "##     %rcx  = .Laes_consts"
482   "\n\t" "##    (%rdx) = scheduled keys"
483   "\n\t" "##     %rax  = nrounds - 1"
484   "\n\t" "##"
485   "\n\t" "##  Output in %xmm0"
486   "\n\t" "##  Clobbers  %xmm1-%xmm4, %r9, %r11, %rax"
487   "\n\t" "##  Preserves %xmm6 - %xmm7 so you get some local vectors"
488   "\n\t" "##"
489   "\n\t" "##"
490   "\n\t" ".align 16"
491   "\n\t" ".type _aes_encrypt_core,@function"
492   "\n\t" "_aes_encrypt_core:"
493   "\n\t" "      leaq    .Lk_mc_backward(%rcx), %rdi"
494   "\n\t" "      mov     $16,    %rsi"
495   "\n\t" "      movdqa  .Lk_ipt   (%rcx), %xmm2 # iptlo"
496   "\n\t" "      movdqa  %xmm9,  %xmm1"
497   "\n\t" "      pandn   %xmm0,  %xmm1"
498   "\n\t" "      psrld   $4,     %xmm1"
499   "\n\t" "      pand    %xmm9,  %xmm0"
500   "\n\t" "      pshufb  %xmm0,  %xmm2"
501   "\n\t" "      movdqa  .Lk_ipt+16(%rcx), %xmm0 # ipthi"
502   "\n\t" "      pshufb  %xmm1,  %xmm0"
503   "\n\t" "      pxor    (%rdx),%xmm2"
504   "\n\t" "      pxor    %xmm2,  %xmm0"
505   "\n\t" "      add     $16,    %rdx"
506   "\n\t" "      jmp     .Laes_entry"
507
508   "\n\t" ".align 8"
509   "\n\t" ".Laes_loop:"
510   "\n\t" "      # middle of middle round"
511   "\n\t" "      movdqa  %xmm13, %xmm4   # 4 : sb1u"
512   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sb1u"
513   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
514   "\n\t" "      movdqa  %xmm12, %xmm0   # 0 : sb1t"
515   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
516   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
517   "\n\t" "      movdqa  %xmm15, %xmm4   # 4 : sb2u"
518   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sb2u"
519   "\n\t" "      movdqa  .Lk_mc_forward-.Lk_mc_backward(%rsi,%rdi), %xmm1"
520   "\n\t" "      movdqa  %xmm14, %xmm2   # 2 : sb2t"
521   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = sb2t"
522   "\n\t" "      pxor    %xmm4,  %xmm2   # 2 = 2A"
523   "\n\t" "      movdqa  %xmm0,  %xmm3   # 3 = A"
524   "\n\t" "      pshufb  %xmm1,  %xmm0   # 0 = B"
525   "\n\t" "      pxor    %xmm2,  %xmm0   # 0 = 2A+B"
526   "\n\t" "      pshufb  (%rsi,%rdi), %xmm3  # 3 = D"
527   "\n\t" "      lea     16(%esi),%esi   # next mc"
528   "\n\t" "      pxor    %xmm0,  %xmm3   # 3 = 2A+B+D"
529   "\n\t" "      lea     16(%rdx),%rdx   # next key"
530   "\n\t" "      pshufb  %xmm1,  %xmm0   # 0 = 2B+C"
531   "\n\t" "      pxor    %xmm3,  %xmm0   # 0 = 2A+3B+C+D"
532   "\n\t" "      and     $48, %rsi       # ... mod 4"
533   "\n\t" "      dec     %rax            # nr--"
534
535   "\n\t" ".Laes_entry:"
536   "\n\t" "      # top of round"
537   "\n\t" "      movdqa  %xmm9,  %xmm1   # 1 : i"
538   "\n\t" "      pandn   %xmm0,  %xmm1   # 1 = i<<4"
539   "\n\t" "      psrld   $4,     %xmm1   # 1 = i"
540   "\n\t" "      pand    %xmm9,  %xmm0   # 0 = k"
541   "\n\t" "      movdqa  %xmm11, %xmm2   # 2 : a/k"
542   "\n\t" "      pshufb  %xmm0,  %xmm2   # 2 = a/k"
543   "\n\t" "      pxor    %xmm1,  %xmm0   # 0 = j"
544   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/i"
545   "\n\t" "      pshufb  %xmm1,  %xmm3   # 3 = 1/i"
546   "\n\t" "      pxor    %xmm2,  %xmm3   # 3 = iak = 1/i + a/k"
547   "\n\t" "      movdqa  %xmm10, %xmm4   # 4 : 1/j"
548   "\n\t" "      pshufb  %xmm0,  %xmm4   # 4 = 1/j"
549   "\n\t" "      pxor    %xmm2,  %xmm4   # 4 = jak = 1/j + a/k"
550   "\n\t" "      movdqa  %xmm10, %xmm2   # 2 : 1/iak"
551   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = 1/iak"
552   "\n\t" "      pxor    %xmm0,  %xmm2   # 2 = io"
553   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/jak"
554   "\n\t" "      pshufb  %xmm4,  %xmm3   # 3 = 1/jak"
555   "\n\t" "      pxor    %xmm1,  %xmm3   # 3 = jo"
556   "\n\t" "      jnz     .Laes_loop"
557
558   "\n\t" "      # middle of last round"
559   "\n\t" "      movdqa  .Lk_sbo(%rcx), %xmm4    # 3 : sbou"
560   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sbou"
561   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
562   "\n\t" "      movdqa  .Lk_sbo+16(%rcx), %xmm0 # 0 : sbot"
563   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
564   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
565   "\n\t" "      pshufb  .Lk_sr(%rsi,%rcx), %xmm0"
566   "\n\t" "      ret"
567   "\n\t" ".size _aes_encrypt_core,.-_aes_encrypt_core"
568
569   "\n\t" "##"
570   "\n\t" "##  Decryption core"
571   "\n\t" "##"
572   "\n\t" "##  Same API as encryption core."
573   "\n\t" "##"
574   "\n\t" ".align 16"
575   "\n\t" ".type _aes_decrypt_core,@function"
576   "\n\t" "_aes_decrypt_core:"
577   "\n\t" "      movl    %eax,   %esi"
578   "\n\t" "      shll    $4,     %esi"
579   "\n\t" "      xorl    $48,    %esi"
580   "\n\t" "      andl    $48,    %esi"
581   "\n\t" "      movdqa  .Lk_dipt   (%rcx), %xmm2 # iptlo"
582   "\n\t" "      movdqa  %xmm9,  %xmm1"
583   "\n\t" "      pandn   %xmm0,  %xmm1"
584   "\n\t" "      psrld   $4,     %xmm1"
585   "\n\t" "      pand    %xmm9,  %xmm0"
586   "\n\t" "      pshufb  %xmm0,  %xmm2"
587   "\n\t" "      movdqa  .Lk_dipt+16(%rcx), %xmm0 # ipthi"
588   "\n\t" "      pshufb  %xmm1,  %xmm0"
589   "\n\t" "      pxor    (%rdx), %xmm2"
590   "\n\t" "      pxor    %xmm2,  %xmm0"
591   "\n\t" "      movdqa  .Lk_mc_forward+48(%rcx), %xmm5"
592   "\n\t" "      lea     16(%rdx), %rdx"
593   "\n\t" "      neg     %rax"
594   "\n\t" "      jmp     .Laes_dec_entry"
595
596   "\n\t" ".align 16"
597   "\n\t" ".Laes_dec_loop:"
598   "\n\t" "##"
599   "\n\t" "##  Inverse mix columns"
600   "\n\t" "##"
601   "\n\t" "      movdqa  %xmm13, %xmm4           # 4 : sb9u"
602   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sb9u"
603   "\n\t" "      pxor    (%rdx), %xmm4"
604   "\n\t" "      movdqa  %xmm12, %xmm0           # 0 : sb9t"
605   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sb9t"
606   "\n\t" "      movdqa  .Lk_dsbd+16(%rcx),%xmm1 # 1 : sbdt"
607   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
608   "\n\t" "      lea     16(%rdx), %rdx          # next round key"
609
610   "\n\t" "      pshufb  %xmm5,  %xmm0           # MC ch"
611   "\n\t" "      movdqa  %xmm15, %xmm4           # 4 : sbdu"
612   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbdu"
613   "\n\t" "      pxor    %xmm0,  %xmm4           # 4 = ch"
614   "\n\t" "      pshufb  %xmm3,  %xmm1           # 1 = sbdt"
615   "\n\t" "      pxor    %xmm4,  %xmm1           # 1 = ch"
616
617   "\n\t" "      pshufb  %xmm5,  %xmm1           # MC ch"
618   "\n\t" "      movdqa  %xmm14, %xmm4           # 4 : sbbu"
619   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbbu"
620   "\n\t" "      inc     %rax                    # nr--"
621   "\n\t" "      pxor    %xmm1,  %xmm4           # 4 = ch"
622   "\n\t" "      movdqa  .Lk_dsbb+16(%rcx),%xmm0 # 0 : sbbt"
623   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sbbt"
624   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
625
626   "\n\t" "      pshufb  %xmm5,  %xmm0           # MC ch"
627   "\n\t" "      movdqa  %xmm8,  %xmm4           # 4 : sbeu"
628   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbeu"
629   "\n\t" "      pshufd  $0x93,  %xmm5,  %xmm5"
630   "\n\t" "      pxor    %xmm0,  %xmm4           # 4 = ch"
631   "\n\t" "      movdqa  .Lk_dsbe+16(%rcx),%xmm0 # 0 : sbet"
632   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sbet"
633   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = ch"
634
635   "\n\t" ".Laes_dec_entry:"
636   "\n\t" "      # top of round"
637   "\n\t" "      movdqa  %xmm9,  %xmm1   # 1 : i"
638   "\n\t" "      pandn   %xmm0,  %xmm1   # 1 = i<<4"
639   "\n\t" "      psrld   $4,     %xmm1   # 1 = i"
640   "\n\t" "      pand    %xmm9,  %xmm0   # 0 = k"
641   "\n\t" "      movdqa  %xmm11, %xmm2   # 2 : a/k"
642   "\n\t" "      pshufb  %xmm0,  %xmm2   # 2 = a/k"
643   "\n\t" "      pxor    %xmm1,  %xmm0   # 0 = j"
644   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/i"
645   "\n\t" "      pshufb  %xmm1,  %xmm3   # 3 = 1/i"
646   "\n\t" "      pxor    %xmm2,  %xmm3   # 3 = iak = 1/i + a/k"
647   "\n\t" "      movdqa  %xmm10, %xmm4   # 4 : 1/j"
648   "\n\t" "      pshufb  %xmm0,  %xmm4   # 4 = 1/j"
649   "\n\t" "      pxor    %xmm2,  %xmm4   # 4 = jak = 1/j + a/k"
650   "\n\t" "      movdqa  %xmm10, %xmm2   # 2 : 1/iak"
651   "\n\t" "      pshufb  %xmm3,  %xmm2   # 2 = 1/iak"
652   "\n\t" "      pxor    %xmm0,  %xmm2   # 2 = io"
653   "\n\t" "      movdqa  %xmm10, %xmm3   # 3 : 1/jak"
654   "\n\t" "      pshufb  %xmm4,  %xmm3   # 3 = 1/jak"
655   "\n\t" "      pxor    %xmm1,  %xmm3   # 3 = jo"
656   "\n\t" "      jnz     .Laes_dec_loop"
657
658   "\n\t" "      # middle of last round"
659   "\n\t" "      movdqa  .Lk_dsbo(%rcx), %xmm4           # 3 : sbou"
660   "\n\t" "      pshufb  %xmm2,  %xmm4   # 4 = sbou"
661   "\n\t" "      pxor    (%rdx), %xmm4   # 4 = sb1u + k"
662   "\n\t" "      movdqa  .Lk_dsbo+16(%rcx), %xmm0        # 0 : sbot"
663   "\n\t" "      pshufb  %xmm3,  %xmm0   # 0 = sb1t"
664   "\n\t" "      pxor    %xmm4,  %xmm0   # 0 = A"
665   "\n\t" "      pshufb  .Lk_sr(%rsi,%rcx), %xmm0"
666   "\n\t" "      ret"
667   "\n\t" ".size _aes_decrypt_core,.-_aes_decrypt_core"
668
669   "\n\t" "########################################################"
670   "\n\t" "##                                                    ##"
671   "\n\t" "##                  AES key schedule                  ##"
672   "\n\t" "##                                                    ##"
673   "\n\t" "########################################################"
674
675   "\n\t" ".align 16"
676   "\n\t" ".type _aes_schedule_core,@function"
677   "\n\t" "_aes_schedule_core:"
678   "\n\t" "      # rdi = key"
679   "\n\t" "      # rsi = size in bits"
680   "\n\t" "      # rdx = buffer"
681   "\n\t" "      # rcx = direction.  0=encrypt, 1=decrypt"
682
683   "\n\t" "      # load the tables"
684   "\n\t" "      lea     .Laes_consts(%rip), %r10"
685   "\n\t" "      movdqa            (%r10), %xmm9  # 0F"
686   "\n\t" "      movdqa  .Lk_inv   (%r10), %xmm10 # inv"
687   "\n\t" "      movdqa  .Lk_inv+16(%r10), %xmm11 # inva"
688   "\n\t" "      movdqa  .Lk_sb1   (%r10), %xmm13 # sb1u"
689   "\n\t" "      movdqa  .Lk_sb1+16(%r10), %xmm12 # sb1t"
690   "\n\t" "      movdqa  .Lk_sb2   (%r10), %xmm15 # sb2u"
691   "\n\t" "      movdqa  .Lk_sb2+16(%r10), %xmm14 # sb2t"
692
693   "\n\t" "      movdqa  .Lk_rcon(%r10), %xmm8   # load rcon"
694   "\n\t" "      movdqu  (%rdi), %xmm0           # load key (unaligned)"
695
696   "\n\t" "      # input transform"
697   "\n\t" "      movdqu  %xmm0,  %xmm3"
698   "\n\t" "      lea     .Lk_ipt(%r10), %r11"
699   "\n\t" "      call    .Laes_schedule_transform"
700   "\n\t" "      movdqu  %xmm0,  %xmm7"
701
702   "\n\t" "      test    %rcx,   %rcx"
703   "\n\t" "      jnz     .Laes_schedule_am_decrypting"
704
705   "\n\t" "      # encrypting, output zeroth round key after transform"
706   "\n\t" "      movdqa  %xmm0,  (%rdx)"
707   "\n\t" "      jmp     .Laes_schedule_go"
708
709   "\n\t" ".Laes_schedule_am_decrypting:"
710   "\n\t" "      # decrypting, output zeroth round key after shiftrows"
711   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm3"
712   "\n\t" "      movdqa  %xmm3,  (%rdx)"
713   "\n\t" "      xor     $48,    %r8"
714
715   "\n\t" ".Laes_schedule_go:"
716   "\n\t" "      cmp     $192,   %rsi"
717   "\n\t" "      je      .Laes_schedule_192"
718   "\n\t" "      cmp     $256,   %rsi"
719   "\n\t" "      je      .Laes_schedule_256"
720   "\n\t" "      # 128: fall though"
721
722   "\n\t" "##"
723   "\n\t" "##  .Laes_schedule_128"
724   "\n\t" "##"
725   "\n\t" "##  128-bit specific part of key schedule."
726   "\n\t" "##"
727   "\n\t" "##  This schedule is really simple, because all its parts"
728   "\n\t" "##  are accomplished by the subroutines."
729   "\n\t" "##"
730   "\n\t" ".Laes_schedule_128:"
731   "\n\t" "      mov     $10, %rsi"
732
733   "\n\t" ".Laes_schedule_128_L:"
734   "\n\t" "      call    .Laes_schedule_round"
735   "\n\t" "      dec     %rsi"
736   "\n\t" "      jz      .Laes_schedule_mangle_last"
737   "\n\t" "      call    .Laes_schedule_mangle   # write output"
738   "\n\t" "      jmp     .Laes_schedule_128_L"
739
740   "\n\t" "##"
741   "\n\t" "##  .Laes_schedule_192"
742   "\n\t" "##"
743   "\n\t" "##  192-bit specific part of key schedule."
744   "\n\t" "##"
745   "\n\t" "##  The main body of this schedule is the same as the 128-bit"
746   "\n\t" "##  schedule, but with more smearing.  The long, high side is"
747   "\n\t" "##  stored in %xmm7 as before, and the short, low side is in"
748   "\n\t" "##  the high bits of %xmm6."
749   "\n\t" "##"
750   "\n\t" "##  This schedule is somewhat nastier, however, because each"
751   "\n\t" "##  round produces 192 bits of key material, or 1.5 round keys."
752   "\n\t" "##  Therefore, on each cycle we do 2 rounds and produce 3 round"
753   "\n\t" "##  keys."
754   "\n\t" "##"
755   "\n\t" ".Laes_schedule_192:"
756   "\n\t" "      movdqu  8(%rdi),%xmm0           # load key part 2 (very unaligned)"
757   "\n\t" "      call    .Laes_schedule_transform        # input transform"
758   "\n\t" "      pshufd  $0x0E,  %xmm0,  %xmm6"
759   "\n\t" "      pslldq  $8,     %xmm6           # clobber low side with zeros"
760   "\n\t" "      mov     $4,     %rsi"
761
762   "\n\t" ".Laes_schedule_192_L:"
763   "\n\t" "      call    .Laes_schedule_round"
764   "\n\t" "      palignr $8,%xmm6,%xmm0  "
765   "\n\t" "      call    .Laes_schedule_mangle   # save key n"
766   "\n\t" "      call    .Laes_schedule_192_smear"
767   "\n\t" "      call    .Laes_schedule_mangle   # save key n+1"
768   "\n\t" "      call    .Laes_schedule_round"
769   "\n\t" "      dec     %rsi"
770   "\n\t" "      jz      .Laes_schedule_mangle_last"
771   "\n\t" "      call    .Laes_schedule_mangle   # save key n+2"
772   "\n\t" "      call    .Laes_schedule_192_smear"
773   "\n\t" "      jmp     .Laes_schedule_192_L"
774
775   "\n\t" "##"
776   "\n\t" "##  .Laes_schedule_192_smear"
777   "\n\t" "##"
778   "\n\t" "##  Smear the short, low side in the 192-bit key schedule."
779   "\n\t" "##"
780   "\n\t" "##  Inputs:"
781   "\n\t" "##    %xmm7: high side, b  a  x  y"
782   "\n\t" "##    %xmm6:  low side, d  c  0  0"
783   "\n\t" "##    %xmm13: 0"
784   "\n\t" "##"
785   "\n\t" "##  Outputs:"
786   "\n\t" "##    %xmm6: b+c+d  b+c  0  0"
787   "\n\t" "##    %xmm0: b+c+d  b+c  b  a"
788   "\n\t" "##"
789   "\n\t" ".Laes_schedule_192_smear:"
790   "\n\t" "      pshufd  $0x80,  %xmm6,  %xmm0   # d c 0 0 -> c 0 0 0"
791   "\n\t" "      pxor    %xmm0,  %xmm6           # -> c+d c 0 0"
792   "\n\t" "      pshufd  $0xFE,  %xmm7,  %xmm0   # b a _ _ -> b b b a"
793   "\n\t" "      pxor    %xmm6,  %xmm0           # -> b+c+d b+c b a"
794   "\n\t" "      pshufd  $0x0E,  %xmm0,  %xmm6"
795   "\n\t" "      pslldq  $8,     %xmm6           # clobber low side with zeros"
796   "\n\t" "      ret"
797
798   "\n\t" "##"
799   "\n\t" "##  .Laes_schedule_256"
800   "\n\t" "##"
801   "\n\t" "##  256-bit specific part of key schedule."
802   "\n\t" "##"
803   "\n\t" "##  The structure here is very similar to the 128-bit"
804   "\n\t" "##  schedule, but with an additional 'low side' in"
805   "\n\t" "##  %xmm6.  The low side's rounds are the same as the"
806   "\n\t" "##  high side's, except no rcon and no rotation."
807   "\n\t" "##"
808   "\n\t" ".Laes_schedule_256:"
809   "\n\t" "      movdqu  16(%rdi),%xmm0          # load key part 2 (unaligned)"
810   "\n\t" "      call    .Laes_schedule_transform        # input transform"
811   "\n\t" "      mov     $7, %rsi"
812
813   "\n\t" ".Laes_schedule_256_L:"
814   "\n\t" "      call    .Laes_schedule_mangle   # output low result"
815   "\n\t" "      movdqa  %xmm0,  %xmm6           # save cur_lo in xmm6"
816
817   "\n\t" "      # high round"
818   "\n\t" "      call    .Laes_schedule_round"
819   "\n\t" "      dec     %rsi"
820   "\n\t" "      jz      .Laes_schedule_mangle_last"
821   "\n\t" "      call    .Laes_schedule_mangle   "
822
823   "\n\t" "      # low round. swap xmm7 and xmm6"
824   "\n\t" "      pshufd  $0xFF,  %xmm0,  %xmm0"
825   "\n\t" "      movdqa  %xmm7,  %xmm5"
826   "\n\t" "      movdqa  %xmm6,  %xmm7"
827   "\n\t" "      call    .Laes_schedule_low_round"
828   "\n\t" "      movdqa  %xmm5,  %xmm7"
829
830   "\n\t" "      jmp     .Laes_schedule_256_L"
831
832   "\n\t" "##"
833   "\n\t" "##  .Laes_schedule_round"
834   "\n\t" "##"
835   "\n\t" "##  Runs one main round of the key schedule on %xmm0, %xmm7"
836   "\n\t" "##"
837   "\n\t" "##  Specifically, runs subbytes on the high dword of %xmm0"
838   "\n\t" "##  then rotates it by one byte and xors into the low dword of"
839   "\n\t" "##  %xmm7."
840   "\n\t" "##"
841   "\n\t" "##  Adds rcon from low byte of %xmm8, then rotates %xmm8 for"
842   "\n\t" "##  next rcon."
843   "\n\t" "##"
844   "\n\t" "##  Smears the dwords of %xmm7 by xoring the low into the"
845   "\n\t" "##  second low, result into third, result into highest."
846   "\n\t" "##"
847   "\n\t" "##  Returns results in %xmm7 = %xmm0."
848   "\n\t" "##  Clobbers %xmm1-%xmm4, %r11."
849   "\n\t" "##"
850   "\n\t" ".Laes_schedule_round:"
851   "\n\t" "      # extract rcon from xmm8"
852   "\n\t" "      pxor    %xmm1,  %xmm1"
853   "\n\t" "      palignr $15,    %xmm8,  %xmm1"
854   "\n\t" "      palignr $15,    %xmm8,  %xmm8"
855   "\n\t" "      pxor    %xmm1,  %xmm7"
856
857   "\n\t" "      # rotate"
858   "\n\t" "      pshufd  $0xFF,  %xmm0,  %xmm0"
859   "\n\t" "      palignr $1,     %xmm0,  %xmm0"
860
861   "\n\t" "      # fall through..."
862
863   "\n\t" "      # low round: same as high round, but no rotation and no rcon."
864   "\n\t" ".Laes_schedule_low_round:"
865   "\n\t" "      # smear xmm7"
866   "\n\t" "      movdqa  %xmm7,  %xmm1"
867   "\n\t" "      pslldq  $4,     %xmm7"
868   "\n\t" "      pxor    %xmm1,  %xmm7"
869   "\n\t" "      movdqa  %xmm7,  %xmm1"
870   "\n\t" "      pslldq  $8,     %xmm7"
871   "\n\t" "      pxor    %xmm1,  %xmm7"
872   "\n\t" "      pxor    .Lk_s63(%r10), %xmm7"
873
874   "\n\t" "      # subbytes"
875   "\n\t" "      movdqa  %xmm9,  %xmm1"
876   "\n\t" "      pandn   %xmm0,  %xmm1"
877   "\n\t" "      psrld   $4,     %xmm1           # 1 = i"
878   "\n\t" "      pand    %xmm9,  %xmm0           # 0 = k"
879   "\n\t" "      movdqa  %xmm11, %xmm2           # 2 : a/k"
880   "\n\t" "      pshufb  %xmm0,  %xmm2           # 2 = a/k"
881   "\n\t" "      pxor    %xmm1,  %xmm0           # 0 = j"
882   "\n\t" "      movdqa  %xmm10, %xmm3           # 3 : 1/i"
883   "\n\t" "      pshufb  %xmm1,  %xmm3           # 3 = 1/i"
884   "\n\t" "      pxor    %xmm2,  %xmm3           # 3 = iak = 1/i + a/k"
885   "\n\t" "      movdqa  %xmm10, %xmm4           # 4 : 1/j"
886   "\n\t" "      pshufb  %xmm0,  %xmm4           # 4 = 1/j"
887   "\n\t" "      pxor    %xmm2,  %xmm4           # 4 = jak = 1/j + a/k"
888   "\n\t" "      movdqa  %xmm10, %xmm2           # 2 : 1/iak"
889   "\n\t" "      pshufb  %xmm3,  %xmm2           # 2 = 1/iak"
890   "\n\t" "      pxor    %xmm0,  %xmm2           # 2 = io"
891   "\n\t" "      movdqa  %xmm10, %xmm3           # 3 : 1/jak"
892   "\n\t" "      pshufb  %xmm4,  %xmm3           # 3 = 1/jak"
893   "\n\t" "      pxor    %xmm1,  %xmm3           # 3 = jo"
894   "\n\t" "      movdqa  .Lk_sb1(%r10), %xmm4    # 4 : sbou"
895   "\n\t" "      pshufb  %xmm2,  %xmm4           # 4 = sbou"
896   "\n\t" "      movdqa  .Lk_sb1+16(%r10), %xmm0 # 0 : sbot"
897   "\n\t" "      pshufb  %xmm3,  %xmm0           # 0 = sb1t"
898   "\n\t" "      pxor    %xmm4,  %xmm0           # 0 = sbox output"
899
900   "\n\t" "      # add in smeared stuff"
901   "\n\t" "      pxor    %xmm7,  %xmm0   "
902   "\n\t" "      movdqa  %xmm0,  %xmm7"
903   "\n\t" "      ret"
904
905   "\n\t" "##"
906   "\n\t" "##  .Laes_schedule_transform"
907   "\n\t" "##"
908   "\n\t" "##  Linear-transform %xmm0 according to tables at (%r11)"
909   "\n\t" "##"
910   "\n\t" "##  Requires that %xmm9 = 0x0F0F... as in preheat"
911   "\n\t" "##  Output in %xmm0"
912   "\n\t" "##  Clobbers %xmm1, %xmm2"
913   "\n\t" "##"
914   "\n\t" ".Laes_schedule_transform:"
915   "\n\t" "      movdqa  %xmm9,  %xmm1"
916   "\n\t" "      pandn   %xmm0,  %xmm1"
917   "\n\t" "      psrld   $4,     %xmm1"
918   "\n\t" "      pand    %xmm9,  %xmm0"
919   "\n\t" "      movdqa  (%r11), %xmm2   # lo"
920   "\n\t" "      pshufb  %xmm0,  %xmm2"
921   "\n\t" "      movdqa  16(%r11), %xmm0 # hi"
922   "\n\t" "      pshufb  %xmm1,  %xmm0"
923   "\n\t" "      pxor    %xmm2,  %xmm0"
924   "\n\t" "      ret"
925
926   "\n\t" "##"
927   "\n\t" "##  .Laes_schedule_mangle"
928   "\n\t" "##"
929   "\n\t" "##  Mangle xmm0 from (basis-transformed) standard version"
930   "\n\t" "##  to our version."
931   "\n\t" "##"
932   "\n\t" "##  On encrypt,"
933   "\n\t" "##    xor with 0x63"
934   "\n\t" "##    multiply by circulant 0,1,1,1"
935   "\n\t" "##    apply shiftrows transform"
936   "\n\t" "##"
937   "\n\t" "##  On decrypt,"
938   "\n\t" "##    xor with 0x63"
939   "\n\t" "##    multiply by 'inverse mixcolumns' circulant E,B,D,9"
940   "\n\t" "##    deskew"
941   "\n\t" "##    apply shiftrows transform"
942   "\n\t" "##"
943   "\n\t" "##"
944   "\n\t" "##  Writes out to (%rdx), and increments or decrements it"
945   "\n\t" "##  Keeps track of round number mod 4 in %r8"
946   "\n\t" "##  Preserves xmm0"
947   "\n\t" "##  Clobbers xmm1-xmm5"
948   "\n\t" "##"
949   "\n\t" ".Laes_schedule_mangle:"
950   "\n\t" "      movdqa  %xmm0,  %xmm4   # save xmm0 for later"
951   "\n\t" "      movdqa  .Lk_mc_forward(%r10),%xmm5"
952   "\n\t" "      test    %rcx,   %rcx"
953   "\n\t" "      jnz     .Laes_schedule_mangle_dec"
954
955   "\n\t" "      # encrypting"
956   "\n\t" "      add     $16,    %rdx"
957   "\n\t" "      pxor    .Lk_s63(%r10),%xmm4"
958   "\n\t" "      pshufb  %xmm5,  %xmm4"
959   "\n\t" "      movdqa  %xmm4,  %xmm3"
960   "\n\t" "      pshufb  %xmm5,  %xmm4"
961   "\n\t" "      pxor    %xmm4,  %xmm3"
962   "\n\t" "      pshufb  %xmm5,  %xmm4"
963   "\n\t" "      pxor    %xmm4,  %xmm3"
964
965   "\n\t" "      jmp     .Laes_schedule_mangle_both"
966
967   "\n\t" ".Laes_schedule_mangle_dec:"
968   "\n\t" "      lea     .Lk_dks_1(%r10), %r11   # first table: *9"
969   "\n\t" "      call    .Laes_schedule_transform"
970   "\n\t" "      movdqa  %xmm0,  %xmm3"
971   "\n\t" "      pshufb  %xmm5,  %xmm3"
972
973   "\n\t" "      add     $32,    %r11            # next table:  *B"
974   "\n\t" "      call    .Laes_schedule_transform"
975   "\n\t" "      pxor    %xmm0,  %xmm3"
976   "\n\t" "      pshufb  %xmm5,  %xmm3"
977
978   "\n\t" "      add     $32,    %r11            # next table:  *D"
979   "\n\t" "      call    .Laes_schedule_transform"
980   "\n\t" "      pxor    %xmm0,  %xmm3"
981   "\n\t" "      pshufb  %xmm5,  %xmm3"
982
983   "\n\t" "      add     $32,    %r11            # next table:  *E"
984   "\n\t" "      call    .Laes_schedule_transform"
985   "\n\t" "      pxor    %xmm0,  %xmm3"
986   "\n\t" "      pshufb  %xmm5,  %xmm3"
987
988   "\n\t" "      movdqa  %xmm4,  %xmm0           # restore %xmm0"
989   "\n\t" "      add     $-16,   %rdx"
990
991   "\n\t" ".Laes_schedule_mangle_both:"
992   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm3"
993   "\n\t" "      add     $-16,   %r8"
994   "\n\t" "      and     $48,    %r8"
995   "\n\t" "      movdqa  %xmm3,  (%rdx)"
996   "\n\t" "      ret"
997
998   "\n\t" "##"
999   "\n\t" "##  .Laes_schedule_mangle_last"
1000   "\n\t" "##"
1001   "\n\t" "##  Mangler for last round of key schedule"
1002   "\n\t" "##  Mangles %xmm0"
1003   "\n\t" "##    when encrypting, outputs out(%xmm0) ^ 63"
1004   "\n\t" "##    when decrypting, outputs unskew(%xmm0)"
1005   "\n\t" "##"
1006   "\n\t" "##  Always called right before return... jumps to cleanup and exits"
1007   "\n\t" "##"
1008   "\n\t" ".Laes_schedule_mangle_last:"
1009   "\n\t" "      # schedule last round key from xmm0"
1010   "\n\t" "      lea     .Lk_deskew(%r10),%r11   # prepare to deskew"
1011   "\n\t" "      test    %rcx,   %rcx"
1012   "\n\t" "      jnz     .Laes_schedule_mangle_last_dec"
1013
1014   "\n\t" "      # encrypting"
1015   "\n\t" "      pshufb  .Lk_sr(%r8,%r10),%xmm0  # output permute"
1016   "\n\t" "      lea     .Lk_opt(%r10),  %r11    # prepare to output transform"
1017   "\n\t" "      add     $32,    %rdx"
1018
1019   "\n\t" ".Laes_schedule_mangle_last_dec:"
1020   "\n\t" "      add     $-16,   %rdx"
1021   "\n\t" "      pxor    .Lk_s63(%r10),  %xmm0"
1022   "\n\t" "      call    .Laes_schedule_transform # output transform"
1023   "\n\t" "      movdqa  %xmm0,  (%rdx)          # save last key"
1024
1025   "\n\t" "      #_aes_cleanup"
1026   "\n\t" "      pxor    %xmm0,  %xmm0"
1027   "\n\t" "      pxor    %xmm1,  %xmm1"
1028   "\n\t" "      pxor    %xmm2,  %xmm2"
1029   "\n\t" "      pxor    %xmm3,  %xmm3"
1030   "\n\t" "      pxor    %xmm4,  %xmm4"
1031   "\n\t" "      pxor    %xmm5,  %xmm5"
1032   "\n\t" "      pxor    %xmm6,  %xmm6"
1033   "\n\t" "      pxor    %xmm7,  %xmm7"
1034   "\n\t" "      pxor    %xmm8,  %xmm8"
1035   "\n\t" "      ret"
1036   "\n\t" ".size _aes_schedule_core,.-_aes_schedule_core"
1037
1038   "\n\t" "########################################################"
1039   "\n\t" "##                                                    ##"
1040   "\n\t" "##                     Constants                      ##"
1041   "\n\t" "##                                                    ##"
1042   "\n\t" "########################################################"
1043
1044   "\n\t" ".align 16"
1045   "\n\t" ".type _aes_consts,@object"
1046   "\n\t" ".Laes_consts:"
1047   "\n\t" "_aes_consts:"
1048   "\n\t" "      # s0F"
1049   "\n\t" "      .Lk_s0F = .-.Laes_consts"
1050   "\n\t" "      .quad   0x0F0F0F0F0F0F0F0F"
1051   "\n\t" "      .quad   0x0F0F0F0F0F0F0F0F"
1052
1053   "\n\t" "      # input transform (lo, hi)"
1054   "\n\t" "      .Lk_ipt = .-.Laes_consts"
1055   "\n\t" "      .quad   0xC2B2E8985A2A7000"
1056   "\n\t" "      .quad   0xCABAE09052227808"
1057   "\n\t" "      .quad   0x4C01307D317C4D00"
1058   "\n\t" "      .quad   0xCD80B1FCB0FDCC81"
1059
1060   "\n\t" "      # inv, inva"
1061   "\n\t" "      .Lk_inv = .-.Laes_consts"
1062   "\n\t" "      .quad   0x0E05060F0D080180"
1063   "\n\t" "      .quad   0x040703090A0B0C02"
1064   "\n\t" "      .quad   0x01040A060F0B0780"
1065   "\n\t" "      .quad   0x030D0E0C02050809"
1066
1067   "\n\t" "      # sb1u, sb1t"
1068   "\n\t" "      .Lk_sb1 = .-.Laes_consts"
1069   "\n\t" "      .quad   0xB19BE18FCB503E00"
1070   "\n\t" "      .quad   0xA5DF7A6E142AF544"
1071   "\n\t" "      .quad   0x3618D415FAE22300"
1072   "\n\t" "      .quad   0x3BF7CCC10D2ED9EF"
1073
1074
1075   "\n\t" "      # sb2u, sb2t"
1076   "\n\t" "      .Lk_sb2 = .-.Laes_consts"
1077   "\n\t" "      .quad   0xE27A93C60B712400"
1078   "\n\t" "      .quad   0x5EB7E955BC982FCD"
1079   "\n\t" "      .quad   0x69EB88400AE12900"
1080   "\n\t" "      .quad   0xC2A163C8AB82234A"
1081
1082   "\n\t" "      # sbou, sbot"
1083   "\n\t" "      .Lk_sbo = .-.Laes_consts"
1084   "\n\t" "      .quad   0xD0D26D176FBDC700"
1085   "\n\t" "      .quad   0x15AABF7AC502A878"
1086   "\n\t" "      .quad   0xCFE474A55FBB6A00"
1087   "\n\t" "      .quad   0x8E1E90D1412B35FA"
1088
1089   "\n\t" "      # mc_forward"
1090   "\n\t" "      .Lk_mc_forward = .-.Laes_consts"
1091   "\n\t" "      .quad   0x0407060500030201"
1092   "\n\t" "      .quad   0x0C0F0E0D080B0A09"
1093   "\n\t" "      .quad   0x080B0A0904070605"
1094   "\n\t" "      .quad   0x000302010C0F0E0D"
1095   "\n\t" "      .quad   0x0C0F0E0D080B0A09"
1096   "\n\t" "      .quad   0x0407060500030201"
1097   "\n\t" "      .quad   0x000302010C0F0E0D"
1098   "\n\t" "      .quad   0x080B0A0904070605"
1099
1100   "\n\t" "      # mc_backward"
1101   "\n\t" "      .Lk_mc_backward = .-.Laes_consts"
1102   "\n\t" "      .quad   0x0605040702010003"
1103   "\n\t" "      .quad   0x0E0D0C0F0A09080B"
1104   "\n\t" "      .quad   0x020100030E0D0C0F"
1105   "\n\t" "      .quad   0x0A09080B06050407"
1106   "\n\t" "      .quad   0x0E0D0C0F0A09080B"
1107   "\n\t" "      .quad   0x0605040702010003"
1108   "\n\t" "      .quad   0x0A09080B06050407"
1109   "\n\t" "      .quad   0x020100030E0D0C0F"
1110
1111   "\n\t" "      # sr"
1112   "\n\t" "      .Lk_sr = .-.Laes_consts"
1113   "\n\t" "      .quad   0x0706050403020100"
1114   "\n\t" "      .quad   0x0F0E0D0C0B0A0908"
1115   "\n\t" "      .quad   0x030E09040F0A0500"
1116   "\n\t" "      .quad   0x0B06010C07020D08"
1117   "\n\t" "      .quad   0x0F060D040B020900"
1118   "\n\t" "      .quad   0x070E050C030A0108"
1119   "\n\t" "      .quad   0x0B0E0104070A0D00"
1120   "\n\t" "      .quad   0x0306090C0F020508"
1121
1122   "\n\t" "      # rcon"
1123   "\n\t" "      .Lk_rcon = .-.Laes_consts"
1124   "\n\t" "      .quad   0x1F8391B9AF9DEEB6"
1125   "\n\t" "      .quad   0x702A98084D7C7D81"
1126
1127   "\n\t" "      # s63: all equal to 0x63 transformed"
1128   "\n\t" "      .Lk_s63 = .-.Laes_consts"
1129   "\n\t" "      .quad   0x5B5B5B5B5B5B5B5B"
1130   "\n\t" "      .quad   0x5B5B5B5B5B5B5B5B"
1131
1132   "\n\t" "      # output transform"
1133   "\n\t" "      .Lk_opt = .-.Laes_consts"
1134   "\n\t" "      .quad   0xFF9F4929D6B66000"
1135   "\n\t" "      .quad   0xF7974121DEBE6808"
1136   "\n\t" "      .quad   0x01EDBD5150BCEC00"
1137   "\n\t" "      .quad   0xE10D5DB1B05C0CE0"
1138
1139   "\n\t" "      # deskew tables: inverts the sbox's 'skew'"
1140   "\n\t" "      .Lk_deskew = .-.Laes_consts"
1141   "\n\t" "      .quad   0x07E4A34047A4E300"
1142   "\n\t" "      .quad   0x1DFEB95A5DBEF91A"
1143   "\n\t" "      .quad   0x5F36B5DC83EA6900"
1144   "\n\t" "      .quad   0x2841C2ABF49D1E77"
1145
1146   "\n\t" "##"
1147   "\n\t" "##  Decryption stuff"
1148   "\n\t" "##  Key schedule constants"
1149   "\n\t" "##"
1150   "\n\t" "      # decryption key schedule: x -> invskew x*9"
1151   "\n\t" "      .Lk_dks_1 = .-.Laes_consts"
1152   "\n\t" "      .quad   0xB6116FC87ED9A700"
1153   "\n\t" "      .quad   0x4AED933482255BFC"
1154   "\n\t" "      .quad   0x4576516227143300"
1155   "\n\t" "      .quad   0x8BB89FACE9DAFDCE"
1156
1157   "\n\t" "      # decryption key schedule: invskew x*9 -> invskew x*D"
1158   "\n\t" "      .Lk_dks_2 = .-.Laes_consts"
1159   "\n\t" "      .quad   0x27438FEBCCA86400"
1160   "\n\t" "      .quad   0x4622EE8AADC90561"
1161   "\n\t" "      .quad   0x815C13CE4F92DD00"
1162   "\n\t" "      .quad   0x73AEE13CBD602FF2"
1163
1164   "\n\t" "      # decryption key schedule: invskew x*D -> invskew x*B"
1165   "\n\t" "      .Lk_dks_3 = .-.Laes_consts"
1166   "\n\t" "      .quad   0x03C4C50201C6C700"
1167   "\n\t" "      .quad   0xF83F3EF9FA3D3CFB"
1168   "\n\t" "      .quad   0xEE1921D638CFF700"
1169   "\n\t" "      .quad   0xA5526A9D7384BC4B"
1170
1171   "\n\t" "      # decryption key schedule: invskew x*B -> invskew x*E + 0x63"
1172   "\n\t" "      .Lk_dks_4 = .-.Laes_consts"
1173   "\n\t" "      .quad   0xE3C390B053732000"
1174   "\n\t" "      .quad   0xA080D3F310306343"
1175   "\n\t" "      .quad   0xA0CA214B036982E8"
1176   "\n\t" "      .quad   0x2F45AEC48CE60D67"
1177
1178   "\n\t" "##"
1179   "\n\t" "##  Decryption stuff"
1180   "\n\t" "##  Round function constants"
1181   "\n\t" "##"
1182   "\n\t" "      # decryption input transform"
1183   "\n\t" "      .Lk_dipt = .-.Laes_consts"
1184   "\n\t" "      .quad   0x0F505B040B545F00"
1185   "\n\t" "      .quad   0x154A411E114E451A"
1186   "\n\t" "      .quad   0x86E383E660056500"
1187   "\n\t" "      .quad   0x12771772F491F194"
1188
1189   "\n\t" "      # decryption sbox output *9*u, *9*t"
1190   "\n\t" "      .Lk_dsb9 = .-.Laes_consts"
1191   "\n\t" "      .quad   0x851C03539A86D600"
1192   "\n\t" "      .quad   0xCAD51F504F994CC9"
1193   "\n\t" "      .quad   0xC03B1789ECD74900"
1194   "\n\t" "      .quad   0x725E2C9EB2FBA565"
1195
1196   "\n\t" "      # decryption sbox output *D*u, *D*t"
1197   "\n\t" "      .Lk_dsbd = .-.Laes_consts"
1198   "\n\t" "      .quad   0x7D57CCDFE6B1A200"
1199   "\n\t" "      .quad   0xF56E9B13882A4439"
1200   "\n\t" "      .quad   0x3CE2FAF724C6CB00"
1201   "\n\t" "      .quad   0x2931180D15DEEFD3"
1202
1203   "\n\t" "      # decryption sbox output *B*u, *B*t"
1204   "\n\t" "      .Lk_dsbb = .-.Laes_consts"
1205   "\n\t" "      .quad   0xD022649296B44200"
1206   "\n\t" "      .quad   0x602646F6B0F2D404"
1207   "\n\t" "      .quad   0xC19498A6CD596700"
1208   "\n\t" "      .quad   0xF3FF0C3E3255AA6B"
1209
1210   "\n\t" "      # decryption sbox output *E*u, *E*t"
1211   "\n\t" "      .Lk_dsbe = .-.Laes_consts"
1212   "\n\t" "      .quad   0x46F2929626D4D000"
1213   "\n\t" "      .quad   0x2242600464B4F6B0"
1214   "\n\t" "      .quad   0x0C55A6CDFFAAC100"
1215   "\n\t" "      .quad   0x9467F36B98593E32"
1216
1217   "\n\t" "      # decryption sbox final output"
1218   "\n\t" "      .Lk_dsbo = .-.Laes_consts"
1219   "\n\t" "      .quad   0x1387EA537EF94000"
1220   "\n\t" "      .quad   0xC7AA6DB9D4943E2D"
1221   "\n\t" "      .quad   0x12D7560F93441D00"
1222   "\n\t" "      .quad   0xCA4B8159D8C58E9C"
1223   "\n\t" ".size _aes_consts,.-_aes_consts"
1224 );
1225
1226 #endif /* USE_SSSE3 */