Add aarch64 (arm64) mpi assembly
[libgcrypt.git] / mpi / aarch64 / mpih-mul2.S
1 /* ARM64 mul_2 -- Multiply a limb vector with a limb and add the result to
2  *                a second limb vector.
3  *
4  *      Copyright © 2013 Jussi Kivilinna <jussi.kivilinna@iki.fi>
5  *
6  * This file is part of Libgcrypt.
7  *
8  * Libgcrypt is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU Lesser General Public License as
10  * published by the Free Software Foundation; either version 2.1 of
11  * the License, or (at your option) any later version.
12  *
13  * Libgcrypt is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU Lesser General Public License for more details.
17  *
18  * You should have received a copy of the GNU Lesser General Public
19  * License along with this program; if not, see <http://www.gnu.org/licenses/>.
20  *
21  */
22
23 #include "sysdep.h"
24 #include "asm-syntax.h"
25
26 /*******************
27  * mpi_limb_t
28  * _gcry_mpih_addmul_1( mpi_ptr_t res_ptr,      x0
29  *                   mpi_ptr_t s1_ptr,          x1
30  *                   mpi_size_t s1_size,        x2
31  *                   mpi_limb_t s2_limb)        x3
32  */
33
34 .text
35
36 .globl _gcry_mpih_addmul_1
37 .type  _gcry_mpih_addmul_1,%function
38 _gcry_mpih_addmul_1:
39         and     x5, x2, #3;
40         mov     x6, xzr;
41         mov     x7, xzr;
42
43         cbz     x5, .Large_loop;
44
45 .Loop:
46         ldr     x5, [x1], #8;
47
48         mul     x12, x5, x3;
49         ldr     x4, [x0];
50         umulh   x13, x5, x3;
51         sub     x2, x2, #1;
52
53         adds    x12, x12, x4;
54         and     x5, x2, #3;
55         adc     x13, x13, x7;
56         adds    x12, x12, x6;
57         str     x12, [x0], #8;
58         adc     x6, x7, x13;
59
60         cbz     x2, .Lend;
61         cbnz    x5, .Loop;
62
63 .Large_loop:
64         ldp     x5, x9, [x1], #16;
65         sub     x2, x2, #4;
66         ldp     x4, x8, [x0];
67
68         mul     x12, x5, x3;
69         umulh   x13, x5, x3;
70
71         adds    x12, x12, x4;
72         mul     x14, x9, x3;
73         adc     x13, x13, x7;
74         adds    x12, x12, x6;
75         umulh   x15, x9, x3;
76         str     x12, [x0], #8;
77         adc     x6, x7, x13;
78
79         adds    x14, x14, x8;
80         ldp     x5, x9, [x1], #16;
81         adc     x15, x15, x7;
82         adds    x14, x14, x6;
83         mul     x12, x5, x3;
84         str     x14, [x0], #8;
85         ldp     x4, x8, [x0];
86         umulh   x13, x5, x3;
87         adc     x6, x7, x15;
88
89         adds    x12, x12, x4;
90         mul     x14, x9, x3;
91         adc     x13, x13, x7;
92         adds    x12, x12, x6;
93         umulh   x15, x9, x3;
94         str     x12, [x0], #8;
95         adc     x6, x7, x13;
96
97         adds    x14, x14, x8;
98         adc     x15, x15, x7;
99         adds    x14, x14, x6;
100         str     x14, [x0], #8;
101         adc     x6, x7, x15;
102
103         cbnz    x2, .Large_loop;
104
105 .Lend:
106         mov     x0, x6;
107         ret;
108 .size _gcry_mpih_addmul_1,.-_gcry_mpih_addmul_1;