The first libgcrypt only release.
[libgcrypt.git] / mpi / mpih-mul.c
1 /* mpih-mul.c  -  MPI helper functions
2  * Copyright (C) 1994, 1996, 1998, 1999, 2000,
3  *               2001 Free Software Foundation, Inc.
4  *
5  * This file is part of Libgcrypt.
6  *
7  * Libgcrypt is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * Libgcrypt is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
20  *
21  * Note: This code is heavily based on the GNU MP Library.
22  *       Actually it's the same code with only minor changes in the
23  *       way the data is stored; this is to support the abstraction
24  *       of an optional secure memory allocation which may be used
25  *       to avoid revealing of sensitive data due to paging etc.
26  *       The GNU MP Library itself is published under the LGPL;
27  *       however I decided to publish this code under the plain GPL.
28  */
29
30 #include <config.h>
31 #include <stdio.h>
32 #include <stdlib.h>
33 #include <string.h>
34 #include "mpi-internal.h"
35 #include "longlong.h"
36 #include "g10lib.h"
37
38 #define MPN_MUL_N_RECURSE(prodp, up, vp, size, tspace) \
39     do {                                                \
40         if( (size) < KARATSUBA_THRESHOLD )              \
41             mul_n_basecase (prodp, up, vp, size);       \
42         else                                            \
43             mul_n (prodp, up, vp, size, tspace);        \
44     } while (0);
45
46 #define MPN_SQR_N_RECURSE(prodp, up, size, tspace) \
47     do {                                            \
48         if ((size) < KARATSUBA_THRESHOLD)           \
49             _gcry_mpih_sqr_n_basecase (prodp, up, size);         \
50         else                                        \
51             _gcry_mpih_sqr_n (prodp, up, size, tspace);  \
52     } while (0);
53
54
55
56
57 /* Multiply the natural numbers u (pointed to by UP) and v (pointed to by VP),
58  * both with SIZE limbs, and store the result at PRODP.  2 * SIZE limbs are
59  * always stored.  Return the most significant limb.
60  *
61  * Argument constraints:
62  * 1. PRODP != UP and PRODP != VP, i.e. the destination
63  *    must be distinct from the multiplier and the multiplicand.
64  *
65  *
66  * Handle simple cases with traditional multiplication.
67  *
68  * This is the most critical code of multiplication.  All multiplies rely
69  * on this, both small and huge.  Small ones arrive here immediately.  Huge
70  * ones arrive here as this is the base case for Karatsuba's recursive
71  * algorithm below.
72  */
73
74 static mpi_limb_t
75 mul_n_basecase( mpi_ptr_t prodp, mpi_ptr_t up,
76                                  mpi_ptr_t vp, mpi_size_t size)
77 {
78     mpi_size_t i;
79     mpi_limb_t cy;
80     mpi_limb_t v_limb;
81
82     /* Multiply by the first limb in V separately, as the result can be
83      * stored (not added) to PROD.  We also avoid a loop for zeroing.  */
84     v_limb = vp[0];
85     if( v_limb <= 1 ) {
86         if( v_limb == 1 )
87             MPN_COPY( prodp, up, size );
88         else
89             MPN_ZERO( prodp, size );
90         cy = 0;
91     }
92     else
93         cy = _gcry_mpih_mul_1( prodp, up, size, v_limb );
94
95     prodp[size] = cy;
96     prodp++;
97
98     /* For each iteration in the outer loop, multiply one limb from
99      * U with one limb from V, and add it to PROD.  */
100     for( i = 1; i < size; i++ ) {
101         v_limb = vp[i];
102         if( v_limb <= 1 ) {
103             cy = 0;
104             if( v_limb == 1 )
105                cy = _gcry_mpih_add_n(prodp, prodp, up, size);
106         }
107         else
108             cy = _gcry_mpih_addmul_1(prodp, up, size, v_limb);
109
110         prodp[size] = cy;
111         prodp++;
112     }
113
114     return cy;
115 }
116
117
118 static void
119 mul_n( mpi_ptr_t prodp, mpi_ptr_t up, mpi_ptr_t vp,
120                         mpi_size_t size, mpi_ptr_t tspace )
121 {
122     if( size & 1 ) {
123       /* The size is odd, and the code below doesn't handle that.
124        * Multiply the least significant (size - 1) limbs with a recursive
125        * call, and handle the most significant limb of S1 and S2
126        * separately.
127        * A slightly faster way to do this would be to make the Karatsuba
128        * code below behave as if the size were even, and let it check for
129        * odd size in the end.  I.e., in essence move this code to the end.
130        * Doing so would save us a recursive call, and potentially make the
131        * stack grow a lot less.
132        */
133       mpi_size_t esize = size - 1;       /* even size */
134       mpi_limb_t cy_limb;
135
136       MPN_MUL_N_RECURSE( prodp, up, vp, esize, tspace );
137       cy_limb = _gcry_mpih_addmul_1( prodp + esize, up, esize, vp[esize] );
138       prodp[esize + esize] = cy_limb;
139       cy_limb = _gcry_mpih_addmul_1( prodp + esize, vp, size, up[esize] );
140       prodp[esize + size] = cy_limb;
141     }
142     else {
143         /* Anatolij Alekseevich Karatsuba's divide-and-conquer algorithm.
144          *
145          * Split U in two pieces, U1 and U0, such that
146          * U = U0 + U1*(B**n),
147          * and V in V1 and V0, such that
148          * V = V0 + V1*(B**n).
149          *
150          * UV is then computed recursively using the identity
151          *
152          *        2n   n          n                     n
153          * UV = (B  + B )U V  +  B (U -U )(V -V )  +  (B + 1)U V
154          *                1 1        1  0   0  1              0 0
155          *
156          * Where B = 2**BITS_PER_MP_LIMB.
157          */
158         mpi_size_t hsize = size >> 1;
159         mpi_limb_t cy;
160         int negflg;
161
162         /* Product H.      ________________  ________________
163          *                |_____U1 x V1____||____U0 x V0_____|
164          * Put result in upper part of PROD and pass low part of TSPACE
165          * as new TSPACE.
166          */
167         MPN_MUL_N_RECURSE(prodp + size, up + hsize, vp + hsize, hsize, tspace);
168
169         /* Product M.      ________________
170          *                |_(U1-U0)(V0-V1)_|
171          */
172         if( _gcry_mpih_cmp(up + hsize, up, hsize) >= 0 ) {
173             _gcry_mpih_sub_n(prodp, up + hsize, up, hsize);
174             negflg = 0;
175         }
176         else {
177             _gcry_mpih_sub_n(prodp, up, up + hsize, hsize);
178             negflg = 1;
179         }
180         if( _gcry_mpih_cmp(vp + hsize, vp, hsize) >= 0 ) {
181             _gcry_mpih_sub_n(prodp + hsize, vp + hsize, vp, hsize);
182             negflg ^= 1;
183         }
184         else {
185             _gcry_mpih_sub_n(prodp + hsize, vp, vp + hsize, hsize);
186             /* No change of NEGFLG.  */
187         }
188         /* Read temporary operands from low part of PROD.
189          * Put result in low part of TSPACE using upper part of TSPACE
190          * as new TSPACE.
191          */
192         MPN_MUL_N_RECURSE(tspace, prodp, prodp + hsize, hsize, tspace + size);
193
194         /* Add/copy product H. */
195         MPN_COPY (prodp + hsize, prodp + size, hsize);
196         cy = _gcry_mpih_add_n( prodp + size, prodp + size,
197                             prodp + size + hsize, hsize);
198
199         /* Add product M (if NEGFLG M is a negative number) */
200         if(negflg)
201             cy -= _gcry_mpih_sub_n(prodp + hsize, prodp + hsize, tspace, size);
202         else
203             cy += _gcry_mpih_add_n(prodp + hsize, prodp + hsize, tspace, size);
204
205         /* Product L.      ________________  ________________
206          *                |________________||____U0 x V0_____|
207          * Read temporary operands from low part of PROD.
208          * Put result in low part of TSPACE using upper part of TSPACE
209          * as new TSPACE.
210          */
211         MPN_MUL_N_RECURSE(tspace, up, vp, hsize, tspace + size);
212
213         /* Add/copy Product L (twice) */
214
215         cy += _gcry_mpih_add_n(prodp + hsize, prodp + hsize, tspace, size);
216         if( cy )
217           _gcry_mpih_add_1(prodp + hsize + size, prodp + hsize + size, hsize, cy);
218
219         MPN_COPY(prodp, tspace, hsize);
220         cy = _gcry_mpih_add_n(prodp + hsize, prodp + hsize, tspace + hsize, hsize);
221         if( cy )
222             _gcry_mpih_add_1(prodp + size, prodp + size, size, 1);
223     }
224 }
225
226
227 void
228 _gcry_mpih_sqr_n_basecase( mpi_ptr_t prodp, mpi_ptr_t up, mpi_size_t size )
229 {
230     mpi_size_t i;
231     mpi_limb_t cy_limb;
232     mpi_limb_t v_limb;
233
234     /* Multiply by the first limb in V separately, as the result can be
235      * stored (not added) to PROD.  We also avoid a loop for zeroing.  */
236     v_limb = up[0];
237     if( v_limb <= 1 ) {
238         if( v_limb == 1 )
239             MPN_COPY( prodp, up, size );
240         else
241             MPN_ZERO(prodp, size);
242         cy_limb = 0;
243     }
244     else
245         cy_limb = _gcry_mpih_mul_1( prodp, up, size, v_limb );
246
247     prodp[size] = cy_limb;
248     prodp++;
249
250     /* For each iteration in the outer loop, multiply one limb from
251      * U with one limb from V, and add it to PROD.  */
252     for( i=1; i < size; i++) {
253         v_limb = up[i];
254         if( v_limb <= 1 ) {
255             cy_limb = 0;
256             if( v_limb == 1 )
257                 cy_limb = _gcry_mpih_add_n(prodp, prodp, up, size);
258         }
259         else
260             cy_limb = _gcry_mpih_addmul_1(prodp, up, size, v_limb);
261
262         prodp[size] = cy_limb;
263         prodp++;
264     }
265 }
266
267
268 void
269 _gcry_mpih_sqr_n( mpi_ptr_t prodp,
270                   mpi_ptr_t up, mpi_size_t size, mpi_ptr_t tspace)
271 {
272     if( size & 1 ) {
273         /* The size is odd, and the code below doesn't handle that.
274          * Multiply the least significant (size - 1) limbs with a recursive
275          * call, and handle the most significant limb of S1 and S2
276          * separately.
277          * A slightly faster way to do this would be to make the Karatsuba
278          * code below behave as if the size were even, and let it check for
279          * odd size in the end.  I.e., in essence move this code to the end.
280          * Doing so would save us a recursive call, and potentially make the
281          * stack grow a lot less.
282          */
283         mpi_size_t esize = size - 1;       /* even size */
284         mpi_limb_t cy_limb;
285
286         MPN_SQR_N_RECURSE( prodp, up, esize, tspace );
287         cy_limb = _gcry_mpih_addmul_1( prodp + esize, up, esize, up[esize] );
288         prodp[esize + esize] = cy_limb;
289         cy_limb = _gcry_mpih_addmul_1( prodp + esize, up, size, up[esize] );
290
291         prodp[esize + size] = cy_limb;
292     }
293     else {
294         mpi_size_t hsize = size >> 1;
295         mpi_limb_t cy;
296
297         /* Product H.      ________________  ________________
298          *                |_____U1 x U1____||____U0 x U0_____|
299          * Put result in upper part of PROD and pass low part of TSPACE
300          * as new TSPACE.
301          */
302         MPN_SQR_N_RECURSE(prodp + size, up + hsize, hsize, tspace);
303
304         /* Product M.      ________________
305          *                |_(U1-U0)(U0-U1)_|
306          */
307         if( _gcry_mpih_cmp( up + hsize, up, hsize) >= 0 )
308             _gcry_mpih_sub_n( prodp, up + hsize, up, hsize);
309         else
310             _gcry_mpih_sub_n (prodp, up, up + hsize, hsize);
311
312         /* Read temporary operands from low part of PROD.
313          * Put result in low part of TSPACE using upper part of TSPACE
314          * as new TSPACE.  */
315         MPN_SQR_N_RECURSE(tspace, prodp, hsize, tspace + size);
316
317         /* Add/copy product H  */
318         MPN_COPY(prodp + hsize, prodp + size, hsize);
319         cy = _gcry_mpih_add_n(prodp + size, prodp + size,
320                            prodp + size + hsize, hsize);
321
322         /* Add product M (if NEGFLG M is a negative number).  */
323         cy -= _gcry_mpih_sub_n (prodp + hsize, prodp + hsize, tspace, size);
324
325         /* Product L.      ________________  ________________
326          *                |________________||____U0 x U0_____|
327          * Read temporary operands from low part of PROD.
328          * Put result in low part of TSPACE using upper part of TSPACE
329          * as new TSPACE.  */
330         MPN_SQR_N_RECURSE (tspace, up, hsize, tspace + size);
331
332         /* Add/copy Product L (twice).  */
333         cy += _gcry_mpih_add_n (prodp + hsize, prodp + hsize, tspace, size);
334         if( cy )
335             _gcry_mpih_add_1(prodp + hsize + size, prodp + hsize + size,
336                                                             hsize, cy);
337
338         MPN_COPY(prodp, tspace, hsize);
339         cy = _gcry_mpih_add_n (prodp + hsize, prodp + hsize, tspace + hsize, hsize);
340         if( cy )
341             _gcry_mpih_add_1 (prodp + size, prodp + size, size, 1);
342     }
343 }
344
345
346 /* This should be made into an inline function in gmp.h.  */
347 void
348 _gcry_mpih_mul_n( mpi_ptr_t prodp,
349                      mpi_ptr_t up, mpi_ptr_t vp, mpi_size_t size)
350 {
351     int secure;
352
353     if( up == vp ) {
354         if( size < KARATSUBA_THRESHOLD )
355             _gcry_mpih_sqr_n_basecase( prodp, up, size );
356         else {
357             mpi_ptr_t tspace;
358             secure = gcry_is_secure( up );
359             tspace = mpi_alloc_limb_space( 2 * size, secure );
360             _gcry_mpih_sqr_n( prodp, up, size, tspace );
361             mpi_free_limb_space( tspace );
362         }
363     }
364     else {
365         if( size < KARATSUBA_THRESHOLD )
366             mul_n_basecase( prodp, up, vp, size );
367         else {
368             mpi_ptr_t tspace;
369             secure = gcry_is_secure( up ) || gcry_is_secure( vp );
370             tspace = mpi_alloc_limb_space( 2 * size, secure );
371             mul_n (prodp, up, vp, size, tspace);
372             mpi_free_limb_space( tspace );
373         }
374     }
375 }
376
377
378
379 void
380 _gcry_mpih_mul_karatsuba_case( mpi_ptr_t prodp,
381                                   mpi_ptr_t up, mpi_size_t usize,
382                                   mpi_ptr_t vp, mpi_size_t vsize,
383                                   struct karatsuba_ctx *ctx )
384 {
385     mpi_limb_t cy;
386
387     if( !ctx->tspace || ctx->tspace_size < vsize ) {
388         if( ctx->tspace )
389             mpi_free_limb_space( ctx->tspace );
390         ctx->tspace = mpi_alloc_limb_space( 2 * vsize,
391                                        gcry_is_secure( up ) || gcry_is_secure( vp ) );
392         ctx->tspace_size = vsize;
393     }
394
395     MPN_MUL_N_RECURSE( prodp, up, vp, vsize, ctx->tspace );
396
397     prodp += vsize;
398     up += vsize;
399     usize -= vsize;
400     if( usize >= vsize ) {
401         if( !ctx->tp || ctx->tp_size < vsize ) {
402             if( ctx->tp )
403                 mpi_free_limb_space( ctx->tp );
404             ctx->tp = mpi_alloc_limb_space( 2 * vsize, gcry_is_secure( up )
405                                                       || gcry_is_secure( vp ) );
406             ctx->tp_size = vsize;
407         }
408
409         do {
410             MPN_MUL_N_RECURSE( ctx->tp, up, vp, vsize, ctx->tspace );
411             cy = _gcry_mpih_add_n( prodp, prodp, ctx->tp, vsize );
412             _gcry_mpih_add_1( prodp + vsize, ctx->tp + vsize, vsize, cy );
413             prodp += vsize;
414             up += vsize;
415             usize -= vsize;
416         } while( usize >= vsize );
417     }
418
419     if( usize ) {
420         if( usize < KARATSUBA_THRESHOLD ) {
421             _gcry_mpih_mul( ctx->tspace, vp, vsize, up, usize );
422         }
423         else {
424             if( !ctx->next ) {
425                 ctx->next = gcry_xcalloc( 1, sizeof *ctx );
426             }
427             _gcry_mpih_mul_karatsuba_case( ctx->tspace,
428                                         vp, vsize,
429                                         up, usize,
430                                         ctx->next );
431         }
432
433         cy = _gcry_mpih_add_n( prodp, prodp, ctx->tspace, vsize);
434         _gcry_mpih_add_1( prodp + vsize, ctx->tspace + vsize, usize, cy );
435     }
436 }
437
438
439 void
440 _gcry_mpih_release_karatsuba_ctx( struct karatsuba_ctx *ctx )
441 {
442     struct karatsuba_ctx *ctx2;
443
444     if( ctx->tp )
445         mpi_free_limb_space( ctx->tp );
446     if( ctx->tspace )
447         mpi_free_limb_space( ctx->tspace );
448     for( ctx=ctx->next; ctx; ctx = ctx2 ) {
449         ctx2 = ctx->next;
450         if( ctx->tp )
451             mpi_free_limb_space( ctx->tp );
452         if( ctx->tspace )
453             mpi_free_limb_space( ctx->tspace );
454         gcry_free( ctx );
455     }
456 }
457
458 /* Multiply the natural numbers u (pointed to by UP, with USIZE limbs)
459  * and v (pointed to by VP, with VSIZE limbs), and store the result at
460  * PRODP.  USIZE + VSIZE limbs are always stored, but if the input
461  * operands are normalized.  Return the most significant limb of the
462  * result.
463  *
464  * NOTE: The space pointed to by PRODP is overwritten before finished
465  * with U and V, so overlap is an error.
466  *
467  * Argument constraints:
468  * 1. USIZE >= VSIZE.
469  * 2. PRODP != UP and PRODP != VP, i.e. the destination
470  *    must be distinct from the multiplier and the multiplicand.
471  */
472
473 mpi_limb_t
474 _gcry_mpih_mul( mpi_ptr_t prodp, mpi_ptr_t up, mpi_size_t usize,
475                    mpi_ptr_t vp, mpi_size_t vsize)
476 {
477     mpi_ptr_t prod_endp = prodp + usize + vsize - 1;
478     mpi_limb_t cy;
479     struct karatsuba_ctx ctx;
480
481     if( vsize < KARATSUBA_THRESHOLD ) {
482         mpi_size_t i;
483         mpi_limb_t v_limb;
484
485         if( !vsize )
486             return 0;
487
488         /* Multiply by the first limb in V separately, as the result can be
489          * stored (not added) to PROD.  We also avoid a loop for zeroing.  */
490         v_limb = vp[0];
491         if( v_limb <= 1 ) {
492             if( v_limb == 1 )
493                 MPN_COPY( prodp, up, usize );
494             else
495                 MPN_ZERO( prodp, usize );
496             cy = 0;
497         }
498         else
499             cy = _gcry_mpih_mul_1( prodp, up, usize, v_limb );
500
501         prodp[usize] = cy;
502         prodp++;
503
504         /* For each iteration in the outer loop, multiply one limb from
505          * U with one limb from V, and add it to PROD.  */
506         for( i = 1; i < vsize; i++ ) {
507             v_limb = vp[i];
508             if( v_limb <= 1 ) {
509                 cy = 0;
510                 if( v_limb == 1 )
511                    cy = _gcry_mpih_add_n(prodp, prodp, up, usize);
512             }
513             else
514                 cy = _gcry_mpih_addmul_1(prodp, up, usize, v_limb);
515
516             prodp[usize] = cy;
517             prodp++;
518         }
519
520         return cy;
521     }
522
523     memset( &ctx, 0, sizeof ctx );
524     _gcry_mpih_mul_karatsuba_case( prodp, up, usize, vp, vsize, &ctx );
525     _gcry_mpih_release_karatsuba_ctx( &ctx );
526     return *prod_endp;
527 }
528
529