Prevent tail call optimization with _gcry_burn_stack
authorJussi Kivilinna <jussi.kivilinna@iki.fi>
Wed, 2 Oct 2013 17:47:56 +0000 (20:47 +0300)
committerJussi Kivilinna <jussi.kivilinna@iki.fi>
Thu, 10 Oct 2013 12:51:09 +0000 (15:51 +0300)
commit150c0313f971bcea62d2802f0389c883e11ebb31
tree098296cd6558d7096aea7ad4f8f45c1f1545fafa
parent94b652ecb006c29fa2ffb1badc9f02b758581737
Prevent tail call optimization with _gcry_burn_stack

* configure.ac: New check, HAVE_GCC_ASM_VOLATILE_MEMORY.
* src/g10lib.h (_gcry_burn_stack): Rename to __gcry_burn_stack.
(__gcry_burn_stack_dummy): New.
(_gcry_burn_stack): New macro.
* src/misc.c (_gcry_burn_stack): Rename to __gcry_burn_stack.
(__gcry_burn_stack_dummy): New.
--

Tail call optimization can turn _gcry_burn_stack call in to tail jump. When
this happens, stack pointer is restored to initial state of current function.
This causes problem for _gcry_burn_stack because its callers do not count in
current function stack depth.

One solution is to prevent gcry_burn_stack being tail optimized by inserting
dummy function call behind it. Another would be to add memory barrier 'asm
volatile("":::"memory")' behind every _gcry_burn_stack call. This however
requires GCC asm support from compiler.

Patch adds detection for memory barrier support and when available uses
memory barrier to prevent when tail call optimization. If not available
dummy function call is used instead.

Signed-off-by: Jussi Kivilinna <jussi.kivilinna@iki.fi>
configure.ac
src/g10lib.h
src/misc.c