* misc.c (compress_algo_to_string, string_to_compress_algo,
[gnupg.git] / g10 / compress.c
1 /* compress.c - compress filter
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002,
3  *               2003 Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
20  */
21
22 /* Note that the code in compress-bz2.c is nearly identical to the
23    code here, so if you fix a bug here, look there to see if the
24    matching bug needs to be fixed.  I tried to have one set of
25    functions that could do ZIP, ZLIB, and BZIP2, but it became
26    dangerously unreadable with #ifdefs and if(algo) -dshaw */
27
28 #include <config.h>
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <string.h>
32 #include <unistd.h>
33 #include <assert.h>
34 #include <errno.h>
35 #include <zlib.h>
36 #ifdef __riscos__
37 # include "zlib-riscos.h"
38 #endif
39
40 #include "util.h"
41 #include "memory.h"
42 #include "packet.h"
43 #include "filter.h"
44 #include "main.h"
45 #include "options.h"
46
47 int compress_filter_bz2( void *opaque, int control,
48                          IOBUF a, byte *buf, size_t *ret_len);
49
50 static void
51 init_compress( compress_filter_context_t *zfx, z_stream *zs )
52 {
53     int rc;
54     int level;
55
56 #ifdef __riscos__
57     static int zlib_initialized = 0;
58
59     if (!zlib_initialized)
60         zlib_initialized = riscos_load_module("ZLib", zlib_path, 1);
61 #endif
62
63     if( opt.compress >= 0 && opt.compress <= 9 )
64         level = opt.compress;
65     else if( opt.compress == -1 )
66         level = Z_DEFAULT_COMPRESSION;
67     else if( opt.compress == 10 ) /* remove this ! */
68         level = 0;
69     else {
70         log_error("invalid compression level; using default level\n");
71         level = Z_DEFAULT_COMPRESSION;
72     }
73
74
75     if( (rc = zfx->algo == 1? deflateInit2( zs, level, Z_DEFLATED,
76                                             -13, 8, Z_DEFAULT_STRATEGY)
77                             : deflateInit( zs, level )
78                             ) != Z_OK ) {
79         log_fatal("zlib problem: %s\n", zs->msg? zs->msg :
80                                rc == Z_MEM_ERROR ? "out of core" :
81                                rc == Z_VERSION_ERROR ? "invalid lib version" :
82                                                        "unknown error" );
83     }
84
85     zfx->outbufsize = 8192;
86     zfx->outbuf = m_alloc( zfx->outbufsize );
87 }
88
89 static int
90 do_compress( compress_filter_context_t *zfx, z_stream *zs, int flush, IOBUF a )
91 {
92     int zrc;
93     unsigned n;
94
95     do {
96 #ifndef __riscos__
97         zs->next_out = zfx->outbuf;
98 #else /* __riscos__ */
99         zs->next_out = (Bytef *) zfx->outbuf;
100 #endif /* __riscos__ */
101         zs->avail_out = zfx->outbufsize;
102         if( DBG_FILTER )
103             log_debug("enter deflate: avail_in=%u, avail_out=%u, flush=%d\n",
104                     (unsigned)zs->avail_in, (unsigned)zs->avail_out, flush );
105         zrc = deflate( zs, flush );
106         if( zrc == Z_STREAM_END && flush == Z_FINISH )
107             ;
108         else if( zrc != Z_OK ) {
109             if( zs->msg )
110                 log_fatal("zlib deflate problem: %s\n", zs->msg );
111             else
112                 log_fatal("zlib deflate problem: rc=%d\n", zrc );
113         }
114         n = zfx->outbufsize - zs->avail_out;
115         if( DBG_FILTER )
116             log_debug("leave deflate: "
117                       "avail_in=%u, avail_out=%u, n=%u, zrc=%d\n",
118                 (unsigned)zs->avail_in, (unsigned)zs->avail_out,
119                                                (unsigned)n, zrc );
120
121         if( iobuf_write( a, zfx->outbuf, n ) ) {
122             log_debug("deflate: iobuf_write failed\n");
123             return G10ERR_WRITE_FILE;
124         }
125     } while( zs->avail_in || (flush == Z_FINISH && zrc != Z_STREAM_END) );
126     return 0;
127 }
128
129 static void
130 init_uncompress( compress_filter_context_t *zfx, z_stream *zs )
131 {
132     int rc;
133
134     /****************
135      * PGP uses a windowsize of 13 bits. Using a negative value for
136      * it forces zlib not to expect a zlib header.  This is a
137      * undocumented feature Peter Gutmann told me about.
138      *    
139      * We must use 15 bits for the inflator because CryptoEx uses 15
140      * bits thus the output would get scrambled w/o error indication
141      * if we would use 13 bits.  For the uncompressing this does not
142      * matter at all.
143      */
144     if( (rc = zfx->algo == 1? inflateInit2( zs, -15)
145                             : inflateInit( zs )) != Z_OK ) {
146         log_fatal("zlib problem: %s\n", zs->msg? zs->msg :
147                                rc == Z_MEM_ERROR ? "out of core" :
148                                rc == Z_VERSION_ERROR ? "invalid lib version" :
149                                                        "unknown error" );
150     }
151
152     zfx->inbufsize = 2048;
153     zfx->inbuf = m_alloc( zfx->inbufsize );
154     zs->avail_in = 0;
155 }
156
157 static int
158 do_uncompress( compress_filter_context_t *zfx, z_stream *zs,
159                IOBUF a, size_t *ret_len )
160 {
161     int zrc;
162     int rc=0;
163     size_t n;
164     int nread, count;
165     int refill = !zs->avail_in;
166
167     if( DBG_FILTER )
168         log_debug("begin inflate: avail_in=%u, avail_out=%u, inbuf=%u\n",
169                 (unsigned)zs->avail_in, (unsigned)zs->avail_out,
170                 (unsigned)zfx->inbufsize );
171     do {
172         if( zs->avail_in < zfx->inbufsize && refill ) {
173             n = zs->avail_in;
174             if( !n )
175 #ifndef __riscos__
176                 zs->next_in = zfx->inbuf;
177 #else /* __riscos__ */
178                 zs->next_in = (Bytef *) zfx->inbuf;
179 #endif /* __riscos__ */
180             count = zfx->inbufsize - n;
181             nread = iobuf_read( a, zfx->inbuf + n, count );
182             if( nread == -1 ) nread = 0;
183             n += nread;
184             /* If we use the undocumented feature to suppress
185              * the zlib header, we have to give inflate an
186              * extra dummy byte to read */
187             if( nread < count && zfx->algo == 1 ) {
188                 *(zfx->inbuf + n) = 0xFF; /* is it really needed ? */
189                 zfx->algo1hack = 1;
190                 n++;
191             }
192             zs->avail_in = n;
193         }
194         refill = 1;
195         if( DBG_FILTER )
196             log_debug("enter inflate: avail_in=%u, avail_out=%u\n",
197                     (unsigned)zs->avail_in, (unsigned)zs->avail_out);
198 #ifdef Z_SYNC_FLUSH
199         zrc = inflate( zs, Z_SYNC_FLUSH );
200 #else
201         zrc = inflate( zs, Z_PARTIAL_FLUSH );
202 #endif
203         if( DBG_FILTER )
204             log_debug("leave inflate: avail_in=%u, avail_out=%u, zrc=%d\n",
205                    (unsigned)zs->avail_in, (unsigned)zs->avail_out, zrc);
206         if( zrc == Z_STREAM_END )
207             rc = -1; /* eof */
208         else if( zrc != Z_OK && zrc != Z_BUF_ERROR ) {
209             if( zs->msg )
210                 log_fatal("zlib inflate problem: %s\n", zs->msg );
211             else
212                 log_fatal("zlib inflate problem: rc=%d\n", zrc );
213         }
214     } while( zs->avail_out && zrc != Z_STREAM_END  && zrc != Z_BUF_ERROR );
215     *ret_len = zfx->outbufsize - zs->avail_out;
216     if( DBG_FILTER )
217         log_debug("do_uncompress: returning %u bytes\n", (unsigned)*ret_len );
218     return rc;
219 }
220
221 static int
222 compress_filter( void *opaque, int control,
223                  IOBUF a, byte *buf, size_t *ret_len)
224 {
225     size_t size = *ret_len;
226     compress_filter_context_t *zfx = opaque;
227     z_stream *zs = zfx->opaque;
228     int rc=0;
229
230     if( control == IOBUFCTRL_UNDERFLOW ) {
231         if( !zfx->status ) {
232             zs = zfx->opaque = m_alloc_clear( sizeof *zs );
233             init_uncompress( zfx, zs );
234             zfx->status = 1;
235         }
236
237 #ifndef __riscos__
238         zs->next_out = buf;
239 #else /* __riscos__ */
240         zs->next_out = (Bytef *) buf;
241 #endif /* __riscos__ */
242         zs->avail_out = size;
243         zfx->outbufsize = size; /* needed only for calculation */
244         rc = do_uncompress( zfx, zs, a, ret_len );
245     }
246     else if( control == IOBUFCTRL_FLUSH ) {
247         if( !zfx->status ) {
248             PACKET pkt;
249             PKT_compressed cd;
250             if(zfx->algo != COMPRESS_ALGO_ZIP
251                && zfx->algo != COMPRESS_ALGO_ZLIB)
252               BUG();
253             memset( &cd, 0, sizeof cd );
254             cd.len = 0;
255             cd.algorithm = zfx->algo;
256             init_packet( &pkt );
257             pkt.pkttype = PKT_COMPRESSED;
258             pkt.pkt.compressed = &cd;
259             if( build_packet( a, &pkt ))
260                 log_bug("build_packet(PKT_COMPRESSED) failed\n");
261             zs = zfx->opaque = m_alloc_clear( sizeof *zs );
262             init_compress( zfx, zs );
263             zfx->status = 2;
264         }
265
266 #ifndef __riscos__
267         zs->next_in = buf;
268 #else /* __riscos__ */
269         zs->next_in = (Bytef *) buf;
270 #endif /* __riscos__ */
271         zs->avail_in = size;
272         rc = do_compress( zfx, zs, Z_NO_FLUSH, a );
273     }
274     else if( control == IOBUFCTRL_FREE ) {
275         if( zfx->status == 1 ) {
276             inflateEnd(zs);
277             m_free(zs);
278             zfx->opaque = NULL;
279             m_free(zfx->outbuf); zfx->outbuf = NULL;
280         }
281         else if( zfx->status == 2 ) {
282 #ifndef __riscos__
283             zs->next_in = buf;
284 #else /* __riscos__ */
285             zs->next_in = (Bytef *) buf;
286 #endif /* __riscos__ */
287             zs->avail_in = 0;
288             do_compress( zfx, zs, Z_FINISH, a );
289             deflateEnd(zs);
290             m_free(zs);
291             zfx->opaque = NULL;
292             m_free(zfx->outbuf); zfx->outbuf = NULL;
293         }
294         if (zfx->release)
295           zfx->release (zfx);
296     }
297     else if( control == IOBUFCTRL_DESC )
298         *(char**)buf = "compress_filter";
299     return rc;
300 }
301
302
303 static void
304 release_context (compress_filter_context_t *ctx)
305 {
306   m_free (ctx);
307 }
308
309 /****************
310  * Handle a compressed packet
311  */
312 int
313 handle_compressed( void *procctx, PKT_compressed *cd,
314                    int (*callback)(IOBUF, void *), void *passthru )
315 {
316     compress_filter_context_t *cfx;
317     int rc;
318
319     if(check_compress_algo(cd->algorithm))
320       return G10ERR_COMPR_ALGO;
321     cfx = m_alloc_clear (sizeof *cfx);
322     cfx->release = release_context;
323     cfx->algo = cd->algorithm;
324     push_compress_filter(cd->buf,cfx,cd->algorithm);
325     if( callback )
326         rc = callback(cd->buf, passthru );
327     else
328         rc = proc_packets(procctx, cd->buf);
329     cd->buf = NULL;
330     return rc;
331 }
332
333 void
334 push_compress_filter(IOBUF out,compress_filter_context_t *zfx,int algo)
335 {
336   push_compress_filter2(out,zfx,algo,0);
337 }
338
339 void
340 push_compress_filter2(IOBUF out,compress_filter_context_t *zfx,
341                       int algo,int rel)
342 {
343   if(algo>0)
344     zfx->algo=algo;
345   else
346     zfx->algo=DEFAULT_COMPRESS_ALGO;
347
348   switch(zfx->algo)
349     {
350     case COMPRESS_ALGO_ZIP:
351     case COMPRESS_ALGO_ZLIB:
352       iobuf_push_filter2(out,compress_filter,zfx,rel);
353       break;
354
355 #ifdef HAVE_BZIP2
356     case COMPRESS_ALGO_BZIP2:
357       iobuf_push_filter2(out,compress_filter_bz2,zfx,rel);
358       break;
359 #endif
360
361     default:
362       BUG();
363     }
364 }