Updated FSF street address and preparations for a release candidate.
[gnupg.git] / g10 / compress.c
1 /* compress.c - compress filter
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002,
3  *               2003 Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301,
20  * USA.
21  */
22
23 /* Note that the code in compress-bz2.c is nearly identical to the
24    code here, so if you fix a bug here, look there to see if a
25    matching bug needs to be fixed.  I tried to have one set of
26    functions that could do ZIP, ZLIB, and BZIP2, but it became
27    dangerously unreadable with #ifdefs and if(algo) -dshaw */
28
29 #include <config.h>
30 #include <stdio.h>
31 #include <stdlib.h>
32 #include <string.h>
33 #include <unistd.h>
34 #include <assert.h>
35 #include <errno.h>
36 #include <zlib.h>
37 #if defined(__riscos__) && defined(USE_ZLIBRISCOS)
38 # include "zlib-riscos.h"
39 #endif
40
41 #include "util.h"
42 #include "memory.h"
43 #include "packet.h"
44 #include "filter.h"
45 #include "main.h"
46 #include "options.h"
47
48 int compress_filter_bz2( void *opaque, int control,
49                          IOBUF a, byte *buf, size_t *ret_len);
50
51 static void
52 init_compress( compress_filter_context_t *zfx, z_stream *zs )
53 {
54     int rc;
55     int level;
56
57 #if defined(__riscos__) && defined(USE_ZLIBRISCOS)
58     static int zlib_initialized = 0;
59
60     if (!zlib_initialized)
61         zlib_initialized = riscos_load_module("ZLib", zlib_path, 1);
62 #endif
63
64     if( opt.compress_level >= 1 && opt.compress_level <= 9 )
65         level = opt.compress_level;
66     else if( opt.compress_level == -1 )
67         level = Z_DEFAULT_COMPRESSION;
68     else {
69         log_error("invalid compression level; using default level\n");
70         level = Z_DEFAULT_COMPRESSION;
71     }
72
73     if( (rc = zfx->algo == 1? deflateInit2( zs, level, Z_DEFLATED,
74                                             -13, 8, Z_DEFAULT_STRATEGY)
75                             : deflateInit( zs, level )
76                             ) != Z_OK ) {
77         log_fatal("zlib problem: %s\n", zs->msg? zs->msg :
78                                rc == Z_MEM_ERROR ? "out of core" :
79                                rc == Z_VERSION_ERROR ? "invalid lib version" :
80                                                        "unknown error" );
81     }
82
83     zfx->outbufsize = 8192;
84     zfx->outbuf = m_alloc( zfx->outbufsize );
85 }
86
87 static int
88 do_compress( compress_filter_context_t *zfx, z_stream *zs, int flush, IOBUF a )
89 {
90     int zrc;
91     unsigned n;
92
93     do {
94 #ifndef __riscos__
95         zs->next_out = zfx->outbuf;
96 #else /* __riscos__ */
97         zs->next_out = (Bytef *) zfx->outbuf;
98 #endif /* __riscos__ */
99         zs->avail_out = zfx->outbufsize;
100         if( DBG_FILTER )
101             log_debug("enter deflate: avail_in=%u, avail_out=%u, flush=%d\n",
102                     (unsigned)zs->avail_in, (unsigned)zs->avail_out, flush );
103         zrc = deflate( zs, flush );
104         if( zrc == Z_STREAM_END && flush == Z_FINISH )
105             ;
106         else if( zrc != Z_OK ) {
107             if( zs->msg )
108                 log_fatal("zlib deflate problem: %s\n", zs->msg );
109             else
110                 log_fatal("zlib deflate problem: rc=%d\n", zrc );
111         }
112         n = zfx->outbufsize - zs->avail_out;
113         if( DBG_FILTER )
114             log_debug("leave deflate: "
115                       "avail_in=%u, avail_out=%u, n=%u, zrc=%d\n",
116                 (unsigned)zs->avail_in, (unsigned)zs->avail_out,
117                                                (unsigned)n, zrc );
118
119         if( iobuf_write( a, zfx->outbuf, n ) ) {
120             log_debug("deflate: iobuf_write failed\n");
121             return G10ERR_WRITE_FILE;
122         }
123     } while( zs->avail_in || (flush == Z_FINISH && zrc != Z_STREAM_END) );
124     return 0;
125 }
126
127 static void
128 init_uncompress( compress_filter_context_t *zfx, z_stream *zs )
129 {
130     int rc;
131
132     /****************
133      * PGP uses a windowsize of 13 bits. Using a negative value for
134      * it forces zlib not to expect a zlib header.  This is a
135      * undocumented feature Peter Gutmann told me about.
136      *    
137      * We must use 15 bits for the inflator because CryptoEx uses 15
138      * bits thus the output would get scrambled w/o error indication
139      * if we would use 13 bits.  For the uncompressing this does not
140      * matter at all.
141      */
142     if( (rc = zfx->algo == 1? inflateInit2( zs, -15)
143                             : inflateInit( zs )) != Z_OK ) {
144         log_fatal("zlib problem: %s\n", zs->msg? zs->msg :
145                                rc == Z_MEM_ERROR ? "out of core" :
146                                rc == Z_VERSION_ERROR ? "invalid lib version" :
147                                                        "unknown error" );
148     }
149
150     zfx->inbufsize = 2048;
151     zfx->inbuf = m_alloc( zfx->inbufsize );
152     zs->avail_in = 0;
153 }
154
155 static int
156 do_uncompress( compress_filter_context_t *zfx, z_stream *zs,
157                IOBUF a, size_t *ret_len )
158 {
159     int zrc;
160     int rc=0;
161     size_t n;
162     int nread, count;
163     int refill = !zs->avail_in;
164
165     if( DBG_FILTER )
166         log_debug("begin inflate: avail_in=%u, avail_out=%u, inbuf=%u\n",
167                 (unsigned)zs->avail_in, (unsigned)zs->avail_out,
168                 (unsigned)zfx->inbufsize );
169     do {
170         if( zs->avail_in < zfx->inbufsize && refill ) {
171             n = zs->avail_in;
172             if( !n )
173 #ifndef __riscos__
174                 zs->next_in = zfx->inbuf;
175 #else /* __riscos__ */
176                 zs->next_in = (Bytef *) zfx->inbuf;
177 #endif /* __riscos__ */
178             count = zfx->inbufsize - n;
179             nread = iobuf_read( a, zfx->inbuf + n, count );
180             if( nread == -1 ) nread = 0;
181             n += nread;
182             /* If we use the undocumented feature to suppress
183              * the zlib header, we have to give inflate an
184              * extra dummy byte to read */
185             if( nread < count && zfx->algo == 1 ) {
186                 *(zfx->inbuf + n) = 0xFF; /* is it really needed ? */
187                 zfx->algo1hack = 1;
188                 n++;
189             }
190             zs->avail_in = n;
191         }
192         refill = 1;
193         if( DBG_FILTER )
194             log_debug("enter inflate: avail_in=%u, avail_out=%u\n",
195                     (unsigned)zs->avail_in, (unsigned)zs->avail_out);
196 #ifdef Z_SYNC_FLUSH
197         zrc = inflate( zs, Z_SYNC_FLUSH );
198 #else
199         zrc = inflate( zs, Z_PARTIAL_FLUSH );
200 #endif
201         if( DBG_FILTER )
202             log_debug("leave inflate: avail_in=%u, avail_out=%u, zrc=%d\n",
203                    (unsigned)zs->avail_in, (unsigned)zs->avail_out, zrc);
204         if( zrc == Z_STREAM_END )
205             rc = -1; /* eof */
206         else if( zrc != Z_OK && zrc != Z_BUF_ERROR ) {
207             if( zs->msg )
208                 log_fatal("zlib inflate problem: %s\n", zs->msg );
209             else
210                 log_fatal("zlib inflate problem: rc=%d\n", zrc );
211         }
212     } while( zs->avail_out && zrc != Z_STREAM_END  && zrc != Z_BUF_ERROR );
213     *ret_len = zfx->outbufsize - zs->avail_out;
214     if( DBG_FILTER )
215         log_debug("do_uncompress: returning %u bytes\n", (unsigned)*ret_len );
216     return rc;
217 }
218
219 static int
220 compress_filter( void *opaque, int control,
221                  IOBUF a, byte *buf, size_t *ret_len)
222 {
223     size_t size = *ret_len;
224     compress_filter_context_t *zfx = opaque;
225     z_stream *zs = zfx->opaque;
226     int rc=0;
227
228     if( control == IOBUFCTRL_UNDERFLOW ) {
229         if( !zfx->status ) {
230             zs = zfx->opaque = m_alloc_clear( sizeof *zs );
231             init_uncompress( zfx, zs );
232             zfx->status = 1;
233         }
234
235 #ifndef __riscos__
236         zs->next_out = buf;
237 #else /* __riscos__ */
238         zs->next_out = (Bytef *) buf;
239 #endif /* __riscos__ */
240         zs->avail_out = size;
241         zfx->outbufsize = size; /* needed only for calculation */
242         rc = do_uncompress( zfx, zs, a, ret_len );
243     }
244     else if( control == IOBUFCTRL_FLUSH ) {
245         if( !zfx->status ) {
246             PACKET pkt;
247             PKT_compressed cd;
248             if(zfx->algo != COMPRESS_ALGO_ZIP
249                && zfx->algo != COMPRESS_ALGO_ZLIB)
250               BUG();
251             memset( &cd, 0, sizeof cd );
252             cd.len = 0;
253             cd.algorithm = zfx->algo;
254             init_packet( &pkt );
255             pkt.pkttype = PKT_COMPRESSED;
256             pkt.pkt.compressed = &cd;
257             if( build_packet( a, &pkt ))
258                 log_bug("build_packet(PKT_COMPRESSED) failed\n");
259             zs = zfx->opaque = m_alloc_clear( sizeof *zs );
260             init_compress( zfx, zs );
261             zfx->status = 2;
262         }
263
264 #ifndef __riscos__
265         zs->next_in = buf;
266 #else /* __riscos__ */
267         zs->next_in = (Bytef *) buf;
268 #endif /* __riscos__ */
269         zs->avail_in = size;
270         rc = do_compress( zfx, zs, Z_NO_FLUSH, a );
271     }
272     else if( control == IOBUFCTRL_FREE ) {
273         if( zfx->status == 1 ) {
274             inflateEnd(zs);
275             m_free(zs);
276             zfx->opaque = NULL;
277             m_free(zfx->outbuf); zfx->outbuf = NULL;
278         }
279         else if( zfx->status == 2 ) {
280 #ifndef __riscos__
281             zs->next_in = buf;
282 #else /* __riscos__ */
283             zs->next_in = (Bytef *) buf;
284 #endif /* __riscos__ */
285             zs->avail_in = 0;
286             do_compress( zfx, zs, Z_FINISH, a );
287             deflateEnd(zs);
288             m_free(zs);
289             zfx->opaque = NULL;
290             m_free(zfx->outbuf); zfx->outbuf = NULL;
291         }
292         if (zfx->release)
293           zfx->release (zfx);
294     }
295     else if( control == IOBUFCTRL_DESC )
296         *(char**)buf = "compress_filter";
297     return rc;
298 }
299
300
301 static void
302 release_context (compress_filter_context_t *ctx)
303 {
304   m_free (ctx);
305 }
306
307 /****************
308  * Handle a compressed packet
309  */
310 int
311 handle_compressed( void *procctx, PKT_compressed *cd,
312                    int (*callback)(IOBUF, void *), void *passthru )
313 {
314     compress_filter_context_t *cfx;
315     int rc;
316
317     if(check_compress_algo(cd->algorithm))
318       return G10ERR_COMPR_ALGO;
319     cfx = m_alloc_clear (sizeof *cfx);
320     cfx->release = release_context;
321     cfx->algo = cd->algorithm;
322     push_compress_filter(cd->buf,cfx,cd->algorithm);
323     if( callback )
324         rc = callback(cd->buf, passthru );
325     else
326         rc = proc_packets(procctx, cd->buf);
327     cd->buf = NULL;
328     return rc;
329 }
330
331 void
332 push_compress_filter(IOBUF out,compress_filter_context_t *zfx,int algo)
333 {
334   push_compress_filter2(out,zfx,algo,0);
335 }
336
337 void
338 push_compress_filter2(IOBUF out,compress_filter_context_t *zfx,
339                       int algo,int rel)
340 {
341   if(algo>=0)
342     zfx->algo=algo;
343   else
344     zfx->algo=DEFAULT_COMPRESS_ALGO;
345
346   switch(zfx->algo)
347     {
348     case COMPRESS_ALGO_NONE:
349       break;
350
351     case COMPRESS_ALGO_ZIP:
352     case COMPRESS_ALGO_ZLIB:
353       iobuf_push_filter2(out,compress_filter,zfx,rel);
354       break;
355
356 #ifdef HAVE_BZIP2
357     case COMPRESS_ALGO_BZIP2:
358       iobuf_push_filter2(out,compress_filter_bz2,zfx,rel);
359       break;
360 #endif
361
362     default:
363       BUG();
364     }
365 }