See ChangeLog: Mon May 31 19:41:10 CEST 1999 Werner Koch
[gnupg.git] / util / iobuf.c
1 /* iobuf.c  -  file handling
2  *      Copyright (C) 1998, 1999 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/types.h>
28 #include <sys/stat.h>
29 #include <unistd.h>
30
31 #include "memory.h"
32 #include "util.h"
33 #include "iobuf.h"
34
35 typedef struct {
36     FILE *fp;      /* open file handle */
37     int  print_only_name; /* flags indicating that fname is not a real file*/
38     char fname[1]; /* name of the file */
39 } file_filter_ctx_t ;
40
41
42 /* The first partial length header block must be of size 512
43  * to make it easier (and efficienter) we use a min. block size of 512
44  * for all chunks (but the last one) */
45 #define OP_MIN_PARTIAL_CHUNK      512
46 #define OP_MIN_PARTIAL_CHUNK_2POW 9
47
48 typedef struct {
49     int use;
50     size_t size;
51     size_t count;
52     int partial;  /* 1 = partial header, 2 in last partial packet */
53     char *buffer;    /* used for partial header */
54     size_t buflen;   /* used size of buffer */
55     int first_c;     /* of partial header (which is > 0)*/
56     int eof;
57 } block_filter_ctx_t;
58
59
60 static int underflow(IOBUF a);
61 static const char *get_real_fname( IOBUF a );
62
63 /****************
64  * Read data from a file into buf which has an allocated length of *LEN.
65  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
66  * the stream. A is not used.
67  * control may be:
68  * IOBUFCTRL_INIT: called just before the function is linked into the
69  *                 list of function. This can be used to prepare internal
70  *                 data structures of the function.
71  * IOBUFCTRL_FREE: called just before the function is removed from the
72  *                  list of functions and can be used to release internal
73  *                  data structures or close a file etc.
74  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
75  *                  with new stuff. *RET_LEN is the available size of the
76  *                  buffer, and should be set to the number of bytes
77  *                  which were put into the buffer. The function
78  *                  returns 0 to indicate success, -1 on EOF and
79  *                  G10ERR_xxxxx for other errors.
80  *
81  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
82  *                  *RET_LAN is the number of bytes in BUF.
83  *
84  */
85 static int
86 file_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
87 {
88     file_filter_ctx_t *a = opaque;
89     FILE *fp = a->fp;
90     size_t size = *ret_len;
91     size_t nbytes = 0;
92     int rc = 0;
93
94     if( control == IOBUFCTRL_UNDERFLOW ) {
95         assert( size ); /* need a buffer */
96         clearerr( fp );
97         nbytes = fread( buf, 1, size, fp );
98         if( feof(fp) && !nbytes )
99             rc = -1; /* okay: we can return EOF now. */
100         else if( ferror(fp) && errno != EPIPE  ) {
101             log_error("%s: read error: %s\n",
102                       a->fname, strerror(errno));
103             rc = G10ERR_READ_FILE;
104         }
105         *ret_len = nbytes;
106     }
107     else if( control == IOBUFCTRL_FLUSH ) {
108         if( size ) {
109             clearerr( fp );
110             nbytes = fwrite( buf, 1, size, fp );
111             if( ferror(fp) ) {
112                 log_error("%s: write error: %s\n", a->fname, strerror(errno));
113                 rc = G10ERR_WRITE_FILE;
114             }
115         }
116         *ret_len = nbytes;
117     }
118     else if( control == IOBUFCTRL_INIT ) {
119     }
120     else if( control == IOBUFCTRL_DESC ) {
121         *(char**)buf = "file_filter";
122     }
123     else if( control == IOBUFCTRL_FREE ) {
124         if( fp != stdin && fp != stdout ) {
125             if( DBG_IOBUF )
126                 log_debug("%s: close fd %d\n", a->fname, fileno(fp) );
127             fclose(fp);
128         }
129         fp = NULL;
130         m_free(a); /* we can free our context now */
131     }
132
133     return rc;
134 }
135
136
137 /****************
138  * This is used to implement the block write mode.
139  * Block reading is done on a byte by byte basis in readbyte(),
140  * without a filter
141  */
142 static int
143 block_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
144 {
145     block_filter_ctx_t *a = opaque;
146     size_t size = *ret_len;
147     int c, needed, rc = 0;
148     char *p;
149
150     if( control == IOBUFCTRL_UNDERFLOW ) {
151         size_t n=0;
152
153         p = buf;
154         assert( size ); /* need a buffer */
155         if( a->eof ) /* don't read any further */
156             rc = -1;
157         while( !rc && size ) {
158             if( !a->size ) { /* get the length bytes */
159                 if( a->partial == 2 ) {
160                     a->eof = 1;
161                     if( !n )
162                         rc = -1;
163                     break;
164                 }
165                 else if( a->partial ) {
166                     /* These OpenPGP introduced huffman encoded length
167                      * bytes are really a mess :-( */
168                     if( a->first_c ) {
169                         c = a->first_c;
170                         a->first_c = 0;
171                         assert( c >= 224 && c < 255 );
172                     }
173                     else if( (c = iobuf_get(chain)) == -1 ) {
174                         log_error("block_filter: 1st length byte missing\n");
175                         rc = G10ERR_READ_FILE;
176                         break;
177                     }
178                     if( c < 192 ) {
179                         a->size = c;
180                         a->partial = 2;
181                         if( !a->size ) {
182                             a->eof = 1;
183                             if( !n )
184                                 rc = -1;
185                             break;
186                         }
187                     }
188                     else if( c < 224 ) {
189                         a->size = (c - 192) * 256;
190                         if( (c = iobuf_get(chain)) == -1 ) {
191                             log_error("block_filter: 2nd length byte missing\n");
192                             rc = G10ERR_READ_FILE;
193                             break;
194                         }
195                         a->size += c + 192;
196                         a->partial = 2;
197                         if( !a->size ) {
198                             a->eof = 1;
199                             if( !n )
200                                 rc = -1;
201                             break;
202                         }
203                     }
204                     else if( c == 255 ) {
205                         a->size  = iobuf_get(chain) << 24;
206                         a->size |= iobuf_get(chain) << 16;
207                         a->size |= iobuf_get(chain) << 8;
208                         if( (c = iobuf_get(chain)) == -1 ) {
209                             log_error("block_filter: invalid 4 byte length\n");
210                             rc = G10ERR_READ_FILE;
211                             break;
212                         }
213                         a->size |= c;
214                     }
215                     else { /* next partial body length */
216                         a->size = 1 << (c & 0x1f);
217                     }
218                 }
219                 else { /* the gnupg partial length scheme - much better :-) */
220                     c = iobuf_get(chain);
221                     a->size = c << 8;
222                     c = iobuf_get(chain);
223                     a->size |= c;
224                     if( c == -1 ) {
225                         log_error("block_filter: error reading length info\n");
226                         rc = G10ERR_READ_FILE;
227                     }
228                     if( !a->size ) {
229                         a->eof = 1;
230                         if( !n )
231                             rc = -1;
232                         break;
233                     }
234                 }
235             }
236
237             while( !rc && size && a->size ) {
238                 needed = size < a->size ? size : a->size;
239                 c = iobuf_read( chain, p, needed );
240                 if( c < needed ) {
241                     if( c == -1 ) c = 0;
242                     log_error("block_filter %p: read error (size=%lu,a->size=%lu)\n",
243                               a,  (ulong)size+c, (ulong)a->size+c);
244                     rc = G10ERR_READ_FILE;
245                 }
246                 else {
247                     size -= c;
248                     a->size -= c;
249                     p += c;
250                     n += c;
251                 }
252             }
253         }
254         *ret_len = n;
255     }
256     else if( control == IOBUFCTRL_FLUSH ) {
257         if( a->partial ) { /* the complicated openpgp scheme */
258             size_t blen, n, nbytes = size + a->buflen;
259
260             assert( a->buflen <= OP_MIN_PARTIAL_CHUNK );
261             if( nbytes < OP_MIN_PARTIAL_CHUNK ) {
262                 /* not enough to write a partial block out; so we store it*/
263                 if( !a->buffer )
264                     a->buffer = m_alloc( OP_MIN_PARTIAL_CHUNK );
265                 memcpy( a->buffer + a->buflen, buf, size );
266                 a->buflen += size;
267             }
268             else { /* okay, we can write out something */
269                 /* do this in a loop to use the most efficient block lengths */
270                 p = buf;
271                 do {
272                     /* find the best matching block length - this is limited
273                      * by the size of the internal buffering */
274                     for( blen=OP_MIN_PARTIAL_CHUNK*2,
275                             c=OP_MIN_PARTIAL_CHUNK_2POW+1; blen <= nbytes;
276                                                             blen *=2, c++ )
277                         ;
278                     blen /= 2; c--;
279                     /* write the partial length header */
280                     assert( c <= 0x1f ); /*;-)*/
281                     c |= 0xe0;
282                     iobuf_put( chain, c );
283                     if( (n=a->buflen) ) { /* write stuff from the buffer */
284                         assert( n == OP_MIN_PARTIAL_CHUNK);
285                         if( iobuf_write(chain, a->buffer, n ) )
286                             rc = G10ERR_WRITE_FILE;
287                         a->buflen = 0;
288                         nbytes -= n;
289                     }
290                     if( (n = nbytes) > blen )
291                         n = blen;
292                     if( n && iobuf_write(chain, p, n ) )
293                         rc = G10ERR_WRITE_FILE;
294                     p += n;
295                     nbytes -= n;
296                 } while( !rc && nbytes >= OP_MIN_PARTIAL_CHUNK );
297                 /* store the rest in the buffer */
298                 if( !rc && nbytes ) {
299                     assert( !a->buflen );
300                     assert( nbytes < OP_MIN_PARTIAL_CHUNK );
301                     if( !a->buffer )
302                         a->buffer = m_alloc( OP_MIN_PARTIAL_CHUNK );
303                     memcpy( a->buffer, p, nbytes );
304                     a->buflen = nbytes;
305                 }
306             }
307         }
308         else { /* the gnupg scheme (which is not openpgp compliant) */
309             size_t avail, n;
310
311             for(p=buf; !rc && size; ) {
312                 n = size;
313                 avail = a->size - a->count;
314                 if( !avail ) {
315                     if( n > a->size ) {
316                         iobuf_put( chain, (a->size >> 8) & 0xff );
317                         iobuf_put( chain, a->size & 0xff );
318                         avail = a->size;
319                         a->count = 0;
320                     }
321                     else {
322                         iobuf_put( chain, (n >> 8) & 0xff );
323                         iobuf_put( chain, n & 0xff );
324                         avail = n;
325                         a->count = a->size - n;
326                     }
327                 }
328                 if( n > avail )
329                     n = avail;
330                 if( iobuf_write(chain, p, n ) )
331                     rc = G10ERR_WRITE_FILE;
332                 a->count += n;
333                 p += n;
334                 size -= n;
335             }
336         }
337     }
338     else if( control == IOBUFCTRL_INIT ) {
339         if( DBG_IOBUF )
340             log_debug("init block_filter %p\n", a );
341         if( a->partial )
342             a->count = 0;
343         else if( a->use == 1 )
344             a->count = a->size = 0;
345         else
346             a->count = a->size; /* force first length bytes */
347         a->eof = 0;
348         a->buffer = NULL;
349         a->buflen = 0;
350     }
351     else if( control == IOBUFCTRL_DESC ) {
352         *(char**)buf = "block_filter";
353     }
354     else if( control == IOBUFCTRL_FREE ) {
355         if( a->use == 2 ) { /* write the end markers */
356             if( a->partial ) {
357                 u32 len;
358                 /* write out the remaining bytes without a partial header
359                  * the length of this header may be 0 - but if it is
360                  * the first block we are not allowed to use a partial header
361                  * and frankly we can't do so, because this length must be
362                  * a power of 2. This is _really_ complicated because we
363                  * have to check the possible length of a packet prior
364                  * to it's creation: a chain of filters becomes complicated
365                  * and we need a lot of code to handle compressed packets etc.
366                  *   :-(((((((
367                  */
368                 /* construct header */
369                 len = a->buflen;
370                 if( len < 192 )
371                     rc = iobuf_put(chain, len );
372                 else if( len < 8384 ) {
373                     if( !(rc=iobuf_put( chain, ((len-192) / 256) + 192)) )
374                         rc = iobuf_put( chain, ((len-192) % 256));
375                 }
376                 else { /* use a 4 byte header */
377                     if( !(rc=iobuf_put( chain, 0xff )) )
378                         if( !(rc=iobuf_put( chain, (len >> 24)&0xff )) )
379                             if( !(rc=iobuf_put( chain, (len >> 16)&0xff )) )
380                                 if( !(rc=iobuf_put( chain, (len >> 8)&0xff )))
381                                     rc=iobuf_put( chain, len & 0xff );
382                 }
383                 if( !rc && len )
384                     rc = iobuf_write(chain, a->buffer, len );
385                 if( rc ) {
386                     log_error("block_filter: write error: %s\n",strerror(errno));
387                     rc = G10ERR_WRITE_FILE;
388                 }
389                 m_free( a->buffer ); a->buffer = NULL; a->buflen = 0;
390             }
391             else {
392                 iobuf_writebyte(chain, 0);
393                 iobuf_writebyte(chain, 0);
394             }
395         }
396         else if( a->size ) {
397             log_error("block_filter: pending bytes!\n");
398         }
399         if( DBG_IOBUF )
400             log_debug("free block_filter %p\n", a );
401         m_free(a); /* we can free our context now */
402     }
403
404     return rc;
405 }
406
407
408 static void
409 print_chain( IOBUF a )
410 {
411     if( !DBG_IOBUF )
412         return;
413     for(; a; a = a->chain ) {
414         size_t dummy_len = 0;
415         const char *desc = "[none]";
416
417         if( a->filter )
418             a->filter( a->filter_ov, IOBUFCTRL_DESC, NULL,
419                                                 (byte*)&desc, &dummy_len );
420
421         log_debug("iobuf chain: %d.%d `%s' filter_eof=%d start=%d len=%d\n",
422                    a->no, a->subno, desc, a->filter_eof,
423                    a->d.start, a->d.len );
424     }
425 }
426
427 int
428 iobuf_print_chain( IOBUF a )
429 {
430     print_chain(a);
431     return 0;
432 }
433
434 /****************
435  * Allocate a new io buffer, with no function assigned.
436  * Use is the desired usage: 1 for input, 2 for output, 3 for temp buffer
437  * BUFSIZE is a suggested buffer size.
438  */
439 IOBUF
440 iobuf_alloc(int use, size_t bufsize)
441 {
442     IOBUF a;
443     static int number=0;
444
445     a = m_alloc_clear(sizeof *a);
446     a->use = use;
447     a->d.buf = m_alloc( bufsize );
448     a->d.size = bufsize;
449     a->no = ++number;
450     a->subno = 0;
451     a->opaque = NULL;
452     return a;
453 }
454
455
456 int
457 iobuf_close( IOBUF a )
458 {
459     IOBUF a2;
460     size_t dummy_len;
461     int rc=0;
462
463     if( a && a->directfp ) {
464         fclose( a->directfp );
465         if( DBG_IOBUF )
466             log_debug("iobuf_close -> %p\n", a->directfp );
467         return 0;
468     }
469
470     for( ; a && !rc ; a = a2 ) {
471         a2 = a->chain;
472         if( a->use == 2 && (rc=iobuf_flush(a)) )
473             log_error("iobuf_flush failed on close: %s\n", g10_errstr(rc));
474
475         if( DBG_IOBUF )
476             log_debug("iobuf-%d.%d: close `%s'\n", a->no, a->subno, a->desc );
477         if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE,
478                                          a->chain, NULL, &dummy_len)) )
479             log_error("IOBUFCTRL_FREE failed on close: %s\n", g10_errstr(rc) );
480         m_free(a->d.buf);
481         m_free(a);
482     }
483     return rc;
484 }
485
486 int
487 iobuf_cancel( IOBUF a )
488 {
489     const char *s;
490
491     if( a && a->use == 2 ) {
492         s = get_real_fname(a);
493         if( s && *s )
494             remove(s);  /* remove the file. Fixme: this will fail for MSDOZE*/
495     }                   /* because the file is still open */
496     return iobuf_close(a);
497 }
498
499
500 /****************
501  * create a temporary iobuf, which can be used to collect stuff
502  * in an iobuf and later be written by iobuf_write_temp() to another
503  * iobuf.
504  */
505 IOBUF
506 iobuf_temp()
507 {
508     IOBUF a;
509
510     a = iobuf_alloc(3, 8192 );
511
512     return a;
513 }
514
515 IOBUF
516 iobuf_temp_with_content( const char *buffer, size_t length )
517 {
518     IOBUF a;
519
520     a = iobuf_alloc(3, length );
521     memcpy( a->d.buf, buffer, length );
522     a->d.len = length;
523
524     return a;
525 }
526
527
528 /****************
529  * Create a head iobuf for reading from a file
530  * returns: NULL if an error occures and sets errno
531  */
532 IOBUF
533 iobuf_open( const char *fname )
534 {
535     IOBUF a;
536     FILE *fp;
537     file_filter_ctx_t *fcx;
538     size_t len;
539     int print_only = 0;
540
541     if( !fname || (*fname=='-' && !fname[1])  ) {
542         fp = stdin; /* fixme: set binary mode for msdoze */
543         fname = "[stdin]";
544         print_only = 1;
545     }
546     else if( !(fp = fopen(fname, "rb")) )
547         return NULL;
548     a = iobuf_alloc(1, 8192 );
549     fcx = m_alloc( sizeof *fcx + strlen(fname) );
550     fcx->fp = fp;
551     fcx->print_only_name = print_only;
552     strcpy(fcx->fname, fname );
553     a->filter = file_filter;
554     a->filter_ov = fcx;
555     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
556     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
557     if( DBG_IOBUF )
558         log_debug("iobuf-%d.%d: open `%s' fd=%d\n",
559                    a->no, a->subno, fname, fileno(fcx->fp) );
560
561     return a;
562 }
563
564 /****************
565  * Create a head iobuf for reading from a file
566  * returns: NULL if an error occures and sets errno
567  */
568 IOBUF
569 iobuf_fdopen( int fd, const char *mode )
570 {
571     IOBUF a;
572     FILE *fp;
573     file_filter_ctx_t *fcx;
574     size_t len;
575
576     if( !(fp = fdopen(fd, mode)) )
577         return NULL;
578     a = iobuf_alloc( strchr( mode, 'w')? 2:1, 8192 );
579     fcx = m_alloc( sizeof *fcx + 20 );
580     fcx->fp = fp;
581     fcx->print_only_name = 1;
582     sprintf(fcx->fname, "[fd %d]", fd );
583     a->filter = file_filter;
584     a->filter_ov = fcx;
585     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
586     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
587     if( DBG_IOBUF )
588         log_debug("iobuf-%d.%d: fdopen `%s'\n", a->no, a->subno, fcx->fname );
589
590     return a;
591 }
592
593 /****************
594  * create an iobuf for writing to a file; the file will be created.
595  */
596 IOBUF
597 iobuf_create( const char *fname )
598 {
599     IOBUF a;
600     FILE *fp;
601     file_filter_ctx_t *fcx;
602     size_t len;
603     int print_only = 0;
604
605     if( !fname || (*fname=='-' && !fname[1]) ) {
606         fp = stdout;
607         fname = "[stdout]";
608         print_only = 1;
609     }
610     else if( !(fp = fopen(fname, "wb")) )
611         return NULL;
612     a = iobuf_alloc(2, 8192 );
613     fcx = m_alloc( sizeof *fcx + strlen(fname) );
614     fcx->fp = fp;
615     fcx->print_only_name = print_only;
616     strcpy(fcx->fname, fname );
617     a->filter = file_filter;
618     a->filter_ov = fcx;
619     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
620     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
621     if( DBG_IOBUF )
622         log_debug("iobuf-%d.%d: create `%s'\n", a->no, a->subno, a->desc );
623
624     return a;
625 }
626
627 /****************
628  * append to an iobuf; if the file does not exist, create it.
629  * cannot be used for stdout.
630  */
631 IOBUF
632 iobuf_append( const char *fname )
633 {
634     IOBUF a;
635     FILE *fp;
636     file_filter_ctx_t *fcx;
637     size_t len;
638
639     if( !fname )
640         return NULL;
641     else if( !(fp = fopen(fname, "ab")) )
642         return NULL;
643     a = iobuf_alloc(2, 8192 );
644     fcx = m_alloc( sizeof *fcx + strlen(fname) );
645     fcx->fp = fp;
646     strcpy(fcx->fname, fname );
647     a->filter = file_filter;
648     a->filter_ov = fcx;
649     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
650     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
651     if( DBG_IOBUF )
652         log_debug("iobuf-%d.%d: append `%s'\n", a->no, a->subno, a->desc );
653
654     return a;
655 }
656
657 IOBUF
658 iobuf_openrw( const char *fname )
659 {
660     IOBUF a;
661     FILE *fp;
662     file_filter_ctx_t *fcx;
663     size_t len;
664
665     if( !fname )
666         return NULL;
667     else if( !(fp = fopen(fname, "r+b")) )
668         return NULL;
669     a = iobuf_alloc(2, 8192 );
670     fcx = m_alloc( sizeof *fcx + strlen(fname) );
671     fcx->fp = fp;
672     strcpy(fcx->fname, fname );
673     a->filter = file_filter;
674     a->filter_ov = fcx;
675     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
676     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
677     if( DBG_IOBUF )
678         log_debug("iobuf-%d.%d: openrw `%s'\n", a->no, a->subno, a->desc );
679
680     return a;
681 }
682
683
684
685 /****************
686  * You can overwrite the normal iobuf behaviour by using this function.
687  * If used the iobuf is a simple wrapper around stdio.
688  * NULL if an error occures and sets errno
689  */
690 IOBUF
691 iobuf_fopen( const char *fname, const char *mode )
692 {
693     IOBUF a;
694     FILE *fp;
695     int print_only = 0;
696
697     if( !fname || (*fname=='-' && !fname[1])  ) {
698         fp = stdin; /* fixme: set binary mode for msdoze */
699         fname = "[stdin]";
700         print_only = 1;
701     }
702     else if( !(fp = fopen(fname, mode) ) )
703         return NULL;
704     a = iobuf_alloc(1, 8192 );
705     a->directfp = fp;
706
707     if( DBG_IOBUF )
708         log_debug("iobuf_fopen -> %p\n", a->directfp );
709
710     return a;
711 }
712
713
714
715 /****************
716  * Register an i/o filter.
717  */
718 int
719 iobuf_push_filter( IOBUF a,
720                    int (*f)(void *opaque, int control,
721                    IOBUF chain, byte *buf, size_t *len), void *ov )
722 {
723     return iobuf_push_filter2( a, f, ov, 0 );
724 }
725
726 int
727 iobuf_push_filter2( IOBUF a,
728                     int (*f)(void *opaque, int control,
729                     IOBUF chain, byte *buf, size_t *len),
730                     void *ov, int rel_ov )
731 {
732     IOBUF b;
733     size_t dummy_len=0;
734     int rc=0;
735
736     if( a->directfp )
737         BUG();
738
739     if( a->use == 2 && (rc=iobuf_flush(a)) )
740         return rc;
741     /* make a copy of the current stream, so that
742      * A is the new stream and B the original one.
743      * The contents of the buffers are transferred to the
744      * new stream.
745      */
746     b = m_alloc(sizeof *b);
747     memcpy(b, a, sizeof *b );
748     /* remove the filter stuff from the new stream */
749     a->filter = NULL;
750     a->filter_ov = NULL;
751     a->filter_ov_owner = 0;
752     a->filter_eof = 0;
753     if( a->use == 3 )
754         a->use = 2;  /* make a write stream from a temp stream */
755
756     if( a->use == 2 ) { /* allocate a fresh buffer for the original stream */
757         b->d.buf = m_alloc( a->d.size );
758         b->d.len = 0;
759         b->d.start = 0;
760     }
761     else { /* allocate a fresh buffer for the new stream */
762         a->d.buf = m_alloc( a->d.size );
763         a->d.len = 0;
764         a->d.start = 0;
765     }
766     /* disable nlimit for the new stream */
767     a->ntotal = b->ntotal + b->nbytes;
768     a->nlimit = a->nbytes = 0;
769     a->nofast &= ~1;
770     /* make a link from the new stream to the original stream */
771     a->chain = b;
772     a->opaque = b->opaque;
773
774     /* setup the function on the new stream */
775     a->filter = f;
776     a->filter_ov = ov;
777     a->filter_ov_owner = rel_ov;
778
779     a->subno = b->subno + 1;
780     f( ov, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &dummy_len );
781
782     if( DBG_IOBUF ) {
783         log_debug("iobuf-%d.%d: push `%s'\n", a->no, a->subno, a->desc );
784         print_chain( a );
785     }
786
787     /* now we can initialize the new function if we have one */
788     if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_INIT, a->chain,
789                        NULL, &dummy_len)) )
790         log_error("IOBUFCTRL_INIT failed: %s\n", g10_errstr(rc) );
791     return rc;
792 }
793
794 /****************
795  * Remove an i/o filter.
796  */
797 int
798 pop_filter( IOBUF a, int (*f)(void *opaque, int control,
799                       IOBUF chain, byte *buf, size_t *len), void *ov )
800 {
801     IOBUF b;
802     size_t dummy_len=0;
803     int rc=0;
804
805     if( a->directfp )
806         BUG();
807
808     if( DBG_IOBUF )
809         log_debug("iobuf-%d.%d: pop `%s'\n", a->no, a->subno, a->desc );
810     if( !a->filter ) { /* this is simple */
811         b = a->chain;
812         assert(b);
813         m_free(a->d.buf);
814         memcpy(a,b, sizeof *a);
815         m_free(b);
816         return 0;
817     }
818     for(b=a ; b; b = b->chain )
819         if( b->filter == f && (!ov || b->filter_ov == ov) )
820             break;
821     if( !b )
822         log_bug("pop_filter(): filter function not found\n");
823
824     /* flush this stream if it is an output stream */
825     if( a->use == 2 && (rc=iobuf_flush(b)) ) {
826         log_error("iobuf_flush failed in pop_filter: %s\n", g10_errstr(rc));
827         return rc;
828     }
829     /* and tell the filter to free it self */
830     if( b->filter && (rc = b->filter(b->filter_ov, IOBUFCTRL_FREE, b->chain,
831                        NULL, &dummy_len)) ) {
832         log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
833         return rc;
834     }
835     if( b->filter_ov && b->filter_ov_owner ) {
836         m_free( b->filter_ov );
837         b->filter_ov = NULL;
838     }
839
840
841     /* and see how to remove it */
842     if( a == b && !b->chain )
843         log_bug("can't remove the last filter from the chain\n");
844     else if( a == b ) { /* remove the first iobuf from the chain */
845         /* everything from b is copied to a. This is save because
846          * a flush has been done on the to be removed entry
847          */
848         b = a->chain;
849         m_free(a->d.buf);
850         memcpy(a,b, sizeof *a);
851         m_free(b);
852         if( DBG_IOBUF )
853            log_debug("iobuf-%d.%d: popped filter\n", a->no, a->subno );
854     }
855     else if( !b->chain ) { /* remove the last iobuf from the chain */
856         log_bug("Ohh jeee, trying to remove a head filter\n");
857     }
858     else {  /* remove an intermediate iobuf from the chain */
859         log_bug("Ohh jeee, trying to remove an intermediate filter\n");
860     }
861
862     return rc;
863 }
864
865
866 /****************
867  * read underflow: read more bytes into the buffer and return
868  * the first byte or -1 on EOF.
869  */
870 static int
871 underflow(IOBUF a)
872 {
873     size_t len;
874     int rc;
875
876     assert( a->d.start == a->d.len );
877     if( a->use == 3 )
878         return -1; /* EOF because a temp buffer can't do an underflow */
879
880     if( a->filter_eof ) {
881         if( a->chain && a->filter_eof == 1 ) {
882             IOBUF b = a->chain;
883             if( DBG_IOBUF )
884                 log_debug("iobuf-%d.%d: pop `%s' in underflow\n",
885                                         a->no, a->subno, a->desc );
886             m_free(a->d.buf);
887             memcpy(a, b, sizeof *a);
888             m_free(b);
889             print_chain(a);
890         }
891         else
892             a->filter_eof = 0;
893         if( DBG_IOBUF )
894             log_debug("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
895                                                     a->no, a->subno );
896         return -1; /* return one(!) EOF */
897     }
898     if( a->error ) {
899         if( DBG_IOBUF )
900             log_debug("iobuf-%d.%d: error\n", a->no, a->subno );
901         return -1;
902     }
903
904     if( a->directfp ) {
905         FILE *fp = a->directfp;
906
907         len = fread( a->d.buf, 1, a->d.size, fp);
908         if( len < a->d.size ) {
909             if( ferror(fp) )
910                 a->error = 1;
911         }
912         a->d.len = len;
913         a->d.start = 0;
914         return len? a->d.buf[a->d.start++] : -1;
915     }
916
917
918     if( a->filter ) {
919         len = a->d.size;
920         rc = a->filter( a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
921                         a->d.buf, &len );
922         if( DBG_IOBUF ) {
923             log_debug("iobuf-%d.%d: underflow: req=%lu got=%lu rc=%d\n",
924                     a->no, a->subno, (ulong)a->d.size, (ulong)len, rc );
925           #if 0
926             if( a->no == 7 ) {
927                 print_string(stderr, a->d.buf, len, 0 );
928                 putc('\n', stderr );
929             }
930           #endif
931
932         }
933         if( a->use == 1 && rc == -1 ) { /* EOF: we can remove the filter */
934             size_t dummy_len;
935
936             /* and tell the filter to free itself */
937             if( (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE, a->chain,
938                                NULL, &dummy_len)) )
939                 log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
940             if( a->filter_ov && a->filter_ov_owner ) {
941                 m_free( a->filter_ov );
942                 a->filter_ov = NULL;
943             }
944             a->filter = NULL;
945             a->desc = NULL;
946             a->filter_ov = NULL;
947             a->filter_eof = 1;
948             if( !len && a->chain ) {
949                 IOBUF b = a->chain;
950                 if( DBG_IOBUF )
951                     log_debug("iobuf-%d.%d: pop `%s' in underflow (!len)\n",
952                                                a->no, a->subno, a->desc );
953                 print_chain(a);
954                 m_free(a->d.buf);
955                 memcpy(a,b, sizeof *a);
956                 m_free(b);
957                 print_chain(a);
958             }
959         }
960         else if( rc )
961             a->error = 1;
962
963         if( !len ) {
964             if( DBG_IOBUF )
965                 log_debug("iobuf-%d.%d: underflow: eof\n", a->no, a->subno );
966             return -1;
967         }
968         a->d.len = len;
969         a->d.start = 0;
970         return a->d.buf[a->d.start++];
971     }
972     else {
973         if( DBG_IOBUF )
974             log_debug("iobuf-%d.%d: underflow: eof (no filter)\n",
975                                                     a->no, a->subno );
976         return -1;  /* no filter; return EOF */
977     }
978 }
979
980
981 int
982 iobuf_flush(IOBUF a)
983 {
984     size_t len;
985     int rc;
986
987     if( a->directfp )
988         return 0;
989
990     /*log_debug("iobuf-%d.%d: flush\n", a->no, a->subno );*/
991     if( a->use == 3 ) { /* increase the temp buffer */
992         char *newbuf;
993         size_t newsize = a->d.size + 8192;
994
995         log_debug("increasing temp iobuf from %lu to %lu\n",
996                     (ulong)a->d.size, (ulong)newsize );
997         newbuf = m_alloc( newsize );
998         memcpy( newbuf, a->d.buf, a->d.len );
999         m_free(a->d.buf);
1000         a->d.buf = newbuf;
1001         a->d.size = newsize;
1002         return 0;
1003     }
1004     else if( a->use != 2 )
1005         log_bug("flush on non-output iobuf\n");
1006     else if( !a->filter )
1007         log_bug("iobuf_flush: no filter\n");
1008     len = a->d.len;
1009     rc = a->filter( a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len );
1010     if( !rc && len != a->d.len ) {
1011         log_info("iobuf_flush did not write all!\n");
1012         rc = G10ERR_WRITE_FILE;
1013     }
1014     else if( rc )
1015         a->error = 1;
1016     a->d.len = 0;
1017
1018     return rc;
1019 }
1020
1021
1022 /****************
1023  * Read a byte from the iobuf; returns -1 on EOF
1024  */
1025 int
1026 iobuf_readbyte(IOBUF a)
1027 {
1028     int c;
1029
1030     /* nlimit does not work together with unget */
1031     /* nbytes is also not valid! */
1032     if( a->unget.buf ) {
1033         if( a->unget.start < a->unget.len )
1034             return a->unget.buf[a->unget.start++];
1035         m_free(a->unget.buf);
1036         a->unget.buf = NULL;
1037         a->nofast &= ~2;
1038     }
1039
1040     if( a->nlimit && a->nbytes >= a->nlimit )
1041         return -1; /* forced EOF */
1042
1043     if( a->d.start < a->d.len ) {
1044         c = a->d.buf[a->d.start++];
1045     }
1046     else if( (c=underflow(a)) == -1 )
1047         return -1; /* EOF */
1048
1049     a->nbytes++;
1050     return c;
1051 }
1052
1053
1054 int
1055 iobuf_read(IOBUF a, byte *buf, unsigned buflen )
1056 {
1057     int c, n;
1058
1059     if( a->unget.buf || a->nlimit ) {
1060         /* handle special cases */
1061         for(n=0 ; n < buflen; n++ ) {
1062             if( (c = iobuf_readbyte(a)) == -1 ) {
1063                 if( !n )
1064                     return -1; /* eof */
1065                 break;
1066             }
1067             else
1068                 if( buf ) *buf = c;
1069             if( buf ) buf++;
1070         }
1071         return n;
1072     }
1073
1074     n = 0;
1075     do {
1076         if( n < buflen && a->d.start < a->d.len ) {
1077             unsigned size = a->d.len - a->d.start;
1078             if( size > buflen - n ) size = buflen - n;
1079             if( buf ) memcpy( buf, a->d.buf + a->d.start, size );
1080             n += size;
1081             a->d.start += size;
1082             if( buf ) buf += size;
1083         }
1084         if( n < buflen ) {
1085             if( (c=underflow(a)) == -1 ) {
1086                 a->nbytes += n;
1087                 return n? n : -1/*EOF*/;
1088             }
1089             if( buf ) *buf++ = c;
1090             n++;
1091         }
1092     } while( n < buflen );
1093     a->nbytes += n;
1094     return n;
1095 }
1096
1097
1098 /****************
1099  * Have a look at the iobuf.
1100  * NOTE: This only works in special cases.
1101  */
1102 int
1103 iobuf_peek(IOBUF a, byte *buf, unsigned buflen )
1104 {
1105     int n=0;
1106
1107     if( a->filter_eof )
1108         return -1;
1109
1110     if( !(a->d.start < a->d.len) ) {
1111         if( underflow(a) == -1 )
1112             return -1;
1113         /* and unget this character */
1114         assert(a->d.start == 1);
1115         a->d.start = 0;
1116     }
1117
1118     for(n=0 ; n < buflen && (a->d.start+n) < a->d.len ; n++, buf++ )
1119         *buf = a->d.buf[n];
1120     return n;
1121 }
1122
1123
1124
1125
1126 int
1127 iobuf_writebyte(IOBUF a, unsigned c)
1128 {
1129
1130     if( a->directfp )
1131         BUG();
1132
1133     if( a->d.len == a->d.size )
1134         if( iobuf_flush(a) )
1135             return -1;
1136
1137     assert( a->d.len < a->d.size );
1138     a->d.buf[a->d.len++] = c;
1139     return 0;
1140 }
1141
1142
1143 int
1144 iobuf_write(IOBUF a, byte *buf, unsigned buflen )
1145 {
1146
1147     if( a->directfp )
1148         BUG();
1149
1150     do {
1151         if( buflen && a->d.len < a->d.size ) {
1152             unsigned size = a->d.size - a->d.len;
1153             if( size > buflen ) size = buflen;
1154             memcpy( a->d.buf + a->d.len, buf, size );
1155             buflen -= size;
1156             buf += size;
1157             a->d.len += size;
1158         }
1159         if( buflen ) {
1160             if( iobuf_flush(a) )
1161                 return -1;
1162         }
1163     } while( buflen );
1164     return 0;
1165 }
1166
1167
1168 int
1169 iobuf_writestr(IOBUF a, const char *buf )
1170 {
1171     for( ; *buf; buf++ )
1172         if( iobuf_writebyte(a, *buf) )
1173             return -1;
1174     return 0;
1175 }
1176
1177
1178
1179 /****************
1180  * copy the contents of TEMP to A.
1181  */
1182 int
1183 iobuf_write_temp( IOBUF a, IOBUF temp )
1184 {
1185     while( temp->chain )
1186         pop_filter( temp, temp->filter, NULL );
1187     return iobuf_write(a, temp->d.buf, temp->d.len );
1188 }
1189
1190 /****************
1191  * copy the contents of the temp io stream to BUFFER.
1192  */
1193 size_t
1194 iobuf_temp_to_buffer( IOBUF a, byte *buffer, size_t buflen )
1195 {
1196     size_t n = a->d.len;
1197
1198     if( n > buflen )
1199         n = buflen;
1200     memcpy( buffer, a->d.buf, n );
1201     return n;
1202 }
1203
1204
1205 /****************
1206  * Call this function to terminate processing of the temp stream
1207  * without closing it.  This removes all filters from the stream
1208  * makes sure that iobuf_get_temp_{buffer,length}() returns correct
1209  * values.
1210  */
1211 void
1212 iobuf_flush_temp( IOBUF temp )
1213 {
1214     while( temp->chain )
1215         pop_filter( temp, temp->filter, NULL );
1216 }
1217
1218
1219 /****************
1220  * Set a limit on how many bytes may be read from the input stream A.
1221  * Setting the limit to 0 disables this feature.
1222  */
1223 void
1224 iobuf_set_limit( IOBUF a, unsigned long nlimit )
1225 {
1226     if( nlimit )
1227         a->nofast |= 1;
1228     else
1229         a->nofast &= ~1;
1230     a->nlimit = nlimit;
1231     a->ntotal += a->nbytes;
1232     a->nbytes = 0;
1233 }
1234
1235
1236
1237 /****************
1238  * Return the length of an open file
1239  */
1240 u32
1241 iobuf_get_filelength( IOBUF a )
1242 {
1243     struct stat st;
1244
1245     if( a->directfp )  {
1246         FILE *fp = a->directfp;
1247
1248         if( !fstat(fileno(fp), &st) )
1249             return st.st_size;
1250         log_error("fstat() failed: %s\n", strerror(errno) );
1251         return 0;
1252     }
1253
1254     for( ; a; a = a->chain )
1255         if( !a->chain && a->filter == file_filter ) {
1256             file_filter_ctx_t *b = a->filter_ov;
1257             FILE *fp = b->fp;
1258
1259             if( !fstat(fileno(fp), &st) )
1260                 return st.st_size;
1261             log_error("fstat() failed: %s\n", strerror(errno) );
1262             break;
1263         }
1264
1265     return 0;
1266 }
1267
1268 /****************
1269  * Tell the file position, where the next read will take place
1270  */
1271 ulong
1272 iobuf_tell( IOBUF a )
1273 {
1274     return a->ntotal + a->nbytes;
1275 }
1276
1277
1278
1279 /****************
1280  * This is a very limited implementation. It simply discards all internal
1281  * buffering and removes all filters but the first one.
1282  */
1283 int
1284 iobuf_seek( IOBUF a, ulong newpos )
1285 {
1286     file_filter_ctx_t *b = NULL;
1287
1288     if( a->directfp ) {
1289         FILE *fp = a->directfp;
1290         if( fseek( fp, newpos, SEEK_SET ) ) {
1291             log_error("can't seek to %lu: %s\n", newpos, strerror(errno) );
1292             return -1;
1293         }
1294         clearerr(fp);
1295     }
1296     else {
1297         for( ; a; a = a->chain ) {
1298             if( !a->chain && a->filter == file_filter ) {
1299                 b = a->filter_ov;
1300                 break;
1301             }
1302         }
1303         if( !a )
1304             return -1;
1305         if( fseek( b->fp, newpos, SEEK_SET ) ) {
1306             log_error("can't seek to %lu: %s\n", newpos, strerror(errno) );
1307             return -1;
1308         }
1309     }
1310     a->d.len = 0;   /* discard buffer */
1311     a->d.start = 0;
1312     a->nbytes = 0;
1313     a->nlimit = 0;
1314     a->nofast &= ~1;
1315     a->ntotal = newpos;
1316     a->error = 0;
1317     /* remove filters, but the last */
1318     if( a->chain )
1319         log_debug("pop_filter called in iobuf_seek - please report\n");
1320     while( a->chain )
1321        pop_filter( a, a->filter, NULL );
1322
1323     return 0;
1324 }
1325
1326
1327
1328
1329
1330
1331 /****************
1332  * Retrieve the real filename
1333  */
1334 static const char *
1335 get_real_fname( IOBUF a )
1336 {
1337     for( ; a; a = a->chain )
1338         if( !a->chain && a->filter == file_filter ) {
1339             file_filter_ctx_t *b = a->filter_ov;
1340             return b->print_only_name? NULL : b->fname;
1341         }
1342
1343     return NULL;
1344 }
1345
1346
1347 /****************
1348  * Retrieve the filename
1349  */
1350 const char *
1351 iobuf_get_fname( IOBUF a )
1352 {
1353     for( ; a; a = a->chain )
1354         if( !a->chain && a->filter == file_filter ) {
1355             file_filter_ctx_t *b = a->filter_ov;
1356             return b->fname;
1357         }
1358
1359     return NULL;
1360 }
1361
1362 /****************
1363  * Start the block write mode, see rfc1991.new for details.
1364  * A value of 0 for N stops this mode (flushes and writes
1365  * the end marker)
1366  */
1367 void
1368 iobuf_set_block_mode( IOBUF a, size_t n )
1369 {
1370     block_filter_ctx_t *ctx = m_alloc_clear( sizeof *ctx );
1371
1372     assert( a->use == 1 || a->use == 2 );
1373     ctx->use = a->use;
1374     if( !n ) {
1375         if( a->use == 1 )
1376             log_debug("pop_filter called in set_block_mode - please report\n");
1377         pop_filter(a, block_filter, NULL );
1378     }
1379     else {
1380         ctx->size = n; /* only needed for use 2 */
1381         iobuf_push_filter(a, block_filter, ctx );
1382     }
1383 }
1384
1385 /****************
1386  * enable partial block mode as described in the OpenPGP draft.
1387  * LEN is the first length byte on read, but ignored on writes.
1388  */
1389 void
1390 iobuf_set_partial_block_mode( IOBUF a, size_t len )
1391 {
1392     block_filter_ctx_t *ctx = m_alloc_clear( sizeof *ctx );
1393
1394     assert( a->use == 1 || a->use == 2 );
1395     ctx->use = a->use;
1396     if( !len ) {
1397         if( a->use == 1 )
1398             log_debug("pop_filter called in set_partial_block_mode"
1399                                                     " - please report\n");
1400         pop_filter(a, block_filter, NULL );
1401     }
1402     else {
1403         ctx->partial = 1;
1404         ctx->size = 0;
1405         ctx->first_c = len;
1406         iobuf_push_filter(a, block_filter, ctx );
1407     }
1408 }
1409
1410
1411 /****************
1412  * Checks whether the stream is in block mode
1413  * Note: This does not work if other filters are pushed on the stream.
1414  */
1415 int
1416 iobuf_in_block_mode( IOBUF a )
1417 {
1418     if( a && a->filter == block_filter )
1419         return 1; /* yes */
1420     return 0; /* no */
1421 }
1422
1423
1424 /****************
1425  * Same as fgets() but if the buffer is too short a larger one will
1426  * be allocated up to some limit *max_length.
1427  * A line is considered a byte stream ending in a LF.
1428  * Returns the length of the line. EOF is indicated by a line of
1429  * length zero. The last LF may be missing due to an EOF.
1430  * is max_length is zero on return, the line has been truncated.
1431  *
1432  * Note: The buffer is allocated with enough space to append a CR,LF,EOL
1433  */
1434 unsigned
1435 iobuf_read_line( IOBUF a, byte **addr_of_buffer,
1436                           unsigned *length_of_buffer, unsigned *max_length )
1437 {
1438     int c;
1439     char *buffer = *addr_of_buffer;
1440     unsigned length = *length_of_buffer;
1441     unsigned nbytes = 0;
1442     unsigned maxlen = *max_length;
1443     char *p;
1444
1445     if( !buffer ) { /* must allocate a new buffer */
1446         length = 256;
1447         buffer = m_alloc( length );
1448         *addr_of_buffer = buffer;
1449         *length_of_buffer = length;
1450     }
1451
1452     length -= 3; /* reserve 3 bytes (cr,lf,eol) */
1453     p = buffer;
1454     while( (c=iobuf_get(a)) != -1 ) {
1455         if( nbytes == length ) { /* increase the buffer */
1456             if( length > maxlen  ) { /* this is out limit */
1457                 /* skip the rest of the line */
1458                 while( c != '\n' && (c=iobuf_get(a)) != -1 )
1459                     ;
1460                 *p++ = '\n'; /* always append a LF (we have reserved space) */
1461                 nbytes++;
1462                 *max_length = 0; /* indicate truncation */
1463                 break;
1464             }
1465             length += 3; /* correct for the reserved byte */
1466             length += length < 1024? 256 : 1024;
1467             buffer = m_realloc( buffer, length );
1468             *addr_of_buffer = buffer;
1469             *length_of_buffer = length;
1470             length -= 3; /* and reserve again */
1471             p = buffer + nbytes;
1472         }
1473         *p++ = c;
1474         nbytes++;
1475         if( c == '\n' )
1476             break;
1477     }
1478     *p = 0; /* make sure the line is a string */
1479
1480     return nbytes;
1481 }
1482