initially checkin
[gnupg.git] / util / iobuf.c
1 /* iobuf.c  -  file handling
2  *      Copyright (c) 1997 by Werner Koch (dd9jn)
3  *
4  * This file is part of G10.
5  *
6  * G10 is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * G10 is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/stat.h>
28 #include <unistd.h>
29
30 #include "memory.h"
31 #include "util.h"
32 #include "iobuf.h"
33
34 typedef struct {
35     FILE *fp;      /* open file handle */
36     char fname[1]; /* name of the file */
37 } file_filter_ctx_t ;
38
39 typedef struct {
40     int usage;
41     size_t size;
42     size_t count;
43     int eof;
44 } block_filter_ctx_t;
45
46 static int underflow(IOBUF a);
47
48 /****************
49  * Read data from a file into buf which has an allocated length of *LEN.
50  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
51  * the stream. A is not used.
52  * control maybe:
53  * IOBUFCTRL_INIT: called just before the function is linked into the
54  *                 list of function. This can be used to prepare internal
55  *                 data structures of the function.
56  * IOBUFCTRL_FREE: called just before the function is removed from the
57  *                  list of functions and can be used to release internal
58  *                  data structures or close a file etc.
59  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
60  *                  with new stuff. *RET_LEN is the available size of the
61  *                  buffer, and should be set to the number of bytes
62  *                  which were put into the buffer. The function
63  *                  returns 0 to indicate success, -1 on EOF and
64  *                  G10ERR_xxxxx for other errors.
65  *
66  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
67  *                  *RET_LAN is the number of bytes in BUF.
68  *
69  */
70 static int
71 file_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
72 {
73     file_filter_ctx_t *a = opaque;
74     FILE *fp = a->fp;
75     size_t size = *ret_len;
76     size_t nbytes = 0;
77     int c, rc = 0;
78     char *p;
79
80     if( control == IOBUFCTRL_UNDERFLOW ) {
81         assert( size ); /* need a buffer */
82         for(; size; size-- ) {
83             if( (c=getc(fp)) == EOF ) {
84                 if( ferror(fp) ) {
85                     log_error("%s: read error: %s\n",
86                                         a->fname, strerror(errno));
87                     rc = G10ERR_READ_FILE;
88                 }
89                 else if( !nbytes )
90                     rc = -1; /* okay: we can return EOF now. */
91                 break;
92             }
93             buf[nbytes++] = c & 0xff;
94         }
95         *ret_len = nbytes;
96     }
97     else if( control == IOBUFCTRL_FLUSH ) {
98         for(p=buf; nbytes < size; nbytes++, p++ ) {
99             if( putc(*p, fp) == EOF ) {
100                 log_error("%s: write error: %s\n",
101                                     a->fname, strerror(errno));
102                 rc = G10ERR_WRITE_FILE;
103                 break;
104             }
105         }
106         *ret_len = nbytes;
107     }
108     else if( control == IOBUFCTRL_INIT ) {
109     }
110     else if( control == IOBUFCTRL_DESC ) {
111         *(char**)buf = "file_filter";
112     }
113     else if( control == IOBUFCTRL_FREE ) {
114         if( fp != stdin && fp != stdout )
115             fclose(fp);
116         fp = NULL;
117         m_free(a); /* we can free our context now */
118     }
119
120     return rc;
121 }
122
123
124 /****************
125  * This is used to implement the block write mode.
126  * Block reading is done on a byte by byte basis in readbyte(),
127  * without a filter
128  */
129 static int
130 block_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
131 {
132     block_filter_ctx_t *a = opaque;
133     size_t size = *ret_len;
134     int c, rc = 0;
135     char *p;
136
137     if( control == IOBUFCTRL_UNDERFLOW ) {
138         size_t n=0;
139
140         p = buf;
141         assert( size ); /* need a buffer */
142         if( a->eof ) /* don't read any further */
143             rc = -1;
144         while( !rc && size ) {
145             if( !a->size ) { /* get the length bytes */
146                 c = iobuf_get(chain);
147                 a->size = c << 8;
148                 c = iobuf_get(chain);
149                 a->size |= c;
150                 if( c == -1 ) {
151                     log_error("block_filter: error reading length info\n");
152                     rc = G10ERR_READ_FILE;
153                 }
154                 if( !a->size ) {
155                     a->eof = 1;
156                     if( !n )
157                         rc = -1;
158                     break;
159                 }
160             }
161
162             for(; !rc && size && a->size; size--, a->size-- ) {
163                 if( (c=iobuf_get(chain)) == -1 ) {
164                     log_error("block_filter %p: read error (size=%lu,a->size=%lu)\n",
165                                 a,  (ulong)size, (ulong)a->size);
166                     rc = G10ERR_READ_FILE;
167                 }
168                 else {
169                     *p++ = c;
170                     n++;
171                 }
172             }
173         }
174         *ret_len = n;
175     }
176     else if( control == IOBUFCTRL_FLUSH ) {
177         size_t avail, n;
178
179         for(p=buf; !rc && size; ) {
180             n = size;
181             avail = a->size - a->count;
182             if( !avail ) {
183                 if( n > a->size ) {
184                     iobuf_put( chain, (a->size >> 8) & 0xff );
185                     iobuf_put( chain, a->size & 0xff );
186                     avail = a->size;
187                     a->count = 0;
188                 }
189                 else {
190                     iobuf_put( chain, (n >> 8) & 0xff );
191                     iobuf_put( chain, n & 0xff );
192                     avail = n;
193                     a->count = a->size - n;
194                 }
195             }
196             if( n > avail )
197                 n = avail;
198             if( iobuf_write(chain, p, n ) )
199                 rc = G10ERR_WRITE_FILE;
200             a->count += n;
201             p += n;
202             size -= n;
203         }
204     }
205     else if( control == IOBUFCTRL_INIT ) {
206         if( DBG_IOBUF )
207             log_debug("init block_filter %p\n", a );
208         if( a->usage == 1 )
209             a->count = a->size = 0;
210         else
211             a->count = a->size; /* force first length bytes */
212         a->eof = 0;
213     }
214     else if( control == IOBUFCTRL_DESC ) {
215         *(char**)buf = "block_filter";
216     }
217     else if( control == IOBUFCTRL_FREE ) {
218         if( a->usage == 2 ) { /* write the end markers */
219             iobuf_writebyte(chain, 0);
220             iobuf_writebyte(chain, 0);
221         }
222         else if( a->size ) {
223             log_error("block_filter: pending bytes!\n");
224         }
225         if( DBG_IOBUF )
226             log_debug("free block_filter %p\n", a );
227         m_free(a); /* we can free our context now */
228     }
229
230     return rc;
231 }
232
233
234
235 /****************
236  * Allocate a new io buffer, with no function assigned.
237  * Usage is the desired usage: 1 for input, 2 for output, 3 for temp buffer
238  * BUFSIZE is a suggested buffer size.
239  */
240 IOBUF
241 iobuf_alloc(int usage, size_t bufsize)
242 {
243     IOBUF a;
244     static int number=0;
245
246     a = m_alloc_clear(sizeof *a);
247     a->usage = usage;
248     a->d.buf = m_alloc( bufsize );
249     a->d.size = bufsize;
250     a->no = ++number;
251     a->subno = 0;
252     return a;
253 }
254
255
256 int
257 iobuf_close( IOBUF a )
258 {
259     IOBUF a2;
260     size_t dummy_len;
261     int rc=0;
262
263     for( ; a; a = a2 ) {
264         a2 = a->chain;
265         if( a->usage == 2 && (rc=iobuf_flush(a)) )
266             log_error("iobuf_flush failed on close: %s\n", g10_errstr(rc));
267
268         if( DBG_IOBUF )
269             log_debug("iobuf-%d.%d: close '%s'\n", a->no, a->subno, a->desc );
270         if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE,
271                                          a->chain, NULL, &dummy_len)) )
272             log_error("IOBUFCTRL_FREE failed on close: %s\n", g10_errstr(rc) );
273         m_free(a->recorder.buf);
274         m_free(a->d.buf);
275         m_free(a);
276     }
277     return rc;
278 }
279
280 int
281 iobuf_cancel( IOBUF a )
282 {
283     /* FIXME: do an unlink if usage is 2 */
284     return iobuf_close(a);
285 }
286
287
288 /****************
289  * create a temporary iobuf, which can be used to collect stuff
290  * in an iobuf and later be written by iobuf_write_temp() to another
291  * iobuf.
292  */
293 IOBUF
294 iobuf_temp()
295 {
296     IOBUF a;
297
298     a = iobuf_alloc(3, 8192 );
299
300     return a;
301 }
302
303
304 /****************
305  * Create a head iobuf for reading from a file
306  * returns: NULL if an error occures and sets errno
307  */
308 IOBUF
309 iobuf_open( const char *fname )
310 {
311     IOBUF a;
312     FILE *fp;
313     file_filter_ctx_t *fcx;
314     size_t len;
315
316     if( !fname ) {
317         fp = stdin; /* fixme: set binary mode for msdoze */
318         fname = "[stdin]";
319     }
320     else if( !(fp = fopen(fname, "rb")) )
321         return NULL;
322     a = iobuf_alloc(1, 8192 );
323     fcx = m_alloc( sizeof *fcx + strlen(fname) );
324     fcx->fp = fp;
325     strcpy(fcx->fname, fname );
326     a->filter = file_filter;
327     a->filter_ov = fcx;
328     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
329     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
330     if( DBG_IOBUF )
331         log_debug("iobuf-%d.%d: open '%s'\n", a->no, a->subno, fname );
332
333     return a;
334 }
335
336 /****************
337  * create a iobuf for writing to a file; the file will be created.
338  */
339 IOBUF
340 iobuf_create( const char *fname )
341 {
342     IOBUF a;
343     FILE *fp;
344     file_filter_ctx_t *fcx;
345     size_t len;
346
347     if( !fname ) {
348         fp = stdout;
349         fname = "[stdout]";
350     }
351     else if( !(fp = fopen(fname, "wb")) )
352         return NULL;
353     a = iobuf_alloc(2, 8192 );
354     fcx = m_alloc( sizeof *fcx + strlen(fname) );
355     fcx->fp = fp;
356     strcpy(fcx->fname, fname );
357     a->filter = file_filter;
358     a->filter_ov = fcx;
359     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
360     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
361     if( DBG_IOBUF )
362         log_debug("iobuf-%d.%d: create '%s'\n", a->no, a->subno, a->desc );
363
364     return a;
365 }
366
367 /****************
368  * Register an i/o filter.
369  */
370 int
371 iobuf_push_filter( IOBUF a,
372                    int (*f)(void *opaque, int control,
373                    IOBUF chain, byte *buf, size_t *len), void *ov )
374 {
375     IOBUF b;
376     size_t dummy_len=0;
377     int rc=0;
378
379     if( a->usage == 2 && (rc=iobuf_flush(a)) )
380         return rc;
381     /* make a copy of the current stream, so that
382      * A is the new stream and B the original one.
383      * The contents of the buffers are transferred to the
384      * new stream.
385      */
386     b = m_alloc(sizeof *b);
387     memcpy(b, a, sizeof *b );
388     /* remove the filter stuff from the new stream */
389     a->filter = NULL;
390     a->filter_ov = NULL;
391     if( a->usage == 2 ) { /* allocate a fresh buffer for the original stream */
392         b->d.buf = m_alloc( a->d.size );
393         b->d.len = 0;
394         b->d.start = 0;
395     }
396     else { /* allocate a fresh buffer for the new stream */
397         a->d.buf = m_alloc( a->d.size );
398         a->d.len = 0;
399         a->d.start = 0;
400     }
401     /* disable nlimit for the new stream */
402     a->nlimit = a->nbytes = 0;
403     /* disable recorder for the original stream */
404     b->recorder.buf = NULL;
405     /* make a link from the new stream to the original stream */
406     a->chain = b;
407
408     /* setup the function on the new stream */
409     a->filter = f;
410     a->filter_ov = ov;
411
412     a->subno = b->subno + 1;
413     f( ov, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &dummy_len );
414
415     if( DBG_IOBUF ) {
416         log_debug("iobuf-%d.%d: push '%s'\n", a->no, a->subno, a->desc );
417         for(b=a; b; b = b->chain )
418             log_debug("\tchain: %d.%d '%s'\n", b->no, b->subno, b->desc );
419     }
420
421     /* now we can initialize the new function if we have one */
422     if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_INIT, a->chain,
423                        NULL, &dummy_len)) )
424         log_error("IOBUFCTRL_INIT failed: %s\n", g10_errstr(rc) );
425     return rc;
426 }
427
428 /****************
429  * Remove an i/o filter.
430  */
431 int
432 iobuf_pop_filter( IOBUF a, int (*f)(void *opaque, int control,
433                       IOBUF chain, byte *buf, size_t *len), void *ov )
434 {
435     IOBUF b;
436     size_t dummy_len=0;
437     int rc=0;
438
439     if( DBG_IOBUF )
440         log_debug("iobuf-%d.%d: pop '%s'\n", a->no, a->subno, a->desc );
441     if( !a->filter ) { /* this is simple */
442         b = a->chain;
443         assert(b);
444         m_free(a->d.buf);
445         memcpy(a,b, sizeof *a);
446         m_free(b);
447         return 0;
448     }
449     for(b=a ; b; b = b->chain )
450         if( b->filter == f && (!ov || b->filter_ov == ov) )
451             break;
452     if( !b )
453         log_bug("iobuf_pop_filter(): filter function not found\n");
454
455     /* flush this stream if it is an output stream */
456     if( a->usage == 2 && (rc=iobuf_flush(b)) ) {
457         log_error("iobuf_flush failed in pop_filter: %s\n", g10_errstr(rc));
458         return rc;
459     }
460     /* and tell the filter to free it self */
461     if( (rc = b->filter(b->filter_ov, IOBUFCTRL_FREE, b->chain,
462                        NULL, &dummy_len)) ) {
463         log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
464         return rc;
465     }
466
467     /* and look how to remove it */
468     if( a == b && !b->chain )
469         log_bug("can't remove the last filter from the chain\n");
470     else if( a == b ) { /* remove the first iobuf from the chain */
471         /* everything from b is copied to a. This is save because
472          * a flush has been done on the to be removed entry
473          */
474         b = a->chain;
475         m_free(a->d.buf);
476         memcpy(a,b, sizeof *a);
477         m_free(b);
478     }
479     else if( !b->chain ) { /* remove the last iobuf from the chain */
480         log_bug("Ohh jeee, trying to a head filter\n");
481     }
482     else {  /* remove an intermediate iobuf from the chain */
483         log_bug("Ohh jeee, trying to remove an intermediate filter\n");
484     }
485
486     return rc;
487 }
488
489
490
491 /****************
492  * read underflow: read more bytes into the buffer and return
493  * the first byte or -1 on EOF.
494  */
495 static int
496 underflow(IOBUF a)
497 {
498     size_t len;
499     int rc;
500
501   /*log_debug("iobuf-%d.%d: underflow: start=%lu len=%lu\n",
502                 a->no, a->subno, (ulong)a->d.start, (ulong)a->d.len );*/
503     assert( a->d.start == a->d.len );
504     if( a->usage == 3 )
505         return -1; /* EOF because a temp buffer can't do an underflow */
506     if( a->filter_eof ) {
507         if( DBG_IOBUF )
508             log_debug("iobuf-%d.%d: filter eof\n", a->no, a->subno );
509         return -1;
510     }
511
512     if( a->filter ) {
513         len = a->d.size;
514         rc = a->filter( a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
515                         a->d.buf, &len );
516         if( a->usage == 1 && rc == -1 ) { /* EOF: we can remove the filter */
517             size_t dummy_len;
518
519             /* and tell the filter to free it self */
520             if( (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE, a->chain,
521                                NULL, &dummy_len)) )
522                 log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
523             a->filter = NULL;
524             a->desc = NULL;
525             a->filter_ov = NULL;
526             a->filter_eof = 1;
527         }
528
529         if( !len )
530             return -1;
531         a->d.len = len;
532         a->d.start = 0;
533         return a->d.buf[a->d.start++];
534     }
535     else
536         return -1;  /* no filter; return EOF */
537 }
538
539
540 void
541 iobuf_clear_eof(IOBUF a)
542 {
543     assert(a->usage == 1);
544
545     if( a->filter )
546         log_info("iobuf-%d.%d: clear_eof '%s' with enabled filter\n", a->no, a->subno, a->desc );
547     if( !a->filter_eof )
548         log_info("iobuf-%d.%d: clear_eof '%s' with no EOF pending\n", a->no, a->subno, a->desc );
549     iobuf_pop_filter(a, NULL, NULL);
550 }
551
552
553 int
554 iobuf_flush(IOBUF a)
555 {
556     size_t len;
557     int rc;
558
559     /*log_debug("iobuf-%d.%d: flush\n", a->no, a->subno );*/
560     if( a->usage == 3 )
561         log_bug("temp buffer too short\n");
562     else if( a->usage != 2 )
563         log_bug("flush on non-output iobuf\n");
564     else if( !a->filter )
565         log_bug("iobuf_flush: no filter\n");
566     len = a->d.len;
567     rc = a->filter( a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len );
568     if( !rc && len != a->d.len ) {
569         log_info("iobuf_flush did not write all!\n");
570         rc = G10ERR_WRITE_FILE;
571     }
572     a->d.len = 0;
573
574     return rc;
575 }
576
577
578 /****************
579  * Read a byte from the iobuf; returns -1 on EOF
580  */
581 int
582 iobuf_readbyte(IOBUF a)
583 {
584     int c;
585
586     if( a->nlimit && a->nbytes >= a->nlimit )
587         return -1; /* forced EOF */
588
589     if( a->d.start < a->d.len ) {
590         c = a->d.buf[a->d.start++];
591     }
592     else if( (c=underflow(a)) == -1 )
593         return -1; /* EOF */
594
595     a->nbytes++;
596
597     if( a->recorder.buf ) {
598         if( a->recorder.len >= a->recorder.size ) {
599             a->recorder.size += 500;
600             a->recorder.buf = m_realloc( a->recorder.buf, a->recorder.size );
601         }
602         ((byte*)a->recorder.buf)[a->recorder.len++] = c;
603     }
604     return c;
605 }
606
607
608 int
609 iobuf_writebyte(IOBUF a, unsigned c)
610 {
611     if( a->d.len == a->d.size )
612         if( iobuf_flush(a) )
613             return -1;
614
615     assert( a->d.len < a->d.size );
616     a->d.buf[a->d.len++] = c;
617     return 0;
618 }
619
620
621 int
622 iobuf_write(IOBUF a, byte *buf, unsigned buflen )
623 {
624     for( ; buflen; buflen--, buf++ )
625         if( iobuf_writebyte(a, *buf) )
626             return -1;
627     return 0;
628 }
629
630
631
632 /****************
633  * copy the contents of TEMP to A.
634  */
635 int
636 iobuf_write_temp( IOBUF a, IOBUF temp )
637 {
638     return iobuf_write(a, temp->d.buf, temp->d.len );
639 }
640
641 /****************
642  * copy the contents of the temp io stream to BUFFER.
643  */
644 size_t
645 iobuf_temp_to_buffer( IOBUF a, byte *buffer, size_t buflen )
646 {
647     size_t n = a->d.len;
648
649     if( n > buflen )
650         n = buflen;
651     memcpy( buffer, a->d.buf, n );
652     return n;
653 }
654
655
656 /****************
657  * Set a limit, how much bytes may be read from the input stream A.
658  * Setting the limit to 0 disables this feature.
659  */
660 void
661 iobuf_set_limit( IOBUF a, unsigned long nlimit )
662 {
663     a->nlimit = nlimit;
664     a->nbytes = 0;
665 }
666
667
668
669 void
670 iobuf_start_recorder( IOBUF a )
671 {
672     m_free(a->recorder.buf);
673     a->recorder.size = 500;
674     a->recorder.buf = m_alloc(a->recorder.size);
675     a->recorder.len = 0;
676 }
677
678 void
679 iobuf_push_recorder( IOBUF a, int c )
680 {
681     if( a->recorder.buf ) {
682         if( a->recorder.len >= a->recorder.size ) {
683             a->recorder.size += 500;
684             a->recorder.buf = m_realloc( a->recorder.buf, a->recorder.size );
685         }
686         ((byte*)a->recorder.buf)[a->recorder.len++] = c;
687     }
688 }
689
690
691 char *
692 iobuf_stop_recorder( IOBUF a, size_t *n )
693 {
694     char *p;
695     if( !a->recorder.buf )
696         log_bug("iobuf_recorder not started\n");
697     p = a->recorder.buf;
698     if( n )
699         *n = a->recorder.len;
700     a->recorder.buf = NULL;
701     return p;
702 }
703
704
705 /****************
706  * Return the length of an open file
707  */
708 u32
709 iobuf_get_filelength( IOBUF a )
710 {
711     struct stat st;
712
713     for( ; a; a = a->chain )
714         if( !a->chain && a->filter == file_filter ) {
715             file_filter_ctx_t *b = a->filter_ov;
716             FILE *fp = b->fp;
717
718             if( !fstat(fileno(fp), &st) )
719                 return st.st_size;
720             log_error("fstat() failed: %s\n", strerror(errno) );
721             break;
722         }
723
724     return 0;
725 }
726
727 /****************
728  * Start the block write mode, see rfc1991.new for details.
729  * A value of 0 for N stops this mode (flushes and writes
730  * the end marker)
731  */
732 void
733 iobuf_set_block_mode( IOBUF a, size_t n )
734 {
735     block_filter_ctx_t *ctx = m_alloc_clear( sizeof *ctx );
736
737     assert( a->usage == 1 || a->usage == 2 );
738     ctx->usage = a->usage;
739     if( !n ) {
740         iobuf_pop_filter(a, block_filter, NULL );
741     }
742     else {
743         ctx->size = n; /* only needed for usage 2 */
744         iobuf_push_filter(a, block_filter, ctx );
745     }
746 }
747
748
749 /****************
750  * checks wether the stream is in block mode
751  */
752 int
753 iobuf_in_block_mode( IOBUF a )
754 {
755     for(; a; a = a->chain )
756         if( a->filter == block_filter )
757             return 1; /* yes */
758     return 0; /* no */
759 }
760
761
762