2004-11-03 Timo Schulz <twoaday@g10code.com>
[gnupg.git] / util / iobuf.c
1 /* iobuf.c  -  file handling
2  * Copyright (C) 1998, 1999, 2000, 2001, 2003,
3  *               2004 Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
20  */
21
22 #include <config.h>
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <string.h>
26 #include <errno.h>
27 #include <ctype.h>
28 #include <assert.h>
29 #include <sys/types.h>
30 #include <sys/stat.h>
31 #include <fcntl.h> 
32 #include <unistd.h>
33 #ifdef HAVE_DOSISH_SYSTEM
34 #include <windows.h>
35 #endif
36 #ifdef __riscos__
37 #include <kernel.h>
38 #include <swis.h>
39 #endif /* __riscos__ */
40
41 #include "memory.h"
42 #include "util.h"
43 #include "iobuf.h"
44
45 #undef FILE_FILTER_USES_STDIO
46
47 #ifdef HAVE_DOSISH_SYSTEM
48 #define USE_SETMODE 1
49 #endif
50
51 #ifdef FILE_FILTER_USES_STDIO
52 #define my_fileno(a)  fileno ((a))
53 #define my_fopen_ro(a,b) fopen ((a),(b))
54 #define my_fopen(a,b)    fopen ((a),(b))
55 typedef FILE *FILEP_OR_FD;
56 #define INVALID_FP    NULL
57 #define FILEP_OR_FD_FOR_STDIN  (stdin)
58 #define FILEP_OR_FD_FOR_STDOUT  (stdout)
59 typedef struct {
60      FILE *fp;     /* open file handle */
61      int keep_open;
62      int no_cache;
63      int  print_only_name; /* flags indicating that fname is not a real file*/
64      char fname[1]; /* name of the file */
65  } file_filter_ctx_t ;
66 #else
67 #define my_fileno(a)  (a)
68 #define my_fopen_ro(a,b) fd_cache_open ((a),(b)) 
69 #define my_fopen(a,b) direct_open ((a),(b)) 
70 #ifdef HAVE_DOSISH_SYSTEM
71 typedef HANDLE FILEP_OR_FD;
72 #define INVALID_FP  ((HANDLE)-1)
73 #define FILEP_OR_FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
74 #define FILEP_OR_FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
75 #undef USE_SETMODE
76 #else
77 typedef int FILEP_OR_FD;
78 #define INVALID_FP  (-1)
79 #define FILEP_OR_FD_FOR_STDIN  (0)
80 #define FILEP_OR_FD_FOR_STDOUT (1)
81 #endif
82 typedef struct {
83      FILEP_OR_FD  fp;      /* open file handle */
84      int keep_open;
85      int no_cache;
86      int eof_seen;
87      int  print_only_name; /* flags indicating that fname is not a real file*/
88      char fname[1]; /* name of the file */
89  } file_filter_ctx_t ;
90
91  struct close_cache_s { 
92     struct close_cache_s *next;
93     FILEP_OR_FD fp;
94     char fname[1];
95  };
96  typedef struct close_cache_s *CLOSE_CACHE;
97  static CLOSE_CACHE close_cache;
98 #endif
99
100 #ifdef _WIN32
101 typedef struct {
102     int sock;
103     int keep_open;
104     int no_cache;
105     int eof_seen;
106     int  print_only_name; /* flags indicating that fname is not a real file*/
107     char fname[1]; /* name of the file */
108 } sock_filter_ctx_t ;
109 #endif /*_WIN32*/
110
111 /* The first partial length header block must be of size 512
112  * to make it easier (and efficienter) we use a min. block size of 512
113  * for all chunks (but the last one) */
114 #define OP_MIN_PARTIAL_CHUNK      512
115 #define OP_MIN_PARTIAL_CHUNK_2POW 9
116
117 typedef struct {
118     int use;
119     size_t size;
120     size_t count;
121     int partial;  /* 1 = partial header, 2 in last partial packet */
122     char *buffer;    /* used for partial header */
123     size_t buflen;   /* used size of buffer */
124     int first_c;     /* of partial header (which is > 0)*/
125     int eof;
126 } block_filter_ctx_t;
127
128 static int special_names_enabled;
129
130 static int underflow(IOBUF a);
131 static int translate_file_handle ( int fd, int for_write );
132
133 #ifndef FILE_FILTER_USES_STDIO
134
135 /*
136  * Invalidate (i.e. close) a cached iobuf
137  */
138 static void
139 fd_cache_invalidate (const char *fname)
140 {
141     CLOSE_CACHE cc;
142
143     assert (fname);
144     if( DBG_IOBUF )
145         log_debug ("fd_cache_invalidate (%s)\n", fname);
146
147     for (cc=close_cache; cc; cc = cc->next ) {
148         if ( cc->fp != INVALID_FP && !strcmp (cc->fname, fname) ) {
149             if( DBG_IOBUF )
150                 log_debug ("                did (%s)\n", cc->fname);
151 #ifdef HAVE_DOSISH_SYSTEM
152             CloseHandle (cc->fp);
153 #else
154             close(cc->fp);
155 #endif
156             cc->fp = INVALID_FP;
157         }
158     }
159 }
160
161
162
163 static FILEP_OR_FD
164 direct_open (const char *fname, const char *mode)
165 {
166 #ifdef HAVE_DOSISH_SYSTEM
167     unsigned long da, cd, sm;
168     HANDLE hfile;
169
170     /* Note, that we do not handle all mode combinations */
171
172     /* According to the ReactOS source it seems that open() of the
173      * standard MSW32 crt does open the file in share mode which is
174      * something new for MS applications ;-)
175      */
176     if ( strchr (mode, '+') ) {
177         fd_cache_invalidate (fname);
178         da = GENERIC_READ|GENERIC_WRITE;
179         cd = OPEN_EXISTING;
180         sm = FILE_SHARE_READ | FILE_SHARE_WRITE;
181     }
182     else if ( strchr (mode, 'w') ) {
183         fd_cache_invalidate (fname);
184         da = GENERIC_WRITE;
185         cd = CREATE_ALWAYS;
186         sm = FILE_SHARE_WRITE;
187     }
188     else {
189         da = GENERIC_READ;
190         cd = OPEN_EXISTING;
191         sm = FILE_SHARE_READ;
192     }
193
194     hfile = CreateFile (fname, da, sm, NULL, cd, FILE_ATTRIBUTE_NORMAL, NULL);
195     return hfile;
196 #else
197     int oflag;
198     int cflag = S_IRUSR|S_IWUSR|S_IRGRP|S_IWGRP|S_IROTH|S_IWOTH;
199
200     /* Note, that we do not handle all mode combinations */
201     if ( strchr (mode, '+') ) {
202         fd_cache_invalidate (fname);
203         oflag = O_RDWR;
204     }
205     else if ( strchr (mode, 'w') ) {
206         fd_cache_invalidate (fname);
207         oflag = O_WRONLY | O_CREAT | O_TRUNC;
208     }
209     else {
210         oflag = O_RDONLY;
211     }
212 #ifdef O_BINARY
213     if (strchr (mode, 'b'))
214       oflag |= O_BINARY;
215 #endif
216 #ifndef __riscos__
217     return open (fname, oflag, cflag );
218 #else
219     {
220         struct stat buf;
221         int rc = stat( fname, &buf );
222         
223         /* Don't allow iobufs on directories */
224         if( !rc && S_ISDIR(buf.st_mode) && !S_ISREG(buf.st_mode) )
225             return __set_errno( EISDIR );
226         else
227             return open( fname, oflag, cflag );
228     }
229 #endif
230 #endif
231 }
232
233
234 /*
235  * Instead of closing an FD we keep it open and cache it for later reuse 
236  * Note that this caching strategy only works if the process does not chdir.
237  */
238 static void
239 fd_cache_close (const char *fname, FILEP_OR_FD fp)
240 {
241     CLOSE_CACHE cc;
242
243     assert (fp);
244     if ( !fname || !*fname ) {
245 #ifdef HAVE_DOSISH_SYSTEM
246         CloseHandle (fp);
247 #else
248         close(fp);
249 #endif
250         if( DBG_IOBUF )
251             log_debug ("fd_cache_close (%p) real\n", (void*)fp);
252         return;
253     }
254     /* try to reuse a slot */
255     for (cc=close_cache; cc; cc = cc->next ) {
256         if ( cc->fp == INVALID_FP && !strcmp (cc->fname, fname) ) {
257             cc->fp = fp;
258             if( DBG_IOBUF )
259                 log_debug ("fd_cache_close (%s) used existing slot\n", fname);
260             return;
261         }
262     }
263     /* add a new one */
264     if( DBG_IOBUF )
265         log_debug ("fd_cache_close (%s) new slot created\n", fname);
266     cc = m_alloc_clear (sizeof *cc + strlen (fname));
267     strcpy (cc->fname, fname);
268     cc->fp = fp;
269     cc->next = close_cache;
270     close_cache = cc;
271 }
272
273 /*
274  * Do an direct_open on FNAME but first try to reuse one from the fd_cache
275  */
276 static FILEP_OR_FD
277 fd_cache_open (const char *fname, const char *mode)
278 {
279     CLOSE_CACHE cc;
280
281     assert (fname);
282     for (cc=close_cache; cc; cc = cc->next ) {
283         if ( cc->fp != INVALID_FP && !strcmp (cc->fname, fname) ) {
284             FILEP_OR_FD fp = cc->fp;
285             cc->fp = INVALID_FP;
286             if( DBG_IOBUF )
287                 log_debug ("fd_cache_open (%s) using cached fp\n", fname);
288 #ifdef HAVE_DOSISH_SYSTEM
289             if (SetFilePointer (fp, 0, NULL, FILE_BEGIN) == 0xffffffff ) {
290                 log_error ("rewind file failed on handle %p: %s\n",
291                            fp, w32_strerror (errno));
292                 fp = INVALID_FP;
293             }
294 #else
295             if ( lseek (fp, 0, SEEK_SET) == (off_t)-1 ) {
296                 log_error("can't rewind fd %d: %s\n", fp, strerror(errno) );
297                 fp = INVALID_FP;
298             }
299 #endif
300             return fp;
301         }
302     }
303     if( DBG_IOBUF )
304         log_debug ("fd_cache_open (%s) not cached\n", fname);
305     return direct_open (fname, mode);
306 }
307
308
309 #endif /*FILE_FILTER_USES_STDIO*/
310
311
312 /****************
313  * Read data from a file into buf which has an allocated length of *LEN.
314  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
315  * the stream. A is not used.
316  * control may be:
317  * IOBUFCTRL_INIT: called just before the function is linked into the
318  *                 list of function. This can be used to prepare internal
319  *                 data structures of the function.
320  * IOBUFCTRL_FREE: called just before the function is removed from the
321  *                  list of functions and can be used to release internal
322  *                  data structures or close a file etc.
323  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
324  *                  with new stuff. *RET_LEN is the available size of the
325  *                  buffer, and should be set to the number of bytes
326  *                  which were put into the buffer. The function
327  *                  returns 0 to indicate success, -1 on EOF and
328  *                  G10ERR_xxxxx for other errors.
329  *
330  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
331  *                  *RET_LAN is the number of bytes in BUF.
332  *
333  * IOBUFCTRL_CANCEL: send to all filters on behalf of iobuf_cancel.  The
334  *                  filter may take appropriate action on this message.
335  */
336 static int
337 file_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
338 {
339     file_filter_ctx_t *a = opaque;
340     FILEP_OR_FD f = a->fp;
341     size_t size = *ret_len;
342     size_t nbytes = 0;
343     int rc = 0;
344
345 #ifdef FILE_FILTER_USES_STDIO
346     if( control == IOBUFCTRL_UNDERFLOW ) {
347         assert( size ); /* need a buffer */
348         if ( feof(f)) { /* On terminals you could easiely read as many EOFs as you call         */
349             rc = -1;            /* fread() or fgetc() repeatly. Every call will block until you press   */
350             *ret_len = 0;       /* CTRL-D. So we catch this case before we call fread() again.          */
351         }
352         else {
353             clearerr( f );
354             nbytes = fread( buf, 1, size, f );
355             if( feof(f) && !nbytes ) {
356                 rc = -1; /* okay: we can return EOF now. */
357             }
358             else if( ferror(f) && errno != EPIPE  ) {
359                 log_error("%s: read error: %s\n",
360                           a->fname, strerror(errno));
361                 rc = G10ERR_READ_FILE;
362             }
363             *ret_len = nbytes;
364         }
365     }
366     else if( control == IOBUFCTRL_FLUSH ) {
367         if( size ) {
368             clearerr( f );
369             nbytes = fwrite( buf, 1, size, f );
370             if( ferror(f) ) {
371                 log_error("%s: write error: %s\n", a->fname, strerror(errno));
372                 rc = G10ERR_WRITE_FILE;
373             }
374         }
375         *ret_len = nbytes;
376     }
377     else if( control == IOBUFCTRL_INIT ) {
378         a->keep_open = a->no_cache = 0;
379     }
380     else if( control == IOBUFCTRL_DESC ) {
381         *(char**)buf = "file_filter";
382     }
383     else if( control == IOBUFCTRL_FREE ) {
384         if( f != stdin && f != stdout ) {
385             if( DBG_IOBUF )
386                 log_debug("%s: close fd %d\n", a->fname, fileno(f) );
387             if (!a->keep_open)
388                 fclose(f);
389         }
390         f = NULL;
391         m_free(a); /* we can free our context now */
392     }
393 #else /* !stdio implementation */
394
395     if( control == IOBUFCTRL_UNDERFLOW ) {
396         assert( size ); /* need a buffer */
397         if ( a->eof_seen) {
398             rc = -1;            
399             *ret_len = 0;       
400         }
401         else {
402 #ifdef HAVE_DOSISH_SYSTEM
403             unsigned long nread;
404
405             nbytes = 0;
406             if ( !ReadFile ( f, buf, size, &nread, NULL ) ) {
407                 if ((int)GetLastError () != ERROR_BROKEN_PIPE) {
408                     log_error ("%s: read error: %s\n", a->fname,
409                                w32_strerror (0));
410                     rc = G10ERR_READ_FILE;
411                 }
412             }
413             else if ( !nread ) {
414                 a->eof_seen = 1;
415                 rc = -1;
416             }
417             else {
418                 nbytes = nread;
419             }
420
421 #else
422
423             int n;
424
425             nbytes = 0;
426             do {
427                 n = read ( f, buf, size );
428             } while (n == -1 && errno == EINTR );
429             if ( n == -1 ) { /* error */
430                 if (errno != EPIPE) {
431                     log_error("%s: read error: %s\n",
432                               a->fname, strerror(errno));
433                     rc = G10ERR_READ_FILE;
434                 }
435             }
436             else if ( !n ) { /* eof */
437                 a->eof_seen = 1;
438                 rc = -1;
439             }
440             else {
441                 nbytes = n;
442             }
443 #endif
444             *ret_len = nbytes;
445         }
446     }
447     else if( control == IOBUFCTRL_FLUSH ) {
448         if( size ) {
449 #ifdef HAVE_DOSISH_SYSTEM
450             byte *p = buf;
451             unsigned long n;
452
453             nbytes = size;
454             do {
455                 if (size && !WriteFile (f,  p, nbytes, &n, NULL)) {
456                     log_error ("%s: write error: %s\n", a->fname,
457                                w32_strerror (0));
458                     rc = G10ERR_WRITE_FILE;
459                     break;
460                 }
461                 p += n;
462                 nbytes -= n;
463             } while ( nbytes );
464             nbytes = p - buf;
465 #else
466             byte *p = buf;
467             int n;
468
469             nbytes = size;
470             do {
471                 do {
472                     n = write ( f, p, nbytes );
473                 } while ( n == -1 && errno == EINTR );
474                 if ( n > 0 ) {
475                     p += n;
476                     nbytes -= n;
477                 }
478             } while ( n != -1 && nbytes );
479             if( n == -1 ) {
480                 log_error("%s: write error: %s\n", a->fname, strerror(errno));
481                 rc = G10ERR_WRITE_FILE;
482             }
483             nbytes = p - buf;
484 #endif
485         }
486         *ret_len = nbytes;
487     }
488     else if ( control == IOBUFCTRL_INIT ) {
489         a->eof_seen = 0;
490         a->keep_open = 0;
491         a->no_cache = 0;
492     }
493     else if ( control == IOBUFCTRL_DESC ) {
494         *(char**)buf = "file_filter(fd)";
495     }
496     else if ( control == IOBUFCTRL_FREE ) {
497 #ifdef HAVE_DOSISH_SYSTEM
498         if ( f != FILEP_OR_FD_FOR_STDIN && f != FILEP_OR_FD_FOR_STDOUT ) {
499             if( DBG_IOBUF )
500                 log_debug("%s: close handle %p\n", a->fname, f );
501             if (!a->keep_open)
502                 fd_cache_close (a->no_cache?NULL:a->fname, f);
503         }
504 #else
505         if ( (int)f != 0 && (int)f != 1 ) {
506             if( DBG_IOBUF )
507                 log_debug("%s: close fd %d\n", a->fname, f );
508             if (!a->keep_open)
509                 fd_cache_close (a->no_cache?NULL:a->fname, f);
510         }
511         f = INVALID_FP;
512 #endif
513         m_free (a); /* we can free our context now */
514     }
515 #endif /* !stdio implementation */
516     return rc;
517 }
518
519 #ifdef _WIN32
520 /* Becuase sockets are an special object under Lose32 we have to
521  * use a special filter */
522 static int
523 sock_filter (void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
524 {
525     sock_filter_ctx_t *a = opaque;
526     size_t size = *ret_len;
527     size_t nbytes = 0;
528     int rc = 0;
529
530     if( control == IOBUFCTRL_UNDERFLOW ) {
531         assert( size ); /* need a buffer */
532         if ( a->eof_seen) {
533             rc = -1;            
534             *ret_len = 0;       
535         }
536         else {
537             int nread;
538
539             nread = recv ( a->sock, buf, size, 0 );
540             if ( nread == SOCKET_ERROR ) {
541                 int ec = (int)WSAGetLastError ();
542                 log_error("socket read error: ec=%d\n", ec);
543                 rc = G10ERR_READ_FILE;
544             }
545             else if ( !nread ) {
546                 a->eof_seen = 1;
547                 rc = -1;
548             }
549             else {
550                 nbytes = nread;
551             }
552             *ret_len = nbytes;
553         }
554     }
555     else if( control == IOBUFCTRL_FLUSH ) {
556         if( size ) {
557             byte *p = buf;
558             int n;
559
560             nbytes = size;
561             do {
562                 n = send (a->sock, p, nbytes, 0);
563                 if ( n == SOCKET_ERROR ) {
564                     int ec = (int)WSAGetLastError ();
565                     log_error("socket write error: ec=%d\n", ec);
566                     rc = G10ERR_WRITE_FILE;
567                     break;
568                 }
569                 p += n;
570                 nbytes -= n;
571             } while ( nbytes );
572             nbytes = p - buf;
573         }
574         *ret_len = nbytes;
575     }
576     else if ( control == IOBUFCTRL_INIT ) {
577         a->eof_seen = 0;
578         a->keep_open = 0;
579         a->no_cache = 0;
580     }
581     else if ( control == IOBUFCTRL_DESC ) {
582         *(char**)buf = "sock_filter";
583     }
584     else if ( control == IOBUFCTRL_FREE ) {
585         if (!a->keep_open)
586             closesocket (a->sock);
587         m_free (a); /* we can free our context now */
588     }
589     return rc;
590 }
591 #endif /*_WIN32*/
592
593 /****************
594  * This is used to implement the block write mode.
595  * Block reading is done on a byte by byte basis in readbyte(),
596  * without a filter
597  */
598 static int
599 block_filter(void *opaque, int control, IOBUF chain, byte *buf, size_t *ret_len)
600 {
601     block_filter_ctx_t *a = opaque;
602     size_t size = *ret_len;
603     int c, needed, rc = 0;
604     char *p;
605
606     if( control == IOBUFCTRL_UNDERFLOW ) {
607         size_t n=0;
608
609         p = buf;
610         assert( size ); /* need a buffer */
611         if( a->eof ) /* don't read any further */
612             rc = -1;
613         while( !rc && size ) {
614             if( !a->size ) { /* get the length bytes */
615                 if( a->partial == 2 ) {
616                     a->eof = 1;
617                     if( !n )
618                         rc = -1;
619                     break;
620                 }
621                 else if( a->partial ) {
622                     /* These OpenPGP introduced huffman like encoded length
623                      * bytes are really a mess :-( */
624                     if( a->first_c ) {
625                         c = a->first_c;
626                         a->first_c = 0;
627                     }
628                     else if( (c = iobuf_get(chain)) == -1 ) {
629                         log_error("block_filter: 1st length byte missing\n");
630                         rc = G10ERR_READ_FILE;
631                         break;
632                     }
633                     if( c < 192 ) {
634                         a->size = c;
635                         a->partial = 2;
636                         if( !a->size ) {
637                             a->eof = 1;
638                             if( !n )
639                                 rc = -1;
640                             break;
641                         }
642                     }
643                     else if( c < 224 ) {
644                         a->size = (c - 192) * 256;
645                         if( (c = iobuf_get(chain)) == -1 ) {
646                             log_error("block_filter: 2nd length byte missing\n");
647                             rc = G10ERR_READ_FILE;
648                             break;
649                         }
650                         a->size += c + 192;
651                         a->partial = 2;
652                         if( !a->size ) {
653                             a->eof = 1;
654                             if( !n )
655                                 rc = -1;
656                             break;
657                         }
658                     }
659                     else if( c == 255 ) {
660                         a->size  = iobuf_get(chain) << 24;
661                         a->size |= iobuf_get(chain) << 16;
662                         a->size |= iobuf_get(chain) << 8;
663                         if( (c = iobuf_get(chain)) == -1 ) {
664                             log_error("block_filter: invalid 4 byte length\n");
665                             rc = G10ERR_READ_FILE;
666                             break;
667                         }
668                         a->size |= c;
669                         a->partial = 2;
670                         if( !a->size ) {
671                             a->eof = 1;
672                             if( !n )
673                                 rc = -1;
674                             break;
675                         }
676                     }
677                     else { /* next partial body length */
678                         a->size = 1 << (c & 0x1f);
679                     }
680             /*  log_debug("partial: ctx=%p c=%02x size=%u\n", a, c, a->size);*/
681                 }
682                 else
683                   BUG();
684             }
685
686             while( !rc && size && a->size ) {
687                 needed = size < a->size ? size : a->size;
688                 c = iobuf_read( chain, p, needed );
689                 if( c < needed ) {
690                     if( c == -1 ) c = 0;
691                     log_error("block_filter %p: read error (size=%lu,a->size=%lu)\n",
692                               a,  (ulong)size+c, (ulong)a->size+c);
693                     rc = G10ERR_READ_FILE;
694                 }
695                 else {
696                     size -= c;
697                     a->size -= c;
698                     p += c;
699                     n += c;
700                 }
701             }
702         }
703         *ret_len = n;
704     }
705     else if( control == IOBUFCTRL_FLUSH ) {
706         if( a->partial ) { /* the complicated openpgp scheme */
707             size_t blen, n, nbytes = size + a->buflen;
708
709             assert( a->buflen <= OP_MIN_PARTIAL_CHUNK );
710             if( nbytes < OP_MIN_PARTIAL_CHUNK ) {
711                 /* not enough to write a partial block out; so we store it*/
712                 if( !a->buffer )
713                     a->buffer = m_alloc( OP_MIN_PARTIAL_CHUNK );
714                 memcpy( a->buffer + a->buflen, buf, size );
715                 a->buflen += size;
716             }
717             else { /* okay, we can write out something */
718                 /* do this in a loop to use the most efficient block lengths */
719                 p = buf;
720                 do {
721                     /* find the best matching block length - this is limited
722                      * by the size of the internal buffering */
723                     for( blen=OP_MIN_PARTIAL_CHUNK*2,
724                             c=OP_MIN_PARTIAL_CHUNK_2POW+1; blen <= nbytes;
725                                                             blen *=2, c++ )
726                         ;
727                     blen /= 2; c--;
728                     /* write the partial length header */
729                     assert( c <= 0x1f ); /*;-)*/
730                     c |= 0xe0;
731                     iobuf_put( chain, c );
732                     if( (n=a->buflen) ) { /* write stuff from the buffer */
733                         assert( n == OP_MIN_PARTIAL_CHUNK);
734                         if( iobuf_write(chain, a->buffer, n ) )
735                             rc = G10ERR_WRITE_FILE;
736                         a->buflen = 0;
737                         nbytes -= n;
738                     }
739                     if( (n = nbytes) > blen )
740                         n = blen;
741                     if( n && iobuf_write(chain, p, n ) )
742                         rc = G10ERR_WRITE_FILE;
743                     p += n;
744                     nbytes -= n;
745                 } while( !rc && nbytes >= OP_MIN_PARTIAL_CHUNK );
746                 /* store the rest in the buffer */
747                 if( !rc && nbytes ) {
748                     assert( !a->buflen );
749                     assert( nbytes < OP_MIN_PARTIAL_CHUNK );
750                     if( !a->buffer )
751                         a->buffer = m_alloc( OP_MIN_PARTIAL_CHUNK );
752                     memcpy( a->buffer, p, nbytes );
753                     a->buflen = nbytes;
754                 }
755             }
756         }
757         else
758           BUG();
759     }
760     else if( control == IOBUFCTRL_INIT ) {
761         if( DBG_IOBUF )
762             log_debug("init block_filter %p\n", a );
763         if( a->partial )
764             a->count = 0;
765         else if( a->use == 1 )
766             a->count = a->size = 0;
767         else
768             a->count = a->size; /* force first length bytes */
769         a->eof = 0;
770         a->buffer = NULL;
771         a->buflen = 0;
772     }
773     else if( control == IOBUFCTRL_DESC ) {
774         *(char**)buf = "block_filter";
775     }
776     else if( control == IOBUFCTRL_FREE ) {
777         if( a->use == 2 ) { /* write the end markers */
778             if( a->partial ) {
779                 u32 len;
780                 /* write out the remaining bytes without a partial header
781                  * the length of this header may be 0 - but if it is
782                  * the first block we are not allowed to use a partial header
783                  * and frankly we can't do so, because this length must be
784                  * a power of 2. This is _really_ complicated because we
785                  * have to check the possible length of a packet prior
786                  * to it's creation: a chain of filters becomes complicated
787                  * and we need a lot of code to handle compressed packets etc.
788                  *   :-(((((((
789                  */
790                 /* construct header */
791                 len = a->buflen;
792                 /*log_debug("partial: remaining length=%u\n", len );*/
793                 if( len < 192 )
794                     rc = iobuf_put(chain, len );
795                 else if( len < 8384 ) {
796                     if( !(rc=iobuf_put( chain, ((len-192) / 256) + 192)) )
797                         rc = iobuf_put( chain, ((len-192) % 256));
798                 }
799                 else { /* use a 4 byte header */
800                     if( !(rc=iobuf_put( chain, 0xff )) )
801                         if( !(rc=iobuf_put( chain, (len >> 24)&0xff )) )
802                             if( !(rc=iobuf_put( chain, (len >> 16)&0xff )) )
803                                 if( !(rc=iobuf_put( chain, (len >> 8)&0xff )))
804                                     rc=iobuf_put( chain, len & 0xff );
805                 }
806                 if( !rc && len )
807                     rc = iobuf_write(chain, a->buffer, len );
808                 if( rc ) {
809                     log_error("block_filter: write error: %s\n",strerror(errno));
810                     rc = G10ERR_WRITE_FILE;
811                 }
812                 m_free( a->buffer ); a->buffer = NULL; a->buflen = 0;
813             }
814             else
815               BUG();
816         }
817         else if( a->size ) {
818             log_error("block_filter: pending bytes!\n");
819         }
820         if( DBG_IOBUF )
821             log_debug("free block_filter %p\n", a );
822         m_free(a); /* we can free our context now */
823     }
824
825     return rc;
826 }
827
828
829 static void
830 print_chain( IOBUF a )
831 {
832     if( !DBG_IOBUF )
833         return;
834     for(; a; a = a->chain ) {
835         size_t dummy_len = 0;
836         const char *desc = "[none]";
837
838         if( a->filter )
839             a->filter( a->filter_ov, IOBUFCTRL_DESC, NULL,
840                                                 (byte*)&desc, &dummy_len );
841
842         log_debug("iobuf chain: %d.%d `%s' filter_eof=%d start=%d len=%d\n",
843                    a->no, a->subno, desc, a->filter_eof,
844                    (int)a->d.start, (int)a->d.len );
845     }
846 }
847
848 int
849 iobuf_print_chain( IOBUF a )
850 {
851     print_chain(a);
852     return 0;
853 }
854
855 /****************
856  * Allocate a new io buffer, with no function assigned.
857  * Use is the desired usage: 1 for input, 2 for output, 3 for temp buffer
858  * BUFSIZE is a suggested buffer size.
859  */
860 IOBUF
861 iobuf_alloc(int use, size_t bufsize)
862 {
863     IOBUF a;
864     static int number=0;
865
866     a = m_alloc_clear(sizeof *a);
867     a->use = use;
868     a->d.buf = m_alloc( bufsize );
869     a->d.size = bufsize;
870     a->no = ++number;
871     a->subno = 0;
872     a->opaque = NULL;
873     a->real_fname = NULL;
874     return a;
875 }
876
877 int
878 iobuf_close ( IOBUF a )
879 {
880     IOBUF a2;
881     size_t dummy_len=0;
882     int rc=0;
883
884     if( a && a->directfp ) {
885         fclose( a->directfp );
886         m_free( a->real_fname );
887         if( DBG_IOBUF )
888             log_debug("iobuf_close -> %p\n", a->directfp );
889         return 0;
890     }
891
892     for( ; a && !rc ; a = a2 ) {
893         a2 = a->chain;
894         if( a->use == 2 && (rc=iobuf_flush(a)) )
895             log_error("iobuf_flush failed on close: %s\n", g10_errstr(rc));
896
897         if( DBG_IOBUF )
898             log_debug("iobuf-%d.%d: close `%s'\n", a->no, a->subno, a->desc );
899         if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE,
900                                          a->chain, NULL, &dummy_len)) )
901             log_error("IOBUFCTRL_FREE failed on close: %s\n", g10_errstr(rc) );
902         m_free(a->real_fname);
903         if (a->d.buf) {
904             memset (a->d.buf, 0, a->d.size); /* erase the buffer */
905             m_free(a->d.buf);
906         }
907         m_free(a);
908     }
909     return rc;
910 }
911
912 int
913 iobuf_cancel( IOBUF a )
914 {
915     const char *s;
916     IOBUF a2;
917     int rc;
918 #if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
919     char *remove_name = NULL;
920 #endif
921
922     if( a && a->use == 2 ) {
923         s = iobuf_get_real_fname(a);
924         if( s && *s ) {
925 #if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
926             remove_name = m_strdup ( s );
927 #else
928             remove(s);
929 #endif
930         }
931     }
932
933     /* send a cancel message to all filters */
934     for( a2 = a; a2 ; a2 = a2->chain ) {
935         size_t dummy;
936         if( a2->filter )
937             a2->filter( a2->filter_ov, IOBUFCTRL_CANCEL, a2->chain,
938                                                          NULL, &dummy );
939     }
940
941     rc = iobuf_close(a);
942 #if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
943     if ( remove_name ) {
944         /* Argg, MSDOS does not allow to remove open files.  So
945          * we have to do it here */
946         remove ( remove_name );
947         m_free ( remove_name );
948     }
949 #endif
950     return rc;
951 }
952
953
954 /****************
955  * create a temporary iobuf, which can be used to collect stuff
956  * in an iobuf and later be written by iobuf_write_temp() to another
957  * iobuf.
958  */
959 IOBUF
960 iobuf_temp()
961 {
962     IOBUF a;
963
964     a = iobuf_alloc(3, 8192 );
965
966     return a;
967 }
968
969 IOBUF
970 iobuf_temp_with_content( const char *buffer, size_t length )
971 {
972     IOBUF a;
973
974     a = iobuf_alloc(3, length );
975     memcpy( a->d.buf, buffer, length );
976     a->d.len = length;
977
978     return a;
979 }
980
981 void
982 iobuf_enable_special_filenames ( int yes )
983 {
984     special_names_enabled = yes;
985 }
986
987 /*
988  * see whether the filename has the for "-&nnnn", where n is a
989  * non-zero number.
990  * Returns this number or -1 if it is not the case.
991  */
992 static int
993 check_special_filename ( const char *fname )
994 {
995     if ( special_names_enabled
996          && fname && *fname == '-' && fname[1] == '&' ) {
997         int i;
998
999         fname += 2;
1000         for (i=0; digitp (fname+i); i++ )
1001             ;
1002         if ( !fname[i] ) 
1003             return atoi (fname);
1004     }
1005     return -1;
1006 }
1007
1008 /* This fucntion returns true if FNAME indicates a PIPE (stdout or
1009    stderr) or a special file name if those are enabled. */
1010 int
1011 iobuf_is_pipe_filename (const char *fname)
1012 {
1013   if (!fname || (*fname=='-' && !fname[1]) )
1014     return 1;
1015   return check_special_filename (fname) != -1;
1016 }
1017
1018 /****************
1019  * Create a head iobuf for reading from a file
1020  * returns: NULL if an error occures and sets errno
1021  */
1022 IOBUF
1023 iobuf_open( const char *fname )
1024 {
1025     IOBUF a;
1026     FILEP_OR_FD fp;
1027     file_filter_ctx_t *fcx;
1028     size_t len;
1029     int print_only = 0;
1030     int fd;
1031
1032     if( !fname || (*fname=='-' && !fname[1])  ) {
1033         fp = FILEP_OR_FD_FOR_STDIN;
1034 #ifdef USE_SETMODE
1035         setmode ( my_fileno(fp) , O_BINARY );
1036 #endif
1037         fname = "[stdin]";
1038         print_only = 1;
1039     }
1040     else if ( (fd = check_special_filename ( fname )) != -1 )
1041         return iobuf_fdopen ( translate_file_handle (fd,0), "rb" );
1042     else if( (fp = my_fopen_ro(fname, "rb")) == INVALID_FP )
1043         return NULL;
1044     a = iobuf_alloc(1, 8192 );
1045     fcx = m_alloc( sizeof *fcx + strlen(fname) );
1046     fcx->fp = fp;
1047     fcx->print_only_name = print_only;
1048     strcpy(fcx->fname, fname );
1049     if( !print_only )
1050         a->real_fname = m_strdup( fname );
1051     a->filter = file_filter;
1052     a->filter_ov = fcx;
1053     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1054     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
1055     if( DBG_IOBUF )
1056         log_debug("iobuf-%d.%d: open `%s' fd=%d\n",
1057                    a->no, a->subno, fname, (int)my_fileno(fcx->fp) );
1058
1059     return a;
1060 }
1061
1062 /****************
1063  * Create a head iobuf for reading from a file
1064  * returns: NULL if an error occures and sets errno
1065  */
1066 IOBUF
1067 iobuf_fdopen( int fd, const char *mode )
1068 {
1069     IOBUF a;
1070     FILEP_OR_FD fp;
1071     file_filter_ctx_t *fcx;
1072     size_t len;
1073
1074 #ifdef FILE_FILTER_USES_STDIO
1075     if( !(fp = fdopen(fd, mode)) )
1076         return NULL;
1077 #else
1078     fp = (FILEP_OR_FD)fd;
1079 #endif
1080     a = iobuf_alloc( strchr( mode, 'w')? 2:1, 8192 );
1081     fcx = m_alloc( sizeof *fcx + 20 );
1082     fcx->fp = fp;
1083     fcx->print_only_name = 1;
1084     sprintf(fcx->fname, "[fd %d]", fd );
1085     a->filter = file_filter;
1086     a->filter_ov = fcx;
1087     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1088     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
1089     if( DBG_IOBUF )
1090         log_debug("iobuf-%d.%d: fdopen `%s'\n", a->no, a->subno, fcx->fname );
1091     iobuf_ioctl (a,3,1,NULL); /* disable fd caching */
1092     return a;
1093 }
1094
1095
1096 IOBUF
1097 iobuf_sockopen ( int fd, const char *mode )
1098 {
1099     IOBUF a;
1100 #ifdef _WIN32
1101     sock_filter_ctx_t *scx;
1102     size_t len;
1103
1104     a = iobuf_alloc( strchr( mode, 'w')? 2:1, 8192 );
1105     scx = m_alloc( sizeof *scx + 25 );
1106     scx->sock = fd;
1107     scx->print_only_name = 1;
1108     sprintf(scx->fname, "[sock %d]", fd );
1109     a->filter = sock_filter;
1110     a->filter_ov = scx;
1111     sock_filter( scx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1112     sock_filter( scx, IOBUFCTRL_INIT, NULL, NULL, &len );
1113     if( DBG_IOBUF )
1114         log_debug("iobuf-%d.%d: sockopen `%s'\n", a->no, a->subno, scx->fname);
1115     iobuf_ioctl (a,3,1,NULL); /* disable fd caching */ 
1116 #else
1117     a = iobuf_fdopen (fd, mode);
1118 #endif
1119     return a;
1120 }
1121
1122 /****************
1123  * create an iobuf for writing to a file; the file will be created.
1124  */
1125 IOBUF
1126 iobuf_create( const char *fname )
1127 {
1128     IOBUF a;
1129     FILEP_OR_FD fp;
1130     file_filter_ctx_t *fcx;
1131     size_t len;
1132     int print_only = 0;
1133     int fd;
1134
1135     if( !fname || (*fname=='-' && !fname[1]) ) {
1136         fp = FILEP_OR_FD_FOR_STDOUT;
1137 #ifdef USE_SETMODE
1138         setmode ( my_fileno(fp) , O_BINARY );
1139 #endif
1140         fname = "[stdout]";
1141         print_only = 1;
1142     }
1143     else if ( (fd = check_special_filename ( fname )) != -1 )
1144         return iobuf_fdopen ( translate_file_handle (fd, 1), "wb" );
1145     else if( (fp = my_fopen(fname, "wb")) == INVALID_FP )
1146         return NULL;
1147     a = iobuf_alloc(2, 8192 );
1148     fcx = m_alloc( sizeof *fcx + strlen(fname) );
1149     fcx->fp = fp;
1150     fcx->print_only_name = print_only;
1151     strcpy(fcx->fname, fname );
1152     if( !print_only )
1153         a->real_fname = m_strdup( fname );
1154     a->filter = file_filter;
1155     a->filter_ov = fcx;
1156     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1157     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
1158     if( DBG_IOBUF )
1159         log_debug("iobuf-%d.%d: create `%s'\n", a->no, a->subno, a->desc );
1160
1161     return a;
1162 }
1163
1164 /****************
1165  * append to an iobuf; if the file does not exist, create it.
1166  * cannot be used for stdout.
1167  * Note: This is not used.
1168  */
1169 #if 0 /* not used */
1170 IOBUF
1171 iobuf_append( const char *fname )
1172 {
1173     IOBUF a;
1174     FILE *fp;
1175     file_filter_ctx_t *fcx;
1176     size_t len;
1177
1178     if( !fname )
1179         return NULL;
1180     else if( !(fp = my_fopen(fname, "ab")) )
1181         return NULL;
1182     a = iobuf_alloc(2, 8192 );
1183     fcx = m_alloc( sizeof *fcx + strlen(fname) );
1184     fcx->fp = fp;
1185     strcpy(fcx->fname, fname );
1186     a->real_fname = m_strdup( fname );
1187     a->filter = file_filter;
1188     a->filter_ov = fcx;
1189     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1190     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
1191     if( DBG_IOBUF )
1192         log_debug("iobuf-%d.%d: append `%s'\n", a->no, a->subno, a->desc );
1193
1194     return a;
1195 }
1196 #endif
1197
1198 IOBUF
1199 iobuf_openrw( const char *fname )
1200 {
1201     IOBUF a;
1202     FILEP_OR_FD fp;
1203     file_filter_ctx_t *fcx;
1204     size_t len;
1205
1206     if( !fname )
1207         return NULL;
1208     else if( (fp = my_fopen(fname, "r+b")) == INVALID_FP )
1209         return NULL;
1210     a = iobuf_alloc(2, 8192 );
1211     fcx = m_alloc( sizeof *fcx + strlen(fname) );
1212     fcx->fp = fp;
1213     strcpy(fcx->fname, fname );
1214     a->real_fname = m_strdup( fname );
1215     a->filter = file_filter;
1216     a->filter_ov = fcx;
1217     file_filter( fcx, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &len );
1218     file_filter( fcx, IOBUFCTRL_INIT, NULL, NULL, &len );
1219     if( DBG_IOBUF )
1220         log_debug("iobuf-%d.%d: openrw `%s'\n", a->no, a->subno, a->desc );
1221
1222     return a;
1223 }
1224
1225
1226 int
1227 iobuf_ioctl ( IOBUF a, int cmd, int intval, void *ptrval )
1228 {
1229     if ( cmd == 1 ) {  /* keep system filepointer/descriptor open */
1230         if( DBG_IOBUF )
1231             log_debug("iobuf-%d.%d: ioctl `%s' keep=%d\n",
1232                       a? a->no:-1, a?a->subno:-1, a?a->desc:"?", intval );
1233         for( ; a; a = a->chain )
1234             if( !a->chain && a->filter == file_filter ) {
1235                 file_filter_ctx_t *b = a->filter_ov;
1236                 b->keep_open = intval;
1237                 return 0;
1238             }
1239 #ifdef _WIN32
1240             else if( !a->chain && a->filter == sock_filter ) {
1241                 sock_filter_ctx_t *b = a->filter_ov;
1242                 b->keep_open = intval;
1243                 return 0;
1244             }
1245 #endif
1246     }
1247     else if ( cmd == 2 ) {  /* invalidate cache */
1248         if( DBG_IOBUF )
1249             log_debug("iobuf-*.*: ioctl `%s' invalidate\n",
1250                       ptrval? (char*)ptrval:"?");
1251         if ( !a && !intval && ptrval ) {
1252 #ifndef FILE_FILTER_USES_STDIO
1253             fd_cache_invalidate (ptrval);
1254 #endif
1255             return 0;
1256         }
1257     }
1258     else if ( cmd == 3 ) {  /* disallow/allow caching */
1259         if( DBG_IOBUF )
1260             log_debug("iobuf-%d.%d: ioctl `%s' no_cache=%d\n",
1261                       a? a->no:-1, a?a->subno:-1, a?a->desc:"?", intval );
1262         for( ; a; a = a->chain )
1263             if( !a->chain && a->filter == file_filter ) {
1264                 file_filter_ctx_t *b = a->filter_ov;
1265                 b->no_cache = intval;
1266                 return 0;
1267             }
1268 #ifdef _WIN32
1269             else if( !a->chain && a->filter == sock_filter ) {
1270                 sock_filter_ctx_t *b = a->filter_ov;
1271                 b->no_cache = intval;
1272                 return 0;
1273             }
1274 #endif
1275     }
1276
1277     return -1;
1278 }
1279
1280
1281 /****************
1282  * Register an i/o filter.
1283  */
1284 int
1285 iobuf_push_filter( IOBUF a,
1286                    int (*f)(void *opaque, int control,
1287                    IOBUF chain, byte *buf, size_t *len), void *ov )
1288 {
1289     return iobuf_push_filter2( a, f, ov, 0 );
1290 }
1291
1292 int
1293 iobuf_push_filter2( IOBUF a,
1294                     int (*f)(void *opaque, int control,
1295                     IOBUF chain, byte *buf, size_t *len),
1296                     void *ov, int rel_ov )
1297 {
1298     IOBUF b;
1299     size_t dummy_len=0;
1300     int rc=0;
1301
1302     if( a->directfp )
1303         BUG();
1304
1305     if( a->use == 2 && (rc=iobuf_flush(a)) )
1306         return rc;
1307     /* make a copy of the current stream, so that
1308      * A is the new stream and B the original one.
1309      * The contents of the buffers are transferred to the
1310      * new stream.
1311      */
1312     b = m_alloc(sizeof *b);
1313     memcpy(b, a, sizeof *b );
1314     /* fixme: it is stupid to keep a copy of the name at every level
1315      * but we need the name somewhere because the name known by file_filter
1316      * may have been released when we need the name of the file */
1317     b->real_fname = a->real_fname? m_strdup(a->real_fname):NULL;
1318     /* remove the filter stuff from the new stream */
1319     a->filter = NULL;
1320     a->filter_ov = NULL;
1321     a->filter_ov_owner = 0;
1322     a->filter_eof = 0;
1323     if( a->use == 3 )
1324         a->use = 2;  /* make a write stream from a temp stream */
1325
1326     if( a->use == 2 ) { /* allocate a fresh buffer for the original stream */
1327         b->d.buf = m_alloc( a->d.size );
1328         b->d.len = 0;
1329         b->d.start = 0;
1330     }
1331     else { /* allocate a fresh buffer for the new stream */
1332         a->d.buf = m_alloc( a->d.size );
1333         a->d.len = 0;
1334         a->d.start = 0;
1335     }
1336     /* disable nlimit for the new stream */
1337     a->ntotal = b->ntotal + b->nbytes;
1338     a->nlimit = a->nbytes = 0;
1339     a->nofast &= ~1;
1340     /* make a link from the new stream to the original stream */
1341     a->chain = b;
1342     a->opaque = b->opaque;
1343
1344     /* setup the function on the new stream */
1345     a->filter = f;
1346     a->filter_ov = ov;
1347     a->filter_ov_owner = rel_ov;
1348
1349     a->subno = b->subno + 1;
1350     f( ov, IOBUFCTRL_DESC, NULL, (byte*)&a->desc, &dummy_len );
1351
1352     if( DBG_IOBUF ) {
1353         log_debug("iobuf-%d.%d: push `%s'\n", a->no, a->subno, a->desc );
1354         print_chain( a );
1355     }
1356
1357     /* now we can initialize the new function if we have one */
1358     if( a->filter && (rc = a->filter(a->filter_ov, IOBUFCTRL_INIT, a->chain,
1359                        NULL, &dummy_len)) )
1360         log_error("IOBUFCTRL_INIT failed: %s\n", g10_errstr(rc) );
1361     return rc;
1362 }
1363
1364 /****************
1365  * Remove an i/o filter.
1366  */
1367 static int
1368 pop_filter( IOBUF a, int (*f)(void *opaque, int control,
1369                       IOBUF chain, byte *buf, size_t *len), void *ov )
1370 {
1371     IOBUF b;
1372     size_t dummy_len=0;
1373     int rc=0;
1374
1375     if( a->directfp )
1376         BUG();
1377
1378     if( DBG_IOBUF )
1379         log_debug("iobuf-%d.%d: pop `%s'\n", a->no, a->subno, a->desc );
1380     if( !a->filter ) { /* this is simple */
1381         b = a->chain;
1382         assert(b);
1383         m_free(a->d.buf);
1384         m_free(a->real_fname);
1385         memcpy(a,b, sizeof *a);
1386         m_free(b);
1387         return 0;
1388     }
1389     for(b=a ; b; b = b->chain )
1390         if( b->filter == f && (!ov || b->filter_ov == ov) )
1391             break;
1392     if( !b )
1393         log_bug("pop_filter(): filter function not found\n");
1394
1395     /* flush this stream if it is an output stream */
1396     if( a->use == 2 && (rc=iobuf_flush(b)) ) {
1397         log_error("iobuf_flush failed in pop_filter: %s\n", g10_errstr(rc));
1398         return rc;
1399     }
1400     /* and tell the filter to free it self */
1401     if( b->filter && (rc = b->filter(b->filter_ov, IOBUFCTRL_FREE, b->chain,
1402                        NULL, &dummy_len)) ) {
1403         log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
1404         return rc;
1405     }
1406     if( b->filter_ov && b->filter_ov_owner ) {
1407         m_free( b->filter_ov );
1408         b->filter_ov = NULL;
1409     }
1410
1411
1412     /* and see how to remove it */
1413     if( a == b && !b->chain )
1414         log_bug("can't remove the last filter from the chain\n");
1415     else if( a == b ) { /* remove the first iobuf from the chain */
1416         /* everything from b is copied to a. This is save because
1417          * a flush has been done on the to be removed entry
1418          */
1419         b = a->chain;
1420         m_free(a->d.buf);
1421         m_free(a->real_fname);
1422         memcpy(a,b, sizeof *a);
1423         m_free(b);
1424         if( DBG_IOBUF )
1425            log_debug("iobuf-%d.%d: popped filter\n", a->no, a->subno );
1426     }
1427     else if( !b->chain ) { /* remove the last iobuf from the chain */
1428         log_bug("Ohh jeee, trying to remove a head filter\n");
1429     }
1430     else {  /* remove an intermediate iobuf from the chain */
1431         log_bug("Ohh jeee, trying to remove an intermediate filter\n");
1432     }
1433
1434     return rc;
1435 }
1436
1437
1438 /****************
1439  * read underflow: read more bytes into the buffer and return
1440  * the first byte or -1 on EOF.
1441  */
1442 static int
1443 underflow(IOBUF a)
1444 {
1445     size_t len;
1446     int rc;
1447
1448     assert( a->d.start == a->d.len );
1449     if( a->use == 3 )
1450         return -1; /* EOF because a temp buffer can't do an underflow */
1451
1452     if( a->filter_eof ) {
1453         if( a->chain ) {
1454             IOBUF b = a->chain;
1455             if( DBG_IOBUF )
1456                 log_debug("iobuf-%d.%d: pop `%s' in underflow\n",
1457                                         a->no, a->subno, a->desc );
1458             m_free(a->d.buf);
1459             m_free(a->real_fname);
1460             memcpy(a, b, sizeof *a);
1461             m_free(b);
1462             print_chain(a);
1463         }
1464         else
1465              a->filter_eof = 0;  /* for the top level filter */
1466         if( DBG_IOBUF )
1467             log_debug("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
1468                                                     a->no, a->subno );
1469         return -1; /* return one(!) EOF */
1470     }
1471     if( a->error ) {
1472         if( DBG_IOBUF )
1473             log_debug("iobuf-%d.%d: error\n", a->no, a->subno );
1474         return -1;
1475     }
1476
1477     if( a->directfp ) {
1478         FILE *fp = a->directfp;
1479
1480         len = fread( a->d.buf, 1, a->d.size, fp);
1481         if( len < a->d.size ) {
1482             if( ferror(fp) )
1483                 a->error = 1;
1484         }
1485         a->d.len = len;
1486         a->d.start = 0;
1487         return len? a->d.buf[a->d.start++] : -1;
1488     }
1489
1490
1491     if( a->filter ) {
1492         len = a->d.size;
1493         if( DBG_IOBUF )
1494             log_debug("iobuf-%d.%d: underflow: req=%lu\n",
1495                       a->no, a->subno, (ulong)len );
1496         rc = a->filter( a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
1497                         a->d.buf, &len );
1498         if( DBG_IOBUF ) {
1499             log_debug("iobuf-%d.%d: underflow: got=%lu rc=%d\n",
1500                     a->no, a->subno, (ulong)len, rc );
1501 /*          if( a->no == 1 ) */
1502 /*                   log_hexdump ("     data:", a->d.buf, len); */
1503         }
1504         if( a->use == 1 && rc == -1 ) { /* EOF: we can remove the filter */
1505             size_t dummy_len=0;
1506
1507             /* and tell the filter to free itself */
1508             if( (rc = a->filter(a->filter_ov, IOBUFCTRL_FREE, a->chain,
1509                                NULL, &dummy_len)) )
1510                 log_error("IOBUFCTRL_FREE failed: %s\n", g10_errstr(rc) );
1511             if( a->filter_ov && a->filter_ov_owner ) {
1512                 m_free( a->filter_ov );
1513                 a->filter_ov = NULL;
1514             }
1515             a->filter = NULL;
1516             a->desc = NULL;
1517             a->filter_ov = NULL;
1518             a->filter_eof = 1;
1519             if( !len && a->chain ) {
1520                 IOBUF b = a->chain;
1521                 if( DBG_IOBUF )
1522                     log_debug("iobuf-%d.%d: pop `%s' in underflow (!len)\n",
1523                                                a->no, a->subno, a->desc );
1524                 m_free(a->d.buf);
1525                 m_free(a->real_fname);
1526                 memcpy(a,b, sizeof *a);
1527                 m_free(b);
1528                 print_chain(a);
1529             }
1530         }
1531         else if( rc )
1532             a->error = 1;
1533
1534         if( !len ) {
1535             if( DBG_IOBUF )
1536                 log_debug("iobuf-%d.%d: underflow: eof\n", a->no, a->subno );
1537             return -1;
1538         }
1539         a->d.len = len;
1540         a->d.start = 0;
1541         return a->d.buf[a->d.start++];
1542     }
1543     else {
1544         if( DBG_IOBUF )
1545             log_debug("iobuf-%d.%d: underflow: eof (no filter)\n",
1546                                                     a->no, a->subno );
1547         return -1;  /* no filter; return EOF */
1548     }
1549 }
1550
1551
1552 int
1553 iobuf_flush(IOBUF a)
1554 {
1555     size_t len;
1556     int rc;
1557
1558     if( a->directfp )
1559         return 0;
1560
1561     if( a->use == 3 ) { /* increase the temp buffer */
1562         char *newbuf;
1563         size_t newsize = a->d.size + 8192;
1564
1565         if( DBG_IOBUF )
1566           log_debug("increasing temp iobuf from %lu to %lu\n",
1567                     (ulong)a->d.size, (ulong)newsize );
1568         newbuf = m_alloc( newsize );
1569         memcpy( newbuf, a->d.buf, a->d.len );
1570         m_free(a->d.buf);
1571         a->d.buf = newbuf;
1572         a->d.size = newsize;
1573         return 0;
1574     }
1575     else if( a->use != 2 )
1576         log_bug("flush on non-output iobuf\n");
1577     else if( !a->filter )
1578         log_bug("iobuf_flush: no filter\n");
1579     len = a->d.len;
1580     rc = a->filter( a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len );
1581     if( !rc && len != a->d.len ) {
1582         log_info("iobuf_flush did not write all!\n");
1583         rc = G10ERR_WRITE_FILE;
1584     }
1585     else if( rc )
1586         a->error = 1;
1587     a->d.len = 0;
1588
1589     return rc;
1590 }
1591
1592
1593 /****************
1594  * Read a byte from the iobuf; returns -1 on EOF
1595  */
1596 int
1597 iobuf_readbyte(IOBUF a)
1598 {
1599     int c;
1600
1601     /* nlimit does not work together with unget */
1602     /* nbytes is also not valid! */
1603     if( a->unget.buf ) {
1604         if( a->unget.start < a->unget.len )
1605             return a->unget.buf[a->unget.start++];
1606         m_free(a->unget.buf);
1607         a->unget.buf = NULL;
1608         a->nofast &= ~2;
1609     }
1610
1611     if( a->nlimit && a->nbytes >= a->nlimit )
1612         return -1; /* forced EOF */
1613
1614     if( a->d.start < a->d.len ) {
1615         c = a->d.buf[a->d.start++];
1616     }
1617     else if( (c=underflow(a)) == -1 )
1618         return -1; /* EOF */
1619
1620     a->nbytes++;
1621     return c;
1622 }
1623
1624
1625 int
1626 iobuf_read(IOBUF a, byte *buf, unsigned buflen )
1627 {
1628     int c, n;
1629
1630     if( a->unget.buf || a->nlimit ) {
1631         /* handle special cases */
1632         for(n=0 ; n < buflen; n++ ) {
1633             if( (c = iobuf_readbyte(a)) == -1 ) {
1634                 if( !n )
1635                     return -1; /* eof */
1636                 break;
1637             }
1638             else
1639                 if( buf ) *buf = c;
1640             if( buf ) buf++;
1641         }
1642         return n;
1643     }
1644
1645     n = 0;
1646     do {
1647         if( n < buflen && a->d.start < a->d.len ) {
1648             unsigned size = a->d.len - a->d.start;
1649             if( size > buflen - n )
1650                 size = buflen - n;
1651             if( buf )
1652                 memcpy( buf, a->d.buf + a->d.start, size );
1653             n += size;
1654             a->d.start += size;
1655             if( buf )
1656                 buf += size;
1657         }
1658         if( n < buflen ) {
1659             if( (c=underflow(a)) == -1 ) {
1660                 a->nbytes += n;
1661                 return n? n : -1/*EOF*/;
1662             }
1663             if( buf )
1664                 *buf++ = c;
1665             n++;
1666         }
1667     } while( n < buflen );
1668     a->nbytes += n;
1669     return n;
1670 }
1671
1672
1673 /****************
1674  * Have a look at the iobuf.
1675  * NOTE: This only works in special cases.
1676  */
1677 int
1678 iobuf_peek(IOBUF a, byte *buf, unsigned buflen )
1679 {
1680     int n=0;
1681
1682     if( a->filter_eof )
1683         return -1;
1684
1685     if( !(a->d.start < a->d.len) ) {
1686         if( underflow(a) == -1 )
1687             return -1;
1688         /* and unget this character */
1689         assert(a->d.start == 1);
1690         a->d.start = 0;
1691     }
1692
1693     for(n=0 ; n < buflen && (a->d.start+n) < a->d.len ; n++, buf++ )
1694         *buf = a->d.buf[n];
1695     return n;
1696 }
1697
1698
1699
1700
1701 int
1702 iobuf_writebyte(IOBUF a, unsigned c)
1703 {
1704
1705     if( a->directfp )
1706         BUG();
1707
1708     if( a->d.len == a->d.size )
1709         if( iobuf_flush(a) )
1710             return -1;
1711
1712     assert( a->d.len < a->d.size );
1713     a->d.buf[a->d.len++] = c;
1714     return 0;
1715 }
1716
1717
1718 int
1719 iobuf_write(IOBUF a, byte *buf, unsigned buflen )
1720 {
1721
1722     if( a->directfp )
1723         BUG();
1724
1725     do {
1726         if( buflen && a->d.len < a->d.size ) {
1727             unsigned size = a->d.size - a->d.len;
1728             if( size > buflen ) size = buflen;
1729             memcpy( a->d.buf + a->d.len, buf, size );
1730             buflen -= size;
1731             buf += size;
1732             a->d.len += size;
1733         }
1734         if( buflen ) {
1735             if( iobuf_flush(a) )
1736                 return -1;
1737         }
1738     } while( buflen );
1739     return 0;
1740 }
1741
1742
1743 int
1744 iobuf_writestr(IOBUF a, const char *buf )
1745 {
1746     for( ; *buf; buf++ )
1747         if( iobuf_writebyte(a, *buf) )
1748             return -1;
1749     return 0;
1750 }
1751
1752
1753
1754 /****************
1755  * copy the contents of TEMP to A.
1756  */
1757 int
1758 iobuf_write_temp( IOBUF a, IOBUF temp )
1759 {
1760     while( temp->chain )
1761         pop_filter( temp, temp->filter, NULL );
1762     return iobuf_write(a, temp->d.buf, temp->d.len );
1763 }
1764
1765 /****************
1766  * copy the contents of the temp io stream to BUFFER.
1767  */
1768 size_t
1769 iobuf_temp_to_buffer( IOBUF a, byte *buffer, size_t buflen )
1770 {
1771     size_t n = a->d.len;
1772
1773     if( n > buflen )
1774         n = buflen;
1775     memcpy( buffer, a->d.buf, n );
1776     return n;
1777 }
1778
1779
1780 /****************
1781  * Call this function to terminate processing of the temp stream
1782  * without closing it.  This removes all filters from the stream
1783  * makes sure that iobuf_get_temp_{buffer,length}() returns correct
1784  * values.
1785  */
1786 void
1787 iobuf_flush_temp( IOBUF temp )
1788 {
1789     while( temp->chain )
1790         pop_filter( temp, temp->filter, NULL );
1791 }
1792
1793
1794 /****************
1795  * Set a limit on how many bytes may be read from the input stream A.
1796  * Setting the limit to 0 disables this feature.
1797  */
1798 void
1799 iobuf_set_limit( IOBUF a, off_t nlimit )
1800 {
1801     if( nlimit )
1802         a->nofast |= 1;
1803     else
1804         a->nofast &= ~1;
1805     a->nlimit = nlimit;
1806     a->ntotal += a->nbytes;
1807     a->nbytes = 0;
1808 }
1809
1810
1811
1812 /****************
1813  * Return the length of an open file
1814  */
1815 off_t
1816 iobuf_get_filelength( IOBUF a )
1817 {
1818     struct stat st;
1819
1820     if( a->directfp )  {
1821         FILE *fp = a->directfp;
1822
1823        if( !fstat(fileno(fp), &st) )
1824            return st.st_size;
1825         log_error("fstat() failed: %s\n", strerror(errno) );
1826         return 0;
1827     }
1828
1829     /* Hmmm: file_filter may have already been removed */
1830     for( ; a; a = a->chain )
1831         if( !a->chain && a->filter == file_filter ) {
1832             file_filter_ctx_t *b = a->filter_ov;
1833             FILEP_OR_FD fp = b->fp;
1834
1835 #if defined(HAVE_DOSISH_SYSTEM) && !defined(FILE_FILTER_USES_STDIO)
1836             ulong size;
1837
1838             if  ((size=GetFileSize (fp, NULL)) != 0xffffffff)
1839                 return size;
1840             log_error ("GetFileSize for handle %p failed: %s\n",
1841                        fp, w32_strerror (0));
1842 #else
1843             if( !fstat(my_fileno(fp), &st) )
1844                 return st.st_size;
1845             log_error("fstat() failed: %s\n", strerror(errno) );
1846 #endif
1847             break;
1848         }
1849
1850     return 0;
1851 }
1852
1853
1854 /* Return the file descriptor of the underlying file or -1 if it is
1855    not available.  */
1856 int 
1857 iobuf_get_fd (IOBUF a)
1858 {
1859   if (a->directfp)
1860     return fileno ( (FILE*)a->directfp );
1861
1862   for ( ; a; a = a->chain )
1863     if (!a->chain && a->filter == file_filter)
1864       {
1865         file_filter_ctx_t *b = a->filter_ov;
1866         FILEP_OR_FD fp = b->fp;
1867
1868         return my_fileno (fp);
1869       }
1870
1871   return -1;
1872 }
1873
1874
1875 /****************
1876  * Tell the file position, where the next read will take place
1877  */
1878 off_t
1879 iobuf_tell( IOBUF a )
1880 {
1881     return a->ntotal + a->nbytes;
1882 }
1883
1884
1885 #if !defined(HAVE_FSEEKO) && !defined(fseeko)
1886
1887 #ifdef HAVE_LIMITS_H
1888 # include <limits.h>
1889 #endif
1890 #ifndef LONG_MAX
1891 # define LONG_MAX ((long) ((unsigned long) -1 >> 1))
1892 #endif
1893 #ifndef LONG_MIN
1894 # define LONG_MIN (-1 - LONG_MAX)
1895 #endif
1896
1897 /****************
1898  * A substitute for fseeko, for hosts that don't have it.
1899  */
1900 static int
1901 fseeko( FILE *stream, off_t newpos, int whence )
1902 {
1903     while( newpos != (long) newpos ) {
1904        long pos = newpos < 0 ? LONG_MIN : LONG_MAX;
1905        if( fseek( stream, pos, whence ) != 0 )
1906            return -1;
1907        newpos -= pos;
1908        whence = SEEK_CUR;
1909     }
1910     return fseek( stream, (long)newpos, whence );
1911 }
1912 #endif
1913
1914 /****************
1915  * This is a very limited implementation. It simply discards all internal
1916  * buffering and removes all filters but the first one.
1917  */
1918 int
1919 iobuf_seek( IOBUF a, off_t newpos )
1920 {
1921     file_filter_ctx_t *b = NULL;
1922
1923     if( a->directfp ) {
1924         FILE *fp = a->directfp;
1925         if( fseeko( fp, newpos, SEEK_SET ) ) {
1926             log_error("can't seek: %s\n", strerror(errno) );
1927             return -1;
1928         }
1929         clearerr(fp);
1930     }
1931     else {
1932         for( ; a; a = a->chain ) {
1933             if( !a->chain && a->filter == file_filter ) {
1934                 b = a->filter_ov;
1935                 break;
1936             }
1937         }
1938         if( !a )
1939             return -1;
1940 #ifdef FILE_FILTER_USES_STDIO
1941        if( fseeko( b->fp, newpos, SEEK_SET ) ) {
1942            log_error("can't fseek: %s\n", strerror(errno) );
1943            return -1;
1944        }
1945 #else
1946 #ifdef HAVE_DOSISH_SYSTEM
1947        if (SetFilePointer (b->fp, newpos, NULL, FILE_BEGIN) == 0xffffffff ) {
1948            log_error ("SetFilePointer failed on handle %p: %s\n",
1949                       b->fp, w32_strerror (0));
1950            return -1;
1951        }
1952 #else
1953        if ( lseek (b->fp, newpos, SEEK_SET) == (off_t)-1 ) {
1954            log_error("can't lseek: %s\n", strerror(errno) );
1955            return -1;
1956        }
1957 #endif
1958 #endif
1959     }
1960     a->d.len = 0;   /* discard buffer */
1961     a->d.start = 0;
1962     a->nbytes = 0;
1963     a->nlimit = 0;
1964     a->nofast &= ~1;
1965     a->ntotal = newpos;
1966     a->error = 0;
1967     /* remove filters, but the last */
1968     if( a->chain )
1969         log_debug("pop_filter called in iobuf_seek - please report\n");
1970     while( a->chain )
1971        pop_filter( a, a->filter, NULL );
1972
1973     return 0;
1974 }
1975
1976
1977
1978
1979
1980
1981 /****************
1982  * Retrieve the real filename
1983  */
1984 const char *
1985 iobuf_get_real_fname( IOBUF a )
1986 {
1987     if( a->real_fname )
1988         return a->real_fname;
1989
1990     /* the old solution */
1991     for( ; a; a = a->chain )
1992         if( !a->chain && a->filter == file_filter ) {
1993             file_filter_ctx_t *b = a->filter_ov;
1994             return b->print_only_name? NULL : b->fname;
1995         }
1996
1997     return NULL;
1998 }
1999
2000
2001 /****************
2002  * Retrieve the filename
2003  */
2004 const char *
2005 iobuf_get_fname( IOBUF a )
2006 {
2007     for( ; a; a = a->chain )
2008         if( !a->chain && a->filter == file_filter ) {
2009             file_filter_ctx_t *b = a->filter_ov;
2010             return b->fname;
2011         }
2012
2013     return NULL;
2014 }
2015
2016
2017 /****************
2018  * enable partial block mode as described in the OpenPGP draft.
2019  * LEN is the first length byte on read, but ignored on writes.
2020  */
2021 void
2022 iobuf_set_partial_block_mode( IOBUF a, size_t len )
2023 {
2024     block_filter_ctx_t *ctx = m_alloc_clear( sizeof *ctx );
2025
2026     assert( a->use == 1 || a->use == 2 );
2027     ctx->use = a->use;
2028     if( !len ) {
2029         if( a->use == 1 )
2030             log_debug("pop_filter called in set_partial_block_mode"
2031                                                     " - please report\n");
2032         pop_filter(a, block_filter, NULL );
2033     }
2034     else {
2035         ctx->partial = 1;
2036         ctx->size = 0;
2037         ctx->first_c = len;
2038         iobuf_push_filter(a, block_filter, ctx );
2039     }
2040 }
2041
2042
2043 /****************
2044  * Same as fgets() but if the buffer is too short a larger one will
2045  * be allocated up to some limit *max_length.
2046  * A line is considered a byte stream ending in a LF.
2047  * Returns the length of the line. EOF is indicated by a line of
2048  * length zero. The last LF may be missing due to an EOF.
2049  * is max_length is zero on return, the line has been truncated.
2050  *
2051  * Note: The buffer is allocated with enough space to append a CR,LF,EOL
2052  */
2053 unsigned
2054 iobuf_read_line( IOBUF a, byte **addr_of_buffer,
2055                           unsigned *length_of_buffer, unsigned *max_length )
2056 {
2057     int c;
2058     char *buffer = *addr_of_buffer;
2059     unsigned length = *length_of_buffer;
2060     unsigned nbytes = 0;
2061     unsigned maxlen = *max_length;
2062     char *p;
2063
2064     if( !buffer ) { /* must allocate a new buffer */
2065         length = 256;
2066         buffer = m_alloc( length );
2067         *addr_of_buffer = buffer;
2068         *length_of_buffer = length;
2069     }
2070
2071     length -= 3; /* reserve 3 bytes (cr,lf,eol) */
2072     p = buffer;
2073     while( (c=iobuf_get(a)) != -1 ) {
2074         if( nbytes == length ) { /* increase the buffer */
2075             if( length > maxlen  ) { /* this is out limit */
2076                 /* skip the rest of the line */
2077                 while( c != '\n' && (c=iobuf_get(a)) != -1 )
2078                     ;
2079                 *p++ = '\n'; /* always append a LF (we have reserved space) */
2080                 nbytes++;
2081                 *max_length = 0; /* indicate truncation */
2082                 break;
2083             }
2084             length += 3; /* correct for the reserved byte */
2085             length += length < 1024? 256 : 1024;
2086             buffer = m_realloc( buffer, length );
2087             *addr_of_buffer = buffer;
2088             *length_of_buffer = length;
2089             length -= 3; /* and reserve again */
2090             p = buffer + nbytes;
2091         }
2092         *p++ = c;
2093         nbytes++;
2094         if( c == '\n' )
2095             break;
2096     }
2097     *p = 0; /* make sure the line is a string */
2098
2099     return nbytes;
2100 }
2101
2102 /* This is the non iobuf specific function */
2103 int
2104 iobuf_translate_file_handle ( int fd, int for_write )
2105 {
2106 #ifdef _WIN32
2107     {
2108         int x;
2109             
2110         if  ( fd <= 2 )
2111             return fd; /* do not do this for error, stdin, stdout, stderr */
2112
2113         x = _open_osfhandle ( fd, for_write? 1:0 );
2114         if (x==-1 )
2115             log_error ("failed to translate osfhandle %p\n", (void*)fd );
2116         else {
2117             /*log_info ("_open_osfhandle %p yields %d%s\n",
2118               (void*)fd, x, for_write? " for writing":"" );*/
2119             fd = x;
2120         }
2121     }
2122 #endif
2123     return fd;
2124 }
2125
2126 static int
2127 translate_file_handle ( int fd, int for_write )
2128 {
2129 #ifdef _WIN32
2130 #ifdef FILE_FILTER_USES_STDIO  
2131     fd = iobuf_translate_file_handle (fd, for_write);
2132 #else
2133     {
2134         int x;
2135
2136         if  ( fd == 0 ) 
2137             x = (int)GetStdHandle (STD_INPUT_HANDLE);
2138         else if (fd == 1)    
2139             x = (int)GetStdHandle (STD_OUTPUT_HANDLE);
2140         else if (fd == 2)    
2141             x = (int)GetStdHandle (STD_ERROR_HANDLE);
2142         else
2143             x = fd;
2144
2145         if (x == -1)
2146             log_debug ("GetStdHandle(%d) failed: %s\n",
2147                        fd, w32_strerror (0));
2148
2149         fd = x;
2150     }
2151 #endif
2152 #endif
2153     return fd;
2154 }
2155
2156
2157 void
2158 iobuf_skip_rest(IOBUF a, unsigned long n, int partial)
2159 {
2160     if ( partial ) {
2161         for (;;) {
2162             if (a->nofast || a->d.start >= a->d.len) {
2163                 if (iobuf_readbyte (a) == -1) {
2164                     break;
2165                 }
2166             } else {
2167                 unsigned long count = a->d.len - a->d.start;
2168                 a->nbytes += count;
2169                 a->d.start = a->d.len;
2170             }
2171         }
2172     } else {
2173         unsigned long remaining = n;
2174         while (remaining > 0) {
2175             if (a->nofast || a->d.start >= a->d.len) {
2176                 if (iobuf_readbyte (a) == -1) {
2177                     break;
2178                 }
2179                 --remaining;
2180             } else {
2181                 unsigned long count = a->d.len - a->d.start;
2182                 if (count > remaining) {
2183                     count = remaining;
2184                 }
2185                 a->nbytes += count;
2186                 a->d.start += count;
2187                 remaining -= count;
2188             }
2189         }
2190     }
2191 }