Reworked the posix and w32 exechelpers.
[gnupg.git] / common / iobuf.c
1 /* iobuf.c  -  File Handling for OpenPGP.
2  * Copyright (C) 1998, 1999, 2000, 2001, 2003, 2004, 2006, 2007, 2008,
3  *               2009, 2010  Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 3 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, see <http://www.gnu.org/licenses/>.
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <ctype.h>
27 #include <assert.h>
28 #include <sys/types.h>
29 #include <sys/stat.h>
30 #include <fcntl.h>
31 #include <unistd.h>
32 #ifdef HAVE_W32_SYSTEM
33 # include <windows.h>
34 #endif
35 #ifdef __riscos__
36 # include <kernel.h>
37 # include <swis.h>
38 #endif /* __riscos__ */
39
40 #include <assuan.h>
41
42 #include "util.h"
43 #include "sysutils.h"
44 #include "iobuf.h"
45
46 /*-- Begin configurable part.  --*/
47
48 /* The size of the internal buffers. 
49    NOTE: If you change this value you MUST also adjust the regression
50    test "armored_key_8192" in armor.test! */
51 #define IOBUF_BUFFER_SIZE  8192
52
53 /*-- End configurable part.  --*/
54
55
56 #ifdef HAVE_W32_SYSTEM
57 # ifdef HAVE_W32CE_SYSTEM
58 #  define FD_FOR_STDIN  (es_fileno (es_stdin))
59 #  define FD_FOR_STDOUT (es_fileno (es_stdout))
60 # else
61 #  define FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
62 #  define FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
63 # endif
64 #else /*!HAVE_W32_SYSTEM*/
65 # define FD_FOR_STDIN  (0)
66 # define FD_FOR_STDOUT (1)
67 #endif /*!HAVE_W32_SYSTEM*/
68
69
70 /* The context used by the file filter.  */
71 typedef struct
72 {
73   gnupg_fd_t fp;       /* Open file pointer or handle.  */
74   int keep_open; 
75   int no_cache;
76   int eof_seen;
77   int print_only_name; /* Flags indicating that fname is not a real file.  */
78   char fname[1];       /* Name of the file.  */
79 } file_filter_ctx_t;
80
81
82 /* Object to control the "close cache".  */
83 struct close_cache_s
84 {
85   struct close_cache_s *next;
86   gnupg_fd_t fp;
87   char fname[1];
88 };
89 typedef struct close_cache_s *close_cache_t;
90 static close_cache_t close_cache;
91
92
93
94 #ifdef HAVE_W32_SYSTEM
95 typedef struct
96 {
97   int sock;
98   int keep_open;
99   int no_cache;
100   int eof_seen;
101   int print_only_name;  /* Flag indicating that fname is not a real file.  */
102   char fname[1];        /* Name of the file */
103
104 } sock_filter_ctx_t;
105 #endif /*HAVE_W32_SYSTEM*/
106
107 /* The first partial length header block must be of size 512
108  * to make it easier (and efficienter) we use a min. block size of 512
109  * for all chunks (but the last one) */
110 #define OP_MIN_PARTIAL_CHUNK      512
111 #define OP_MIN_PARTIAL_CHUNK_2POW 9
112
113 /* The context we use for the block filter (used to handle OpenPGP
114    length information header).  */
115 typedef struct
116 {
117   int use;
118   size_t size;
119   size_t count;
120   int partial;     /* 1 = partial header, 2 in last partial packet.  */
121   char *buffer;    /* Used for partial header.  */
122   size_t buflen;   /* Used size of buffer.  */
123   int first_c;     /* First character of a partial header (which is > 0).  */
124   int eof;
125 }
126 block_filter_ctx_t;
127
128
129 /* Global flag to tell whether special file names are enabled.  See
130    gpg.c for an explanation of these file names.  FIXME: it does not
131    belong into the iobuf subsystem. */
132 static int special_names_enabled;
133
134 /* Local prototypes.  */
135 static int underflow (iobuf_t a);
136 static int translate_file_handle (int fd, int for_write);
137
138
139 \f
140 /* This is a replacement for strcmp.  Under W32 it does not
141    distinguish between backslash and slash.  */
142 static int
143 fd_cache_strcmp (const char *a, const char *b)
144 {
145 #ifdef HAVE_DOSISH_SYSTEM
146   for (; *a && *b; a++, b++)
147     {
148       if (*a != *b && !((*a == '/' && *b == '\\') 
149                         || (*a == '\\' && *b == '/')) )
150         break;
151     }
152   return *(const unsigned char *)a - *(const unsigned char *)b;
153 #else
154   return strcmp (a, b);
155 #endif
156 }
157
158 /*
159  * Invalidate (i.e. close) a cached iobuf
160  */
161 static int
162 fd_cache_invalidate (const char *fname)
163 {
164   close_cache_t cc;
165   int rc = 0;
166
167   assert (fname);
168   if (DBG_IOBUF)
169     log_debug ("fd_cache_invalidate (%s)\n", fname);
170
171   for (cc = close_cache; cc; cc = cc->next)
172     {
173       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
174         {
175           if (DBG_IOBUF)
176             log_debug ("                did (%s)\n", cc->fname);
177 #ifdef HAVE_W32_SYSTEM
178           if (!CloseHandle (cc->fp))
179             rc = -1;
180 #else
181           rc = close (cc->fp);
182 #endif
183           cc->fp = GNUPG_INVALID_FD;
184         }
185     }
186   return rc;
187 }
188
189
190 /* Try to sync changes to the disk.  This is to avoid data loss during
191    a system crash in write/close/rename cycle on some file
192    systems.  */
193 static int
194 fd_cache_synchronize (const char *fname)
195 {
196   int err = 0;
197
198 #ifdef HAVE_FSYNC
199   close_cache_t cc;
200
201   if (DBG_IOBUF)
202     log_debug ("fd_cache_synchronize (%s)\n", fname);
203
204   for (cc=close_cache; cc; cc = cc->next )
205     {
206       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
207         {
208           if (DBG_IOBUF)
209             log_debug ("                 did (%s)\n", cc->fname);
210
211           err = fsync (cc->fp);
212         }
213     }
214 #else
215   (void)fname;
216 #endif /*HAVE_FSYNC*/
217
218   return err;
219 }
220
221
222 static gnupg_fd_t
223 direct_open (const char *fname, const char *mode)
224 {
225 #ifdef HAVE_W32_SYSTEM
226   unsigned long da, cd, sm;
227   HANDLE hfile;
228
229   /* Note, that we do not handle all mode combinations */
230
231   /* According to the ReactOS source it seems that open() of the
232    * standard MSW32 crt does open the file in shared mode which is
233    * something new for MS applications ;-)
234    */
235   if (strchr (mode, '+'))
236     {
237       if (fd_cache_invalidate (fname))
238         return GNUPG_INVALID_FD;
239       da = GENERIC_READ | GENERIC_WRITE;
240       cd = OPEN_EXISTING;
241       sm = FILE_SHARE_READ | FILE_SHARE_WRITE;
242     }
243   else if (strchr (mode, 'w'))
244     {
245       if (fd_cache_invalidate (fname))
246         return GNUPG_INVALID_FD;
247       da = GENERIC_WRITE;
248       cd = CREATE_ALWAYS;
249       sm = FILE_SHARE_WRITE;
250     }
251   else
252     {
253       da = GENERIC_READ;
254       cd = OPEN_EXISTING;
255       sm = FILE_SHARE_READ;
256     }
257
258 #ifdef HAVE_W32CE_SYSTEM
259   {
260     wchar_t *wfname = utf8_to_wchar (fname);
261     if (wfname)
262       {
263         hfile = CreateFile (wfname, da, sm, NULL, cd,
264                             FILE_ATTRIBUTE_NORMAL, NULL);
265         xfree (wfname);
266       }
267     else
268       hfile = INVALID_HANDLE_VALUE;
269   }
270 #else
271   hfile = CreateFile (fname, da, sm, NULL, cd, FILE_ATTRIBUTE_NORMAL, NULL);
272 #endif
273   return hfile;
274 #else /*!HAVE_W32_SYSTEM*/
275   int oflag;
276   int cflag = S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH;
277
278   /* Note, that we do not handle all mode combinations */
279   if (strchr (mode, '+'))
280     {
281       if (fd_cache_invalidate (fname))
282         return GNUPG_INVALID_FD;
283       oflag = O_RDWR;
284     }
285   else if (strchr (mode, 'w'))
286     {
287       if (fd_cache_invalidate (fname))
288         return GNUPG_INVALID_FD;
289       oflag = O_WRONLY | O_CREAT | O_TRUNC;
290     }
291   else
292     {
293       oflag = O_RDONLY;
294     }
295 #ifdef O_BINARY
296   if (strchr (mode, 'b'))
297     oflag |= O_BINARY;
298 #endif
299   /* No we need to distinguish between POSIX and RISC OS.  */
300 #ifndef __riscos__
301   return open (fname, oflag, cflag);
302 #else
303   {
304     struct stat buf;
305     int rc = stat (fname, &buf);
306
307     /* Don't allow iobufs on directories */
308     if (!rc && S_ISDIR (buf.st_mode) && !S_ISREG (buf.st_mode))
309       return __set_errno (EISDIR);
310     else
311       return open (fname, oflag, cflag);
312   }
313 #endif
314 #endif /*!HAVE_W32_SYSTEM*/
315 }
316
317
318 /*
319  * Instead of closing an FD we keep it open and cache it for later reuse 
320  * Note that this caching strategy only works if the process does not chdir.
321  */
322 static void
323 fd_cache_close (const char *fname, gnupg_fd_t fp)
324 {
325   close_cache_t cc;
326
327   assert (fp);
328   if (!fname || !*fname)
329     {
330 #ifdef HAVE_W32_SYSTEM
331       CloseHandle (fp);
332 #else
333       close (fp);
334 #endif
335       if (DBG_IOBUF)
336         log_debug ("fd_cache_close (%d) real\n", (int)fp);
337       return;
338     }
339   /* try to reuse a slot */
340   for (cc = close_cache; cc; cc = cc->next)
341     {
342       if (cc->fp == GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
343         {
344           cc->fp = fp;
345           if (DBG_IOBUF)
346             log_debug ("fd_cache_close (%s) used existing slot\n", fname);
347           return;
348         }
349     }
350   /* add a new one */
351   if (DBG_IOBUF)
352     log_debug ("fd_cache_close (%s) new slot created\n", fname);
353   cc = xcalloc (1, sizeof *cc + strlen (fname));
354   strcpy (cc->fname, fname);
355   cc->fp = fp;
356   cc->next = close_cache;
357   close_cache = cc;
358 }
359
360 /*
361  * Do an direct_open on FNAME but first try to reuse one from the fd_cache
362  */
363 static gnupg_fd_t
364 fd_cache_open (const char *fname, const char *mode)
365 {
366   close_cache_t cc;
367
368   assert (fname);
369   for (cc = close_cache; cc; cc = cc->next)
370     {
371       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
372         {
373           gnupg_fd_t fp = cc->fp;
374           cc->fp = GNUPG_INVALID_FD;
375           if (DBG_IOBUF)
376             log_debug ("fd_cache_open (%s) using cached fp\n", fname);
377 #ifdef HAVE_W32_SYSTEM
378           if (SetFilePointer (fp, 0, NULL, FILE_BEGIN) == 0xffffffff)
379             {
380               log_error ("rewind file failed on handle %p: ec=%d\n",
381                          fp, (int) GetLastError ());
382               fp = GNUPG_INVALID_FD;
383             }
384 #else
385           if (lseek (fp, 0, SEEK_SET) == (off_t) - 1)
386             {
387               log_error ("can't rewind fd %d: %s\n", fp, strerror (errno));
388               fp = GNUPG_INVALID_FD;
389             }
390 #endif
391           return fp;
392         }
393     }
394   if (DBG_IOBUF)
395     log_debug ("fd_cache_open (%s) not cached\n", fname);
396   return direct_open (fname, mode);
397 }
398
399
400 /****************
401  * Read data from a file into buf which has an allocated length of *LEN.
402  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
403  * the stream. A is not used.
404  * control may be:
405  * IOBUFCTRL_INIT: called just before the function is linked into the
406  *                 list of function. This can be used to prepare internal
407  *                 data structures of the function.
408  * IOBUFCTRL_FREE: called just before the function is removed from the
409  *                  list of functions and can be used to release internal
410  *                  data structures or close a file etc.
411  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
412  *                  with new stuff. *RET_LEN is the available size of the
413  *                  buffer, and should be set to the number of bytes
414  *                  which were put into the buffer. The function
415  *                  returns 0 to indicate success, -1 on EOF and
416  *                  GPG_ERR_xxxxx for other errors.
417  *
418  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
419  *                  *RET_LAN is the number of bytes in BUF.
420  *
421  * IOBUFCTRL_CANCEL: send to all filters on behalf of iobuf_cancel.  The
422  *                  filter may take appropriate action on this message.
423  */
424 static int
425 file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
426              size_t * ret_len)
427 {
428   file_filter_ctx_t *a = opaque;
429   gnupg_fd_t f = a->fp;
430   size_t size = *ret_len;
431   size_t nbytes = 0;
432   int rc = 0;
433
434   (void)chain; /* Not used.  */
435
436   if (control == IOBUFCTRL_UNDERFLOW)
437     {
438       assert (size); /* We need a buffer.  */
439       if (a->eof_seen)
440         {
441           rc = -1;
442           *ret_len = 0;
443         }
444       else
445         {
446 #ifdef HAVE_W32_SYSTEM
447           unsigned long nread;
448
449           nbytes = 0;
450           if (!ReadFile (f, buf, size, &nread, NULL))
451             {
452               int ec = (int) GetLastError ();
453               if (ec != ERROR_BROKEN_PIPE)
454                 {
455                   rc = gpg_error_from_errno (ec);
456                   log_error ("%s: read error: ec=%d\n", a->fname, ec);
457                 }
458             }
459           else if (!nread)
460             {
461               a->eof_seen = 1;
462               rc = -1;
463             }
464           else
465             {
466               nbytes = nread;
467             }
468
469 #else
470
471           int n;
472
473           nbytes = 0;
474           do
475             {
476               n = read (f, buf, size);
477             }
478           while (n == -1 && errno == EINTR);
479           if (n == -1)
480             {                   /* error */
481               if (errno != EPIPE)
482                 {
483                   rc = gpg_error_from_syserror ();
484                   log_error ("%s: read error: %s\n",
485                              a->fname, strerror (errno));
486                 }
487             }
488           else if (!n)
489             {                   /* eof */
490               a->eof_seen = 1;
491               rc = -1;
492             }
493           else
494             {
495               nbytes = n;
496             }
497 #endif
498           *ret_len = nbytes;
499         }
500     }
501   else if (control == IOBUFCTRL_FLUSH)
502     {
503       if (size)
504         {
505 #ifdef HAVE_W32_SYSTEM
506           byte *p = buf;
507           unsigned long n;
508
509           nbytes = size;
510           do
511             {
512               if (size && !WriteFile (f, p, nbytes, &n, NULL))
513                 {
514                   int ec = (int) GetLastError ();
515                   rc = gpg_error_from_errno (ec);
516                   log_error ("%s: write error: ec=%d\n", a->fname, ec);
517                   break;
518                 }
519               p += n;
520               nbytes -= n;
521             }
522           while (nbytes);
523           nbytes = p - buf;
524 #else
525           byte *p = buf;
526           int n;
527
528           nbytes = size;
529           do
530             {
531               do
532                 {
533                   n = write (f, p, nbytes);
534                 }
535               while (n == -1 && errno == EINTR);
536               if (n > 0)
537                 {
538                   p += n;
539                   nbytes -= n;
540                 }
541             }
542           while (n != -1 && nbytes);
543           if (n == -1)
544             {
545               rc = gpg_error_from_syserror ();
546               log_error ("%s: write error: %s\n", a->fname, strerror (errno));
547             }
548           nbytes = p - buf;
549 #endif
550         }
551       *ret_len = nbytes;
552     }
553   else if (control == IOBUFCTRL_INIT)
554     {
555       a->eof_seen = 0;
556       a->keep_open = 0;
557       a->no_cache = 0;
558     }
559   else if (control == IOBUFCTRL_DESC)
560     {
561       *(char **) buf = "file_filter(fd)";
562     }
563   else if (control == IOBUFCTRL_FREE)
564     {
565       if (f != FD_FOR_STDIN && f != FD_FOR_STDOUT)
566         {
567           if (DBG_IOBUF)
568             log_debug ("%s: close fd/handle %d\n", a->fname, FD2INT (f));
569           if (!a->keep_open)
570             fd_cache_close (a->no_cache ? NULL : a->fname, f);
571         }
572       f = GNUPG_INVALID_FD;
573       xfree (a); /* We can free our context now. */
574     }
575
576   return rc;
577 }
578
579
580 #ifdef HAVE_W32_SYSTEM
581 /* Because network sockets are special objects under Lose32 we have to
582    use a dedicated filter for them. */
583 static int
584 sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
585              size_t * ret_len)
586 {
587   sock_filter_ctx_t *a = opaque;
588   size_t size = *ret_len;
589   size_t nbytes = 0;
590   int rc = 0;
591
592   (void)chain;
593
594   if (control == IOBUFCTRL_UNDERFLOW)
595     {
596       assert (size);            /* need a buffer */
597       if (a->eof_seen)
598         {
599           rc = -1;
600           *ret_len = 0;
601         }
602       else
603         {
604           int nread;
605
606           nread = recv (a->sock, buf, size, 0);
607           if (nread == SOCKET_ERROR)
608             {
609               int ec = (int) WSAGetLastError ();
610               rc = gpg_error_from_errno (ec);
611               log_error ("socket read error: ec=%d\n", ec);
612             }
613           else if (!nread)
614             {
615               a->eof_seen = 1;
616               rc = -1;
617             }
618           else
619             {
620               nbytes = nread;
621             }
622           *ret_len = nbytes;
623         }
624     }
625   else if (control == IOBUFCTRL_FLUSH)
626     {
627       if (size)
628         {
629           byte *p = buf;
630           int n;
631
632           nbytes = size;
633           do
634             {
635               n = send (a->sock, p, nbytes, 0);
636               if (n == SOCKET_ERROR)
637                 {
638                   int ec = (int) WSAGetLastError ();
639                   rc = gpg_error_from_errno (ec);
640                   log_error ("socket write error: ec=%d\n", ec);
641                   break;
642                 }
643               p += n;
644               nbytes -= n;
645             }
646           while (nbytes);
647           nbytes = p - buf;
648         }
649       *ret_len = nbytes;
650     }
651   else if (control == IOBUFCTRL_INIT)
652     {
653       a->eof_seen = 0;
654       a->keep_open = 0;
655       a->no_cache = 0;
656     }
657   else if (control == IOBUFCTRL_DESC)
658     {
659       *(char **) buf = "sock_filter";
660     }
661   else if (control == IOBUFCTRL_FREE)
662     {
663       if (!a->keep_open)
664         closesocket (a->sock);
665       xfree (a);                /* we can free our context now */
666     }
667   return rc;
668 }
669 #endif /*HAVE_W32_SYSTEM*/
670
671 /****************
672  * This is used to implement the block write mode.
673  * Block reading is done on a byte by byte basis in readbyte(),
674  * without a filter
675  */
676 static int
677 block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
678               size_t * ret_len)
679 {
680   block_filter_ctx_t *a = opaque;
681   char *buf = (char *)buffer;
682   size_t size = *ret_len;
683   int c, needed, rc = 0;
684   char *p;
685
686   if (control == IOBUFCTRL_UNDERFLOW)
687     {
688       size_t n = 0;
689
690       p = buf;
691       assert (size);            /* need a buffer */
692       if (a->eof)               /* don't read any further */
693         rc = -1;
694       while (!rc && size)
695         {
696           if (!a->size)
697             {                   /* get the length bytes */
698               if (a->partial == 2)
699                 {
700                   a->eof = 1;
701                   if (!n)
702                     rc = -1;
703                   break;
704                 }
705               else if (a->partial)
706                 {
707                   /* These OpenPGP introduced huffman like encoded length
708                    * bytes are really a mess :-( */
709                   if (a->first_c)
710                     {
711                       c = a->first_c;
712                       a->first_c = 0;
713                     }
714                   else if ((c = iobuf_get (chain)) == -1)
715                     {
716                       log_error ("block_filter: 1st length byte missing\n");
717                       rc = GPG_ERR_BAD_DATA;
718                       break;
719                     }
720                   if (c < 192)
721                     {
722                       a->size = c;
723                       a->partial = 2;
724                       if (!a->size)
725                         {
726                           a->eof = 1;
727                           if (!n)
728                             rc = -1;
729                           break;
730                         }
731                     }
732                   else if (c < 224)
733                     {
734                       a->size = (c - 192) * 256;
735                       if ((c = iobuf_get (chain)) == -1)
736                         {
737                           log_error
738                             ("block_filter: 2nd length byte missing\n");
739                           rc = GPG_ERR_BAD_DATA;
740                           break;
741                         }
742                       a->size += c + 192;
743                       a->partial = 2;
744                       if (!a->size)
745                         {
746                           a->eof = 1;
747                           if (!n)
748                             rc = -1;
749                           break;
750                         }
751                     }
752                   else if (c == 255)
753                     {
754                       a->size = iobuf_get (chain) << 24;
755                       a->size |= iobuf_get (chain) << 16;
756                       a->size |= iobuf_get (chain) << 8;
757                       if ((c = iobuf_get (chain)) == -1)
758                         {
759                           log_error ("block_filter: invalid 4 byte length\n");
760                           rc = GPG_ERR_BAD_DATA;
761                           break;
762                         }
763                       a->size |= c;
764                       a->partial = 2;
765                       if (!a->size)
766                         {
767                           a->eof = 1;
768                           if (!n)
769                             rc = -1;
770                           break;
771                         }
772                     }
773                   else
774                     { /* Next partial body length. */
775                       a->size = 1 << (c & 0x1f);
776                     }
777                   /*  log_debug("partial: ctx=%p c=%02x size=%u\n", a, c, a->size); */
778                 }
779               else
780                 BUG (); 
781             }
782
783           while (!rc && size && a->size)
784             {
785               needed = size < a->size ? size : a->size;
786               c = iobuf_read (chain, p, needed);
787               if (c < needed)
788                 {
789                   if (c == -1)
790                     c = 0;
791                   log_error
792                     ("block_filter %p: read error (size=%lu,a->size=%lu)\n",
793                      a, (ulong) size + c, (ulong) a->size + c);
794                   rc = GPG_ERR_BAD_DATA;
795                 }
796               else
797                 {
798                   size -= c;
799                   a->size -= c;
800                   p += c;
801                   n += c;
802                 }
803             }
804         }
805       *ret_len = n;
806     }
807   else if (control == IOBUFCTRL_FLUSH)
808     {
809       if (a->partial)
810         {                       /* the complicated openpgp scheme */
811           size_t blen, n, nbytes = size + a->buflen;
812
813           assert (a->buflen <= OP_MIN_PARTIAL_CHUNK);
814           if (nbytes < OP_MIN_PARTIAL_CHUNK)
815             {
816               /* not enough to write a partial block out; so we store it */
817               if (!a->buffer)
818                 a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
819               memcpy (a->buffer + a->buflen, buf, size);
820               a->buflen += size;
821             }
822           else
823             {                   /* okay, we can write out something */
824               /* do this in a loop to use the most efficient block lengths */
825               p = buf;
826               do
827                 {
828                   /* find the best matching block length - this is limited
829                    * by the size of the internal buffering */
830                   for (blen = OP_MIN_PARTIAL_CHUNK * 2,
831                        c = OP_MIN_PARTIAL_CHUNK_2POW + 1; blen <= nbytes;
832                        blen *= 2, c++)
833                     ;
834                   blen /= 2;
835                   c--;
836                   /* write the partial length header */
837                   assert (c <= 0x1f);   /*;-) */
838                   c |= 0xe0;
839                   iobuf_put (chain, c);
840                   if ((n = a->buflen))
841                     {           /* write stuff from the buffer */
842                       assert (n == OP_MIN_PARTIAL_CHUNK);
843                       if (iobuf_write (chain, a->buffer, n))
844                         rc = gpg_error_from_syserror ();
845                       a->buflen = 0;
846                       nbytes -= n;
847                     }
848                   if ((n = nbytes) > blen)
849                     n = blen;
850                   if (n && iobuf_write (chain, p, n))
851                     rc = gpg_error_from_syserror ();
852                   p += n;
853                   nbytes -= n;
854                 }
855               while (!rc && nbytes >= OP_MIN_PARTIAL_CHUNK);
856               /* store the rest in the buffer */
857               if (!rc && nbytes)
858                 {
859                   assert (!a->buflen);
860                   assert (nbytes < OP_MIN_PARTIAL_CHUNK);
861                   if (!a->buffer)
862                     a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
863                   memcpy (a->buffer, p, nbytes);
864                   a->buflen = nbytes;
865                 }
866             }
867         }
868       else
869         BUG ();
870     }
871   else if (control == IOBUFCTRL_INIT)
872     {
873       if (DBG_IOBUF)
874         log_debug ("init block_filter %p\n", a);
875       if (a->partial)
876         a->count = 0;
877       else if (a->use == 1)
878         a->count = a->size = 0;
879       else
880         a->count = a->size;     /* force first length bytes */
881       a->eof = 0;
882       a->buffer = NULL;
883       a->buflen = 0;
884     }
885   else if (control == IOBUFCTRL_DESC)
886     {
887       *(char **) buf = "block_filter";
888     }
889   else if (control == IOBUFCTRL_FREE)
890     {
891       if (a->use == 2)
892         {                       /* write the end markers */
893           if (a->partial)
894             {
895               u32 len;
896               /* write out the remaining bytes without a partial header
897                * the length of this header may be 0 - but if it is
898                * the first block we are not allowed to use a partial header
899                * and frankly we can't do so, because this length must be
900                * a power of 2. This is _really_ complicated because we
901                * have to check the possible length of a packet prior
902                * to it's creation: a chain of filters becomes complicated
903                * and we need a lot of code to handle compressed packets etc.
904                *   :-(((((((
905                */
906               /* construct header */
907               len = a->buflen;
908               /*log_debug("partial: remaining length=%u\n", len ); */
909               if (len < 192)
910                 rc = iobuf_put (chain, len);
911               else if (len < 8384)
912                 {
913                   if (!(rc = iobuf_put (chain, ((len - 192) / 256) + 192)))
914                     rc = iobuf_put (chain, ((len - 192) % 256));
915                 }
916               else
917                 {               /* use a 4 byte header */
918                   if (!(rc = iobuf_put (chain, 0xff)))
919                     if (!(rc = iobuf_put (chain, (len >> 24) & 0xff)))
920                       if (!(rc = iobuf_put (chain, (len >> 16) & 0xff)))
921                         if (!(rc = iobuf_put (chain, (len >> 8) & 0xff)))
922                           rc = iobuf_put (chain, len & 0xff);
923                 }
924               if (!rc && len)
925                 rc = iobuf_write (chain, a->buffer, len);
926               if (rc)
927                 {
928                   log_error ("block_filter: write error: %s\n",
929                              strerror (errno));
930                   rc = gpg_error_from_syserror ();
931                 }
932               xfree (a->buffer);
933               a->buffer = NULL;
934               a->buflen = 0;
935             }
936           else
937             BUG ();
938         }
939       else if (a->size)
940         {
941           log_error ("block_filter: pending bytes!\n");
942         }
943       if (DBG_IOBUF)
944         log_debug ("free block_filter %p\n", a);
945       xfree (a);                /* we can free our context now */
946     }
947
948   return rc;
949 }
950
951
952 static void
953 print_chain (iobuf_t a)
954 {
955   if (!DBG_IOBUF)
956     return;
957   for (; a; a = a->chain)
958     {
959       size_t dummy_len = 0;
960       const char *desc = "[none]";
961
962       if (a->filter)
963         a->filter (a->filter_ov, IOBUFCTRL_DESC, NULL,
964                    (byte *) & desc, &dummy_len);
965
966       log_debug ("iobuf chain: %d.%d `%s' filter_eof=%d start=%d len=%d\n",
967                  a->no, a->subno, desc?desc:"?", a->filter_eof,
968                  (int) a->d.start, (int) a->d.len);
969     }
970 }
971
972 int
973 iobuf_print_chain (iobuf_t a)
974 {
975   print_chain (a);
976   return 0;
977 }
978
979 /****************
980  * Allocate a new io buffer, with no function assigned.
981  * Use is the desired usage: 1 for input, 2 for output, 3 for temp buffer
982  * BUFSIZE is a suggested buffer size.
983  */
984 iobuf_t
985 iobuf_alloc (int use, size_t bufsize)
986 {
987   iobuf_t a;
988   static int number = 0;
989
990   a = xcalloc (1, sizeof *a);
991   a->use = use;
992   a->d.buf = xmalloc (bufsize);
993   a->d.size = bufsize;
994   a->no = ++number;
995   a->subno = 0;
996   a->opaque = NULL;
997   a->real_fname = NULL;
998   return a;
999 }
1000
1001 int
1002 iobuf_close (iobuf_t a)
1003 {
1004   iobuf_t a2;
1005   size_t dummy_len = 0;
1006   int rc = 0;
1007
1008   if (a && a->directfp)
1009     {
1010       fclose (a->directfp);
1011       xfree (a->real_fname);
1012       if (DBG_IOBUF)
1013         log_debug ("iobuf_close -> %p\n", a->directfp);
1014       return 0;
1015     }
1016
1017   for (; a && !rc; a = a2)
1018     {
1019       a2 = a->chain;
1020       if (a->use == 2 && (rc = iobuf_flush (a)))
1021         log_error ("iobuf_flush failed on close: %s\n", gpg_strerror (rc));
1022
1023       if (DBG_IOBUF)
1024         log_debug ("iobuf-%d.%d: close `%s'\n", a->no, a->subno,
1025                    a->desc?a->desc:"?");
1026       if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_FREE,
1027                                         a->chain, NULL, &dummy_len)))
1028         log_error ("IOBUFCTRL_FREE failed on close: %s\n", gpg_strerror (rc));
1029       xfree (a->real_fname);
1030       if (a->d.buf)
1031         {
1032           memset (a->d.buf, 0, a->d.size);      /* erase the buffer */
1033           xfree (a->d.buf);
1034         }
1035       xfree (a);
1036     }
1037   return rc;
1038 }
1039
1040 int
1041 iobuf_cancel (iobuf_t a)
1042 {
1043   const char *s;
1044   iobuf_t a2;
1045   int rc;
1046 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1047   char *remove_name = NULL;
1048 #endif
1049
1050   if (a && a->use == 2)
1051     {
1052       s = iobuf_get_real_fname (a);
1053       if (s && *s)
1054         {
1055 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1056           remove_name = xstrdup (s);
1057 #else
1058           remove (s);
1059 #endif
1060         }
1061     }
1062
1063   /* send a cancel message to all filters */
1064   for (a2 = a; a2; a2 = a2->chain)
1065     {
1066       size_t dummy;
1067       if (a2->filter)
1068         a2->filter (a2->filter_ov, IOBUFCTRL_CANCEL, a2->chain, NULL, &dummy);
1069     }
1070
1071   rc = iobuf_close (a);
1072 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1073   if (remove_name)
1074     {
1075       /* Argg, MSDOS does not allow to remove open files.  So
1076        * we have to do it here */
1077 #ifdef HAVE_W32CE_SYSTEM
1078       wchar_t *wtmp = utf8_to_wchar (remove_name);
1079       if (wtmp)
1080         DeleteFile (wtmp);
1081       xfree (wtmp);
1082 #else
1083       remove (remove_name);
1084 #endif
1085       xfree (remove_name);
1086     }
1087 #endif
1088   return rc;
1089 }
1090
1091
1092 /****************
1093  * create a temporary iobuf, which can be used to collect stuff
1094  * in an iobuf and later be written by iobuf_write_temp() to another
1095  * iobuf.
1096  */
1097 iobuf_t
1098 iobuf_temp ()
1099 {
1100   iobuf_t a;
1101
1102   a = iobuf_alloc (3, IOBUF_BUFFER_SIZE);
1103
1104   return a;
1105 }
1106
1107 iobuf_t
1108 iobuf_temp_with_content (const char *buffer, size_t length)
1109 {
1110   iobuf_t a;
1111
1112   a = iobuf_alloc (3, length);
1113   memcpy (a->d.buf, buffer, length);
1114   a->d.len = length;
1115
1116   return a;
1117 }
1118
1119 void
1120 iobuf_enable_special_filenames (int yes)
1121 {
1122   special_names_enabled = yes;
1123 }
1124
1125
1126 /* See whether the filename has the form "-&nnnn", where n is a
1127    non-zero number.  Returns this number or -1 if it is not the
1128    case.  */
1129 static int
1130 check_special_filename (const char *fname)
1131 {
1132   if (special_names_enabled && fname && *fname == '-' && fname[1] == '&')
1133     {
1134       int i;
1135
1136       fname += 2;
1137       for (i = 0; digitp (fname+i); i++)
1138         ;
1139       if (!fname[i])
1140         return atoi (fname);
1141     }
1142   return -1;
1143 }
1144
1145
1146 /* This fucntion returns true if FNAME indicates a PIPE (stdout or
1147    stderr) or a special file name if those are enabled. */
1148 int
1149 iobuf_is_pipe_filename (const char *fname)
1150 {
1151   if (!fname || (*fname=='-' && !fname[1]) )
1152     return 1;
1153   return check_special_filename (fname) != -1;
1154 }
1155
1156
1157 /* Either open the file specified by the file descriptor FD or - if FD
1158    is -1, the file with name FNAME.  As of now MODE is assumed to be
1159    "rb" if FNAME is used.  In contrast to iobuf_fdopen the file
1160    descriptor FD will not be closed during an iobuf_close.  */
1161 iobuf_t
1162 iobuf_open_fd_or_name (gnupg_fd_t fd, const char *fname, const char *mode)
1163 {
1164   iobuf_t a;
1165
1166   if (fd == GNUPG_INVALID_FD)
1167     a = iobuf_open (fname);
1168   else
1169     a = iobuf_fdopen_nc (FD2INT(fd), mode);
1170   return a;
1171 }
1172
1173
1174 /****************
1175  * Create a head iobuf for reading from a file
1176  * returns: NULL if an error occures and sets errno
1177  */
1178 iobuf_t
1179 iobuf_open (const char *fname)
1180 {
1181   iobuf_t a;
1182   gnupg_fd_t fp;
1183   file_filter_ctx_t *fcx;
1184   size_t len;
1185   int print_only = 0;
1186   int fd;
1187
1188   if (!fname || (*fname == '-' && !fname[1]))
1189     {
1190       fp = FD_FOR_STDIN;
1191       fname = "[stdin]";
1192       print_only = 1;
1193     }
1194   else if ((fd = check_special_filename (fname)) != -1)
1195     return iobuf_fdopen (translate_file_handle (fd, 0), "rb");
1196   else if ((fp = fd_cache_open (fname, "rb")) == GNUPG_INVALID_FD)
1197     return NULL;
1198   a = iobuf_alloc (1, IOBUF_BUFFER_SIZE);
1199   fcx = xmalloc (sizeof *fcx + strlen (fname));
1200   fcx->fp = fp;
1201   fcx->print_only_name = print_only;
1202   strcpy (fcx->fname, fname);
1203   if (!print_only)
1204     a->real_fname = xstrdup (fname);
1205   a->filter = file_filter;
1206   a->filter_ov = fcx;
1207   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1208   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1209   if (DBG_IOBUF)
1210     log_debug ("iobuf-%d.%d: open `%s' fd=%d\n",
1211                a->no, a->subno, fname, FD2INT (fcx->fp));
1212
1213   return a;
1214 }
1215
1216
1217 static iobuf_t
1218 do_iobuf_fdopen (int fd, const char *mode, int keep_open)
1219 {
1220   iobuf_t a;
1221   gnupg_fd_t fp;
1222   file_filter_ctx_t *fcx;
1223   size_t len;
1224
1225   fp = INT2FD (fd);
1226
1227   a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, IOBUF_BUFFER_SIZE);
1228   fcx = xmalloc (sizeof *fcx + 20);
1229   fcx->fp = fp;
1230   fcx->print_only_name = 1;
1231   fcx->keep_open = keep_open;
1232   sprintf (fcx->fname, "[fd %d]", fd);
1233   a->filter = file_filter;
1234   a->filter_ov = fcx;
1235   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1236   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1237   if (DBG_IOBUF)
1238     log_debug ("iobuf-%d.%d: fdopen%s `%s'\n",
1239                a->no, a->subno, keep_open? "_nc":"", fcx->fname);
1240   iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
1241   return a;
1242 }
1243
1244
1245 /* Create a head iobuf for reading or writing from/to a file Returns:
1246  * NULL and sets ERRNO if an error occured.  */
1247 iobuf_t
1248 iobuf_fdopen (int fd, const char *mode)
1249 {
1250   return do_iobuf_fdopen (fd, mode, 0);
1251 }
1252
1253 iobuf_t
1254 iobuf_fdopen_nc (int fd, const char *mode)
1255 {
1256   return do_iobuf_fdopen (fd, mode, 1);
1257 }
1258
1259
1260 iobuf_t
1261 iobuf_sockopen (int fd, const char *mode)
1262 {
1263   iobuf_t a;
1264 #ifdef HAVE_W32_SYSTEM
1265   sock_filter_ctx_t *scx;
1266   size_t len;
1267
1268   a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, IOBUF_BUFFER_SIZE);
1269   scx = xmalloc (sizeof *scx + 25);
1270   scx->sock = fd;
1271   scx->print_only_name = 1;
1272   sprintf (scx->fname, "[sock %d]", fd);
1273   a->filter = sock_filter;
1274   a->filter_ov = scx;
1275   sock_filter (scx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1276   sock_filter (scx, IOBUFCTRL_INIT, NULL, NULL, &len);
1277   if (DBG_IOBUF)
1278     log_debug ("iobuf-%d.%d: sockopen `%s'\n", a->no, a->subno, scx->fname);
1279   iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
1280 #else
1281   a = iobuf_fdopen (fd, mode);
1282 #endif
1283   return a;
1284 }
1285
1286 /****************
1287  * create an iobuf for writing to a file; the file will be created.
1288  */
1289 iobuf_t
1290 iobuf_create (const char *fname)
1291 {
1292   iobuf_t a;
1293   gnupg_fd_t fp;
1294   file_filter_ctx_t *fcx;
1295   size_t len;
1296   int print_only = 0;
1297   int fd;
1298
1299   if (!fname || (*fname == '-' && !fname[1]))
1300     {
1301       fp = FD_FOR_STDOUT;
1302       fname = "[stdout]";
1303       print_only = 1;
1304     }
1305   else if ((fd = check_special_filename (fname)) != -1)
1306     return iobuf_fdopen (translate_file_handle (fd, 1), "wb");
1307   else if ((fp = direct_open (fname, "wb")) == GNUPG_INVALID_FD)
1308     return NULL;
1309   a = iobuf_alloc (2, IOBUF_BUFFER_SIZE);
1310   fcx = xmalloc (sizeof *fcx + strlen (fname));
1311   fcx->fp = fp;
1312   fcx->print_only_name = print_only;
1313   strcpy (fcx->fname, fname);
1314   if (!print_only)
1315     a->real_fname = xstrdup (fname);
1316   a->filter = file_filter;
1317   a->filter_ov = fcx;
1318   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1319   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1320   if (DBG_IOBUF)
1321     log_debug ("iobuf-%d.%d: create `%s'\n", a->no, a->subno,
1322                a->desc?a->desc:"?");
1323
1324   return a;
1325 }
1326
1327
1328 iobuf_t
1329 iobuf_openrw (const char *fname)
1330 {
1331   iobuf_t a;
1332   gnupg_fd_t fp;
1333   file_filter_ctx_t *fcx;
1334   size_t len;
1335
1336   if (!fname)
1337     return NULL;
1338   else if ((fp = direct_open (fname, "r+b")) == GNUPG_INVALID_FD)
1339     return NULL;
1340   a = iobuf_alloc (2, IOBUF_BUFFER_SIZE);
1341   fcx = xmalloc (sizeof *fcx + strlen (fname));
1342   fcx->fp = fp;
1343   strcpy (fcx->fname, fname);
1344   a->real_fname = xstrdup (fname);
1345   a->filter = file_filter;
1346   a->filter_ov = fcx;
1347   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1348   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1349   if (DBG_IOBUF)
1350     log_debug ("iobuf-%d.%d: openrw `%s'\n", a->no, a->subno,
1351                a->desc?a->desc:"?");
1352
1353   return a;
1354 }
1355
1356
1357 int
1358 iobuf_ioctl (iobuf_t a, iobuf_ioctl_t cmd, int intval, void *ptrval)
1359 {
1360   if (cmd == IOBUF_IOCTL_KEEP_OPEN)
1361     {                           
1362       /* Keep system filepointer/descriptor open.  This was used in
1363          the past by http.c; this ioctl is not directly used
1364          anymore.  */
1365       if (DBG_IOBUF)
1366         log_debug ("iobuf-%d.%d: ioctl `%s' keep_open=%d\n",
1367                    a ? a->no : -1, a ? a->subno : -1, 
1368                    a && a->desc ? a->desc : "?",
1369                    intval);
1370       for (; a; a = a->chain)
1371         if (!a->chain && a->filter == file_filter)
1372           {
1373             file_filter_ctx_t *b = a->filter_ov;
1374             b->keep_open = intval;
1375             return 0;
1376           }
1377 #ifdef HAVE_W32_SYSTEM
1378         else if (!a->chain && a->filter == sock_filter)
1379           {
1380             sock_filter_ctx_t *b = a->filter_ov;
1381             b->keep_open = intval;
1382             return 0;
1383           }
1384 #endif
1385     }
1386   else if (cmd == IOBUF_IOCTL_INVALIDATE_CACHE)
1387     {
1388       if (DBG_IOBUF)
1389         log_debug ("iobuf-*.*: ioctl `%s' invalidate\n",
1390                    ptrval ? (char *) ptrval : "?");
1391       if (!a && !intval && ptrval)
1392         {
1393           if (fd_cache_invalidate (ptrval))
1394             return -1;
1395           return 0;
1396         }
1397     }
1398   else if (cmd == IOBUF_IOCTL_NO_CACHE)
1399     {
1400       if (DBG_IOBUF)
1401         log_debug ("iobuf-%d.%d: ioctl `%s' no_cache=%d\n",
1402                    a ? a->no : -1, a ? a->subno : -1, 
1403                    a && a->desc? a->desc : "?",
1404                    intval);
1405       for (; a; a = a->chain)
1406         if (!a->chain && a->filter == file_filter)
1407           {
1408             file_filter_ctx_t *b = a->filter_ov;
1409             b->no_cache = intval;
1410             return 0;
1411           }
1412 #ifdef HAVE_W32_SYSTEM
1413         else if (!a->chain && a->filter == sock_filter)
1414           {
1415             sock_filter_ctx_t *b = a->filter_ov;
1416             b->no_cache = intval;
1417             return 0;
1418           }
1419 #endif
1420     }
1421   else if (cmd == IOBUF_IOCTL_FSYNC)
1422     {
1423       /* Do a fsync on the open fd and return any errors to the caller
1424          of iobuf_ioctl.  Note that we work on a file name here. */
1425       if (DBG_IOBUF)
1426         log_debug ("iobuf-*.*: ioctl `%s' fsync\n",
1427                    ptrval? (const char*)ptrval:"<null>");
1428
1429         if (!a && !intval && ptrval)
1430           {
1431             return fd_cache_synchronize (ptrval);
1432           }
1433       }
1434
1435
1436   return -1;
1437 }
1438
1439
1440 /****************
1441  * Register an i/o filter.
1442  */
1443 int
1444 iobuf_push_filter (iobuf_t a,
1445                    int (*f) (void *opaque, int control,
1446                              iobuf_t chain, byte * buf, size_t * len),
1447                    void *ov)
1448 {
1449   return iobuf_push_filter2 (a, f, ov, 0);
1450 }
1451
1452 int
1453 iobuf_push_filter2 (iobuf_t a,
1454                     int (*f) (void *opaque, int control,
1455                               iobuf_t chain, byte * buf, size_t * len),
1456                     void *ov, int rel_ov)
1457 {
1458   iobuf_t b;
1459   size_t dummy_len = 0;
1460   int rc = 0;
1461
1462   if (a->directfp)
1463     BUG ();
1464
1465   if (a->use == 2 && (rc = iobuf_flush (a)))
1466     return rc;
1467   /* make a copy of the current stream, so that
1468    * A is the new stream and B the original one.
1469    * The contents of the buffers are transferred to the
1470    * new stream.
1471    */
1472   b = xmalloc (sizeof *b);
1473   memcpy (b, a, sizeof *b);
1474   /* fixme: it is stupid to keep a copy of the name at every level
1475    * but we need the name somewhere because the name known by file_filter
1476    * may have been released when we need the name of the file */
1477   b->real_fname = a->real_fname ? xstrdup (a->real_fname) : NULL;
1478   /* remove the filter stuff from the new stream */
1479   a->filter = NULL;
1480   a->filter_ov = NULL;
1481   a->filter_ov_owner = 0;
1482   a->filter_eof = 0;
1483   if (a->use == 3)
1484     a->use = 2;                 /* make a write stream from a temp stream */
1485
1486   if (a->use == 2)
1487     {                           /* allocate a fresh buffer for the
1488                                    original stream */
1489       b->d.buf = xmalloc (a->d.size);
1490       b->d.len = 0;
1491       b->d.start = 0;
1492     }
1493   else
1494     {                           /* allocate a fresh buffer for the new
1495                                    stream */
1496       a->d.buf = xmalloc (a->d.size);
1497       a->d.len = 0;
1498       a->d.start = 0;
1499     }
1500   /* disable nlimit for the new stream */
1501   a->ntotal = b->ntotal + b->nbytes;
1502   a->nlimit = a->nbytes = 0;
1503   a->nofast &= ~1;
1504   /* make a link from the new stream to the original stream */
1505   a->chain = b;
1506   a->opaque = b->opaque;
1507
1508   /* setup the function on the new stream */
1509   a->filter = f;
1510   a->filter_ov = ov;
1511   a->filter_ov_owner = rel_ov;
1512
1513   a->subno = b->subno + 1;
1514   f (ov, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &dummy_len);
1515
1516   if (DBG_IOBUF)
1517     {
1518       log_debug ("iobuf-%d.%d: push `%s'\n", a->no, a->subno, 
1519                  a->desc?a->desc:"?");
1520       print_chain (a);
1521     }
1522
1523   /* now we can initialize the new function if we have one */
1524   if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_INIT, a->chain,
1525                                     NULL, &dummy_len)))
1526     log_error ("IOBUFCTRL_INIT failed: %s\n", gpg_strerror (rc));
1527   return rc;
1528 }
1529
1530 /****************
1531  * Remove an i/o filter.
1532  */
1533 static int
1534 pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
1535                                iobuf_t chain, byte * buf, size_t * len),
1536             void *ov)
1537 {
1538   iobuf_t b;
1539   size_t dummy_len = 0;
1540   int rc = 0;
1541
1542   if (a->directfp)
1543     BUG ();
1544
1545   if (DBG_IOBUF)
1546     log_debug ("iobuf-%d.%d: pop `%s'\n", a->no, a->subno,
1547                a->desc?a->desc:"?");
1548   if (!a->filter)
1549     {                           /* this is simple */
1550       b = a->chain;
1551       assert (b);
1552       xfree (a->d.buf);
1553       xfree (a->real_fname);
1554       memcpy (a, b, sizeof *a);
1555       xfree (b);
1556       return 0;
1557     }
1558   for (b = a; b; b = b->chain)
1559     if (b->filter == f && (!ov || b->filter_ov == ov))
1560       break;
1561   if (!b)
1562     log_bug ("pop_filter(): filter function not found\n");
1563
1564   /* flush this stream if it is an output stream */
1565   if (a->use == 2 && (rc = iobuf_flush (b)))
1566     {
1567       log_error ("iobuf_flush failed in pop_filter: %s\n", gpg_strerror (rc));
1568       return rc;
1569     }
1570   /* and tell the filter to free it self */
1571   if (b->filter && (rc = b->filter (b->filter_ov, IOBUFCTRL_FREE, b->chain,
1572                                     NULL, &dummy_len)))
1573     {
1574       log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1575       return rc;
1576     }
1577   if (b->filter_ov && b->filter_ov_owner)
1578     {
1579       xfree (b->filter_ov);
1580       b->filter_ov = NULL;
1581     }
1582
1583
1584   /* and see how to remove it */
1585   if (a == b && !b->chain)
1586     log_bug ("can't remove the last filter from the chain\n");
1587   else if (a == b)
1588     {                           /* remove the first iobuf from the chain */
1589       /* everything from b is copied to a. This is save because
1590        * a flush has been done on the to be removed entry
1591        */
1592       b = a->chain;
1593       xfree (a->d.buf);
1594       xfree (a->real_fname);
1595       memcpy (a, b, sizeof *a);
1596       xfree (b);
1597       if (DBG_IOBUF)
1598         log_debug ("iobuf-%d.%d: popped filter\n", a->no, a->subno);
1599     }
1600   else if (!b->chain)
1601     {                           /* remove the last iobuf from the chain */
1602       log_bug ("Ohh jeee, trying to remove a head filter\n");
1603     }
1604   else
1605     {                           /* remove an intermediate iobuf from the chain */
1606       log_bug ("Ohh jeee, trying to remove an intermediate filter\n");
1607     }
1608
1609   return rc;
1610 }
1611
1612
1613 /****************
1614  * read underflow: read more bytes into the buffer and return
1615  * the first byte or -1 on EOF.
1616  */
1617 static int
1618 underflow (iobuf_t a)
1619 {
1620   size_t len;
1621   int rc;
1622
1623   assert (a->d.start == a->d.len);
1624   if (a->use == 3)
1625     return -1;                  /* EOF because a temp buffer can't do an underflow */
1626
1627   if (a->filter_eof)
1628     {
1629       if (a->chain)
1630         {
1631           iobuf_t b = a->chain;
1632           if (DBG_IOBUF)
1633             log_debug ("iobuf-%d.%d: pop `%s' in underflow\n",
1634                        a->no, a->subno, a->desc?a->desc:"?");
1635           xfree (a->d.buf);
1636           xfree (a->real_fname);
1637           memcpy (a, b, sizeof *a);
1638           xfree (b);
1639           print_chain (a);
1640         }
1641       else
1642         a->filter_eof = 0;      /* for the top level filter */
1643       if (DBG_IOBUF)
1644         log_debug ("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
1645                    a->no, a->subno);
1646       return -1;                /* return one(!) EOF */
1647     }
1648   if (a->error)
1649     {
1650       if (DBG_IOBUF)
1651         log_debug ("iobuf-%d.%d: error\n", a->no, a->subno);
1652       return -1;
1653     }
1654
1655   if (a->directfp)
1656     {
1657       FILE *fp = a->directfp;
1658
1659       len = fread (a->d.buf, 1, a->d.size, fp);
1660       if (len < a->d.size)
1661         {
1662           if (ferror (fp))
1663             a->error = gpg_error_from_syserror ();
1664         }
1665       a->d.len = len;
1666       a->d.start = 0;
1667       return len ? a->d.buf[a->d.start++] : -1;
1668     }
1669
1670
1671   if (a->filter)
1672     {
1673       len = a->d.size;
1674       if (DBG_IOBUF)
1675         log_debug ("iobuf-%d.%d: underflow: req=%lu\n",
1676                    a->no, a->subno, (ulong) len);
1677       rc = a->filter (a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
1678                       a->d.buf, &len);
1679       if (DBG_IOBUF)
1680         {
1681           log_debug ("iobuf-%d.%d: underflow: got=%lu rc=%d\n",
1682                      a->no, a->subno, (ulong) len, rc);
1683 /*          if( a->no == 1 ) */
1684 /*                   log_hexdump ("     data:", a->d.buf, len); */
1685         }
1686       if (a->use == 1 && rc == -1)
1687         {                       /* EOF: we can remove the filter */
1688           size_t dummy_len = 0;
1689
1690           /* and tell the filter to free itself */
1691           if ((rc = a->filter (a->filter_ov, IOBUFCTRL_FREE, a->chain,
1692                                NULL, &dummy_len)))
1693             log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1694           if (a->filter_ov && a->filter_ov_owner)
1695             {
1696               xfree (a->filter_ov);
1697               a->filter_ov = NULL;
1698             }
1699           a->filter = NULL;
1700           a->desc = NULL;
1701           a->filter_ov = NULL;
1702           a->filter_eof = 1;
1703           if (!len && a->chain)
1704             {
1705               iobuf_t b = a->chain;
1706               if (DBG_IOBUF)
1707                 log_debug ("iobuf-%d.%d: pop in underflow (!len)\n",
1708                            a->no, a->subno);
1709               xfree (a->d.buf);
1710               xfree (a->real_fname);
1711               memcpy (a, b, sizeof *a);
1712               xfree (b);
1713               print_chain (a);
1714             }
1715         }
1716       else if (rc)
1717         a->error = rc;
1718
1719       if (!len)
1720         {
1721           if (DBG_IOBUF)
1722             log_debug ("iobuf-%d.%d: underflow: eof\n", a->no, a->subno);
1723           return -1;
1724         }
1725       a->d.len = len;
1726       a->d.start = 0;
1727       return a->d.buf[a->d.start++];
1728     }
1729   else
1730     {
1731       if (DBG_IOBUF)
1732         log_debug ("iobuf-%d.%d: underflow: eof (no filter)\n",
1733                    a->no, a->subno);
1734       return -1;                /* no filter; return EOF */
1735     }
1736 }
1737
1738
1739 int
1740 iobuf_flush (iobuf_t a)
1741 {
1742   size_t len;
1743   int rc;
1744
1745   if (a->directfp)
1746     return 0;
1747
1748   if (a->use == 3)
1749     {                           /* increase the temp buffer */
1750       unsigned char *newbuf;
1751       size_t newsize = a->d.size + IOBUF_BUFFER_SIZE;
1752
1753       if (DBG_IOBUF)
1754         log_debug ("increasing temp iobuf from %lu to %lu\n",
1755                    (ulong) a->d.size, (ulong) newsize);
1756       newbuf = xmalloc (newsize);
1757       memcpy (newbuf, a->d.buf, a->d.len);
1758       xfree (a->d.buf);
1759       a->d.buf = newbuf;
1760       a->d.size = newsize;
1761       return 0;
1762     }
1763   else if (a->use != 2)
1764     log_bug ("flush on non-output iobuf\n");
1765   else if (!a->filter)
1766     log_bug ("iobuf_flush: no filter\n");
1767   len = a->d.len;
1768   rc = a->filter (a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len);
1769   if (!rc && len != a->d.len)
1770     {
1771       log_info ("iobuf_flush did not write all!\n");
1772       rc = GPG_ERR_INTERNAL;
1773     }
1774   else if (rc)
1775     a->error = rc;
1776   a->d.len = 0;
1777
1778   return rc;
1779 }
1780
1781
1782 /****************
1783  * Read a byte from the iobuf; returns -1 on EOF
1784  */
1785 int
1786 iobuf_readbyte (iobuf_t a)
1787 {
1788   int c;
1789
1790   if (a->nlimit && a->nbytes >= a->nlimit)
1791     return -1;                  /* forced EOF */
1792
1793   if (a->d.start < a->d.len)
1794     {
1795       c = a->d.buf[a->d.start++];
1796     }
1797   else if ((c = underflow (a)) == -1)
1798     return -1;                  /* EOF */
1799
1800   a->nbytes++;
1801   return c;
1802 }
1803
1804
1805 int
1806 iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
1807 {
1808   unsigned char *buf = (unsigned char *)buffer;
1809   int c, n;
1810
1811   if (a->nlimit)
1812     {
1813       /* Handle special cases. */
1814       for (n = 0; n < buflen; n++)
1815         {
1816           if ((c = iobuf_readbyte (a)) == -1)
1817             {
1818               if (!n)
1819                 return -1;      /* eof */
1820               break;
1821             }
1822           else if (buf)
1823             *buf = c;
1824           if (buf)
1825             buf++;
1826         }
1827       return n;
1828     }
1829
1830   n = 0;
1831   do
1832     {
1833       if (n < buflen && a->d.start < a->d.len)
1834         {
1835           unsigned size = a->d.len - a->d.start;
1836           if (size > buflen - n)
1837             size = buflen - n;
1838           if (buf)
1839             memcpy (buf, a->d.buf + a->d.start, size);
1840           n += size;
1841           a->d.start += size;
1842           if (buf)
1843             buf += size;
1844         }
1845       if (n < buflen)
1846         {
1847           if ((c = underflow (a)) == -1)
1848             {
1849               a->nbytes += n;
1850               return n ? n : -1 /*EOF*/;
1851             }
1852           if (buf)
1853             *buf++ = c;
1854           n++;
1855         }
1856     }
1857   while (n < buflen);
1858   a->nbytes += n;
1859   return n;
1860 }
1861
1862
1863
1864 /****************
1865  * Have a look at the iobuf.
1866  * NOTE: This only works in special cases.
1867  */
1868 int
1869 iobuf_peek (iobuf_t a, byte * buf, unsigned buflen)
1870 {
1871   int n = 0;
1872
1873   if (a->filter_eof)
1874     return -1;
1875
1876   if (!(a->d.start < a->d.len))
1877     {
1878       if (underflow (a) == -1)
1879         return -1;
1880       /* And unget this character. */
1881       assert (a->d.start == 1);
1882       a->d.start = 0;
1883     }
1884
1885   for (n = 0; n < buflen && (a->d.start + n) < a->d.len; n++, buf++)
1886     *buf = a->d.buf[n];
1887   return n;
1888 }
1889
1890
1891
1892
1893 int
1894 iobuf_writebyte (iobuf_t a, unsigned int c)
1895 {
1896   int rc;
1897
1898   if (a->directfp)
1899     BUG ();
1900
1901   if (a->d.len == a->d.size)
1902     if ((rc=iobuf_flush (a)))
1903       return rc;
1904
1905   assert (a->d.len < a->d.size);
1906   a->d.buf[a->d.len++] = c;
1907   return 0;
1908 }
1909
1910
1911 int
1912 iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
1913 {
1914   const unsigned char *buf = (const unsigned char *)buffer;
1915   int rc;
1916
1917   if (a->directfp)
1918     BUG ();
1919
1920   do
1921     {
1922       if (buflen && a->d.len < a->d.size)
1923         {
1924           unsigned size = a->d.size - a->d.len;
1925           if (size > buflen)
1926             size = buflen;
1927           memcpy (a->d.buf + a->d.len, buf, size);
1928           buflen -= size;
1929           buf += size;
1930           a->d.len += size;
1931         }
1932       if (buflen)
1933         {
1934           rc = iobuf_flush (a);
1935           if (rc)
1936             return rc;
1937         }
1938     }
1939   while (buflen);
1940   return 0;
1941 }
1942
1943
1944 int
1945 iobuf_writestr (iobuf_t a, const char *buf)
1946 {
1947   int rc;
1948
1949   for (; *buf; buf++)
1950     if ((rc=iobuf_writebyte (a, *buf)))
1951       return rc;
1952   return 0;
1953 }
1954
1955
1956
1957 /****************
1958  * copy the contents of TEMP to A.
1959  */
1960 int
1961 iobuf_write_temp (iobuf_t a, iobuf_t temp)
1962 {
1963   while (temp->chain)
1964     pop_filter (temp, temp->filter, NULL);
1965   return iobuf_write (a, temp->d.buf, temp->d.len);
1966 }
1967
1968 /****************
1969  * copy the contents of the temp io stream to BUFFER.
1970  */
1971 size_t
1972 iobuf_temp_to_buffer (iobuf_t a, byte * buffer, size_t buflen)
1973 {
1974   size_t n = a->d.len;
1975
1976   if (n > buflen)
1977     n = buflen;
1978   memcpy (buffer, a->d.buf, n);
1979   return n;
1980 }
1981
1982
1983 /****************
1984  * Call this function to terminate processing of the temp stream
1985  * without closing it.  This removes all filters from the stream
1986  * makes sure that iobuf_get_temp_{buffer,length}() returns correct
1987  * values.
1988  */
1989 void
1990 iobuf_flush_temp (iobuf_t temp)
1991 {
1992   while (temp->chain)
1993     pop_filter (temp, temp->filter, NULL);
1994 }
1995
1996
1997 /****************
1998  * Set a limit on how many bytes may be read from the input stream A.
1999  * Setting the limit to 0 disables this feature.
2000  */
2001 void
2002 iobuf_set_limit (iobuf_t a, off_t nlimit)
2003 {
2004   if (nlimit)
2005     a->nofast |= 1;
2006   else
2007     a->nofast &= ~1;
2008   a->nlimit = nlimit;
2009   a->ntotal += a->nbytes;
2010   a->nbytes = 0;
2011 }
2012
2013
2014
2015 /* Return the length of an open file A.  IF OVERFLOW is not NULL it
2016    will be set to true if the file is larger than what off_t can cope
2017    with.  The function return 0 on error or on overflow condition.  */
2018 off_t
2019 iobuf_get_filelength (iobuf_t a, int *overflow)
2020 {
2021   struct stat st;
2022
2023   if (overflow)
2024     *overflow = 0;
2025   
2026   if ( a->directfp )  
2027     {
2028       FILE *fp = a->directfp;
2029       
2030       if ( !fstat(fileno(fp), &st) )
2031         return st.st_size;
2032       log_error("fstat() failed: %s\n", strerror(errno) );
2033       return 0;
2034     }
2035   
2036   /* Hmmm: file_filter may have already been removed */
2037   for ( ; a; a = a->chain )
2038     if ( !a->chain && a->filter == file_filter )
2039       {
2040         file_filter_ctx_t *b = a->filter_ov;
2041         gnupg_fd_t fp = b->fp;
2042         
2043 #if defined(HAVE_W32_SYSTEM)
2044         ulong size;
2045         static int (* __stdcall get_file_size_ex) (void *handle,
2046                                                    LARGE_INTEGER *r_size);
2047         static int get_file_size_ex_initialized;
2048
2049         if (!get_file_size_ex_initialized)
2050           {
2051             void *handle;
2052             
2053             handle = dlopen ("kernel32.dll", RTLD_LAZY);
2054             if (handle)
2055               {
2056                 get_file_size_ex = dlsym (handle, "GetFileSizeEx");
2057                 if (!get_file_size_ex)
2058                   dlclose (handle);
2059               }
2060             get_file_size_ex_initialized = 1;
2061           }
2062         
2063         if (get_file_size_ex)
2064           {
2065             /* This is a newer system with GetFileSizeEx; we use this
2066                then because it seem that GetFileSize won't return a
2067                proper error in case a file is larger than 4GB. */
2068             LARGE_INTEGER exsize;
2069             
2070             if (get_file_size_ex (fp, &exsize))
2071               {
2072                 if (!exsize.u.HighPart)
2073                   return exsize.u.LowPart;
2074                 if (overflow)
2075                   *overflow = 1;
2076                 return 0; 
2077               }
2078           }
2079         else
2080           {
2081             if ((size=GetFileSize (fp, NULL)) != 0xffffffff)
2082               return size;
2083           }
2084         log_error ("GetFileSize for handle %p failed: %s\n",
2085                    fp, w32_strerror (0));
2086 #else
2087         if ( !fstat (FD2INT (fp), &st) )
2088           return st.st_size;
2089         log_error("fstat() failed: %s\n", strerror(errno) );
2090 #endif
2091         break/*the for loop*/;
2092       }
2093   
2094     return 0;
2095 }
2096
2097
2098 /* Return the file descriptor of the underlying file or -1 if it is
2099    not available.  */
2100 int 
2101 iobuf_get_fd (iobuf_t a)
2102 {
2103   if (a->directfp)
2104     return fileno ( (FILE*)a->directfp );
2105
2106   for ( ; a; a = a->chain )
2107     if (!a->chain && a->filter == file_filter)
2108       {
2109         file_filter_ctx_t *b = a->filter_ov;
2110         gnupg_fd_t fp = b->fp;
2111
2112         return FD2INT (fp);
2113       }
2114
2115   return -1;
2116 }
2117
2118
2119
2120 /****************
2121  * Tell the file position, where the next read will take place
2122  */
2123 off_t
2124 iobuf_tell (iobuf_t a)
2125 {
2126   return a->ntotal + a->nbytes;
2127 }
2128
2129
2130 #if !defined(HAVE_FSEEKO) && !defined(fseeko)
2131
2132 #ifdef HAVE_LIMITS_H
2133 # include <limits.h>
2134 #endif
2135 #ifndef LONG_MAX
2136 # define LONG_MAX ((long) ((unsigned long) -1 >> 1))
2137 #endif
2138 #ifndef LONG_MIN
2139 # define LONG_MIN (-1 - LONG_MAX)
2140 #endif
2141
2142 /****************
2143  * A substitute for fseeko, for hosts that don't have it.
2144  */
2145 static int
2146 fseeko (FILE * stream, off_t newpos, int whence)
2147 {
2148   while (newpos != (long) newpos)
2149     {
2150       long pos = newpos < 0 ? LONG_MIN : LONG_MAX;
2151       if (fseek (stream, pos, whence) != 0)
2152         return -1;
2153       newpos -= pos;
2154       whence = SEEK_CUR;
2155     }
2156   return fseek (stream, (long) newpos, whence);
2157 }
2158 #endif
2159
2160 /****************
2161  * This is a very limited implementation. It simply discards all internal
2162  * buffering and removes all filters but the first one.
2163  */
2164 int
2165 iobuf_seek (iobuf_t a, off_t newpos)
2166 {
2167   file_filter_ctx_t *b = NULL;
2168
2169   if (a->directfp)
2170     {
2171       FILE *fp = a->directfp;
2172       if (fseeko (fp, newpos, SEEK_SET))
2173         {
2174           log_error ("can't seek: %s\n", strerror (errno));
2175           return -1;
2176         }
2177       clearerr (fp);
2178     }
2179   else
2180     {
2181       for (; a; a = a->chain)
2182         {
2183           if (!a->chain && a->filter == file_filter)
2184             {
2185               b = a->filter_ov;
2186               break;
2187             }
2188         }
2189       if (!a)
2190         return -1;
2191 #ifdef HAVE_W32_SYSTEM
2192       if (SetFilePointer (b->fp, newpos, NULL, FILE_BEGIN) == 0xffffffff)
2193         {
2194           log_error ("SetFilePointer failed on handle %p: ec=%d\n",
2195                      b->fp, (int) GetLastError ());
2196           return -1;
2197         }
2198 #else
2199       if (lseek (b->fp, newpos, SEEK_SET) == (off_t) - 1)
2200         {
2201           log_error ("can't lseek: %s\n", strerror (errno));
2202           return -1;
2203         }
2204 #endif
2205     }
2206   a->d.len = 0;                 /* discard buffer */
2207   a->d.start = 0;
2208   a->nbytes = 0;
2209   a->nlimit = 0;
2210   a->nofast &= ~1;
2211   a->ntotal = newpos;
2212   a->error = 0;
2213   /* remove filters, but the last */
2214   if (a->chain)
2215     log_debug ("pop_filter called in iobuf_seek - please report\n");
2216   while (a->chain)
2217     pop_filter (a, a->filter, NULL);
2218
2219   return 0;
2220 }
2221
2222
2223
2224
2225
2226
2227 /****************
2228  * Retrieve the real filename.  This is the filename actually used on
2229  * disk and not a made up one.  Returns NULL if no real filename is
2230  * available.
2231  */
2232 const char *
2233 iobuf_get_real_fname (iobuf_t a)
2234 {
2235   if (a->real_fname)
2236     return a->real_fname;
2237
2238   /* the old solution */
2239   for (; a; a = a->chain)
2240     if (!a->chain && a->filter == file_filter)
2241       {
2242         file_filter_ctx_t *b = a->filter_ov;
2243         return b->print_only_name ? NULL : b->fname;
2244       }
2245
2246   return NULL;
2247 }
2248
2249
2250 /****************
2251  * Retrieve the filename.  This name should only be used in diagnostics.
2252  */
2253 const char *
2254 iobuf_get_fname (iobuf_t a)
2255 {
2256   for (; a; a = a->chain)
2257     if (!a->chain && a->filter == file_filter)
2258       {
2259         file_filter_ctx_t *b = a->filter_ov;
2260         return b->fname;
2261       }
2262   return NULL;
2263 }
2264
2265 /* Same as iobuf_get_fname but never returns NULL.  */
2266 const char *
2267 iobuf_get_fname_nonnull (iobuf_t a)
2268 {
2269   const char *fname;
2270
2271   fname = iobuf_get_fname (a);
2272   return fname? fname : "[?]";
2273 }
2274
2275
2276 /****************
2277  * enable partial block mode as described in the OpenPGP draft.
2278  * LEN is the first length byte on read, but ignored on writes.
2279  */
2280 void
2281 iobuf_set_partial_block_mode (iobuf_t a, size_t len)
2282 {
2283   block_filter_ctx_t *ctx = xcalloc (1, sizeof *ctx);
2284
2285   assert (a->use == 1 || a->use == 2);
2286   ctx->use = a->use;
2287   if (!len)
2288     {
2289       if (a->use == 1)
2290         log_debug ("pop_filter called in set_partial_block_mode"
2291                    " - please report\n");
2292       pop_filter (a, block_filter, NULL);
2293     }
2294   else
2295     {
2296       ctx->partial = 1;
2297       ctx->size = 0;
2298       ctx->first_c = len;
2299       iobuf_push_filter (a, block_filter, ctx);
2300     }
2301 }
2302
2303
2304
2305 /****************
2306  * Same as fgets() but if the buffer is too short a larger one will
2307  * be allocated up to some limit *max_length.
2308  * A line is considered a byte stream ending in a LF.
2309  * Returns the length of the line. EOF is indicated by a line of
2310  * length zero. The last LF may be missing due to an EOF.
2311  * is max_length is zero on return, the line has been truncated.
2312  *
2313  * Note: The buffer is allocated with enough space to append a CR,LF,EOL
2314  */
2315 unsigned int
2316 iobuf_read_line (iobuf_t a, byte ** addr_of_buffer,
2317                  unsigned *length_of_buffer, unsigned *max_length)
2318 {
2319   int c;
2320   char *buffer = (char *)*addr_of_buffer;
2321   unsigned length = *length_of_buffer;
2322   unsigned nbytes = 0;
2323   unsigned maxlen = *max_length;
2324   char *p;
2325
2326   if (!buffer)
2327     {                           /* must allocate a new buffer */
2328       length = 256;
2329       buffer = xmalloc (length);
2330       *addr_of_buffer = (unsigned char *)buffer;
2331       *length_of_buffer = length;
2332     }
2333
2334   length -= 3;                  /* reserve 3 bytes (cr,lf,eol) */
2335   p = buffer;
2336   while ((c = iobuf_get (a)) != -1)
2337     {
2338       if (nbytes == length)
2339         {                       /* increase the buffer */
2340           if (length > maxlen)
2341             {                   /* this is out limit */
2342               /* skip the rest of the line */
2343               while (c != '\n' && (c = iobuf_get (a)) != -1)
2344                 ;
2345               *p++ = '\n';      /* always append a LF (we have reserved space) */
2346               nbytes++;
2347               *max_length = 0;  /* indicate truncation */
2348               break;
2349             }
2350           length += 3;          /* correct for the reserved byte */
2351           length += length < 1024 ? 256 : 1024;
2352           buffer = xrealloc (buffer, length);
2353           *addr_of_buffer = (unsigned char *)buffer;
2354           *length_of_buffer = length;
2355           length -= 3;          /* and reserve again */
2356           p = buffer + nbytes;
2357         }
2358       *p++ = c;
2359       nbytes++;
2360       if (c == '\n')
2361         break;
2362     }
2363   *p = 0;                       /* make sure the line is a string */
2364
2365   return nbytes;
2366 }
2367
2368 static int
2369 translate_file_handle (int fd, int for_write)
2370 {
2371 #if defined(HAVE_W32CE_SYSTEM)
2372   /* This is called only with one of the special filenames.  Under
2373      W32CE the FD here is not a file descriptor but a rendezvous id,
2374      thus we need to finish the pipe first.  */
2375   fd = _assuan_w32ce_finish_pipe (fd, for_write);
2376 #elif defined(HAVE_W32_SYSTEM)
2377   {
2378     int x;
2379     
2380     (void)for_write;
2381
2382     if (fd == 0)
2383       x = (int) GetStdHandle (STD_INPUT_HANDLE);
2384     else if (fd == 1)
2385       x = (int) GetStdHandle (STD_OUTPUT_HANDLE);
2386     else if (fd == 2)
2387       x = (int) GetStdHandle (STD_ERROR_HANDLE);
2388     else
2389       x = fd;
2390
2391     if (x == -1)
2392       log_debug ("GetStdHandle(%d) failed: ec=%d\n",
2393                  fd, (int) GetLastError ());
2394
2395     fd = x;
2396   }
2397 #else
2398   (void)for_write;
2399 #endif
2400   return fd;
2401 }
2402
2403
2404 void
2405 iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
2406 {
2407   if ( partial )
2408     {
2409       for (;;)
2410         {
2411           if (a->nofast || a->d.start >= a->d.len) 
2412             {
2413               if (iobuf_readbyte (a) == -1)
2414                 {
2415                   break;
2416                 }
2417             } 
2418           else
2419             {
2420               unsigned long count = a->d.len - a->d.start;
2421               a->nbytes += count;
2422               a->d.start = a->d.len;
2423             }
2424         }
2425     } 
2426   else
2427     {
2428       unsigned long remaining = n;
2429       while (remaining > 0) 
2430         {
2431           if (a->nofast || a->d.start >= a->d.len)
2432             {
2433               if (iobuf_readbyte (a) == -1)
2434                 {
2435                   break;
2436                 }
2437               --remaining;
2438             } 
2439           else 
2440             {
2441               unsigned long count = a->d.len - a->d.start;
2442               if (count > remaining) 
2443                 {
2444                   count = remaining;
2445                 }
2446               a->nbytes += count;
2447               a->d.start += count;
2448               remaining -= count;
2449             }
2450         }
2451     }
2452 }