More cleanups
[gnupg.git] / common / iobuf.c
1 /* iobuf.c  -  File Handling for OpenPGP.
2  * Copyright (C) 1998, 1999, 2000, 2001, 2003, 2004, 2006, 2007, 2008,
3  *               2009, 2010  Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 3 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, see <http://www.gnu.org/licenses/>.
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <ctype.h>
27 #include <assert.h>
28 #include <sys/types.h>
29 #include <sys/stat.h>
30 #include <fcntl.h>
31 #include <unistd.h>
32 #ifdef HAVE_W32_SYSTEM
33 # include <windows.h>
34 #endif
35 #ifdef __riscos__
36 # include <kernel.h>
37 # include <swis.h>
38 #endif /* __riscos__ */
39
40 #include "util.h"
41 #include "sysutils.h"
42 #include "iobuf.h"
43
44 /*-- Begin configurable part.  --*/
45
46 /* The size of the internal buffers. 
47    NOTE: If you change this value you MUST also adjust the regression
48    test "armored_key_8192" in armor.test! */
49 #define IOBUF_BUFFER_SIZE  8192
50
51 /*-- End configurable part.  --*/
52
53
54 #ifdef HAVE_W32_SYSTEM
55 # define FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
56 # define FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
57 #else /*!HAVE_W32_SYSTEM*/
58 # define FD_FOR_STDIN  (0)
59 # define FD_FOR_STDOUT (1)
60 #endif /*!HAVE_W32_SYSTEM*/
61
62
63 /* The context used by the file filter.  */
64 typedef struct
65 {
66   gnupg_fd_t fp;       /* Open file pointer or handle.  */
67   int keep_open; 
68   int no_cache;
69   int eof_seen;
70   int print_only_name; /* Flags indicating that fname is not a real file.  */
71   char fname[1];       /* Name of the file.  */
72 } file_filter_ctx_t;
73
74
75 /* Object to control the "close cache".  */
76 struct close_cache_s
77 {
78   struct close_cache_s *next;
79   gnupg_fd_t fp;
80   char fname[1];
81 };
82 typedef struct close_cache_s *close_cache_t;
83 static close_cache_t close_cache;
84
85
86
87 #ifdef HAVE_W32_SYSTEM
88 typedef struct
89 {
90   int sock;
91   int keep_open;
92   int no_cache;
93   int eof_seen;
94   int print_only_name;  /* Flag indicating that fname is not a real file.  */
95   char fname[1];        /* Name of the file */
96
97 } sock_filter_ctx_t;
98 #endif /*HAVE_W32_SYSTEM*/
99
100 /* The first partial length header block must be of size 512
101  * to make it easier (and efficienter) we use a min. block size of 512
102  * for all chunks (but the last one) */
103 #define OP_MIN_PARTIAL_CHUNK      512
104 #define OP_MIN_PARTIAL_CHUNK_2POW 9
105
106 /* The context we use for the block filter (used to handle OpenPGP
107    length information header).  */
108 typedef struct
109 {
110   int use;
111   size_t size;
112   size_t count;
113   int partial;     /* 1 = partial header, 2 in last partial packet.  */
114   char *buffer;    /* Used for partial header.  */
115   size_t buflen;   /* Used size of buffer.  */
116   int first_c;     /* First character of a partial header (which is > 0).  */
117   int eof;
118 }
119 block_filter_ctx_t;
120
121
122 /* Global flag to tell whether special file names are enabled.  See
123    gpg.c for an explanation of these file names.  FIXME: it does not
124    belong into the iobuf subsystem. */
125 static int special_names_enabled;
126
127 /* Local prototypes.  */
128 static int underflow (iobuf_t a);
129 static int translate_file_handle (int fd, int for_write);
130
131
132 \f
133 /* This is a replacement for strcmp.  Under W32 it does not
134    distinguish between backslash and slash.  */
135 static int
136 fd_cache_strcmp (const char *a, const char *b)
137 {
138 #ifdef HAVE_DOSISH_SYSTEM
139   for (; *a && *b; a++, b++)
140     {
141       if (*a != *b && !((*a == '/' && *b == '\\') 
142                         || (*a == '\\' && *b == '/')) )
143         break;
144     }
145   return *(const unsigned char *)a - *(const unsigned char *)b;
146 #else
147   return strcmp (a, b);
148 #endif
149 }
150
151 /*
152  * Invalidate (i.e. close) a cached iobuf
153  */
154 static int
155 fd_cache_invalidate (const char *fname)
156 {
157   close_cache_t cc;
158   int rc = 0;
159
160   assert (fname);
161   if (DBG_IOBUF)
162     log_debug ("fd_cache_invalidate (%s)\n", fname);
163
164   for (cc = close_cache; cc; cc = cc->next)
165     {
166       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
167         {
168           if (DBG_IOBUF)
169             log_debug ("                did (%s)\n", cc->fname);
170 #ifdef HAVE_W32_SYSTEM
171           if (!CloseHandle (cc->fp))
172             rc = -1;
173 #else
174           rc = close (cc->fp);
175 #endif
176           cc->fp = GNUPG_INVALID_FD;
177         }
178     }
179   return rc;
180 }
181
182
183 /* Try to sync changes to the disk.  This is to avoid data loss during
184    a system crash in write/close/rename cycle on some file
185    systems.  */
186 static int
187 fd_cache_synchronize (const char *fname)
188 {
189   int err = 0;
190
191 #ifdef HAVE_FSYNC
192   close_cache_t cc;
193
194   if (DBG_IOBUF)
195     log_debug ("fd_cache_synchronize (%s)\n", fname);
196
197   for (cc=close_cache; cc; cc = cc->next )
198     {
199       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
200         {
201           if (DBG_IOBUF)
202             log_debug ("                 did (%s)\n", cc->fname);
203
204           err = fsync (cc->fp);
205         }
206     }
207 #else
208   (void)fname;
209 #endif /*HAVE_FSYNC*/
210
211   return err;
212 }
213
214
215 static gnupg_fd_t
216 direct_open (const char *fname, const char *mode)
217 {
218 #ifdef HAVE_W32_SYSTEM
219   unsigned long da, cd, sm;
220   HANDLE hfile;
221
222   /* Note, that we do not handle all mode combinations */
223
224   /* According to the ReactOS source it seems that open() of the
225    * standard MSW32 crt does open the file in shared mode which is
226    * something new for MS applications ;-)
227    */
228   if (strchr (mode, '+'))
229     {
230       if (fd_cache_invalidate (fname))
231         return GNUPG_INVALID_FD;
232       da = GENERIC_READ | GENERIC_WRITE;
233       cd = OPEN_EXISTING;
234       sm = FILE_SHARE_READ | FILE_SHARE_WRITE;
235     }
236   else if (strchr (mode, 'w'))
237     {
238       if (fd_cache_invalidate (fname))
239         return GNUPG_INVALID_FD;
240       da = GENERIC_WRITE;
241       cd = CREATE_ALWAYS;
242       sm = FILE_SHARE_WRITE;
243     }
244   else
245     {
246       da = GENERIC_READ;
247       cd = OPEN_EXISTING;
248       sm = FILE_SHARE_READ;
249     }
250
251 #ifdef HAVE_W32CE_SYSTEM
252   {
253     wchar_t *wfname = utf8_to_wchar (fname);
254     if (wfname)
255       {
256         hfile = CreateFile (wfname, da, sm, NULL, cd,
257                             FILE_ATTRIBUTE_NORMAL, NULL);
258         xfree (wfname);
259       }
260     else
261       hfile = INVALID_HANDLE_VALUE;
262   }
263 #else
264   hfile = CreateFile (fname, da, sm, NULL, cd, FILE_ATTRIBUTE_NORMAL, NULL);
265 #endif
266   return hfile;
267 #else /*!HAVE_W32_SYSTEM*/
268   int oflag;
269   int cflag = S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH;
270
271   /* Note, that we do not handle all mode combinations */
272   if (strchr (mode, '+'))
273     {
274       if (fd_cache_invalidate (fname))
275         return GNUPG_INVALID_FD;
276       oflag = O_RDWR;
277     }
278   else if (strchr (mode, 'w'))
279     {
280       if (fd_cache_invalidate (fname))
281         return GNUPG_INVALID_FD;
282       oflag = O_WRONLY | O_CREAT | O_TRUNC;
283     }
284   else
285     {
286       oflag = O_RDONLY;
287     }
288 #ifdef O_BINARY
289   if (strchr (mode, 'b'))
290     oflag |= O_BINARY;
291 #endif
292   /* No we need to distinguish between POSIX and RISC OS.  */
293 #ifndef __riscos__
294   return open (fname, oflag, cflag);
295 #else
296   {
297     struct stat buf;
298     int rc = stat (fname, &buf);
299
300     /* Don't allow iobufs on directories */
301     if (!rc && S_ISDIR (buf.st_mode) && !S_ISREG (buf.st_mode))
302       return __set_errno (EISDIR);
303     else
304       return open (fname, oflag, cflag);
305   }
306 #endif
307 #endif /*!HAVE_W32_SYSTEM*/
308 }
309
310
311 /*
312  * Instead of closing an FD we keep it open and cache it for later reuse 
313  * Note that this caching strategy only works if the process does not chdir.
314  */
315 static void
316 fd_cache_close (const char *fname, gnupg_fd_t fp)
317 {
318   close_cache_t cc;
319
320   assert (fp);
321   if (!fname || !*fname)
322     {
323 #ifdef HAVE_W32_SYSTEM
324       CloseHandle (fp);
325 #else
326       close (fp);
327 #endif
328       if (DBG_IOBUF)
329         log_debug ("fd_cache_close (%d) real\n", (int)fp);
330       return;
331     }
332   /* try to reuse a slot */
333   for (cc = close_cache; cc; cc = cc->next)
334     {
335       if (cc->fp == GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
336         {
337           cc->fp = fp;
338           if (DBG_IOBUF)
339             log_debug ("fd_cache_close (%s) used existing slot\n", fname);
340           return;
341         }
342     }
343   /* add a new one */
344   if (DBG_IOBUF)
345     log_debug ("fd_cache_close (%s) new slot created\n", fname);
346   cc = xcalloc (1, sizeof *cc + strlen (fname));
347   strcpy (cc->fname, fname);
348   cc->fp = fp;
349   cc->next = close_cache;
350   close_cache = cc;
351 }
352
353 /*
354  * Do an direct_open on FNAME but first try to reuse one from the fd_cache
355  */
356 static gnupg_fd_t
357 fd_cache_open (const char *fname, const char *mode)
358 {
359   close_cache_t cc;
360
361   assert (fname);
362   for (cc = close_cache; cc; cc = cc->next)
363     {
364       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
365         {
366           gnupg_fd_t fp = cc->fp;
367           cc->fp = GNUPG_INVALID_FD;
368           if (DBG_IOBUF)
369             log_debug ("fd_cache_open (%s) using cached fp\n", fname);
370 #ifdef HAVE_W32_SYSTEM
371           if (SetFilePointer (fp, 0, NULL, FILE_BEGIN) == 0xffffffff)
372             {
373               log_error ("rewind file failed on handle %p: ec=%d\n",
374                          fp, (int) GetLastError ());
375               fp = GNUPG_INVALID_FD;
376             }
377 #else
378           if (lseek (fp, 0, SEEK_SET) == (off_t) - 1)
379             {
380               log_error ("can't rewind fd %d: %s\n", fp, strerror (errno));
381               fp = GNUPG_INVALID_FD;
382             }
383 #endif
384           return fp;
385         }
386     }
387   if (DBG_IOBUF)
388     log_debug ("fd_cache_open (%s) not cached\n", fname);
389   return direct_open (fname, mode);
390 }
391
392
393 /****************
394  * Read data from a file into buf which has an allocated length of *LEN.
395  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
396  * the stream. A is not used.
397  * control may be:
398  * IOBUFCTRL_INIT: called just before the function is linked into the
399  *                 list of function. This can be used to prepare internal
400  *                 data structures of the function.
401  * IOBUFCTRL_FREE: called just before the function is removed from the
402  *                  list of functions and can be used to release internal
403  *                  data structures or close a file etc.
404  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
405  *                  with new stuff. *RET_LEN is the available size of the
406  *                  buffer, and should be set to the number of bytes
407  *                  which were put into the buffer. The function
408  *                  returns 0 to indicate success, -1 on EOF and
409  *                  GPG_ERR_xxxxx for other errors.
410  *
411  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
412  *                  *RET_LAN is the number of bytes in BUF.
413  *
414  * IOBUFCTRL_CANCEL: send to all filters on behalf of iobuf_cancel.  The
415  *                  filter may take appropriate action on this message.
416  */
417 static int
418 file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
419              size_t * ret_len)
420 {
421   file_filter_ctx_t *a = opaque;
422   gnupg_fd_t f = a->fp;
423   size_t size = *ret_len;
424   size_t nbytes = 0;
425   int rc = 0;
426
427   (void)chain; /* Not used.  */
428
429   if (control == IOBUFCTRL_UNDERFLOW)
430     {
431       assert (size); /* We need a buffer.  */
432       if (a->eof_seen)
433         {
434           rc = -1;
435           *ret_len = 0;
436         }
437       else
438         {
439 #ifdef HAVE_W32_SYSTEM
440           unsigned long nread;
441
442           nbytes = 0;
443           if (!ReadFile (f, buf, size, &nread, NULL))
444             {
445               int ec = (int) GetLastError ();
446               if (ec != ERROR_BROKEN_PIPE)
447                 {
448                   rc = gpg_error_from_errno (ec);
449                   log_error ("%s: read error: ec=%d\n", a->fname, ec);
450                 }
451             }
452           else if (!nread)
453             {
454               a->eof_seen = 1;
455               rc = -1;
456             }
457           else
458             {
459               nbytes = nread;
460             }
461
462 #else
463
464           int n;
465
466           nbytes = 0;
467           do
468             {
469               n = read (f, buf, size);
470             }
471           while (n == -1 && errno == EINTR);
472           if (n == -1)
473             {                   /* error */
474               if (errno != EPIPE)
475                 {
476                   rc = gpg_error_from_syserror ();
477                   log_error ("%s: read error: %s\n",
478                              a->fname, strerror (errno));
479                 }
480             }
481           else if (!n)
482             {                   /* eof */
483               a->eof_seen = 1;
484               rc = -1;
485             }
486           else
487             {
488               nbytes = n;
489             }
490 #endif
491           *ret_len = nbytes;
492         }
493     }
494   else if (control == IOBUFCTRL_FLUSH)
495     {
496       if (size)
497         {
498 #ifdef HAVE_W32_SYSTEM
499           byte *p = buf;
500           unsigned long n;
501
502           nbytes = size;
503           do
504             {
505               if (size && !WriteFile (f, p, nbytes, &n, NULL))
506                 {
507                   int ec = (int) GetLastError ();
508                   rc = gpg_error_from_errno (ec);
509                   log_error ("%s: write error: ec=%d\n", a->fname, ec);
510                   break;
511                 }
512               p += n;
513               nbytes -= n;
514             }
515           while (nbytes);
516           nbytes = p - buf;
517 #else
518           byte *p = buf;
519           int n;
520
521           nbytes = size;
522           do
523             {
524               do
525                 {
526                   n = write (f, p, nbytes);
527                 }
528               while (n == -1 && errno == EINTR);
529               if (n > 0)
530                 {
531                   p += n;
532                   nbytes -= n;
533                 }
534             }
535           while (n != -1 && nbytes);
536           if (n == -1)
537             {
538               rc = gpg_error_from_syserror ();
539               log_error ("%s: write error: %s\n", a->fname, strerror (errno));
540             }
541           nbytes = p - buf;
542 #endif
543         }
544       *ret_len = nbytes;
545     }
546   else if (control == IOBUFCTRL_INIT)
547     {
548       a->eof_seen = 0;
549       a->keep_open = 0;
550       a->no_cache = 0;
551     }
552   else if (control == IOBUFCTRL_DESC)
553     {
554       *(char **) buf = "file_filter(fd)";
555     }
556   else if (control == IOBUFCTRL_FREE)
557     {
558       if (f != FD_FOR_STDIN && f != FD_FOR_STDOUT)
559         {
560           if (DBG_IOBUF)
561             log_debug ("%s: close fd/handle %d\n", a->fname, FD2INT (f));
562           if (!a->keep_open)
563             fd_cache_close (a->no_cache ? NULL : a->fname, f);
564         }
565       f = GNUPG_INVALID_FD;
566       xfree (a); /* We can free our context now. */
567     }
568
569   return rc;
570 }
571
572
573 #ifdef HAVE_W32_SYSTEM
574 /* Because network sockets are special objects under Lose32 we have to
575    use a dedicated filter for them. */
576 static int
577 sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
578              size_t * ret_len)
579 {
580   sock_filter_ctx_t *a = opaque;
581   size_t size = *ret_len;
582   size_t nbytes = 0;
583   int rc = 0;
584
585   (void)chain;
586
587   if (control == IOBUFCTRL_UNDERFLOW)
588     {
589       assert (size);            /* need a buffer */
590       if (a->eof_seen)
591         {
592           rc = -1;
593           *ret_len = 0;
594         }
595       else
596         {
597           int nread;
598
599           nread = recv (a->sock, buf, size, 0);
600           if (nread == SOCKET_ERROR)
601             {
602               int ec = (int) WSAGetLastError ();
603               rc = gpg_error_from_errno (ec);
604               log_error ("socket read error: ec=%d\n", ec);
605             }
606           else if (!nread)
607             {
608               a->eof_seen = 1;
609               rc = -1;
610             }
611           else
612             {
613               nbytes = nread;
614             }
615           *ret_len = nbytes;
616         }
617     }
618   else if (control == IOBUFCTRL_FLUSH)
619     {
620       if (size)
621         {
622           byte *p = buf;
623           int n;
624
625           nbytes = size;
626           do
627             {
628               n = send (a->sock, p, nbytes, 0);
629               if (n == SOCKET_ERROR)
630                 {
631                   int ec = (int) WSAGetLastError ();
632                   rc = gpg_error_from_errno (ec);
633                   log_error ("socket write error: ec=%d\n", ec);
634                   break;
635                 }
636               p += n;
637               nbytes -= n;
638             }
639           while (nbytes);
640           nbytes = p - buf;
641         }
642       *ret_len = nbytes;
643     }
644   else if (control == IOBUFCTRL_INIT)
645     {
646       a->eof_seen = 0;
647       a->keep_open = 0;
648       a->no_cache = 0;
649     }
650   else if (control == IOBUFCTRL_DESC)
651     {
652       *(char **) buf = "sock_filter";
653     }
654   else if (control == IOBUFCTRL_FREE)
655     {
656       if (!a->keep_open)
657         closesocket (a->sock);
658       xfree (a);                /* we can free our context now */
659     }
660   return rc;
661 }
662 #endif /*HAVE_W32_SYSTEM*/
663
664 /****************
665  * This is used to implement the block write mode.
666  * Block reading is done on a byte by byte basis in readbyte(),
667  * without a filter
668  */
669 static int
670 block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
671               size_t * ret_len)
672 {
673   block_filter_ctx_t *a = opaque;
674   char *buf = (char *)buffer;
675   size_t size = *ret_len;
676   int c, needed, rc = 0;
677   char *p;
678
679   if (control == IOBUFCTRL_UNDERFLOW)
680     {
681       size_t n = 0;
682
683       p = buf;
684       assert (size);            /* need a buffer */
685       if (a->eof)               /* don't read any further */
686         rc = -1;
687       while (!rc && size)
688         {
689           if (!a->size)
690             {                   /* get the length bytes */
691               if (a->partial == 2)
692                 {
693                   a->eof = 1;
694                   if (!n)
695                     rc = -1;
696                   break;
697                 }
698               else if (a->partial)
699                 {
700                   /* These OpenPGP introduced huffman like encoded length
701                    * bytes are really a mess :-( */
702                   if (a->first_c)
703                     {
704                       c = a->first_c;
705                       a->first_c = 0;
706                     }
707                   else if ((c = iobuf_get (chain)) == -1)
708                     {
709                       log_error ("block_filter: 1st length byte missing\n");
710                       rc = GPG_ERR_BAD_DATA;
711                       break;
712                     }
713                   if (c < 192)
714                     {
715                       a->size = c;
716                       a->partial = 2;
717                       if (!a->size)
718                         {
719                           a->eof = 1;
720                           if (!n)
721                             rc = -1;
722                           break;
723                         }
724                     }
725                   else if (c < 224)
726                     {
727                       a->size = (c - 192) * 256;
728                       if ((c = iobuf_get (chain)) == -1)
729                         {
730                           log_error
731                             ("block_filter: 2nd length byte missing\n");
732                           rc = GPG_ERR_BAD_DATA;
733                           break;
734                         }
735                       a->size += c + 192;
736                       a->partial = 2;
737                       if (!a->size)
738                         {
739                           a->eof = 1;
740                           if (!n)
741                             rc = -1;
742                           break;
743                         }
744                     }
745                   else if (c == 255)
746                     {
747                       a->size = iobuf_get (chain) << 24;
748                       a->size |= iobuf_get (chain) << 16;
749                       a->size |= iobuf_get (chain) << 8;
750                       if ((c = iobuf_get (chain)) == -1)
751                         {
752                           log_error ("block_filter: invalid 4 byte length\n");
753                           rc = GPG_ERR_BAD_DATA;
754                           break;
755                         }
756                       a->size |= c;
757                       a->partial = 2;
758                       if (!a->size)
759                         {
760                           a->eof = 1;
761                           if (!n)
762                             rc = -1;
763                           break;
764                         }
765                     }
766                   else
767                     { /* Next partial body length. */
768                       a->size = 1 << (c & 0x1f);
769                     }
770                   /*  log_debug("partial: ctx=%p c=%02x size=%u\n", a, c, a->size); */
771                 }
772               else
773                 BUG (); 
774             }
775
776           while (!rc && size && a->size)
777             {
778               needed = size < a->size ? size : a->size;
779               c = iobuf_read (chain, p, needed);
780               if (c < needed)
781                 {
782                   if (c == -1)
783                     c = 0;
784                   log_error
785                     ("block_filter %p: read error (size=%lu,a->size=%lu)\n",
786                      a, (ulong) size + c, (ulong) a->size + c);
787                   rc = GPG_ERR_BAD_DATA;
788                 }
789               else
790                 {
791                   size -= c;
792                   a->size -= c;
793                   p += c;
794                   n += c;
795                 }
796             }
797         }
798       *ret_len = n;
799     }
800   else if (control == IOBUFCTRL_FLUSH)
801     {
802       if (a->partial)
803         {                       /* the complicated openpgp scheme */
804           size_t blen, n, nbytes = size + a->buflen;
805
806           assert (a->buflen <= OP_MIN_PARTIAL_CHUNK);
807           if (nbytes < OP_MIN_PARTIAL_CHUNK)
808             {
809               /* not enough to write a partial block out; so we store it */
810               if (!a->buffer)
811                 a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
812               memcpy (a->buffer + a->buflen, buf, size);
813               a->buflen += size;
814             }
815           else
816             {                   /* okay, we can write out something */
817               /* do this in a loop to use the most efficient block lengths */
818               p = buf;
819               do
820                 {
821                   /* find the best matching block length - this is limited
822                    * by the size of the internal buffering */
823                   for (blen = OP_MIN_PARTIAL_CHUNK * 2,
824                        c = OP_MIN_PARTIAL_CHUNK_2POW + 1; blen <= nbytes;
825                        blen *= 2, c++)
826                     ;
827                   blen /= 2;
828                   c--;
829                   /* write the partial length header */
830                   assert (c <= 0x1f);   /*;-) */
831                   c |= 0xe0;
832                   iobuf_put (chain, c);
833                   if ((n = a->buflen))
834                     {           /* write stuff from the buffer */
835                       assert (n == OP_MIN_PARTIAL_CHUNK);
836                       if (iobuf_write (chain, a->buffer, n))
837                         rc = gpg_error_from_syserror ();
838                       a->buflen = 0;
839                       nbytes -= n;
840                     }
841                   if ((n = nbytes) > blen)
842                     n = blen;
843                   if (n && iobuf_write (chain, p, n))
844                     rc = gpg_error_from_syserror ();
845                   p += n;
846                   nbytes -= n;
847                 }
848               while (!rc && nbytes >= OP_MIN_PARTIAL_CHUNK);
849               /* store the rest in the buffer */
850               if (!rc && nbytes)
851                 {
852                   assert (!a->buflen);
853                   assert (nbytes < OP_MIN_PARTIAL_CHUNK);
854                   if (!a->buffer)
855                     a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
856                   memcpy (a->buffer, p, nbytes);
857                   a->buflen = nbytes;
858                 }
859             }
860         }
861       else
862         BUG ();
863     }
864   else if (control == IOBUFCTRL_INIT)
865     {
866       if (DBG_IOBUF)
867         log_debug ("init block_filter %p\n", a);
868       if (a->partial)
869         a->count = 0;
870       else if (a->use == 1)
871         a->count = a->size = 0;
872       else
873         a->count = a->size;     /* force first length bytes */
874       a->eof = 0;
875       a->buffer = NULL;
876       a->buflen = 0;
877     }
878   else if (control == IOBUFCTRL_DESC)
879     {
880       *(char **) buf = "block_filter";
881     }
882   else if (control == IOBUFCTRL_FREE)
883     {
884       if (a->use == 2)
885         {                       /* write the end markers */
886           if (a->partial)
887             {
888               u32 len;
889               /* write out the remaining bytes without a partial header
890                * the length of this header may be 0 - but if it is
891                * the first block we are not allowed to use a partial header
892                * and frankly we can't do so, because this length must be
893                * a power of 2. This is _really_ complicated because we
894                * have to check the possible length of a packet prior
895                * to it's creation: a chain of filters becomes complicated
896                * and we need a lot of code to handle compressed packets etc.
897                *   :-(((((((
898                */
899               /* construct header */
900               len = a->buflen;
901               /*log_debug("partial: remaining length=%u\n", len ); */
902               if (len < 192)
903                 rc = iobuf_put (chain, len);
904               else if (len < 8384)
905                 {
906                   if (!(rc = iobuf_put (chain, ((len - 192) / 256) + 192)))
907                     rc = iobuf_put (chain, ((len - 192) % 256));
908                 }
909               else
910                 {               /* use a 4 byte header */
911                   if (!(rc = iobuf_put (chain, 0xff)))
912                     if (!(rc = iobuf_put (chain, (len >> 24) & 0xff)))
913                       if (!(rc = iobuf_put (chain, (len >> 16) & 0xff)))
914                         if (!(rc = iobuf_put (chain, (len >> 8) & 0xff)))
915                           rc = iobuf_put (chain, len & 0xff);
916                 }
917               if (!rc && len)
918                 rc = iobuf_write (chain, a->buffer, len);
919               if (rc)
920                 {
921                   log_error ("block_filter: write error: %s\n",
922                              strerror (errno));
923                   rc = gpg_error_from_syserror ();
924                 }
925               xfree (a->buffer);
926               a->buffer = NULL;
927               a->buflen = 0;
928             }
929           else
930             BUG ();
931         }
932       else if (a->size)
933         {
934           log_error ("block_filter: pending bytes!\n");
935         }
936       if (DBG_IOBUF)
937         log_debug ("free block_filter %p\n", a);
938       xfree (a);                /* we can free our context now */
939     }
940
941   return rc;
942 }
943
944
945 static void
946 print_chain (iobuf_t a)
947 {
948   if (!DBG_IOBUF)
949     return;
950   for (; a; a = a->chain)
951     {
952       size_t dummy_len = 0;
953       const char *desc = "[none]";
954
955       if (a->filter)
956         a->filter (a->filter_ov, IOBUFCTRL_DESC, NULL,
957                    (byte *) & desc, &dummy_len);
958
959       log_debug ("iobuf chain: %d.%d `%s' filter_eof=%d start=%d len=%d\n",
960                  a->no, a->subno, desc?desc:"?", a->filter_eof,
961                  (int) a->d.start, (int) a->d.len);
962     }
963 }
964
965 int
966 iobuf_print_chain (iobuf_t a)
967 {
968   print_chain (a);
969   return 0;
970 }
971
972 /****************
973  * Allocate a new io buffer, with no function assigned.
974  * Use is the desired usage: 1 for input, 2 for output, 3 for temp buffer
975  * BUFSIZE is a suggested buffer size.
976  */
977 iobuf_t
978 iobuf_alloc (int use, size_t bufsize)
979 {
980   iobuf_t a;
981   static int number = 0;
982
983   a = xcalloc (1, sizeof *a);
984   a->use = use;
985   a->d.buf = xmalloc (bufsize);
986   a->d.size = bufsize;
987   a->no = ++number;
988   a->subno = 0;
989   a->opaque = NULL;
990   a->real_fname = NULL;
991   return a;
992 }
993
994 int
995 iobuf_close (iobuf_t a)
996 {
997   iobuf_t a2;
998   size_t dummy_len = 0;
999   int rc = 0;
1000
1001   if (a && a->directfp)
1002     {
1003       fclose (a->directfp);
1004       xfree (a->real_fname);
1005       if (DBG_IOBUF)
1006         log_debug ("iobuf_close -> %p\n", a->directfp);
1007       return 0;
1008     }
1009
1010   for (; a && !rc; a = a2)
1011     {
1012       a2 = a->chain;
1013       if (a->use == 2 && (rc = iobuf_flush (a)))
1014         log_error ("iobuf_flush failed on close: %s\n", gpg_strerror (rc));
1015
1016       if (DBG_IOBUF)
1017         log_debug ("iobuf-%d.%d: close `%s'\n", a->no, a->subno,
1018                    a->desc?a->desc:"?");
1019       if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_FREE,
1020                                         a->chain, NULL, &dummy_len)))
1021         log_error ("IOBUFCTRL_FREE failed on close: %s\n", gpg_strerror (rc));
1022       xfree (a->real_fname);
1023       if (a->d.buf)
1024         {
1025           memset (a->d.buf, 0, a->d.size);      /* erase the buffer */
1026           xfree (a->d.buf);
1027         }
1028       xfree (a);
1029     }
1030   return rc;
1031 }
1032
1033 int
1034 iobuf_cancel (iobuf_t a)
1035 {
1036   const char *s;
1037   iobuf_t a2;
1038   int rc;
1039 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1040   char *remove_name = NULL;
1041 #endif
1042
1043   if (a && a->use == 2)
1044     {
1045       s = iobuf_get_real_fname (a);
1046       if (s && *s)
1047         {
1048 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1049           remove_name = xstrdup (s);
1050 #else
1051           remove (s);
1052 #endif
1053         }
1054     }
1055
1056   /* send a cancel message to all filters */
1057   for (a2 = a; a2; a2 = a2->chain)
1058     {
1059       size_t dummy;
1060       if (a2->filter)
1061         a2->filter (a2->filter_ov, IOBUFCTRL_CANCEL, a2->chain, NULL, &dummy);
1062     }
1063
1064   rc = iobuf_close (a);
1065 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1066   if (remove_name)
1067     {
1068       /* Argg, MSDOS does not allow to remove open files.  So
1069        * we have to do it here */
1070 #ifdef HAVE_W32CE_SYSTEM
1071       wchar_t *wtmp = utf8_to_wchar (remove_name);
1072       if (wtmp)
1073         DeleteFile (wtmp);
1074       xfree (wtmp);
1075 #else
1076       remove (remove_name);
1077 #endif
1078       xfree (remove_name);
1079     }
1080 #endif
1081   return rc;
1082 }
1083
1084
1085 /****************
1086  * create a temporary iobuf, which can be used to collect stuff
1087  * in an iobuf and later be written by iobuf_write_temp() to another
1088  * iobuf.
1089  */
1090 iobuf_t
1091 iobuf_temp ()
1092 {
1093   iobuf_t a;
1094
1095   a = iobuf_alloc (3, IOBUF_BUFFER_SIZE);
1096
1097   return a;
1098 }
1099
1100 iobuf_t
1101 iobuf_temp_with_content (const char *buffer, size_t length)
1102 {
1103   iobuf_t a;
1104
1105   a = iobuf_alloc (3, length);
1106   memcpy (a->d.buf, buffer, length);
1107   a->d.len = length;
1108
1109   return a;
1110 }
1111
1112 void
1113 iobuf_enable_special_filenames (int yes)
1114 {
1115   special_names_enabled = yes;
1116 }
1117
1118
1119 /* See whether the filename has the form "-&nnnn", where n is a
1120    non-zero number.  Returns this number or -1 if it is not the
1121    case.  */
1122 static int
1123 check_special_filename (const char *fname)
1124 {
1125   if (special_names_enabled && fname && *fname == '-' && fname[1] == '&')
1126     {
1127       int i;
1128
1129       fname += 2;
1130       for (i = 0; digitp (fname+i); i++)
1131         ;
1132       if (!fname[i])
1133         return atoi (fname);
1134     }
1135   return -1;
1136 }
1137
1138
1139 /* This fucntion returns true if FNAME indicates a PIPE (stdout or
1140    stderr) or a special file name if those are enabled. */
1141 int
1142 iobuf_is_pipe_filename (const char *fname)
1143 {
1144   if (!fname || (*fname=='-' && !fname[1]) )
1145     return 1;
1146   return check_special_filename (fname) != -1;
1147 }
1148
1149
1150 /* Either open the file specified by the file descriptor FD or - if FD
1151    is -1, the file with name FNAME.  As of now MODE is assumed to be
1152    "rb" if FNAME is used.  In contrast to iobuf_fdopen the file
1153    descriptor FD will not be closed during an iobuf_close.  */
1154 iobuf_t
1155 iobuf_open_fd_or_name (gnupg_fd_t fd, const char *fname, const char *mode)
1156 {
1157   iobuf_t a;
1158
1159   if (fd == -1)
1160     a = iobuf_open (fname);
1161   else
1162     {
1163       int fd2;
1164
1165       fd2 = dup (fd);
1166       if (fd2 == -1)
1167         a = NULL;
1168       else
1169         a = iobuf_fdopen (fd2, mode);
1170     }
1171   return a;
1172 }
1173
1174
1175 /****************
1176  * Create a head iobuf for reading from a file
1177  * returns: NULL if an error occures and sets errno
1178  */
1179 iobuf_t
1180 iobuf_open (const char *fname)
1181 {
1182   iobuf_t a;
1183   gnupg_fd_t fp;
1184   file_filter_ctx_t *fcx;
1185   size_t len;
1186   int print_only = 0;
1187   int fd;
1188
1189   if (!fname || (*fname == '-' && !fname[1]))
1190     {
1191       fp = FD_FOR_STDIN;
1192       fname = "[stdin]";
1193       print_only = 1;
1194     }
1195   else if ((fd = check_special_filename (fname)) != -1)
1196     return iobuf_fdopen (translate_file_handle (fd, 0), "rb");
1197   else if ((fp = fd_cache_open (fname, "rb")) == GNUPG_INVALID_FD)
1198     return NULL;
1199   a = iobuf_alloc (1, IOBUF_BUFFER_SIZE);
1200   fcx = xmalloc (sizeof *fcx + strlen (fname));
1201   fcx->fp = fp;
1202   fcx->print_only_name = print_only;
1203   strcpy (fcx->fname, fname);
1204   if (!print_only)
1205     a->real_fname = xstrdup (fname);
1206   a->filter = file_filter;
1207   a->filter_ov = fcx;
1208   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1209   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1210   if (DBG_IOBUF)
1211     log_debug ("iobuf-%d.%d: open `%s' fd=%d\n",
1212                a->no, a->subno, fname, FD2INT (fcx->fp));
1213
1214   return a;
1215 }
1216
1217 /****************
1218  * Create a head iobuf for reading or writing from/to a file
1219  * Returns: NULL if an error occures and sets ERRNO.
1220  */
1221 iobuf_t
1222 iobuf_fdopen (int fd, const char *mode)
1223 {
1224   iobuf_t a;
1225   gnupg_fd_t fp;
1226   file_filter_ctx_t *fcx;
1227   size_t len;
1228
1229   fp = (gnupg_fd_t) fd;
1230
1231   a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, IOBUF_BUFFER_SIZE);
1232   fcx = xmalloc (sizeof *fcx + 20);
1233   fcx->fp = fp;
1234   fcx->print_only_name = 1;
1235   sprintf (fcx->fname, "[fd %d]", fd);
1236   a->filter = file_filter;
1237   a->filter_ov = fcx;
1238   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1239   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1240   if (DBG_IOBUF)
1241     log_debug ("iobuf-%d.%d: fdopen `%s'\n", a->no, a->subno, fcx->fname);
1242   iobuf_ioctl (a, 3, 1, NULL);  /* disable fd caching */
1243   return a;
1244 }
1245
1246
1247 iobuf_t
1248 iobuf_sockopen (int fd, const char *mode)
1249 {
1250   iobuf_t a;
1251 #ifdef HAVE_W32_SYSTEM
1252   sock_filter_ctx_t *scx;
1253   size_t len;
1254
1255   a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, IOBUF_BUFFER_SIZE);
1256   scx = xmalloc (sizeof *scx + 25);
1257   scx->sock = fd;
1258   scx->print_only_name = 1;
1259   sprintf (scx->fname, "[sock %d]", fd);
1260   a->filter = sock_filter;
1261   a->filter_ov = scx;
1262   sock_filter (scx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1263   sock_filter (scx, IOBUFCTRL_INIT, NULL, NULL, &len);
1264   if (DBG_IOBUF)
1265     log_debug ("iobuf-%d.%d: sockopen `%s'\n", a->no, a->subno, scx->fname);
1266   iobuf_ioctl (a, 3, 1, NULL);  /* disable fd caching */
1267 #else
1268   a = iobuf_fdopen (fd, mode);
1269 #endif
1270   return a;
1271 }
1272
1273 /****************
1274  * create an iobuf for writing to a file; the file will be created.
1275  */
1276 iobuf_t
1277 iobuf_create (const char *fname)
1278 {
1279   iobuf_t a;
1280   gnupg_fd_t fp;
1281   file_filter_ctx_t *fcx;
1282   size_t len;
1283   int print_only = 0;
1284   int fd;
1285
1286   if (!fname || (*fname == '-' && !fname[1]))
1287     {
1288       fp = FD_FOR_STDOUT;
1289       fname = "[stdout]";
1290       print_only = 1;
1291     }
1292   else if ((fd = check_special_filename (fname)) != -1)
1293     return iobuf_fdopen (translate_file_handle (fd, 1), "wb");
1294   else if ((fp = direct_open (fname, "wb")) == GNUPG_INVALID_FD)
1295     return NULL;
1296   a = iobuf_alloc (2, IOBUF_BUFFER_SIZE);
1297   fcx = xmalloc (sizeof *fcx + strlen (fname));
1298   fcx->fp = fp;
1299   fcx->print_only_name = print_only;
1300   strcpy (fcx->fname, fname);
1301   if (!print_only)
1302     a->real_fname = xstrdup (fname);
1303   a->filter = file_filter;
1304   a->filter_ov = fcx;
1305   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1306   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1307   if (DBG_IOBUF)
1308     log_debug ("iobuf-%d.%d: create `%s'\n", a->no, a->subno,
1309                a->desc?a->desc:"?");
1310
1311   return a;
1312 }
1313
1314 /****************
1315  * append to an iobuf; if the file does not exist, create it.
1316  * cannot be used for stdout.
1317  * Note: This is not used.
1318  */
1319 #if 0                           /* not used */
1320 iobuf_t
1321 iobuf_append (const char *fname)
1322 {
1323   iobuf_t a;
1324   FILE *fp;
1325   file_filter_ctx_t *fcx;
1326   size_t len;
1327
1328   if (!fname)
1329     return NULL;
1330   else if (!(fp = direct_open (fname, "ab")))
1331     return NULL;
1332   a = iobuf_alloc (2, IOBUF_BUFFER_SIZE);
1333   fcx = m_alloc (sizeof *fcx + strlen (fname));
1334   fcx->fp = fp;
1335   strcpy (fcx->fname, fname);
1336   a->real_fname = m_strdup (fname);
1337   a->filter = file_filter;
1338   a->filter_ov = fcx;
1339   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1340   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1341   if (DBG_IOBUF)
1342     log_debug ("iobuf-%d.%d: append `%s'\n", a->no, a->subno,
1343                a->desc?a->desc:"?");
1344
1345   return a;
1346 }
1347 #endif
1348
1349 iobuf_t
1350 iobuf_openrw (const char *fname)
1351 {
1352   iobuf_t a;
1353   gnupg_fd_t fp;
1354   file_filter_ctx_t *fcx;
1355   size_t len;
1356
1357   if (!fname)
1358     return NULL;
1359   else if ((fp = direct_open (fname, "r+b")) == GNUPG_INVALID_FD)
1360     return NULL;
1361   a = iobuf_alloc (2, IOBUF_BUFFER_SIZE);
1362   fcx = xmalloc (sizeof *fcx + strlen (fname));
1363   fcx->fp = fp;
1364   strcpy (fcx->fname, fname);
1365   a->real_fname = xstrdup (fname);
1366   a->filter = file_filter;
1367   a->filter_ov = fcx;
1368   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1369   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1370   if (DBG_IOBUF)
1371     log_debug ("iobuf-%d.%d: openrw `%s'\n", a->no, a->subno,
1372                a->desc?a->desc:"?");
1373
1374   return a;
1375 }
1376
1377
1378 int
1379 iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
1380 {
1381   if (cmd == 1)
1382     {                           /* keep system filepointer/descriptor open */
1383       if (DBG_IOBUF)
1384         log_debug ("iobuf-%d.%d: ioctl `%s' keep=%d\n",
1385                    a ? a->no : -1, a ? a->subno : -1, 
1386                    a && a->desc ? a->desc : "?",
1387                    intval);
1388       for (; a; a = a->chain)
1389         if (!a->chain && a->filter == file_filter)
1390           {
1391             file_filter_ctx_t *b = a->filter_ov;
1392             b->keep_open = intval;
1393             return 0;
1394           }
1395 #ifdef HAVE_W32_SYSTEM
1396         else if (!a->chain && a->filter == sock_filter)
1397           {
1398             sock_filter_ctx_t *b = a->filter_ov;
1399             b->keep_open = intval;
1400             return 0;
1401           }
1402 #endif
1403     }
1404   else if (cmd == 2)
1405     {                           /* invalidate cache */
1406       if (DBG_IOBUF)
1407         log_debug ("iobuf-*.*: ioctl `%s' invalidate\n",
1408                    ptrval ? (char *) ptrval : "?");
1409       if (!a && !intval && ptrval)
1410         {
1411           if (fd_cache_invalidate (ptrval))
1412             return -1;
1413           return 0;
1414         }
1415     }
1416   else if (cmd == 3)
1417     {                           /* disallow/allow caching */
1418       if (DBG_IOBUF)
1419         log_debug ("iobuf-%d.%d: ioctl `%s' no_cache=%d\n",
1420                    a ? a->no : -1, a ? a->subno : -1, 
1421                    a && a->desc? a->desc : "?",
1422                    intval);
1423       for (; a; a = a->chain)
1424         if (!a->chain && a->filter == file_filter)
1425           {
1426             file_filter_ctx_t *b = a->filter_ov;
1427             b->no_cache = intval;
1428             return 0;
1429           }
1430 #ifdef HAVE_W32_SYSTEM
1431         else if (!a->chain && a->filter == sock_filter)
1432           {
1433             sock_filter_ctx_t *b = a->filter_ov;
1434             b->no_cache = intval;
1435             return 0;
1436           }
1437 #endif
1438     }
1439   else if (cmd == 4)
1440     {
1441       /* Do a fsync on the open fd and return any errors to the caller
1442          of iobuf_ioctl.  Note that we work on a file name here. */
1443       if (DBG_IOBUF)
1444         log_debug ("iobuf-*.*: ioctl `%s' fsync\n",
1445                    ptrval? (const char*)ptrval:"<null>");
1446
1447         if (!a && !intval && ptrval)
1448           {
1449             return fd_cache_synchronize (ptrval);
1450           }
1451       }
1452
1453
1454   return -1;
1455 }
1456
1457
1458 /****************
1459  * Register an i/o filter.
1460  */
1461 int
1462 iobuf_push_filter (iobuf_t a,
1463                    int (*f) (void *opaque, int control,
1464                              iobuf_t chain, byte * buf, size_t * len),
1465                    void *ov)
1466 {
1467   return iobuf_push_filter2 (a, f, ov, 0);
1468 }
1469
1470 int
1471 iobuf_push_filter2 (iobuf_t a,
1472                     int (*f) (void *opaque, int control,
1473                               iobuf_t chain, byte * buf, size_t * len),
1474                     void *ov, int rel_ov)
1475 {
1476   iobuf_t b;
1477   size_t dummy_len = 0;
1478   int rc = 0;
1479
1480   if (a->directfp)
1481     BUG ();
1482
1483   if (a->use == 2 && (rc = iobuf_flush (a)))
1484     return rc;
1485   /* make a copy of the current stream, so that
1486    * A is the new stream and B the original one.
1487    * The contents of the buffers are transferred to the
1488    * new stream.
1489    */
1490   b = xmalloc (sizeof *b);
1491   memcpy (b, a, sizeof *b);
1492   /* fixme: it is stupid to keep a copy of the name at every level
1493    * but we need the name somewhere because the name known by file_filter
1494    * may have been released when we need the name of the file */
1495   b->real_fname = a->real_fname ? xstrdup (a->real_fname) : NULL;
1496   /* remove the filter stuff from the new stream */
1497   a->filter = NULL;
1498   a->filter_ov = NULL;
1499   a->filter_ov_owner = 0;
1500   a->filter_eof = 0;
1501   if (a->use == 3)
1502     a->use = 2;                 /* make a write stream from a temp stream */
1503
1504   if (a->use == 2)
1505     {                           /* allocate a fresh buffer for the
1506                                    original stream */
1507       b->d.buf = xmalloc (a->d.size);
1508       b->d.len = 0;
1509       b->d.start = 0;
1510     }
1511   else
1512     {                           /* allocate a fresh buffer for the new
1513                                    stream */
1514       a->d.buf = xmalloc (a->d.size);
1515       a->d.len = 0;
1516       a->d.start = 0;
1517     }
1518   /* disable nlimit for the new stream */
1519   a->ntotal = b->ntotal + b->nbytes;
1520   a->nlimit = a->nbytes = 0;
1521   a->nofast &= ~1;
1522   /* make a link from the new stream to the original stream */
1523   a->chain = b;
1524   a->opaque = b->opaque;
1525
1526   /* setup the function on the new stream */
1527   a->filter = f;
1528   a->filter_ov = ov;
1529   a->filter_ov_owner = rel_ov;
1530
1531   a->subno = b->subno + 1;
1532   f (ov, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &dummy_len);
1533
1534   if (DBG_IOBUF)
1535     {
1536       log_debug ("iobuf-%d.%d: push `%s'\n", a->no, a->subno, 
1537                  a->desc?a->desc:"?");
1538       print_chain (a);
1539     }
1540
1541   /* now we can initialize the new function if we have one */
1542   if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_INIT, a->chain,
1543                                     NULL, &dummy_len)))
1544     log_error ("IOBUFCTRL_INIT failed: %s\n", gpg_strerror (rc));
1545   return rc;
1546 }
1547
1548 /****************
1549  * Remove an i/o filter.
1550  */
1551 static int
1552 pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
1553                                iobuf_t chain, byte * buf, size_t * len),
1554             void *ov)
1555 {
1556   iobuf_t b;
1557   size_t dummy_len = 0;
1558   int rc = 0;
1559
1560   if (a->directfp)
1561     BUG ();
1562
1563   if (DBG_IOBUF)
1564     log_debug ("iobuf-%d.%d: pop `%s'\n", a->no, a->subno,
1565                a->desc?a->desc:"?");
1566   if (!a->filter)
1567     {                           /* this is simple */
1568       b = a->chain;
1569       assert (b);
1570       xfree (a->d.buf);
1571       xfree (a->real_fname);
1572       memcpy (a, b, sizeof *a);
1573       xfree (b);
1574       return 0;
1575     }
1576   for (b = a; b; b = b->chain)
1577     if (b->filter == f && (!ov || b->filter_ov == ov))
1578       break;
1579   if (!b)
1580     log_bug ("pop_filter(): filter function not found\n");
1581
1582   /* flush this stream if it is an output stream */
1583   if (a->use == 2 && (rc = iobuf_flush (b)))
1584     {
1585       log_error ("iobuf_flush failed in pop_filter: %s\n", gpg_strerror (rc));
1586       return rc;
1587     }
1588   /* and tell the filter to free it self */
1589   if (b->filter && (rc = b->filter (b->filter_ov, IOBUFCTRL_FREE, b->chain,
1590                                     NULL, &dummy_len)))
1591     {
1592       log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1593       return rc;
1594     }
1595   if (b->filter_ov && b->filter_ov_owner)
1596     {
1597       xfree (b->filter_ov);
1598       b->filter_ov = NULL;
1599     }
1600
1601
1602   /* and see how to remove it */
1603   if (a == b && !b->chain)
1604     log_bug ("can't remove the last filter from the chain\n");
1605   else if (a == b)
1606     {                           /* remove the first iobuf from the chain */
1607       /* everything from b is copied to a. This is save because
1608        * a flush has been done on the to be removed entry
1609        */
1610       b = a->chain;
1611       xfree (a->d.buf);
1612       xfree (a->real_fname);
1613       memcpy (a, b, sizeof *a);
1614       xfree (b);
1615       if (DBG_IOBUF)
1616         log_debug ("iobuf-%d.%d: popped filter\n", a->no, a->subno);
1617     }
1618   else if (!b->chain)
1619     {                           /* remove the last iobuf from the chain */
1620       log_bug ("Ohh jeee, trying to remove a head filter\n");
1621     }
1622   else
1623     {                           /* remove an intermediate iobuf from the chain */
1624       log_bug ("Ohh jeee, trying to remove an intermediate filter\n");
1625     }
1626
1627   return rc;
1628 }
1629
1630
1631 /****************
1632  * read underflow: read more bytes into the buffer and return
1633  * the first byte or -1 on EOF.
1634  */
1635 static int
1636 underflow (iobuf_t a)
1637 {
1638   size_t len;
1639   int rc;
1640
1641   assert (a->d.start == a->d.len);
1642   if (a->use == 3)
1643     return -1;                  /* EOF because a temp buffer can't do an underflow */
1644
1645   if (a->filter_eof)
1646     {
1647       if (a->chain)
1648         {
1649           iobuf_t b = a->chain;
1650           if (DBG_IOBUF)
1651             log_debug ("iobuf-%d.%d: pop `%s' in underflow\n",
1652                        a->no, a->subno, a->desc?a->desc:"?");
1653           xfree (a->d.buf);
1654           xfree (a->real_fname);
1655           memcpy (a, b, sizeof *a);
1656           xfree (b);
1657           print_chain (a);
1658         }
1659       else
1660         a->filter_eof = 0;      /* for the top level filter */
1661       if (DBG_IOBUF)
1662         log_debug ("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
1663                    a->no, a->subno);
1664       return -1;                /* return one(!) EOF */
1665     }
1666   if (a->error)
1667     {
1668       if (DBG_IOBUF)
1669         log_debug ("iobuf-%d.%d: error\n", a->no, a->subno);
1670       return -1;
1671     }
1672
1673   if (a->directfp)
1674     {
1675       FILE *fp = a->directfp;
1676
1677       len = fread (a->d.buf, 1, a->d.size, fp);
1678       if (len < a->d.size)
1679         {
1680           if (ferror (fp))
1681             a->error = gpg_error_from_syserror ();
1682         }
1683       a->d.len = len;
1684       a->d.start = 0;
1685       return len ? a->d.buf[a->d.start++] : -1;
1686     }
1687
1688
1689   if (a->filter)
1690     {
1691       len = a->d.size;
1692       if (DBG_IOBUF)
1693         log_debug ("iobuf-%d.%d: underflow: req=%lu\n",
1694                    a->no, a->subno, (ulong) len);
1695       rc = a->filter (a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
1696                       a->d.buf, &len);
1697       if (DBG_IOBUF)
1698         {
1699           log_debug ("iobuf-%d.%d: underflow: got=%lu rc=%d\n",
1700                      a->no, a->subno, (ulong) len, rc);
1701 /*          if( a->no == 1 ) */
1702 /*                   log_hexdump ("     data:", a->d.buf, len); */
1703         }
1704       if (a->use == 1 && rc == -1)
1705         {                       /* EOF: we can remove the filter */
1706           size_t dummy_len = 0;
1707
1708           /* and tell the filter to free itself */
1709           if ((rc = a->filter (a->filter_ov, IOBUFCTRL_FREE, a->chain,
1710                                NULL, &dummy_len)))
1711             log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1712           if (a->filter_ov && a->filter_ov_owner)
1713             {
1714               xfree (a->filter_ov);
1715               a->filter_ov = NULL;
1716             }
1717           a->filter = NULL;
1718           a->desc = NULL;
1719           a->filter_ov = NULL;
1720           a->filter_eof = 1;
1721           if (!len && a->chain)
1722             {
1723               iobuf_t b = a->chain;
1724               if (DBG_IOBUF)
1725                 log_debug ("iobuf-%d.%d: pop in underflow (!len)\n",
1726                            a->no, a->subno);
1727               xfree (a->d.buf);
1728               xfree (a->real_fname);
1729               memcpy (a, b, sizeof *a);
1730               xfree (b);
1731               print_chain (a);
1732             }
1733         }
1734       else if (rc)
1735         a->error = rc;
1736
1737       if (!len)
1738         {
1739           if (DBG_IOBUF)
1740             log_debug ("iobuf-%d.%d: underflow: eof\n", a->no, a->subno);
1741           return -1;
1742         }
1743       a->d.len = len;
1744       a->d.start = 0;
1745       return a->d.buf[a->d.start++];
1746     }
1747   else
1748     {
1749       if (DBG_IOBUF)
1750         log_debug ("iobuf-%d.%d: underflow: eof (no filter)\n",
1751                    a->no, a->subno);
1752       return -1;                /* no filter; return EOF */
1753     }
1754 }
1755
1756
1757 int
1758 iobuf_flush (iobuf_t a)
1759 {
1760   size_t len;
1761   int rc;
1762
1763   if (a->directfp)
1764     return 0;
1765
1766   if (a->use == 3)
1767     {                           /* increase the temp buffer */
1768       unsigned char *newbuf;
1769       size_t newsize = a->d.size + IOBUF_BUFFER_SIZE;
1770
1771       if (DBG_IOBUF)
1772         log_debug ("increasing temp iobuf from %lu to %lu\n",
1773                    (ulong) a->d.size, (ulong) newsize);
1774       newbuf = xmalloc (newsize);
1775       memcpy (newbuf, a->d.buf, a->d.len);
1776       xfree (a->d.buf);
1777       a->d.buf = newbuf;
1778       a->d.size = newsize;
1779       return 0;
1780     }
1781   else if (a->use != 2)
1782     log_bug ("flush on non-output iobuf\n");
1783   else if (!a->filter)
1784     log_bug ("iobuf_flush: no filter\n");
1785   len = a->d.len;
1786   rc = a->filter (a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len);
1787   if (!rc && len != a->d.len)
1788     {
1789       log_info ("iobuf_flush did not write all!\n");
1790       rc = GPG_ERR_INTERNAL;
1791     }
1792   else if (rc)
1793     a->error = rc;
1794   a->d.len = 0;
1795
1796   return rc;
1797 }
1798
1799
1800 /****************
1801  * Read a byte from the iobuf; returns -1 on EOF
1802  */
1803 int
1804 iobuf_readbyte (iobuf_t a)
1805 {
1806   int c;
1807
1808   if (a->nlimit && a->nbytes >= a->nlimit)
1809     return -1;                  /* forced EOF */
1810
1811   if (a->d.start < a->d.len)
1812     {
1813       c = a->d.buf[a->d.start++];
1814     }
1815   else if ((c = underflow (a)) == -1)
1816     return -1;                  /* EOF */
1817
1818   a->nbytes++;
1819   return c;
1820 }
1821
1822
1823 int
1824 iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
1825 {
1826   unsigned char *buf = (unsigned char *)buffer;
1827   int c, n;
1828
1829   if (a->nlimit)
1830     {
1831       /* Handle special cases. */
1832       for (n = 0; n < buflen; n++)
1833         {
1834           if ((c = iobuf_readbyte (a)) == -1)
1835             {
1836               if (!n)
1837                 return -1;      /* eof */
1838               break;
1839             }
1840           else if (buf)
1841             *buf = c;
1842           if (buf)
1843             buf++;
1844         }
1845       return n;
1846     }
1847
1848   n = 0;
1849   do
1850     {
1851       if (n < buflen && a->d.start < a->d.len)
1852         {
1853           unsigned size = a->d.len - a->d.start;
1854           if (size > buflen - n)
1855             size = buflen - n;
1856           if (buf)
1857             memcpy (buf, a->d.buf + a->d.start, size);
1858           n += size;
1859           a->d.start += size;
1860           if (buf)
1861             buf += size;
1862         }
1863       if (n < buflen)
1864         {
1865           if ((c = underflow (a)) == -1)
1866             {
1867               a->nbytes += n;
1868               return n ? n : -1 /*EOF*/;
1869             }
1870           if (buf)
1871             *buf++ = c;
1872           n++;
1873         }
1874     }
1875   while (n < buflen);
1876   a->nbytes += n;
1877   return n;
1878 }
1879
1880
1881
1882 /****************
1883  * Have a look at the iobuf.
1884  * NOTE: This only works in special cases.
1885  */
1886 int
1887 iobuf_peek (iobuf_t a, byte * buf, unsigned buflen)
1888 {
1889   int n = 0;
1890
1891   if (a->filter_eof)
1892     return -1;
1893
1894   if (!(a->d.start < a->d.len))
1895     {
1896       if (underflow (a) == -1)
1897         return -1;
1898       /* And unget this character. */
1899       assert (a->d.start == 1);
1900       a->d.start = 0;
1901     }
1902
1903   for (n = 0; n < buflen && (a->d.start + n) < a->d.len; n++, buf++)
1904     *buf = a->d.buf[n];
1905   return n;
1906 }
1907
1908
1909
1910
1911 int
1912 iobuf_writebyte (iobuf_t a, unsigned int c)
1913 {
1914   int rc;
1915
1916   if (a->directfp)
1917     BUG ();
1918
1919   if (a->d.len == a->d.size)
1920     if ((rc=iobuf_flush (a)))
1921       return rc;
1922
1923   assert (a->d.len < a->d.size);
1924   a->d.buf[a->d.len++] = c;
1925   return 0;
1926 }
1927
1928
1929 int
1930 iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
1931 {
1932   const unsigned char *buf = (const unsigned char *)buffer;
1933   int rc;
1934
1935   if (a->directfp)
1936     BUG ();
1937
1938   do
1939     {
1940       if (buflen && a->d.len < a->d.size)
1941         {
1942           unsigned size = a->d.size - a->d.len;
1943           if (size > buflen)
1944             size = buflen;
1945           memcpy (a->d.buf + a->d.len, buf, size);
1946           buflen -= size;
1947           buf += size;
1948           a->d.len += size;
1949         }
1950       if (buflen)
1951         {
1952           rc = iobuf_flush (a);
1953           if (rc)
1954             return rc;
1955         }
1956     }
1957   while (buflen);
1958   return 0;
1959 }
1960
1961
1962 int
1963 iobuf_writestr (iobuf_t a, const char *buf)
1964 {
1965   int rc;
1966
1967   for (; *buf; buf++)
1968     if ((rc=iobuf_writebyte (a, *buf)))
1969       return rc;
1970   return 0;
1971 }
1972
1973
1974
1975 /****************
1976  * copy the contents of TEMP to A.
1977  */
1978 int
1979 iobuf_write_temp (iobuf_t a, iobuf_t temp)
1980 {
1981   while (temp->chain)
1982     pop_filter (temp, temp->filter, NULL);
1983   return iobuf_write (a, temp->d.buf, temp->d.len);
1984 }
1985
1986 /****************
1987  * copy the contents of the temp io stream to BUFFER.
1988  */
1989 size_t
1990 iobuf_temp_to_buffer (iobuf_t a, byte * buffer, size_t buflen)
1991 {
1992   size_t n = a->d.len;
1993
1994   if (n > buflen)
1995     n = buflen;
1996   memcpy (buffer, a->d.buf, n);
1997   return n;
1998 }
1999
2000
2001 /****************
2002  * Call this function to terminate processing of the temp stream
2003  * without closing it.  This removes all filters from the stream
2004  * makes sure that iobuf_get_temp_{buffer,length}() returns correct
2005  * values.
2006  */
2007 void
2008 iobuf_flush_temp (iobuf_t temp)
2009 {
2010   while (temp->chain)
2011     pop_filter (temp, temp->filter, NULL);
2012 }
2013
2014
2015 /****************
2016  * Set a limit on how many bytes may be read from the input stream A.
2017  * Setting the limit to 0 disables this feature.
2018  */
2019 void
2020 iobuf_set_limit (iobuf_t a, off_t nlimit)
2021 {
2022   if (nlimit)
2023     a->nofast |= 1;
2024   else
2025     a->nofast &= ~1;
2026   a->nlimit = nlimit;
2027   a->ntotal += a->nbytes;
2028   a->nbytes = 0;
2029 }
2030
2031
2032
2033 /* Return the length of an open file A.  IF OVERFLOW is not NULL it
2034    will be set to true if the file is larger than what off_t can cope
2035    with.  The function return 0 on error or on overflow condition.  */
2036 off_t
2037 iobuf_get_filelength (iobuf_t a, int *overflow)
2038 {
2039   struct stat st;
2040
2041   if (overflow)
2042     *overflow = 0;
2043   
2044   if ( a->directfp )  
2045     {
2046       FILE *fp = a->directfp;
2047       
2048       if ( !fstat(fileno(fp), &st) )
2049         return st.st_size;
2050       log_error("fstat() failed: %s\n", strerror(errno) );
2051       return 0;
2052     }
2053   
2054   /* Hmmm: file_filter may have already been removed */
2055   for ( ; a; a = a->chain )
2056     if ( !a->chain && a->filter == file_filter )
2057       {
2058         file_filter_ctx_t *b = a->filter_ov;
2059         gnupg_fd_t fp = b->fp;
2060         
2061 #if defined(HAVE_W32_SYSTEM)
2062         ulong size;
2063         static int (* __stdcall get_file_size_ex) (void *handle,
2064                                                    LARGE_INTEGER *r_size);
2065         static int get_file_size_ex_initialized;
2066
2067         if (!get_file_size_ex_initialized)
2068           {
2069             void *handle;
2070             
2071             handle = dlopen ("kernel32.dll", RTLD_LAZY);
2072             if (handle)
2073               {
2074                 get_file_size_ex = dlsym (handle, "GetFileSizeEx");
2075                 if (!get_file_size_ex)
2076                   dlclose (handle);
2077               }
2078             get_file_size_ex_initialized = 1;
2079           }
2080         
2081         if (get_file_size_ex)
2082           {
2083             /* This is a newer system with GetFileSizeEx; we use this
2084                then because it seem that GetFileSize won't return a
2085                proper error in case a file is larger than 4GB. */
2086             LARGE_INTEGER exsize;
2087             
2088             if (get_file_size_ex (fp, &exsize))
2089               {
2090                 if (!exsize.u.HighPart)
2091                   return exsize.u.LowPart;
2092                 if (overflow)
2093                   *overflow = 1;
2094                 return 0; 
2095               }
2096           }
2097         else
2098           {
2099             if ((size=GetFileSize (fp, NULL)) != 0xffffffff)
2100               return size;
2101           }
2102         log_error ("GetFileSize for handle %p failed: %s\n",
2103                    fp, w32_strerror (0));
2104 #else
2105         if ( !fstat (FD2INT (fp), &st) )
2106           return st.st_size;
2107         log_error("fstat() failed: %s\n", strerror(errno) );
2108 #endif
2109         break/*the for loop*/;
2110       }
2111   
2112     return 0;
2113 }
2114
2115
2116 /* Return the file descriptor of the underlying file or -1 if it is
2117    not available.  */
2118 int 
2119 iobuf_get_fd (iobuf_t a)
2120 {
2121   if (a->directfp)
2122     return fileno ( (FILE*)a->directfp );
2123
2124   for ( ; a; a = a->chain )
2125     if (!a->chain && a->filter == file_filter)
2126       {
2127         file_filter_ctx_t *b = a->filter_ov;
2128         gnupg_fd_t fp = b->fp;
2129
2130         return FD2INT (fp);
2131       }
2132
2133   return -1;
2134 }
2135
2136
2137
2138 /****************
2139  * Tell the file position, where the next read will take place
2140  */
2141 off_t
2142 iobuf_tell (iobuf_t a)
2143 {
2144   return a->ntotal + a->nbytes;
2145 }
2146
2147
2148 #if !defined(HAVE_FSEEKO) && !defined(fseeko)
2149
2150 #ifdef HAVE_LIMITS_H
2151 # include <limits.h>
2152 #endif
2153 #ifndef LONG_MAX
2154 # define LONG_MAX ((long) ((unsigned long) -1 >> 1))
2155 #endif
2156 #ifndef LONG_MIN
2157 # define LONG_MIN (-1 - LONG_MAX)
2158 #endif
2159
2160 /****************
2161  * A substitute for fseeko, for hosts that don't have it.
2162  */
2163 static int
2164 fseeko (FILE * stream, off_t newpos, int whence)
2165 {
2166   while (newpos != (long) newpos)
2167     {
2168       long pos = newpos < 0 ? LONG_MIN : LONG_MAX;
2169       if (fseek (stream, pos, whence) != 0)
2170         return -1;
2171       newpos -= pos;
2172       whence = SEEK_CUR;
2173     }
2174   return fseek (stream, (long) newpos, whence);
2175 }
2176 #endif
2177
2178 /****************
2179  * This is a very limited implementation. It simply discards all internal
2180  * buffering and removes all filters but the first one.
2181  */
2182 int
2183 iobuf_seek (iobuf_t a, off_t newpos)
2184 {
2185   file_filter_ctx_t *b = NULL;
2186
2187   if (a->directfp)
2188     {
2189       FILE *fp = a->directfp;
2190       if (fseeko (fp, newpos, SEEK_SET))
2191         {
2192           log_error ("can't seek: %s\n", strerror (errno));
2193           return -1;
2194         }
2195       clearerr (fp);
2196     }
2197   else
2198     {
2199       for (; a; a = a->chain)
2200         {
2201           if (!a->chain && a->filter == file_filter)
2202             {
2203               b = a->filter_ov;
2204               break;
2205             }
2206         }
2207       if (!a)
2208         return -1;
2209 #ifdef HAVE_W32_SYSTEM
2210       if (SetFilePointer (b->fp, newpos, NULL, FILE_BEGIN) == 0xffffffff)
2211         {
2212           log_error ("SetFilePointer failed on handle %p: ec=%d\n",
2213                      b->fp, (int) GetLastError ());
2214           return -1;
2215         }
2216 #else
2217       if (lseek (b->fp, newpos, SEEK_SET) == (off_t) - 1)
2218         {
2219           log_error ("can't lseek: %s\n", strerror (errno));
2220           return -1;
2221         }
2222 #endif
2223     }
2224   a->d.len = 0;                 /* discard buffer */
2225   a->d.start = 0;
2226   a->nbytes = 0;
2227   a->nlimit = 0;
2228   a->nofast &= ~1;
2229   a->ntotal = newpos;
2230   a->error = 0;
2231   /* remove filters, but the last */
2232   if (a->chain)
2233     log_debug ("pop_filter called in iobuf_seek - please report\n");
2234   while (a->chain)
2235     pop_filter (a, a->filter, NULL);
2236
2237   return 0;
2238 }
2239
2240
2241
2242
2243
2244
2245 /****************
2246  * Retrieve the real filename.  This is the filename actually used on
2247  * disk and not a made up one.  Returns NULL if no real filename is
2248  * available.
2249  */
2250 const char *
2251 iobuf_get_real_fname (iobuf_t a)
2252 {
2253   if (a->real_fname)
2254     return a->real_fname;
2255
2256   /* the old solution */
2257   for (; a; a = a->chain)
2258     if (!a->chain && a->filter == file_filter)
2259       {
2260         file_filter_ctx_t *b = a->filter_ov;
2261         return b->print_only_name ? NULL : b->fname;
2262       }
2263
2264   return NULL;
2265 }
2266
2267
2268 /****************
2269  * Retrieve the filename.  This name should only be used in diagnostics.
2270  */
2271 const char *
2272 iobuf_get_fname (iobuf_t a)
2273 {
2274   for (; a; a = a->chain)
2275     if (!a->chain && a->filter == file_filter)
2276       {
2277         file_filter_ctx_t *b = a->filter_ov;
2278         return b->fname;
2279       }
2280   return NULL;
2281 }
2282
2283 /* Same as iobuf_get_fname but never returns NULL.  */
2284 const char *
2285 iobuf_get_fname_nonnull (iobuf_t a)
2286 {
2287   const char *fname;
2288
2289   fname = iobuf_get_fname (a);
2290   return fname? fname : "[?]";
2291 }
2292
2293
2294 /****************
2295  * enable partial block mode as described in the OpenPGP draft.
2296  * LEN is the first length byte on read, but ignored on writes.
2297  */
2298 void
2299 iobuf_set_partial_block_mode (iobuf_t a, size_t len)
2300 {
2301   block_filter_ctx_t *ctx = xcalloc (1, sizeof *ctx);
2302
2303   assert (a->use == 1 || a->use == 2);
2304   ctx->use = a->use;
2305   if (!len)
2306     {
2307       if (a->use == 1)
2308         log_debug ("pop_filter called in set_partial_block_mode"
2309                    " - please report\n");
2310       pop_filter (a, block_filter, NULL);
2311     }
2312   else
2313     {
2314       ctx->partial = 1;
2315       ctx->size = 0;
2316       ctx->first_c = len;
2317       iobuf_push_filter (a, block_filter, ctx);
2318     }
2319 }
2320
2321
2322
2323 /****************
2324  * Same as fgets() but if the buffer is too short a larger one will
2325  * be allocated up to some limit *max_length.
2326  * A line is considered a byte stream ending in a LF.
2327  * Returns the length of the line. EOF is indicated by a line of
2328  * length zero. The last LF may be missing due to an EOF.
2329  * is max_length is zero on return, the line has been truncated.
2330  *
2331  * Note: The buffer is allocated with enough space to append a CR,LF,EOL
2332  */
2333 unsigned int
2334 iobuf_read_line (iobuf_t a, byte ** addr_of_buffer,
2335                  unsigned *length_of_buffer, unsigned *max_length)
2336 {
2337   int c;
2338   char *buffer = (char *)*addr_of_buffer;
2339   unsigned length = *length_of_buffer;
2340   unsigned nbytes = 0;
2341   unsigned maxlen = *max_length;
2342   char *p;
2343
2344   if (!buffer)
2345     {                           /* must allocate a new buffer */
2346       length = 256;
2347       buffer = xmalloc (length);
2348       *addr_of_buffer = (unsigned char *)buffer;
2349       *length_of_buffer = length;
2350     }
2351
2352   length -= 3;                  /* reserve 3 bytes (cr,lf,eol) */
2353   p = buffer;
2354   while ((c = iobuf_get (a)) != -1)
2355     {
2356       if (nbytes == length)
2357         {                       /* increase the buffer */
2358           if (length > maxlen)
2359             {                   /* this is out limit */
2360               /* skip the rest of the line */
2361               while (c != '\n' && (c = iobuf_get (a)) != -1)
2362                 ;
2363               *p++ = '\n';      /* always append a LF (we have reserved space) */
2364               nbytes++;
2365               *max_length = 0;  /* indicate truncation */
2366               break;
2367             }
2368           length += 3;          /* correct for the reserved byte */
2369           length += length < 1024 ? 256 : 1024;
2370           buffer = xrealloc (buffer, length);
2371           *addr_of_buffer = (unsigned char *)buffer;
2372           *length_of_buffer = length;
2373           length -= 3;          /* and reserve again */
2374           p = buffer + nbytes;
2375         }
2376       *p++ = c;
2377       nbytes++;
2378       if (c == '\n')
2379         break;
2380     }
2381   *p = 0;                       /* make sure the line is a string */
2382
2383   return nbytes;
2384 }
2385
2386 static int
2387 translate_file_handle (int fd, int for_write)
2388 {
2389 #ifdef HAVE_W32_SYSTEM
2390   {
2391     int x;
2392     
2393     (void)for_write;
2394
2395     if (fd == 0)
2396       x = (int) GetStdHandle (STD_INPUT_HANDLE);
2397     else if (fd == 1)
2398       x = (int) GetStdHandle (STD_OUTPUT_HANDLE);
2399     else if (fd == 2)
2400       x = (int) GetStdHandle (STD_ERROR_HANDLE);
2401     else
2402       x = fd;
2403
2404     if (x == -1)
2405       log_debug ("GetStdHandle(%d) failed: ec=%d\n",
2406                  fd, (int) GetLastError ());
2407
2408     fd = x;
2409   }
2410 #else
2411   (void)for_write;
2412 #endif
2413   return fd;
2414 }
2415
2416
2417 void
2418 iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
2419 {
2420   if ( partial )
2421     {
2422       for (;;)
2423         {
2424           if (a->nofast || a->d.start >= a->d.len) 
2425             {
2426               if (iobuf_readbyte (a) == -1)
2427                 {
2428                   break;
2429                 }
2430             } 
2431           else
2432             {
2433               unsigned long count = a->d.len - a->d.start;
2434               a->nbytes += count;
2435               a->d.start = a->d.len;
2436             }
2437         }
2438     } 
2439   else
2440     {
2441       unsigned long remaining = n;
2442       while (remaining > 0) 
2443         {
2444           if (a->nofast || a->d.start >= a->d.len)
2445             {
2446               if (iobuf_readbyte (a) == -1)
2447                 {
2448                   break;
2449                 }
2450               --remaining;
2451             } 
2452           else 
2453             {
2454               unsigned long count = a->d.len - a->d.start;
2455               if (count > remaining) 
2456                 {
2457                   count = remaining;
2458                 }
2459               a->nbytes += count;
2460               a->d.start += count;
2461               remaining -= count;
2462             }
2463         }
2464     }
2465 }