2fdd9d4dbcf75f5604822f9443175160c89af166
[gnupg.git] / common / iobuf.c
1 /* iobuf.c  -  File Handling for OpenPGP.
2  * Copyright (C) 1998, 1999, 2000, 2001, 2003, 2004, 2006, 2007, 2008,
3  *               2009, 2010, 2011  Free Software Foundation, Inc.
4  * Copyright (C) 2015  g10 Code GmbH
5  *
6  * This file is part of GnuPG.
7  *
8  * This file is free software; you can redistribute it and/or modify
9  * it under the terms of either
10  *
11  *   - the GNU Lesser General Public License as published by the Free
12  *     Software Foundation; either version 3 of the License, or (at
13  *     your option) any later version.
14  *
15  * or
16  *
17  *   - the GNU General Public License as published by the Free
18  *     Software Foundation; either version 2 of the License, or (at
19  *     your option) any later version.
20  *
21  * or both in parallel, as here.
22  *
23  * This file is distributed in the hope that it will be useful,
24  * but WITHOUT ANY WARRANTY; without even the implied warranty of
25  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
26  * GNU General Public License for more details.
27  *
28  * You should have received a copy of the GNU General Public License
29  * along with this program; if not, see <http://www.gnu.org/licenses/>.
30  */
31
32 #include <config.h>
33 #include <stdio.h>
34 #include <stdlib.h>
35 #include <string.h>
36 #include <errno.h>
37 #include <ctype.h>
38 #include <assert.h>
39 #include <sys/types.h>
40 #include <sys/stat.h>
41 #include <fcntl.h>
42 #include <unistd.h>
43 #ifdef HAVE_W32_SYSTEM
44 # ifdef HAVE_WINSOCK2_H
45 #  include <winsock2.h>
46 # endif
47 # include <windows.h>
48 #endif
49 #ifdef __riscos__
50 # include <kernel.h>
51 # include <swis.h>
52 #endif /* __riscos__ */
53
54 #include <assuan.h>
55
56 #include "util.h"
57 #include "sysutils.h"
58 #include "iobuf.h"
59
60 /*-- Begin configurable part.  --*/
61
62 /* The size of the internal buffers.
63    NOTE: If you change this value you MUST also adjust the regression
64    test "armored_key_8192" in armor.test! */
65 #define IOBUF_BUFFER_SIZE  8192
66
67 /* To avoid a potential DoS with compression packets we better limit
68    the number of filters in a chain.  */
69 #define MAX_NESTING_FILTER 64
70
71 /*-- End configurable part.  --*/
72
73
74 #ifdef HAVE_W32_SYSTEM
75 # ifdef HAVE_W32CE_SYSTEM
76 #  define FD_FOR_STDIN  (es_fileno (es_stdin))
77 #  define FD_FOR_STDOUT (es_fileno (es_stdout))
78 # else
79 #  define FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
80 #  define FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
81 # endif
82 #else /*!HAVE_W32_SYSTEM*/
83 # define FD_FOR_STDIN  (0)
84 # define FD_FOR_STDOUT (1)
85 #endif /*!HAVE_W32_SYSTEM*/
86
87
88 /* The context used by the file filter.  */
89 typedef struct
90 {
91   gnupg_fd_t fp;       /* Open file pointer or handle.  */
92   int keep_open;
93   int no_cache;
94   int eof_seen;
95   int print_only_name; /* Flags indicating that fname is not a real file.  */
96   char fname[1];       /* Name of the file.  */
97 } file_filter_ctx_t;
98
99 /* The context used by the estream filter.  */
100 typedef struct
101 {
102   estream_t fp;        /* Open estream handle.  */
103   int keep_open;
104   int no_cache;
105   int eof_seen;
106   int print_only_name; /* Flags indicating that fname is not a real file.  */
107   char fname[1];       /* Name of the file.  */
108 } file_es_filter_ctx_t;
109
110
111 /* Object to control the "close cache".  */
112 struct close_cache_s
113 {
114   struct close_cache_s *next;
115   gnupg_fd_t fp;
116   char fname[1];
117 };
118 typedef struct close_cache_s *close_cache_t;
119 static close_cache_t close_cache;
120
121
122
123 #ifdef HAVE_W32_SYSTEM
124 typedef struct
125 {
126   int sock;
127   int keep_open;
128   int no_cache;
129   int eof_seen;
130   int print_only_name;  /* Flag indicating that fname is not a real file.  */
131   char fname[1];        /* Name of the file */
132
133 } sock_filter_ctx_t;
134 #endif /*HAVE_W32_SYSTEM*/
135
136 /* The first partial length header block must be of size 512
137  * to make it easier (and efficienter) we use a min. block size of 512
138  * for all chunks (but the last one) */
139 #define OP_MIN_PARTIAL_CHUNK      512
140 #define OP_MIN_PARTIAL_CHUNK_2POW 9
141
142 /* The context we use for the block filter (used to handle OpenPGP
143    length information header).  */
144 typedef struct
145 {
146   int use;
147   size_t size;
148   size_t count;
149   int partial;     /* 1 = partial header, 2 in last partial packet.  */
150   char *buffer;    /* Used for partial header.  */
151   size_t buflen;   /* Used size of buffer.  */
152   int first_c;     /* First character of a partial header (which is > 0).  */
153   int eof;
154 }
155 block_filter_ctx_t;
156
157
158 /* Global flag to tell whether special file names are enabled.  See
159    gpg.c for an explanation of these file names.  FIXME: it does not
160    belong into the iobuf subsystem. */
161 static int special_names_enabled;
162
163 /* Local prototypes.  */
164 static int underflow (iobuf_t a);
165 static int translate_file_handle (int fd, int for_write);
166
167
168 \f
169 /* This is a replacement for strcmp.  Under W32 it does not
170    distinguish between backslash and slash.  */
171 static int
172 fd_cache_strcmp (const char *a, const char *b)
173 {
174 #ifdef HAVE_DOSISH_SYSTEM
175   for (; *a && *b; a++, b++)
176     {
177       if (*a != *b && !((*a == '/' && *b == '\\')
178                         || (*a == '\\' && *b == '/')) )
179         break;
180     }
181   return *(const unsigned char *)a - *(const unsigned char *)b;
182 #else
183   return strcmp (a, b);
184 #endif
185 }
186
187 /*
188  * Invalidate (i.e. close) a cached iobuf
189  */
190 static int
191 fd_cache_invalidate (const char *fname)
192 {
193   close_cache_t cc;
194   int rc = 0;
195
196   assert (fname);
197   if (DBG_IOBUF)
198     log_debug ("fd_cache_invalidate (%s)\n", fname);
199
200   for (cc = close_cache; cc; cc = cc->next)
201     {
202       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
203         {
204           if (DBG_IOBUF)
205             log_debug ("                did (%s)\n", cc->fname);
206 #ifdef HAVE_W32_SYSTEM
207           if (!CloseHandle (cc->fp))
208             rc = -1;
209 #else
210           rc = close (cc->fp);
211 #endif
212           cc->fp = GNUPG_INVALID_FD;
213         }
214     }
215   return rc;
216 }
217
218
219 /* Try to sync changes to the disk.  This is to avoid data loss during
220    a system crash in write/close/rename cycle on some file
221    systems.  */
222 static int
223 fd_cache_synchronize (const char *fname)
224 {
225   int err = 0;
226
227 #ifdef HAVE_FSYNC
228   close_cache_t cc;
229
230   if (DBG_IOBUF)
231     log_debug ("fd_cache_synchronize (%s)\n", fname);
232
233   for (cc=close_cache; cc; cc = cc->next )
234     {
235       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
236         {
237           if (DBG_IOBUF)
238             log_debug ("                 did (%s)\n", cc->fname);
239
240           err = fsync (cc->fp);
241         }
242     }
243 #else
244   (void)fname;
245 #endif /*HAVE_FSYNC*/
246
247   return err;
248 }
249
250
251 static gnupg_fd_t
252 direct_open (const char *fname, const char *mode, int mode700)
253 {
254 #ifdef HAVE_W32_SYSTEM
255   unsigned long da, cd, sm;
256   HANDLE hfile;
257
258   /* Note, that we do not handle all mode combinations */
259
260   /* According to the ReactOS source it seems that open() of the
261    * standard MSW32 crt does open the file in shared mode which is
262    * something new for MS applications ;-)
263    */
264   if (strchr (mode, '+'))
265     {
266       if (fd_cache_invalidate (fname))
267         return GNUPG_INVALID_FD;
268       da = GENERIC_READ | GENERIC_WRITE;
269       cd = OPEN_EXISTING;
270       sm = FILE_SHARE_READ | FILE_SHARE_WRITE;
271     }
272   else if (strchr (mode, 'w'))
273     {
274       if (fd_cache_invalidate (fname))
275         return GNUPG_INVALID_FD;
276       da = GENERIC_WRITE;
277       cd = CREATE_ALWAYS;
278       sm = FILE_SHARE_WRITE;
279     }
280   else
281     {
282       da = GENERIC_READ;
283       cd = OPEN_EXISTING;
284       sm = FILE_SHARE_READ;
285     }
286
287 #ifdef HAVE_W32CE_SYSTEM
288   {
289     wchar_t *wfname = utf8_to_wchar (fname);
290     if (wfname)
291       {
292         hfile = CreateFile (wfname, da, sm, NULL, cd,
293                             FILE_ATTRIBUTE_NORMAL, NULL);
294         xfree (wfname);
295       }
296     else
297       hfile = INVALID_HANDLE_VALUE;
298   }
299 #else
300   hfile = CreateFile (fname, da, sm, NULL, cd, FILE_ATTRIBUTE_NORMAL, NULL);
301 #endif
302   return hfile;
303
304 #else /*!HAVE_W32_SYSTEM*/
305
306   int oflag;
307   int cflag = S_IRUSR | S_IWUSR;
308
309   if (!mode700)
310     cflag |= S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH;
311
312   /* Note, that we do not handle all mode combinations */
313   if (strchr (mode, '+'))
314     {
315       if (fd_cache_invalidate (fname))
316         return GNUPG_INVALID_FD;
317       oflag = O_RDWR;
318     }
319   else if (strchr (mode, 'w'))
320     {
321       if (fd_cache_invalidate (fname))
322         return GNUPG_INVALID_FD;
323       oflag = O_WRONLY | O_CREAT | O_TRUNC;
324     }
325   else
326     {
327       oflag = O_RDONLY;
328     }
329 #ifdef O_BINARY
330   if (strchr (mode, 'b'))
331     oflag |= O_BINARY;
332 #endif
333
334 #ifdef __riscos__
335   {
336     struct stat buf;
337
338     /* Don't allow iobufs on directories */
339     if (!stat (fname, &buf) && S_ISDIR (buf.st_mode) && !S_ISREG (buf.st_mode))
340       return __set_errno (EISDIR);
341   }
342 #endif
343   return open (fname, oflag, cflag);
344
345 #endif /*!HAVE_W32_SYSTEM*/
346 }
347
348
349 /*
350  * Instead of closing an FD we keep it open and cache it for later reuse
351  * Note that this caching strategy only works if the process does not chdir.
352  */
353 static void
354 fd_cache_close (const char *fname, gnupg_fd_t fp)
355 {
356   close_cache_t cc;
357
358   assert (fp);
359   if (!fname || !*fname)
360     {
361 #ifdef HAVE_W32_SYSTEM
362       CloseHandle (fp);
363 #else
364       close (fp);
365 #endif
366       if (DBG_IOBUF)
367         log_debug ("fd_cache_close (%d) real\n", (int)fp);
368       return;
369     }
370   /* try to reuse a slot */
371   for (cc = close_cache; cc; cc = cc->next)
372     {
373       if (cc->fp == GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
374         {
375           cc->fp = fp;
376           if (DBG_IOBUF)
377             log_debug ("fd_cache_close (%s) used existing slot\n", fname);
378           return;
379         }
380     }
381   /* add a new one */
382   if (DBG_IOBUF)
383     log_debug ("fd_cache_close (%s) new slot created\n", fname);
384   cc = xcalloc (1, sizeof *cc + strlen (fname));
385   strcpy (cc->fname, fname);
386   cc->fp = fp;
387   cc->next = close_cache;
388   close_cache = cc;
389 }
390
391 /*
392  * Do an direct_open on FNAME but first try to reuse one from the fd_cache
393  */
394 static gnupg_fd_t
395 fd_cache_open (const char *fname, const char *mode)
396 {
397   close_cache_t cc;
398
399   assert (fname);
400   for (cc = close_cache; cc; cc = cc->next)
401     {
402       if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
403         {
404           gnupg_fd_t fp = cc->fp;
405           cc->fp = GNUPG_INVALID_FD;
406           if (DBG_IOBUF)
407             log_debug ("fd_cache_open (%s) using cached fp\n", fname);
408 #ifdef HAVE_W32_SYSTEM
409           if (SetFilePointer (fp, 0, NULL, FILE_BEGIN) == 0xffffffff)
410             {
411               log_error ("rewind file failed on handle %p: ec=%d\n",
412                          fp, (int) GetLastError ());
413               fp = GNUPG_INVALID_FD;
414             }
415 #else
416           if (lseek (fp, 0, SEEK_SET) == (off_t) - 1)
417             {
418               log_error ("can't rewind fd %d: %s\n", fp, strerror (errno));
419               fp = GNUPG_INVALID_FD;
420             }
421 #endif
422           return fp;
423         }
424     }
425   if (DBG_IOBUF)
426     log_debug ("fd_cache_open (%s) not cached\n", fname);
427   return direct_open (fname, mode, 0);
428 }
429
430
431 /****************
432  * Read data from a file into buf which has an allocated length of *LEN.
433  * return the number of read bytes in *LEN. OPAQUE is the FILE * of
434  * the stream. A is not used.
435  * control may be:
436  * IOBUFCTRL_INIT: called just before the function is linked into the
437  *                 list of function. This can be used to prepare internal
438  *                 data structures of the function.
439  * IOBUFCTRL_FREE: called just before the function is removed from the
440  *                  list of functions and can be used to release internal
441  *                  data structures or close a file etc.
442  * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
443  *                  with new stuff. *RET_LEN is the available size of the
444  *                  buffer, and should be set to the number of bytes
445  *                  which were put into the buffer. The function
446  *                  returns 0 to indicate success, -1 on EOF and
447  *                  GPG_ERR_xxxxx for other errors.
448  *
449  * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
450  *                  *RET_LAN is the number of bytes in BUF.
451  *
452  * IOBUFCTRL_CANCEL: send to all filters on behalf of iobuf_cancel.  The
453  *                  filter may take appropriate action on this message.
454  */
455 static int
456 file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
457              size_t * ret_len)
458 {
459   file_filter_ctx_t *a = opaque;
460   gnupg_fd_t f = a->fp;
461   size_t size = *ret_len;
462   size_t nbytes = 0;
463   int rc = 0;
464
465   (void)chain; /* Not used.  */
466
467   if (control == IOBUFCTRL_UNDERFLOW)
468     {
469       assert (size); /* We need a buffer.  */
470       if (a->eof_seen)
471         {
472           rc = -1;
473           *ret_len = 0;
474         }
475       else
476         {
477 #ifdef HAVE_W32_SYSTEM
478           unsigned long nread;
479
480           nbytes = 0;
481           if (!ReadFile (f, buf, size, &nread, NULL))
482             {
483               int ec = (int) GetLastError ();
484               if (ec != ERROR_BROKEN_PIPE)
485                 {
486                   rc = gpg_error_from_errno (ec);
487                   log_error ("%s: read error: ec=%d\n", a->fname, ec);
488                 }
489             }
490           else if (!nread)
491             {
492               a->eof_seen = 1;
493               rc = -1;
494             }
495           else
496             {
497               nbytes = nread;
498             }
499
500 #else
501
502           int n;
503
504           nbytes = 0;
505           do
506             {
507               n = read (f, buf, size);
508             }
509           while (n == -1 && errno == EINTR);
510           if (n == -1)
511             {                   /* error */
512               if (errno != EPIPE)
513                 {
514                   rc = gpg_error_from_syserror ();
515                   log_error ("%s: read error: %s\n",
516                              a->fname, strerror (errno));
517                 }
518             }
519           else if (!n)
520             {                   /* eof */
521               a->eof_seen = 1;
522               rc = -1;
523             }
524           else
525             {
526               nbytes = n;
527             }
528 #endif
529           *ret_len = nbytes;
530         }
531     }
532   else if (control == IOBUFCTRL_FLUSH)
533     {
534       if (size)
535         {
536 #ifdef HAVE_W32_SYSTEM
537           byte *p = buf;
538           unsigned long n;
539
540           nbytes = size;
541           do
542             {
543               if (size && !WriteFile (f, p, nbytes, &n, NULL))
544                 {
545                   int ec = (int) GetLastError ();
546                   rc = gpg_error_from_errno (ec);
547                   log_error ("%s: write error: ec=%d\n", a->fname, ec);
548                   break;
549                 }
550               p += n;
551               nbytes -= n;
552             }
553           while (nbytes);
554           nbytes = p - buf;
555 #else
556           byte *p = buf;
557           int n;
558
559           nbytes = size;
560           do
561             {
562               do
563                 {
564                   n = write (f, p, nbytes);
565                 }
566               while (n == -1 && errno == EINTR);
567               if (n > 0)
568                 {
569                   p += n;
570                   nbytes -= n;
571                 }
572             }
573           while (n != -1 && nbytes);
574           if (n == -1)
575             {
576               rc = gpg_error_from_syserror ();
577               log_error ("%s: write error: %s\n", a->fname, strerror (errno));
578             }
579           nbytes = p - buf;
580 #endif
581         }
582       *ret_len = nbytes;
583     }
584   else if (control == IOBUFCTRL_INIT)
585     {
586       a->eof_seen = 0;
587       a->keep_open = 0;
588       a->no_cache = 0;
589     }
590   else if (control == IOBUFCTRL_DESC)
591     {
592       *(char **) buf = "file_filter(fd)";
593     }
594   else if (control == IOBUFCTRL_FREE)
595     {
596       if (f != FD_FOR_STDIN && f != FD_FOR_STDOUT)
597         {
598           if (DBG_IOBUF)
599             log_debug ("%s: close fd/handle %d\n", a->fname, FD2INT (f));
600           if (!a->keep_open)
601             fd_cache_close (a->no_cache ? NULL : a->fname, f);
602         }
603       f = GNUPG_INVALID_FD;
604       xfree (a); /* We can free our context now. */
605     }
606
607   return rc;
608 }
609
610
611 /* Similar to file_filter but using the estream system.  */
612 static int
613 file_es_filter (void *opaque, int control, iobuf_t chain, byte * buf,
614                 size_t * ret_len)
615 {
616   file_es_filter_ctx_t *a = opaque;
617   estream_t f = a->fp;
618   size_t size = *ret_len;
619   size_t nbytes = 0;
620   int rc = 0;
621
622   (void)chain; /* Not used.  */
623
624   if (control == IOBUFCTRL_UNDERFLOW)
625     {
626       assert (size); /* We need a buffer.  */
627       if (a->eof_seen)
628         {
629           rc = -1;
630           *ret_len = 0;
631         }
632       else
633         {
634           nbytes = 0;
635           rc = es_read (f, buf, size, &nbytes);
636           if (rc == -1)
637             {                   /* error */
638               rc = gpg_error_from_syserror ();
639               log_error ("%s: read error: %s\n", a->fname, strerror (errno));
640             }
641           else if (!nbytes)
642             {                   /* eof */
643               a->eof_seen = 1;
644               rc = -1;
645             }
646           *ret_len = nbytes;
647         }
648     }
649   else if (control == IOBUFCTRL_FLUSH)
650     {
651       if (size)
652         {
653           byte *p = buf;
654           size_t nwritten;
655
656           nbytes = size;
657           do
658             {
659               nwritten = 0;
660               if (es_write (f, p, nbytes, &nwritten))
661                 {
662                   rc = gpg_error_from_syserror ();
663                   log_error ("%s: write error: %s\n",
664                              a->fname, strerror (errno));
665                   break;
666                 }
667               p += nwritten;
668               nbytes -= nwritten;
669             }
670           while (nbytes);
671           nbytes = p - buf;
672         }
673       *ret_len = nbytes;
674     }
675   else if (control == IOBUFCTRL_INIT)
676     {
677       a->eof_seen = 0;
678       a->no_cache = 0;
679     }
680   else if (control == IOBUFCTRL_DESC)
681     {
682       *(char **) buf = "estream_filter";
683     }
684   else if (control == IOBUFCTRL_FREE)
685     {
686       if (f != es_stdin && f != es_stdout)
687         {
688           if (DBG_IOBUF)
689             log_debug ("%s: es_fclose %p\n", a->fname, f);
690           if (!a->keep_open)
691             es_fclose (f);
692         }
693       f = NULL;
694       xfree (a); /* We can free our context now. */
695     }
696
697   return rc;
698 }
699
700
701 #ifdef HAVE_W32_SYSTEM
702 /* Because network sockets are special objects under Lose32 we have to
703    use a dedicated filter for them. */
704 static int
705 sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
706              size_t * ret_len)
707 {
708   sock_filter_ctx_t *a = opaque;
709   size_t size = *ret_len;
710   size_t nbytes = 0;
711   int rc = 0;
712
713   (void)chain;
714
715   if (control == IOBUFCTRL_UNDERFLOW)
716     {
717       assert (size);            /* need a buffer */
718       if (a->eof_seen)
719         {
720           rc = -1;
721           *ret_len = 0;
722         }
723       else
724         {
725           int nread;
726
727           nread = recv (a->sock, buf, size, 0);
728           if (nread == SOCKET_ERROR)
729             {
730               int ec = (int) WSAGetLastError ();
731               rc = gpg_error_from_errno (ec);
732               log_error ("socket read error: ec=%d\n", ec);
733             }
734           else if (!nread)
735             {
736               a->eof_seen = 1;
737               rc = -1;
738             }
739           else
740             {
741               nbytes = nread;
742             }
743           *ret_len = nbytes;
744         }
745     }
746   else if (control == IOBUFCTRL_FLUSH)
747     {
748       if (size)
749         {
750           byte *p = buf;
751           int n;
752
753           nbytes = size;
754           do
755             {
756               n = send (a->sock, p, nbytes, 0);
757               if (n == SOCKET_ERROR)
758                 {
759                   int ec = (int) WSAGetLastError ();
760                   rc = gpg_error_from_errno (ec);
761                   log_error ("socket write error: ec=%d\n", ec);
762                   break;
763                 }
764               p += n;
765               nbytes -= n;
766             }
767           while (nbytes);
768           nbytes = p - buf;
769         }
770       *ret_len = nbytes;
771     }
772   else if (control == IOBUFCTRL_INIT)
773     {
774       a->eof_seen = 0;
775       a->keep_open = 0;
776       a->no_cache = 0;
777     }
778   else if (control == IOBUFCTRL_DESC)
779     {
780       *(char **) buf = "sock_filter";
781     }
782   else if (control == IOBUFCTRL_FREE)
783     {
784       if (!a->keep_open)
785         closesocket (a->sock);
786       xfree (a);                /* we can free our context now */
787     }
788   return rc;
789 }
790 #endif /*HAVE_W32_SYSTEM*/
791
792 /****************
793  * This is used to implement the block write mode.
794  * Block reading is done on a byte by byte basis in readbyte(),
795  * without a filter
796  */
797 static int
798 block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
799               size_t * ret_len)
800 {
801   block_filter_ctx_t *a = opaque;
802   char *buf = (char *)buffer;
803   size_t size = *ret_len;
804   int c, needed, rc = 0;
805   char *p;
806
807   if (control == IOBUFCTRL_UNDERFLOW)
808     {
809       size_t n = 0;
810
811       p = buf;
812       assert (size);            /* need a buffer */
813       if (a->eof)               /* don't read any further */
814         rc = -1;
815       while (!rc && size)
816         {
817           if (!a->size)
818             {                   /* get the length bytes */
819               if (a->partial == 2)
820                 {
821                   a->eof = 1;
822                   if (!n)
823                     rc = -1;
824                   break;
825                 }
826               else if (a->partial)
827                 {
828                   /* These OpenPGP introduced huffman like encoded length
829                    * bytes are really a mess :-( */
830                   if (a->first_c)
831                     {
832                       c = a->first_c;
833                       a->first_c = 0;
834                     }
835                   else if ((c = iobuf_get (chain)) == -1)
836                     {
837                       log_error ("block_filter: 1st length byte missing\n");
838                       rc = GPG_ERR_BAD_DATA;
839                       break;
840                     }
841                   if (c < 192)
842                     {
843                       a->size = c;
844                       a->partial = 2;
845                       if (!a->size)
846                         {
847                           a->eof = 1;
848                           if (!n)
849                             rc = -1;
850                           break;
851                         }
852                     }
853                   else if (c < 224)
854                     {
855                       a->size = (c - 192) * 256;
856                       if ((c = iobuf_get (chain)) == -1)
857                         {
858                           log_error
859                             ("block_filter: 2nd length byte missing\n");
860                           rc = GPG_ERR_BAD_DATA;
861                           break;
862                         }
863                       a->size += c + 192;
864                       a->partial = 2;
865                       if (!a->size)
866                         {
867                           a->eof = 1;
868                           if (!n)
869                             rc = -1;
870                           break;
871                         }
872                     }
873                   else if (c == 255)
874                     {
875                       a->size = (size_t)iobuf_get (chain) << 24;
876                       a->size |= iobuf_get (chain) << 16;
877                       a->size |= iobuf_get (chain) << 8;
878                       if ((c = iobuf_get (chain)) == -1)
879                         {
880                           log_error ("block_filter: invalid 4 byte length\n");
881                           rc = GPG_ERR_BAD_DATA;
882                           break;
883                         }
884                       a->size |= c;
885                       a->partial = 2;
886                       if (!a->size)
887                         {
888                           a->eof = 1;
889                           if (!n)
890                             rc = -1;
891                           break;
892                         }
893                     }
894                   else
895                     { /* Next partial body length. */
896                       a->size = 1 << (c & 0x1f);
897                     }
898                   /*  log_debug("partial: ctx=%p c=%02x size=%u\n", a, c, a->size); */
899                 }
900               else
901                 BUG ();
902             }
903
904           while (!rc && size && a->size)
905             {
906               needed = size < a->size ? size : a->size;
907               c = iobuf_read (chain, p, needed);
908               if (c < needed)
909                 {
910                   if (c == -1)
911                     c = 0;
912                   log_error
913                     ("block_filter %p: read error (size=%lu,a->size=%lu)\n",
914                      a, (ulong) size + c, (ulong) a->size + c);
915                   rc = GPG_ERR_BAD_DATA;
916                 }
917               else
918                 {
919                   size -= c;
920                   a->size -= c;
921                   p += c;
922                   n += c;
923                 }
924             }
925         }
926       *ret_len = n;
927     }
928   else if (control == IOBUFCTRL_FLUSH)
929     {
930       if (a->partial)
931         {                       /* the complicated openpgp scheme */
932           size_t blen, n, nbytes = size + a->buflen;
933
934           assert (a->buflen <= OP_MIN_PARTIAL_CHUNK);
935           if (nbytes < OP_MIN_PARTIAL_CHUNK)
936             {
937               /* not enough to write a partial block out; so we store it */
938               if (!a->buffer)
939                 a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
940               memcpy (a->buffer + a->buflen, buf, size);
941               a->buflen += size;
942             }
943           else
944             {                   /* okay, we can write out something */
945               /* do this in a loop to use the most efficient block lengths */
946               p = buf;
947               do
948                 {
949                   /* find the best matching block length - this is limited
950                    * by the size of the internal buffering */
951                   for (blen = OP_MIN_PARTIAL_CHUNK * 2,
952                        c = OP_MIN_PARTIAL_CHUNK_2POW + 1; blen <= nbytes;
953                        blen *= 2, c++)
954                     ;
955                   blen /= 2;
956                   c--;
957                   /* write the partial length header */
958                   assert (c <= 0x1f);   /*;-) */
959                   c |= 0xe0;
960                   iobuf_put (chain, c);
961                   if ((n = a->buflen))
962                     {           /* write stuff from the buffer */
963                       assert (n == OP_MIN_PARTIAL_CHUNK);
964                       if (iobuf_write (chain, a->buffer, n))
965                         rc = gpg_error_from_syserror ();
966                       a->buflen = 0;
967                       nbytes -= n;
968                     }
969                   if ((n = nbytes) > blen)
970                     n = blen;
971                   if (n && iobuf_write (chain, p, n))
972                     rc = gpg_error_from_syserror ();
973                   p += n;
974                   nbytes -= n;
975                 }
976               while (!rc && nbytes >= OP_MIN_PARTIAL_CHUNK);
977               /* store the rest in the buffer */
978               if (!rc && nbytes)
979                 {
980                   assert (!a->buflen);
981                   assert (nbytes < OP_MIN_PARTIAL_CHUNK);
982                   if (!a->buffer)
983                     a->buffer = xmalloc (OP_MIN_PARTIAL_CHUNK);
984                   memcpy (a->buffer, p, nbytes);
985                   a->buflen = nbytes;
986                 }
987             }
988         }
989       else
990         BUG ();
991     }
992   else if (control == IOBUFCTRL_INIT)
993     {
994       if (DBG_IOBUF)
995         log_debug ("init block_filter %p\n", a);
996       if (a->partial)
997         a->count = 0;
998       else if (a->use == IOBUF_INPUT)
999         a->count = a->size = 0;
1000       else
1001         a->count = a->size;     /* force first length bytes */
1002       a->eof = 0;
1003       a->buffer = NULL;
1004       a->buflen = 0;
1005     }
1006   else if (control == IOBUFCTRL_DESC)
1007     {
1008       *(char **) buf = "block_filter";
1009     }
1010   else if (control == IOBUFCTRL_FREE)
1011     {
1012       if (a->use == IOBUF_OUTPUT)
1013         {                       /* write the end markers */
1014           if (a->partial)
1015             {
1016               u32 len;
1017               /* write out the remaining bytes without a partial header
1018                * the length of this header may be 0 - but if it is
1019                * the first block we are not allowed to use a partial header
1020                * and frankly we can't do so, because this length must be
1021                * a power of 2. This is _really_ complicated because we
1022                * have to check the possible length of a packet prior
1023                * to it's creation: a chain of filters becomes complicated
1024                * and we need a lot of code to handle compressed packets etc.
1025                *   :-(((((((
1026                */
1027               /* construct header */
1028               len = a->buflen;
1029               /*log_debug("partial: remaining length=%u\n", len ); */
1030               if (len < 192)
1031                 rc = iobuf_put (chain, len);
1032               else if (len < 8384)
1033                 {
1034                   if (!(rc = iobuf_put (chain, ((len - 192) / 256) + 192)))
1035                     rc = iobuf_put (chain, ((len - 192) % 256));
1036                 }
1037               else
1038                 {               /* use a 4 byte header */
1039                   if (!(rc = iobuf_put (chain, 0xff)))
1040                     if (!(rc = iobuf_put (chain, (len >> 24) & 0xff)))
1041                       if (!(rc = iobuf_put (chain, (len >> 16) & 0xff)))
1042                         if (!(rc = iobuf_put (chain, (len >> 8) & 0xff)))
1043                           rc = iobuf_put (chain, len & 0xff);
1044                 }
1045               if (!rc && len)
1046                 rc = iobuf_write (chain, a->buffer, len);
1047               if (rc)
1048                 {
1049                   log_error ("block_filter: write error: %s\n",
1050                              strerror (errno));
1051                   rc = gpg_error_from_syserror ();
1052                 }
1053               xfree (a->buffer);
1054               a->buffer = NULL;
1055               a->buflen = 0;
1056             }
1057           else
1058             BUG ();
1059         }
1060       else if (a->size)
1061         {
1062           log_error ("block_filter: pending bytes!\n");
1063         }
1064       if (DBG_IOBUF)
1065         log_debug ("free block_filter %p\n", a);
1066       xfree (a);                /* we can free our context now */
1067     }
1068
1069   return rc;
1070 }
1071
1072
1073 static void
1074 print_chain (iobuf_t a)
1075 {
1076   if (!DBG_IOBUF)
1077     return;
1078   for (; a; a = a->chain)
1079     {
1080       size_t dummy_len = 0;
1081       const char *desc = "[none]";
1082
1083       if (a->filter)
1084         a->filter (a->filter_ov, IOBUFCTRL_DESC, NULL,
1085                    (byte *) & desc, &dummy_len);
1086
1087       log_debug ("iobuf chain: %d.%d '%s' filter_eof=%d start=%d len=%d\n",
1088                  a->no, a->subno, desc?desc:"?", a->filter_eof,
1089                  (int) a->d.start, (int) a->d.len);
1090     }
1091 }
1092
1093 int
1094 iobuf_print_chain (iobuf_t a)
1095 {
1096   print_chain (a);
1097   return 0;
1098 }
1099
1100 /* Allocate a new io buffer, with no function assigned.
1101
1102    USE is the desired usage: IOBUF_INPUT for input, IOBUF_OUTPUT for
1103    output, or IOBUF_TEMP for a temp buffer.
1104
1105    BUFSIZE is a suggested buffer size.
1106  */
1107 iobuf_t
1108 iobuf_alloc (int use, size_t bufsize)
1109 {
1110   iobuf_t a;
1111   static int number = 0;
1112
1113   assert (use == IOBUF_INPUT || use == IOBUF_OUTPUT || use == IOBUF_TEMP);
1114
1115   a = xcalloc (1, sizeof *a);
1116   a->use = use;
1117   a->d.buf = xmalloc (bufsize);
1118   a->d.size = bufsize;
1119   a->no = ++number;
1120   a->subno = 0;
1121   a->real_fname = NULL;
1122   return a;
1123 }
1124
1125 int
1126 iobuf_close (iobuf_t a)
1127 {
1128   iobuf_t a2;
1129   size_t dummy_len = 0;
1130   int rc = 0;
1131
1132   if (a && a->directfp)
1133     {
1134       fclose (a->directfp);
1135       xfree (a->real_fname);
1136       if (DBG_IOBUF)
1137         log_debug ("iobuf_close -> %p\n", a->directfp);
1138       return 0;
1139     }
1140
1141   for (; a && !rc; a = a2)
1142     {
1143       a2 = a->chain;
1144       if (a->use == IOBUF_OUTPUT && (rc = iobuf_flush (a)))
1145         log_error ("iobuf_flush failed on close: %s\n", gpg_strerror (rc));
1146
1147       if (DBG_IOBUF)
1148         log_debug ("iobuf-%d.%d: close '%s'\n", a->no, a->subno,
1149                    a->desc?a->desc:"?");
1150       if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_FREE,
1151                                         a->chain, NULL, &dummy_len)))
1152         log_error ("IOBUFCTRL_FREE failed on close: %s\n", gpg_strerror (rc));
1153       xfree (a->real_fname);
1154       if (a->d.buf)
1155         {
1156           memset (a->d.buf, 0, a->d.size);      /* erase the buffer */
1157           xfree (a->d.buf);
1158         }
1159       xfree (a);
1160     }
1161   return rc;
1162 }
1163
1164 int
1165 iobuf_cancel (iobuf_t a)
1166 {
1167   const char *s;
1168   iobuf_t a2;
1169   int rc;
1170 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1171   char *remove_name = NULL;
1172 #endif
1173
1174   if (a && a->use == IOBUF_OUTPUT)
1175     {
1176       s = iobuf_get_real_fname (a);
1177       if (s && *s)
1178         {
1179 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1180           remove_name = xstrdup (s);
1181 #else
1182           remove (s);
1183 #endif
1184         }
1185     }
1186
1187   /* send a cancel message to all filters */
1188   for (a2 = a; a2; a2 = a2->chain)
1189     {
1190       size_t dummy;
1191       if (a2->filter)
1192         a2->filter (a2->filter_ov, IOBUFCTRL_CANCEL, a2->chain, NULL, &dummy);
1193     }
1194
1195   rc = iobuf_close (a);
1196 #if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
1197   if (remove_name)
1198     {
1199       /* Argg, MSDOS does not allow to remove open files.  So
1200        * we have to do it here */
1201 #ifdef HAVE_W32CE_SYSTEM
1202       wchar_t *wtmp = utf8_to_wchar (remove_name);
1203       if (wtmp)
1204         DeleteFile (wtmp);
1205       xfree (wtmp);
1206 #else
1207       remove (remove_name);
1208 #endif
1209       xfree (remove_name);
1210     }
1211 #endif
1212   return rc;
1213 }
1214
1215
1216 /****************
1217  * create a temporary iobuf, which can be used to collect stuff
1218  * in an iobuf and later be written by iobuf_write_temp() to another
1219  * iobuf.
1220  */
1221 iobuf_t
1222 iobuf_temp ()
1223 {
1224   iobuf_t a;
1225
1226   a = iobuf_alloc (IOBUF_TEMP, IOBUF_BUFFER_SIZE);
1227
1228   return a;
1229 }
1230
1231 iobuf_t
1232 iobuf_temp_with_content (const char *buffer, size_t length)
1233 {
1234   iobuf_t a;
1235   int i;
1236
1237   a = iobuf_alloc (IOBUF_TEMP, length);
1238   /* memcpy (a->d.buf, buffer, length); */
1239   for (i=0; i < length; i++)
1240     a->d.buf[i] = buffer[i];
1241   a->d.len = length;
1242
1243   return a;
1244 }
1245
1246 void
1247 iobuf_enable_special_filenames (int yes)
1248 {
1249   special_names_enabled = yes;
1250 }
1251
1252
1253 /* See whether the filename has the form "-&nnnn", where n is a
1254    non-zero number.  Returns this number or -1 if it is not the
1255    case.  */
1256 static int
1257 check_special_filename (const char *fname)
1258 {
1259   if (special_names_enabled && fname && *fname == '-' && fname[1] == '&')
1260     {
1261       int i;
1262
1263       fname += 2;
1264       for (i = 0; digitp (fname+i); i++)
1265         ;
1266       if (!fname[i])
1267         return atoi (fname);
1268     }
1269   return -1;
1270 }
1271
1272
1273 /* This fucntion returns true if FNAME indicates a PIPE (stdout or
1274    stderr) or a special file name if those are enabled. */
1275 int
1276 iobuf_is_pipe_filename (const char *fname)
1277 {
1278   if (!fname || (*fname=='-' && !fname[1]) )
1279     return 1;
1280   return check_special_filename (fname) != -1;
1281 }
1282
1283
1284 /* Either open the file specified by the file descriptor FD or - if FD
1285    is -1, the file with name FNAME.  As of now MODE is assumed to be
1286    "rb" if FNAME is used.  In contrast to iobuf_fdopen the file
1287    descriptor FD will not be closed during an iobuf_close.  */
1288 iobuf_t
1289 iobuf_open_fd_or_name (gnupg_fd_t fd, const char *fname, const char *mode)
1290 {
1291   iobuf_t a;
1292
1293   if (fd == GNUPG_INVALID_FD)
1294     a = iobuf_open (fname);
1295   else
1296     a = iobuf_fdopen_nc (FD2INT(fd), mode);
1297   return a;
1298 }
1299
1300
1301 /****************
1302  * Create a head iobuf for reading from a file
1303  * returns: NULL if an error occures and sets errno
1304  */
1305 iobuf_t
1306 iobuf_open (const char *fname)
1307 {
1308   iobuf_t a;
1309   gnupg_fd_t fp;
1310   file_filter_ctx_t *fcx;
1311   size_t len = 0;
1312   int print_only = 0;
1313   int fd;
1314
1315   if (!fname || (*fname == '-' && !fname[1]))
1316     {
1317       fp = FD_FOR_STDIN;
1318       fname = "[stdin]";
1319       print_only = 1;
1320     }
1321   else if ((fd = check_special_filename (fname)) != -1)
1322     return iobuf_fdopen (translate_file_handle (fd, 0), "rb");
1323   else if ((fp = fd_cache_open (fname, "rb")) == GNUPG_INVALID_FD)
1324     return NULL;
1325   a = iobuf_alloc (IOBUF_INPUT, IOBUF_BUFFER_SIZE);
1326   fcx = xmalloc (sizeof *fcx + strlen (fname));
1327   fcx->fp = fp;
1328   fcx->print_only_name = print_only;
1329   strcpy (fcx->fname, fname);
1330   if (!print_only)
1331     a->real_fname = xstrdup (fname);
1332   a->filter = file_filter;
1333   a->filter_ov = fcx;
1334   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1335   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1336   if (DBG_IOBUF)
1337     log_debug ("iobuf-%d.%d: open '%s' fd=%d\n",
1338                a->no, a->subno, fname, FD2INT (fcx->fp));
1339
1340   return a;
1341 }
1342
1343
1344 static iobuf_t
1345 do_iobuf_fdopen (int fd, const char *mode, int keep_open)
1346 {
1347   iobuf_t a;
1348   gnupg_fd_t fp;
1349   file_filter_ctx_t *fcx;
1350   size_t len;
1351
1352   fp = INT2FD (fd);
1353
1354   a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
1355                    IOBUF_BUFFER_SIZE);
1356   fcx = xmalloc (sizeof *fcx + 20);
1357   fcx->fp = fp;
1358   fcx->print_only_name = 1;
1359   fcx->keep_open = keep_open;
1360   sprintf (fcx->fname, "[fd %d]", fd);
1361   a->filter = file_filter;
1362   a->filter_ov = fcx;
1363   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1364   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1365   if (DBG_IOBUF)
1366     log_debug ("iobuf-%d.%d: fdopen%s '%s'\n",
1367                a->no, a->subno, keep_open? "_nc":"", fcx->fname);
1368   iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
1369   return a;
1370 }
1371
1372
1373 /* Create a head iobuf for reading or writing from/to a file Returns:
1374  * NULL and sets ERRNO if an error occured.  */
1375 iobuf_t
1376 iobuf_fdopen (int fd, const char *mode)
1377 {
1378   return do_iobuf_fdopen (fd, mode, 0);
1379 }
1380
1381 iobuf_t
1382 iobuf_fdopen_nc (int fd, const char *mode)
1383 {
1384   return do_iobuf_fdopen (fd, mode, 1);
1385 }
1386
1387
1388 iobuf_t
1389 iobuf_esopen (estream_t estream, const char *mode, int keep_open)
1390 {
1391   iobuf_t a;
1392   file_es_filter_ctx_t *fcx;
1393   size_t len;
1394
1395   a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
1396                    IOBUF_BUFFER_SIZE);
1397   fcx = xtrymalloc (sizeof *fcx + 30);
1398   fcx->fp = estream;
1399   fcx->print_only_name = 1;
1400   fcx->keep_open = keep_open;
1401   sprintf (fcx->fname, "[fd %p]", estream);
1402   a->filter = file_es_filter;
1403   a->filter_ov = fcx;
1404   file_es_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1405   file_es_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1406   if (DBG_IOBUF)
1407     log_debug ("iobuf-%d.%d: esopen%s '%s'\n",
1408                a->no, a->subno, keep_open? "_nc":"", fcx->fname);
1409   return a;
1410 }
1411
1412
1413 iobuf_t
1414 iobuf_sockopen (int fd, const char *mode)
1415 {
1416   iobuf_t a;
1417 #ifdef HAVE_W32_SYSTEM
1418   sock_filter_ctx_t *scx;
1419   size_t len;
1420
1421   a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
1422                    IOBUF_BUFFER_SIZE);
1423   scx = xmalloc (sizeof *scx + 25);
1424   scx->sock = fd;
1425   scx->print_only_name = 1;
1426   sprintf (scx->fname, "[sock %d]", fd);
1427   a->filter = sock_filter;
1428   a->filter_ov = scx;
1429   sock_filter (scx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1430   sock_filter (scx, IOBUFCTRL_INIT, NULL, NULL, &len);
1431   if (DBG_IOBUF)
1432     log_debug ("iobuf-%d.%d: sockopen '%s'\n", a->no, a->subno, scx->fname);
1433   iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
1434 #else
1435   a = iobuf_fdopen (fd, mode);
1436 #endif
1437   return a;
1438 }
1439
1440 /****************
1441  * Create an iobuf for writing to a file; the file will be created.
1442  * With MODE700 set the file is created with that mode (Unix only).
1443  */
1444 iobuf_t
1445 iobuf_create (const char *fname, int mode700)
1446 {
1447   iobuf_t a;
1448   gnupg_fd_t fp;
1449   file_filter_ctx_t *fcx;
1450   size_t len;
1451   int print_only = 0;
1452   int fd;
1453
1454   if (!fname || (*fname == '-' && !fname[1]))
1455     {
1456       fp = FD_FOR_STDOUT;
1457       fname = "[stdout]";
1458       print_only = 1;
1459     }
1460   else if ((fd = check_special_filename (fname)) != -1)
1461     return iobuf_fdopen (translate_file_handle (fd, 1), "wb");
1462   else if ((fp = direct_open (fname, "wb", mode700)) == GNUPG_INVALID_FD)
1463     return NULL;
1464   a = iobuf_alloc (IOBUF_OUTPUT, IOBUF_BUFFER_SIZE);
1465   fcx = xmalloc (sizeof *fcx + strlen (fname));
1466   fcx->fp = fp;
1467   fcx->print_only_name = print_only;
1468   strcpy (fcx->fname, fname);
1469   if (!print_only)
1470     a->real_fname = xstrdup (fname);
1471   a->filter = file_filter;
1472   a->filter_ov = fcx;
1473   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1474   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1475   if (DBG_IOBUF)
1476     log_debug ("iobuf-%d.%d: create '%s'\n", a->no, a->subno,
1477                a->desc?a->desc:"?");
1478
1479   return a;
1480 }
1481
1482
1483 iobuf_t
1484 iobuf_openrw (const char *fname)
1485 {
1486   iobuf_t a;
1487   gnupg_fd_t fp;
1488   file_filter_ctx_t *fcx;
1489   size_t len;
1490
1491   if (!fname)
1492     return NULL;
1493   else if ((fp = direct_open (fname, "r+b", 0)) == GNUPG_INVALID_FD)
1494     return NULL;
1495   a = iobuf_alloc (IOBUF_OUTPUT, IOBUF_BUFFER_SIZE);
1496   fcx = xmalloc (sizeof *fcx + strlen (fname));
1497   fcx->fp = fp;
1498   strcpy (fcx->fname, fname);
1499   a->real_fname = xstrdup (fname);
1500   a->filter = file_filter;
1501   a->filter_ov = fcx;
1502   file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
1503   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
1504   if (DBG_IOBUF)
1505     log_debug ("iobuf-%d.%d: openrw '%s'\n", a->no, a->subno,
1506                a->desc?a->desc:"?");
1507
1508   return a;
1509 }
1510
1511
1512 int
1513 iobuf_ioctl (iobuf_t a, iobuf_ioctl_t cmd, int intval, void *ptrval)
1514 {
1515   if (cmd == IOBUF_IOCTL_KEEP_OPEN)
1516     {
1517       /* Keep system filepointer/descriptor open.  This was used in
1518          the past by http.c; this ioctl is not directly used
1519          anymore.  */
1520       if (DBG_IOBUF)
1521         log_debug ("iobuf-%d.%d: ioctl '%s' keep_open=%d\n",
1522                    a ? a->no : -1, a ? a->subno : -1,
1523                    a && a->desc ? a->desc : "?",
1524                    intval);
1525       for (; a; a = a->chain)
1526         if (!a->chain && a->filter == file_filter)
1527           {
1528             file_filter_ctx_t *b = a->filter_ov;
1529             b->keep_open = intval;
1530             return 0;
1531           }
1532 #ifdef HAVE_W32_SYSTEM
1533         else if (!a->chain && a->filter == sock_filter)
1534           {
1535             sock_filter_ctx_t *b = a->filter_ov;
1536             b->keep_open = intval;
1537             return 0;
1538           }
1539 #endif
1540     }
1541   else if (cmd == IOBUF_IOCTL_INVALIDATE_CACHE)
1542     {
1543       if (DBG_IOBUF)
1544         log_debug ("iobuf-*.*: ioctl '%s' invalidate\n",
1545                    ptrval ? (char *) ptrval : "?");
1546       if (!a && !intval && ptrval)
1547         {
1548           if (fd_cache_invalidate (ptrval))
1549             return -1;
1550           return 0;
1551         }
1552     }
1553   else if (cmd == IOBUF_IOCTL_NO_CACHE)
1554     {
1555       if (DBG_IOBUF)
1556         log_debug ("iobuf-%d.%d: ioctl '%s' no_cache=%d\n",
1557                    a ? a->no : -1, a ? a->subno : -1,
1558                    a && a->desc? a->desc : "?",
1559                    intval);
1560       for (; a; a = a->chain)
1561         if (!a->chain && a->filter == file_filter)
1562           {
1563             file_filter_ctx_t *b = a->filter_ov;
1564             b->no_cache = intval;
1565             return 0;
1566           }
1567 #ifdef HAVE_W32_SYSTEM
1568         else if (!a->chain && a->filter == sock_filter)
1569           {
1570             sock_filter_ctx_t *b = a->filter_ov;
1571             b->no_cache = intval;
1572             return 0;
1573           }
1574 #endif
1575     }
1576   else if (cmd == IOBUF_IOCTL_FSYNC)
1577     {
1578       /* Do a fsync on the open fd and return any errors to the caller
1579          of iobuf_ioctl.  Note that we work on a file name here. */
1580       if (DBG_IOBUF)
1581         log_debug ("iobuf-*.*: ioctl '%s' fsync\n",
1582                    ptrval? (const char*)ptrval:"<null>");
1583
1584         if (!a && !intval && ptrval)
1585           {
1586             return fd_cache_synchronize (ptrval);
1587           }
1588       }
1589
1590
1591   return -1;
1592 }
1593
1594
1595 /****************
1596  * Register an i/o filter.
1597  */
1598 int
1599 iobuf_push_filter (iobuf_t a,
1600                    int (*f) (void *opaque, int control,
1601                              iobuf_t chain, byte * buf, size_t * len),
1602                    void *ov)
1603 {
1604   return iobuf_push_filter2 (a, f, ov, 0);
1605 }
1606
1607 int
1608 iobuf_push_filter2 (iobuf_t a,
1609                     int (*f) (void *opaque, int control,
1610                               iobuf_t chain, byte * buf, size_t * len),
1611                     void *ov, int rel_ov)
1612 {
1613   iobuf_t b;
1614   size_t dummy_len = 0;
1615   int rc = 0;
1616
1617   if (a->directfp)
1618     BUG ();
1619
1620   if (a->use == IOBUF_OUTPUT && (rc = iobuf_flush (a)))
1621     return rc;
1622
1623   if (a->subno >= MAX_NESTING_FILTER)
1624     {
1625       log_error ("i/o filter too deeply nested - corrupted data?\n");
1626       return GPG_ERR_BAD_DATA;
1627     }
1628
1629   /* make a copy of the current stream, so that
1630    * A is the new stream and B the original one.
1631    * The contents of the buffers are transferred to the
1632    * new stream.
1633    */
1634   b = xmalloc (sizeof *b);
1635   memcpy (b, a, sizeof *b);
1636   /* fixme: it is stupid to keep a copy of the name at every level
1637    * but we need the name somewhere because the name known by file_filter
1638    * may have been released when we need the name of the file */
1639   b->real_fname = a->real_fname ? xstrdup (a->real_fname) : NULL;
1640   /* remove the filter stuff from the new stream */
1641   a->filter = NULL;
1642   a->filter_ov = NULL;
1643   a->filter_ov_owner = 0;
1644   a->filter_eof = 0;
1645   if (a->use == IOBUF_TEMP)
1646     /* make a write stream from a temp stream */
1647     a->use = IOBUF_OUTPUT;
1648
1649   if (a->use == IOBUF_OUTPUT)
1650     {                           /* allocate a fresh buffer for the
1651                                    original stream */
1652       b->d.buf = xmalloc (a->d.size);
1653       b->d.len = 0;
1654       b->d.start = 0;
1655     }
1656   else
1657     {                           /* allocate a fresh buffer for the new
1658                                    stream */
1659       a->d.buf = xmalloc (a->d.size);
1660       a->d.len = 0;
1661       a->d.start = 0;
1662     }
1663   /* disable nlimit for the new stream */
1664   a->ntotal = b->ntotal + b->nbytes;
1665   a->nlimit = a->nbytes = 0;
1666   a->nofast &= ~1;
1667   /* make a link from the new stream to the original stream */
1668   a->chain = b;
1669
1670   /* setup the function on the new stream */
1671   a->filter = f;
1672   a->filter_ov = ov;
1673   a->filter_ov_owner = rel_ov;
1674
1675   a->subno = b->subno + 1;
1676   f (ov, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &dummy_len);
1677
1678   if (DBG_IOBUF)
1679     {
1680       log_debug ("iobuf-%d.%d: push '%s'\n", a->no, a->subno,
1681                  a->desc?a->desc:"?");
1682       print_chain (a);
1683     }
1684
1685   /* now we can initialize the new function if we have one */
1686   if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_INIT, a->chain,
1687                                     NULL, &dummy_len)))
1688     log_error ("IOBUFCTRL_INIT failed: %s\n", gpg_strerror (rc));
1689   return rc;
1690 }
1691
1692 /****************
1693  * Remove an i/o filter.
1694  */
1695 static int
1696 pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
1697                                iobuf_t chain, byte * buf, size_t * len),
1698             void *ov)
1699 {
1700   iobuf_t b;
1701   size_t dummy_len = 0;
1702   int rc = 0;
1703
1704   if (a->directfp)
1705     BUG ();
1706
1707   if (DBG_IOBUF)
1708     log_debug ("iobuf-%d.%d: pop '%s'\n", a->no, a->subno,
1709                a->desc?a->desc:"?");
1710   if (!a->filter)
1711     {                           /* this is simple */
1712       b = a->chain;
1713       assert (b);
1714       xfree (a->d.buf);
1715       xfree (a->real_fname);
1716       memcpy (a, b, sizeof *a);
1717       xfree (b);
1718       return 0;
1719     }
1720   for (b = a; b; b = b->chain)
1721     if (b->filter == f && (!ov || b->filter_ov == ov))
1722       break;
1723   if (!b)
1724     log_bug ("pop_filter(): filter function not found\n");
1725
1726   /* flush this stream if it is an output stream */
1727   if (a->use == IOBUF_OUTPUT && (rc = iobuf_flush (b)))
1728     {
1729       log_error ("iobuf_flush failed in pop_filter: %s\n", gpg_strerror (rc));
1730       return rc;
1731     }
1732   /* and tell the filter to free it self */
1733   if (b->filter && (rc = b->filter (b->filter_ov, IOBUFCTRL_FREE, b->chain,
1734                                     NULL, &dummy_len)))
1735     {
1736       log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1737       return rc;
1738     }
1739   if (b->filter_ov && b->filter_ov_owner)
1740     {
1741       xfree (b->filter_ov);
1742       b->filter_ov = NULL;
1743     }
1744
1745
1746   /* and see how to remove it */
1747   if (a == b && !b->chain)
1748     log_bug ("can't remove the last filter from the chain\n");
1749   else if (a == b)
1750     {                           /* remove the first iobuf from the chain */
1751       /* everything from b is copied to a. This is save because
1752        * a flush has been done on the to be removed entry
1753        */
1754       b = a->chain;
1755       xfree (a->d.buf);
1756       xfree (a->real_fname);
1757       memcpy (a, b, sizeof *a);
1758       xfree (b);
1759       if (DBG_IOBUF)
1760         log_debug ("iobuf-%d.%d: popped filter\n", a->no, a->subno);
1761     }
1762   else if (!b->chain)
1763     {                           /* remove the last iobuf from the chain */
1764       log_bug ("Ohh jeee, trying to remove a head filter\n");
1765     }
1766   else
1767     {                           /* remove an intermediate iobuf from the chain */
1768       log_bug ("Ohh jeee, trying to remove an intermediate filter\n");
1769     }
1770
1771   return rc;
1772 }
1773
1774
1775 /****************
1776  * read underflow: read more bytes into the buffer and return
1777  * the first byte or -1 on EOF.
1778  */
1779 static int
1780 underflow (iobuf_t a)
1781 {
1782   size_t len;
1783   int rc;
1784
1785   assert (a->d.start == a->d.len);
1786   if (a->use == IOBUF_TEMP)
1787     return -1;                  /* EOF because a temp buffer can't do an underflow */
1788
1789   if (a->filter_eof)
1790     {
1791       if (a->chain)
1792         {
1793           iobuf_t b = a->chain;
1794           if (DBG_IOBUF)
1795             log_debug ("iobuf-%d.%d: pop '%s' in underflow\n",
1796                        a->no, a->subno, a->desc?a->desc:"?");
1797           xfree (a->d.buf);
1798           xfree (a->real_fname);
1799           memcpy (a, b, sizeof *a);
1800           xfree (b);
1801           print_chain (a);
1802         }
1803       else
1804         a->filter_eof = 0;      /* for the top level filter */
1805       if (DBG_IOBUF)
1806         log_debug ("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
1807                    a->no, a->subno);
1808       return -1;                /* return one(!) EOF */
1809     }
1810   if (a->error)
1811     {
1812       if (DBG_IOBUF)
1813         log_debug ("iobuf-%d.%d: error\n", a->no, a->subno);
1814       return -1;
1815     }
1816
1817   if (a->directfp)
1818     {
1819       FILE *fp = a->directfp;
1820
1821       len = fread (a->d.buf, 1, a->d.size, fp);
1822       if (len < a->d.size)
1823         {
1824           if (ferror (fp))
1825             a->error = gpg_error_from_syserror ();
1826         }
1827       a->d.len = len;
1828       a->d.start = 0;
1829       return len ? a->d.buf[a->d.start++] : -1;
1830     }
1831
1832
1833   if (a->filter)
1834     {
1835       len = a->d.size;
1836       if (DBG_IOBUF)
1837         log_debug ("iobuf-%d.%d: underflow: req=%lu\n",
1838                    a->no, a->subno, (ulong) len);
1839       rc = a->filter (a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
1840                       a->d.buf, &len);
1841       if (DBG_IOBUF)
1842         {
1843           log_debug ("iobuf-%d.%d: underflow: got=%lu rc=%d\n",
1844                      a->no, a->subno, (ulong) len, rc);
1845 /*          if( a->no == 1 ) */
1846 /*                   log_hexdump ("     data:", a->d.buf, len); */
1847         }
1848       if (a->use == IOBUF_INPUT && rc == -1)
1849         {                       /* EOF: we can remove the filter */
1850           size_t dummy_len = 0;
1851
1852           /* and tell the filter to free itself */
1853           if ((rc = a->filter (a->filter_ov, IOBUFCTRL_FREE, a->chain,
1854                                NULL, &dummy_len)))
1855             log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
1856           if (a->filter_ov && a->filter_ov_owner)
1857             {
1858               xfree (a->filter_ov);
1859               a->filter_ov = NULL;
1860             }
1861           a->filter = NULL;
1862           a->desc = NULL;
1863           a->filter_ov = NULL;
1864           a->filter_eof = 1;
1865           if (!len && a->chain)
1866             {
1867               iobuf_t b = a->chain;
1868               if (DBG_IOBUF)
1869                 log_debug ("iobuf-%d.%d: pop in underflow (!len)\n",
1870                            a->no, a->subno);
1871               xfree (a->d.buf);
1872               xfree (a->real_fname);
1873               memcpy (a, b, sizeof *a);
1874               xfree (b);
1875               print_chain (a);
1876             }
1877         }
1878       else if (rc)
1879         a->error = rc;
1880
1881       if (!len)
1882         {
1883           if (DBG_IOBUF)
1884             log_debug ("iobuf-%d.%d: underflow: eof\n", a->no, a->subno);
1885           return -1;
1886         }
1887       a->d.len = len;
1888       a->d.start = 0;
1889       return a->d.buf[a->d.start++];
1890     }
1891   else
1892     {
1893       if (DBG_IOBUF)
1894         log_debug ("iobuf-%d.%d: underflow: eof (no filter)\n",
1895                    a->no, a->subno);
1896       return -1;                /* no filter; return EOF */
1897     }
1898 }
1899
1900
1901 int
1902 iobuf_flush (iobuf_t a)
1903 {
1904   size_t len;
1905   int rc;
1906
1907   if (a->directfp)
1908     return 0;
1909
1910   if (a->use == IOBUF_TEMP)
1911     {                           /* increase the temp buffer */
1912       unsigned char *newbuf;
1913       size_t newsize = a->d.size + IOBUF_BUFFER_SIZE;
1914
1915       if (DBG_IOBUF)
1916         log_debug ("increasing temp iobuf from %lu to %lu\n",
1917                    (ulong) a->d.size, (ulong) newsize);
1918       newbuf = xmalloc (newsize);
1919       memcpy (newbuf, a->d.buf, a->d.len);
1920       xfree (a->d.buf);
1921       a->d.buf = newbuf;
1922       a->d.size = newsize;
1923       return 0;
1924     }
1925   else if (a->use != IOBUF_OUTPUT)
1926     log_bug ("flush on non-output iobuf\n");
1927   else if (!a->filter)
1928     log_bug ("iobuf_flush: no filter\n");
1929   len = a->d.len;
1930   rc = a->filter (a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len);
1931   if (!rc && len != a->d.len)
1932     {
1933       log_info ("iobuf_flush did not write all!\n");
1934       rc = GPG_ERR_INTERNAL;
1935     }
1936   else if (rc)
1937     a->error = rc;
1938   a->d.len = 0;
1939
1940   return rc;
1941 }
1942
1943
1944 /****************
1945  * Read a byte from the iobuf; returns -1 on EOF
1946  */
1947 int
1948 iobuf_readbyte (iobuf_t a)
1949 {
1950   int c;
1951
1952   if (a->nlimit && a->nbytes >= a->nlimit)
1953     return -1;                  /* forced EOF */
1954
1955   if (a->d.start < a->d.len)
1956     {
1957       c = a->d.buf[a->d.start++];
1958     }
1959   else if ((c = underflow (a)) == -1)
1960     return -1;                  /* EOF */
1961
1962   a->nbytes++;
1963   return c;
1964 }
1965
1966
1967 int
1968 iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
1969 {
1970   unsigned char *buf = (unsigned char *)buffer;
1971   int c, n;
1972
1973   if (a->nlimit)
1974     {
1975       /* Handle special cases. */
1976       for (n = 0; n < buflen; n++)
1977         {
1978           if ((c = iobuf_readbyte (a)) == -1)
1979             {
1980               if (!n)
1981                 return -1;      /* eof */
1982               break;
1983             }
1984           else if (buf)
1985             *buf = c;
1986           if (buf)
1987             buf++;
1988         }
1989       return n;
1990     }
1991
1992   n = 0;
1993   do
1994     {
1995       if (n < buflen && a->d.start < a->d.len)
1996         {
1997           unsigned size = a->d.len - a->d.start;
1998           if (size > buflen - n)
1999             size = buflen - n;
2000           if (buf)
2001             memcpy (buf, a->d.buf + a->d.start, size);
2002           n += size;
2003           a->d.start += size;
2004           if (buf)
2005             buf += size;
2006         }
2007       if (n < buflen)
2008         {
2009           if ((c = underflow (a)) == -1)
2010             {
2011               a->nbytes += n;
2012               return n ? n : -1 /*EOF*/;
2013             }
2014           if (buf)
2015             *buf++ = c;
2016           n++;
2017         }
2018     }
2019   while (n < buflen);
2020   a->nbytes += n;
2021   return n;
2022 }
2023
2024
2025
2026 /****************
2027  * Have a look at the iobuf.
2028  * NOTE: This only works in special cases.
2029  */
2030 int
2031 iobuf_peek (iobuf_t a, byte * buf, unsigned buflen)
2032 {
2033   int n = 0;
2034
2035   if (a->filter_eof)
2036     return -1;
2037
2038   if (!(a->d.start < a->d.len))
2039     {
2040       if (underflow (a) == -1)
2041         return -1;
2042       /* And unget this character. */
2043       assert (a->d.start == 1);
2044       a->d.start = 0;
2045     }
2046
2047   for (n = 0; n < buflen && (a->d.start + n) < a->d.len; n++, buf++)
2048     *buf = a->d.buf[n];
2049   return n;
2050 }
2051
2052
2053
2054
2055 int
2056 iobuf_writebyte (iobuf_t a, unsigned int c)
2057 {
2058   int rc;
2059
2060   if (a->directfp)
2061     BUG ();
2062
2063   if (a->d.len == a->d.size)
2064     if ((rc=iobuf_flush (a)))
2065       return rc;
2066
2067   assert (a->d.len < a->d.size);
2068   a->d.buf[a->d.len++] = c;
2069   return 0;
2070 }
2071
2072
2073 int
2074 iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
2075 {
2076   const unsigned char *buf = (const unsigned char *)buffer;
2077   int rc;
2078
2079   if (a->directfp)
2080     BUG ();
2081
2082   do
2083     {
2084       if (buflen && a->d.len < a->d.size)
2085         {
2086           unsigned size = a->d.size - a->d.len;
2087           if (size > buflen)
2088             size = buflen;
2089           memcpy (a->d.buf + a->d.len, buf, size);
2090           buflen -= size;
2091           buf += size;
2092           a->d.len += size;
2093         }
2094       if (buflen)
2095         {
2096           rc = iobuf_flush (a);
2097           if (rc)
2098             return rc;
2099         }
2100     }
2101   while (buflen);
2102   return 0;
2103 }
2104
2105
2106 int
2107 iobuf_writestr (iobuf_t a, const char *buf)
2108 {
2109   int rc;
2110
2111   for (; *buf; buf++)
2112     if ((rc=iobuf_writebyte (a, *buf)))
2113       return rc;
2114   return 0;
2115 }
2116
2117
2118
2119 /****************
2120  * copy the contents of TEMP to A.
2121  */
2122 int
2123 iobuf_write_temp (iobuf_t a, iobuf_t temp)
2124 {
2125   while (temp->chain)
2126     pop_filter (temp, temp->filter, NULL);
2127   return iobuf_write (a, temp->d.buf, temp->d.len);
2128 }
2129
2130 /****************
2131  * copy the contents of the temp io stream to BUFFER.
2132  */
2133 size_t
2134 iobuf_temp_to_buffer (iobuf_t a, byte * buffer, size_t buflen)
2135 {
2136   size_t n = a->d.len;
2137
2138   if (n > buflen)
2139     n = buflen;
2140   memcpy (buffer, a->d.buf, n);
2141   return n;
2142 }
2143
2144
2145 /****************
2146  * Call this function to terminate processing of the temp stream
2147  * without closing it.  This removes all filters from the stream
2148  * makes sure that iobuf_get_temp_{buffer,length}() returns correct
2149  * values.
2150  */
2151 void
2152 iobuf_flush_temp (iobuf_t temp)
2153 {
2154   while (temp->chain)
2155     pop_filter (temp, temp->filter, NULL);
2156 }
2157
2158
2159 /****************
2160  * Set a limit on how many bytes may be read from the input stream A.
2161  * Setting the limit to 0 disables this feature.
2162  */
2163 void
2164 iobuf_set_limit (iobuf_t a, off_t nlimit)
2165 {
2166   if (nlimit)
2167     a->nofast |= 1;
2168   else
2169     a->nofast &= ~1;
2170   a->nlimit = nlimit;
2171   a->ntotal += a->nbytes;
2172   a->nbytes = 0;
2173 }
2174
2175
2176
2177 /* Return the length of an open file A.  IF OVERFLOW is not NULL it
2178    will be set to true if the file is larger than what off_t can cope
2179    with.  The function return 0 on error or on overflow condition.  */
2180 off_t
2181 iobuf_get_filelength (iobuf_t a, int *overflow)
2182 {
2183   struct stat st;
2184
2185   if (overflow)
2186     *overflow = 0;
2187
2188   if ( a->directfp )
2189     {
2190       FILE *fp = a->directfp;
2191
2192       if ( !fstat(fileno(fp), &st) )
2193         return st.st_size;
2194       log_error("fstat() failed: %s\n", strerror(errno) );
2195       return 0;
2196     }
2197
2198   /* Hmmm: file_filter may have already been removed */
2199   for ( ; a; a = a->chain )
2200     if ( !a->chain && a->filter == file_filter )
2201       {
2202         file_filter_ctx_t *b = a->filter_ov;
2203         gnupg_fd_t fp = b->fp;
2204
2205 #if defined(HAVE_W32_SYSTEM)
2206         ulong size;
2207         static int (* __stdcall get_file_size_ex) (void *handle,
2208                                                    LARGE_INTEGER *r_size);
2209         static int get_file_size_ex_initialized;
2210
2211         if (!get_file_size_ex_initialized)
2212           {
2213             void *handle;
2214
2215             handle = dlopen ("kernel32.dll", RTLD_LAZY);
2216             if (handle)
2217               {
2218                 get_file_size_ex = dlsym (handle, "GetFileSizeEx");
2219                 if (!get_file_size_ex)
2220                   dlclose (handle);
2221               }
2222             get_file_size_ex_initialized = 1;
2223           }
2224
2225         if (get_file_size_ex)
2226           {
2227             /* This is a newer system with GetFileSizeEx; we use this
2228                then because it seem that GetFileSize won't return a
2229                proper error in case a file is larger than 4GB. */
2230             LARGE_INTEGER exsize;
2231
2232             if (get_file_size_ex (fp, &exsize))
2233               {
2234                 if (!exsize.u.HighPart)
2235                   return exsize.u.LowPart;
2236                 if (overflow)
2237                   *overflow = 1;
2238                 return 0;
2239               }
2240           }
2241         else
2242           {
2243             if ((size=GetFileSize (fp, NULL)) != 0xffffffff)
2244               return size;
2245           }
2246         log_error ("GetFileSize for handle %p failed: %s\n",
2247                    fp, w32_strerror (0));
2248 #else
2249         if ( !fstat (FD2INT (fp), &st) )
2250           return st.st_size;
2251         log_error("fstat() failed: %s\n", strerror(errno) );
2252 #endif
2253         break/*the for loop*/;
2254       }
2255
2256     return 0;
2257 }
2258
2259
2260 /* Return the file descriptor of the underlying file or -1 if it is
2261    not available.  */
2262 int
2263 iobuf_get_fd (iobuf_t a)
2264 {
2265   if (a->directfp)
2266     return fileno ( (FILE*)a->directfp );
2267
2268   for ( ; a; a = a->chain )
2269     if (!a->chain && a->filter == file_filter)
2270       {
2271         file_filter_ctx_t *b = a->filter_ov;
2272         gnupg_fd_t fp = b->fp;
2273
2274         return FD2INT (fp);
2275       }
2276
2277   return -1;
2278 }
2279
2280
2281
2282 /****************
2283  * Tell the file position, where the next read will take place
2284  */
2285 off_t
2286 iobuf_tell (iobuf_t a)
2287 {
2288   return a->ntotal + a->nbytes;
2289 }
2290
2291
2292 #if !defined(HAVE_FSEEKO) && !defined(fseeko)
2293
2294 #ifdef HAVE_LIMITS_H
2295 # include <limits.h>
2296 #endif
2297 #ifndef LONG_MAX
2298 # define LONG_MAX ((long) ((unsigned long) -1 >> 1))
2299 #endif
2300 #ifndef LONG_MIN
2301 # define LONG_MIN (-1 - LONG_MAX)
2302 #endif
2303
2304 /****************
2305  * A substitute for fseeko, for hosts that don't have it.
2306  */
2307 static int
2308 fseeko (FILE * stream, off_t newpos, int whence)
2309 {
2310   while (newpos != (long) newpos)
2311     {
2312       long pos = newpos < 0 ? LONG_MIN : LONG_MAX;
2313       if (fseek (stream, pos, whence) != 0)
2314         return -1;
2315       newpos -= pos;
2316       whence = SEEK_CUR;
2317     }
2318   return fseek (stream, (long) newpos, whence);
2319 }
2320 #endif
2321
2322 /****************
2323  * This is a very limited implementation. It simply discards all internal
2324  * buffering and removes all filters but the first one.
2325  */
2326 int
2327 iobuf_seek (iobuf_t a, off_t newpos)
2328 {
2329   file_filter_ctx_t *b = NULL;
2330
2331   if (a->directfp)
2332     {
2333       FILE *fp = a->directfp;
2334       if (fseeko (fp, newpos, SEEK_SET))
2335         {
2336           log_error ("can't seek: %s\n", strerror (errno));
2337           return -1;
2338         }
2339       clearerr (fp);
2340     }
2341   else if (a->use != IOBUF_TEMP)
2342     {
2343       for (; a; a = a->chain)
2344         {
2345           if (!a->chain && a->filter == file_filter)
2346             {
2347               b = a->filter_ov;
2348               break;
2349             }
2350         }
2351       if (!a)
2352         return -1;
2353 #ifdef HAVE_W32_SYSTEM
2354       if (SetFilePointer (b->fp, newpos, NULL, FILE_BEGIN) == 0xffffffff)
2355         {
2356           log_error ("SetFilePointer failed on handle %p: ec=%d\n",
2357                      b->fp, (int) GetLastError ());
2358           return -1;
2359         }
2360 #else
2361       if (lseek (b->fp, newpos, SEEK_SET) == (off_t) - 1)
2362         {
2363           log_error ("can't lseek: %s\n", strerror (errno));
2364           return -1;
2365         }
2366 #endif
2367     }
2368   /* Discard the buffer unless it is a temp stream.  */
2369   if (a->use != IOBUF_TEMP)
2370     a->d.len = 0;
2371   a->d.start = 0;
2372   a->nbytes = 0;
2373   a->nlimit = 0;
2374   a->nofast &= ~1;
2375   a->ntotal = newpos;
2376   a->error = 0;
2377   /* remove filters, but the last */
2378   if (a->chain)
2379     log_debug ("pop_filter called in iobuf_seek - please report\n");
2380   while (a->chain)
2381     pop_filter (a, a->filter, NULL);
2382
2383   return 0;
2384 }
2385
2386
2387
2388
2389
2390
2391 /****************
2392  * Retrieve the real filename.  This is the filename actually used on
2393  * disk and not a made up one.  Returns NULL if no real filename is
2394  * available.
2395  */
2396 const char *
2397 iobuf_get_real_fname (iobuf_t a)
2398 {
2399   if (a->real_fname)
2400     return a->real_fname;
2401
2402   /* the old solution */
2403   for (; a; a = a->chain)
2404     if (!a->chain && a->filter == file_filter)
2405       {
2406         file_filter_ctx_t *b = a->filter_ov;
2407         return b->print_only_name ? NULL : b->fname;
2408       }
2409
2410   return NULL;
2411 }
2412
2413
2414 /****************
2415  * Retrieve the filename.  This name should only be used in diagnostics.
2416  */
2417 const char *
2418 iobuf_get_fname (iobuf_t a)
2419 {
2420   for (; a; a = a->chain)
2421     if (!a->chain && a->filter == file_filter)
2422       {
2423         file_filter_ctx_t *b = a->filter_ov;
2424         return b->fname;
2425       }
2426   return NULL;
2427 }
2428
2429 /* Same as iobuf_get_fname but never returns NULL.  */
2430 const char *
2431 iobuf_get_fname_nonnull (iobuf_t a)
2432 {
2433   const char *fname;
2434
2435   fname = iobuf_get_fname (a);
2436   return fname? fname : "[?]";
2437 }
2438
2439
2440 /****************
2441  * enable partial block mode as described in the OpenPGP draft.
2442  * LEN is the first length byte on read, but ignored on writes.
2443  */
2444 void
2445 iobuf_set_partial_block_mode (iobuf_t a, size_t len)
2446 {
2447   block_filter_ctx_t *ctx = xcalloc (1, sizeof *ctx);
2448
2449   assert (a->use == IOBUF_INPUT || a->use == IOBUF_OUTPUT);
2450   ctx->use = a->use;
2451   if (!len)
2452     {
2453       if (a->use == IOBUF_INPUT)
2454         log_debug ("pop_filter called in set_partial_block_mode"
2455                    " - please report\n");
2456       pop_filter (a, block_filter, NULL);
2457     }
2458   else
2459     {
2460       ctx->partial = 1;
2461       ctx->size = 0;
2462       ctx->first_c = len;
2463       iobuf_push_filter (a, block_filter, ctx);
2464     }
2465 }
2466
2467
2468
2469 /****************
2470  * Same as fgets() but if the buffer is too short a larger one will
2471  * be allocated up to some limit *max_length.
2472  * A line is considered a byte stream ending in a LF.
2473  * Returns the length of the line. EOF is indicated by a line of
2474  * length zero. The last LF may be missing due to an EOF.
2475  * is max_length is zero on return, the line has been truncated.
2476  *
2477  * Note: The buffer is allocated with enough space to append a CR,LF,EOL
2478  */
2479 unsigned int
2480 iobuf_read_line (iobuf_t a, byte ** addr_of_buffer,
2481                  unsigned *length_of_buffer, unsigned *max_length)
2482 {
2483   int c;
2484   char *buffer = (char *)*addr_of_buffer;
2485   unsigned length = *length_of_buffer;
2486   unsigned nbytes = 0;
2487   unsigned maxlen = *max_length;
2488   char *p;
2489
2490   if (!buffer)
2491     {                           /* must allocate a new buffer */
2492       length = 256;
2493       buffer = xmalloc (length);
2494       *addr_of_buffer = (unsigned char *)buffer;
2495       *length_of_buffer = length;
2496     }
2497
2498   length -= 3;                  /* reserve 3 bytes (cr,lf,eol) */
2499   p = buffer;
2500   while ((c = iobuf_get (a)) != -1)
2501     {
2502       if (nbytes == length)
2503         {                       /* increase the buffer */
2504           if (length > maxlen)
2505             {                   /* this is out limit */
2506               /* skip the rest of the line */
2507               while (c != '\n' && (c = iobuf_get (a)) != -1)
2508                 ;
2509               *p++ = '\n';      /* always append a LF (we have reserved space) */
2510               nbytes++;
2511               *max_length = 0;  /* indicate truncation */
2512               break;
2513             }
2514           length += 3;          /* correct for the reserved byte */
2515           length += length < 1024 ? 256 : 1024;
2516           buffer = xrealloc (buffer, length);
2517           *addr_of_buffer = (unsigned char *)buffer;
2518           *length_of_buffer = length;
2519           length -= 3;          /* and reserve again */
2520           p = buffer + nbytes;
2521         }
2522       *p++ = c;
2523       nbytes++;
2524       if (c == '\n')
2525         break;
2526     }
2527   *p = 0;                       /* make sure the line is a string */
2528
2529   return nbytes;
2530 }
2531
2532 static int
2533 translate_file_handle (int fd, int for_write)
2534 {
2535 #if defined(HAVE_W32CE_SYSTEM)
2536   /* This is called only with one of the special filenames.  Under
2537      W32CE the FD here is not a file descriptor but a rendezvous id,
2538      thus we need to finish the pipe first.  */
2539   fd = _assuan_w32ce_finish_pipe (fd, for_write);
2540 #elif defined(HAVE_W32_SYSTEM)
2541   {
2542     int x;
2543
2544     (void)for_write;
2545
2546     if (fd == 0)
2547       x = (int) GetStdHandle (STD_INPUT_HANDLE);
2548     else if (fd == 1)
2549       x = (int) GetStdHandle (STD_OUTPUT_HANDLE);
2550     else if (fd == 2)
2551       x = (int) GetStdHandle (STD_ERROR_HANDLE);
2552     else
2553       x = fd;
2554
2555     if (x == -1)
2556       log_debug ("GetStdHandle(%d) failed: ec=%d\n",
2557                  fd, (int) GetLastError ());
2558
2559     fd = x;
2560   }
2561 #else
2562   (void)for_write;
2563 #endif
2564   return fd;
2565 }
2566
2567
2568 void
2569 iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
2570 {
2571   if ( partial )
2572     {
2573       for (;;)
2574         {
2575           if (a->nofast || a->d.start >= a->d.len)
2576             {
2577               if (iobuf_readbyte (a) == -1)
2578                 {
2579                   break;
2580                 }
2581             }
2582           else
2583             {
2584               unsigned long count = a->d.len - a->d.start;
2585               a->nbytes += count;
2586               a->d.start = a->d.len;
2587             }
2588         }
2589     }
2590   else
2591     {
2592       unsigned long remaining = n;
2593       while (remaining > 0)
2594         {
2595           if (a->nofast || a->d.start >= a->d.len)
2596             {
2597               if (iobuf_readbyte (a) == -1)
2598                 {
2599                   break;
2600                 }
2601               --remaining;
2602             }
2603           else
2604             {
2605               unsigned long count = a->d.len - a->d.start;
2606               if (count > remaining)
2607                 {
2608                   count = remaining;
2609                 }
2610               a->nbytes += count;
2611               a->d.start += count;
2612               remaining -= count;
2613             }
2614         }
2615     }
2616 }