build: Require latest released libraries
[gnupg.git] / common / iobuf.c
index 8f7374f..f3d67b4 100644 (file)
@@ -1,23 +1,32 @@
-/* iobuf.c  -  file handling
- * Copyright (C) 1998, 1999, 2000, 2001, 2003,
- *               2004, 2006  Free Software Foundation, Inc.
+/* iobuf.c  -  File Handling for OpenPGP.
+ * Copyright (C) 1998, 1999, 2000, 2001, 2003, 2004, 2006, 2007, 2008,
+ *               2009, 2010, 2011  Free Software Foundation, Inc.
+ * Copyright (C) 2015  g10 Code GmbH
  *
  * This file is part of GnuPG.
  *
- * GnuPG is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 2 of the License, or
- * (at your option) any later version.
+ * This file is free software; you can redistribute it and/or modify
+ * it under the terms of either
  *
- * GnuPG is distributed in the hope that it will be useful,
+ *   - the GNU Lesser General Public License as published by the Free
+ *     Software Foundation; either version 3 of the License, or (at
+ *     your option) any later version.
+ *
+ * or
+ *
+ *   - the GNU General Public License as published by the Free
+ *     Software Foundation; either version 2 of the License, or (at
+ *     your option) any later version.
+ *
+ * or both in parallel, as here.
+ *
+ * This file is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  * GNU General Public License for more details.
  *
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301,
- * USA.
+ * along with this program; if not, see <http://www.gnu.org/licenses/>.
  */
 
 #include <config.h>
 #include <sys/stat.h>
 #include <fcntl.h>
 #include <unistd.h>
-#ifdef HAVE_DOSISH_SYSTEM
-#include <windows.h>
+#ifdef HAVE_W32_SYSTEM
+# ifdef HAVE_WINSOCK2_H
+#  include <winsock2.h>
+# endif
+# include <windows.h>
 #endif
 #ifdef __riscos__
-#include <kernel.h>
-#include <swis.h>
+# include <kernel.h>
+# include <swis.h>
 #endif /* __riscos__ */
 
-#include "memory.h"
+#include <assuan.h>
+
 #include "util.h"
+#include "sysutils.h"
 #include "iobuf.h"
 
-/* The size of the internal buffers. 
+/*-- Begin configurable part.  --*/
+
+/* The size of the internal buffers.
    NOTE: If you change this value you MUST also adjust the regression
    test "armored_key_8192" in armor.test! */
 #define IOBUF_BUFFER_SIZE  8192
 
-#undef FILE_FILTER_USES_STDIO
+/* To avoid a potential DoS with compression packets we better limit
+   the number of filters in a chain.  */
+#define MAX_NESTING_FILTER 64
+
+/*-- End configurable part.  --*/
+
+
+#ifdef HAVE_W32_SYSTEM
+# ifdef HAVE_W32CE_SYSTEM
+#  define FD_FOR_STDIN  (es_fileno (es_stdin))
+#  define FD_FOR_STDOUT (es_fileno (es_stdout))
+# else
+#  define FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
+#  define FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
+# endif
+#else /*!HAVE_W32_SYSTEM*/
+# define FD_FOR_STDIN  (0)
+# define FD_FOR_STDOUT (1)
+#endif /*!HAVE_W32_SYSTEM*/
 
-#ifdef HAVE_DOSISH_SYSTEM
-#define USE_SETMODE 1
-#endif
 
-#ifdef FILE_FILTER_USES_STDIO
-#define my_fileno(a)  fileno ((a))
-#define my_fopen_ro(a,b) fopen ((a),(b))
-#define my_fopen(a,b)    fopen ((a),(b))
-typedef FILE *FILEP_OR_FD;
-#define INVALID_FP    NULL
-#define FILEP_OR_FD_FOR_STDIN  (stdin)
-#define FILEP_OR_FD_FOR_STDOUT  (stdout)
+/* The context used by the file filter.  */
 typedef struct
 {
-  FILE *fp;                    /* open file handle */
+  gnupg_fd_t fp;       /* Open file pointer or handle.  */
   int keep_open;
   int no_cache;
-  int print_only_name;         /* flags indicating that fname is not a real file */
-  char fname[1];               /* name of the file */
-}
-file_filter_ctx_t;
-#else
-#define my_fileno(a)  (a)
-#define my_fopen_ro(a,b) fd_cache_open ((a),(b))
-#define my_fopen(a,b) direct_open ((a),(b))
-#ifdef HAVE_DOSISH_SYSTEM
-typedef HANDLE FILEP_OR_FD;
-#define INVALID_FP  ((HANDLE)-1)
-#define FILEP_OR_FD_FOR_STDIN  (GetStdHandle (STD_INPUT_HANDLE))
-#define FILEP_OR_FD_FOR_STDOUT (GetStdHandle (STD_OUTPUT_HANDLE))
-#undef USE_SETMODE
-#else
-typedef int FILEP_OR_FD;
-#define INVALID_FP  (-1)
-#define FILEP_OR_FD_FOR_STDIN  (0)
-#define FILEP_OR_FD_FOR_STDOUT (1)
-#endif
+  int eof_seen;
+  int print_only_name; /* Flags indicating that fname is not a real file.  */
+  char fname[1];       /* Name of the file.  */
+} file_filter_ctx_t;
+
+/* The context used by the estream filter.  */
 typedef struct
 {
-  FILEP_OR_FD fp;              /* open file handle */
+  estream_t fp;        /* Open estream handle.  */
   int keep_open;
   int no_cache;
   int eof_seen;
-  int print_only_name;         /* flags indicating that fname is not a real file */
-  char fname[1];               /* name of the file */
-}
-file_filter_ctx_t;
+  int print_only_name; /* Flags indicating that fname is not a real file.  */
+  char fname[1];       /* Name of the file.  */
+} file_es_filter_ctx_t;
 
+
+/* Object to control the "close cache".  */
 struct close_cache_s
 {
   struct close_cache_s *next;
-  FILEP_OR_FD fp;
+  gnupg_fd_t fp;
   char fname[1];
 };
-typedef struct close_cache_s *CLOSE_CACHE;
-static CLOSE_CACHE close_cache;
-#endif
+typedef struct close_cache_s *close_cache_t;
+static close_cache_t close_cache;
+
+
 
-#ifdef _WIN32
+#ifdef HAVE_W32_SYSTEM
 typedef struct
 {
   int sock;
   int keep_open;
   int no_cache;
   int eof_seen;
-  int print_only_name;         /* flags indicating that fname is not a real file */
-  char fname[1];               /* name of the file */
-}
-sock_filter_ctx_t;
-#endif /*_WIN32*/
+  int print_only_name; /* Flag indicating that fname is not a real file.  */
+  char fname[1];       /* Name of the file */
+
+sock_filter_ctx_t;
+#endif /*HAVE_W32_SYSTEM*/
 
-/* The first partial length header block must be of size 512
- * to make it easier (and efficienter) we use a min. block size of 512
- * for all chunks (but the last one) */
+/* The first partial length header block must be of size 512 to make
+ * it easier (and more efficient) we use a min. block size of 512 for
+ * all chunks (but the last one) */
 #define OP_MIN_PARTIAL_CHUNK     512
 #define OP_MIN_PARTIAL_CHUNK_2POW 9
 
+/* The context we use for the block filter (used to handle OpenPGP
+   length information header).  */
 typedef struct
 {
   int use;
   size_t size;
   size_t count;
-  int partial;                 /* 1 = partial header, 2 in last partial packet */
-  char *buffer;                        /* used for partial header */
-  size_t buflen;               /* used size of buffer */
-  int first_c;                 /* of partial header (which is > 0) */
+  int partial;    /* 1 = partial header, 2 in last partial packet.  */
+  char *buffer;           /* Used for partial header.  */
+  size_t buflen;   /* Used size of buffer.  */
+  int first_c;    /* First character of a partial header (which is > 0).  */
   int eof;
 }
 block_filter_ctx_t;
 
+
+/* Global flag to tell whether special file names are enabled.  See
+   gpg.c for an explanation of these file names.  FIXME: This does not
+   belong in the iobuf subsystem. */
 static int special_names_enabled;
 
-static int underflow (iobuf_t a);
+/* Local prototypes.  */
+static int underflow (iobuf_t a, int clear_pending_eof);
 static int translate_file_handle (int fd, int for_write);
 
-#ifndef FILE_FILTER_USES_STDIO
+/* Sends any pending data to the filter's FILTER function.  Note: this
+   works on the filter and not on the whole pipeline.  That is,
+   iobuf_flush doesn't necessarily cause data to be written to any
+   underlying file; it just causes any data buffered at the filter A
+   to be sent to A's filter function.
+
+   If A is a IOBUF_OUTPUT_TEMP filter, then this also enlarges the
+   buffer by IOBUF_BUFFER_SIZE.
+
+   May only be called on an IOBUF_OUTPUT or IOBUF_OUTPUT_TEMP filters.  */
+static int filter_flush (iobuf_t a);
+
+
+\f
+/* This is a replacement for strcmp.  Under W32 it does not
+   distinguish between backslash and slash.  */
+static int
+fd_cache_strcmp (const char *a, const char *b)
+{
+#ifdef HAVE_DOSISH_SYSTEM
+  for (; *a && *b; a++, b++)
+    {
+      if (*a != *b && !((*a == '/' && *b == '\\')
+                        || (*a == '\\' && *b == '/')) )
+        break;
+    }
+  return *(const unsigned char *)a - *(const unsigned char *)b;
+#else
+  return strcmp (a, b);
+#endif
+}
 
 /*
  * Invalidate (i.e. close) a cached iobuf
  */
-static void
+static int
 fd_cache_invalidate (const char *fname)
 {
-  CLOSE_CACHE cc;
+  close_cache_t cc;
+  int rc = 0;
 
   assert (fname);
   if (DBG_IOBUF)
@@ -161,45 +211,81 @@ fd_cache_invalidate (const char *fname)
 
   for (cc = close_cache; cc; cc = cc->next)
     {
-      if (cc->fp != INVALID_FP && !strcmp (cc->fname, fname))
+      if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
        {
          if (DBG_IOBUF)
            log_debug ("                did (%s)\n", cc->fname);
-#ifdef HAVE_DOSISH_SYSTEM
-         CloseHandle (cc->fp);
+#ifdef HAVE_W32_SYSTEM
+         if (!CloseHandle (cc->fp))
+            rc = -1;
 #else
-         close (cc->fp);
+         rc = close (cc->fp);
 #endif
-         cc->fp = INVALID_FP;
+         cc->fp = GNUPG_INVALID_FD;
        }
     }
+  return rc;
 }
 
 
+/* Try to sync changes to the disk.  This is to avoid data loss during
+   a system crash in write/close/rename cycle on some file
+   systems.  */
+static int
+fd_cache_synchronize (const char *fname)
+{
+  int err = 0;
+
+#ifdef HAVE_FSYNC
+  close_cache_t cc;
+
+  if (DBG_IOBUF)
+    log_debug ("fd_cache_synchronize (%s)\n", fname);
+
+  for (cc=close_cache; cc; cc = cc->next )
+    {
+      if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
+       {
+         if (DBG_IOBUF)
+           log_debug ("                 did (%s)\n", cc->fname);
+
+         err = fsync (cc->fp);
+       }
+    }
+#else
+  (void)fname;
+#endif /*HAVE_FSYNC*/
+
+  return err;
+}
+
 
-static FILEP_OR_FD
-direct_open (const char *fname, const char *mode)
+static gnupg_fd_t
+direct_open (const char *fname, const char *mode, int mode700)
 {
-#ifdef HAVE_DOSISH_SYSTEM
+#ifdef HAVE_W32_SYSTEM
   unsigned long da, cd, sm;
   HANDLE hfile;
 
+  (void)mode700;
   /* Note, that we do not handle all mode combinations */
 
   /* According to the ReactOS source it seems that open() of the
-   * standard MSW32 crt does open the file in share mode which is
+   * standard MSW32 crt does open the file in shared mode which is
    * something new for MS applications ;-)
    */
   if (strchr (mode, '+'))
     {
-      fd_cache_invalidate (fname);
+      if (fd_cache_invalidate (fname))
+        return GNUPG_INVALID_FD;
       da = GENERIC_READ | GENERIC_WRITE;
       cd = OPEN_EXISTING;
       sm = FILE_SHARE_READ | FILE_SHARE_WRITE;
     }
   else if (strchr (mode, 'w'))
     {
-      fd_cache_invalidate (fname);
+      if (fd_cache_invalidate (fname))
+        return GNUPG_INVALID_FD;
       da = GENERIC_WRITE;
       cd = CREATE_ALWAYS;
       sm = FILE_SHARE_WRITE;
@@ -211,21 +297,42 @@ direct_open (const char *fname, const char *mode)
       sm = FILE_SHARE_READ;
     }
 
+#ifdef HAVE_W32CE_SYSTEM
+  {
+    wchar_t *wfname = utf8_to_wchar (fname);
+    if (wfname)
+      {
+        hfile = CreateFile (wfname, da, sm, NULL, cd,
+                            FILE_ATTRIBUTE_NORMAL, NULL);
+        xfree (wfname);
+      }
+    else
+      hfile = INVALID_HANDLE_VALUE;
+  }
+#else
   hfile = CreateFile (fname, da, sm, NULL, cd, FILE_ATTRIBUTE_NORMAL, NULL);
+#endif
   return hfile;
-#else
+
+#else /*!HAVE_W32_SYSTEM*/
+
   int oflag;
-  int cflag = S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH;
+  int cflag = S_IRUSR | S_IWUSR;
+
+  if (!mode700)
+    cflag |= S_IRGRP | S_IWGRP | S_IROTH | S_IWOTH;
 
   /* Note, that we do not handle all mode combinations */
   if (strchr (mode, '+'))
     {
-      fd_cache_invalidate (fname);
+      if (fd_cache_invalidate (fname))
+        return GNUPG_INVALID_FD;
       oflag = O_RDWR;
     }
   else if (strchr (mode, 'w'))
     {
-      fd_cache_invalidate (fname);
+      if (fd_cache_invalidate (fname))
+        return GNUPG_INVALID_FD;
       oflag = O_WRONLY | O_CREAT | O_TRUNC;
     }
   else
@@ -236,49 +343,47 @@ direct_open (const char *fname, const char *mode)
   if (strchr (mode, 'b'))
     oflag |= O_BINARY;
 #endif
-#ifndef __riscos__
-  return open (fname, oflag, cflag);
-#else
+
+#ifdef __riscos__
   {
     struct stat buf;
-    int rc = stat (fname, &buf);
 
     /* Don't allow iobufs on directories */
-    if (!rc && S_ISDIR (buf.st_mode) && !S_ISREG (buf.st_mode))
+    if (!stat (fname, &buf) && S_ISDIR (buf.st_mode) && !S_ISREG (buf.st_mode))
       return __set_errno (EISDIR);
-    else
-      return open (fname, oflag, cflag);
   }
 #endif
-#endif
+  return open (fname, oflag, cflag);
+
+#endif /*!HAVE_W32_SYSTEM*/
 }
 
 
 /*
- * Instead of closing an FD we keep it open and cache it for later reuse 
+ * Instead of closing an FD we keep it open and cache it for later reuse
  * Note that this caching strategy only works if the process does not chdir.
  */
 static void
-fd_cache_close (const char *fname, FILEP_OR_FD fp)
+fd_cache_close (const char *fname, gnupg_fd_t fp)
 {
-  CLOSE_CACHE cc;
+  close_cache_t cc;
 
   assert (fp);
   if (!fname || !*fname)
     {
-#ifdef HAVE_DOSISH_SYSTEM
+#ifdef HAVE_W32_SYSTEM
       CloseHandle (fp);
 #else
       close (fp);
 #endif
       if (DBG_IOBUF)
-       log_debug ("fd_cache_close (%p) real\n", (void *) fp);
+       log_debug ("fd_cache_close (%d) real\n", (int)fp);
       return;
     }
   /* try to reuse a slot */
   for (cc = close_cache; cc; cc = cc->next)
     {
-      if (cc->fp == INVALID_FP && !strcmp (cc->fname, fname))
+      if (cc->fp == GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
        {
          cc->fp = fp;
          if (DBG_IOBUF)
@@ -297,34 +402,34 @@ fd_cache_close (const char *fname, FILEP_OR_FD fp)
 }
 
 /*
- * Do an direct_open on FNAME but first try to reuse one from the fd_cache
+ * Do a direct_open on FNAME but first try to reuse one from the fd_cache
  */
-static FILEP_OR_FD
+static gnupg_fd_t
 fd_cache_open (const char *fname, const char *mode)
 {
-  CLOSE_CACHE cc;
+  close_cache_t cc;
 
   assert (fname);
   for (cc = close_cache; cc; cc = cc->next)
     {
-      if (cc->fp != INVALID_FP && !strcmp (cc->fname, fname))
+      if (cc->fp != GNUPG_INVALID_FD && !fd_cache_strcmp (cc->fname, fname))
        {
-         FILEP_OR_FD fp = cc->fp;
-         cc->fp = INVALID_FP;
+         gnupg_fd_t fp = cc->fp;
+         cc->fp = GNUPG_INVALID_FD;
          if (DBG_IOBUF)
            log_debug ("fd_cache_open (%s) using cached fp\n", fname);
-#ifdef HAVE_DOSISH_SYSTEM
+#ifdef HAVE_W32_SYSTEM
          if (SetFilePointer (fp, 0, NULL, FILE_BEGIN) == 0xffffffff)
            {
              log_error ("rewind file failed on handle %p: ec=%d\n",
                         fp, (int) GetLastError ());
-             fp = INVALID_FP;
+             fp = GNUPG_INVALID_FD;
            }
 #else
          if (lseek (fp, 0, SEEK_SET) == (off_t) - 1)
            {
              log_error ("can't rewind fd %d: %s\n", fp, strerror (errno));
-             fp = INVALID_FP;
+             fp = GNUPG_INVALID_FD;
            }
 #endif
          return fp;
@@ -332,111 +437,25 @@ fd_cache_open (const char *fname, const char *mode)
     }
   if (DBG_IOBUF)
     log_debug ("fd_cache_open (%s) not cached\n", fname);
-  return direct_open (fname, mode);
+  return direct_open (fname, mode, 0);
 }
 
 
-#endif /*FILE_FILTER_USES_STDIO */
-
-
-/****************
- * Read data from a file into buf which has an allocated length of *LEN.
- * return the number of read bytes in *LEN. OPAQUE is the FILE * of
- * the stream. A is not used.
- * control may be:
- * IOBUFCTRL_INIT: called just before the function is linked into the
- *                list of function. This can be used to prepare internal
- *                data structures of the function.
- * IOBUFCTRL_FREE: called just before the function is removed from the
- *                 list of functions and can be used to release internal
- *                 data structures or close a file etc.
- * IOBUFCTRL_UNDERFLOW: called by iobuf_underflow to fill the buffer
- *                 with new stuff. *RET_LEN is the available size of the
- *                 buffer, and should be set to the number of bytes
- *                 which were put into the buffer. The function
- *                 returns 0 to indicate success, -1 on EOF and
- *                 GPG_ERR_xxxxx for other errors.
- *
- * IOBUFCTRL_FLUSH: called by iobuf_flush() to write out the collected stuff.
- *                 *RET_LAN is the number of bytes in BUF.
- *
- * IOBUFCTRL_CANCEL: send to all filters on behalf of iobuf_cancel.  The
- *                 filter may take appropriate action on this message.
- */
 static int
 file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
             size_t * ret_len)
 {
   file_filter_ctx_t *a = opaque;
-  FILEP_OR_FD f = a->fp;
+  gnupg_fd_t f = a->fp;
   size_t size = *ret_len;
   size_t nbytes = 0;
   int rc = 0;
 
-#ifdef FILE_FILTER_USES_STDIO
-  if (control == IOBUFCTRL_UNDERFLOW)
-    {
-      assert (size);           /* need a buffer */
-      if (feof (f))
-       {                       /* On terminals you could easiely read as many EOFs as you call         */
-         rc = -1;              /* fread() or fgetc() repeatly. Every call will block until you press   */
-         *ret_len = 0;         /* CTRL-D. So we catch this case before we call fread() again.          */
-       }
-      else
-       {
-         clearerr (f);
-         nbytes = fread (buf, 1, size, f);
-         if (feof (f) && !nbytes)
-           {
-             rc = -1;          /* okay: we can return EOF now. */
-           }
-         else if (ferror (f) && errno != EPIPE)
-           {
-             rc = gpg_error_from_errno (errno);
-             log_error ("%s: read error: %s\n", a->fname, strerror (errno));
-           }
-         *ret_len = nbytes;
-       }
-    }
-  else if (control == IOBUFCTRL_FLUSH)
-    {
-      if (size)
-       {
-         clearerr (f);
-         nbytes = fwrite (buf, 1, size, f);
-         if (ferror (f))
-           {
-             rc = gpg_error_from_errno (errno);
-             log_error ("%s: write error: %s\n", a->fname, strerror (errno));
-           }
-       }
-      *ret_len = nbytes;
-    }
-  else if (control == IOBUFCTRL_INIT)
-    {
-      a->keep_open = a->no_cache = 0;
-    }
-  else if (control == IOBUFCTRL_DESC)
-    {
-      *(char **) buf = "file_filter";
-    }
-  else if (control == IOBUFCTRL_FREE)
-    {
-      if (f != stdin && f != stdout)
-       {
-         if (DBG_IOBUF)
-           log_debug ("%s: close fd %d\n", a->fname, fileno (f));
-         if (!a->keep_open)
-           fclose (f);
-       }
-      f = NULL;
-      xfree (a);               /* we can free our context now */
-    }
-#else /* !stdio implementation */
+  (void)chain; /* Not used.  */
 
   if (control == IOBUFCTRL_UNDERFLOW)
     {
-      assert (size);           /* need a buffer */
+      assert (size); /* We need a buffer.  */
       if (a->eof_seen)
        {
          rc = -1;
@@ -444,7 +463,7 @@ file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
        }
       else
        {
-#ifdef HAVE_DOSISH_SYSTEM
+#ifdef HAVE_W32_SYSTEM
          unsigned long nread;
 
          nbytes = 0;
@@ -481,7 +500,7 @@ file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
            {                   /* error */
              if (errno != EPIPE)
                {
-                 rc = gpg_error_from_errno (errno);
+                 rc = gpg_error_from_syserror ();
                  log_error ("%s: read error: %s\n",
                             a->fname, strerror (errno));
                }
@@ -503,7 +522,7 @@ file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
     {
       if (size)
        {
-#ifdef HAVE_DOSISH_SYSTEM
+#ifdef HAVE_W32_SYSTEM
          byte *p = buf;
          unsigned long n;
 
@@ -543,7 +562,7 @@ file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
          while (n != -1 && nbytes);
          if (n == -1)
            {
-             rc = gpg_error_from_errno (errno);
+             rc = gpg_error_from_syserror ();
              log_error ("%s: write error: %s\n", a->fname, strerror (errno));
            }
          nbytes = p - buf;
@@ -559,37 +578,117 @@ file_filter (void *opaque, int control, iobuf_t chain, byte * buf,
     }
   else if (control == IOBUFCTRL_DESC)
     {
-      *(char **) buf = "file_filter(fd)";
+      mem2str (buf, "file_filter(fd)", *ret_len);
     }
   else if (control == IOBUFCTRL_FREE)
     {
-#ifdef HAVE_DOSISH_SYSTEM
-      if (f != FILEP_OR_FD_FOR_STDIN && f != FILEP_OR_FD_FOR_STDOUT)
+      if (f != FD_FOR_STDIN && f != FD_FOR_STDOUT)
        {
          if (DBG_IOBUF)
-           log_debug ("%s: close handle %p\n", a->fname, f);
+           log_debug ("%s: close fd/handle %d\n", a->fname, FD2INT (f));
          if (!a->keep_open)
            fd_cache_close (a->no_cache ? NULL : a->fname, f);
        }
-#else
-      if ((int) f != 0 && (int) f != 1)
+      xfree (a); /* We can free our context now. */
+    }
+
+  return rc;
+}
+
+
+/* Similar to file_filter but using the estream system.  */
+static int
+file_es_filter (void *opaque, int control, iobuf_t chain, byte * buf,
+                size_t * ret_len)
+{
+  file_es_filter_ctx_t *a = opaque;
+  estream_t f = a->fp;
+  size_t size = *ret_len;
+  size_t nbytes = 0;
+  int rc = 0;
+
+  (void)chain; /* Not used.  */
+
+  if (control == IOBUFCTRL_UNDERFLOW)
+    {
+      assert (size); /* We need a buffer.  */
+      if (a->eof_seen)
+       {
+         rc = -1;
+         *ret_len = 0;
+       }
+      else
+       {
+          nbytes = 0;
+          rc = es_read (f, buf, size, &nbytes);
+         if (rc == -1)
+           {                   /* error */
+              rc = gpg_error_from_syserror ();
+              log_error ("%s: read error: %s\n", a->fname, strerror (errno));
+           }
+         else if (!nbytes)
+           {                   /* eof */
+             a->eof_seen = 1;
+             rc = -1;
+           }
+         *ret_len = nbytes;
+       }
+    }
+  else if (control == IOBUFCTRL_FLUSH)
+    {
+      if (size)
+       {
+         byte *p = buf;
+         size_t nwritten;
+
+         nbytes = size;
+         do
+           {
+              nwritten = 0;
+              if (es_write (f, p, nbytes, &nwritten))
+                {
+                  rc = gpg_error_from_syserror ();
+                  log_error ("%s: write error: %s\n",
+                             a->fname, strerror (errno));
+                  break;
+                }
+              p += nwritten;
+              nbytes -= nwritten;
+           }
+         while (nbytes);
+         nbytes = p - buf;
+       }
+      *ret_len = nbytes;
+    }
+  else if (control == IOBUFCTRL_INIT)
+    {
+      a->eof_seen = 0;
+      a->no_cache = 0;
+    }
+  else if (control == IOBUFCTRL_DESC)
+    {
+      mem2str (buf, "estream_filter", *ret_len);
+    }
+  else if (control == IOBUFCTRL_FREE)
+    {
+      if (f != es_stdin && f != es_stdout)
        {
          if (DBG_IOBUF)
-           log_debug ("%s: close fd %d\n", a->fname, f);
+           log_debug ("%s: es_fclose %p\n", a->fname, f);
          if (!a->keep_open)
-           fd_cache_close (a->no_cache ? NULL : a->fname, f);
+           es_fclose (f);
        }
-      f = INVALID_FP;
-#endif
-      xfree (a);               /* we can free our context now */
+      f = NULL;
+      xfree (a); /* We can free our context now. */
     }
-#endif /* !stdio implementation */
+
   return rc;
 }
 
-#ifdef _WIN32
-/* Becuase sockets are an special object under Lose32 we have to
- * use a special filter */
+
+#ifdef HAVE_W32_SYSTEM
+/* Because network sockets are special objects under Lose32 we have to
+   use a dedicated filter for them. */
 static int
 sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
             size_t * ret_len)
@@ -599,6 +698,8 @@ sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
   size_t nbytes = 0;
   int rc = 0;
 
+  (void)chain;
+
   if (control == IOBUFCTRL_UNDERFLOW)
     {
       assert (size);           /* need a buffer */
@@ -664,7 +765,7 @@ sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
     }
   else if (control == IOBUFCTRL_DESC)
     {
-      *(char **) buf = "sock_filter";
+      mem2str (buf, "sock_filter", *ret_len);
     }
   else if (control == IOBUFCTRL_FREE)
     {
@@ -674,7 +775,7 @@ sock_filter (void *opaque, int control, iobuf_t chain, byte * buf,
     }
   return rc;
 }
-#endif /*_WIN32*/
+#endif /*HAVE_W32_SYSTEM*/
 
 /****************
  * This is used to implement the block write mode.
@@ -759,7 +860,7 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
                    }
                  else if (c == 255)
                    {
-                     a->size = iobuf_get (chain) << 24;
+                     a->size = (size_t)iobuf_get (chain) << 24;
                      a->size |= iobuf_get (chain) << 16;
                      a->size |= iobuf_get (chain) << 8;
                      if ((c = iobuf_get (chain)) == -1)
@@ -785,7 +886,7 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
                  /*  log_debug("partial: ctx=%p c=%02x size=%u\n", a, c, a->size); */
                }
              else
-               BUG (); 
+               BUG ();
            }
 
          while (!rc && size && a->size)
@@ -849,14 +950,14 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
                    {           /* write stuff from the buffer */
                      assert (n == OP_MIN_PARTIAL_CHUNK);
                      if (iobuf_write (chain, a->buffer, n))
-                       rc = gpg_error_from_errno (errno);
+                       rc = gpg_error_from_syserror ();
                      a->buflen = 0;
                      nbytes -= n;
                    }
                  if ((n = nbytes) > blen)
                    n = blen;
                  if (n && iobuf_write (chain, p, n))
-                   rc = gpg_error_from_errno (errno);
+                   rc = gpg_error_from_syserror ();
                  p += n;
                  nbytes -= n;
                }
@@ -882,7 +983,7 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
        log_debug ("init block_filter %p\n", a);
       if (a->partial)
        a->count = 0;
-      else if (a->use == 1)
+      else if (a->use == IOBUF_INPUT)
        a->count = a->size = 0;
       else
        a->count = a->size;     /* force first length bytes */
@@ -892,11 +993,11 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
     }
   else if (control == IOBUFCTRL_DESC)
     {
-      *(char **) buf = "block_filter";
+      mem2str (buf, "block_filter", *ret_len);
     }
   else if (control == IOBUFCTRL_FREE)
     {
-      if (a->use == 2)
+      if (a->use == IOBUF_OUTPUT)
        {                       /* write the end markers */
          if (a->partial)
            {
@@ -935,7 +1036,7 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
                {
                  log_error ("block_filter: write error: %s\n",
                             strerror (errno));
-                 rc = gpg_error_from_errno (errno);
+                 rc = gpg_error_from_syserror ();
                }
              xfree (a->buffer);
              a->buffer = NULL;
@@ -956,6 +1057,24 @@ block_filter (void *opaque, int control, iobuf_t chain, byte * buffer,
   return rc;
 }
 
+#define MAX_IOBUF_DESC 32
+/*
+ * Fill the buffer by the description of iobuf A.
+ * The buffer size should be MAX_IOBUF_DESC (or larger).
+ * Returns BUF as (const char *).
+ */
+static const char *
+iobuf_desc (iobuf_t a, byte *buf)
+{
+  size_t len = MAX_IOBUF_DESC;
+
+  if (! a || ! a->filter)
+    memcpy (buf, "?", 2);
+  else
+    a->filter (a->filter_ov, IOBUFCTRL_DESC, NULL, buf, &len);
+
+  return buf;
+}
 
 static void
 print_chain (iobuf_t a)
@@ -964,15 +1083,10 @@ print_chain (iobuf_t a)
     return;
   for (; a; a = a->chain)
     {
-      size_t dummy_len = 0;
-      const char *desc = "[none]";
+      byte desc[MAX_IOBUF_DESC];
 
-      if (a->filter)
-       a->filter (a->filter_ov, IOBUFCTRL_DESC, NULL,
-                  (byte *) & desc, &dummy_len);
-
-      log_debug ("iobuf chain: %d.%d `%s' filter_eof=%d start=%d len=%d\n",
-                a->no, a->subno, desc, a->filter_eof,
+      log_debug ("iobuf chain: %d.%d '%s' filter_eof=%d start=%d len=%d\n",
+                a->no, a->subno, iobuf_desc (a, desc), a->filter_eof,
                 (int) a->d.start, (int) a->d.len);
     }
 }
@@ -984,24 +1098,26 @@ iobuf_print_chain (iobuf_t a)
   return 0;
 }
 
-/****************
- * Allocate a new io buffer, with no function assigned.
- * Use is the desired usage: 1 for input, 2 for output, 3 for temp buffer
- * BUFSIZE is a suggested buffer size.
- */
 iobuf_t
 iobuf_alloc (int use, size_t bufsize)
 {
   iobuf_t a;
   static int number = 0;
 
+  assert (use == IOBUF_INPUT || use == IOBUF_INPUT_TEMP
+         || use == IOBUF_OUTPUT || use == IOBUF_OUTPUT_TEMP);
+  if (bufsize == 0)
+    {
+      log_bug ("iobuf_alloc() passed a bufsize of 0!\n");
+      bufsize = IOBUF_BUFFER_SIZE;
+    }
+
   a = xcalloc (1, sizeof *a);
   a->use = use;
   a->d.buf = xmalloc (bufsize);
   a->d.size = bufsize;
   a->no = ++number;
   a->subno = 0;
-  a->opaque = NULL;
   a->real_fname = NULL;
   return a;
 }
@@ -1009,30 +1125,32 @@ iobuf_alloc (int use, size_t bufsize)
 int
 iobuf_close (iobuf_t a)
 {
-  iobuf_t a2;
+  iobuf_t a_chain;
   size_t dummy_len = 0;
   int rc = 0;
 
-  if (a && a->directfp)
+  for (; a; a = a_chain)
     {
-      fclose (a->directfp);
-      xfree (a->real_fname);
-      if (DBG_IOBUF)
-       log_debug ("iobuf_close -> %p\n", a->directfp);
-      return 0;
-    }
+      byte desc[MAX_IOBUF_DESC];
+      int rc2 = 0;
 
-  for (; a && !rc; a = a2)
-    {
-      a2 = a->chain;
-      if (a->use == 2 && (rc = iobuf_flush (a)))
-       log_error ("iobuf_flush failed on close: %s\n", gpg_strerror (rc));
+      a_chain = a->chain;
+
+      if (a->use == IOBUF_OUTPUT && (rc = filter_flush (a)))
+       log_error ("filter_flush failed on close: %s\n", gpg_strerror (rc));
 
       if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: close `%s'\n", a->no, a->subno, a->desc);
-      if (a->filter && (rc = a->filter (a->filter_ov, IOBUFCTRL_FREE,
-                                       a->chain, NULL, &dummy_len)))
+       log_debug ("iobuf-%d.%d: close '%s'\n",
+                  a->no, a->subno, iobuf_desc (a, desc));
+
+      if (a->filter && (rc2 = a->filter (a->filter_ov, IOBUFCTRL_FREE,
+                                        a->chain, NULL, &dummy_len)))
        log_error ("IOBUFCTRL_FREE failed on close: %s\n", gpg_strerror (rc));
+      if (! rc && rc2)
+       /* Whoops!  An error occurred.  Save it in RC if we haven't
+          already recorded an error.  */
+       rc = rc2;
+
       xfree (a->real_fname);
       if (a->d.buf)
        {
@@ -1050,16 +1168,16 @@ iobuf_cancel (iobuf_t a)
   const char *s;
   iobuf_t a2;
   int rc;
-#if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
+#if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
   char *remove_name = NULL;
 #endif
 
-  if (a && a->use == 2)
+  if (a && a->use == IOBUF_OUTPUT)
     {
       s = iobuf_get_real_fname (a);
       if (s && *s)
        {
-#if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
+#if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
          remove_name = xstrdup (s);
 #else
          remove (s);
@@ -1076,12 +1194,19 @@ iobuf_cancel (iobuf_t a)
     }
 
   rc = iobuf_close (a);
-#if defined(HAVE_DOSISH_SYSTEM) || defined(__riscos__)
+#if defined(HAVE_W32_SYSTEM) || defined(__riscos__)
   if (remove_name)
     {
       /* Argg, MSDOS does not allow to remove open files.  So
        * we have to do it here */
+#ifdef HAVE_W32CE_SYSTEM
+      wchar_t *wtmp = utf8_to_wchar (remove_name);
+      if (wtmp)
+        DeleteFile (wtmp);
+      xfree (wtmp);
+#else
       remove (remove_name);
+#endif
       xfree (remove_name);
     }
 #endif
@@ -1089,28 +1214,23 @@ iobuf_cancel (iobuf_t a)
 }
 
 
-/****************
- * create a temporary iobuf, which can be used to collect stuff
- * in an iobuf and later be written by iobuf_write_temp() to another
- * iobuf.
- */
 iobuf_t
-iobuf_temp ()
+iobuf_temp (void)
 {
-  iobuf_t a;
-
-  a = iobuf_alloc (3, 8192);
-
-  return a;
+  return iobuf_alloc (IOBUF_OUTPUT_TEMP, IOBUF_BUFFER_SIZE);
 }
 
 iobuf_t
 iobuf_temp_with_content (const char *buffer, size_t length)
 {
   iobuf_t a;
+  int i;
 
-  a = iobuf_alloc (3, length);
-  memcpy (a->d.buf, buffer, length);
+  a = iobuf_alloc (IOBUF_INPUT_TEMP, length);
+  assert (length == a->d.size);
+  /* memcpy (a->d.buf, buffer, length); */
+  for (i=0; i < length; i++)
+    a->d.buf[i] = buffer[i];
   a->d.len = length;
 
   return a;
@@ -1143,8 +1263,6 @@ check_special_filename (const char *fname)
 }
 
 
-/* This fucntion returns true if FNAME indicates a PIPE (stdout or
-   stderr) or a special file name if those are enabled. */
 int
 iobuf_is_pipe_filename (const char *fname)
 {
@@ -1153,34 +1271,52 @@ iobuf_is_pipe_filename (const char *fname)
   return check_special_filename (fname) != -1;
 }
 
-/****************
- * Create a head iobuf for reading from a file
- * returns: NULL if an error occures and sets errno
- */
-iobuf_t
-iobuf_open (const char *fname)
+static iobuf_t
+do_open (const char *fname, int special_filenames,
+        int use, const char *opentype, int mode700)
 {
   iobuf_t a;
-  FILEP_OR_FD fp;
+  gnupg_fd_t fp;
   file_filter_ctx_t *fcx;
-  size_t len;
+  size_t len = 0;
   int print_only = 0;
   int fd;
+  byte desc[MAX_IOBUF_DESC];
 
-  if (!fname || (*fname == '-' && !fname[1]))
+  assert (use == IOBUF_INPUT || use == IOBUF_OUTPUT);
+
+  if (special_filenames
+      /* NULL or '-'.  */
+      && (!fname || (*fname == '-' && !fname[1])))
     {
-      fp = FILEP_OR_FD_FOR_STDIN;
-#ifdef USE_SETMODE
-      setmode (my_fileno (fp), O_BINARY);
-#endif
-      fname = "[stdin]";
+      if (use == IOBUF_INPUT)
+       {
+         fp = FD_FOR_STDIN;
+         fname = "[stdin]";
+       }
+      else
+       {
+         fp = FD_FOR_STDOUT;
+         fname = "[stdout]";
+       }
       print_only = 1;
     }
-  else if ((fd = check_special_filename (fname)) != -1)
-    return iobuf_fdopen (translate_file_handle (fd, 0), "rb");
-  else if ((fp = my_fopen_ro (fname, "rb")) == INVALID_FP)
+  else if (!fname)
     return NULL;
-  a = iobuf_alloc (1, 8192);
+  else if (special_filenames && (fd = check_special_filename (fname)) != -1)
+    return iobuf_fdopen (translate_file_handle (fd, use == IOBUF_INPUT ? 0 : 1),
+                        opentype);
+  else
+    {
+      if (use == IOBUF_INPUT)
+       fp = fd_cache_open (fname, opentype);
+      else
+       fp = direct_open (fname, opentype, mode700);
+      if (fp == GNUPG_INVALID_FD)
+       return NULL;
+    }
+
+  a = iobuf_alloc (use, IOBUF_BUFFER_SIZE);
   fcx = xmalloc (sizeof *fcx + strlen (fname));
   fcx->fp = fp;
   fcx->print_only_name = print_only;
@@ -1189,188 +1325,137 @@ iobuf_open (const char *fname)
     a->real_fname = xstrdup (fname);
   a->filter = file_filter;
   a->filter_ov = fcx;
-  file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
   if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: open `%s' fd=%d\n",
-              a->no, a->subno, fname, (int) my_fileno (fcx->fp));
+    log_debug ("iobuf-%d.%d: open '%s' desc=%s fd=%d\n",
+              a->no, a->subno, fname, iobuf_desc (a, desc), FD2INT (fcx->fp));
 
   return a;
 }
 
-/****************
- * Create a head iobuf for reading from a file
- * returns: NULL if an error occures and sets errno
- */
 iobuf_t
-iobuf_fdopen (int fd, const char *mode)
+iobuf_open (const char *fname)
 {
-  iobuf_t a;
-  FILEP_OR_FD fp;
-  file_filter_ctx_t *fcx;
-  size_t len;
+  return do_open (fname, 1, IOBUF_INPUT, "rb", 0);
+}
 
-#ifdef FILE_FILTER_USES_STDIO
-  if (!(fp = fdopen (fd, mode)))
-    return NULL;
-#else
-  fp = (FILEP_OR_FD) fd;
-#endif
-  a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, 8192);
-  fcx = xmalloc (sizeof *fcx + 20);
-  fcx->fp = fp;
-  fcx->print_only_name = 1;
-  sprintf (fcx->fname, "[fd %d]", fd);
-  a->filter = file_filter;
-  a->filter_ov = fcx;
-  file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
-  file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
-  if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: fdopen `%s'\n", a->no, a->subno, fcx->fname);
-  iobuf_ioctl (a, 3, 1, NULL); /* disable fd caching */
-  return a;
+iobuf_t
+iobuf_create (const char *fname, int mode700)
+{
+  return do_open (fname, 1, IOBUF_OUTPUT, "wb", mode700);
 }
 
-
 iobuf_t
-iobuf_sockopen (int fd, const char *mode)
+iobuf_openrw (const char *fname)
 {
-  iobuf_t a;
-#ifdef _WIN32
-  sock_filter_ctx_t *scx;
-  size_t len;
-
-  a = iobuf_alloc (strchr (mode, 'w') ? 2 : 1, 8192);
-  scx = xmalloc (sizeof *scx + 25);
-  scx->sock = fd;
-  scx->print_only_name = 1;
-  sprintf (scx->fname, "[sock %d]", fd);
-  a->filter = sock_filter;
-  a->filter_ov = scx;
-  sock_filter (scx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
-  sock_filter (scx, IOBUFCTRL_INIT, NULL, NULL, &len);
-  if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: sockopen `%s'\n", a->no, a->subno, scx->fname);
-  iobuf_ioctl (a, 3, 1, NULL); /* disable fd caching */
-#else
-  a = iobuf_fdopen (fd, mode);
-#endif
-  return a;
+  return do_open (fname, 0, IOBUF_OUTPUT, "r+b", 0);
 }
 
-/****************
- * create an iobuf for writing to a file; the file will be created.
- */
-iobuf_t
-iobuf_create (const char *fname)
+
+static iobuf_t
+do_iobuf_fdopen (int fd, const char *mode, int keep_open)
 {
   iobuf_t a;
-  FILEP_OR_FD fp;
+  gnupg_fd_t fp;
   file_filter_ctx_t *fcx;
   size_t len;
-  int print_only = 0;
-  int fd;
 
-  if (!fname || (*fname == '-' && !fname[1]))
-    {
-      fp = FILEP_OR_FD_FOR_STDOUT;
-#ifdef USE_SETMODE
-      setmode (my_fileno (fp), O_BINARY);
-#endif
-      fname = "[stdout]";
-      print_only = 1;
-    }
-  else if ((fd = check_special_filename (fname)) != -1)
-    return iobuf_fdopen (translate_file_handle (fd, 1), "wb");
-  else if ((fp = my_fopen (fname, "wb")) == INVALID_FP)
-    return NULL;
-  a = iobuf_alloc (2, 8192);
-  fcx = xmalloc (sizeof *fcx + strlen (fname));
+  fp = INT2FD (fd);
+
+  a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
+                  IOBUF_BUFFER_SIZE);
+  fcx = xmalloc (sizeof *fcx + 20);
   fcx->fp = fp;
-  fcx->print_only_name = print_only;
-  strcpy (fcx->fname, fname);
-  if (!print_only)
-    a->real_fname = xstrdup (fname);
+  fcx->print_only_name = 1;
+  fcx->keep_open = keep_open;
+  sprintf (fcx->fname, "[fd %d]", fd);
   a->filter = file_filter;
   a->filter_ov = fcx;
-  file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
   file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
   if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: create `%s'\n", a->no, a->subno, a->desc);
-
+    log_debug ("iobuf-%d.%d: fdopen%s '%s'\n",
+               a->no, a->subno, keep_open? "_nc":"", fcx->fname);
+  iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
   return a;
 }
 
-/****************
- * append to an iobuf; if the file does not exist, create it.
- * cannot be used for stdout.
- * Note: This is not used.
- */
-#if 0                          /* not used */
+
+iobuf_t
+iobuf_fdopen (int fd, const char *mode)
+{
+  return do_iobuf_fdopen (fd, mode, 0);
+}
+
+iobuf_t
+iobuf_fdopen_nc (int fd, const char *mode)
+{
+  return do_iobuf_fdopen (fd, mode, 1);
+}
+
+
 iobuf_t
-iobuf_append (const char *fname)
+iobuf_esopen (estream_t estream, const char *mode, int keep_open)
 {
   iobuf_t a;
-  FILE *fp;
-  file_filter_ctx_t *fcx;
-  size_t len;
+  file_es_filter_ctx_t *fcx;
+  size_t len = 0;
 
-  if (!fname)
-    return NULL;
-  else if (!(fp = my_fopen (fname, "ab")))
-    return NULL;
-  a = iobuf_alloc (2, 8192);
-  fcx = m_alloc (sizeof *fcx + strlen (fname));
-  fcx->fp = fp;
-  strcpy (fcx->fname, fname);
-  a->real_fname = m_strdup (fname);
-  a->filter = file_filter;
+  a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
+                  IOBUF_BUFFER_SIZE);
+  fcx = xtrymalloc (sizeof *fcx + 30);
+  fcx->fp = estream;
+  fcx->print_only_name = 1;
+  fcx->keep_open = keep_open;
+  sprintf (fcx->fname, "[fd %p]", estream);
+  a->filter = file_es_filter;
   a->filter_ov = fcx;
-  file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
-  file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
+  file_es_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
   if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: append `%s'\n", a->no, a->subno, a->desc);
-
+    log_debug ("iobuf-%d.%d: esopen%s '%s'\n",
+               a->no, a->subno, keep_open? "_nc":"", fcx->fname);
   return a;
 }
-#endif
+
 
 iobuf_t
-iobuf_openrw (const char *fname)
+iobuf_sockopen (int fd, const char *mode)
 {
   iobuf_t a;
-  FILEP_OR_FD fp;
-  file_filter_ctx_t *fcx;
+#ifdef HAVE_W32_SYSTEM
+  sock_filter_ctx_t *scx;
   size_t len;
 
-  if (!fname)
-    return NULL;
-  else if ((fp = my_fopen (fname, "r+b")) == INVALID_FP)
-    return NULL;
-  a = iobuf_alloc (2, 8192);
-  fcx = xmalloc (sizeof *fcx + strlen (fname));
-  fcx->fp = fp;
-  strcpy (fcx->fname, fname);
-  a->real_fname = xstrdup (fname);
-  a->filter = file_filter;
-  a->filter_ov = fcx;
-  file_filter (fcx, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &len);
-  file_filter (fcx, IOBUFCTRL_INIT, NULL, NULL, &len);
+  a = iobuf_alloc (strchr (mode, 'w') ? IOBUF_OUTPUT : IOBUF_INPUT,
+                  IOBUF_BUFFER_SIZE);
+  scx = xmalloc (sizeof *scx + 25);
+  scx->sock = fd;
+  scx->print_only_name = 1;
+  sprintf (scx->fname, "[sock %d]", fd);
+  a->filter = sock_filter;
+  a->filter_ov = scx;
+  sock_filter (scx, IOBUFCTRL_INIT, NULL, NULL, &len);
   if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: openrw `%s'\n", a->no, a->subno, a->desc);
-
+    log_debug ("iobuf-%d.%d: sockopen '%s'\n", a->no, a->subno, scx->fname);
+  iobuf_ioctl (a, IOBUF_IOCTL_NO_CACHE, 1, NULL);
+#else
+  a = iobuf_fdopen (fd, mode);
+#endif
   return a;
 }
 
-
 int
-iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
+iobuf_ioctl (iobuf_t a, iobuf_ioctl_t cmd, int intval, void *ptrval)
 {
-  if (cmd == 1)
-    {                          /* keep system filepointer/descriptor open */
+  byte desc[MAX_IOBUF_DESC];
+
+  if (cmd == IOBUF_IOCTL_KEEP_OPEN)
+    {
+      /* Keep system filepointer/descriptor open.  This was used in
+         the past by http.c; this ioctl is not directly used
+         anymore.  */
       if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: ioctl `%s' keep=%d\n",
-                  a ? a->no : -1, a ? a->subno : -1, a ? a->desc : "?",
+       log_debug ("iobuf-%d.%d: ioctl '%s' keep_open=%d\n",
+                  a ? a->no : -1, a ? a->subno : -1, iobuf_desc (a, desc),
                   intval);
       for (; a; a = a->chain)
        if (!a->chain && a->filter == file_filter)
@@ -1379,7 +1464,7 @@ iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
            b->keep_open = intval;
            return 0;
          }
-#ifdef _WIN32
+#ifdef HAVE_W32_SYSTEM
        else if (!a->chain && a->filter == sock_filter)
          {
            sock_filter_ctx_t *b = a->filter_ov;
@@ -1388,24 +1473,23 @@ iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
          }
 #endif
     }
-  else if (cmd == 2)
-    {                          /* invalidate cache */
+  else if (cmd == IOBUF_IOCTL_INVALIDATE_CACHE)
+    {
       if (DBG_IOBUF)
-       log_debug ("iobuf-*.*: ioctl `%s' invalidate\n",
+       log_debug ("iobuf-*.*: ioctl '%s' invalidate\n",
                   ptrval ? (char *) ptrval : "?");
       if (!a && !intval && ptrval)
        {
-#ifndef FILE_FILTER_USES_STDIO
-         fd_cache_invalidate (ptrval);
-#endif
+         if (fd_cache_invalidate (ptrval))
+            return -1;
          return 0;
        }
     }
-  else if (cmd == 3)
-    {                          /* disallow/allow caching */
+  else if (cmd == IOBUF_IOCTL_NO_CACHE)
+    {
       if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: ioctl `%s' no_cache=%d\n",
-                  a ? a->no : -1, a ? a->subno : -1, a ? a->desc : "?",
+       log_debug ("iobuf-%d.%d: ioctl '%s' no_cache=%d\n",
+                  a ? a->no : -1, a ? a->subno : -1, iobuf_desc (a, desc),
                   intval);
       for (; a; a = a->chain)
        if (!a->chain && a->filter == file_filter)
@@ -1414,7 +1498,7 @@ iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
            b->no_cache = intval;
            return 0;
          }
-#ifdef _WIN32
+#ifdef HAVE_W32_SYSTEM
        else if (!a->chain && a->filter == sock_filter)
          {
            sock_filter_ctx_t *b = a->filter_ov;
@@ -1423,6 +1507,20 @@ iobuf_ioctl (iobuf_t a, int cmd, int intval, void *ptrval)
          }
 #endif
     }
+  else if (cmd == IOBUF_IOCTL_FSYNC)
+    {
+      /* Do a fsync on the open fd and return any errors to the caller
+         of iobuf_ioctl.  Note that we work on a file name here. */
+      if (DBG_IOBUF)
+        log_debug ("iobuf-*.*: ioctl '%s' fsync\n",
+                   ptrval? (const char*)ptrval:"<null>");
+
+      if (!a && !intval && ptrval)
+        {
+          return fd_cache_synchronize (ptrval);
+        }
+    }
+
 
   return -1;
 }
@@ -1450,16 +1548,60 @@ iobuf_push_filter2 (iobuf_t a,
   size_t dummy_len = 0;
   int rc = 0;
 
-  if (a->directfp)
-    BUG ();
-
-  if (a->use == 2 && (rc = iobuf_flush (a)))
+  if (a->use == IOBUF_OUTPUT && (rc = filter_flush (a)))
     return rc;
-  /* make a copy of the current stream, so that
-   * A is the new stream and B the original one.
-   * The contents of the buffers are transferred to the
-   * new stream.
-   */
+
+  if (a->subno >= MAX_NESTING_FILTER)
+    {
+      log_error ("i/o filter too deeply nested - corrupted data?\n");
+      return GPG_ERR_BAD_DATA;
+    }
+
+  /* We want to create a new filter and put it in front of A.  A
+     simple implementation would do:
+
+       b = iobuf_alloc (...);
+       b->chain = a;
+       return a;
+
+     This is a bit problematic: A is the head of the pipeline and
+     there are potentially many pointers to it.  Requiring the caller
+     to update all of these pointers is a burden.
+
+     An alternative implementation would add a level of indirection.
+     For instance, we could use a pipeline object, which contains a
+     pointer to the first filter in the pipeline.  This is not what we
+     do either.
+
+     Instead, we allocate a new buffer (B) and copy the first filter's
+     state into that and use the initial buffer (A) for the new
+     filter.  One limitation of this approach is that it is not
+     practical to maintain a pointer to a specific filter's state.
+
+     Before:
+
+           A
+           |
+           v 0x100               0x200
+           +----------+          +----------+
+           | filter x |--------->| filter y |---->....
+           +----------+          +----------+
+
+     After:           B
+                      |
+                      v 0x300
+                      +----------+
+           A          | filter x |
+           |          +----------+
+           v 0x100    ^          v 0x200
+           +----------+          +----------+
+           | filter w |          | filter y |---->....
+           +----------+          +----------+
+
+     Note: filter x's address changed from 0x100 to 0x300, but A still
+     points to the head of the pipeline.
+  */
+
   b = xmalloc (sizeof *b);
   memcpy (b, a, sizeof *b);
   /* fixme: it is stupid to keep a copy of the name at every level
@@ -1471,30 +1613,50 @@ iobuf_push_filter2 (iobuf_t a,
   a->filter_ov = NULL;
   a->filter_ov_owner = 0;
   a->filter_eof = 0;
-  if (a->use == 3)
-    a->use = 2;                        /* make a write stream from a temp stream */
+  if (a->use == IOBUF_OUTPUT_TEMP)
+    /* A TEMP filter buffers any data sent to it; it does not forward
+       any data down the pipeline.  If we add a new filter to the
+       pipeline, it shouldn't also buffer data.  It should send it
+       downstream to be buffered.  Thus, the correct type for a filter
+       added in front of an IOBUF_OUTPUT_TEMP filter is IOBUF_OUPUT, not
+       IOBUF_OUTPUT_TEMP.  */
+    {
+      a->use = IOBUF_OUTPUT;
 
-  if (a->use == 2)
-    {                          /* allocate a fresh buffer for the
-                                   original stream */
-      b->d.buf = xmalloc (a->d.size);
-      b->d.len = 0;
-      b->d.start = 0;
+      /* When pipeline is written to, the temp buffer's size is
+        increased accordingly.  We don't need to allocate a 10 MB
+        buffer for a non-terminal filter.  Just use the default
+        size.  */
+      a->d.size = IOBUF_BUFFER_SIZE;
     }
-  else
-    {                          /* allocate a fresh buffer for the new
-                                   stream */
-      a->d.buf = xmalloc (a->d.size);
-      a->d.len = 0;
-      a->d.start = 0;
+  else if (a->use == IOBUF_INPUT_TEMP)
+    /* Same idea as above.  */
+    {
+      a->use = IOBUF_INPUT;
+      a->d.size = IOBUF_BUFFER_SIZE;
     }
+
+  /* The new filter (A) gets a new buffer.
+
+     If the pipeline is an output or temp pipeline, then giving the
+     buffer to the new filter means that data that was written before
+     the filter was pushed gets sent to the filter.  That's clearly
+     wrong.
+
+     If the pipeline is an input pipeline, then giving the buffer to
+     the new filter (A) means that data that has read from (B), but
+     not yet read from the pipeline won't be processed by the new
+     filter (A)!  That's certainly not what we want.  */
+  a->d.buf = xmalloc (a->d.size);
+  a->d.len = 0;
+  a->d.start = 0;
+
   /* disable nlimit for the new stream */
   a->ntotal = b->ntotal + b->nbytes;
   a->nlimit = a->nbytes = 0;
-  a->nofast &= ~1;
+  a->nofast = 0;
   /* make a link from the new stream to the original stream */
   a->chain = b;
-  a->opaque = b->opaque;
 
   /* setup the function on the new stream */
   a->filter = f;
@@ -1502,11 +1664,12 @@ iobuf_push_filter2 (iobuf_t a,
   a->filter_ov_owner = rel_ov;
 
   a->subno = b->subno + 1;
-  f (ov, IOBUFCTRL_DESC, NULL, (byte *) & a->desc, &dummy_len);
 
   if (DBG_IOBUF)
     {
-      log_debug ("iobuf-%d.%d: push `%s'\n", a->no, a->subno, a->desc);
+      byte desc[MAX_IOBUF_DESC];
+      log_debug ("iobuf-%d.%d: push '%s'\n",
+                a->no, a->subno, iobuf_desc (a, desc));
       print_chain (a);
     }
 
@@ -1520,20 +1683,25 @@ iobuf_push_filter2 (iobuf_t a,
 /****************
  * Remove an i/o filter.
  */
-static int
-pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
-                              iobuf_t chain, byte * buf, size_t * len),
-           void *ov)
+int
+iobuf_pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
+                                       iobuf_t chain, byte * buf, size_t * len),
+                  void *ov)
 {
   iobuf_t b;
   size_t dummy_len = 0;
   int rc = 0;
-
-  if (a->directfp)
-    BUG ();
+  byte desc[MAX_IOBUF_DESC];
 
   if (DBG_IOBUF)
-    log_debug ("iobuf-%d.%d: pop `%s'\n", a->no, a->subno, a->desc);
+    log_debug ("iobuf-%d.%d: pop '%s'\n",
+              a->no, a->subno, iobuf_desc (a, desc));
+  if (a->use == IOBUF_INPUT_TEMP || a->use == IOBUF_OUTPUT_TEMP)
+    {
+      /* This should be the last filter in the pipeline.  */
+      assert (! a->chain);
+      return 0;
+    }
   if (!a->filter)
     {                          /* this is simple */
       b = a->chain;
@@ -1548,12 +1716,13 @@ pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
     if (b->filter == f && (!ov || b->filter_ov == ov))
       break;
   if (!b)
-    log_bug ("pop_filter(): filter function not found\n");
+    log_bug ("iobuf_pop_filter(): filter function not found\n");
 
   /* flush this stream if it is an output stream */
-  if (a->use == 2 && (rc = iobuf_flush (b)))
+  if (a->use == IOBUF_OUTPUT && (rc = filter_flush (b)))
     {
-      log_error ("iobuf_flush failed in pop_filter: %s\n", gpg_strerror (rc));
+      log_error ("filter_flush failed in iobuf_pop_filter: %s\n",
+                 gpg_strerror (rc));
       return rc;
     }
   /* and tell the filter to free it self */
@@ -1604,23 +1773,51 @@ pop_filter (iobuf_t a, int (*f) (void *opaque, int control,
  * the first byte or -1 on EOF.
  */
 static int
-underflow (iobuf_t a)
+underflow (iobuf_t a, int clear_pending_eof)
 {
   size_t len;
   int rc;
 
-  assert (a->d.start == a->d.len);
-  if (a->use == 3)
-    return -1;                 /* EOF because a temp buffer can't do an underflow */
+  if (DBG_IOBUF)
+    log_debug ("iobuf-%d.%d: underflow: buffer size: %d; still buffered: %d => space for %d bytes\n",
+              a->no, a->subno,
+              (int) a->d.size, (int) (a->d.len - a->d.start),
+              (int) (a->d.size - (a->d.len - a->d.start)));
+
+  if (a->use == IOBUF_INPUT_TEMP)
+    /* By definition, there isn't more data to read into the
+       buffer.  */
+    return -1;
+
+  assert (a->use == IOBUF_INPUT);
+
+  /* If there is still some buffered data, then move it to the start
+     of the buffer and try to fill the end of the buffer.  (This is
+     useful if we are called from iobuf_peek().)  */
+  assert (a->d.start <= a->d.len);
+  a->d.len -= a->d.start;
+  memmove (a->d.buf, &a->d.buf[a->d.start], a->d.len);
+  a->d.start = 0;
 
-  if (a->filter_eof)
+  if (a->d.len == 0 && a->filter_eof)
+    /* The last time we tried to read from this filter, we got an EOF.
+       We couldn't return the EOF, because there was buffered data.
+       Since there is no longer any buffered data, return the
+       error.  */
     {
+      if (DBG_IOBUF)
+       log_debug ("iobuf-%d.%d: underflow: eof (pending eof)\n",
+                  a->no, a->subno);
+      if (! clear_pending_eof)
+       return -1;
+
       if (a->chain)
+       /* A filter follows this one.  Free this filter.  */
        {
          iobuf_t b = a->chain;
          if (DBG_IOBUF)
-           log_debug ("iobuf-%d.%d: pop `%s' in underflow\n",
-                      a->no, a->subno, a->desc);
+           log_debug ("iobuf-%d.%d: filter popped (pending EOF returned)\n",
+                      a->no, a->subno);
          xfree (a->d.buf);
          xfree (a->real_fname);
          memcpy (a, b, sizeof *a);
@@ -1629,135 +1826,138 @@ underflow (iobuf_t a)
        }
       else
        a->filter_eof = 0;      /* for the top level filter */
-      if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: underflow: eof (due to filter eof)\n",
-                  a->no, a->subno);
       return -1;               /* return one(!) EOF */
     }
-  if (a->error)
+
+  if (a->d.len == 0 && a->error)
+    /* The last time we tried to read from this filter, we got an
+       error.  We couldn't return the error, because there was
+       buffered data.  Since there is no longer any buffered data,
+       return the error.  */
     {
       if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: error\n", a->no, a->subno);
+       log_debug ("iobuf-%d.%d: pending error (%s) returned\n",
+                  a->no, a->subno, gpg_strerror (a->error));
       return -1;
     }
 
-  if (a->directfp)
+  if (a->filter && ! a->filter_eof && ! a->error)
+    /* We have a filter function and the last time we tried to read we
+       didn't get an EOF or an error.  Try to fill the buffer.  */
     {
-      FILE *fp = a->directfp;
-
-      len = fread (a->d.buf, 1, a->d.size, fp);
-      if (len < a->d.size)
-       {
-         if (ferror (fp))
-           a->error = gpg_error_from_errno (errno);
-       }
-      a->d.len = len;
-      a->d.start = 0;
-      return len ? a->d.buf[a->d.start++] : -1;
-    }
-
-
-  if (a->filter)
-    {
-      len = a->d.size;
+      /* Be careful to account for any buffered data.  */
+      len = a->d.size - a->d.len;
       if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: underflow: req=%lu\n",
+       log_debug ("iobuf-%d.%d: underflow: A->FILTER (%lu bytes)\n",
                   a->no, a->subno, (ulong) len);
-      rc = a->filter (a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
-                     a->d.buf, &len);
+      if (len == 0)
+       /* There is no space for more data.  Don't bother calling
+          A->FILTER.  */
+       rc = 0;
+      else
+       rc = a->filter (a->filter_ov, IOBUFCTRL_UNDERFLOW, a->chain,
+                       &a->d.buf[a->d.len], &len);
+      a->d.len += len;
+
       if (DBG_IOBUF)
-       {
-         log_debug ("iobuf-%d.%d: underflow: got=%lu rc=%d\n",
-                    a->no, a->subno, (ulong) len, rc);
+       log_debug ("iobuf-%d.%d: A->FILTER() returned rc=%d (%s), read %lu bytes\n",
+                  a->no, a->subno,
+                  rc, rc == 0 ? "ok" : rc == -1 ? "EOF" : gpg_strerror (rc),
+                  (ulong) len);
 /*         if( a->no == 1 ) */
 /*                   log_hexdump ("     data:", a->d.buf, len); */
-       }
-      if (a->use == 1 && rc == -1)
-       {                       /* EOF: we can remove the filter */
+
+      if (rc == -1)
+       /* EOF.  */
+       {
          size_t dummy_len = 0;
 
-         /* and tell the filter to free itself */
+         /* Tell the filter to free itself */
          if ((rc = a->filter (a->filter_ov, IOBUFCTRL_FREE, a->chain,
                               NULL, &dummy_len)))
            log_error ("IOBUFCTRL_FREE failed: %s\n", gpg_strerror (rc));
+
+         /* Free everything except for the internal buffer.  */
          if (a->filter_ov && a->filter_ov_owner)
-           {
-             xfree (a->filter_ov);
-             a->filter_ov = NULL;
-           }
-         a->filter = NULL;
-         a->desc = NULL;
+           xfree (a->filter_ov);
          a->filter_ov = NULL;
+         a->filter = NULL;
          a->filter_eof = 1;
-         if (!len && a->chain)
+
+         if (clear_pending_eof && a->d.len == 0 && a->chain)
+           /* We don't need to keep this filter around at all:
+
+                - we got an EOF
+                - we have no buffered data
+                - a filter follows this one.
+
+             Unlink this filter.  */
            {
              iobuf_t b = a->chain;
              if (DBG_IOBUF)
-               log_debug ("iobuf-%d.%d: pop `%s' in underflow (!len)\n",
-                          a->no, a->subno, a->desc);
+               log_debug ("iobuf-%d.%d: pop in underflow (nothing buffered, got EOF)\n",
+                          a->no, a->subno);
              xfree (a->d.buf);
              xfree (a->real_fname);
              memcpy (a, b, sizeof *a);
              xfree (b);
+
              print_chain (a);
+
+             return -1;
            }
+         else if (a->d.len == 0)
+           /* We can't unlink this filter (it is the only one in the
+              pipeline), but we can immediately return EOF.  */
+           return -1;
        }
       else if (rc)
-       a->error = rc;
-
-      if (!len)
+       /* Record the error.  */
        {
-         if (DBG_IOBUF)
-           log_debug ("iobuf-%d.%d: underflow: eof\n", a->no, a->subno);
-         return -1;
+         a->error = rc;
+
+         if (a->d.len == 0)
+           /* There is no buffered data.  Immediately return EOF.  */
+           return -1;
        }
-      a->d.len = len;
-      a->d.start = 0;
-      return a->d.buf[a->d.start++];
-    }
-  else
-    {
-      if (DBG_IOBUF)
-       log_debug ("iobuf-%d.%d: underflow: eof (no filter)\n",
-                  a->no, a->subno);
-      return -1;               /* no filter; return EOF */
     }
+
+  assert (a->d.start <= a->d.len);
+  if (a->d.start < a->d.len)
+    return a->d.buf[a->d.start++];
+
+  /* EOF.  */
+  return -1;
 }
 
 
-int
-iobuf_flush (iobuf_t a)
+static int
+filter_flush (iobuf_t a)
 {
   size_t len;
   int rc;
 
-  if (a->directfp)
-    return 0;
-
-  if (a->use == 3)
+  if (a->use == IOBUF_OUTPUT_TEMP)
     {                          /* increase the temp buffer */
-      unsigned char *newbuf;
-      size_t newsize = a->d.size + 8192;
+      size_t newsize = a->d.size + IOBUF_BUFFER_SIZE;
 
       if (DBG_IOBUF)
        log_debug ("increasing temp iobuf from %lu to %lu\n",
                   (ulong) a->d.size, (ulong) newsize);
-      newbuf = xmalloc (newsize);
-      memcpy (newbuf, a->d.buf, a->d.len);
-      xfree (a->d.buf);
-      a->d.buf = newbuf;
+
+      a->d.buf = xrealloc (a->d.buf, newsize);
       a->d.size = newsize;
       return 0;
     }
-  else if (a->use != 2)
+  else if (a->use != IOBUF_OUTPUT)
     log_bug ("flush on non-output iobuf\n");
   else if (!a->filter)
-    log_bug ("iobuf_flush: no filter\n");
+    log_bug ("filter_flush: no filter\n");
   len = a->d.len;
   rc = a->filter (a->filter_ov, IOBUFCTRL_FLUSH, a->chain, a->d.buf, &len);
   if (!rc && len != a->d.len)
     {
-      log_info ("iobuf_flush did not write all!\n");
+      log_info ("filter_flush did not write all!\n");
       rc = GPG_ERR_INTERNAL;
     }
   else if (rc)
@@ -1768,25 +1968,19 @@ iobuf_flush (iobuf_t a)
 }
 
 
-/****************
- * Read a byte from the iobuf; returns -1 on EOF
- */
 int
 iobuf_readbyte (iobuf_t a)
 {
   int c;
 
-  /* nlimit does not work together with unget */
-  /* nbytes is also not valid! */
-  if (a->unget.buf)
+  if (a->use == IOBUF_OUTPUT || a->use == IOBUF_OUTPUT_TEMP)
     {
-      if (a->unget.start < a->unget.len)
-       return a->unget.buf[a->unget.start++];
-      xfree (a->unget.buf);
-      a->unget.buf = NULL;
-      a->nofast &= ~2;
+      log_bug ("iobuf_readbyte called on a non-INPUT pipeline!\n");
+      return -1;
     }
 
+  assert (a->d.start <= a->d.len);
+
   if (a->nlimit && a->nbytes >= a->nlimit)
     return -1;                 /* forced EOF */
 
@@ -1794,9 +1988,14 @@ iobuf_readbyte (iobuf_t a)
     {
       c = a->d.buf[a->d.start++];
     }
-  else if ((c = underflow (a)) == -1)
+  else if ((c = underflow (a, 1)) == -1)
     return -1;                 /* EOF */
 
+  assert (a->d.start <= a->d.len);
+
+  /* Note: if underflow doesn't return EOF, then it returns the first
+     byte that was read and advances a->d.start appropriately.  */
+
   a->nbytes++;
   return c;
 }
@@ -1808,9 +2007,15 @@ iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
   unsigned char *buf = (unsigned char *)buffer;
   int c, n;
 
-  if (a->unget.buf || a->nlimit)
+  if (a->use == IOBUF_OUTPUT || a->use == IOBUF_OUTPUT_TEMP)
     {
-      /* handle special cases */
+      log_bug ("iobuf_read called on a non-INPUT pipeline!\n");
+      return -1;
+    }
+
+  if (a->nlimit)
+    {
+      /* Handle special cases. */
       for (n = 0; n < buflen; n++)
        {
          if ((c = iobuf_readbyte (a)) == -1)
@@ -1819,10 +2024,12 @@ iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
                return -1;      /* eof */
              break;
            }
-         else if (buf)
-           *buf = c;
+
          if (buf)
-           buf++;
+           {
+             *buf = c;
+             buf++;
+           }
        }
       return n;
     }
@@ -1831,6 +2038,7 @@ iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
   do
     {
       if (n < buflen && a->d.start < a->d.len)
+       /* Drain the buffer.  */
        {
          unsigned size = a->d.len - a->d.start;
          if (size > buflen - n)
@@ -1843,8 +2051,13 @@ iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
            buf += size;
        }
       if (n < buflen)
+       /* Draining the internal buffer didn't fill BUFFER.  Call
+          underflow to read more data into the filter's internal
+          buffer.  */
        {
-         if ((c = underflow (a)) == -1)
+         if ((c = underflow (a, 1)) == -1)
+           /* EOF.  If we managed to read something, don't return EOF
+              now.  */
            {
              a->nbytes += n;
              return n ? n : -1 /*EOF*/;
@@ -1860,29 +2073,43 @@ iobuf_read (iobuf_t a, void *buffer, unsigned int buflen)
 }
 
 
-/****************
- * Have a look at the iobuf.
- * NOTE: This only works in special cases.
- */
+
 int
 iobuf_peek (iobuf_t a, byte * buf, unsigned buflen)
 {
   int n = 0;
 
-  if (a->filter_eof)
-    return -1;
+  assert (buflen > 0);
+  assert (a->use == IOBUF_INPUT || a->use == IOBUF_INPUT_TEMP);
+
+  if (buflen > a->d.size)
+    /* We can't peek more than we can buffer.  */
+    buflen = a->d.size;
 
-  if (!(a->d.start < a->d.len))
+  /* Try to fill the internal buffer with enough data to satisfy the
+     request.  */
+  while (buflen > a->d.len - a->d.start)
     {
-      if (underflow (a) == -1)
-       return -1;
-      /* and unget this character */
+      if (underflow (a, 0) == -1)
+       /* EOF.  We can't read any more.  */
+       break;
+
+      /* Underflow consumes the first character (it's the return
+        value).  unget() it by resetting the "file position".  */
       assert (a->d.start == 1);
       a->d.start = 0;
     }
 
-  for (n = 0; n < buflen && (a->d.start + n) < a->d.len; n++, buf++)
-    *buf = a->d.buf[n];
+  n = a->d.len - a->d.start;
+  if (n > buflen)
+    n = buflen;
+
+  if (n == 0)
+    /* EOF.  */
+    return -1;
+
+  memcpy (buf, &a->d.buf[a->d.start], n);
+
   return n;
 }
 
@@ -1894,11 +2121,14 @@ iobuf_writebyte (iobuf_t a, unsigned int c)
 {
   int rc;
 
-  if (a->directfp)
-    BUG ();
+  if (a->use == IOBUF_INPUT || a->use == IOBUF_INPUT_TEMP)
+    {
+      log_bug ("iobuf_writebyte called on an input pipeline!\n");
+      return -1;
+    }
 
   if (a->d.len == a->d.size)
-    if ((rc=iobuf_flush (a)))
+    if ((rc=filter_flush (a)))
       return rc;
 
   assert (a->d.len < a->d.size);
@@ -1913,8 +2143,11 @@ iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
   const unsigned char *buf = (const unsigned char *)buffer;
   int rc;
 
-  if (a->directfp)
-    BUG ();
+  if (a->use == IOBUF_INPUT || a->use == IOBUF_INPUT_TEMP)
+    {
+      log_bug ("iobuf_write called on an input pipeline!\n");
+      return -1;
+    }
 
   do
     {
@@ -1930,7 +2163,7 @@ iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
        }
       if (buflen)
        {
-         rc = iobuf_flush (a);
+         rc = filter_flush (a);
           if (rc)
            return rc;
        }
@@ -1943,67 +2176,110 @@ iobuf_write (iobuf_t a, const void *buffer, unsigned int buflen)
 int
 iobuf_writestr (iobuf_t a, const char *buf)
 {
-  int rc;
+  if (a->use == IOBUF_INPUT || a->use == IOBUF_INPUT_TEMP)
+    {
+      log_bug ("iobuf_writestr called on an input pipeline!\n");
+      return -1;
+    }
 
-  for (; *buf; buf++)
-    if ((rc=iobuf_writebyte (a, *buf)))
-      return rc;
-  return 0;
+  return iobuf_write (a, buf, strlen (buf));
 }
 
 
 
-/****************
- * copy the contents of TEMP to A.
- */
 int
-iobuf_write_temp (iobuf_t a, iobuf_t temp)
+iobuf_write_temp (iobuf_t dest, iobuf_t source)
 {
-  while (temp->chain)
-    pop_filter (temp, temp->filter, NULL);
-  return iobuf_write (a, temp->d.buf, temp->d.len);
+  assert (source->use == IOBUF_OUTPUT || source->use == IOBUF_OUTPUT_TEMP);
+  assert (dest->use == IOBUF_OUTPUT || dest->use == IOBUF_OUTPUT_TEMP);
+
+  iobuf_flush_temp (source);
+  return iobuf_write (dest, source->d.buf, source->d.len);
 }
 
-/****************
- * copy the contents of the temp io stream to BUFFER.
- */
 size_t
 iobuf_temp_to_buffer (iobuf_t a, byte * buffer, size_t buflen)
 {
-  size_t n = a->d.len;
+  byte desc[MAX_IOBUF_DESC];
+  size_t n;
+
+  while (1)
+    {
+      int rc = filter_flush (a);
+      if (rc)
+       log_bug ("Flushing iobuf %d.%d (%s) from iobuf_temp_to_buffer failed.  Ignoring.\n",
+                a->no, a->subno, iobuf_desc (a, desc));
+      if (! a->chain)
+       break;
+      a = a->chain;
+    }
 
+  n = a->d.len;
   if (n > buflen)
     n = buflen;
   memcpy (buffer, a->d.buf, n);
   return n;
 }
 
+/* Copies the data from the input iobuf SOURCE to the output iobuf
+   DEST until either an error is encountered or EOF is reached.
+   Returns the number of bytes copies.  */
+size_t
+iobuf_copy (iobuf_t dest, iobuf_t source)
+{
+  char *temp;
+  /* Use a 32 KB buffer.  */
+  const size_t temp_size = 32 * 1024;
+
+  size_t nread;
+  size_t nwrote = 0;
+  int err;
+
+  assert (source->use == IOBUF_INPUT || source->use == IOBUF_INPUT_TEMP);
+  assert (dest->use == IOBUF_OUTPUT || source->use == IOBUF_OUTPUT_TEMP);
+
+  if (iobuf_error (dest))
+    return -1;
+
+  temp = xmalloc (temp_size);
+  while (1)
+    {
+      nread = iobuf_read (source, temp, temp_size);
+      if (nread == -1)
+        /* EOF.  */
+        break;
+
+      err = iobuf_write (dest, temp, nread);
+      if (err)
+        break;
+      nwrote += nread;
+    }
+
+  /* Burn the buffer.  */
+  wipememory (temp, sizeof (temp));
+  xfree (temp);
+
+  return nwrote;
+}
+
 
-/****************
- * Call this function to terminate processing of the temp stream
- * without closing it. This removes all filters from the stream
- * makes sure that iobuf_get_temp_{buffer,length}() returns correct
- * values.
- */
 void
 iobuf_flush_temp (iobuf_t temp)
 {
+  if (temp->use == IOBUF_INPUT || temp->use == IOBUF_INPUT_TEMP)
+    log_bug ("iobuf_flush_temp called on an input pipeline!\n");
   while (temp->chain)
-    pop_filter (temp, temp->filter, NULL);
+    iobuf_pop_filter (temp, temp->filter, NULL);
 }
 
 
-/****************
- * Set a limit on how many bytes may be read from the input stream A.
- * Setting the limit to 0 disables this feature.
- */
 void
 iobuf_set_limit (iobuf_t a, off_t nlimit)
 {
   if (nlimit)
-    a->nofast |= 1;
+    a->nofast = 1;
   else
-    a->nofast &= ~1;
+    a->nofast = 0;
   a->nlimit = nlimit;
   a->ntotal += a->nbytes;
   a->nbytes = 0;
@@ -2011,113 +2287,99 @@ iobuf_set_limit (iobuf_t a, off_t nlimit)
 
 
 
-/* Return the length of an open file A.  IF OVERFLOW is not NULL it
-   will be set to true if the file is larger than what off_t can cope
-   with.  The function return 0 on error or on overflow condition.  */
 off_t
 iobuf_get_filelength (iobuf_t a, int *overflow)
 {
-    struct stat st;
+  if (overflow)
+    *overflow = 0;
 
-    if (overflow)
-      *overflow = 0;
+  /* Hmmm: file_filter may have already been removed */
+  for ( ; a->chain; a = a->chain )
+    ;
 
-    if( a->directfp )  {
-       FILE *fp = a->directfp;
+  if (a->filter != file_filter)
+    return 0;
 
-       if( !fstat(fileno(fp), &st) )
-           return st.st_size;
-       log_error("fstat() failed: %s\n", strerror(errno) );
-       return 0;
-    }
+  {
+    file_filter_ctx_t *b = a->filter_ov;
+    gnupg_fd_t fp = b->fp;
 
-    /* Hmmm: file_filter may have already been removed */
-    for( ; a; a = a->chain )
-       if( !a->chain && a->filter == file_filter ) {
-           file_filter_ctx_t *b = a->filter_ov;
-           FILEP_OR_FD fp = b->fp;
-
-#if defined(HAVE_DOSISH_SYSTEM) && !defined(FILE_FILTER_USES_STDIO)
-            ulong size;
-            static int (* __stdcall get_file_size_ex) 
-              (void *handle, LARGE_INTEGER *size);
-            static int get_file_size_ex_initialized;
-
-            if (!get_file_size_ex_initialized)
-              {
-                void *handle;
-                
-                handle = dlopen ("kernel32.dll", RTLD_LAZY);
-                if (handle)
-                  {
-                    get_file_size_ex = dlsym (handle, "GetFileSizeEx");
-                    if (!get_file_size_ex)
-                    dlclose (handle);
-                  }
-                get_file_size_ex_initialized = 1;
-              }
-
-            if (get_file_size_ex)
-              {
-                /* This is a newer system with GetFileSizeEx; we use
-                   this then becuase it seem that GetFileSize won't
-                   return a proper error in case a file is larger than
-                   4GB. */
-                LARGE_INTEGER size;
-                
-                if (get_file_size_ex (fp, &size))
-                  {
-                    if (!size.u.HighPart)
-                      return size.u.LowPart;
-                    if (overflow)
-                      *overflow = 1;
-                    return 0; 
-                  }
-              }
-            else
-              {
-                if  ((size=GetFileSize (fp, NULL)) != 0xffffffff)
-                  return size;
-              }
-            log_error ("GetFileSize for handle %p failed: %s\n",
-                       fp, w32_strerror (0));
-#else
-            if( !fstat(my_fileno(fp), &st) )
-               return st.st_size;
-           log_error("fstat() failed: %s\n", strerror(errno) );
-#endif
-           break;
-       }
+#if defined(HAVE_W32_SYSTEM)
+    ulong size;
+    static int (* __stdcall get_file_size_ex) (void *handle,
+                                              LARGE_INTEGER *r_size);
+    static int get_file_size_ex_initialized;
 
-    return 0;
+    if (!get_file_size_ex_initialized)
+      {
+       void *handle;
+
+       handle = dlopen ("kernel32.dll", RTLD_LAZY);
+       if (handle)
+         {
+           get_file_size_ex = dlsym (handle, "GetFileSizeEx");
+           if (!get_file_size_ex)
+             dlclose (handle);
+         }
+       get_file_size_ex_initialized = 1;
+      }
+
+    if (get_file_size_ex)
+      {
+       /* This is a newer system with GetFileSizeEx; we use this
+          then because it seem that GetFileSize won't return a
+          proper error in case a file is larger than 4GB. */
+       LARGE_INTEGER exsize;
+
+       if (get_file_size_ex (fp, &exsize))
+         {
+           if (!exsize.u.HighPart)
+             return exsize.u.LowPart;
+           if (overflow)
+             *overflow = 1;
+           return 0;
+         }
+      }
+    else
+      {
+       if ((size=GetFileSize (fp, NULL)) != 0xffffffff)
+         return size;
+      }
+    log_error ("GetFileSize for handle %p failed: %s\n",
+              fp, w32_strerror (0));
+#else /*!HAVE_W32_SYSTEM*/
+    {
+      struct stat st;
+
+      if ( !fstat (FD2INT (fp), &st) )
+        return st.st_size;
+      log_error("fstat() failed: %s\n", strerror(errno) );
+    }
+#endif /*!HAVE_W32_SYSTEM*/
+  }
+
+  return 0;
 }
 
 
-/* Return the file descriptor of the underlying file or -1 if it is
-   not available.  */
-int 
+int
 iobuf_get_fd (iobuf_t a)
 {
-  if (a->directfp)
-    return fileno ( (FILE*)a->directfp );
+  for (; a->chain; a = a->chain)
+    ;
 
-  for ( ; a; a = a->chain )
-    if (!a->chain && a->filter == file_filter)
-      {
-        file_filter_ctx_t *b = a->filter_ov;
-        FILEP_OR_FD fp = b->fp;
+  if (a->filter != file_filter)
+    return -1;
 
-        return my_fileno (fp);
-      }
+  {
+    file_filter_ctx_t *b = a->filter_ov;
+    gnupg_fd_t fp = b->fp;
 
-  return -1;
+    return FD2INT (fp);
+  }
 }
 
 
-
-/****************
- * Tell the file position, where the next read will take place
- */
 off_t
 iobuf_tell (iobuf_t a)
 {
@@ -2155,45 +2417,23 @@ fseeko (FILE * stream, off_t newpos, int whence)
 }
 #endif
 
-/****************
- * This is a very limited implementation. It simply discards all internal
- * buffering and removes all filters but the first one.
- */
 int
 iobuf_seek (iobuf_t a, off_t newpos)
 {
   file_filter_ctx_t *b = NULL;
 
-  if (a->directfp)
-    {
-      FILE *fp = a->directfp;
-      if (fseeko (fp, newpos, SEEK_SET))
-       {
-         log_error ("can't seek: %s\n", strerror (errno));
-         return -1;
-       }
-      clearerr (fp);
-    }
-  else
+  if (a->use == IOBUF_OUTPUT || a->use == IOBUF_INPUT)
     {
-      for (; a; a = a->chain)
-       {
-         if (!a->chain && a->filter == file_filter)
-           {
-             b = a->filter_ov;
-             break;
-           }
-       }
-      if (!a)
+      /* Find the last filter in the pipeline.  */
+      for (; a->chain; a = a->chain)
+       ;
+
+      if (a->filter != file_filter)
        return -1;
-#ifdef FILE_FILTER_USES_STDIO
-      if (fseeko (b->fp, newpos, SEEK_SET))
-       {
-         log_error ("can't fseek: %s\n", strerror (errno));
-         return -1;
-       }
-#else
-#ifdef HAVE_DOSISH_SYSTEM
+
+      b = a->filter_ov;
+
+#ifdef HAVE_W32_SYSTEM
       if (SetFilePointer (b->fp, newpos, NULL, FILE_BEGIN) == 0xffffffff)
        {
          log_error ("SetFilePointer failed on handle %p: ec=%d\n",
@@ -2207,32 +2447,35 @@ iobuf_seek (iobuf_t a, off_t newpos)
          return -1;
        }
 #endif
-#endif
+      /* Discard the buffer it is not a temp stream.  */
+      a->d.len = 0;
     }
-  a->d.len = 0;                        /* discard buffer */
   a->d.start = 0;
   a->nbytes = 0;
   a->nlimit = 0;
-  a->nofast &= ~1;
+  a->nofast = 0;
   a->ntotal = newpos;
   a->error = 0;
+
+  /* It is impossible for A->CHAIN to be non-NULL.  If A is an INPUT
+     or OUTPUT buffer, then we find the last filter, which is defined
+     as A->CHAIN being NULL.  If A is a TEMP filter, then A must be
+     the only filter in the pipe: when iobuf_push_filter adds a filter
+     to the front of a pipeline, it sets the new filter to be an
+     OUTPUT filter if the pipeline is an OUTPUT or TEMP pipeline and
+     to be an INPUT filter if the pipeline is an INPUT pipeline.
+     Thus, only the last filter in a TEMP pipeline can be a */
+
   /* remove filters, but the last */
   if (a->chain)
-    log_debug ("pop_filter called in iobuf_seek - please report\n");
+    log_debug ("iobuf_pop_filter called in iobuf_seek - please report\n");
   while (a->chain)
-    pop_filter (a, a->filter, NULL);
+    iobuf_pop_filter (a, a->filter, NULL);
 
   return 0;
 }
 
 
-
-
-
-
-/****************
- * Retrieve the real filename
- */
 const char *
 iobuf_get_real_fname (iobuf_t a)
 {
@@ -2250,10 +2493,6 @@ iobuf_get_real_fname (iobuf_t a)
   return NULL;
 }
 
-
-/****************
- * Retrieve the filename
- */
 const char *
 iobuf_get_fname (iobuf_t a)
 {
@@ -2263,31 +2502,49 @@ iobuf_get_fname (iobuf_t a)
        file_filter_ctx_t *b = a->filter_ov;
        return b->fname;
       }
-
   return NULL;
 }
 
+const char *
+iobuf_get_fname_nonnull (iobuf_t a)
+{
+  const char *fname;
+
+  fname = iobuf_get_fname (a);
+  return fname? fname : "[?]";
+}
+
 
 /****************
- * enable partial block mode as described in the OpenPGP draft.
- * LEN is the first length byte on read, but ignored on writes.
+ * Enable or disable partial body length mode (RFC 4880 4.2.2.4).
+ *
+ * If LEN is 0, this disables partial block mode by popping the
+ * partial body length filter, which which must be the most recently
+ * added filter.
+ *
+ * If LEN is non-zero, it pushes a partial body length filter.  If
+ * this is a read filter, LEN must be the length byte from the first
+ * chunk and A should be position just after this first partial body
+ * length header.
  */
 void
-iobuf_set_partial_block_mode (iobuf_t a, size_t len)
+iobuf_set_partial_body_length_mode (iobuf_t a, size_t len)
 {
-  block_filter_ctx_t *ctx = xcalloc (1, sizeof *ctx);
-
-  assert (a->use == 1 || a->use == 2);
-  ctx->use = a->use;
   if (!len)
+    /* Disable partial body length mode.  */
     {
-      if (a->use == 1)
-       log_debug ("pop_filter called in set_partial_block_mode"
+      if (a->use == IOBUF_INPUT)
+       log_debug ("iobuf_pop_filter called in set_partial_block_mode"
                   " - please report\n");
-      pop_filter (a, block_filter, NULL);
+
+      log_assert (a->filter == block_filter);
+      iobuf_pop_filter (a, block_filter, NULL);
     }
   else
+    /* Enabled partial body length mode.  */
     {
+      block_filter_ctx_t *ctx = xcalloc (1, sizeof *ctx);
+      ctx->use = a->use;
       ctx->partial = 1;
       ctx->size = 0;
       ctx->first_c = len;
@@ -2297,16 +2554,6 @@ iobuf_set_partial_block_mode (iobuf_t a, size_t len)
 
 
 
-/****************
- * Same as fgets() but if the buffer is too short a larger one will
- * be allocated up to some limit *max_length.
- * A line is considered a byte stream ending in a LF.
- * Returns the length of the line. EOF is indicated by a line of
- * length zero. The last LF may be missing due to an EOF.
- * is max_length is zero on return, the line has been truncated.
- *
- * Note: The buffer is allocated with enough space to append a CR,LF,EOL
- */
 unsigned int
 iobuf_read_line (iobuf_t a, byte ** addr_of_buffer,
                 unsigned *length_of_buffer, unsigned *max_length)
@@ -2318,83 +2565,83 @@ iobuf_read_line (iobuf_t a, byte ** addr_of_buffer,
   unsigned maxlen = *max_length;
   char *p;
 
-  if (!buffer)
-    {                          /* must allocate a new buffer */
-      length = 256;
-      buffer = xmalloc (length);
+  /* The code assumes that we have space for at least a newline and a
+     NUL character in the buffer.  This requires at least 2 bytes.  We
+     don't complicate the code by handling the stupid corner case, but
+     simply assert that it can't happen.  */
+  assert (length >= 2 || maxlen >= 2);
+
+  if (!buffer || length <= 1)
+    /* must allocate a new buffer */
+    {
+      length = 256 <= maxlen ? 256 : maxlen;
+      buffer = xrealloc (buffer, length);
       *addr_of_buffer = (unsigned char *)buffer;
       *length_of_buffer = length;
     }
 
-  length -= 3;                 /* reserve 3 bytes (cr,lf,eol) */
   p = buffer;
   while ((c = iobuf_get (a)) != -1)
     {
-      if (nbytes == length)
-       {                       /* increase the buffer */
-         if (length > maxlen)
-           {                   /* this is out limit */
-             /* skip the rest of the line */
+      *p++ = c;
+      nbytes++;
+      if (c == '\n')
+       break;
+
+      if (nbytes == length - 1)
+       /* We don't have enough space to add a \n and a \0.  Increase
+          the buffer size.  */
+       {
+         if (length == maxlen)
+           /* We reached the buffer's size limit!  */
+           {
+             /* Skip the rest of the line.  */
              while (c != '\n' && (c = iobuf_get (a)) != -1)
                ;
-             *p++ = '\n';      /* always append a LF (we have reserved space) */
-             nbytes++;
-             *max_length = 0;  /* indicate truncation */
+
+             /* p is pointing at the last byte in the buffer.  We
+                always terminate the line with "\n\0" so overwrite
+                the previous byte with a \n.  */
+             assert (p > buffer);
+             p[-1] = '\n';
+
+             /* Indicate truncation.  */
+             *max_length = 0;
              break;
            }
-         length += 3;          /* correct for the reserved byte */
+
          length += length < 1024 ? 256 : 1024;
+         if (length > maxlen)
+           length = maxlen;
+
          buffer = xrealloc (buffer, length);
          *addr_of_buffer = (unsigned char *)buffer;
          *length_of_buffer = length;
-         length -= 3;          /* and reserve again */
          p = buffer + nbytes;
        }
-      *p++ = c;
-      nbytes++;
-      if (c == '\n')
-       break;
     }
-  *p = 0;                      /* make sure the line is a string */
+  /* Add the terminating NUL.  */
+  *p = 0;
 
+  /* Return the number of characters written to the buffer including
+     the newline, but not including the terminating NUL.  */
   return nbytes;
 }
 
-/* This is the non iobuf specific function */
-int
-iobuf_translate_file_handle (int fd, int for_write)
-{
-#ifdef _WIN32
-  {
-    int x;
-
-    if (fd <= 2)
-      return fd;               /* do not do this for error, stdin, stdout, stderr */
-
-    x = _open_osfhandle (fd, for_write ? 1 : 0);
-    if (x == -1)
-      log_error ("failed to translate osfhandle %p\n", (void *) fd);
-    else
-      {
-       /*log_info ("_open_osfhandle %p yields %d%s\n",
-          (void*)fd, x, for_write? " for writing":"" ); */
-       fd = x;
-      }
-  }
-#endif
-  return fd;
-}
-
 static int
 translate_file_handle (int fd, int for_write)
 {
-#ifdef _WIN32
-#ifdef FILE_FILTER_USES_STDIO
-  fd = iobuf_translate_file_handle (fd, for_write);
-#else
+#if defined(HAVE_W32CE_SYSTEM)
+  /* This is called only with one of the special filenames.  Under
+     W32CE the FD here is not a file descriptor but a rendezvous id,
+     thus we need to finish the pipe first.  */
+  fd = _assuan_w32ce_finish_pipe (fd, for_write);
+#elif defined(HAVE_W32_SYSTEM)
   {
     int x;
 
+    (void)for_write;
+
     if (fd == 0)
       x = (int) GetStdHandle (STD_INPUT_HANDLE);
     else if (fd == 1)
@@ -2410,7 +2657,8 @@ translate_file_handle (int fd, int for_write)
 
     fd = x;
   }
-#endif
+#else
+  (void)for_write;
 #endif
   return fd;
 }
@@ -2423,13 +2671,13 @@ iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
     {
       for (;;)
         {
-          if (a->nofast || a->d.start >= a->d.len) 
+          if (a->nofast || a->d.start >= a->d.len)
             {
               if (iobuf_readbyte (a) == -1)
                 {
                   break;
                 }
-           } 
+           }
           else
             {
               unsigned long count = a->d.len - a->d.start;
@@ -2437,11 +2685,11 @@ iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
               a->d.start = a->d.len;
            }
        }
-    } 
+    }
   else
     {
       unsigned long remaining = n;
-      while (remaining > 0) 
+      while (remaining > 0)
         {
           if (a->nofast || a->d.start >= a->d.len)
             {
@@ -2450,11 +2698,11 @@ iobuf_skip_rest (iobuf_t a, unsigned long n, int partial)
                   break;
                }
               --remaining;
-           } 
-          else 
+           }
+          else
             {
               unsigned long count = a->d.len - a->d.start;
-              if (count > remaining) 
+              if (count > remaining)
                 {
                   count = remaining;
                }