Obsolete option --no-sig-create-check.
[gnupg.git] / util / http.c
index 7ee088e..2f630ae 100644 (file)
@@ -1,11 +1,12 @@
 /* http.c  -  HTTP protocol handler
- * Copyright (C) 1999, 2001, 2002, 2003, 2004 Free Software Foundation, Inc.
+ * Copyright (C) 1999, 2001, 2002, 2003, 2004, 2005, 2006, 2007,
+ *               2009, 2012 Free Software Foundation, Inc.
  *
  * This file is part of GnuPG.
  *
  * GnuPG is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 2 of the License, or
+ * the Free Software Foundation; either version 3 of the License, or
  * (at your option) any later version.
  *
  * GnuPG is distributed in the hope that it will be useful,
@@ -14,8 +15,7 @@
  * GNU General Public License for more details.
  *
  * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
+ * along with this program; if not, see <http://www.gnu.org/licenses/>.
  */
 
 #include <config.h>
@@ -68,11 +68,13 @@ static int remove_escapes( byte *string );
 static int insert_escapes( byte *buffer, const byte *string,
                                         const byte *special );
 static URI_TUPLE parse_tuple( byte *string );
-static int send_request( HTTP_HD hd, const char *proxy );
+static int send_request( HTTP_HD hd, const char *auth, const char *proxy,
+                        struct http_srv *srv, STRLIST headers);
 static byte *build_rel_path( PARSED_URI uri );
 static int parse_response( HTTP_HD hd );
 
-static int connect_server(const char *server, ushort port, unsigned int flags);
+static int connect_server( const char *server, ushort port, unsigned int flags,
+                          struct http_srv *srv );
 static int write_server( int sock, const char *data, size_t length );
 
 #ifdef _WIN32
@@ -92,7 +94,7 @@ init_sockets (void)
         return;
 
     if( WSAStartup( 0x0101, &wsdata ) ) {
-        log_error ("error initializing socket library: ec=%d\n", 
+        log_error ("error initializing socket library: ec=%d\n",
                     (int)WSAGetLastError () );
         return;
     }
@@ -115,14 +117,14 @@ static byte bintoasc[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
  * create a radix64 encoded string.
  */
 
-/* TODO: This is a duplicate of code in g10/armor.c.  Better to use a
-   single copy in strgutil.c */
+/* TODO: This is a duplicate of code in g10/armor.c modified to do the
+   "=" padding.  Better to use a single copy in strgutil.c ? */
 static char *
 make_radix64_string( const byte *data, size_t len )
 {
     char *buffer, *p;
 
-    buffer = p = m_alloc( (len+2)/3*4 + 1 );
+    buffer = p = xmalloc( (len+2)/3*4 + 1 );
     for( ; len >= 3 ; len -= 3, data += 3 ) {
        *p++ = bintoasc[(data[0] >> 2) & 077];
        *p++ = bintoasc[(((data[0] <<4)&060)|((data[1] >> 4)&017))&077];
@@ -133,10 +135,13 @@ make_radix64_string( const byte *data, size_t len )
        *p++ = bintoasc[(data[0] >> 2) & 077];
        *p++ = bintoasc[(((data[0] <<4)&060)|((data[1] >> 4)&017))&077];
        *p++ = bintoasc[((data[1]<<2)&074)];
+       *p++ = '=';
     }
     else if( len == 1 ) {
        *p++ = bintoasc[(data[0] >> 2) & 077];
        *p++ = bintoasc[(data[0] <<4)&060];
+       *p++ = '=';
+       *p++ = '=';
     }
     *p = 0;
     return buffer;
@@ -144,7 +149,8 @@ make_radix64_string( const byte *data, size_t len )
 
 int
 http_open( HTTP_HD hd, HTTP_REQ_TYPE reqtype, const char *url,
-          unsigned int flags, const char *proxy )
+          char *auth, unsigned int flags, const char *proxy,
+          struct http_srv *srv, STRLIST headers )
 {
     int rc;
 
@@ -160,7 +166,7 @@ http_open( HTTP_HD hd, HTTP_REQ_TYPE reqtype, const char *url,
 
     rc = parse_uri( &hd->uri, url );
     if( !rc ) {
-       rc = send_request( hd, proxy );
+        rc = send_request( hd, auth, proxy, srv, headers );
        if( !rc ) {
            hd->fp_write = iobuf_sockopen( hd->sock , "w" );
            if( hd->fp_write )
@@ -199,15 +205,19 @@ http_wait_response( HTTP_HD hd, unsigned int *ret_status )
     http_start_data( hd ); /* make sure that we are in the data */
 
 #if 0
-    hd->sock = dup( hd->sock ); 
+    hd->sock = dup( hd->sock );
     if( hd->sock == -1 )
        return G10ERR_GENERAL;
 #endif
     iobuf_ioctl (hd->fp_write, 1, 1, NULL); /* keep the socket open */
     iobuf_close (hd->fp_write);
     hd->fp_write = NULL;
-    if ( !(hd->flags & HTTP_FLAG_NO_SHUTDOWN) )
-        shutdown( hd->sock, 1 );
+    /* We do not want the shutdown code anymore.  It used to be there
+       to support old versions of pksd.  These versions are anyway
+       unusable and the latest releases haven been fixed to properly
+       handle HTTP 1.0. */
+    /* if ( !(hd->flags & HTTP_FLAG_NO_SHUTDOWN) ) */
+    /*     shutdown( hd->sock, 1 ); */
     hd->in_data = 0;
 
     hd->fp_read = iobuf_sockopen( hd->sock , "r" );
@@ -223,12 +233,14 @@ http_wait_response( HTTP_HD hd, unsigned int *ret_status )
 
 
 int
-http_open_document( HTTP_HD hd, const char *document,
-                   unsigned int flags, const char *proxy )
+http_open_document( HTTP_HD hd, const char *document, char *auth,
+                   unsigned int flags, const char *proxy, struct http_srv *srv,
+                   STRLIST headers )
 {
     int rc;
 
-    rc = http_open( hd, HTTP_REQ_GET, document, flags, proxy );
+    rc = http_open(hd, HTTP_REQ_GET, document, auth, flags, proxy, srv,
+                  headers );
     if( rc )
        return rc;
 
@@ -250,7 +262,7 @@ http_close( HTTP_HD hd )
     iobuf_close( hd->fp_read );
     iobuf_close( hd->fp_write );
     release_parsed_uri( hd->uri );
-    m_free( hd->buffer );
+    xfree( hd->buffer );
     hd->initialized = 0;
 }
 
@@ -264,7 +276,7 @@ http_close( HTTP_HD hd )
 static int
 parse_uri( PARSED_URI *ret_uri, const char *uri )
 {
-   *ret_uri = m_alloc_clear( sizeof(**ret_uri) + strlen(uri) );
+   *ret_uri = xmalloc_clear( sizeof(**ret_uri) + strlen(uri) );
    strcpy( (*ret_uri)->buffer, uri );
    return do_parse_uri( *ret_uri, 0 );
 }
@@ -278,9 +290,9 @@ release_parsed_uri( PARSED_URI uri )
 
        for( r = uri->query; r; r = r2 ) {
            r2 = r->next;
-           m_free( r );
+           xfree( r );
        }
-       m_free( uri );
+       xfree( uri );
     }
 }
 
@@ -309,13 +321,10 @@ do_parse_uri( PARSED_URI uri, int only_local_part )
        *p2++ = 0;
        strlwr( p );
        uri->scheme = p;
-        uri->port = 80;
-       if( !strcmp( uri->scheme, "http" ) )
-           ;
-       else if( !strcmp( uri->scheme, "x-hkp" ) ) /* same as HTTP */
-           uri->port = 11371;
+       if(strcmp(uri->scheme,"http")==0)
+         uri->port = 80;
        else
-           return G10ERR_INVALID_URI; /* Unsupported scheme */
+         return G10ERR_INVALID_URI; /* Unsupported scheme */
 
        p = p2;
 
@@ -338,16 +347,27 @@ do_parse_uri( PARSED_URI uri, int only_local_part )
              }
 
            strlwr( p );
-           uri->host = p;
-           if( (p3=strchr( p, ':' )) ) {
-               *p3++ = 0;
+
+           /* Handle a host of [IP] so that [IP:V6]:port works */
+           if( *p == '[' && (p3=strchr( p, ']' )) )
+             {
+               *p3++ = '\0';
+               /* worst case, uri->host should have length 0, points to \0 */
+               uri->host = p + 1;
+               p = p3;
+             }
+           else
+             uri->host = p;
+
+           if( (p3=strchr( p, ':' )) )
+             {
+               *p3++ = '\0';
                uri->port = atoi( p3 );
-           }
+             }
 
-           uri->host = p;
            if( (n = remove_escapes( uri->host )) < 0 )
                return G10ERR_BAD_URI;
-           if( n != strlen( p ) )
+           if( n != strlen( uri->host ) )
                return G10ERR_BAD_URI; /* hostname with a Nul in it */
            p = p2 ? p2 : NULL;
        }
@@ -478,7 +498,7 @@ parse_tuple( byte *string )
        return NULL; /* bad URI */
     if( n != strlen( p ) )
        return NULL; /* name with a Nul in it */
-    tuple = m_alloc_clear( sizeof *tuple );
+    tuple = xmalloc_clear( sizeof *tuple );
     tuple->name = p;
     if( !p2 )  {
        /* we have only the name, so we assume an empty value string */
@@ -487,7 +507,7 @@ parse_tuple( byte *string )
     }
     else { /* name and value */
        if( (n = remove_escapes( p2 )) < 0 ) {
-           m_free( tuple );
+           xfree( tuple );
            return NULL; /* bad URI */
        }
        tuple->value = p2;
@@ -502,18 +522,19 @@ parse_tuple( byte *string )
  * Returns 0 if the request was successful
  */
 static int
-send_request( HTTP_HD hd, const char *proxy )
+send_request( HTTP_HD hd, const char *auth, const char *proxy,
+             struct http_srv *srv, STRLIST headers )
 {
     const byte *server;
     byte *request, *p;
     ushort port;
     int rc;
-    char *auth=NULL;
+    char *proxy_authstr=NULL,*authstr=NULL;
 
     server = *hd->uri->host? hd->uri->host : "localhost";
     port   = hd->uri->port?  hd->uri->port : 80;
 
-    if(proxy)
+    if(proxy && *proxy)
       {
        PARSED_URI uri;
 
@@ -525,27 +546,40 @@ send_request( HTTP_HD hd, const char *proxy )
            return G10ERR_NETWORK;
          }
        hd->sock = connect_server( *uri->host? uri->host : "localhost",
-                                  uri->port? uri->port : 80, 0 );
+                                  uri->port? uri->port : 80, 0, srv );
        if(uri->auth)
          {
-           char *x=make_radix64_string(uri->auth,strlen(uri->auth));
-           auth=m_alloc(50+strlen(x));
-           sprintf(auth,"Proxy-Authorization: Basic %s\r\n",x);
-           m_free(x);
+           char *x;
+           remove_escapes(uri->auth);
+           x=make_radix64_string(uri->auth,strlen(uri->auth));
+           proxy_authstr=xmalloc(52+strlen(x));
+           sprintf(proxy_authstr,"Proxy-Authorization: Basic %s\r\n",x);
+           xfree(x);
          }
 
        release_parsed_uri( uri );
       }
     else
+      hd->sock = connect_server( server, port, hd->flags, srv );
+
+    if(auth || hd->uri->auth)
       {
-       hd->sock = connect_server( server, port, hd->flags );
-       if(hd->uri->auth)
+       char *x,*tempauth=NULL;
+
+       if(auth)
          {
-           char *x=make_radix64_string(hd->uri->auth,strlen(hd->uri->auth));
-           auth=m_alloc(50+strlen(x));
-           sprintf(auth,"Authorization: Basic %s\r\n",x);
-           m_free(x);
+           tempauth=xstrdup(auth);
+           remove_escapes(tempauth);
          }
+       else if(hd->uri->auth)
+         remove_escapes(hd->uri->auth);
+
+       x=make_radix64_string(tempauth?tempauth:hd->uri->auth,
+                             strlen(tempauth?tempauth:hd->uri->auth));
+       authstr=xmalloc(52+strlen(x));
+       sprintf(authstr,"Authorization: Basic %s\r\n",x);
+       xfree(x);
+       xfree(tempauth);
       }
 
     if( hd->sock == -1 )
@@ -553,25 +587,52 @@ send_request( HTTP_HD hd, const char *proxy )
 
     p = build_rel_path( hd->uri );
 
-    request=m_alloc(strlen(server)*2 + strlen(p) + (auth?strlen(auth):0) + 50);
-    if( proxy )
-      sprintf( request, "%s http://%s:%hu%s%s HTTP/1.0\r\n%s",
+    request=xmalloc(strlen(server)*2 + strlen(p)
+                   + (authstr?strlen(authstr):0)
+                   + (proxy_authstr?strlen(proxy_authstr):0) + 65);
+    if( proxy && *proxy )
+      sprintf( request, "%s http://%s:%hu%s%s HTTP/1.0\r\n%s%s",
               hd->req_type == HTTP_REQ_GET ? "GET" :
               hd->req_type == HTTP_REQ_HEAD? "HEAD":
               hd->req_type == HTTP_REQ_POST? "POST": "OOPS",
-              server, port,  *p == '/'? "":"/", p, auth?auth:"" );
+              server, port,  *p == '/'? "":"/", p,
+              authstr?authstr:"",proxy_authstr?proxy_authstr:"" );
     else
-      sprintf( request, "%s %s%s HTTP/1.0\r\nHost: %s\r\n%s",
-              hd->req_type == HTTP_REQ_GET ? "GET" :
-              hd->req_type == HTTP_REQ_HEAD? "HEAD":
-              hd->req_type == HTTP_REQ_POST? "POST": "OOPS",
-              *p == '/'? "":"/", p, server, auth?auth:"");
+      {
+       char portstr[35];
 
-    m_free(p);
+       if(port == 80 || (srv && srv->used_server))
+         *portstr = 0;
+       else
+         sprintf(portstr,":%u",port);
+
+       sprintf( request, "%s %s%s HTTP/1.0\r\nHost: %s%s\r\n%s",
+                hd->req_type == HTTP_REQ_GET ? "GET" :
+                hd->req_type == HTTP_REQ_HEAD? "HEAD":
+                hd->req_type == HTTP_REQ_POST? "POST": "OOPS",
+                *p == '/'? "":"/", p, server, portstr,
+                authstr?authstr:"");
+      }
+
+    xfree(p);
 
     rc = write_server( hd->sock, request, strlen(request) );
-    m_free( request );
-    m_free(auth);
+
+    if(rc==0)
+      for(;headers;headers=headers->next)
+       {
+         rc = write_server( hd->sock, headers->d, strlen(headers->d) );
+         if(rc)
+           break;
+
+         rc = write_server( hd->sock, "\r\n", 2 );
+         if(rc)
+           break;
+       }
+
+    xfree( request );
+    xfree(proxy_authstr);
+    xfree(authstr);
 
     return rc;
 }
@@ -600,7 +661,7 @@ build_rel_path( PARSED_URI uri )
     n++;
 
     /* now  allocate and copy */
-    p = rel_path = m_alloc( n );
+    p = rel_path = xmalloc( n );
     n = insert_escapes( p, uri->path, "%;?&" );
     p += n;
     /* todo: add params */
@@ -683,7 +744,7 @@ parse_response( HTTP_HD hd )
 
 #ifdef TEST
 static int
-start_server()
+start_server(void)
 {
     struct sockaddr_in mya;
     struct sockaddr_in peer;
@@ -755,10 +816,17 @@ start_server()
 
 
 static int
-connect_server( const char *server, ushort port, unsigned int flags )
+connect_server( const char *server, ushort port, unsigned int flags,
+               struct http_srv *srv )
 {
-  int sock=-1,srv,srvcount=0,connected=0,hostfound=0;
-  struct srventry *srvlist=NULL;
+  int sock = -1;
+  int srvcount = 0;
+  int connected = 0;
+  int hostfound = 0;
+  int chosen = -1;
+  int fakesrv = 0;
+  struct srventry *srvlist = NULL;
+  int srvindex;
 
 #ifdef _WIN32
   unsigned long inaddr;
@@ -766,7 +834,7 @@ connect_server( const char *server, ushort port, unsigned int flags )
   init_sockets();
   /* Win32 gethostbyname doesn't handle IP addresses internally, so we
      try inet_addr first on that platform only. */
-  if((inaddr=inet_addr(server))!=SOCKET_ERROR)
+  if((inaddr=inet_addr(server))!=INADDR_NONE)
     {
       struct sockaddr_in addr;
 
@@ -778,8 +846,9 @@ connect_server( const char *server, ushort port, unsigned int flags )
          return -1;
        }
 
-      addr.sin_family=AF_INET; 
+      addr.sin_family=AF_INET;
       addr.sin_port=htons(port);
+      memcpy(&addr.sin_addr,&inaddr,sizeof(inaddr));
 
       if(connect(sock,(struct sockaddr *)&addr,sizeof(addr))==0)
        return sock;
@@ -793,15 +862,19 @@ connect_server( const char *server, ushort port, unsigned int flags )
 
 #ifdef USE_DNS_SRV
   /* Do the SRV thing */
-  if(flags&HTTP_FLAG_TRY_SRV)
+  if(srv && srv->srvtag)
     {
       /* We're using SRV, so append the tags */
-      char srvname[MAXDNAME];
+      if(1+strlen(srv->srvtag)+6+strlen(server)+1<=MAXDNAME)
+       {
+         char srvname[MAXDNAME];
 
-      strcpy(srvname,"_hkp._tcp.");
-      strncat(srvname,server,MAXDNAME-11);
-      srvname[MAXDNAME-1]='\0';
-      srvcount=getsrv(srvname,&srvlist);
+         strcpy(srvname,"_");
+         strcat(srvname,srv->srvtag);
+         strcat(srvname,"._tcp.");
+         strcat(srvname,server);
+         srvcount=getsrv(srvname,&srvlist);
+       }
     }
 #endif
 
@@ -809,23 +882,27 @@ connect_server( const char *server, ushort port, unsigned int flags )
     {
       /* Either we're not using SRV, or the SRV lookup failed.  Make
         up a fake SRV record. */
-      srvlist=m_alloc_clear(sizeof(struct srventry));
+      srvlist=calloc(1,sizeof(struct srventry));
+      if(!srvlist)
+       return -1;
       srvlist->port=port;
       strncpy(srvlist->target,server,MAXDNAME);
-      srvcount=1;
+      srvlist->target[MAXDNAME-1]='\0';
+      srvcount = 1;
+      fakesrv = 1;
     }
 
 #ifdef HAVE_GETADDRINFO
 
-  for(srv=0;srv<srvcount;srv++)
+  for(srvindex=0;srvindex<srvcount;srvindex++)
     {
       struct addrinfo hints,*res,*ai;
       char portstr[6];
 
-      sprintf(portstr,"%u",srvlist[srv].port);
+      sprintf(portstr,"%u",srvlist[srvindex].port);
       memset(&hints,0,sizeof(hints));
       hints.ai_socktype=SOCK_STREAM;
-      if(getaddrinfo(srvlist[srv].target,portstr,&hints,&res)==0)
+      if(getaddrinfo(srvlist[srvindex].target,portstr,&hints,&res)==0)
        hostfound=1;
       else
        continue;
@@ -842,8 +919,11 @@ connect_server( const char *server, ushort port, unsigned int flags )
          if(connect(sock,ai->ai_addr,ai->ai_addrlen)==0)
            {
              connected=1;
+             chosen = srvindex;
              break;
            }
+
+         sock_close(sock);
        }
 
       freeaddrinfo(res);
@@ -854,7 +934,7 @@ connect_server( const char *server, ushort port, unsigned int flags )
 
 #else /* !HAVE_GETADDRINFO */
 
-  for(srv=0;srv<srvcount;srv++)
+  for(srvindex=0; srvindex < srvcount; srvindex++)
     {
       int i=0;
       struct hostent *host=NULL;
@@ -862,9 +942,11 @@ connect_server( const char *server, ushort port, unsigned int flags )
 
       memset(&addr,0,sizeof(addr));
 
-      if((host=gethostbyname(srvlist[srv].target))==NULL)
+      if((host=gethostbyname(srvlist[srvindex].target))==NULL)
        continue;
 
+      hostfound=1;
+
       if((sock=socket(host->h_addrtype,SOCK_STREAM,0))==-1)
        {
          log_error("error creating socket: %s\n",strerror(errno));
@@ -872,16 +954,29 @@ connect_server( const char *server, ushort port, unsigned int flags )
        }
 
       addr.sin_family=host->h_addrtype;
-      addr.sin_port=htons(srvlist[srv].port);
+      if(addr.sin_family!=AF_INET)
+       {
+         log_error("%s: unknown address family\n",srvlist[srvindex].target);
+         return -1;
+       }
+
+      addr.sin_port=htons(srvlist[srvindex].port);
 
       /* Try all A records until one responds. */
       while(host->h_addr_list[i])
        {
+         if(host->h_length!=4)
+           {
+             log_error("%s: illegal address length\n",srvlist[srvindex].target);
+             return -1;
+           }
+
          memcpy(&addr.sin_addr,host->h_addr_list[i],host->h_length);
 
          if(connect(sock,(struct sockaddr *)&addr,sizeof(addr))==0)
            {
              connected=1;
+             chosen = srvindex;
              break;
            }
 
@@ -890,13 +985,22 @@ connect_server( const char *server, ushort port, unsigned int flags )
 
       if(host->h_addr_list[i])
        break;
+
+      sock_close(sock);
     }
 #endif /* !HAVE_GETADDRINFO */
 
-  m_free(srvlist);
+  if(!fakesrv && chosen > -1 && srv)
+    {
+      srv->used_server = strdup (srvlist[chosen].target);
+      srv->used_port = srvlist[chosen].port;
+    }
+
+  free(srvlist);
 
   if(!connected)
     {
+      int err=errno;
 #ifdef _WIN32
       if(hostfound)
        log_error("%s: Unable to connect: ec=%d\n",server,(int)WSAGetLastError());
@@ -904,12 +1008,13 @@ connect_server( const char *server, ushort port, unsigned int flags )
        log_error("%s: Host not found: ec=%d\n",server,(int)WSAGetLastError());
 #else
       if(hostfound)
-       log_error("%s: %s\n",server,strerror(errno));
+       log_error("%s: %s\n",server,strerror(err));
       else
        log_error("%s: Host not found\n",server);
 #endif
       if(sock!=-1)
        sock_close(sock);
+      errno=err;
       return -1;
     }
 
@@ -924,7 +1029,7 @@ write_server( int sock, const char *data, size_t length )
 
     nleft = length;
     while( nleft > 0 ) {
-#ifdef _WIN32  
+#ifdef _WIN32
         int nwritten;
 
         nwritten = send (sock, data, nleft, 0);
@@ -1005,7 +1110,7 @@ main(int argc, char **argv)
     }
     release_parsed_uri( uri ); uri = NULL;
 
-    rc = http_open_document( &hd, *argv, 0, NULL );
+    rc = http_open_document( &hd, *argv, NULL, 0, NULL, NULL, NULL );
     if( rc ) {
        log_error("can't get `%s': %s\n", *argv, g10_errstr(rc));
        return 1;