A small step for GnuPG but a huge leap for error codes.
[gnupg.git] / g10 / getkey.c
1 /* getkey.c -  Get a key from the database
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002,
3  *               2003 Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
20  */
21
22 #include <config.h>
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <string.h>
26 #include <assert.h>
27 #include <ctype.h>
28 #include "util.h"
29 #include "packet.h"
30 #include "memory.h"
31 #include "iobuf.h"
32 #include "keydb.h"
33 #include "options.h"
34 #include "main.h"
35 #include "trustdb.h"
36 #include "i18n.h"
37
38 #define MAX_PK_CACHE_ENTRIES   200
39 #define MAX_UID_CACHE_ENTRIES  200
40
41 #if MAX_PK_CACHE_ENTRIES < 2
42 #error We need the cache for key creation
43 #endif
44
45
46 struct getkey_ctx_s {
47     int exact;
48     KBNODE keyblock;
49     KBPOS  kbpos;
50     KBNODE found_key; /* pointer into some keyblock */
51     int last_rc;
52     int req_usage;
53     int req_algo;
54     KEYDB_HANDLE kr_handle;
55     int not_allocated;
56     int nitems;
57     KEYDB_SEARCH_DESC items[1];
58 };
59
60 #if 0
61 static struct {
62     int any;
63     int okay_count;
64     int nokey_count;
65     int error_count;
66 } lkup_stats[21];
67 #endif
68
69 typedef struct keyid_list {
70     struct keyid_list *next;
71     u32 keyid[2];
72 } *keyid_list_t;
73
74
75 #if MAX_PK_CACHE_ENTRIES
76   typedef struct pk_cache_entry {
77       struct pk_cache_entry *next;
78       u32 keyid[2];
79       PKT_public_key *pk;
80   } *pk_cache_entry_t;
81   static pk_cache_entry_t pk_cache;
82   static int pk_cache_entries;   /* number of entries in pk cache */
83   static int pk_cache_disabled;
84 #endif
85
86 #if MAX_UID_CACHE_ENTRIES < 5
87 #error we really need the userid cache
88 #endif
89 typedef struct user_id_db {
90     struct user_id_db *next;
91     keyid_list_t keyids;
92     int len;
93     char name[1];
94 } *user_id_db_t;
95 static user_id_db_t user_id_db;
96 static int uid_cache_entries;   /* number of entries in uid cache */
97
98 static void merge_selfsigs( KBNODE keyblock );
99 static int lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode );
100
101 #if 0
102 static void
103 print_stats()
104 {
105     int i;
106     for(i=0; i < DIM(lkup_stats); i++ ) {
107         if( lkup_stats[i].any )
108             fprintf(stderr,
109                     "lookup stats: mode=%-2d  ok=%-6d  nokey=%-6d  err=%-6d\n",
110                     i,
111                     lkup_stats[i].okay_count,
112                     lkup_stats[i].nokey_count,
113                     lkup_stats[i].error_count );
114     }
115 }
116 #endif
117
118
119 void
120 cache_public_key( PKT_public_key *pk )
121 {
122 #if MAX_PK_CACHE_ENTRIES
123     pk_cache_entry_t ce;
124     u32 keyid[2];
125
126     if( pk_cache_disabled )
127         return;
128
129     if( pk->dont_cache )
130         return;
131
132     if( is_ELGAMAL(pk->pubkey_algo)
133         || pk->pubkey_algo == PUBKEY_ALGO_DSA
134         || is_RSA(pk->pubkey_algo) ) {
135         keyid_from_pk( pk, keyid );
136     }
137     else
138         return; /* don't know how to get the keyid */
139
140     for( ce = pk_cache; ce; ce = ce->next )
141         if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] ) {
142             if( DBG_CACHE )
143                 log_debug("cache_public_key: already in cache\n");
144             return;
145         }
146
147     if( pk_cache_entries >= MAX_PK_CACHE_ENTRIES ) {
148         /* fixme: use another algorithm to free some cache slots */
149         pk_cache_disabled=1;
150         if( opt.verbose > 1 )
151             log_info(_("too many entries in pk cache - disabled\n"));
152         return;
153     }
154     pk_cache_entries++;
155     ce = m_alloc( sizeof *ce );
156     ce->next = pk_cache;
157     pk_cache = ce;
158     ce->pk = copy_public_key( NULL, pk );
159     ce->keyid[0] = keyid[0];
160     ce->keyid[1] = keyid[1];
161 #endif
162 }
163
164
165 /*
166  * Return the user ID from the given keyblock.
167  * We use the primary uid flag which has been set by the merge_selfsigs
168  * function.  The returned value is only valid as long as then given
169  * keyblock is not changed
170  */
171 static const char *
172 get_primary_uid ( KBNODE keyblock, size_t *uidlen )
173 {
174     KBNODE k;
175     const char *s;
176
177     for (k=keyblock; k; k=k->next ) {
178         if ( k->pkt->pkttype == PKT_USER_ID
179              && !k->pkt->pkt.user_id->attrib_data
180              && k->pkt->pkt.user_id->is_primary ) {
181             *uidlen = k->pkt->pkt.user_id->len;
182             return k->pkt->pkt.user_id->name;
183         }
184     } 
185     /* fixme: returning translatable constants instead of a user ID is 
186      * not good because they are probably not utf-8 encoded. */
187     s = _("[User id not found]");
188     *uidlen = strlen (s);
189     return s;
190 }
191
192
193 static void
194 release_keyid_list ( keyid_list_t k )
195 {
196     while (  k ) {
197         keyid_list_t k2 = k->next;
198         m_free (k);
199         k = k2;
200     }
201 }
202
203 /****************
204  * Store the association of keyid and userid
205  * Feed only public keys to this function.
206  */
207 static void
208 cache_user_id( KBNODE keyblock )
209 {
210     user_id_db_t r;
211     const char *uid;
212     size_t uidlen;
213     keyid_list_t keyids = NULL;
214     KBNODE k;
215
216     for (k=keyblock; k; k = k->next ) {
217         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
218              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
219             keyid_list_t a = m_alloc_clear ( sizeof *a );
220             /* Hmmm: For a long list of keyids it might be an advantage
221              * to append the keys */
222             keyid_from_pk( k->pkt->pkt.public_key, a->keyid );
223             /* first check for duplicates */
224             for(r=user_id_db; r; r = r->next ) {
225                 keyid_list_t b = r->keyids;
226                 for ( b = r->keyids; b; b = b->next ) {
227                     if( b->keyid[0] == a->keyid[0]
228                         && b->keyid[1] == a->keyid[1] ) {
229                         if( DBG_CACHE )
230                             log_debug("cache_user_id: already in cache\n");
231                         release_keyid_list ( keyids );
232                         m_free ( a );
233                         return;
234                     }
235                 }
236             }
237             /* now put it into the cache */
238             a->next = keyids;
239             keyids = a;
240         }
241     }
242     if ( !keyids )
243         BUG (); /* No key no fun */
244
245
246     uid = get_primary_uid ( keyblock, &uidlen );
247
248     if( uid_cache_entries >= MAX_UID_CACHE_ENTRIES ) {
249         /* fixme: use another algorithm to free some cache slots */
250         r = user_id_db;
251         user_id_db = r->next;
252         release_keyid_list ( r->keyids );
253         m_free(r);
254         uid_cache_entries--;
255     }
256     r = m_alloc( sizeof *r + uidlen-1 );
257     r->keyids = keyids;
258     r->len = uidlen;
259     memcpy(r->name, uid, r->len);
260     r->next = user_id_db;
261     user_id_db = r;
262     uid_cache_entries++;
263 }
264
265
266 void
267 getkey_disable_caches()
268 {
269 #if MAX_PK_CACHE_ENTRIES
270     {
271         pk_cache_entry_t ce, ce2;
272
273         for( ce = pk_cache; ce; ce = ce2 ) {
274             ce2 = ce->next;
275             free_public_key( ce->pk );
276             m_free( ce );
277         }
278         pk_cache_disabled=1;
279         pk_cache_entries = 0;
280         pk_cache = NULL;
281     }
282 #endif
283     /* fixme: disable user id cache ? */
284 }
285
286
287 static void
288 pk_from_block ( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE keyblock )
289 {
290     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
291
292     assert ( a->pkt->pkttype == PKT_PUBLIC_KEY
293              ||  a->pkt->pkttype == PKT_PUBLIC_SUBKEY );
294      
295     copy_public_key ( pk, a->pkt->pkt.public_key );
296 }
297
298 static void
299 sk_from_block ( GETKEY_CTX ctx,
300                 PKT_secret_key *sk, KBNODE keyblock )
301 {
302     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
303
304     assert ( a->pkt->pkttype == PKT_SECRET_KEY
305              ||  a->pkt->pkttype == PKT_SECRET_SUBKEY );
306      
307     copy_secret_key( sk, a->pkt->pkt.secret_key);
308 }
309
310
311 /****************
312  * Get a public key and store it into the allocated pk
313  * can be called with PK set to NULL to just read it into some
314  * internal structures.
315  */
316 int
317 get_pubkey( PKT_public_key *pk, u32 *keyid )
318 {
319     int internal = 0;
320     int rc = 0;
321
322 #if MAX_PK_CACHE_ENTRIES
323     {   /* Try to get it from the cache */
324         pk_cache_entry_t ce;
325         for( ce = pk_cache; ce; ce = ce->next ) {
326             if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] ) {
327                 if( pk )
328                     copy_public_key( pk, ce->pk );
329                 return 0;
330             }
331         }
332     }
333 #endif
334     /* more init stuff */
335     if( !pk ) {
336         pk = m_alloc_clear( sizeof *pk );
337         internal++;
338     }
339
340
341     /* do a lookup */
342     {   struct getkey_ctx_s ctx;
343         KBNODE kb = NULL;
344         memset( &ctx, 0, sizeof ctx );
345         ctx.exact = 1; /* use the key ID exactly as given */
346         ctx.not_allocated = 1;
347         ctx.kr_handle = keydb_new (0);
348         ctx.nitems = 1;
349         ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
350         ctx.items[0].u.kid[0] = keyid[0];
351         ctx.items[0].u.kid[1] = keyid[1];
352         ctx.req_algo  = pk->req_algo;
353         ctx.req_usage = pk->req_usage;
354         rc = lookup( &ctx, &kb, 0 );
355         if ( !rc ) {
356             pk_from_block ( &ctx, pk, kb );
357         }
358         get_pubkey_end( &ctx );
359         release_kbnode ( kb );
360     }
361     if( !rc )
362         goto leave;
363
364     rc = G10ERR_NO_PUBKEY;
365
366   leave:
367     if( !rc )
368         cache_public_key( pk );
369     if( internal )
370         free_public_key(pk);
371     return rc;
372 }
373
374
375 /* Get a public key and store it into the allocated pk.  This function
376    differs from get_pubkey() in that it does not do a check of the key
377    to avoid recursion.  It should be used only in very certain cases.  */
378 int
379 get_pubkey_fast (PKT_public_key *pk, u32 *keyid)
380 {
381   int rc = 0;
382   KEYDB_HANDLE hd;
383   KBNODE keyblock;
384   
385   assert (pk);
386 #if MAX_PK_CACHE_ENTRIES
387   { /* Try to get it from the cache */
388     pk_cache_entry_t ce;
389
390     for (ce = pk_cache; ce; ce = ce->next)
391       {
392         if (ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1])
393           {
394             if (pk)
395               copy_public_key (pk, ce->pk);
396             return 0;
397           }
398       }
399   }
400 #endif
401
402   hd = keydb_new (0);
403   rc = keydb_search_kid (hd, keyid);
404   if (rc == -1)
405     {
406       keydb_release (hd);
407       return G10ERR_NO_PUBKEY;
408     }
409   rc = keydb_get_keyblock (hd, &keyblock);
410   keydb_release (hd);
411   if (rc) 
412     {
413       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
414       return G10ERR_NO_PUBKEY;
415     }
416   
417   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
418            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
419   copy_public_key (pk, keyblock->pkt->pkt.public_key );
420   release_kbnode (keyblock);
421
422   /* Not caching key here since it won't have all of the fields
423      properly set. */
424
425   return 0;
426 }
427
428
429
430 KBNODE
431 get_pubkeyblock( u32 *keyid )
432 {
433     struct getkey_ctx_s ctx;
434     int rc = 0;
435     KBNODE keyblock = NULL;
436
437     memset( &ctx, 0, sizeof ctx );
438     /* no need to set exact here because we want the entire block */
439     ctx.not_allocated = 1;
440     ctx.kr_handle = keydb_new (0);
441     ctx.nitems = 1;
442     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
443     ctx.items[0].u.kid[0] = keyid[0];
444     ctx.items[0].u.kid[1] = keyid[1];
445     rc = lookup( &ctx, &keyblock, 0 );
446     get_pubkey_end( &ctx );
447
448     return rc ? NULL : keyblock;
449 }
450
451
452
453
454 /****************
455  * Get a secret key and store it into sk
456  */
457 int
458 get_seckey( PKT_secret_key *sk, u32 *keyid )
459 {
460     int rc;
461     struct getkey_ctx_s ctx;
462     KBNODE kb = NULL;
463
464     memset( &ctx, 0, sizeof ctx );
465     ctx.exact = 1; /* use the key ID exactly as given */
466     ctx.not_allocated = 1;
467     ctx.kr_handle = keydb_new (1);
468     ctx.nitems = 1;
469     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
470     ctx.items[0].u.kid[0] = keyid[0];
471     ctx.items[0].u.kid[1] = keyid[1];
472     ctx.req_algo  = sk->req_algo;
473     ctx.req_usage = sk->req_usage;
474     rc = lookup( &ctx, &kb, 1 );
475     if ( !rc ) {
476         sk_from_block ( &ctx, sk, kb );
477     }
478     get_seckey_end( &ctx );
479     release_kbnode ( kb );
480
481     if( !rc ) {
482         /* check the secret key (this may prompt for a passprase to
483          * unlock the secret key
484          */
485         rc = check_secret_key( sk, 0 );
486     }
487
488     return rc;
489 }
490
491
492 /****************
493  * Check whether the secret key is available.  This is just a fast
494  * check and does not tell us whether the secret key is valid.  It
495  * merely tells other whether there is some secret key.
496  * Returns: 0 := key is available
497  * G10ERR_NO_SECKEY := not availabe
498  */
499 int
500 seckey_available( u32 *keyid )
501 {
502     int rc;
503     KEYDB_HANDLE hd = keydb_new (1);
504
505     rc = keydb_search_kid (hd, keyid);
506     if ( rc == -1 )
507         rc = G10ERR_NO_SECKEY;
508     keydb_release (hd);
509     return rc;
510 }
511
512
513 /****************
514  * Return the type of the user id:
515  *
516  * Please use the constants KEYDB_SERCH_MODE_xxx
517  *  0 = Invalid user ID
518  *  1 = exact match
519  *  2 = match a substring
520  *  3 = match an email address
521  *  4 = match a substring of an email address
522  *  5 = match an email address, but compare from end
523  *  6 = word match mode
524  * 10 = it is a short KEYID (don't care about keyid[0])
525  * 11 = it is a long  KEYID
526  * 12 = it is a trustdb index (keyid is looked up)
527  * 16 = it is a 16 byte fingerprint
528  * 20 = it is a 20 byte fingerprint
529  * 21 = Unified fingerprint :fpr:pk_algo:
530  *      (We don't use pk_algo yet)
531  *
532  * Rules used:
533  * - If the username starts with 8,9,16 or 17 hex-digits (the first one
534  *   must be in the range 0..9), this is considered a keyid; depending
535  *   on the length a short or complete one.
536  * - If the username starts with 32,33,40 or 41 hex-digits (the first one
537  *   must be in the range 0..9), this is considered a fingerprint.
538  * - If the username starts with a left angle, we assume it is a complete
539  *   email address and look only at this part.
540  * - If the username starts with a colon we assume it is a unified 
541  *   key specfification. 
542  * - If the username starts with a '.', we assume it is the ending
543  *   part of an email address
544  * - If the username starts with an '@', we assume it is a part of an
545  *   email address
546  * - If the userid start with an '=' an exact compare is done.
547  * - If the userid starts with a '*' a case insensitive substring search is
548  *   done (This is the default).
549  * - If the userid starts with a '+' we will compare individual words
550  *   and a match requires that all the words are in the userid.
551  *   Words are delimited by white space or "()<>[]{}.@-+_,;/&!"
552  *   (note that you can't search for these characters). Compare
553  *   is not case sensitive.
554  */
555
556 int
557 classify_user_id( const char *name, KEYDB_SEARCH_DESC *desc )
558 {
559     const char *s;
560     int hexprefix = 0;
561     int hexlength;
562     int mode = 0;   
563     KEYDB_SEARCH_DESC dummy_desc;
564
565     if (!desc)
566         desc = &dummy_desc;
567
568     /* clear the structure so that the mode field is set to zero unless
569      * we set it to the correct value right at the end of this function */
570     memset (desc, 0, sizeof *desc);
571
572     /* skip leading spaces.  Fixme: what is with trailing spaces? */
573     for(s = name; *s && isspace(*s); s++ )
574         ;
575
576     switch (*s) {
577         case 0:    /* empty string is an error */
578             return 0;
579
580         case '.':  /* an email address, compare from end */
581             mode = KEYDB_SEARCH_MODE_MAILEND;
582             s++;
583             desc->u.name = s;
584             break;
585
586         case '<':  /* an email address */
587             mode = KEYDB_SEARCH_MODE_MAIL;
588             desc->u.name = s;
589             break;
590
591         case '@':  /* part of an email address */
592             mode = KEYDB_SEARCH_MODE_MAILSUB;
593             s++;
594             desc->u.name = s;
595             break;
596
597         case '=':  /* exact compare */
598             mode = KEYDB_SEARCH_MODE_EXACT;
599             s++;
600             desc->u.name = s;
601             break;
602
603         case '*':  /* case insensitive substring search */
604             mode = KEYDB_SEARCH_MODE_SUBSTR;
605             s++;
606             desc->u.name = s;
607             break;
608
609         case '+':  /* compare individual words */
610             mode = KEYDB_SEARCH_MODE_WORDS;
611             s++;
612             desc->u.name = s;
613             break;
614
615         case '#':  /* local user id */
616             return 0; /* This is now obsolete and van't not be used anymore*/
617         
618         case ':': /*Unified fingerprint */
619             {  
620                 const char *se, *si;
621                 int i;
622                 
623                 se = strchr( ++s,':');
624                 if ( !se )
625                     return 0;
626                 for (i=0,si=s; si < se; si++, i++ ) {
627                     if ( !strchr("01234567890abcdefABCDEF", *si ) )
628                         return 0; /* invalid digit */
629                 }
630                 if (i != 32 && i != 40)
631                     return 0; /* invalid length of fpr*/
632                 for (i=0,si=s; si < se; i++, si +=2) 
633                     desc->u.fpr[i] = hextobyte(si);
634                 for ( ; i < 20; i++)
635                     desc->u.fpr[i]= 0;
636                 s = se + 1;
637                 mode = KEYDB_SEARCH_MODE_FPR;
638             } 
639             break;
640            
641         default:
642             if (s[0] == '0' && s[1] == 'x') {
643                 hexprefix = 1;
644                 s += 2;
645             }
646
647             hexlength = strspn(s, "0123456789abcdefABCDEF");
648             if (hexlength >= 8 && s[hexlength] =='!') {
649                 desc->exact = 1;
650                 hexlength++; /* just for the following check */
651             }
652
653             /* check if a hexadecimal number is terminated by EOS or blank */
654             if (hexlength && s[hexlength] && !isspace(s[hexlength])) {
655                 if (hexprefix)      /* a "0x" prefix without correct */
656                     return 0;       /* termination is an error */
657                 else                /* The first chars looked like */
658                     hexlength = 0;  /* a hex number, but really were not. */
659             }
660
661             if (desc->exact)
662                 hexlength--;
663
664             if (hexlength == 8
665                 || (!hexprefix && hexlength == 9 && *s == '0')){
666                 /* short keyid */
667                 if (hexlength == 9)
668                     s++;
669                 desc->u.kid[0] = 0;
670                 desc->u.kid[1] = strtoul( s, NULL, 16 );
671                 mode = KEYDB_SEARCH_MODE_SHORT_KID;
672             }
673             else if (hexlength == 16
674                      || (!hexprefix && hexlength == 17 && *s == '0')) {
675                 /* complete keyid */
676                 char buf[9];
677                 if (hexlength == 17)
678                     s++;
679                 mem2str(buf, s, 9 );
680                 desc->u.kid[0] = strtoul( buf, NULL, 16 );
681                 desc->u.kid[1] = strtoul( s+8, NULL, 16 );
682                 mode = KEYDB_SEARCH_MODE_LONG_KID;
683             }
684             else if (hexlength == 32 || (!hexprefix && hexlength == 33
685                                                             && *s == '0')) {
686                 /* md5 fingerprint */
687                 int i;
688                 if (hexlength == 33)
689                     s++;
690                 memset(desc->u.fpr+16, 0, 4); 
691                 for (i=0; i < 16; i++, s+=2) {
692                     int c = hextobyte(s);
693                     if (c == -1)
694                         return 0;
695                     desc->u.fpr[i] = c;
696                 }
697                 mode = KEYDB_SEARCH_MODE_FPR16;
698             }
699             else if (hexlength == 40 || (!hexprefix && hexlength == 41
700                                                               && *s == '0')) {
701                 /* sha1/rmd160 fingerprint */
702                 int i;
703                 if (hexlength == 41)
704                     s++;
705                 for (i=0; i < 20; i++, s+=2) {
706                     int c = hextobyte(s);
707                     if (c == -1)
708                         return 0;
709                     desc->u.fpr[i] = c;
710                 }
711                 mode = KEYDB_SEARCH_MODE_FPR20;
712             }
713             else {
714                 if (hexprefix)  /* This was a hex number with a prefix */
715                     return 0;   /* and a wrong length */
716
717                 desc->exact = 0;
718                 desc->u.name = s;
719                 mode = KEYDB_SEARCH_MODE_SUBSTR;   /* default mode */
720             }
721     }
722
723     desc->mode = mode;
724     return mode;
725 }
726
727
728 static int
729 skip_disabled(void *dummy,u32 *keyid)
730 {
731   int rc,disabled=0;
732   PKT_public_key *pk=m_alloc_clear(sizeof(PKT_public_key));
733
734   rc = get_pubkey(pk, keyid);
735   if(rc)
736     {
737       log_error("error checking disabled status of %08lX: %s\n",
738                 (ulong)keyid[1],g10_errstr(rc));
739       goto leave;
740     }
741  
742   disabled=pk_is_disabled(pk);
743
744  leave:
745   free_public_key(pk);
746   return disabled;
747 }
748
749 /****************
750  * Try to get the pubkey by the userid. This function looks for the
751  * first pubkey certificate which has the given name in a user_id.
752  * if pk/sk has the pubkey algo set, the function will only return
753  * a pubkey with that algo.
754  * The caller should provide storage for either the pk or the sk.
755  * If ret_kb is not NULL the function will return the keyblock there.
756  */
757
758 static int
759 key_byname( GETKEY_CTX *retctx, STRLIST namelist,
760             PKT_public_key *pk, PKT_secret_key *sk,
761             int secmode, int include_disabled,
762             KBNODE *ret_kb, KEYDB_HANDLE *ret_kdbhd )
763 {
764     int rc = 0;
765     int n;
766     STRLIST r;
767     GETKEY_CTX ctx;
768     KBNODE help_kb = NULL;
769     
770     if( retctx ) {/* reset the returned context in case of error */
771         assert (!ret_kdbhd);  /* not allowed because the handle is
772                                  stored in the context */
773         *retctx = NULL;
774     }
775     if (ret_kdbhd)
776         *ret_kdbhd = NULL;
777
778     /* build the search context */
779     for(n=0, r=namelist; r; r = r->next )
780         n++;
781     ctx = m_alloc_clear (sizeof *ctx + (n-1)*sizeof ctx->items );
782     ctx->nitems = n;
783
784     for(n=0, r=namelist; r; r = r->next, n++ ) {
785         classify_user_id (r->d, &ctx->items[n]);
786         
787         if (ctx->items[n].exact)
788             ctx->exact = 1;
789         if (!ctx->items[n].mode) {
790             m_free (ctx);
791             return G10ERR_INV_USER_ID;
792         }
793         if(!include_disabled
794            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_SHORT_KID
795            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_LONG_KID
796            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR16
797            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR20
798            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR)
799           ctx->items[n].skipfnc=skip_disabled;
800     }
801
802     ctx->kr_handle = keydb_new (secmode);
803     if ( !ret_kb ) 
804         ret_kb = &help_kb;
805
806     if( secmode ) {
807         if (sk) {
808             ctx->req_algo  = sk->req_algo;
809             ctx->req_usage = sk->req_usage;
810         }
811         rc = lookup( ctx, ret_kb, 1 );
812         if ( !rc && sk ) {
813             sk_from_block ( ctx, sk, *ret_kb );
814         }
815     }
816     else {
817         if (pk) {
818             ctx->req_algo  = pk->req_algo;
819             ctx->req_usage = pk->req_usage;
820         }
821         rc = lookup( ctx, ret_kb, 0 );
822         if ( !rc && pk ) {
823             pk_from_block ( ctx, pk, *ret_kb );
824         }
825     }
826
827     release_kbnode ( help_kb );
828
829     if (retctx) /* caller wants the context */
830         *retctx = ctx;
831     else {
832         if (ret_kdbhd) {
833             *ret_kdbhd = ctx->kr_handle;
834             ctx->kr_handle = NULL;
835         }
836         get_pubkey_end (ctx);
837     }
838
839     return rc;
840 }
841
842 /*
843  * Find a public key from NAME and returh the keyblock or the key.
844  * If ret_kdb is not NULL, the KEYDB handle used to locate this keyblock is
845  * returned and the caller is responsible for closing it.
846  */
847 int
848 get_pubkey_byname (PKT_public_key *pk,
849                    const char *name, KBNODE *ret_keyblock,
850                    KEYDB_HANDLE *ret_kdbhd, int include_disabled ) 
851 {
852     int rc;
853     STRLIST namelist = NULL;
854
855     add_to_strlist( &namelist, name );
856     rc = key_byname( NULL, namelist, pk, NULL, 0,
857                      include_disabled, ret_keyblock, ret_kdbhd);
858     free_strlist( namelist );
859     return rc;
860 }
861
862 int
863 get_pubkey_bynames( GETKEY_CTX *retctx, PKT_public_key *pk,
864                     STRLIST names, KBNODE *ret_keyblock )
865 {
866     return key_byname( retctx, names, pk, NULL, 0, 1, ret_keyblock, NULL);
867 }
868
869 int
870 get_pubkey_next( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE *ret_keyblock )
871 {
872     int rc;
873
874     rc = lookup( ctx, ret_keyblock, 0 );
875     if ( !rc && pk && ret_keyblock )
876         pk_from_block ( ctx, pk, *ret_keyblock );
877     
878     return rc;
879 }
880
881
882 void
883 get_pubkey_end( GETKEY_CTX ctx )
884 {
885     if( ctx ) {
886         memset (&ctx->kbpos, 0, sizeof ctx->kbpos);
887         keydb_release (ctx->kr_handle);
888         if( !ctx->not_allocated )
889             m_free( ctx );
890     }
891 }
892
893
894
895
896 /****************
897  * Search for a key with the given fingerprint.
898  * FIXME:
899  * We should replace this with the _byname function.  Thiscsan be done
900  * by creating a userID conforming to the unified fingerprint style. 
901  */
902 int
903 get_pubkey_byfprint( PKT_public_key *pk,
904                      const byte *fprint, size_t fprint_len)
905 {
906     int rc;
907
908     if( fprint_len == 20 || fprint_len == 16 ) {
909         struct getkey_ctx_s ctx;
910         KBNODE kb = NULL;
911
912         memset( &ctx, 0, sizeof ctx );
913         ctx.exact = 1 ;
914         ctx.not_allocated = 1;
915         ctx.kr_handle = keydb_new (0);
916         ctx.nitems = 1;
917         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
918                                           : KEYDB_SEARCH_MODE_FPR20;
919         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
920         rc = lookup( &ctx, &kb, 0 );
921         if (!rc && pk )
922             pk_from_block ( &ctx, pk, kb );
923         release_kbnode ( kb );
924         get_pubkey_end( &ctx );
925     }
926     else
927         rc = G10ERR_GENERAL; /* Oops */
928     return rc;
929 }
930
931
932 /* Get a public key and store it into the allocated pk.  This function
933    differs from get_pubkey_byfprint() in that it does not do a check
934    of the key to avoid recursion.  It should be used only in very
935    certain cases.  PK may be NULL to check just for the existance of
936    the key. */
937 int
938 get_pubkey_byfprint_fast (PKT_public_key *pk,
939                           const byte *fprint, size_t fprint_len)
940 {
941   int rc = 0;
942   KEYDB_HANDLE hd;
943   KBNODE keyblock;
944   byte fprbuf[MAX_FINGERPRINT_LEN];
945   int i;
946   
947   for (i=0; i < MAX_FINGERPRINT_LEN && i < fprint_len; i++)
948     fprbuf[i] = fprint[i];
949   while (i < MAX_FINGERPRINT_LEN) 
950     fprbuf[i++] = 0;
951
952   hd = keydb_new (0);
953   rc = keydb_search_fpr (hd, fprbuf);
954   if (rc == -1)
955     {
956       keydb_release (hd);
957       return G10ERR_NO_PUBKEY;
958     }
959   rc = keydb_get_keyblock (hd, &keyblock);
960   keydb_release (hd);
961   if (rc) 
962     {
963       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
964       return G10ERR_NO_PUBKEY;
965     }
966   
967   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
968            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
969   if (pk)
970     copy_public_key (pk, keyblock->pkt->pkt.public_key );
971   release_kbnode (keyblock);
972
973   /* Not caching key here since it won't have all of the fields
974      properly set. */
975
976   return 0;
977 }
978
979 /****************
980  * Search for a key with the given fingerprint and return the
981  * complete keyblock which may have more than only this key.
982  */
983 int
984 get_keyblock_byfprint( KBNODE *ret_keyblock, const byte *fprint,
985                                                 size_t fprint_len )
986 {
987     int rc;
988
989     if( fprint_len == 20 || fprint_len == 16 ) {
990         struct getkey_ctx_s ctx;
991
992         memset( &ctx, 0, sizeof ctx );
993         ctx.not_allocated = 1;
994         ctx.kr_handle = keydb_new (0);
995         ctx.nitems = 1;
996         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
997                                           : KEYDB_SEARCH_MODE_FPR20;
998         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
999         rc = lookup( &ctx, ret_keyblock, 0 );
1000         get_pubkey_end( &ctx );
1001     }
1002     else
1003         rc = G10ERR_GENERAL; /* Oops */
1004
1005     return rc;
1006 }
1007
1008
1009 /****************
1010  * Get a secret key by name and store it into sk
1011  * If NAME is NULL use the default key
1012  */
1013 static int
1014 get_seckey_byname2( GETKEY_CTX *retctx,
1015                    PKT_secret_key *sk, const char *name, int unprotect,
1016                    KBNODE *retblock )
1017 {
1018     STRLIST namelist = NULL;
1019     int rc;
1020
1021     if( !name && opt.def_secret_key && *opt.def_secret_key ) {
1022         add_to_strlist( &namelist, opt.def_secret_key );
1023         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1024     }
1025     else if( !name ) { /* use the first one as default key */
1026         struct getkey_ctx_s ctx;
1027         KBNODE kb = NULL;
1028
1029         assert (!retctx ); /* do we need this at all */
1030         assert (!retblock);
1031         memset( &ctx, 0, sizeof ctx );
1032         ctx.not_allocated = 1;
1033         ctx.kr_handle = keydb_new (1);
1034         ctx.nitems = 1;
1035         ctx.items[0].mode = KEYDB_SEARCH_MODE_FIRST;
1036         rc = lookup( &ctx, &kb, 1 );
1037         if (!rc && sk )
1038             sk_from_block ( &ctx, sk, kb );
1039         release_kbnode ( kb );
1040         get_seckey_end( &ctx );
1041     }
1042     else {
1043         add_to_strlist( &namelist, name );
1044         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1045     }
1046
1047     free_strlist( namelist );
1048
1049     if( !rc && unprotect )
1050         rc = check_secret_key( sk, 0 );
1051
1052     return rc;
1053 }
1054
1055 int 
1056 get_seckey_byname( PKT_secret_key *sk, const char *name, int unlock )
1057 {
1058     return get_seckey_byname2 ( NULL, sk, name, unlock, NULL );
1059 }
1060
1061
1062 int
1063 get_seckey_bynames( GETKEY_CTX *retctx, PKT_secret_key *sk,
1064                     STRLIST names, KBNODE *ret_keyblock )
1065 {
1066     return key_byname( retctx, names, NULL, sk, 1, 1, ret_keyblock, NULL );
1067 }
1068
1069
1070 int
1071 get_seckey_next( GETKEY_CTX ctx, PKT_secret_key *sk, KBNODE *ret_keyblock )
1072 {
1073     int rc;
1074
1075     rc = lookup( ctx, ret_keyblock, 1 );
1076     if ( !rc && sk && ret_keyblock )
1077         sk_from_block ( ctx, sk, *ret_keyblock );
1078
1079     return rc;
1080 }
1081
1082
1083 void
1084 get_seckey_end( GETKEY_CTX ctx )
1085 {
1086     get_pubkey_end( ctx );
1087 }
1088
1089
1090 /****************
1091  * Search for a key with the given fingerprint.
1092  * FIXME:
1093  * We should replace this with the _byname function.  Thiscsan be done
1094  * by creating a userID conforming to the unified fingerprint style. 
1095  */
1096 int
1097 get_seckey_byfprint( PKT_secret_key *sk,
1098                      const byte *fprint, size_t fprint_len)
1099 {
1100     int rc;
1101
1102     if( fprint_len == 20 || fprint_len == 16 ) {
1103         struct getkey_ctx_s ctx;
1104         KBNODE kb = NULL;
1105
1106         memset( &ctx, 0, sizeof ctx );
1107         ctx.exact = 1 ;
1108         ctx.not_allocated = 1;
1109         ctx.kr_handle = keydb_new (1);
1110         ctx.nitems = 1;
1111         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
1112                                           : KEYDB_SEARCH_MODE_FPR20;
1113         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
1114         rc = lookup( &ctx, &kb, 1 );
1115         if (!rc && sk )
1116             sk_from_block ( &ctx, sk, kb );
1117         release_kbnode ( kb );
1118         get_pubkey_end( &ctx );
1119     }
1120     else
1121         rc = G10ERR_GENERAL; /* Oops */
1122     return rc;
1123 }
1124
1125 \f
1126 /************************************************
1127  ************* Merging stuff ********************
1128  ************************************************/
1129
1130 /****************
1131  * merge all selfsignatures with the keys.
1132  * FIXME: replace this at least for the public key parts
1133  *        by merge_selfsigs.
1134  *        It is still used in keyedit.c and
1135  *        at 2 or 3 other places - check whether it is really needed.
1136  *        It might be needed by the key edit and import stuff because
1137  *        the keylock is changed.
1138  */
1139 void
1140 merge_keys_and_selfsig( KBNODE keyblock )
1141 {
1142     PKT_public_key *pk = NULL;
1143     PKT_secret_key *sk = NULL;
1144     PKT_signature *sig;
1145     KBNODE k;
1146     u32 kid[2] = { 0, 0 };
1147     u32 sigdate = 0;
1148
1149     if (keyblock && keyblock->pkt->pkttype == PKT_PUBLIC_KEY ) {
1150         /* divert to our new function */
1151         merge_selfsigs (keyblock);
1152         return;
1153     }
1154     /* still need the old one because the new one can't handle secret keys */
1155
1156     for(k=keyblock; k; k = k->next ) {
1157         if( k->pkt->pkttype == PKT_PUBLIC_KEY
1158             || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1159             pk = k->pkt->pkt.public_key; sk = NULL;
1160             if( pk->version < 4 )
1161                 pk = NULL; /* not needed for old keys */
1162             else if( k->pkt->pkttype == PKT_PUBLIC_KEY )
1163                 keyid_from_pk( pk, kid );
1164             else if( !pk->expiredate ) { /* and subkey */
1165                 /* insert the expiration date here */
1166                 /*FIXME!!! pk->expiredate = subkeys_expiretime( k, kid );*/
1167             }
1168             sigdate = 0;
1169         }
1170         else if( k->pkt->pkttype == PKT_SECRET_KEY
1171             || k->pkt->pkttype == PKT_SECRET_SUBKEY ) {
1172             pk = NULL; sk = k->pkt->pkt.secret_key;
1173             if( sk->version < 4 )
1174                 sk = NULL;
1175             else if( k->pkt->pkttype == PKT_SECRET_KEY )
1176                 keyid_from_sk( sk, kid );
1177             sigdate = 0;
1178         }
1179         else if( (pk || sk ) && k->pkt->pkttype == PKT_SIGNATURE
1180                  && (sig=k->pkt->pkt.signature)->sig_class >= 0x10
1181                  && sig->sig_class <= 0x30 && sig->version > 3
1182                  && !(sig->sig_class == 0x18 || sig->sig_class == 0x28)
1183                  && sig->keyid[0] == kid[0] && sig->keyid[1] == kid[1] ) {
1184             /* okay this is a self-signature which can be used.
1185              * This is not used for subkey binding signature, becuase this
1186              * is done above.
1187              * FIXME: We should only use this if the signature is valid
1188              *        but this is time consuming - we must provide another
1189              *        way to handle this
1190              */
1191             const byte *p;
1192             u32 ed;
1193
1194             p = parse_sig_subpkt( sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL );
1195             if( pk ) {
1196                 ed = p? pk->timestamp + buffer_to_u32(p):0;
1197                 if( sig->timestamp > sigdate ) {
1198                     pk->expiredate = ed;
1199                     sigdate = sig->timestamp;
1200                 }
1201             }
1202             else {
1203                 ed = p? sk->timestamp + buffer_to_u32(p):0;
1204                 if( sig->timestamp > sigdate ) {
1205                     sk->expiredate = ed;
1206                     sigdate = sig->timestamp;
1207                 }
1208             }
1209         }
1210
1211         if(pk && (pk->expiredate==0 ||
1212                   (pk->max_expiredate && pk->expiredate>pk->max_expiredate)))
1213           pk->expiredate=pk->max_expiredate;
1214
1215         if(sk && (sk->expiredate==0 ||
1216                   (sk->max_expiredate && sk->expiredate>sk->max_expiredate)))
1217           sk->expiredate=sk->max_expiredate;
1218     }
1219 }
1220
1221 /*
1222  * Apply information from SIGNODE (which is the valid self-signature
1223  * associated with that UID) to the UIDNODE:
1224  * - wether the UID has been revoked
1225  * - assumed creation date of the UID
1226  * - temporary store the keyflags here
1227  * - temporary store the key expiration time here
1228  * - mark whether the primary user ID flag hat been set.
1229  * - store the preferences
1230  */
1231 static void
1232 fixup_uidnode ( KBNODE uidnode, KBNODE signode, u32 keycreated )
1233 {
1234     PKT_user_id   *uid = uidnode->pkt->pkt.user_id;
1235     PKT_signature *sig = signode->pkt->pkt.signature;
1236     const byte *p, *sym, *hash, *zip;
1237     size_t n, nsym, nhash, nzip;
1238
1239     uid->created = 0; /* not created == invalid */
1240     if ( IS_UID_REV ( sig ) ) {
1241         uid->is_revoked = 1;
1242         return; /* has been revoked */
1243     }
1244
1245     uid->created = sig->timestamp; /* this one is okay */
1246     uid->selfsigversion = sig->version;
1247     /* If we got this far, it's not expired :) */
1248     uid->is_expired = 0;
1249     uid->expiredate = sig->expiredate;
1250
1251     /* store the key flags in the helper variable for later processing */
1252     uid->help_key_usage = 0;
1253     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1254     if ( p && n ) {
1255         /* first octet of the keyflags */   
1256         if ( (*p & 3) )
1257             uid->help_key_usage |= PUBKEY_USAGE_SIG;
1258         if ( (*p & 12) )    
1259             uid->help_key_usage |= PUBKEY_USAGE_ENC;
1260         /* Note: we do not set the CERT flag here because it can be assumed
1261          * that thre is no real policy to set it. */
1262     }
1263
1264     /* ditto or the key expiration */
1265     uid->help_key_expire = 0;
1266     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1267     if ( p ) { 
1268         uid->help_key_expire = keycreated + buffer_to_u32(p);
1269     }
1270
1271     /* Set the primary user ID flag - we will later wipe out some
1272      * of them to only have one in our keyblock */
1273     uid->is_primary = 0;
1274     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PRIMARY_UID, NULL );
1275     if ( p && *p )
1276         uid->is_primary = 2;
1277     /* We could also query this from the unhashed area if it is not in
1278      * the hased area and then later try to decide which is the better
1279      * there should be no security problem with this.
1280      * For now we only look at the hashed one. 
1281      */
1282
1283     /* Now build the preferences list.  These must come from the
1284        hashed section so nobody can modify the ciphers a key is
1285        willing to accept. */
1286     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_SYM, &n );
1287     sym = p; nsym = p?n:0;
1288     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_HASH, &n );
1289     hash = p; nhash = p?n:0;
1290     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_COMPR, &n );
1291     zip = p; nzip = p?n:0;
1292     if (uid->prefs) 
1293         m_free (uid->prefs);
1294     n = nsym + nhash + nzip;
1295     if (!n)
1296         uid->prefs = NULL;
1297     else {
1298         uid->prefs = m_alloc (sizeof (*uid->prefs) * (n+1));
1299         n = 0;
1300         for (; nsym; nsym--, n++) {
1301             uid->prefs[n].type = PREFTYPE_SYM;
1302             uid->prefs[n].value = *sym++;
1303         }
1304         for (; nhash; nhash--, n++) {
1305             uid->prefs[n].type = PREFTYPE_HASH;
1306             uid->prefs[n].value = *hash++;
1307         }
1308         for (; nzip; nzip--, n++) {
1309             uid->prefs[n].type = PREFTYPE_ZIP;
1310             uid->prefs[n].value = *zip++;
1311         }
1312         uid->prefs[n].type = PREFTYPE_NONE; /* end of list marker */
1313         uid->prefs[n].value = 0;
1314     }
1315
1316     /* see whether we have the MDC feature */
1317     uid->mdc_feature = 0;
1318     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_FEATURES, &n);
1319     if (p && n && (p[0] & 0x01))
1320         uid->mdc_feature = 1;
1321
1322     /* and the keyserver modify flag */
1323     uid->ks_modify = 1;
1324     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KS_FLAGS, &n);
1325     if (p && n && (p[0] & 0x80))
1326         uid->ks_modify = 0;
1327 }
1328
1329 static void
1330 merge_selfsigs_main( KBNODE keyblock, int *r_revoked )
1331 {
1332     PKT_public_key *pk = NULL;
1333     KBNODE k;
1334     u32 kid[2];
1335     u32 sigdate, uiddate, uiddate2;
1336     KBNODE signode, uidnode, uidnode2;
1337     u32 curtime = make_timestamp ();
1338     unsigned int key_usage = 0;
1339     u32 keytimestamp = 0;
1340     u32 key_expire = 0;
1341     int key_expire_seen = 0;
1342     byte sigversion = 0;
1343
1344     *r_revoked = 0;
1345     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY )
1346         BUG ();
1347     pk = keyblock->pkt->pkt.public_key;
1348     keytimestamp = pk->timestamp;
1349
1350     keyid_from_pk( pk, kid );
1351     pk->main_keyid[0] = kid[0];
1352     pk->main_keyid[1] = kid[1];
1353
1354     if ( pk->version < 4 ) {
1355         /* before v4 the key packet itself contains the expiration
1356          * date and there was no way to change it, so we start with
1357          * the one from the key packet */
1358         key_expire = pk->max_expiredate;
1359         key_expire_seen = 1;
1360     }
1361
1362     /* first pass: find the latest direct key self-signature.
1363      * We assume that the newest one overrides all others
1364      */
1365
1366     /* In case this key was already merged */
1367     m_free(pk->revkey);
1368     pk->revkey=NULL;
1369     pk->numrevkeys=0;
1370
1371     signode = NULL;
1372     sigdate = 0; /* helper to find the latest signature */
1373     for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next ) {
1374         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1375             PKT_signature *sig = k->pkt->pkt.signature;
1376             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1377                 if ( check_key_signature( keyblock, k, NULL ) )
1378                     ; /* signature did not verify */
1379                 else if ( IS_KEY_REV (sig) ){
1380                     /* key has been revoked - there is no way to override
1381                      * such a revocation, so we theoretically can stop now.
1382                      * We should not cope with expiration times for revocations
1383                      * here because we have to assume that an attacker can
1384                      * generate all kinds of signatures.  However due to the
1385                      * fact that the key has been revoked it does not harm
1386                      * either and by continuing we gather some more info on 
1387                      * that key.
1388                      */ 
1389                     *r_revoked = 1;
1390                 }
1391                 else if ( IS_KEY_SIG (sig) ) {
1392                   /* Add any revocation keys onto the pk.  This is
1393                      particularly interesting since we normally only
1394                      get data from the most recent 1F signature, but
1395                      you need multiple 1F sigs to properly handle
1396                      revocation keys (PGP does it this way, and a
1397                      revocation key could be sensitive and hence in a
1398                      different signature). */
1399                   if(sig->revkey) {
1400                     int i;
1401
1402                     pk->revkey=
1403                       m_realloc(pk->revkey,sizeof(struct revocation_key)*
1404                                 (pk->numrevkeys+sig->numrevkeys));
1405
1406                     for(i=0;i<sig->numrevkeys;i++)
1407                       memcpy(&pk->revkey[pk->numrevkeys++],
1408                              sig->revkey[i],
1409                              sizeof(struct revocation_key));
1410                   }
1411
1412                   if( sig->timestamp >= sigdate ) {
1413                     if(sig->flags.expired)
1414                         ; /* signature has expired - ignore it */
1415                     else {
1416                         sigdate = sig->timestamp;
1417                         signode = k;
1418                         if( sig->version > sigversion )
1419                           sigversion = sig->version;
1420
1421                     }
1422                   }
1423                 }
1424             }
1425         }
1426     }
1427
1428     /* Remove dupes from the revocation keys */
1429
1430     if(pk->revkey)
1431       {
1432         int i,j,x,changed=0;
1433
1434         for(i=0;i<pk->numrevkeys;i++)
1435           {
1436             for(j=i+1;j<pk->numrevkeys;j++)
1437               {
1438                 if(memcmp(&pk->revkey[i],&pk->revkey[j],
1439                           sizeof(struct revocation_key))==0)
1440                   {
1441                     /* remove j */
1442
1443                     for(x=j;x<pk->numrevkeys-1;x++)
1444                       pk->revkey[x]=pk->revkey[x+1];
1445
1446                     pk->numrevkeys--;
1447                     j--;
1448                     changed=1;
1449                   }
1450               }
1451           }
1452
1453         if(changed)
1454           pk->revkey=m_realloc(pk->revkey,
1455                                pk->numrevkeys*sizeof(struct revocation_key));
1456       }
1457
1458     if ( signode ) {
1459         /* some information from a direct key signature take precedence
1460          * over the same information given in UID sigs.
1461          */
1462         PKT_signature *sig = signode->pkt->pkt.signature;
1463         const byte *p;
1464         size_t n;
1465         
1466         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1467         if ( p && n ) {
1468             /* first octet of the keyflags */   
1469             if ( (*p & 3) )
1470                 key_usage |= PUBKEY_USAGE_SIG;
1471             if ( (*p & 12) )    
1472                 key_usage |= PUBKEY_USAGE_ENC;
1473         }
1474
1475         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1476         if ( p ) {
1477           key_expire = keytimestamp + buffer_to_u32(p);
1478           key_expire_seen = 1;
1479         }
1480
1481         /* mark that key as valid: one direct key signature should 
1482          * render a key as valid */
1483         pk->is_valid = 1;
1484     }
1485
1486     /* pass 1.5: look for key revocation signatures that were not made
1487        by the key (i.e. did a revocation key issue a revocation for
1488        us?).  Only bother to do this if there is a revocation key in
1489        the first place. */
1490
1491     if(pk->revkey)
1492       for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next )
1493         {
1494           if ( k->pkt->pkttype == PKT_SIGNATURE )
1495             {
1496               PKT_signature *sig = k->pkt->pkt.signature;
1497
1498               if(IS_KEY_REV(sig) &&
1499                  (sig->keyid[0]!=kid[0] || sig->keyid[1]!=kid[1]))
1500                 { 
1501                   /* Failure here means the sig did not verify, is was
1502                      not issued by a revocation key, or a revocation
1503                      key loop was broken. */
1504
1505                   if(check_revocation_keys(pk,sig)==0)
1506                     *r_revoked=1;
1507
1508                   /* In the future handle subkey and cert revocations?
1509                      PGP doesn't, but it's in 2440. */
1510                 }
1511             }
1512         }
1513
1514     /* second pass: look at the self-signature of all user IDs */
1515     signode = uidnode = NULL;
1516     sigdate = 0; /* helper to find the latest signature in one user ID */
1517     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1518         if ( k->pkt->pkttype == PKT_USER_ID ) {
1519             if ( uidnode && signode ) 
1520               {
1521                 fixup_uidnode ( uidnode, signode, keytimestamp );
1522                 pk->is_valid=1;
1523               }
1524             uidnode = k;
1525             signode = NULL;
1526             sigdate = 0;
1527         }
1528         else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode ) {
1529             PKT_signature *sig = k->pkt->pkt.signature;
1530             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1531                 if ( check_key_signature( keyblock, k, NULL ) )
1532                     ; /* signature did not verify */
1533                 else if ( (IS_UID_SIG (sig) || IS_UID_REV (sig))
1534                           && sig->timestamp >= sigdate ) {
1535                     /* Note: we allow to invalidate cert revocations
1536                      * by a newer signature.  An attacker can't use this
1537                      * because a key should be revoced with a key revocation.
1538                      * The reason why we have to allow for that is that at
1539                      * one time an email address may become invalid but later
1540                      * the same email address may become valid again (hired,
1541                      * fired, hired again).
1542                      */
1543                     if(sig->flags.expired) {
1544                       /* Expired uids don't get to be primary unless
1545                          they are the only uid there is. */
1546                       uidnode->pkt->pkt.user_id->is_primary=0;
1547                       uidnode->pkt->pkt.user_id->is_expired=1;
1548                       uidnode->pkt->pkt.user_id->expiredate=sig->expiredate;
1549                     }
1550                     else {
1551                         sigdate = sig->timestamp;
1552                         signode = k;
1553                         if( sig->version > sigversion )
1554                           sigversion = sig->version;
1555                     }
1556                 }
1557             }
1558         }
1559     }
1560     if ( uidnode && signode ) {
1561         fixup_uidnode ( uidnode, signode, keytimestamp );
1562         pk->is_valid = 1;
1563     }
1564
1565     /* If the key isn't valid yet, and we have
1566        --allow-non-selfsigned-uid set, then force it valid. */
1567     if(!pk->is_valid && opt.allow_non_selfsigned_uid)
1568       {
1569         if(opt.verbose)
1570           log_info(_("Invalid key %08lX made valid by "
1571                      "--allow-non-selfsigned-uid\n"),
1572                    (ulong)keyid_from_pk(pk,NULL));
1573
1574         pk->is_valid = 1;
1575       }
1576
1577     /* The key STILL isn't valid, so try and find an ultimately
1578        trusted signature. */
1579     if(!pk->is_valid)
1580       {
1581         uidnode=NULL;
1582
1583         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k=k->next)
1584           {
1585             if ( k->pkt->pkttype == PKT_USER_ID )
1586               uidnode = k;
1587             else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode )
1588               {
1589                 PKT_signature *sig = k->pkt->pkt.signature;
1590                 u32 dummy;
1591                 int dum2;
1592
1593                 if(sig->keyid[0] != kid[0] || sig->keyid[1]!=kid[1])
1594                   {
1595                     PKT_public_key *ultimate_pk;
1596
1597                     ultimate_pk=m_alloc_clear(sizeof(*ultimate_pk));
1598
1599                     /* We don't want to use the full get_pubkey to
1600                        avoid infinite recursion in certain cases.
1601                        There is no reason to check that an ultimately
1602                        trusted key is still valid - if it has been
1603                        revoked or the user should also renmove the
1604                        ultimate trust flag.  */
1605                     if(get_pubkey_fast(ultimate_pk,sig->keyid)==0
1606                        && check_key_signature2(keyblock,k,ultimate_pk,
1607                                                NULL,&dummy,&dum2)==0
1608                        && get_ownertrust(ultimate_pk)==TRUST_ULTIMATE)
1609                       {
1610                         free_public_key(ultimate_pk);
1611                         pk->is_valid=1;
1612                         break;
1613                       }
1614
1615                     free_public_key(ultimate_pk);
1616                   }
1617               }
1618           }
1619       }
1620
1621     /* Record the highest selfsig version so we know if this is a v3
1622        key through and through, or a v3 key with a v4 selfsig
1623        somewhere.  This is useful in a few places to know if the key
1624        must be treated as PGP2-style or OpenPGP-style.  Note that a
1625        selfsig revocation with a higher version number will also raise
1626        this value.  This is okay since such a revocation must be
1627        issued by the user (i.e. it cannot be issued by someone else to
1628        modify the key behavior.) */
1629
1630     pk->selfsigversion=sigversion;
1631
1632     /* Now that we had a look at all user IDs we can now get some information
1633      * from those user IDs.
1634      */
1635     
1636     if ( !key_usage ) {
1637         /* find the latest user ID with key flags set */
1638         uiddate = 0; /* helper to find the latest user ID */
1639         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1640             k = k->next ) {
1641             if ( k->pkt->pkttype == PKT_USER_ID ) {
1642                 PKT_user_id *uid = k->pkt->pkt.user_id;
1643                 if ( uid->help_key_usage && uid->created > uiddate ) {
1644                     key_usage = uid->help_key_usage;
1645                     uiddate = uid->created;
1646                 }
1647             }
1648         }
1649     }
1650     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1651         key_usage = openpgp_pk_algo_usage ( pk->pubkey_algo );
1652     }
1653     else { /* check that the usage matches the usage as given by the algo */
1654         int x = openpgp_pk_algo_usage ( pk->pubkey_algo );
1655         if ( x ) /* mask it down to the actual allowed usage */
1656             key_usage &= x; 
1657     }
1658     pk->pubkey_usage = key_usage;
1659
1660     if ( !key_expire_seen ) {
1661         /* find the latest valid user ID with a key expiration set 
1662          * Note, that this may be a different one from the above because
1663          * some user IDs may have no expiration date set */
1664         uiddate = 0; 
1665         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1666             k = k->next ) {
1667             if ( k->pkt->pkttype == PKT_USER_ID ) {
1668                 PKT_user_id *uid = k->pkt->pkt.user_id;
1669                 if ( uid->help_key_expire && uid->created > uiddate ) {
1670                     key_expire = uid->help_key_expire;
1671                     uiddate = uid->created;
1672                 }
1673             }
1674         }
1675     }
1676
1677     /* Currently only v3 keys have a maximum expiration date, but I'll
1678        bet v5 keys get this feature again. */
1679     if(key_expire==0 || (pk->max_expiredate && key_expire>pk->max_expiredate))
1680       key_expire=pk->max_expiredate;
1681
1682     pk->has_expired = key_expire >= curtime? 0 : key_expire;
1683     pk->expiredate = key_expire;
1684
1685     /* Fixme: we should see how to get rid of the expiretime fields  but
1686      * this needs changes at other places too. */
1687
1688     /* and now find the real primary user ID and delete all others */
1689     uiddate = uiddate2 = 0;
1690     uidnode = uidnode2 = NULL;
1691     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1692         if ( k->pkt->pkttype == PKT_USER_ID &&
1693              !k->pkt->pkt.user_id->attrib_data) {
1694             PKT_user_id *uid = k->pkt->pkt.user_id;
1695             if (uid->is_primary)
1696               {
1697                 if(uid->created > uiddate)
1698                   {
1699                     uiddate = uid->created;
1700                     uidnode = k;
1701                   }
1702                 else if(uid->created==uiddate && uidnode)
1703                   {
1704                     /* The dates are equal, so we need to do a
1705                        different (and arbitrary) comparison.  This
1706                        should rarely, if ever, happen.  It's good to
1707                        try and guarantee that two different GnuPG
1708                        users with two different keyrings at least pick
1709                        the same primary. */
1710                     if(cmp_user_ids(uid,uidnode->pkt->pkt.user_id)>0)
1711                       uidnode=k;
1712                   }
1713               }
1714             else
1715               {
1716                 if(uid->created > uiddate2)
1717                   {
1718                     uiddate2 = uid->created;
1719                     uidnode2 = k;
1720                   }
1721                 else if(uid->created==uiddate2 && uidnode2)
1722                   {
1723                     if(cmp_user_ids(uid,uidnode2->pkt->pkt.user_id)>0)
1724                       uidnode2=k;
1725                   }
1726               }
1727         }
1728     }
1729     if ( uidnode ) {
1730         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1731             k = k->next ) {
1732             if ( k->pkt->pkttype == PKT_USER_ID &&
1733                  !k->pkt->pkt.user_id->attrib_data) {
1734                 PKT_user_id *uid = k->pkt->pkt.user_id;
1735                 if ( k != uidnode ) 
1736                     uid->is_primary = 0;
1737             }
1738         }
1739     }
1740     else if( uidnode2 ) {
1741         /* none is flagged primary - use the latest user ID we have,
1742            and disambiguate with the arbitrary packet comparison. */
1743         uidnode2->pkt->pkt.user_id->is_primary = 1;
1744     }
1745     else
1746       {
1747         /* None of our uids were self-signed, so pick the one that
1748            sorts first to be the primary.  This is the best we can do
1749            here since there are no self sigs to date the uids. */
1750
1751         uidnode = NULL;
1752
1753         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1754             k = k->next )
1755           {
1756             if(k->pkt->pkttype==PKT_USER_ID
1757                && !k->pkt->pkt.user_id->attrib_data)
1758               {
1759                 if(!uidnode)
1760                   {
1761                     uidnode=k;
1762                     uidnode->pkt->pkt.user_id->is_primary=1;
1763                     continue;
1764                   }
1765                 else
1766                   {
1767                     if(cmp_user_ids(k->pkt->pkt.user_id,
1768                                     uidnode->pkt->pkt.user_id)>0)
1769                       {
1770                         uidnode->pkt->pkt.user_id->is_primary=0;
1771                         uidnode=k;
1772                         uidnode->pkt->pkt.user_id->is_primary=1;
1773                       }
1774                     else
1775                       k->pkt->pkt.user_id->is_primary=0; /* just to be
1776                                                             safe */
1777                   }
1778               }
1779           }
1780       }
1781 }
1782
1783
1784 static void
1785 merge_selfsigs_subkey( KBNODE keyblock, KBNODE subnode )
1786 {
1787     PKT_public_key *mainpk = NULL, *subpk = NULL;
1788     PKT_signature *sig;
1789     KBNODE k;
1790     u32 mainkid[2];
1791     u32 sigdate = 0;
1792     KBNODE signode;
1793     u32 curtime = make_timestamp ();
1794     unsigned int key_usage = 0;
1795     u32 keytimestamp = 0;
1796     u32 key_expire = 0;
1797     const byte *p;
1798     size_t n;
1799
1800     if ( subnode->pkt->pkttype != PKT_PUBLIC_SUBKEY )
1801         BUG ();
1802     mainpk = keyblock->pkt->pkt.public_key;
1803     if ( mainpk->version < 4 )
1804         return; /* (actually this should never happen) */
1805     keyid_from_pk( mainpk, mainkid );
1806     subpk = subnode->pkt->pkt.public_key;
1807     keytimestamp = subpk->timestamp;
1808
1809     subpk->is_valid = 0;
1810     subpk->main_keyid[0] = mainpk->main_keyid[0];
1811     subpk->main_keyid[1] = mainpk->main_keyid[1];
1812
1813     /* find the latest key binding self-signature. */
1814     signode = NULL;
1815     sigdate = 0; /* helper to find the latest signature */
1816     for(k=subnode->next; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1817                                                         k = k->next ) {
1818         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1819             sig = k->pkt->pkt.signature;
1820             if ( sig->keyid[0] == mainkid[0] && sig->keyid[1]==mainkid[1] ) { 
1821                 if ( check_key_signature( keyblock, k, NULL ) )
1822                     ; /* signature did not verify */
1823                 else if ( IS_SUBKEY_REV (sig) ) {
1824                   /* Note that this means that the date on a
1825                      revocation sig does not matter - even if the
1826                      binding sig is dated after the revocation sig,
1827                      the subkey is still marked as revoked.  This
1828                      seems ok, as it is just as easy to make new
1829                      subkeys rather than re-sign old ones as the
1830                      problem is in the distribution.  Plus, PGP (7)
1831                      does this the same way.  */
1832                     subpk->is_revoked = 1;
1833                     /* although we could stop now, we continue to 
1834                      * figure out other information like the old expiration
1835                      * time */
1836                 }
1837                 else if ( IS_SUBKEY_SIG (sig) && sig->timestamp >= sigdate ) {
1838                     if(sig->flags.expired)
1839                         ; /* signature has expired - ignore it */
1840                     else {
1841                         sigdate = sig->timestamp;
1842                         signode = k;
1843                     }
1844                 }
1845             }
1846         }
1847     }
1848
1849     if ( !signode ) {
1850         return;  /* no valid key binding */
1851     }
1852
1853     subpk->is_valid = 1;
1854     sig = signode->pkt->pkt.signature;
1855         
1856     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1857     if ( p && n ) {
1858         /* first octet of the keyflags */   
1859         if ( (*p & 3) )
1860             key_usage |= PUBKEY_USAGE_SIG;
1861         if ( (*p & 12) )    
1862             key_usage |= PUBKEY_USAGE_ENC;
1863     }
1864     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1865         key_usage = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1866     }
1867     else { /* check that the usage matches the usage as given by the algo */
1868         int x = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1869         if ( x ) /* mask it down to the actual allowed usage */
1870             key_usage &= x; 
1871     }
1872     subpk->pubkey_usage = key_usage;
1873     
1874     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1875     if ( p ) 
1876         key_expire = keytimestamp + buffer_to_u32(p);
1877     else
1878         key_expire = 0;
1879     subpk->has_expired = key_expire >= curtime? 0 : key_expire;
1880     subpk->expiredate = key_expire;
1881 }
1882
1883
1884
1885 /* 
1886  * Merge information from the self-signatures with the key, so that
1887  * we can later use them more easy.
1888  * The function works by first applying the self signatures to the
1889  * primary key and the to each subkey.
1890  * Here are the rules we use to decide which inormation from which
1891  * self-signature is used:
1892  * We check all self signatures or validity and ignore all invalid signatures.
1893  * All signatures are then ordered by their creation date ....
1894  * For the primary key:
1895  *   FIXME the docs    
1896  */
1897 static void
1898 merge_selfsigs( KBNODE keyblock )
1899 {
1900     KBNODE k;
1901     int revoked;
1902     PKT_public_key *main_pk;
1903     prefitem_t *prefs;
1904     int mdc_feature;
1905
1906     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY ) {
1907         if (keyblock->pkt->pkttype == PKT_SECRET_KEY ) {
1908             log_error ("expected public key but found secret key "
1909                        "- must stop\n");
1910             /* we better exit here becuase a public key is expected at
1911                other places too.  FIXME: Figure this out earlier and
1912                don't get to here at all */
1913             g10_exit (1);
1914         }
1915         BUG ();
1916     }
1917
1918     merge_selfsigs_main ( keyblock, &revoked );
1919
1920     /* now merge in the data from each of the subkeys */
1921     for(k=keyblock; k; k = k->next ) {
1922         if (  k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1923             merge_selfsigs_subkey ( keyblock, k );
1924         }
1925     }
1926
1927     main_pk = keyblock->pkt->pkt.public_key;
1928     if ( revoked || main_pk->has_expired || !main_pk->is_valid ) {
1929         /* if the primary key is revoked, expired, or invalid we
1930          * better set the appropriate flags on that key and all
1931          * subkeys */
1932         for(k=keyblock; k; k = k->next ) {
1933             if ( k->pkt->pkttype == PKT_PUBLIC_KEY
1934                 || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1935                 PKT_public_key *pk = k->pkt->pkt.public_key;
1936                 if(!main_pk->is_valid)
1937                   pk->is_valid = 0;
1938                 if(revoked)
1939                   pk->is_revoked = 1;
1940                 if(main_pk->has_expired)
1941                   pk->has_expired = main_pk->has_expired;
1942             }
1943         }
1944         return;
1945     }
1946
1947     /* set the preference list of all keys to those of the primary real
1948      * user ID.  Note: we use these preferences when we don't know by
1949      * which user ID the key has been selected.
1950      * fixme: we should keep atoms of commonly used preferences or
1951      * use reference counting to optimize the preference lists storage.
1952      * FIXME: it might be better to use the intersection of 
1953      * all preferences.
1954      * Do a similar thing for the MDC feature flag.
1955      */
1956     prefs = NULL;
1957     mdc_feature = 0;
1958     for (k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next) {
1959         if (k->pkt->pkttype == PKT_USER_ID
1960             && !k->pkt->pkt.user_id->attrib_data
1961             && k->pkt->pkt.user_id->is_primary) {
1962             prefs = k->pkt->pkt.user_id->prefs;
1963             mdc_feature = k->pkt->pkt.user_id->mdc_feature;
1964             break;
1965         }
1966     }    
1967     for(k=keyblock; k; k = k->next ) {
1968         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
1969              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1970             PKT_public_key *pk = k->pkt->pkt.public_key;
1971             if (pk->prefs)
1972                 m_free (pk->prefs);
1973             pk->prefs = copy_prefs (prefs);
1974             pk->mdc_feature = mdc_feature;
1975         }
1976     }
1977 }
1978
1979
1980 /*
1981  * Merge the secret keys from secblock into the pubblock thereby
1982  * replacing the public (sub)keys with their secret counterparts Hmmm:
1983  * It might be better to get away from the concept of entire secret
1984  * keys at all and have a way to store just the real secret parts
1985  * from the key.
1986  */
1987 static void
1988 merge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
1989 {
1990     KBNODE pub;
1991
1992     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
1993     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
1994     
1995     for (pub=pubblock; pub; pub = pub->next ) {
1996         if ( pub->pkt->pkttype == PKT_PUBLIC_KEY ) {
1997              PKT_public_key *pk = pub->pkt->pkt.public_key;
1998              PKT_secret_key *sk = secblock->pkt->pkt.secret_key;
1999              assert ( pub == pubblock ); /* only in the first node */
2000              /* there is nothing to compare in this case, so just replace
2001               * some information */
2002              copy_public_parts_to_secret_key ( pk, sk );
2003              free_public_key ( pk );
2004              pub->pkt->pkttype = PKT_SECRET_KEY;
2005              pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
2006         }
2007         else if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
2008             KBNODE sec;
2009             PKT_public_key *pk = pub->pkt->pkt.public_key;
2010
2011             /* this is more complicated: it may happen that the sequence
2012              * of the subkeys dosn't match, so we have to find the
2013              * appropriate secret key */
2014             for (sec=secblock->next; sec; sec = sec->next ) {
2015                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
2016                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
2017                     if ( !cmp_public_secret_key ( pk, sk ) ) {
2018                         copy_public_parts_to_secret_key ( pk, sk );
2019                         free_public_key ( pk );
2020                         pub->pkt->pkttype = PKT_SECRET_SUBKEY;
2021                         pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
2022                         break;
2023                     }
2024                 }
2025             }
2026             if ( !sec ) 
2027                 BUG(); /* already checked in premerge */
2028         }
2029     }
2030 }
2031
2032 /* This function checks that for every public subkey a corresponding
2033  * secret subkey is available and deletes the public subkey otherwise.
2034  * We need this function because we can't delete it later when we
2035  * actually merge the secret parts into the pubring.
2036  * The function also plays some games with the node flags.
2037  */
2038 static void
2039 premerge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
2040 {
2041     KBNODE last, pub;
2042
2043     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
2044     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
2045     
2046     for (pub=pubblock,last=NULL; pub; last = pub, pub = pub->next ) {
2047         pub->flag &= ~3; /* reset bits 0 and 1 */
2048         if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
2049             KBNODE sec;
2050             PKT_public_key *pk = pub->pkt->pkt.public_key;
2051
2052             for (sec=secblock->next; sec; sec = sec->next ) {
2053                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
2054                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
2055                     if ( !cmp_public_secret_key ( pk, sk ) ) {
2056                         if ( sk->protect.s2k.mode == 1001 ) {
2057                             /* The secret parts are not available so
2058                                we can't use that key for signing etc.
2059                                Fix the pubkey usage */
2060                             pk->pubkey_usage &= ~PUBKEY_USAGE_SIG;
2061                         }
2062                         /* transfer flag bits 0 and 1 to the pubblock */
2063                         pub->flag |= (sec->flag &3);
2064                         break;
2065                     }
2066                 }
2067             }
2068             if ( !sec ) {
2069                 KBNODE next, ll;
2070
2071                 if (opt.verbose)
2072                   log_info ( _("no secret subkey "
2073                                "for public subkey %08lX - ignoring\n"),  
2074                            (ulong)keyid_from_pk (pk,NULL) );
2075                 /* we have to remove the subkey in this case */
2076                 assert ( last );
2077                 /* find the next subkey */
2078                 for (next=pub->next,ll=pub;
2079                      next && pub->pkt->pkttype != PKT_PUBLIC_SUBKEY;
2080                      ll = next, next = next->next ) 
2081                     ;
2082                 /* make new link */
2083                 last->next = next;
2084                 /* release this public subkey with all sigs */
2085                 ll->next = NULL;
2086                 release_kbnode( pub );
2087                 /* let the loop continue */
2088                 pub = last;
2089             }
2090         }
2091     }
2092     /* We need to copy the found bits (0 and 1) from the secret key to
2093        the public key.  This has already been done for the subkeys but
2094        got lost on the primary key - fix it here *. */
2095     pubblock->flag |= (secblock->flag & 3);
2096 }
2097
2098
2099
2100 \f
2101 /* See see whether the key fits
2102  * our requirements and in case we do not
2103  * request the primary key, we should select
2104  * a suitable subkey.
2105  * FIXME: Check against PGP 7 whether we still need a kludge
2106  *        to favor type 16 keys over type 20 keys when type 20
2107  *        has not been explitely requested.
2108  * Returns: True when a suitable key has been found.
2109  *
2110  * We have to distinguish four cases:  FIXME!
2111  *  1. No usage and no primary key requested
2112  *     Examples for this case are that we have a keyID to be used
2113  *     for decrytion or verification.
2114  *  2. No usage but primary key requested
2115  *     This is the case for all functions which work on an
2116  *     entire keyblock, e.g. for editing or listing
2117  *  3. Usage and primary key requested
2118  *     FXME
2119  *  4. Usage but no primary key requested
2120  *     FIXME
2121  * FIXME: Tell what is going to happen here and something about the rationale
2122  * Note: We don't use this function if no specific usage is requested;
2123  *       This way the getkey functions can be used for plain key listings.
2124  *
2125  * CTX ist the keyblock we are investigating, if FOUNDK is not NULL this
2126  * is the key we actually found by looking at the keyid or a fingerprint and
2127  * may eitehr point to the primary or one of the subkeys.
2128  */
2129
2130 static int
2131 finish_lookup (GETKEY_CTX ctx)
2132 {
2133     KBNODE keyblock = ctx->keyblock;
2134     KBNODE k;
2135     KBNODE foundk = NULL;
2136     PKT_user_id *foundu = NULL;
2137 #define USAGE_MASK  (PUBKEY_USAGE_SIG|PUBKEY_USAGE_ENC)
2138     unsigned int req_usage = ( ctx->req_usage & USAGE_MASK );
2139     /* Request the primary if we're certifying another key, and also
2140        if signing data while --pgp6 or --pgp7 is on since pgp 6 and 7
2141        do not understand signatures made by a signing subkey.  PGP 8
2142        does. */
2143     int req_prim = (ctx->req_usage & PUBKEY_USAGE_CERT) ||
2144       ((PGP6 || PGP7) && (ctx->req_usage & PUBKEY_USAGE_SIG));
2145     u32 latest_date;
2146     KBNODE latest_key;
2147     u32 curtime = make_timestamp ();
2148
2149     assert( keyblock->pkt->pkttype == PKT_PUBLIC_KEY );
2150    
2151     ctx->found_key = NULL;
2152
2153     if (ctx->exact) {
2154         for (k=keyblock; k; k = k->next) {
2155             if ( (k->flag & 1) ) {
2156                 assert ( k->pkt->pkttype == PKT_PUBLIC_KEY
2157                          || k->pkt->pkttype == PKT_PUBLIC_SUBKEY );
2158                 foundk = k;
2159                 break;
2160             }
2161         }
2162     }
2163
2164     for (k=keyblock; k; k = k->next) {
2165         if ( (k->flag & 2) ) {
2166             assert (k->pkt->pkttype == PKT_USER_ID);
2167             foundu = k->pkt->pkt.user_id;
2168             break;
2169         }
2170     }
2171
2172     if ( DBG_CACHE )
2173         log_debug( "finish_lookup: checking key %08lX (%s)(req_usage=%x)\n",
2174                    (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL),
2175                    foundk? "one":"all", req_usage);
2176
2177     if (!req_usage) {
2178         latest_key = foundk? foundk:keyblock;
2179         goto found;
2180     }
2181     
2182     if (!req_usage) {
2183         PKT_public_key *pk = foundk->pkt->pkt.public_key;
2184         if (pk->user_id)
2185             free_user_id (pk->user_id);
2186         pk->user_id = scopy_user_id (foundu);
2187         ctx->found_key = foundk;
2188         cache_user_id( keyblock );
2189         return 1; /* found */
2190     }
2191     
2192     latest_date = 0;
2193     latest_key  = NULL;
2194     /* do not look at subkeys if a certification key is requested */
2195     if ((!foundk || foundk->pkt->pkttype == PKT_PUBLIC_SUBKEY) && !req_prim) {
2196         KBNODE nextk;
2197         /* either start a loop or check just this one subkey */
2198         for (k=foundk?foundk:keyblock; k; k = nextk ) {
2199             PKT_public_key *pk;
2200             nextk = k->next;
2201             if ( k->pkt->pkttype != PKT_PUBLIC_SUBKEY )
2202                 continue;
2203             if ( foundk )
2204                 nextk = NULL;  /* what a hack */
2205             pk = k->pkt->pkt.public_key;
2206             if (DBG_CACHE)
2207                 log_debug( "\tchecking subkey %08lX\n",
2208                            (ulong)keyid_from_pk( pk, NULL));
2209             if ( !pk->is_valid ) {
2210                 if (DBG_CACHE)
2211                     log_debug( "\tsubkey not valid\n");
2212                 continue;
2213             }
2214             if ( pk->is_revoked ) {
2215                 if (DBG_CACHE)
2216                     log_debug( "\tsubkey has been revoked\n");
2217                 continue;
2218             }
2219             if ( pk->has_expired ) {
2220                 if (DBG_CACHE)
2221                     log_debug( "\tsubkey has expired\n");
2222                 continue;
2223             }
2224             if ( pk->timestamp > curtime && !opt.ignore_valid_from ) {
2225                 if (DBG_CACHE)
2226                     log_debug( "\tsubkey not yet valid\n");
2227                 continue;
2228             }
2229             
2230             if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2231                 if (DBG_CACHE)
2232                     log_debug( "\tusage does not match: want=%x have=%x\n",
2233                                req_usage, pk->pubkey_usage );
2234                 continue;
2235             }
2236
2237             if (DBG_CACHE)
2238                 log_debug( "\tsubkey looks fine\n");
2239             if ( pk->timestamp > latest_date ) {
2240                 latest_date = pk->timestamp;
2241                 latest_key  = k;
2242             }
2243         }
2244     }
2245
2246     /* Okay now try the primary key unless we want an exact 
2247      * key ID match on a subkey */
2248     if ((!latest_key && !(ctx->exact && foundk != keyblock)) || req_prim) {
2249         PKT_public_key *pk;
2250         if (DBG_CACHE && !foundk && !req_prim )
2251             log_debug( "\tno suitable subkeys found - trying primary\n");
2252         pk = keyblock->pkt->pkt.public_key;
2253         if ( !pk->is_valid ) {
2254             if (DBG_CACHE)
2255                 log_debug( "\tprimary key not valid\n");
2256         }
2257         else if ( pk->is_revoked ) {
2258             if (DBG_CACHE)
2259                 log_debug( "\tprimary key has been revoked\n");
2260         }
2261         else if ( pk->has_expired ) {
2262             if (DBG_CACHE)
2263                 log_debug( "\tprimary key has expired\n");
2264         }
2265         else  if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2266             if (DBG_CACHE)
2267                 log_debug( "\tprimary key usage does not match: "
2268                            "want=%x have=%x\n",
2269                            req_usage, pk->pubkey_usage );
2270         }
2271         else { /* okay */
2272             if (DBG_CACHE)
2273                 log_debug( "\tprimary key may be used\n");
2274             latest_key = keyblock;
2275             latest_date = pk->timestamp;
2276         }
2277     }
2278     
2279     if ( !latest_key ) {
2280         if (DBG_CACHE)
2281             log_debug("\tno suitable key found -  giving up\n");
2282         return 0;
2283     }
2284
2285  found:
2286     if (DBG_CACHE)
2287         log_debug( "\tusing key %08lX\n",
2288                 (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL) );
2289
2290     if (latest_key) {
2291         PKT_public_key *pk = latest_key->pkt->pkt.public_key;
2292         if (pk->user_id)
2293             free_user_id (pk->user_id);
2294         pk->user_id = scopy_user_id (foundu);
2295     }    
2296         
2297     ctx->found_key = latest_key;
2298
2299     if (latest_key != keyblock && opt.verbose) {
2300         log_info(_("using secondary key %08lX "
2301                    "instead of primary key %08lX\n"),
2302                  (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL),
2303                  (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL) );
2304     }
2305
2306     cache_user_id( keyblock );
2307     
2308     return 1; /* found */
2309 }
2310
2311
2312 static int
2313 lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode )
2314 {
2315     int rc;
2316     KBNODE secblock = NULL; /* helper */
2317     int no_suitable_key = 0;
2318     
2319     rc = 0;
2320     while (!(rc = keydb_search (ctx->kr_handle, ctx->items, ctx->nitems))) {
2321         /* If we are searching for the first key we have to make sure
2322            that the next interation does not no an implicit reset.
2323            This can be triggered by an empty key ring. */
2324         if (ctx->nitems && ctx->items->mode == KEYDB_SEARCH_MODE_FIRST)
2325             ctx->items->mode = KEYDB_SEARCH_MODE_NEXT;
2326
2327         rc = keydb_get_keyblock (ctx->kr_handle, &ctx->keyblock);
2328         if (rc) {
2329             log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
2330             rc = 0;
2331             goto skip;
2332         }
2333                        
2334         if ( secmode ) {
2335             /* find the correspondig public key and use this 
2336              * this one for the selection process */
2337             u32 aki[2];
2338             KBNODE k = ctx->keyblock;
2339             
2340             if (k->pkt->pkttype != PKT_SECRET_KEY)
2341                 BUG();
2342
2343             keyid_from_sk (k->pkt->pkt.secret_key, aki);
2344             k = get_pubkeyblock (aki);
2345             if( !k ) {
2346                 if (!opt.quiet)
2347                     log_info(_("key %08lX: secret key without public key "
2348                                "- skipped\n"),  (ulong)aki[1] );
2349                 goto skip;
2350             }
2351             secblock = ctx->keyblock;
2352             ctx->keyblock = k;
2353
2354             premerge_public_with_secret ( ctx->keyblock, secblock );
2355         }
2356
2357         /* warning: node flag bits 0 and 1 should be preserved by
2358          * merge_selfsigs.  For secret keys, premerge did tranfer the
2359          * keys to the keyblock */
2360         merge_selfsigs ( ctx->keyblock );
2361         if ( finish_lookup (ctx) ) {
2362             no_suitable_key = 0;
2363             if ( secmode ) {
2364                 merge_public_with_secret ( ctx->keyblock,
2365                                            secblock);
2366                 release_kbnode (secblock);
2367                 secblock = NULL;
2368             }
2369             goto found;
2370         }
2371         else
2372             no_suitable_key = 1;
2373         
2374       skip:
2375         /* release resources and continue search */
2376         if ( secmode ) {
2377             release_kbnode( secblock );
2378             secblock = NULL;
2379         }
2380         release_kbnode( ctx->keyblock );
2381         ctx->keyblock = NULL;
2382     }
2383
2384   found:
2385     if( rc && rc != -1 )
2386         log_error("keydb_search failed: %s\n", g10_errstr(rc));
2387
2388     if( !rc ) {
2389         *ret_keyblock = ctx->keyblock; /* return the keyblock */
2390         ctx->keyblock = NULL;
2391     }
2392     else if (rc == -1 && no_suitable_key)
2393         rc = secmode ? G10ERR_UNU_SECKEY : G10ERR_UNU_PUBKEY;
2394     else if( rc == -1 )
2395         rc = secmode ? G10ERR_NO_SECKEY : G10ERR_NO_PUBKEY;
2396
2397     if ( secmode ) {
2398         release_kbnode( secblock );
2399         secblock = NULL;
2400     }
2401     release_kbnode( ctx->keyblock );
2402     ctx->keyblock = NULL;
2403
2404     ctx->last_rc = rc;
2405     return rc;
2406 }
2407
2408
2409
2410
2411 /****************
2412  * FIXME: Replace by the generic function 
2413  *        It does not work as it is right now - it is used at 
2414  *        2 places:  a) to get the key for an anonyous recipient
2415  *                   b) to get the ultimately trusted keys.
2416  *        The a) usage might have some problems.
2417  *
2418  * set with_subkeys true to include subkeys
2419  * set with_spm true to include secret-parts-missing keys
2420  *
2421  * Enumerate all primary secret keys.  Caller must use these procedure:
2422  *  1) create a void pointer and initialize it to NULL
2423  *  2) pass this void pointer by reference to this function
2424  *     and provide space for the secret key (pass a buffer for sk)
2425  *  3) call this function as long as it does not return -1
2426  *     to indicate EOF.
2427  *  4) Always call this function a last time with SK set to NULL,
2428  *     so that can free it's context.
2429  */
2430 int
2431 enum_secret_keys( void **context, PKT_secret_key *sk,
2432                   int with_subkeys, int with_spm )
2433 {
2434     int rc=0;
2435     struct {
2436         int eof;
2437         int first;
2438         KEYDB_HANDLE hd;
2439         KBNODE keyblock;
2440         KBNODE node;
2441     } *c = *context;
2442
2443
2444     if( !c ) { /* make a new context */
2445         c = m_alloc_clear( sizeof *c );
2446         *context = c;
2447         c->hd = keydb_new (1);
2448         c->first = 1;
2449         c->keyblock = NULL;
2450         c->node = NULL;
2451     }
2452
2453     if( !sk ) { /* free the context */
2454         keydb_release (c->hd);
2455         release_kbnode (c->keyblock);
2456         m_free( c );
2457         *context = NULL;
2458         return 0;
2459     }
2460
2461     if( c->eof )
2462         return -1;
2463
2464     do {
2465         /* get the next secret key from the current keyblock */
2466         for (; c->node; c->node = c->node->next) {
2467             if ((c->node->pkt->pkttype == PKT_SECRET_KEY
2468                 || (with_subkeys
2469                     && c->node->pkt->pkttype == PKT_SECRET_SUBKEY) )
2470                 && !(c->node->pkt->pkt.secret_key->protect.s2k.mode==1001
2471                      && !with_spm)) {
2472                 copy_secret_key (sk, c->node->pkt->pkt.secret_key );
2473                 c->node = c->node->next;
2474                 return 0; /* found */
2475             }
2476         }
2477         release_kbnode (c->keyblock);
2478         c->keyblock = c->node = NULL;
2479         
2480         rc = c->first? keydb_search_first (c->hd) : keydb_search_next (c->hd);
2481         c->first = 0;
2482         if (rc) {
2483             keydb_release (c->hd); c->hd = NULL;
2484             c->eof = 1;
2485             return -1; /* eof */
2486         }
2487         
2488         rc = keydb_get_keyblock (c->hd, &c->keyblock);
2489         c->node = c->keyblock;
2490     } while (!rc);
2491
2492     return rc; /* error */
2493 }
2494
2495
2496 \f
2497 /*********************************************
2498  ***********  user ID printing helpers *******
2499  *********************************************/
2500
2501 /****************
2502  * Return a string with a printable representation of the user_id.
2503  * this string must be freed by m_free.
2504  */
2505 char*
2506 get_user_id_string( u32 *keyid )
2507 {
2508     user_id_db_t r;
2509     char *p;
2510     int pass=0;
2511     /* try it two times; second pass reads from key resources */
2512     do {
2513         for(r=user_id_db; r; r = r->next ) {
2514             keyid_list_t a;
2515             for (a=r->keyids; a; a= a->next ) {
2516                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2517                     p = m_alloc( r->len + 10 );
2518                     sprintf(p, "%08lX %.*s",
2519                             (ulong)keyid[1], r->len, r->name );
2520                     return p;
2521                 }
2522             }
2523         }
2524     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2525     p = m_alloc( 15 );
2526     sprintf(p, "%08lX [?]", (ulong)keyid[1] );
2527     return p;
2528 }
2529
2530
2531 char*
2532 get_user_id_string_printable ( u32 *keyid )
2533 {
2534     char *p = get_user_id_string( keyid );
2535     char *p2 = utf8_to_native( p, strlen(p), 0 );
2536     m_free(p);
2537     p = make_printable_string (p2, strlen (p2), 0);
2538     m_free (p2);
2539     return p;
2540 }
2541
2542
2543 char*
2544 get_long_user_id_string( u32 *keyid )
2545 {
2546     user_id_db_t r;
2547     char *p;
2548     int pass=0;
2549     /* try it two times; second pass reads from key resources */
2550     do {
2551         for(r=user_id_db; r; r = r->next ) {
2552             keyid_list_t a;
2553             for (a=r->keyids; a; a= a->next ) {
2554                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2555                     p = m_alloc( r->len + 20 );
2556                     sprintf(p, "%08lX%08lX %.*s",
2557                             (ulong)keyid[0], (ulong)keyid[1],
2558                             r->len, r->name );
2559                     return p;
2560                 }
2561             }
2562         }
2563     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2564     p = m_alloc( 25 );
2565     sprintf(p, "%08lX%08lX [?]", (ulong)keyid[0], (ulong)keyid[1] );
2566     return p;
2567 }
2568
2569 char*
2570 get_user_id( u32 *keyid, size_t *rn )
2571 {
2572     user_id_db_t r;
2573     char *p;
2574     int pass=0;
2575
2576     /* try it two times; second pass reads from key resources */
2577     do {
2578         for(r=user_id_db; r; r = r->next ) {
2579             keyid_list_t a;
2580             for (a=r->keyids; a; a= a->next ) {
2581                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2582                     p = m_alloc( r->len );
2583                     memcpy(p, r->name, r->len );
2584                     *rn = r->len;
2585                     return p;
2586                 }
2587             }
2588         }
2589     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2590     p = m_strdup( _("[User id not found]") );
2591     *rn = strlen(p);
2592     return p;
2593 }
2594
2595 char*
2596 get_user_id_printable( u32 *keyid )
2597 {
2598     size_t rn;
2599     char *p = get_user_id( keyid, &rn );
2600     char *p2 = utf8_to_native( p, rn, 0 );
2601     m_free(p);
2602     p = make_printable_string (p2, strlen (p2), 0);
2603     m_free (p2);
2604     return p;
2605 }
2606
2607 KEYDB_HANDLE
2608 get_ctx_handle(GETKEY_CTX ctx)
2609 {
2610   return ctx->kr_handle;
2611 }