* getkey.c: Set MAX_PK_CACHE_ENTRIES and MAX_UID_CACHE_ENTRIES to
[gnupg.git] / g10 / getkey.c
1 /* getkey.c -  Get a key from the database
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002, 2003
3  *               2004 Free Software Foundation, Inc.
4  *
5  * This file is part of GnuPG.
6  *
7  * GnuPG is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * GnuPG is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
20  */
21
22 #include <config.h>
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <string.h>
26 #include <assert.h>
27 #include <ctype.h>
28 #include "util.h"
29 #include "packet.h"
30 #include "memory.h"
31 #include "iobuf.h"
32 #include "keydb.h"
33 #include "options.h"
34 #include "main.h"
35 #include "trustdb.h"
36 #include "i18n.h"
37
38 #define MAX_PK_CACHE_ENTRIES   PK_UID_CACHE_SIZE
39 #define MAX_UID_CACHE_ENTRIES  PK_UID_CACHE_SIZE
40
41 #if MAX_PK_CACHE_ENTRIES < 2
42 #error We need the cache for key creation
43 #endif
44
45 struct getkey_ctx_s {
46     int exact;
47     KBNODE keyblock;
48     KBPOS  kbpos;
49     KBNODE found_key; /* pointer into some keyblock */
50     int last_rc;
51     int req_usage;
52     int req_algo;
53     KEYDB_HANDLE kr_handle;
54     int not_allocated;
55     int nitems;
56     KEYDB_SEARCH_DESC items[1];
57 };
58
59 #if 0
60 static struct {
61     int any;
62     int okay_count;
63     int nokey_count;
64     int error_count;
65 } lkup_stats[21];
66 #endif
67
68 typedef struct keyid_list {
69     struct keyid_list *next;
70     u32 keyid[2];
71 } *keyid_list_t;
72
73
74 #if MAX_PK_CACHE_ENTRIES
75   typedef struct pk_cache_entry {
76       struct pk_cache_entry *next;
77       u32 keyid[2];
78       PKT_public_key *pk;
79   } *pk_cache_entry_t;
80   static pk_cache_entry_t pk_cache;
81   static int pk_cache_entries;   /* number of entries in pk cache */
82   static int pk_cache_disabled;
83 #endif
84
85 #if MAX_UID_CACHE_ENTRIES < 5
86 #error we really need the userid cache
87 #endif
88 typedef struct user_id_db {
89     struct user_id_db *next;
90     keyid_list_t keyids;
91     int len;
92     char name[1];
93 } *user_id_db_t;
94 static user_id_db_t user_id_db;
95 static int uid_cache_entries;   /* number of entries in uid cache */
96
97 static void merge_selfsigs( KBNODE keyblock );
98 static int lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode );
99
100 #if 0
101 static void
102 print_stats()
103 {
104     int i;
105     for(i=0; i < DIM(lkup_stats); i++ ) {
106         if( lkup_stats[i].any )
107             fprintf(stderr,
108                     "lookup stats: mode=%-2d  ok=%-6d  nokey=%-6d  err=%-6d\n",
109                     i,
110                     lkup_stats[i].okay_count,
111                     lkup_stats[i].nokey_count,
112                     lkup_stats[i].error_count );
113     }
114 }
115 #endif
116
117
118 void
119 cache_public_key( PKT_public_key *pk )
120 {
121 #if MAX_PK_CACHE_ENTRIES
122     pk_cache_entry_t ce;
123     u32 keyid[2];
124
125     if( pk_cache_disabled )
126         return;
127
128     if( pk->dont_cache )
129         return;
130
131     if( is_ELGAMAL(pk->pubkey_algo)
132         || pk->pubkey_algo == PUBKEY_ALGO_DSA
133         || is_RSA(pk->pubkey_algo) ) {
134         keyid_from_pk( pk, keyid );
135     }
136     else
137         return; /* don't know how to get the keyid */
138
139     for( ce = pk_cache; ce; ce = ce->next )
140         if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] ) {
141             if( DBG_CACHE )
142                 log_debug("cache_public_key: already in cache\n");
143             return;
144         }
145
146     if( pk_cache_entries >= MAX_PK_CACHE_ENTRIES ) {
147         /* fixme: use another algorithm to free some cache slots */
148         pk_cache_disabled=1;
149         if( opt.verbose > 1 )
150             log_info(_("too many entries in pk cache - disabled\n"));
151         return;
152     }
153     pk_cache_entries++;
154     ce = m_alloc( sizeof *ce );
155     ce->next = pk_cache;
156     pk_cache = ce;
157     ce->pk = copy_public_key( NULL, pk );
158     ce->keyid[0] = keyid[0];
159     ce->keyid[1] = keyid[1];
160 #endif
161 }
162
163
164 /*
165  * Return the user ID from the given keyblock.
166  * We use the primary uid flag which has been set by the merge_selfsigs
167  * function.  The returned value is only valid as long as then given
168  * keyblock is not changed
169  */
170 static const char *
171 get_primary_uid ( KBNODE keyblock, size_t *uidlen )
172 {
173     KBNODE k;
174     const char *s;
175
176     for (k=keyblock; k; k=k->next ) {
177         if ( k->pkt->pkttype == PKT_USER_ID
178              && !k->pkt->pkt.user_id->attrib_data
179              && k->pkt->pkt.user_id->is_primary ) {
180             *uidlen = k->pkt->pkt.user_id->len;
181             return k->pkt->pkt.user_id->name;
182         }
183     } 
184     /* fixme: returning translatable constants instead of a user ID is 
185      * not good because they are probably not utf-8 encoded. */
186     s = _("[User id not found]");
187     *uidlen = strlen (s);
188     return s;
189 }
190
191
192 static void
193 release_keyid_list ( keyid_list_t k )
194 {
195     while (  k ) {
196         keyid_list_t k2 = k->next;
197         m_free (k);
198         k = k2;
199     }
200 }
201
202 /****************
203  * Store the association of keyid and userid
204  * Feed only public keys to this function.
205  */
206 static void
207 cache_user_id( KBNODE keyblock )
208 {
209     user_id_db_t r;
210     const char *uid;
211     size_t uidlen;
212     keyid_list_t keyids = NULL;
213     KBNODE k;
214
215     for (k=keyblock; k; k = k->next ) {
216         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
217              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
218             keyid_list_t a = m_alloc_clear ( sizeof *a );
219             /* Hmmm: For a long list of keyids it might be an advantage
220              * to append the keys */
221             keyid_from_pk( k->pkt->pkt.public_key, a->keyid );
222             /* first check for duplicates */
223             for(r=user_id_db; r; r = r->next ) {
224                 keyid_list_t b = r->keyids;
225                 for ( b = r->keyids; b; b = b->next ) {
226                     if( b->keyid[0] == a->keyid[0]
227                         && b->keyid[1] == a->keyid[1] ) {
228                         if( DBG_CACHE )
229                             log_debug("cache_user_id: already in cache\n");
230                         release_keyid_list ( keyids );
231                         m_free ( a );
232                         return;
233                     }
234                 }
235             }
236             /* now put it into the cache */
237             a->next = keyids;
238             keyids = a;
239         }
240     }
241     if ( !keyids )
242         BUG (); /* No key no fun */
243
244
245     uid = get_primary_uid ( keyblock, &uidlen );
246
247     if( uid_cache_entries >= MAX_UID_CACHE_ENTRIES ) {
248         /* fixme: use another algorithm to free some cache slots */
249         r = user_id_db;
250         user_id_db = r->next;
251         release_keyid_list ( r->keyids );
252         m_free(r);
253         uid_cache_entries--;
254     }
255     r = m_alloc( sizeof *r + uidlen-1 );
256     r->keyids = keyids;
257     r->len = uidlen;
258     memcpy(r->name, uid, r->len);
259     r->next = user_id_db;
260     user_id_db = r;
261     uid_cache_entries++;
262 }
263
264
265 void
266 getkey_disable_caches()
267 {
268 #if MAX_PK_CACHE_ENTRIES
269     {
270         pk_cache_entry_t ce, ce2;
271
272         for( ce = pk_cache; ce; ce = ce2 ) {
273             ce2 = ce->next;
274             free_public_key( ce->pk );
275             m_free( ce );
276         }
277         pk_cache_disabled=1;
278         pk_cache_entries = 0;
279         pk_cache = NULL;
280     }
281 #endif
282     /* fixme: disable user id cache ? */
283 }
284
285
286 static void
287 pk_from_block ( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE keyblock )
288 {
289     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
290
291     assert ( a->pkt->pkttype == PKT_PUBLIC_KEY
292              ||  a->pkt->pkttype == PKT_PUBLIC_SUBKEY );
293      
294     copy_public_key ( pk, a->pkt->pkt.public_key );
295 }
296
297 static void
298 sk_from_block ( GETKEY_CTX ctx,
299                 PKT_secret_key *sk, KBNODE keyblock )
300 {
301     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
302
303     assert ( a->pkt->pkttype == PKT_SECRET_KEY
304              ||  a->pkt->pkttype == PKT_SECRET_SUBKEY );
305      
306     copy_secret_key( sk, a->pkt->pkt.secret_key);
307 }
308
309
310 /****************
311  * Get a public key and store it into the allocated pk
312  * can be called with PK set to NULL to just read it into some
313  * internal structures.
314  */
315 int
316 get_pubkey( PKT_public_key *pk, u32 *keyid )
317 {
318     int internal = 0;
319     int rc = 0;
320
321 #if MAX_PK_CACHE_ENTRIES
322     if(pk)
323       {
324         /* Try to get it from the cache.  We don't do this when pk is
325            NULL as it does not guarantee that the user IDs are
326            cached. */
327         pk_cache_entry_t ce;
328         for( ce = pk_cache; ce; ce = ce->next )
329           {
330             if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] )
331               {
332                 copy_public_key( pk, ce->pk );
333                 return 0;
334               }
335           }
336       }
337 #endif
338     /* more init stuff */
339     if( !pk ) {
340         pk = m_alloc_clear( sizeof *pk );
341         internal++;
342     }
343
344
345     /* do a lookup */
346     {   struct getkey_ctx_s ctx;
347         KBNODE kb = NULL;
348         memset( &ctx, 0, sizeof ctx );
349         ctx.exact = 1; /* use the key ID exactly as given */
350         ctx.not_allocated = 1;
351         ctx.kr_handle = keydb_new (0);
352         ctx.nitems = 1;
353         ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
354         ctx.items[0].u.kid[0] = keyid[0];
355         ctx.items[0].u.kid[1] = keyid[1];
356         ctx.req_algo  = pk->req_algo;
357         ctx.req_usage = pk->req_usage;
358         rc = lookup( &ctx, &kb, 0 );
359         if ( !rc ) {
360             pk_from_block ( &ctx, pk, kb );
361         }
362         get_pubkey_end( &ctx );
363         release_kbnode ( kb );
364     }
365     if( !rc )
366         goto leave;
367
368     rc = G10ERR_NO_PUBKEY;
369
370   leave:
371     if( !rc )
372         cache_public_key( pk );
373     if( internal )
374         free_public_key(pk);
375     return rc;
376 }
377
378
379 /* Get a public key and store it into the allocated pk.  This function
380    differs from get_pubkey() in that it does not do a check of the key
381    to avoid recursion.  It should be used only in very certain cases.
382    It will only retrieve primary keys. */
383 int
384 get_pubkey_fast (PKT_public_key *pk, u32 *keyid)
385 {
386   int rc = 0;
387   KEYDB_HANDLE hd;
388   KBNODE keyblock;
389   u32 pkid[2];
390   
391   assert (pk);
392 #if MAX_PK_CACHE_ENTRIES
393   { /* Try to get it from the cache */
394     pk_cache_entry_t ce;
395
396     for (ce = pk_cache; ce; ce = ce->next)
397       {
398         if (ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1])
399           {
400             if (pk)
401               copy_public_key (pk, ce->pk);
402             return 0;
403           }
404       }
405   }
406 #endif
407
408   hd = keydb_new (0);
409   rc = keydb_search_kid (hd, keyid);
410   if (rc == -1)
411     {
412       keydb_release (hd);
413       return G10ERR_NO_PUBKEY;
414     }
415   rc = keydb_get_keyblock (hd, &keyblock);
416   keydb_release (hd);
417   if (rc) 
418     {
419       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
420       return G10ERR_NO_PUBKEY;
421     }
422
423   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
424            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
425
426   keyid_from_pk(keyblock->pkt->pkt.public_key,pkid);
427   if(keyid[0]==pkid[0] && keyid[1]==pkid[1])
428     copy_public_key (pk, keyblock->pkt->pkt.public_key );
429   else
430     rc=G10ERR_NO_PUBKEY;
431
432   release_kbnode (keyblock);
433
434   /* Not caching key here since it won't have all of the fields
435      properly set. */
436
437   return rc;
438 }
439
440
441 KBNODE
442 get_pubkeyblock( u32 *keyid )
443 {
444     struct getkey_ctx_s ctx;
445     int rc = 0;
446     KBNODE keyblock = NULL;
447
448     memset( &ctx, 0, sizeof ctx );
449     /* no need to set exact here because we want the entire block */
450     ctx.not_allocated = 1;
451     ctx.kr_handle = keydb_new (0);
452     ctx.nitems = 1;
453     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
454     ctx.items[0].u.kid[0] = keyid[0];
455     ctx.items[0].u.kid[1] = keyid[1];
456     rc = lookup( &ctx, &keyblock, 0 );
457     get_pubkey_end( &ctx );
458
459     return rc ? NULL : keyblock;
460 }
461
462
463
464
465 /****************
466  * Get a secret key and store it into sk
467  */
468 int
469 get_seckey( PKT_secret_key *sk, u32 *keyid )
470 {
471     int rc;
472     struct getkey_ctx_s ctx;
473     KBNODE kb = NULL;
474
475     memset( &ctx, 0, sizeof ctx );
476     ctx.exact = 1; /* use the key ID exactly as given */
477     ctx.not_allocated = 1;
478     ctx.kr_handle = keydb_new (1);
479     ctx.nitems = 1;
480     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
481     ctx.items[0].u.kid[0] = keyid[0];
482     ctx.items[0].u.kid[1] = keyid[1];
483     ctx.req_algo  = sk->req_algo;
484     ctx.req_usage = sk->req_usage;
485     rc = lookup( &ctx, &kb, 1 );
486     if ( !rc ) {
487         sk_from_block ( &ctx, sk, kb );
488     }
489     get_seckey_end( &ctx );
490     release_kbnode ( kb );
491
492     if( !rc ) {
493         /* check the secret key (this may prompt for a passprase to
494          * unlock the secret key
495          */
496         rc = check_secret_key( sk, 0 );
497     }
498
499     return rc;
500 }
501
502
503 /****************
504  * Check whether the secret key is available.  This is just a fast
505  * check and does not tell us whether the secret key is valid.  It
506  * merely tells other whether there is some secret key.
507  * Returns: 0 := key is available
508  * G10ERR_NO_SECKEY := not availabe
509  */
510 int
511 seckey_available( u32 *keyid )
512 {
513     int rc;
514     KEYDB_HANDLE hd = keydb_new (1);
515
516     rc = keydb_search_kid (hd, keyid);
517     if ( rc == -1 )
518         rc = G10ERR_NO_SECKEY;
519     keydb_release (hd);
520     return rc;
521 }
522
523
524 /****************
525  * Return the type of the user id:
526  *
527  * Please use the constants KEYDB_SERCH_MODE_xxx
528  *  0 = Invalid user ID
529  *  1 = exact match
530  *  2 = match a substring
531  *  3 = match an email address
532  *  4 = match a substring of an email address
533  *  5 = match an email address, but compare from end
534  *  6 = word match mode
535  * 10 = it is a short KEYID (don't care about keyid[0])
536  * 11 = it is a long  KEYID
537  * 12 = it is a trustdb index (keyid is looked up)
538  * 16 = it is a 16 byte fingerprint
539  * 20 = it is a 20 byte fingerprint
540  * 21 = Unified fingerprint :fpr:pk_algo:
541  *      (We don't use pk_algo yet)
542  *
543  * Rules used:
544  * - If the username starts with 8,9,16 or 17 hex-digits (the first one
545  *   must be in the range 0..9), this is considered a keyid; depending
546  *   on the length a short or complete one.
547  * - If the username starts with 32,33,40 or 41 hex-digits (the first one
548  *   must be in the range 0..9), this is considered a fingerprint.
549  * - If the username starts with a left angle, we assume it is a complete
550  *   email address and look only at this part.
551  * - If the username starts with a colon we assume it is a unified 
552  *   key specfification. 
553  * - If the username starts with a '.', we assume it is the ending
554  *   part of an email address
555  * - If the username starts with an '@', we assume it is a part of an
556  *   email address
557  * - If the userid start with an '=' an exact compare is done.
558  * - If the userid starts with a '*' a case insensitive substring search is
559  *   done (This is the default).
560  * - If the userid starts with a '+' we will compare individual words
561  *   and a match requires that all the words are in the userid.
562  *   Words are delimited by white space or "()<>[]{}.@-+_,;/&!"
563  *   (note that you can't search for these characters). Compare
564  *   is not case sensitive.
565  */
566
567 int
568 classify_user_id( const char *name, KEYDB_SEARCH_DESC *desc )
569 {
570     const char *s;
571     int hexprefix = 0;
572     int hexlength;
573     int mode = 0;   
574     KEYDB_SEARCH_DESC dummy_desc;
575
576     if (!desc)
577         desc = &dummy_desc;
578
579     /* clear the structure so that the mode field is set to zero unless
580      * we set it to the correct value right at the end of this function */
581     memset (desc, 0, sizeof *desc);
582
583     /* skip leading spaces.  Fixme: what is with trailing spaces? */
584     for(s = name; *s && spacep (s); s++ )
585         ;
586
587     switch (*s) {
588         case 0:    /* empty string is an error */
589             return 0;
590
591         case '.':  /* an email address, compare from end */
592             mode = KEYDB_SEARCH_MODE_MAILEND;
593             s++;
594             desc->u.name = s;
595             break;
596
597         case '<':  /* an email address */
598             mode = KEYDB_SEARCH_MODE_MAIL;
599             desc->u.name = s;
600             break;
601
602         case '@':  /* part of an email address */
603             mode = KEYDB_SEARCH_MODE_MAILSUB;
604             s++;
605             desc->u.name = s;
606             break;
607
608         case '=':  /* exact compare */
609             mode = KEYDB_SEARCH_MODE_EXACT;
610             s++;
611             desc->u.name = s;
612             break;
613
614         case '*':  /* case insensitive substring search */
615             mode = KEYDB_SEARCH_MODE_SUBSTR;
616             s++;
617             desc->u.name = s;
618             break;
619
620         case '+':  /* compare individual words */
621             mode = KEYDB_SEARCH_MODE_WORDS;
622             s++;
623             desc->u.name = s;
624             break;
625
626         case '#':  /* local user id */
627             return 0; /* This is now obsolete and van't not be used anymore*/
628         
629         case ':': /*Unified fingerprint */
630             {  
631                 const char *se, *si;
632                 int i;
633                 
634                 se = strchr( ++s,':');
635                 if ( !se )
636                     return 0;
637                 for (i=0,si=s; si < se; si++, i++ ) {
638                     if ( !strchr("01234567890abcdefABCDEF", *si ) )
639                         return 0; /* invalid digit */
640                 }
641                 if (i != 32 && i != 40)
642                     return 0; /* invalid length of fpr*/
643                 for (i=0,si=s; si < se; i++, si +=2) 
644                     desc->u.fpr[i] = hextobyte(si);
645                 for ( ; i < 20; i++)
646                     desc->u.fpr[i]= 0;
647                 s = se + 1;
648                 mode = KEYDB_SEARCH_MODE_FPR;
649             } 
650             break;
651            
652         default:
653             if (s[0] == '0' && s[1] == 'x') {
654                 hexprefix = 1;
655                 s += 2;
656             }
657
658             hexlength = strspn(s, "0123456789abcdefABCDEF");
659             if (hexlength >= 8 && s[hexlength] =='!') {
660                 desc->exact = 1;
661                 hexlength++; /* just for the following check */
662             }
663
664             /* check if a hexadecimal number is terminated by EOS or blank */
665             if (hexlength && s[hexlength] && !spacep(s+hexlength)) {
666                 if (hexprefix)      /* a "0x" prefix without correct */
667                     return 0;       /* termination is an error */
668                 else                /* The first chars looked like */
669                     hexlength = 0;  /* a hex number, but really were not. */
670             }
671
672             if (desc->exact)
673                 hexlength--;
674
675             if (hexlength == 8
676                 || (!hexprefix && hexlength == 9 && *s == '0')){
677                 /* short keyid */
678                 if (hexlength == 9)
679                     s++;
680                 desc->u.kid[0] = 0;
681                 desc->u.kid[1] = strtoul( s, NULL, 16 );
682                 mode = KEYDB_SEARCH_MODE_SHORT_KID;
683             }
684             else if (hexlength == 16
685                      || (!hexprefix && hexlength == 17 && *s == '0')) {
686                 /* complete keyid */
687                 char buf[9];
688                 if (hexlength == 17)
689                     s++;
690                 mem2str(buf, s, 9 );
691                 desc->u.kid[0] = strtoul( buf, NULL, 16 );
692                 desc->u.kid[1] = strtoul( s+8, NULL, 16 );
693                 mode = KEYDB_SEARCH_MODE_LONG_KID;
694             }
695             else if (hexlength == 32 || (!hexprefix && hexlength == 33
696                                                             && *s == '0')) {
697                 /* md5 fingerprint */
698                 int i;
699                 if (hexlength == 33)
700                     s++;
701                 memset(desc->u.fpr+16, 0, 4); 
702                 for (i=0; i < 16; i++, s+=2) {
703                     int c = hextobyte(s);
704                     if (c == -1)
705                         return 0;
706                     desc->u.fpr[i] = c;
707                 }
708                 mode = KEYDB_SEARCH_MODE_FPR16;
709             }
710             else if (hexlength == 40 || (!hexprefix && hexlength == 41
711                                                               && *s == '0')) {
712                 /* sha1/rmd160 fingerprint */
713                 int i;
714                 if (hexlength == 41)
715                     s++;
716                 for (i=0; i < 20; i++, s+=2) {
717                     int c = hextobyte(s);
718                     if (c == -1)
719                         return 0;
720                     desc->u.fpr[i] = c;
721                 }
722                 mode = KEYDB_SEARCH_MODE_FPR20;
723             }
724             else {
725                 if (hexprefix)  /* This was a hex number with a prefix */
726                     return 0;   /* and a wrong length */
727
728                 desc->exact = 0;
729                 desc->u.name = s;
730                 mode = KEYDB_SEARCH_MODE_SUBSTR;   /* default mode */
731             }
732     }
733
734     desc->mode = mode;
735     return mode;
736 }
737
738
739 static int
740 skip_unusable(void *dummy,u32 *keyid,PKT_user_id *uid)
741 {
742   int unusable=0;
743   KBNODE keyblock;
744
745   keyblock=get_pubkeyblock(keyid);
746   if(!keyblock)
747     {
748       log_error("error checking usability status of %08lX\n",(ulong)keyid[1]);
749       goto leave;
750     }
751
752   /* Is the user ID in question revoked/expired? */
753   if(uid)
754     {
755       KBNODE node;
756
757       for(node=keyblock;node;node=node->next)
758         {
759           if(node->pkt->pkttype==PKT_USER_ID)
760             {
761               if(cmp_user_ids(uid,node->pkt->pkt.user_id)==0
762                  && (node->pkt->pkt.user_id->is_revoked
763                      || node->pkt->pkt.user_id->is_expired))
764                 {
765                   unusable=1;
766                   break;
767                 }
768             }
769         }
770     }
771
772   if(!unusable)
773     unusable=pk_is_disabled(keyblock->pkt->pkt.public_key);
774
775  leave:
776   release_kbnode(keyblock);
777   return unusable;
778 }
779
780 /****************
781  * Try to get the pubkey by the userid. This function looks for the
782  * first pubkey certificate which has the given name in a user_id.
783  * if pk/sk has the pubkey algo set, the function will only return
784  * a pubkey with that algo.
785  * The caller should provide storage for either the pk or the sk.
786  * If ret_kb is not NULL the function will return the keyblock there.
787  */
788
789 static int
790 key_byname( GETKEY_CTX *retctx, STRLIST namelist,
791             PKT_public_key *pk, PKT_secret_key *sk,
792             int secmode, int include_unusable,
793             KBNODE *ret_kb, KEYDB_HANDLE *ret_kdbhd )
794 {
795     int rc = 0;
796     int n;
797     STRLIST r;
798     GETKEY_CTX ctx;
799     KBNODE help_kb = NULL;
800     
801     if( retctx ) {/* reset the returned context in case of error */
802         assert (!ret_kdbhd);  /* not allowed because the handle is
803                                  stored in the context */
804         *retctx = NULL;
805     }
806     if (ret_kdbhd)
807         *ret_kdbhd = NULL;
808
809     /* build the search context */
810     for(n=0, r=namelist; r; r = r->next )
811         n++;
812     ctx = m_alloc_clear (sizeof *ctx + (n-1)*sizeof ctx->items );
813     ctx->nitems = n;
814
815     for(n=0, r=namelist; r; r = r->next, n++ ) {
816         classify_user_id (r->d, &ctx->items[n]);
817         
818         if (ctx->items[n].exact)
819             ctx->exact = 1;
820         if (!ctx->items[n].mode) {
821             m_free (ctx);
822             return G10ERR_INV_USER_ID;
823         }
824         if(!include_unusable
825            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_SHORT_KID
826            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_LONG_KID
827            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR16
828            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR20
829            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR)
830           ctx->items[n].skipfnc=skip_unusable;
831     }
832
833     ctx->kr_handle = keydb_new (secmode);
834     if ( !ret_kb ) 
835         ret_kb = &help_kb;
836
837     if( secmode ) {
838         if (sk) {
839             ctx->req_algo  = sk->req_algo;
840             ctx->req_usage = sk->req_usage;
841         }
842         rc = lookup( ctx, ret_kb, 1 );
843         if ( !rc && sk ) {
844             sk_from_block ( ctx, sk, *ret_kb );
845         }
846     }
847     else {
848         if (pk) {
849             ctx->req_algo  = pk->req_algo;
850             ctx->req_usage = pk->req_usage;
851         }
852         rc = lookup( ctx, ret_kb, 0 );
853         if ( !rc && pk ) {
854             pk_from_block ( ctx, pk, *ret_kb );
855         }
856     }
857
858     release_kbnode ( help_kb );
859
860     if (retctx) /* caller wants the context */
861         *retctx = ctx;
862     else {
863         if (ret_kdbhd) {
864             *ret_kdbhd = ctx->kr_handle;
865             ctx->kr_handle = NULL;
866         }
867         get_pubkey_end (ctx);
868     }
869
870     return rc;
871 }
872
873 /*
874  * Find a public key from NAME and returh the keyblock or the key.
875  * If ret_kdb is not NULL, the KEYDB handle used to locate this keyblock is
876  * returned and the caller is responsible for closing it.
877  */
878 int
879 get_pubkey_byname (PKT_public_key *pk,
880                    const char *name, KBNODE *ret_keyblock,
881                    KEYDB_HANDLE *ret_kdbhd, int include_unusable )
882 {
883     int rc;
884     STRLIST namelist = NULL;
885
886     add_to_strlist( &namelist, name );
887     rc = key_byname( NULL, namelist, pk, NULL, 0,
888                      include_unusable, ret_keyblock, ret_kdbhd);
889     free_strlist( namelist );
890     return rc;
891 }
892
893 int
894 get_pubkey_bynames( GETKEY_CTX *retctx, PKT_public_key *pk,
895                     STRLIST names, KBNODE *ret_keyblock )
896 {
897     return key_byname( retctx, names, pk, NULL, 0, 1, ret_keyblock, NULL);
898 }
899
900 int
901 get_pubkey_next( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE *ret_keyblock )
902 {
903     int rc;
904
905     rc = lookup( ctx, ret_keyblock, 0 );
906     if ( !rc && pk && ret_keyblock )
907         pk_from_block ( ctx, pk, *ret_keyblock );
908     
909     return rc;
910 }
911
912
913 void
914 get_pubkey_end( GETKEY_CTX ctx )
915 {
916     if( ctx ) {
917         memset (&ctx->kbpos, 0, sizeof ctx->kbpos);
918         keydb_release (ctx->kr_handle);
919         if( !ctx->not_allocated )
920             m_free( ctx );
921     }
922 }
923
924
925
926
927 /****************
928  * Search for a key with the given fingerprint.
929  * FIXME:
930  * We should replace this with the _byname function.  Thiscsan be done
931  * by creating a userID conforming to the unified fingerprint style. 
932  */
933 int
934 get_pubkey_byfprint( PKT_public_key *pk,
935                      const byte *fprint, size_t fprint_len)
936 {
937     int rc;
938
939     if( fprint_len == 20 || fprint_len == 16 ) {
940         struct getkey_ctx_s ctx;
941         KBNODE kb = NULL;
942
943         memset( &ctx, 0, sizeof ctx );
944         ctx.exact = 1 ;
945         ctx.not_allocated = 1;
946         ctx.kr_handle = keydb_new (0);
947         ctx.nitems = 1;
948         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
949                                           : KEYDB_SEARCH_MODE_FPR20;
950         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
951         rc = lookup( &ctx, &kb, 0 );
952         if (!rc && pk )
953             pk_from_block ( &ctx, pk, kb );
954         release_kbnode ( kb );
955         get_pubkey_end( &ctx );
956     }
957     else
958         rc = G10ERR_GENERAL; /* Oops */
959     return rc;
960 }
961
962
963 /* Get a public key and store it into the allocated pk.  This function
964    differs from get_pubkey_byfprint() in that it does not do a check
965    of the key to avoid recursion.  It should be used only in very
966    certain cases.  PK may be NULL to check just for the existance of
967    the key. */
968 int
969 get_pubkey_byfprint_fast (PKT_public_key *pk,
970                           const byte *fprint, size_t fprint_len)
971 {
972   int rc = 0;
973   KEYDB_HANDLE hd;
974   KBNODE keyblock;
975   byte fprbuf[MAX_FINGERPRINT_LEN];
976   int i;
977   
978   for (i=0; i < MAX_FINGERPRINT_LEN && i < fprint_len; i++)
979     fprbuf[i] = fprint[i];
980   while (i < MAX_FINGERPRINT_LEN) 
981     fprbuf[i++] = 0;
982
983   hd = keydb_new (0);
984   rc = keydb_search_fpr (hd, fprbuf);
985   if (rc == -1)
986     {
987       keydb_release (hd);
988       return G10ERR_NO_PUBKEY;
989     }
990   rc = keydb_get_keyblock (hd, &keyblock);
991   keydb_release (hd);
992   if (rc) 
993     {
994       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
995       return G10ERR_NO_PUBKEY;
996     }
997   
998   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
999            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
1000   if (pk)
1001     copy_public_key (pk, keyblock->pkt->pkt.public_key );
1002   release_kbnode (keyblock);
1003
1004   /* Not caching key here since it won't have all of the fields
1005      properly set. */
1006
1007   return 0;
1008 }
1009
1010 /****************
1011  * Search for a key with the given fingerprint and return the
1012  * complete keyblock which may have more than only this key.
1013  */
1014 int
1015 get_keyblock_byfprint( KBNODE *ret_keyblock, const byte *fprint,
1016                                                 size_t fprint_len )
1017 {
1018     int rc;
1019
1020     if( fprint_len == 20 || fprint_len == 16 ) {
1021         struct getkey_ctx_s ctx;
1022
1023         memset( &ctx, 0, sizeof ctx );
1024         ctx.not_allocated = 1;
1025         ctx.kr_handle = keydb_new (0);
1026         ctx.nitems = 1;
1027         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
1028                                           : KEYDB_SEARCH_MODE_FPR20;
1029         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
1030         rc = lookup( &ctx, ret_keyblock, 0 );
1031         get_pubkey_end( &ctx );
1032     }
1033     else
1034         rc = G10ERR_GENERAL; /* Oops */
1035
1036     return rc;
1037 }
1038
1039
1040 /****************
1041  * Get a secret key by name and store it into sk
1042  * If NAME is NULL use the default key
1043  */
1044 static int
1045 get_seckey_byname2( GETKEY_CTX *retctx,
1046                    PKT_secret_key *sk, const char *name, int unprotect,
1047                    KBNODE *retblock )
1048 {
1049     STRLIST namelist = NULL;
1050     int rc;
1051
1052     if( !name && opt.def_secret_key && *opt.def_secret_key ) {
1053         add_to_strlist( &namelist, opt.def_secret_key );
1054         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1055     }
1056     else if( !name ) { /* use the first one as default key */
1057         struct getkey_ctx_s ctx;
1058         KBNODE kb = NULL;
1059
1060         assert (!retctx ); /* do we need this at all */
1061         assert (!retblock);
1062         memset( &ctx, 0, sizeof ctx );
1063         ctx.not_allocated = 1;
1064         ctx.kr_handle = keydb_new (1);
1065         ctx.nitems = 1;
1066         ctx.items[0].mode = KEYDB_SEARCH_MODE_FIRST;
1067         rc = lookup( &ctx, &kb, 1 );
1068         if (!rc && sk )
1069             sk_from_block ( &ctx, sk, kb );
1070         release_kbnode ( kb );
1071         get_seckey_end( &ctx );
1072     }
1073     else {
1074         add_to_strlist( &namelist, name );
1075         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1076     }
1077
1078     free_strlist( namelist );
1079
1080     if( !rc && unprotect )
1081         rc = check_secret_key( sk, 0 );
1082
1083     return rc;
1084 }
1085
1086 int 
1087 get_seckey_byname( PKT_secret_key *sk, const char *name, int unlock )
1088 {
1089     return get_seckey_byname2 ( NULL, sk, name, unlock, NULL );
1090 }
1091
1092
1093 int
1094 get_seckey_bynames( GETKEY_CTX *retctx, PKT_secret_key *sk,
1095                     STRLIST names, KBNODE *ret_keyblock )
1096 {
1097     return key_byname( retctx, names, NULL, sk, 1, 1, ret_keyblock, NULL );
1098 }
1099
1100
1101 int
1102 get_seckey_next( GETKEY_CTX ctx, PKT_secret_key *sk, KBNODE *ret_keyblock )
1103 {
1104     int rc;
1105
1106     rc = lookup( ctx, ret_keyblock, 1 );
1107     if ( !rc && sk && ret_keyblock )
1108         sk_from_block ( ctx, sk, *ret_keyblock );
1109
1110     return rc;
1111 }
1112
1113
1114 void
1115 get_seckey_end( GETKEY_CTX ctx )
1116 {
1117     get_pubkey_end( ctx );
1118 }
1119
1120
1121 /****************
1122  * Search for a key with the given fingerprint.
1123  * FIXME:
1124  * We should replace this with the _byname function.  Thiscsan be done
1125  * by creating a userID conforming to the unified fingerprint style. 
1126  */
1127 int
1128 get_seckey_byfprint( PKT_secret_key *sk,
1129                      const byte *fprint, size_t fprint_len)
1130 {
1131     int rc;
1132
1133     if( fprint_len == 20 || fprint_len == 16 ) {
1134         struct getkey_ctx_s ctx;
1135         KBNODE kb = NULL;
1136
1137         memset( &ctx, 0, sizeof ctx );
1138         ctx.exact = 1 ;
1139         ctx.not_allocated = 1;
1140         ctx.kr_handle = keydb_new (1);
1141         ctx.nitems = 1;
1142         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
1143                                           : KEYDB_SEARCH_MODE_FPR20;
1144         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
1145         rc = lookup( &ctx, &kb, 1 );
1146         if (!rc && sk )
1147             sk_from_block ( &ctx, sk, kb );
1148         release_kbnode ( kb );
1149         get_pubkey_end( &ctx );
1150     }
1151     else
1152         rc = G10ERR_GENERAL; /* Oops */
1153     return rc;
1154 }
1155
1156 \f
1157 /************************************************
1158  ************* Merging stuff ********************
1159  ************************************************/
1160
1161 /****************
1162  * merge all selfsignatures with the keys.
1163  * FIXME: replace this at least for the public key parts
1164  *        by merge_selfsigs.
1165  *        It is still used in keyedit.c and
1166  *        at 2 or 3 other places - check whether it is really needed.
1167  *        It might be needed by the key edit and import stuff because
1168  *        the keylock is changed.
1169  */
1170 void
1171 merge_keys_and_selfsig( KBNODE keyblock )
1172 {
1173     PKT_public_key *pk = NULL;
1174     PKT_secret_key *sk = NULL;
1175     PKT_signature *sig;
1176     KBNODE k;
1177     u32 kid[2] = { 0, 0 };
1178     u32 sigdate = 0;
1179
1180     if (keyblock && keyblock->pkt->pkttype == PKT_PUBLIC_KEY ) {
1181         /* divert to our new function */
1182         merge_selfsigs (keyblock);
1183         return;
1184     }
1185     /* still need the old one because the new one can't handle secret keys */
1186
1187     for(k=keyblock; k; k = k->next ) {
1188         if( k->pkt->pkttype == PKT_PUBLIC_KEY
1189             || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1190             pk = k->pkt->pkt.public_key; sk = NULL;
1191             if( pk->version < 4 )
1192                 pk = NULL; /* not needed for old keys */
1193             else if( k->pkt->pkttype == PKT_PUBLIC_KEY )
1194                 keyid_from_pk( pk, kid );
1195             else if( !pk->expiredate ) { /* and subkey */
1196                 /* insert the expiration date here */
1197                 /*FIXME!!! pk->expiredate = subkeys_expiretime( k, kid );*/
1198             }
1199             sigdate = 0;
1200         }
1201         else if( k->pkt->pkttype == PKT_SECRET_KEY
1202             || k->pkt->pkttype == PKT_SECRET_SUBKEY ) {
1203             pk = NULL; sk = k->pkt->pkt.secret_key;
1204             if( sk->version < 4 )
1205                 sk = NULL;
1206             else if( k->pkt->pkttype == PKT_SECRET_KEY )
1207                 keyid_from_sk( sk, kid );
1208             sigdate = 0;
1209         }
1210         else if( (pk || sk ) && k->pkt->pkttype == PKT_SIGNATURE
1211                  && (sig=k->pkt->pkt.signature)->sig_class >= 0x10
1212                  && sig->sig_class <= 0x30 && sig->version > 3
1213                  && !(sig->sig_class == 0x18 || sig->sig_class == 0x28)
1214                  && sig->keyid[0] == kid[0] && sig->keyid[1] == kid[1] ) {
1215             /* okay this is a self-signature which can be used.
1216              * This is not used for subkey binding signature, becuase this
1217              * is done above.
1218              * FIXME: We should only use this if the signature is valid
1219              *        but this is time consuming - we must provide another
1220              *        way to handle this
1221              */
1222             const byte *p;
1223             u32 ed;
1224
1225             p = parse_sig_subpkt( sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL );
1226             if( pk ) {
1227                 ed = p? pk->timestamp + buffer_to_u32(p):0;
1228                 if( sig->timestamp > sigdate ) {
1229                     pk->expiredate = ed;
1230                     sigdate = sig->timestamp;
1231                 }
1232             }
1233             else {
1234                 ed = p? sk->timestamp + buffer_to_u32(p):0;
1235                 if( sig->timestamp > sigdate ) {
1236                     sk->expiredate = ed;
1237                     sigdate = sig->timestamp;
1238                 }
1239             }
1240         }
1241
1242         if(pk && (pk->expiredate==0 ||
1243                   (pk->max_expiredate && pk->expiredate>pk->max_expiredate)))
1244           pk->expiredate=pk->max_expiredate;
1245
1246         if(sk && (sk->expiredate==0 ||
1247                   (sk->max_expiredate && sk->expiredate>sk->max_expiredate)))
1248           sk->expiredate=sk->max_expiredate;
1249     }
1250 }
1251
1252 /*
1253  * Apply information from SIGNODE (which is the valid self-signature
1254  * associated with that UID) to the UIDNODE:
1255  * - wether the UID has been revoked
1256  * - assumed creation date of the UID
1257  * - temporary store the keyflags here
1258  * - temporary store the key expiration time here
1259  * - mark whether the primary user ID flag hat been set.
1260  * - store the preferences
1261  */
1262 static void
1263 fixup_uidnode ( KBNODE uidnode, KBNODE signode, u32 keycreated )
1264 {
1265     PKT_user_id   *uid = uidnode->pkt->pkt.user_id;
1266     PKT_signature *sig = signode->pkt->pkt.signature;
1267     const byte *p, *sym, *hash, *zip;
1268     size_t n, nsym, nhash, nzip;
1269
1270     uid->created = 0; /* not created == invalid */
1271     if ( IS_UID_REV ( sig ) ) {
1272         uid->is_revoked = 1;
1273         return; /* has been revoked */
1274     }
1275
1276     uid->created = sig->timestamp; /* this one is okay */
1277     uid->selfsigversion = sig->version;
1278     /* If we got this far, it's not expired :) */
1279     uid->is_expired = 0;
1280     uid->expiredate = sig->expiredate;
1281
1282     /* store the key flags in the helper variable for later processing */
1283     uid->help_key_usage = 0;
1284     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1285     if ( p && n ) {
1286         /* first octet of the keyflags */   
1287         if ( (*p & 3) )
1288             uid->help_key_usage |= PUBKEY_USAGE_SIG;
1289         if ( (*p & 12) )    
1290             uid->help_key_usage |= PUBKEY_USAGE_ENC;
1291         /* Note: we do not set the CERT flag here because it can be assumed
1292          * that thre is no real policy to set it. */
1293         if ( (*p & 0x20) )    
1294             uid->help_key_usage |= PUBKEY_USAGE_AUTH;
1295     }
1296
1297     /* ditto or the key expiration */
1298     uid->help_key_expire = 0;
1299     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1300     if ( p ) { 
1301         uid->help_key_expire = keycreated + buffer_to_u32(p);
1302     }
1303
1304     /* Set the primary user ID flag - we will later wipe out some
1305      * of them to only have one in our keyblock */
1306     uid->is_primary = 0;
1307     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PRIMARY_UID, NULL );
1308     if ( p && *p )
1309         uid->is_primary = 2;
1310     /* We could also query this from the unhashed area if it is not in
1311      * the hased area and then later try to decide which is the better
1312      * there should be no security problem with this.
1313      * For now we only look at the hashed one. 
1314      */
1315
1316     /* Now build the preferences list.  These must come from the
1317        hashed section so nobody can modify the ciphers a key is
1318        willing to accept. */
1319     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_SYM, &n );
1320     sym = p; nsym = p?n:0;
1321     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_HASH, &n );
1322     hash = p; nhash = p?n:0;
1323     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_COMPR, &n );
1324     zip = p; nzip = p?n:0;
1325     if (uid->prefs) 
1326         m_free (uid->prefs);
1327     n = nsym + nhash + nzip;
1328     if (!n)
1329         uid->prefs = NULL;
1330     else {
1331         uid->prefs = m_alloc (sizeof (*uid->prefs) * (n+1));
1332         n = 0;
1333         for (; nsym; nsym--, n++) {
1334             uid->prefs[n].type = PREFTYPE_SYM;
1335             uid->prefs[n].value = *sym++;
1336         }
1337         for (; nhash; nhash--, n++) {
1338             uid->prefs[n].type = PREFTYPE_HASH;
1339             uid->prefs[n].value = *hash++;
1340         }
1341         for (; nzip; nzip--, n++) {
1342             uid->prefs[n].type = PREFTYPE_ZIP;
1343             uid->prefs[n].value = *zip++;
1344         }
1345         uid->prefs[n].type = PREFTYPE_NONE; /* end of list marker */
1346         uid->prefs[n].value = 0;
1347     }
1348
1349     /* see whether we have the MDC feature */
1350     uid->mdc_feature = 0;
1351     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_FEATURES, &n);
1352     if (p && n && (p[0] & 0x01))
1353         uid->mdc_feature = 1;
1354
1355     /* and the keyserver modify flag */
1356     uid->ks_modify = 1;
1357     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KS_FLAGS, &n);
1358     if (p && n && (p[0] & 0x80))
1359         uid->ks_modify = 0;
1360 }
1361
1362 static void
1363 merge_selfsigs_main( KBNODE keyblock, int *r_revoked )
1364 {
1365     PKT_public_key *pk = NULL;
1366     KBNODE k;
1367     u32 kid[2];
1368     u32 sigdate, uiddate, uiddate2;
1369     KBNODE signode, uidnode, uidnode2;
1370     u32 curtime = make_timestamp ();
1371     unsigned int key_usage = 0;
1372     u32 keytimestamp = 0;
1373     u32 key_expire = 0;
1374     int key_expire_seen = 0;
1375     byte sigversion = 0;
1376
1377     *r_revoked = 0;
1378     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY )
1379         BUG ();
1380     pk = keyblock->pkt->pkt.public_key;
1381     keytimestamp = pk->timestamp;
1382
1383     keyid_from_pk( pk, kid );
1384     pk->main_keyid[0] = kid[0];
1385     pk->main_keyid[1] = kid[1];
1386
1387     if ( pk->version < 4 ) {
1388         /* before v4 the key packet itself contains the expiration
1389          * date and there was no way to change it, so we start with
1390          * the one from the key packet */
1391         key_expire = pk->max_expiredate;
1392         key_expire_seen = 1;
1393     }
1394
1395     /* first pass: find the latest direct key self-signature.
1396      * We assume that the newest one overrides all others
1397      */
1398
1399     /* In case this key was already merged */
1400     m_free(pk->revkey);
1401     pk->revkey=NULL;
1402     pk->numrevkeys=0;
1403
1404     signode = NULL;
1405     sigdate = 0; /* helper to find the latest signature */
1406     for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next ) {
1407         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1408             PKT_signature *sig = k->pkt->pkt.signature;
1409             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1410                 if ( check_key_signature( keyblock, k, NULL ) )
1411                     ; /* signature did not verify */
1412                 else if ( IS_KEY_REV (sig) ){
1413                     /* key has been revoked - there is no way to override
1414                      * such a revocation, so we theoretically can stop now.
1415                      * We should not cope with expiration times for revocations
1416                      * here because we have to assume that an attacker can
1417                      * generate all kinds of signatures.  However due to the
1418                      * fact that the key has been revoked it does not harm
1419                      * either and by continuing we gather some more info on 
1420                      * that key.
1421                      */ 
1422                     *r_revoked = 1;
1423                 }
1424                 else if ( IS_KEY_SIG (sig) ) {
1425                   /* Add any revocation keys onto the pk.  This is
1426                      particularly interesting since we normally only
1427                      get data from the most recent 1F signature, but
1428                      you need multiple 1F sigs to properly handle
1429                      revocation keys (PGP does it this way, and a
1430                      revocation key could be sensitive and hence in a
1431                      different signature). */
1432                   if(sig->revkey) {
1433                     int i;
1434
1435                     pk->revkey=
1436                       m_realloc(pk->revkey,sizeof(struct revocation_key)*
1437                                 (pk->numrevkeys+sig->numrevkeys));
1438
1439                     for(i=0;i<sig->numrevkeys;i++)
1440                       memcpy(&pk->revkey[pk->numrevkeys++],
1441                              sig->revkey[i],
1442                              sizeof(struct revocation_key));
1443                   }
1444
1445                   if( sig->timestamp >= sigdate ) {
1446                     if(sig->flags.expired)
1447                         ; /* signature has expired - ignore it */
1448                     else {
1449                         sigdate = sig->timestamp;
1450                         signode = k;
1451                         if( sig->version > sigversion )
1452                           sigversion = sig->version;
1453
1454                     }
1455                   }
1456                 }
1457             }
1458         }
1459     }
1460
1461     /* Remove dupes from the revocation keys */
1462
1463     if(pk->revkey)
1464       {
1465         int i,j,x,changed=0;
1466
1467         for(i=0;i<pk->numrevkeys;i++)
1468           {
1469             for(j=i+1;j<pk->numrevkeys;j++)
1470               {
1471                 if(memcmp(&pk->revkey[i],&pk->revkey[j],
1472                           sizeof(struct revocation_key))==0)
1473                   {
1474                     /* remove j */
1475
1476                     for(x=j;x<pk->numrevkeys-1;x++)
1477                       pk->revkey[x]=pk->revkey[x+1];
1478
1479                     pk->numrevkeys--;
1480                     j--;
1481                     changed=1;
1482                   }
1483               }
1484           }
1485
1486         if(changed)
1487           pk->revkey=m_realloc(pk->revkey,
1488                                pk->numrevkeys*sizeof(struct revocation_key));
1489       }
1490
1491     if ( signode ) {
1492         /* some information from a direct key signature take precedence
1493          * over the same information given in UID sigs.
1494          */
1495         PKT_signature *sig = signode->pkt->pkt.signature;
1496         const byte *p;
1497         size_t n;
1498         
1499         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1500         if ( p && n ) {
1501             /* first octet of the keyflags */   
1502             if ( (*p & 3) )
1503                 key_usage |= PUBKEY_USAGE_SIG;
1504             if ( (*p & 12) )    
1505                 key_usage |= PUBKEY_USAGE_ENC;
1506             if ( (*p & 0x20) )    
1507                 key_usage |= PUBKEY_USAGE_AUTH;
1508         }
1509
1510         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1511         if ( p ) {
1512           key_expire = keytimestamp + buffer_to_u32(p);
1513           key_expire_seen = 1;
1514         }
1515
1516         /* mark that key as valid: one direct key signature should 
1517          * render a key as valid */
1518         pk->is_valid = 1;
1519     }
1520
1521     /* pass 1.5: look for key revocation signatures that were not made
1522        by the key (i.e. did a revocation key issue a revocation for
1523        us?).  Only bother to do this if there is a revocation key in
1524        the first place and we're not revoked already. */
1525
1526     if(!*r_revoked && pk->revkey)
1527       for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next )
1528         {
1529           if ( k->pkt->pkttype == PKT_SIGNATURE )
1530             {
1531               PKT_signature *sig = k->pkt->pkt.signature;
1532
1533               if(IS_KEY_REV(sig) &&
1534                  (sig->keyid[0]!=kid[0] || sig->keyid[1]!=kid[1]))
1535                 { 
1536                   int rc=check_revocation_keys(pk,sig);
1537                   if(rc==0)
1538                     {
1539                       *r_revoked=2;
1540                       /* don't continue checking since we can't be any
1541                          more revoked than this */
1542                       break;
1543                     }
1544                   else if(rc==G10ERR_NO_PUBKEY)
1545                     pk->maybe_revoked=1;
1546
1547                   /* A failure here means the sig did not verify, was
1548                      not issued by a revocation key, or a revocation
1549                      key loop was broken.  If a revocation key isn't
1550                      findable, however, the key might be revoked and
1551                      we don't know it. */
1552
1553                   /* TODO: In the future handle subkey and cert
1554                      revocations?  PGP doesn't, but it's in 2440. */
1555                 }
1556             }
1557         }
1558
1559     /* second pass: look at the self-signature of all user IDs */
1560     signode = uidnode = NULL;
1561     sigdate = 0; /* helper to find the latest signature in one user ID */
1562     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1563         if ( k->pkt->pkttype == PKT_USER_ID ) {
1564             if ( uidnode && signode ) 
1565               {
1566                 fixup_uidnode ( uidnode, signode, keytimestamp );
1567                 pk->is_valid=1;
1568               }
1569             uidnode = k;
1570             signode = NULL;
1571             sigdate = 0;
1572         }
1573         else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode ) {
1574             PKT_signature *sig = k->pkt->pkt.signature;
1575             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1576                 if ( check_key_signature( keyblock, k, NULL ) )
1577                     ; /* signature did not verify */
1578                 else if ( (IS_UID_SIG (sig) || IS_UID_REV (sig))
1579                           && sig->timestamp >= sigdate ) {
1580                     /* Note: we allow to invalidate cert revocations
1581                      * by a newer signature.  An attacker can't use this
1582                      * because a key should be revoced with a key revocation.
1583                      * The reason why we have to allow for that is that at
1584                      * one time an email address may become invalid but later
1585                      * the same email address may become valid again (hired,
1586                      * fired, hired again).
1587                      */
1588                     if(sig->flags.expired) {
1589                       /* Expired uids don't get to be primary unless
1590                          they are the only uid there is. */
1591                       uidnode->pkt->pkt.user_id->is_primary=0;
1592                       uidnode->pkt->pkt.user_id->is_expired=1;
1593                       uidnode->pkt->pkt.user_id->expiredate=sig->expiredate;
1594                     }
1595                     else {
1596                         sigdate = sig->timestamp;
1597                         signode = k;
1598                         if( sig->version > sigversion )
1599                           sigversion = sig->version;
1600                     }
1601                 }
1602             }
1603         }
1604     }
1605     if ( uidnode && signode ) {
1606         fixup_uidnode ( uidnode, signode, keytimestamp );
1607         pk->is_valid = 1;
1608     }
1609
1610     /* If the key isn't valid yet, and we have
1611        --allow-non-selfsigned-uid set, then force it valid. */
1612     if(!pk->is_valid && opt.allow_non_selfsigned_uid)
1613       {
1614         if(opt.verbose)
1615           log_info(_("Invalid key %08lX made valid by "
1616                      "--allow-non-selfsigned-uid\n"),
1617                    (ulong)keyid_from_pk(pk,NULL));
1618
1619         pk->is_valid = 1;
1620       }
1621
1622     /* The key STILL isn't valid, so try and find an ultimately
1623        trusted signature. */
1624     if(!pk->is_valid)
1625       {
1626         uidnode=NULL;
1627
1628         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k=k->next)
1629           {
1630             if ( k->pkt->pkttype == PKT_USER_ID )
1631               uidnode = k;
1632             else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode )
1633               {
1634                 PKT_signature *sig = k->pkt->pkt.signature;
1635
1636                 if(sig->keyid[0] != kid[0] || sig->keyid[1]!=kid[1])
1637                   {
1638                     PKT_public_key *ultimate_pk;
1639
1640                     ultimate_pk=m_alloc_clear(sizeof(*ultimate_pk));
1641
1642                     /* We don't want to use the full get_pubkey to
1643                        avoid infinite recursion in certain cases.
1644                        There is no reason to check that an ultimately
1645                        trusted key is still valid - if it has been
1646                        revoked or the user should also renmove the
1647                        ultimate trust flag.  */
1648                     if(get_pubkey_fast(ultimate_pk,sig->keyid)==0
1649                        && check_key_signature2(keyblock,k,ultimate_pk,
1650                                                NULL,NULL,NULL,NULL)==0
1651                        && get_ownertrust(ultimate_pk)==TRUST_ULTIMATE)
1652                       {
1653                         free_public_key(ultimate_pk);
1654                         pk->is_valid=1;
1655                         break;
1656                       }
1657
1658                     free_public_key(ultimate_pk);
1659                   }
1660               }
1661           }
1662       }
1663
1664     /* Record the highest selfsig version so we know if this is a v3
1665        key through and through, or a v3 key with a v4 selfsig
1666        somewhere.  This is useful in a few places to know if the key
1667        must be treated as PGP2-style or OpenPGP-style.  Note that a
1668        selfsig revocation with a higher version number will also raise
1669        this value.  This is okay since such a revocation must be
1670        issued by the user (i.e. it cannot be issued by someone else to
1671        modify the key behavior.) */
1672
1673     pk->selfsigversion=sigversion;
1674
1675     /* Now that we had a look at all user IDs we can now get some information
1676      * from those user IDs.
1677      */
1678     
1679     if ( !key_usage ) {
1680         /* find the latest user ID with key flags set */
1681         uiddate = 0; /* helper to find the latest user ID */
1682         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1683             k = k->next ) {
1684             if ( k->pkt->pkttype == PKT_USER_ID ) {
1685                 PKT_user_id *uid = k->pkt->pkt.user_id;
1686                 if ( uid->help_key_usage && uid->created > uiddate ) {
1687                     key_usage = uid->help_key_usage;
1688                     uiddate = uid->created;
1689                 }
1690             }
1691         }
1692     }
1693     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1694         key_usage = openpgp_pk_algo_usage ( pk->pubkey_algo );
1695     }
1696     else { /* check that the usage matches the usage as given by the algo */
1697         int x = openpgp_pk_algo_usage ( pk->pubkey_algo );
1698         if ( x ) /* mask it down to the actual allowed usage */
1699             key_usage &= x; 
1700     }
1701     pk->pubkey_usage = key_usage;
1702
1703     if ( !key_expire_seen ) {
1704         /* find the latest valid user ID with a key expiration set 
1705          * Note, that this may be a different one from the above because
1706          * some user IDs may have no expiration date set */
1707         uiddate = 0; 
1708         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1709             k = k->next ) {
1710             if ( k->pkt->pkttype == PKT_USER_ID ) {
1711                 PKT_user_id *uid = k->pkt->pkt.user_id;
1712                 if ( uid->help_key_expire && uid->created > uiddate ) {
1713                     key_expire = uid->help_key_expire;
1714                     uiddate = uid->created;
1715                 }
1716             }
1717         }
1718     }
1719
1720     /* Currently only v3 keys have a maximum expiration date, but I'll
1721        bet v5 keys get this feature again. */
1722     if(key_expire==0 || (pk->max_expiredate && key_expire>pk->max_expiredate))
1723       key_expire=pk->max_expiredate;
1724
1725     pk->has_expired = key_expire >= curtime? 0 : key_expire;
1726     pk->expiredate = key_expire;
1727
1728     /* Fixme: we should see how to get rid of the expiretime fields  but
1729      * this needs changes at other places too. */
1730
1731     /* and now find the real primary user ID and delete all others */
1732     uiddate = uiddate2 = 0;
1733     uidnode = uidnode2 = NULL;
1734     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1735         if ( k->pkt->pkttype == PKT_USER_ID &&
1736              !k->pkt->pkt.user_id->attrib_data) {
1737             PKT_user_id *uid = k->pkt->pkt.user_id;
1738             if (uid->is_primary)
1739               {
1740                 if(uid->created > uiddate)
1741                   {
1742                     uiddate = uid->created;
1743                     uidnode = k;
1744                   }
1745                 else if(uid->created==uiddate && uidnode)
1746                   {
1747                     /* The dates are equal, so we need to do a
1748                        different (and arbitrary) comparison.  This
1749                        should rarely, if ever, happen.  It's good to
1750                        try and guarantee that two different GnuPG
1751                        users with two different keyrings at least pick
1752                        the same primary. */
1753                     if(cmp_user_ids(uid,uidnode->pkt->pkt.user_id)>0)
1754                       uidnode=k;
1755                   }
1756               }
1757             else
1758               {
1759                 if(uid->created > uiddate2)
1760                   {
1761                     uiddate2 = uid->created;
1762                     uidnode2 = k;
1763                   }
1764                 else if(uid->created==uiddate2 && uidnode2)
1765                   {
1766                     if(cmp_user_ids(uid,uidnode2->pkt->pkt.user_id)>0)
1767                       uidnode2=k;
1768                   }
1769               }
1770         }
1771     }
1772     if ( uidnode ) {
1773         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1774             k = k->next ) {
1775             if ( k->pkt->pkttype == PKT_USER_ID &&
1776                  !k->pkt->pkt.user_id->attrib_data) {
1777                 PKT_user_id *uid = k->pkt->pkt.user_id;
1778                 if ( k != uidnode ) 
1779                     uid->is_primary = 0;
1780             }
1781         }
1782     }
1783     else if( uidnode2 ) {
1784         /* none is flagged primary - use the latest user ID we have,
1785            and disambiguate with the arbitrary packet comparison. */
1786         uidnode2->pkt->pkt.user_id->is_primary = 1;
1787     }
1788     else
1789       {
1790         /* None of our uids were self-signed, so pick the one that
1791            sorts first to be the primary.  This is the best we can do
1792            here since there are no self sigs to date the uids. */
1793
1794         uidnode = NULL;
1795
1796         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1797             k = k->next )
1798           {
1799             if(k->pkt->pkttype==PKT_USER_ID
1800                && !k->pkt->pkt.user_id->attrib_data)
1801               {
1802                 if(!uidnode)
1803                   {
1804                     uidnode=k;
1805                     uidnode->pkt->pkt.user_id->is_primary=1;
1806                     continue;
1807                   }
1808                 else
1809                   {
1810                     if(cmp_user_ids(k->pkt->pkt.user_id,
1811                                     uidnode->pkt->pkt.user_id)>0)
1812                       {
1813                         uidnode->pkt->pkt.user_id->is_primary=0;
1814                         uidnode=k;
1815                         uidnode->pkt->pkt.user_id->is_primary=1;
1816                       }
1817                     else
1818                       k->pkt->pkt.user_id->is_primary=0; /* just to be
1819                                                             safe */
1820                   }
1821               }
1822           }
1823       }
1824 }
1825
1826
1827 static void
1828 merge_selfsigs_subkey( KBNODE keyblock, KBNODE subnode )
1829 {
1830     PKT_public_key *mainpk = NULL, *subpk = NULL;
1831     PKT_signature *sig;
1832     KBNODE k;
1833     u32 mainkid[2];
1834     u32 sigdate = 0;
1835     KBNODE signode;
1836     u32 curtime = make_timestamp ();
1837     unsigned int key_usage = 0;
1838     u32 keytimestamp = 0;
1839     u32 key_expire = 0;
1840     const byte *p;
1841     size_t n;
1842
1843     if ( subnode->pkt->pkttype != PKT_PUBLIC_SUBKEY )
1844         BUG ();
1845     mainpk = keyblock->pkt->pkt.public_key;
1846     if ( mainpk->version < 4 )
1847         return; /* (actually this should never happen) */
1848     keyid_from_pk( mainpk, mainkid );
1849     subpk = subnode->pkt->pkt.public_key;
1850     keytimestamp = subpk->timestamp;
1851
1852     subpk->is_valid = 0;
1853     subpk->main_keyid[0] = mainpk->main_keyid[0];
1854     subpk->main_keyid[1] = mainpk->main_keyid[1];
1855
1856     /* find the latest key binding self-signature. */
1857     signode = NULL;
1858     sigdate = 0; /* helper to find the latest signature */
1859     for(k=subnode->next; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1860                                                         k = k->next ) {
1861         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1862             sig = k->pkt->pkt.signature;
1863             if ( sig->keyid[0] == mainkid[0] && sig->keyid[1]==mainkid[1] ) { 
1864                 if ( check_key_signature( keyblock, k, NULL ) )
1865                     ; /* signature did not verify */
1866                 else if ( IS_SUBKEY_REV (sig) ) {
1867                   /* Note that this means that the date on a
1868                      revocation sig does not matter - even if the
1869                      binding sig is dated after the revocation sig,
1870                      the subkey is still marked as revoked.  This
1871                      seems ok, as it is just as easy to make new
1872                      subkeys rather than re-sign old ones as the
1873                      problem is in the distribution.  Plus, PGP (7)
1874                      does this the same way.  */
1875                     subpk->is_revoked = 1;
1876                     /* although we could stop now, we continue to 
1877                      * figure out other information like the old expiration
1878                      * time */
1879                 }
1880                 else if ( IS_SUBKEY_SIG (sig) && sig->timestamp >= sigdate ) {
1881                     if(sig->flags.expired)
1882                         ; /* signature has expired - ignore it */
1883                     else {
1884                         sigdate = sig->timestamp;
1885                         signode = k;
1886                     }
1887                 }
1888             }
1889         }
1890     }
1891
1892     if ( !signode ) {
1893         return;  /* no valid key binding */
1894     }
1895
1896     subpk->is_valid = 1;
1897     sig = signode->pkt->pkt.signature;
1898         
1899     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1900     if ( p && n ) {
1901         /* first octet of the keyflags */   
1902         if ( (*p & 3) )
1903             key_usage |= PUBKEY_USAGE_SIG;
1904         if ( (*p & 12) )    
1905             key_usage |= PUBKEY_USAGE_ENC;
1906         if ( (*p & 0x20) )    
1907             key_usage |= PUBKEY_USAGE_AUTH;
1908     }
1909     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1910         key_usage = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1911     }
1912     else { /* check that the usage matches the usage as given by the algo */
1913         int x = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1914         if ( x ) /* mask it down to the actual allowed usage */
1915             key_usage &= x; 
1916     }
1917     subpk->pubkey_usage = key_usage;
1918     
1919     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1920     if ( p ) 
1921         key_expire = keytimestamp + buffer_to_u32(p);
1922     else
1923         key_expire = 0;
1924     subpk->has_expired = key_expire >= curtime? 0 : key_expire;
1925     subpk->expiredate = key_expire;
1926 }
1927
1928
1929
1930 /* 
1931  * Merge information from the self-signatures with the key, so that
1932  * we can later use them more easy.
1933  * The function works by first applying the self signatures to the
1934  * primary key and the to each subkey.
1935  * Here are the rules we use to decide which inormation from which
1936  * self-signature is used:
1937  * We check all self signatures or validity and ignore all invalid signatures.
1938  * All signatures are then ordered by their creation date ....
1939  * For the primary key:
1940  *   FIXME the docs    
1941  */
1942 static void
1943 merge_selfsigs( KBNODE keyblock )
1944 {
1945     KBNODE k;
1946     int revoked;
1947     PKT_public_key *main_pk;
1948     prefitem_t *prefs;
1949     int mdc_feature;
1950
1951     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY ) {
1952         if (keyblock->pkt->pkttype == PKT_SECRET_KEY ) {
1953             log_error ("expected public key but found secret key "
1954                        "- must stop\n");
1955             /* we better exit here becuase a public key is expected at
1956                other places too.  FIXME: Figure this out earlier and
1957                don't get to here at all */
1958             g10_exit (1);
1959         }
1960         BUG ();
1961     }
1962
1963     merge_selfsigs_main ( keyblock, &revoked );
1964
1965     /* now merge in the data from each of the subkeys */
1966     for(k=keyblock; k; k = k->next ) {
1967         if (  k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1968             merge_selfsigs_subkey ( keyblock, k );
1969         }
1970     }
1971
1972     main_pk = keyblock->pkt->pkt.public_key;
1973     if ( revoked || main_pk->has_expired || !main_pk->is_valid ) {
1974         /* if the primary key is revoked, expired, or invalid we
1975          * better set the appropriate flags on that key and all
1976          * subkeys */
1977         for(k=keyblock; k; k = k->next ) {
1978             if ( k->pkt->pkttype == PKT_PUBLIC_KEY
1979                 || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1980                 PKT_public_key *pk = k->pkt->pkt.public_key;
1981                 if(!main_pk->is_valid)
1982                   pk->is_valid = 0;
1983                 if(revoked && !pk->is_revoked)
1984                   pk->is_revoked = revoked;
1985                 if(main_pk->has_expired)
1986                   pk->has_expired = main_pk->has_expired;
1987             }
1988         }
1989         return;
1990     }
1991
1992     /* set the preference list of all keys to those of the primary real
1993      * user ID.  Note: we use these preferences when we don't know by
1994      * which user ID the key has been selected.
1995      * fixme: we should keep atoms of commonly used preferences or
1996      * use reference counting to optimize the preference lists storage.
1997      * FIXME: it might be better to use the intersection of 
1998      * all preferences.
1999      * Do a similar thing for the MDC feature flag.
2000      */
2001     prefs = NULL;
2002     mdc_feature = 0;
2003     for (k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next) {
2004         if (k->pkt->pkttype == PKT_USER_ID
2005             && !k->pkt->pkt.user_id->attrib_data
2006             && k->pkt->pkt.user_id->is_primary) {
2007             prefs = k->pkt->pkt.user_id->prefs;
2008             mdc_feature = k->pkt->pkt.user_id->mdc_feature;
2009             break;
2010         }
2011     }    
2012     for(k=keyblock; k; k = k->next ) {
2013         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
2014              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
2015             PKT_public_key *pk = k->pkt->pkt.public_key;
2016             if (pk->prefs)
2017                 m_free (pk->prefs);
2018             pk->prefs = copy_prefs (prefs);
2019             pk->mdc_feature = mdc_feature;
2020         }
2021     }
2022 }
2023
2024
2025 /*
2026  * Merge the secret keys from secblock into the pubblock thereby
2027  * replacing the public (sub)keys with their secret counterparts Hmmm:
2028  * It might be better to get away from the concept of entire secret
2029  * keys at all and have a way to store just the real secret parts
2030  * from the key.
2031  */
2032 static void
2033 merge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
2034 {
2035     KBNODE pub;
2036
2037     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
2038     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
2039     
2040     for (pub=pubblock; pub; pub = pub->next ) {
2041         if ( pub->pkt->pkttype == PKT_PUBLIC_KEY ) {
2042              PKT_public_key *pk = pub->pkt->pkt.public_key;
2043              PKT_secret_key *sk = secblock->pkt->pkt.secret_key;
2044              assert ( pub == pubblock ); /* only in the first node */
2045              /* there is nothing to compare in this case, so just replace
2046               * some information */
2047              copy_public_parts_to_secret_key ( pk, sk );
2048              free_public_key ( pk );
2049              pub->pkt->pkttype = PKT_SECRET_KEY;
2050              pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
2051         }
2052         else if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
2053             KBNODE sec;
2054             PKT_public_key *pk = pub->pkt->pkt.public_key;
2055
2056             /* this is more complicated: it may happen that the sequence
2057              * of the subkeys dosn't match, so we have to find the
2058              * appropriate secret key */
2059             for (sec=secblock->next; sec; sec = sec->next ) {
2060                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
2061                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
2062                     if ( !cmp_public_secret_key ( pk, sk ) ) {
2063                         copy_public_parts_to_secret_key ( pk, sk );
2064                         free_public_key ( pk );
2065                         pub->pkt->pkttype = PKT_SECRET_SUBKEY;
2066                         pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
2067                         break;
2068                     }
2069                 }
2070             }
2071             if ( !sec ) 
2072                 BUG(); /* already checked in premerge */
2073         }
2074     }
2075 }
2076
2077 /* This function checks that for every public subkey a corresponding
2078  * secret subkey is available and deletes the public subkey otherwise.
2079  * We need this function because we can't delete it later when we
2080  * actually merge the secret parts into the pubring.
2081  * The function also plays some games with the node flags.
2082  */
2083 static void
2084 premerge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
2085 {
2086     KBNODE last, pub;
2087
2088     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
2089     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
2090     
2091     for (pub=pubblock,last=NULL; pub; last = pub, pub = pub->next ) {
2092         pub->flag &= ~3; /* reset bits 0 and 1 */
2093         if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
2094             KBNODE sec;
2095             PKT_public_key *pk = pub->pkt->pkt.public_key;
2096
2097             for (sec=secblock->next; sec; sec = sec->next ) {
2098                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
2099                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
2100                     if ( !cmp_public_secret_key ( pk, sk ) ) {
2101                         if ( sk->protect.s2k.mode == 1001 ) {
2102                             /* The secret parts are not available so
2103                                we can't use that key for signing etc.
2104                                Fix the pubkey usage */
2105                             pk->pubkey_usage &= ~(PUBKEY_USAGE_SIG
2106                                                   |PUBKEY_USAGE_AUTH);
2107                         }
2108                         /* transfer flag bits 0 and 1 to the pubblock */
2109                         pub->flag |= (sec->flag &3);
2110                         break;
2111                     }
2112                 }
2113             }
2114             if ( !sec ) {
2115                 KBNODE next, ll;
2116
2117                 if (opt.verbose)
2118                   log_info ( _("no secret subkey "
2119                                "for public subkey %08lX - ignoring\n"),  
2120                            (ulong)keyid_from_pk (pk,NULL) );
2121                 /* we have to remove the subkey in this case */
2122                 assert ( last );
2123                 /* find the next subkey */
2124                 for (next=pub->next,ll=pub;
2125                      next && pub->pkt->pkttype != PKT_PUBLIC_SUBKEY;
2126                      ll = next, next = next->next ) 
2127                     ;
2128                 /* make new link */
2129                 last->next = next;
2130                 /* release this public subkey with all sigs */
2131                 ll->next = NULL;
2132                 release_kbnode( pub );
2133                 /* let the loop continue */
2134                 pub = last;
2135             }
2136         }
2137     }
2138     /* We need to copy the found bits (0 and 1) from the secret key to
2139        the public key.  This has already been done for the subkeys but
2140        got lost on the primary key - fix it here *. */
2141     pubblock->flag |= (secblock->flag & 3);
2142 }
2143
2144
2145
2146 \f
2147 /* See see whether the key fits
2148  * our requirements and in case we do not
2149  * request the primary key, we should select
2150  * a suitable subkey.
2151  * FIXME: Check against PGP 7 whether we still need a kludge
2152  *        to favor type 16 keys over type 20 keys when type 20
2153  *        has not been explitely requested.
2154  * Returns: True when a suitable key has been found.
2155  *
2156  * We have to distinguish four cases:  FIXME!
2157  *  1. No usage and no primary key requested
2158  *     Examples for this case are that we have a keyID to be used
2159  *     for decrytion or verification.
2160  *  2. No usage but primary key requested
2161  *     This is the case for all functions which work on an
2162  *     entire keyblock, e.g. for editing or listing
2163  *  3. Usage and primary key requested
2164  *     FXME
2165  *  4. Usage but no primary key requested
2166  *     FIXME
2167  * FIXME: Tell what is going to happen here and something about the rationale
2168  * Note: We don't use this function if no specific usage is requested;
2169  *       This way the getkey functions can be used for plain key listings.
2170  *
2171  * CTX ist the keyblock we are investigating, if FOUNDK is not NULL this
2172  * is the key we actually found by looking at the keyid or a fingerprint and
2173  * may eitehr point to the primary or one of the subkeys.
2174  */
2175
2176 static int
2177 finish_lookup (GETKEY_CTX ctx)
2178 {
2179     KBNODE keyblock = ctx->keyblock;
2180     KBNODE k;
2181     KBNODE foundk = NULL;
2182     PKT_user_id *foundu = NULL;
2183 #define USAGE_MASK  (PUBKEY_USAGE_SIG|PUBKEY_USAGE_ENC)
2184     unsigned int req_usage = ( ctx->req_usage & USAGE_MASK );
2185     /* Request the primary if we're certifying another key, and also
2186        if signing data while --pgp6 or --pgp7 is on since pgp 6 and 7
2187        do not understand signatures made by a signing subkey.  PGP 8
2188        does. */
2189     int req_prim = (ctx->req_usage & PUBKEY_USAGE_CERT) ||
2190       ((PGP6 || PGP7) && (ctx->req_usage & PUBKEY_USAGE_SIG));
2191     u32 latest_date;
2192     KBNODE latest_key;
2193     u32 curtime = make_timestamp ();
2194
2195     assert( keyblock->pkt->pkttype == PKT_PUBLIC_KEY );
2196    
2197     ctx->found_key = NULL;
2198
2199     if (ctx->exact) {
2200         for (k=keyblock; k; k = k->next) {
2201             if ( (k->flag & 1) ) {
2202                 assert ( k->pkt->pkttype == PKT_PUBLIC_KEY
2203                          || k->pkt->pkttype == PKT_PUBLIC_SUBKEY );
2204                 foundk = k;
2205                 break;
2206             }
2207         }
2208     }
2209
2210     for (k=keyblock; k; k = k->next) {
2211         if ( (k->flag & 2) ) {
2212             assert (k->pkt->pkttype == PKT_USER_ID);
2213             foundu = k->pkt->pkt.user_id;
2214             break;
2215         }
2216     }
2217
2218     if ( DBG_CACHE )
2219         log_debug( "finish_lookup: checking key %08lX (%s)(req_usage=%x)\n",
2220                    (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL),
2221                    foundk? "one":"all", req_usage);
2222
2223     if (!req_usage) {
2224         latest_key = foundk? foundk:keyblock;
2225         goto found;
2226     }
2227     
2228     if (!req_usage) {
2229         PKT_public_key *pk = foundk->pkt->pkt.public_key;
2230         if (pk->user_id)
2231             free_user_id (pk->user_id);
2232         pk->user_id = scopy_user_id (foundu);
2233         ctx->found_key = foundk;
2234         cache_user_id( keyblock );
2235         return 1; /* found */
2236     }
2237     
2238     latest_date = 0;
2239     latest_key  = NULL;
2240     /* do not look at subkeys if a certification key is requested */
2241     if ((!foundk || foundk->pkt->pkttype == PKT_PUBLIC_SUBKEY) && !req_prim) {
2242         KBNODE nextk;
2243         /* either start a loop or check just this one subkey */
2244         for (k=foundk?foundk:keyblock; k; k = nextk ) {
2245             PKT_public_key *pk;
2246             nextk = k->next;
2247             if ( k->pkt->pkttype != PKT_PUBLIC_SUBKEY )
2248                 continue;
2249             if ( foundk )
2250                 nextk = NULL;  /* what a hack */
2251             pk = k->pkt->pkt.public_key;
2252             if (DBG_CACHE)
2253                 log_debug( "\tchecking subkey %08lX\n",
2254                            (ulong)keyid_from_pk( pk, NULL));
2255             if ( !pk->is_valid ) {
2256                 if (DBG_CACHE)
2257                     log_debug( "\tsubkey not valid\n");
2258                 continue;
2259             }
2260             if ( pk->is_revoked ) {
2261                 if (DBG_CACHE)
2262                     log_debug( "\tsubkey has been revoked\n");
2263                 continue;
2264             }
2265             if ( pk->has_expired ) {
2266                 if (DBG_CACHE)
2267                     log_debug( "\tsubkey has expired\n");
2268                 continue;
2269             }
2270             if ( pk->timestamp > curtime && !opt.ignore_valid_from ) {
2271                 if (DBG_CACHE)
2272                     log_debug( "\tsubkey not yet valid\n");
2273                 continue;
2274             }
2275             
2276             if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2277                 if (DBG_CACHE)
2278                     log_debug( "\tusage does not match: want=%x have=%x\n",
2279                                req_usage, pk->pubkey_usage );
2280                 continue;
2281             }
2282
2283             if (DBG_CACHE)
2284                 log_debug( "\tsubkey looks fine\n");
2285             if ( pk->timestamp > latest_date ) {
2286                 latest_date = pk->timestamp;
2287                 latest_key  = k;
2288             }
2289         }
2290     }
2291
2292     /* Okay now try the primary key unless we want an exact 
2293      * key ID match on a subkey */
2294     if ((!latest_key && !(ctx->exact && foundk != keyblock)) || req_prim) {
2295         PKT_public_key *pk;
2296         if (DBG_CACHE && !foundk && !req_prim )
2297             log_debug( "\tno suitable subkeys found - trying primary\n");
2298         pk = keyblock->pkt->pkt.public_key;
2299         if ( !pk->is_valid ) {
2300             if (DBG_CACHE)
2301                 log_debug( "\tprimary key not valid\n");
2302         }
2303         else if ( pk->is_revoked ) {
2304             if (DBG_CACHE)
2305                 log_debug( "\tprimary key has been revoked\n");
2306         }
2307         else if ( pk->has_expired ) {
2308             if (DBG_CACHE)
2309                 log_debug( "\tprimary key has expired\n");
2310         }
2311         else  if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2312             if (DBG_CACHE)
2313                 log_debug( "\tprimary key usage does not match: "
2314                            "want=%x have=%x\n",
2315                            req_usage, pk->pubkey_usage );
2316         }
2317         else { /* okay */
2318             if (DBG_CACHE)
2319                 log_debug( "\tprimary key may be used\n");
2320             latest_key = keyblock;
2321             latest_date = pk->timestamp;
2322         }
2323     }
2324     
2325     if ( !latest_key ) {
2326         if (DBG_CACHE)
2327             log_debug("\tno suitable key found -  giving up\n");
2328         return 0;
2329     }
2330
2331  found:
2332     if (DBG_CACHE)
2333         log_debug( "\tusing key %08lX\n",
2334                 (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL) );
2335
2336     if (latest_key) {
2337         PKT_public_key *pk = latest_key->pkt->pkt.public_key;
2338         if (pk->user_id)
2339             free_user_id (pk->user_id);
2340         pk->user_id = scopy_user_id (foundu);
2341     }    
2342         
2343     ctx->found_key = latest_key;
2344
2345     if (latest_key != keyblock && opt.verbose) {
2346         log_info(_("using secondary key %08lX "
2347                    "instead of primary key %08lX\n"),
2348                  (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL),
2349                  (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL) );
2350     }
2351
2352     cache_user_id( keyblock );
2353     
2354     return 1; /* found */
2355 }
2356
2357
2358 static int
2359 lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode )
2360 {
2361     int rc;
2362     KBNODE secblock = NULL; /* helper */
2363     int no_suitable_key = 0;
2364     
2365     rc = 0;
2366     while (!(rc = keydb_search (ctx->kr_handle, ctx->items, ctx->nitems))) {
2367         /* If we are searching for the first key we have to make sure
2368            that the next interation does not no an implicit reset.
2369            This can be triggered by an empty key ring. */
2370         if (ctx->nitems && ctx->items->mode == KEYDB_SEARCH_MODE_FIRST)
2371             ctx->items->mode = KEYDB_SEARCH_MODE_NEXT;
2372
2373         rc = keydb_get_keyblock (ctx->kr_handle, &ctx->keyblock);
2374         if (rc) {
2375             log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
2376             rc = 0;
2377             goto skip;
2378         }
2379                        
2380         if ( secmode ) {
2381             /* find the correspondig public key and use this 
2382              * this one for the selection process */
2383             u32 aki[2];
2384             KBNODE k = ctx->keyblock;
2385             
2386             if (k->pkt->pkttype != PKT_SECRET_KEY)
2387                 BUG();
2388
2389             keyid_from_sk (k->pkt->pkt.secret_key, aki);
2390             k = get_pubkeyblock (aki);
2391             if( !k ) {
2392                 if (!opt.quiet)
2393                     log_info(_("key %08lX: secret key without public key "
2394                                "- skipped\n"),  (ulong)aki[1] );
2395                 goto skip;
2396             }
2397             secblock = ctx->keyblock;
2398             ctx->keyblock = k;
2399
2400             premerge_public_with_secret ( ctx->keyblock, secblock );
2401         }
2402
2403         /* warning: node flag bits 0 and 1 should be preserved by
2404          * merge_selfsigs.  For secret keys, premerge did tranfer the
2405          * keys to the keyblock */
2406         merge_selfsigs ( ctx->keyblock );
2407         if ( finish_lookup (ctx) ) {
2408             no_suitable_key = 0;
2409             if ( secmode ) {
2410                 merge_public_with_secret ( ctx->keyblock,
2411                                            secblock);
2412                 release_kbnode (secblock);
2413                 secblock = NULL;
2414             }
2415             goto found;
2416         }
2417         else
2418             no_suitable_key = 1;
2419         
2420       skip:
2421         /* release resources and continue search */
2422         if ( secmode ) {
2423             release_kbnode( secblock );
2424             secblock = NULL;
2425         }
2426         release_kbnode( ctx->keyblock );
2427         ctx->keyblock = NULL;
2428     }
2429
2430   found:
2431     if( rc && rc != -1 )
2432         log_error("keydb_search failed: %s\n", g10_errstr(rc));
2433
2434     if( !rc ) {
2435         *ret_keyblock = ctx->keyblock; /* return the keyblock */
2436         ctx->keyblock = NULL;
2437     }
2438     else if (rc == -1 && no_suitable_key)
2439         rc = secmode ? G10ERR_UNU_SECKEY : G10ERR_UNU_PUBKEY;
2440     else if( rc == -1 )
2441         rc = secmode ? G10ERR_NO_SECKEY : G10ERR_NO_PUBKEY;
2442
2443     if ( secmode ) {
2444         release_kbnode( secblock );
2445         secblock = NULL;
2446     }
2447     release_kbnode( ctx->keyblock );
2448     ctx->keyblock = NULL;
2449
2450     ctx->last_rc = rc;
2451     return rc;
2452 }
2453
2454
2455
2456
2457 /****************
2458  * FIXME: Replace by the generic function 
2459  *        It does not work as it is right now - it is used at 
2460  *        2 places:  a) to get the key for an anonyous recipient
2461  *                   b) to get the ultimately trusted keys.
2462  *        The a) usage might have some problems.
2463  *
2464  * set with_subkeys true to include subkeys
2465  * set with_spm true to include secret-parts-missing keys
2466  *
2467  * Enumerate all primary secret keys.  Caller must use these procedure:
2468  *  1) create a void pointer and initialize it to NULL
2469  *  2) pass this void pointer by reference to this function
2470  *     and provide space for the secret key (pass a buffer for sk)
2471  *  3) call this function as long as it does not return -1
2472  *     to indicate EOF.
2473  *  4) Always call this function a last time with SK set to NULL,
2474  *     so that can free it's context.
2475  */
2476 int
2477 enum_secret_keys( void **context, PKT_secret_key *sk,
2478                   int with_subkeys, int with_spm )
2479 {
2480     int rc=0;
2481     struct {
2482         int eof;
2483         int first;
2484         KEYDB_HANDLE hd;
2485         KBNODE keyblock;
2486         KBNODE node;
2487     } *c = *context;
2488
2489
2490     if( !c ) { /* make a new context */
2491         c = m_alloc_clear( sizeof *c );
2492         *context = c;
2493         c->hd = keydb_new (1);
2494         c->first = 1;
2495         c->keyblock = NULL;
2496         c->node = NULL;
2497     }
2498
2499     if( !sk ) { /* free the context */
2500         keydb_release (c->hd);
2501         release_kbnode (c->keyblock);
2502         m_free( c );
2503         *context = NULL;
2504         return 0;
2505     }
2506
2507     if( c->eof )
2508         return -1;
2509
2510     do {
2511         /* get the next secret key from the current keyblock */
2512         for (; c->node; c->node = c->node->next) {
2513             if ((c->node->pkt->pkttype == PKT_SECRET_KEY
2514                 || (with_subkeys
2515                     && c->node->pkt->pkttype == PKT_SECRET_SUBKEY) )
2516                 && !(c->node->pkt->pkt.secret_key->protect.s2k.mode==1001
2517                      && !with_spm)) {
2518                 copy_secret_key (sk, c->node->pkt->pkt.secret_key );
2519                 c->node = c->node->next;
2520                 return 0; /* found */
2521             }
2522         }
2523         release_kbnode (c->keyblock);
2524         c->keyblock = c->node = NULL;
2525         
2526         rc = c->first? keydb_search_first (c->hd) : keydb_search_next (c->hd);
2527         c->first = 0;
2528         if (rc) {
2529             keydb_release (c->hd); c->hd = NULL;
2530             c->eof = 1;
2531             return -1; /* eof */
2532         }
2533         
2534         rc = keydb_get_keyblock (c->hd, &c->keyblock);
2535         c->node = c->keyblock;
2536     } while (!rc);
2537
2538     return rc; /* error */
2539 }
2540
2541
2542 \f
2543 /*********************************************
2544  ***********  user ID printing helpers *******
2545  *********************************************/
2546
2547 /****************
2548  * Return a string with a printable representation of the user_id.
2549  * this string must be freed by m_free.
2550  */
2551 char*
2552 get_user_id_string( u32 *keyid )
2553 {
2554     user_id_db_t r;
2555     char *p;
2556     int pass=0;
2557     /* try it two times; second pass reads from key resources */
2558     do {
2559         for(r=user_id_db; r; r = r->next ) {
2560             keyid_list_t a;
2561             for (a=r->keyids; a; a= a->next ) {
2562                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2563                     p = m_alloc( r->len + 10 );
2564                     sprintf(p, "%08lX %.*s",
2565                             (ulong)keyid[1], r->len, r->name );
2566                     return p;
2567                 }
2568             }
2569         }
2570     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2571     p = m_alloc( 15 );
2572     sprintf(p, "%08lX [?]", (ulong)keyid[1] );
2573     return p;
2574 }
2575
2576
2577 char*
2578 get_user_id_string_printable ( u32 *keyid )
2579 {
2580     char *p = get_user_id_string( keyid );
2581     char *p2 = utf8_to_native( p, strlen(p), 0 );
2582     m_free(p);
2583     p = make_printable_string (p2, strlen (p2), 0);
2584     m_free (p2);
2585     return p;
2586 }
2587
2588
2589 char*
2590 get_long_user_id_string( u32 *keyid )
2591 {
2592     user_id_db_t r;
2593     char *p;
2594     int pass=0;
2595     /* try it two times; second pass reads from key resources */
2596     do {
2597         for(r=user_id_db; r; r = r->next ) {
2598             keyid_list_t a;
2599             for (a=r->keyids; a; a= a->next ) {
2600                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2601                     p = m_alloc( r->len + 20 );
2602                     sprintf(p, "%08lX%08lX %.*s",
2603                             (ulong)keyid[0], (ulong)keyid[1],
2604                             r->len, r->name );
2605                     return p;
2606                 }
2607             }
2608         }
2609     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2610     p = m_alloc( 25 );
2611     sprintf(p, "%08lX%08lX [?]", (ulong)keyid[0], (ulong)keyid[1] );
2612     return p;
2613 }
2614
2615 char*
2616 get_user_id( u32 *keyid, size_t *rn )
2617 {
2618     user_id_db_t r;
2619     char *p;
2620     int pass=0;
2621
2622     /* try it two times; second pass reads from key resources */
2623     do {
2624         for(r=user_id_db; r; r = r->next ) {
2625             keyid_list_t a;
2626             for (a=r->keyids; a; a= a->next ) {
2627                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2628                     p = m_alloc( r->len );
2629                     memcpy(p, r->name, r->len );
2630                     *rn = r->len;
2631                     return p;
2632                 }
2633             }
2634         }
2635     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2636     p = m_strdup( _("[User id not found]") );
2637     *rn = strlen(p);
2638     return p;
2639 }
2640
2641 char*
2642 get_user_id_printable( u32 *keyid )
2643 {
2644     size_t rn;
2645     char *p = get_user_id( keyid, &rn );
2646     char *p2 = utf8_to_native( p, rn, 0 );
2647     m_free(p);
2648     p = make_printable_string (p2, strlen (p2), 0);
2649     m_free (p2);
2650     return p;
2651 }
2652
2653 KEYDB_HANDLE
2654 get_ctx_handle(GETKEY_CTX ctx)
2655 {
2656   return ctx->kr_handle;
2657 }