* import.c (import_one): Only do the work to create the status display for
[gnupg.git] / g10 / getkey.c
1 /* getkey.c -  Get a key from the database
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <assert.h>
26 #include <ctype.h>
27 #include "util.h"
28 #include "packet.h"
29 #include "memory.h"
30 #include "iobuf.h"
31 #include "keydb.h"
32 #include "options.h"
33 #include "main.h"
34 #include "trustdb.h"
35 #include "i18n.h"
36
37 #define MAX_PK_CACHE_ENTRIES   200
38 #define MAX_UID_CACHE_ENTRIES  200
39
40 #if MAX_PK_CACHE_ENTRIES < 2
41   #error We need the cache for key creation
42 #endif
43
44
45 struct getkey_ctx_s {
46     int exact;
47     KBNODE keyblock;
48     KBPOS  kbpos;
49     KBNODE found_key; /* pointer into some keyblock */
50     int last_rc;
51     int req_usage;
52     int req_algo;
53     KEYDB_HANDLE kr_handle;
54     int not_allocated;
55     int nitems;
56     KEYDB_SEARCH_DESC items[1];
57 };
58
59 #if 0
60 static struct {
61     int any;
62     int okay_count;
63     int nokey_count;
64     int error_count;
65 } lkup_stats[21];
66 #endif
67
68 typedef struct keyid_list {
69     struct keyid_list *next;
70     u32 keyid[2];
71 } *keyid_list_t;
72
73
74 #if MAX_PK_CACHE_ENTRIES
75   typedef struct pk_cache_entry {
76       struct pk_cache_entry *next;
77       u32 keyid[2];
78       PKT_public_key *pk;
79   } *pk_cache_entry_t;
80   static pk_cache_entry_t pk_cache;
81   static int pk_cache_entries;   /* number of entries in pk cache */
82   static int pk_cache_disabled;
83 #endif
84
85 #if MAX_UID_CACHE_ENTRIES < 5
86     #error we really need the userid cache
87 #endif
88 typedef struct user_id_db {
89     struct user_id_db *next;
90     keyid_list_t keyids;
91     int len;
92     char name[1];
93 } *user_id_db_t;
94 static user_id_db_t user_id_db;
95 static int uid_cache_entries;   /* number of entries in uid cache */
96
97 static void merge_selfsigs( KBNODE keyblock );
98 static int lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode );
99
100 #if 0
101 static void
102 print_stats()
103 {
104     int i;
105     for(i=0; i < DIM(lkup_stats); i++ ) {
106         if( lkup_stats[i].any )
107             fprintf(stderr,
108                     "lookup stats: mode=%-2d  ok=%-6d  nokey=%-6d  err=%-6d\n",
109                     i,
110                     lkup_stats[i].okay_count,
111                     lkup_stats[i].nokey_count,
112                     lkup_stats[i].error_count );
113     }
114 }
115 #endif
116
117
118 void
119 cache_public_key( PKT_public_key *pk )
120 {
121   #if MAX_PK_CACHE_ENTRIES
122     pk_cache_entry_t ce;
123     u32 keyid[2];
124
125     if( pk_cache_disabled )
126         return;
127
128     if( pk->dont_cache )
129         return;
130
131     if( is_ELGAMAL(pk->pubkey_algo)
132         || pk->pubkey_algo == PUBKEY_ALGO_DSA
133         || is_RSA(pk->pubkey_algo) ) {
134         keyid_from_pk( pk, keyid );
135     }
136     else
137         return; /* don't know how to get the keyid */
138
139     for( ce = pk_cache; ce; ce = ce->next )
140         if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] ) {
141             if( DBG_CACHE )
142                 log_debug("cache_public_key: already in cache\n");
143             return;
144         }
145
146     if( pk_cache_entries >= MAX_PK_CACHE_ENTRIES ) {
147         /* fixme: use another algorithm to free some cache slots */
148         pk_cache_disabled=1;
149         if( opt.verbose > 1 )
150             log_info(_("too many entries in pk cache - disabled\n"));
151         return;
152     }
153     pk_cache_entries++;
154     ce = m_alloc( sizeof *ce );
155     ce->next = pk_cache;
156     pk_cache = ce;
157     ce->pk = copy_public_key( NULL, pk );
158     ce->keyid[0] = keyid[0];
159     ce->keyid[1] = keyid[1];
160   #endif
161 }
162
163
164 /*
165  * Return the user ID from the given keyblock.
166  * We use the primary uid flag which has been set by the merge_selfsigs
167  * function.  The returned value is only valid as long as then given
168  * keyblock is not changed
169  */
170 static const char *
171 get_primary_uid ( KBNODE keyblock, size_t *uidlen )
172 {
173     KBNODE k;
174     const char *s;
175
176     for (k=keyblock; k; k=k->next ) {
177         if ( k->pkt->pkttype == PKT_USER_ID
178              && !k->pkt->pkt.user_id->attrib_data
179              && k->pkt->pkt.user_id->is_primary ) {
180             *uidlen = k->pkt->pkt.user_id->len;
181             return k->pkt->pkt.user_id->name;
182         }
183     } 
184     /* fixme: returning translatable constants instead of a user ID is 
185      * not good because they are probably not utf-8 encoded. */
186     s = _("[User id not found]");
187     *uidlen = strlen (s);
188     return s;
189 }
190
191
192 static void
193 release_keyid_list ( keyid_list_t k )
194 {
195     while (  k ) {
196         keyid_list_t k2 = k->next;
197         m_free (k);
198         k = k2;
199     }
200 }
201
202 /****************
203  * Store the association of keyid and userid
204  * Feed only public keys to this function.
205  */
206 static void
207 cache_user_id( KBNODE keyblock )
208 {
209     user_id_db_t r;
210     const char *uid;
211     size_t uidlen;
212     keyid_list_t keyids = NULL;
213     KBNODE k;
214
215     for (k=keyblock; k; k = k->next ) {
216         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
217              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
218             keyid_list_t a = m_alloc_clear ( sizeof *a );
219             /* Hmmm: For a long list of keyids it might be an advantage
220              * to append the keys */
221             keyid_from_pk( k->pkt->pkt.public_key, a->keyid );
222             /* first check for duplicates */
223             for(r=user_id_db; r; r = r->next ) {
224                 keyid_list_t b = r->keyids;
225                 for ( b = r->keyids; b; b = b->next ) {
226                     if( b->keyid[0] == a->keyid[0]
227                         && b->keyid[1] == a->keyid[1] ) {
228                         if( DBG_CACHE )
229                             log_debug("cache_user_id: already in cache\n");
230                         release_keyid_list ( keyids );
231                         m_free ( a );
232                         return;
233                     }
234                 }
235             }
236             /* now put it into the cache */
237             a->next = keyids;
238             keyids = a;
239         }
240     }
241     if ( !keyids )
242         BUG (); /* No key no fun */
243
244
245     uid = get_primary_uid ( keyblock, &uidlen );
246
247     if( uid_cache_entries >= MAX_UID_CACHE_ENTRIES ) {
248         /* fixme: use another algorithm to free some cache slots */
249         r = user_id_db;
250         user_id_db = r->next;
251         release_keyid_list ( r->keyids );
252         m_free(r);
253         uid_cache_entries--;
254     }
255     r = m_alloc( sizeof *r + uidlen-1 );
256     r->keyids = keyids;
257     r->len = uidlen;
258     memcpy(r->name, uid, r->len);
259     r->next = user_id_db;
260     user_id_db = r;
261     uid_cache_entries++;
262 }
263
264
265 void
266 getkey_disable_caches()
267 {
268   #if MAX_PK_CACHE_ENTRIES
269     {
270         pk_cache_entry_t ce, ce2;
271
272         for( ce = pk_cache; ce; ce = ce2 ) {
273             ce2 = ce->next;
274             free_public_key( ce->pk );
275             m_free( ce );
276         }
277         pk_cache_disabled=1;
278         pk_cache_entries = 0;
279         pk_cache = NULL;
280     }
281   #endif
282     /* fixme: disable user id cache ? */
283 }
284
285
286 static void
287 pk_from_block ( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE keyblock )
288 {
289     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
290
291     assert ( a->pkt->pkttype == PKT_PUBLIC_KEY
292              ||  a->pkt->pkttype == PKT_PUBLIC_SUBKEY );
293      
294     copy_public_key ( pk, a->pkt->pkt.public_key );
295 }
296
297 static void
298 sk_from_block ( GETKEY_CTX ctx,
299                 PKT_secret_key *sk, KBNODE keyblock )
300 {
301     KBNODE a = ctx->found_key ? ctx->found_key : keyblock;
302
303     assert ( a->pkt->pkttype == PKT_SECRET_KEY
304              ||  a->pkt->pkttype == PKT_SECRET_SUBKEY );
305      
306     copy_secret_key( sk, a->pkt->pkt.secret_key);
307 }
308
309
310 /****************
311  * Get a public key and store it into the allocated pk
312  * can be called with PK set to NULL to just read it into some
313  * internal structures.
314  */
315 int
316 get_pubkey( PKT_public_key *pk, u32 *keyid )
317 {
318     int internal = 0;
319     int rc = 0;
320
321   #if MAX_PK_CACHE_ENTRIES
322     {   /* Try to get it from the cache */
323         pk_cache_entry_t ce;
324         for( ce = pk_cache; ce; ce = ce->next ) {
325             if( ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1] ) {
326                 if( pk )
327                     copy_public_key( pk, ce->pk );
328                 return 0;
329             }
330         }
331     }
332   #endif
333     /* more init stuff */
334     if( !pk ) {
335         pk = m_alloc_clear( sizeof *pk );
336         internal++;
337     }
338
339
340     /* do a lookup */
341     {   struct getkey_ctx_s ctx;
342         KBNODE kb = NULL;
343         memset( &ctx, 0, sizeof ctx );
344         ctx.exact = 1; /* use the key ID exactly as given */
345         ctx.not_allocated = 1;
346         ctx.kr_handle = keydb_new (0);
347         ctx.nitems = 1;
348         ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
349         ctx.items[0].u.kid[0] = keyid[0];
350         ctx.items[0].u.kid[1] = keyid[1];
351         ctx.req_algo  = pk->req_algo;
352         ctx.req_usage = pk->req_usage;
353         rc = lookup( &ctx, &kb, 0 );
354         if ( !rc ) {
355             pk_from_block ( &ctx, pk, kb );
356         }
357         get_pubkey_end( &ctx );
358         release_kbnode ( kb );
359     }
360     if( !rc )
361         goto leave;
362
363     rc = G10ERR_NO_PUBKEY;
364
365   leave:
366     if( !rc )
367         cache_public_key( pk );
368     if( internal )
369         free_public_key(pk);
370     return rc;
371 }
372
373
374 /* Get a public key and store it into the allocated pk.  This function
375    differs from get_pubkey() in that it does not do a check of the key
376    to avoid recursion.  It should be used only in very certain cases.  */
377 int
378 get_pubkey_fast (PKT_public_key *pk, u32 *keyid)
379 {
380   int rc = 0;
381   KEYDB_HANDLE hd;
382   KBNODE keyblock;
383   
384   assert (pk);
385 #if MAX_PK_CACHE_ENTRIES
386   { /* Try to get it from the cache */
387     pk_cache_entry_t ce;
388
389     for (ce = pk_cache; ce; ce = ce->next)
390       {
391         if (ce->keyid[0] == keyid[0] && ce->keyid[1] == keyid[1])
392           {
393             if (pk)
394               copy_public_key (pk, ce->pk);
395             return 0;
396           }
397       }
398   }
399 #endif
400
401   hd = keydb_new (0);
402   rc = keydb_search_kid (hd, keyid);
403   if (rc == -1)
404     {
405       keydb_release (hd);
406       return G10ERR_NO_PUBKEY;
407     }
408   rc = keydb_get_keyblock (hd, &keyblock);
409   keydb_release (hd);
410   if (rc) 
411     {
412       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
413       return G10ERR_NO_PUBKEY;
414     }
415   
416   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
417            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
418   copy_public_key (pk, keyblock->pkt->pkt.public_key );
419   release_kbnode (keyblock);
420
421   /* Not caching key here since it won't have all of the fields
422      properly set. */
423
424   return 0;
425 }
426
427
428
429 KBNODE
430 get_pubkeyblock( u32 *keyid )
431 {
432     struct getkey_ctx_s ctx;
433     int rc = 0;
434     KBNODE keyblock = NULL;
435
436     memset( &ctx, 0, sizeof ctx );
437     /* no need to set exact here because we want the entire block */
438     ctx.not_allocated = 1;
439     ctx.kr_handle = keydb_new (0);
440     ctx.nitems = 1;
441     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
442     ctx.items[0].u.kid[0] = keyid[0];
443     ctx.items[0].u.kid[1] = keyid[1];
444     rc = lookup( &ctx, &keyblock, 0 );
445     get_pubkey_end( &ctx );
446
447     return rc ? NULL : keyblock;
448 }
449
450
451
452
453 /****************
454  * Get a secret key and store it into sk
455  */
456 int
457 get_seckey( PKT_secret_key *sk, u32 *keyid )
458 {
459     int rc;
460     struct getkey_ctx_s ctx;
461     KBNODE kb = NULL;
462
463     memset( &ctx, 0, sizeof ctx );
464     ctx.exact = 1; /* use the key ID exactly as given */
465     ctx.not_allocated = 1;
466     ctx.kr_handle = keydb_new (1);
467     ctx.nitems = 1;
468     ctx.items[0].mode = KEYDB_SEARCH_MODE_LONG_KID;
469     ctx.items[0].u.kid[0] = keyid[0];
470     ctx.items[0].u.kid[1] = keyid[1];
471     ctx.req_algo  = sk->req_algo;
472     ctx.req_usage = sk->req_usage;
473     rc = lookup( &ctx, &kb, 1 );
474     if ( !rc ) {
475         sk_from_block ( &ctx, sk, kb );
476     }
477     get_seckey_end( &ctx );
478     release_kbnode ( kb );
479
480     if( !rc ) {
481         /* check the secret key (this may prompt for a passprase to
482          * unlock the secret key
483          */
484         rc = check_secret_key( sk, 0 );
485     }
486
487     return rc;
488 }
489
490
491 /****************
492  * Check whether the secret key is available.  This is just a fast
493  * check and does not tell us whether the secret key is valid.  It
494  * merely tells other whether there is some secret key.
495  * Returns: 0 := key is available
496  * G10ERR_NO_SECKEY := not availabe
497  */
498 int
499 seckey_available( u32 *keyid )
500 {
501     int rc;
502     KEYDB_HANDLE hd = keydb_new (1);
503
504     rc = keydb_search_kid (hd, keyid);
505     if ( rc == -1 )
506         rc = G10ERR_NO_SECKEY;
507     keydb_release (hd);
508     return rc;
509 }
510
511
512 /****************
513  * Return the type of the user id:
514  *
515  * Please use the constants KEYDB_SERCH_MODE_xxx
516  *  0 = Invalid user ID
517  *  1 = exact match
518  *  2 = match a substring
519  *  3 = match an email address
520  *  4 = match a substring of an email address
521  *  5 = match an email address, but compare from end
522  *  6 = word match mode
523  * 10 = it is a short KEYID (don't care about keyid[0])
524  * 11 = it is a long  KEYID
525  * 12 = it is a trustdb index (keyid is looked up)
526  * 16 = it is a 16 byte fingerprint
527  * 20 = it is a 20 byte fingerprint
528  * 21 = Unified fingerprint :fpr:pk_algo:
529  *      (We don't use pk_algo yet)
530  *
531  * Rules used:
532  * - If the username starts with 8,9,16 or 17 hex-digits (the first one
533  *   must be in the range 0..9), this is considered a keyid; depending
534  *   on the length a short or complete one.
535  * - If the username starts with 32,33,40 or 41 hex-digits (the first one
536  *   must be in the range 0..9), this is considered a fingerprint.
537  * - If the username starts with a left angle, we assume it is a complete
538  *   email address and look only at this part.
539  * - If the username starts with a colon we assume it is a unified 
540  *   key specfification. 
541  * - If the username starts with a '.', we assume it is the ending
542  *   part of an email address
543  * - If the username starts with an '@', we assume it is a part of an
544  *   email address
545  * - If the userid start with an '=' an exact compare is done.
546  * - If the userid starts with a '*' a case insensitive substring search is
547  *   done (This is the default).
548  * - If the userid starts with a '+' we will compare individual words
549  *   and a match requires that all the words are in the userid.
550  *   Words are delimited by white space or "()<>[]{}.@-+_,;/&!"
551  *   (note that you can't search for these characters). Compare
552  *   is not case sensitive.
553  */
554
555 static int
556 classify_user_id2( const char *name, 
557                    KEYDB_SEARCH_DESC *desc,
558                    int *force_exact )
559 {
560     const char *s;
561     int hexprefix = 0;
562     int hexlength;
563     int mode = 0;   
564     
565     /* clear the structure so that the mode field is set to zero unless
566      * we set it to the correct value right at the end of this function */
567     memset (desc, 0, sizeof *desc);
568     *force_exact = 0;
569     /* skip leading spaces.  Fixme: what is with trailing spaces? */
570     for(s = name; *s && isspace(*s); s++ )
571         ;
572
573     switch (*s) {
574         case 0:    /* empty string is an error */
575             return 0;
576
577         case '.':  /* an email address, compare from end */
578             mode = KEYDB_SEARCH_MODE_MAILEND;
579             s++;
580             desc->u.name = s;
581             break;
582
583         case '<':  /* an email address */
584             mode = KEYDB_SEARCH_MODE_MAIL;
585             desc->u.name = s;
586             break;
587
588         case '@':  /* part of an email address */
589             mode = KEYDB_SEARCH_MODE_MAILSUB;
590             s++;
591             desc->u.name = s;
592             break;
593
594         case '=':  /* exact compare */
595             mode = KEYDB_SEARCH_MODE_EXACT;
596             s++;
597             desc->u.name = s;
598             break;
599
600         case '*':  /* case insensitive substring search */
601             mode = KEYDB_SEARCH_MODE_SUBSTR;
602             s++;
603             desc->u.name = s;
604             break;
605
606         case '+':  /* compare individual words */
607             mode = KEYDB_SEARCH_MODE_WORDS;
608             s++;
609             desc->u.name = s;
610             break;
611
612         case '#':  /* local user id */
613             return 0; /* This is now obsolete and van't not be used anymore*/
614         
615         case ':': /*Unified fingerprint */
616             {  
617                 const char *se, *si;
618                 int i;
619                 
620                 se = strchr( ++s,':');
621                 if ( !se )
622                     return 0;
623                 for (i=0,si=s; si < se; si++, i++ ) {
624                     if ( !strchr("01234567890abcdefABCDEF", *si ) )
625                         return 0; /* invalid digit */
626                 }
627                 if (i != 32 && i != 40)
628                     return 0; /* invalid length of fpr*/
629                 for (i=0,si=s; si < se; i++, si +=2) 
630                     desc->u.fpr[i] = hextobyte(si);
631                 for ( ; i < 20; i++)
632                     desc->u.fpr[i]= 0;
633                 s = se + 1;
634                 mode = KEYDB_SEARCH_MODE_FPR;
635             } 
636             break;
637            
638         default:
639             if (s[0] == '0' && s[1] == 'x') {
640                 hexprefix = 1;
641                 s += 2;
642             }
643
644             hexlength = strspn(s, "0123456789abcdefABCDEF");
645             if (hexlength >= 8 && s[hexlength] =='!') {
646                 *force_exact = 1;
647                 hexlength++; /* just for the following check */
648             }
649
650             /* check if a hexadecimal number is terminated by EOS or blank */
651             if (hexlength && s[hexlength] && !isspace(s[hexlength])) {
652                 if (hexprefix)      /* a "0x" prefix without correct */
653                     return 0;       /* termination is an error */
654                 else                /* The first chars looked like */
655                     hexlength = 0;  /* a hex number, but really were not. */
656             }
657
658             if (*force_exact)
659                 hexlength--;
660
661             if (hexlength == 8
662                 || (!hexprefix && hexlength == 9 && *s == '0')){
663                 /* short keyid */
664                 if (hexlength == 9)
665                     s++;
666                 desc->u.kid[0] = 0;
667                 desc->u.kid[1] = strtoul( s, NULL, 16 );
668                 mode = KEYDB_SEARCH_MODE_SHORT_KID;
669             }
670             else if (hexlength == 16
671                      || (!hexprefix && hexlength == 17 && *s == '0')) {
672                 /* complete keyid */
673                 char buf[9];
674                 if (hexlength == 17)
675                     s++;
676                 mem2str(buf, s, 9 );
677                 desc->u.kid[0] = strtoul( buf, NULL, 16 );
678                 desc->u.kid[1] = strtoul( s+8, NULL, 16 );
679                 mode = KEYDB_SEARCH_MODE_LONG_KID;
680             }
681             else if (hexlength == 32 || (!hexprefix && hexlength == 33
682                                                             && *s == '0')) {
683                 /* md5 fingerprint */
684                 int i;
685                 if (hexlength == 33)
686                     s++;
687                 memset(desc->u.fpr+16, 0, 4); 
688                 for (i=0; i < 16; i++, s+=2) {
689                     int c = hextobyte(s);
690                     if (c == -1)
691                         return 0;
692                     desc->u.fpr[i] = c;
693                 }
694                 mode = KEYDB_SEARCH_MODE_FPR16;
695             }
696             else if (hexlength == 40 || (!hexprefix && hexlength == 41
697                                                               && *s == '0')) {
698                 /* sha1/rmd160 fingerprint */
699                 int i;
700                 if (hexlength == 41)
701                     s++;
702                 for (i=0; i < 20; i++, s+=2) {
703                     int c = hextobyte(s);
704                     if (c == -1)
705                         return 0;
706                     desc->u.fpr[i] = c;
707                 }
708                 mode = KEYDB_SEARCH_MODE_FPR20;
709             }
710             else {
711                 if (hexprefix)  /* This was a hex number with a prefix */
712                     return 0;   /* and a wrong length */
713
714                 *force_exact = 0;
715                 desc->u.name = s;
716                 mode = KEYDB_SEARCH_MODE_SUBSTR;   /* default mode */
717             }
718     }
719
720     desc->mode = mode;
721     return mode;
722 }
723
724 int
725 classify_user_id (const char *name, KEYDB_SEARCH_DESC *desc)
726 {
727     int dummy;
728     KEYDB_SEARCH_DESC dummy_desc;
729
730     if (!desc)
731         desc = &dummy_desc;
732     return classify_user_id2 (name, desc, &dummy);
733 }
734
735 /****************
736  * Try to get the pubkey by the userid. This function looks for the
737  * first pubkey certificate which has the given name in a user_id.
738  * if pk/sk has the pubkey algo set, the function will only return
739  * a pubkey with that algo.
740  * The caller should provide storage for either the pk or the sk.
741  * If ret_kb is not NULL the function will return the keyblock there.
742  */
743
744 static int
745 key_byname( GETKEY_CTX *retctx, STRLIST namelist,
746             PKT_public_key *pk, PKT_secret_key *sk,
747             int secmode, int include_disabled,
748             KBNODE *ret_kb, KEYDB_HANDLE *ret_kdbhd )
749 {
750     int rc = 0;
751     int n;
752     STRLIST r;
753     GETKEY_CTX ctx;
754     KBNODE help_kb = NULL;
755     int exact;
756     
757     if( retctx ) {/* reset the returned context in case of error */
758         assert (!ret_kdbhd);  /* not allowed because the handle is
759                                  stored in the context */
760         *retctx = NULL;
761     }
762     if (ret_kdbhd)
763         *ret_kdbhd = NULL;
764
765     /* build the search context */
766     for(n=0, r=namelist; r; r = r->next )
767         n++;
768     ctx = m_alloc_clear (sizeof *ctx + (n-1)*sizeof ctx->items );
769     ctx->nitems = n;
770
771     for(n=0, r=namelist; r; r = r->next, n++ ) {
772         classify_user_id2 (r->d, &ctx->items[n], &exact);
773         
774         if (exact)
775             ctx->exact = 1;
776         if (!ctx->items[n].mode) {
777             m_free (ctx);
778             return G10ERR_INV_USER_ID;
779         }
780         if(!include_disabled
781            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_SHORT_KID
782            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_LONG_KID
783            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR16
784            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR20
785            && ctx->items[n].mode!=KEYDB_SEARCH_MODE_FPR)
786           ctx->items[n].skipfnc=is_disabled;
787     }
788
789     ctx->kr_handle = keydb_new (secmode);
790     if ( !ret_kb ) 
791         ret_kb = &help_kb;
792
793     if( secmode ) {
794         if (sk) {
795             ctx->req_algo  = sk->req_algo;
796             ctx->req_usage = sk->req_usage;
797         }
798         rc = lookup( ctx, ret_kb, 1 );
799         if ( !rc && sk ) {
800             sk_from_block ( ctx, sk, *ret_kb );
801         }
802     }
803     else {
804         if (pk) {
805             ctx->req_algo  = pk->req_algo;
806             ctx->req_usage = pk->req_usage;
807         }
808         rc = lookup( ctx, ret_kb, 0 );
809         if ( !rc && pk ) {
810             pk_from_block ( ctx, pk, *ret_kb );
811         }
812     }
813
814     release_kbnode ( help_kb );
815
816     if (retctx) /* caller wants the context */
817         *retctx = ctx;
818     else {
819         if (ret_kdbhd) {
820             *ret_kdbhd = ctx->kr_handle;
821             ctx->kr_handle = NULL;
822         }
823         get_pubkey_end (ctx);
824     }
825
826     return rc;
827 }
828
829 /*
830  * Find a public key from NAME and returh the keyblock or the key.
831  * If ret_kdb is not NULL, the KEYDB handle used to locate this keyblock is
832  * returned and the caller is responsible for closing it.
833  */
834 int
835 get_pubkey_byname (PKT_public_key *pk,
836                    const char *name, KBNODE *ret_keyblock,
837                    KEYDB_HANDLE *ret_kdbhd, int include_disabled ) 
838 {
839     int rc;
840     STRLIST namelist = NULL;
841
842     add_to_strlist( &namelist, name );
843     rc = key_byname( NULL, namelist, pk, NULL, 0,
844                      include_disabled, ret_keyblock, ret_kdbhd);
845     free_strlist( namelist );
846     return rc;
847 }
848
849 int
850 get_pubkey_bynames( GETKEY_CTX *retctx, PKT_public_key *pk,
851                     STRLIST names, KBNODE *ret_keyblock )
852 {
853     return key_byname( retctx, names, pk, NULL, 0, 1, ret_keyblock, NULL);
854 }
855
856 int
857 get_pubkey_next( GETKEY_CTX ctx, PKT_public_key *pk, KBNODE *ret_keyblock )
858 {
859     int rc;
860
861     rc = lookup( ctx, ret_keyblock, 0 );
862     if ( !rc && pk && ret_keyblock )
863         pk_from_block ( ctx, pk, *ret_keyblock );
864     
865     return rc;
866 }
867
868
869 void
870 get_pubkey_end( GETKEY_CTX ctx )
871 {
872     if( ctx ) {
873         memset (&ctx->kbpos, 0, sizeof ctx->kbpos);
874         keydb_release (ctx->kr_handle);
875         if( !ctx->not_allocated )
876             m_free( ctx );
877     }
878 }
879
880
881
882
883 /****************
884  * Search for a key with the given fingerprint.
885  * FIXME:
886  * We should replace this with the _byname function.  Thiscsan be done
887  * by creating a userID conforming to the unified fingerprint style. 
888  */
889 int
890 get_pubkey_byfprint( PKT_public_key *pk,
891                      const byte *fprint, size_t fprint_len)
892 {
893     int rc;
894
895     if( fprint_len == 20 || fprint_len == 16 ) {
896         struct getkey_ctx_s ctx;
897         KBNODE kb = NULL;
898
899         memset( &ctx, 0, sizeof ctx );
900         ctx.exact = 1 ;
901         ctx.not_allocated = 1;
902         ctx.kr_handle = keydb_new (0);
903         ctx.nitems = 1;
904         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
905                                           : KEYDB_SEARCH_MODE_FPR20;
906         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
907         rc = lookup( &ctx, &kb, 0 );
908         if (!rc && pk )
909             pk_from_block ( &ctx, pk, kb );
910         release_kbnode ( kb );
911         get_pubkey_end( &ctx );
912     }
913     else
914         rc = G10ERR_GENERAL; /* Oops */
915     return rc;
916 }
917
918
919 /* Get a public key and store it into the allocated pk.  This function
920    differs from get_pubkey_byfprint() in that it does not do a check
921    of the key to avoid recursion.  It should be used only in very
922    certain cases.  PK may be NULL to check just for the existance of
923    the key. */
924 int
925 get_pubkey_byfprint_fast (PKT_public_key *pk,
926                           const byte *fprint, size_t fprint_len)
927 {
928   int rc = 0;
929   KEYDB_HANDLE hd;
930   KBNODE keyblock;
931   byte fprbuf[MAX_FINGERPRINT_LEN];
932   int i;
933   
934   for (i=0; i < MAX_FINGERPRINT_LEN && i < fprint_len; i++)
935     fprbuf[i] = fprint[i];
936   while (i < MAX_FINGERPRINT_LEN) 
937     fprbuf[i++] = 0;
938
939   hd = keydb_new (0);
940   rc = keydb_search_fpr (hd, fprbuf);
941   if (rc == -1)
942     {
943       keydb_release (hd);
944       return G10ERR_NO_PUBKEY;
945     }
946   rc = keydb_get_keyblock (hd, &keyblock);
947   keydb_release (hd);
948   if (rc) 
949     {
950       log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
951       return G10ERR_NO_PUBKEY;
952     }
953   
954   assert ( keyblock->pkt->pkttype == PKT_PUBLIC_KEY
955            ||  keyblock->pkt->pkttype == PKT_PUBLIC_SUBKEY );
956   if (pk)
957     copy_public_key (pk, keyblock->pkt->pkt.public_key );
958   release_kbnode (keyblock);
959
960   /* Not caching key here since it won't have all of the fields
961      properly set. */
962
963   return 0;
964 }
965
966 /****************
967  * Search for a key with the given fingerprint and return the
968  * complete keyblock which may have more than only this key.
969  */
970 int
971 get_keyblock_byfprint( KBNODE *ret_keyblock, const byte *fprint,
972                                                 size_t fprint_len )
973 {
974     int rc;
975
976     if( fprint_len == 20 || fprint_len == 16 ) {
977         struct getkey_ctx_s ctx;
978
979         memset( &ctx, 0, sizeof ctx );
980         ctx.not_allocated = 1;
981         ctx.kr_handle = keydb_new (0);
982         ctx.nitems = 1;
983         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
984                                           : KEYDB_SEARCH_MODE_FPR20;
985         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
986         rc = lookup( &ctx, ret_keyblock, 0 );
987         get_pubkey_end( &ctx );
988     }
989     else
990         rc = G10ERR_GENERAL; /* Oops */
991
992     return rc;
993 }
994
995
996 /****************
997  * Get a secret key by name and store it into sk
998  * If NAME is NULL use the default key
999  */
1000 static int
1001 get_seckey_byname2( GETKEY_CTX *retctx,
1002                    PKT_secret_key *sk, const char *name, int unprotect,
1003                    KBNODE *retblock )
1004 {
1005     STRLIST namelist = NULL;
1006     int rc;
1007
1008     if( !name && opt.def_secret_key && *opt.def_secret_key ) {
1009         add_to_strlist( &namelist, opt.def_secret_key );
1010         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1011     }
1012     else if( !name ) { /* use the first one as default key */
1013         struct getkey_ctx_s ctx;
1014         KBNODE kb = NULL;
1015
1016         assert (!retctx ); /* do we need this at all */
1017         assert (!retblock);
1018         memset( &ctx, 0, sizeof ctx );
1019         ctx.not_allocated = 1;
1020         ctx.kr_handle = keydb_new (1);
1021         ctx.nitems = 1;
1022         ctx.items[0].mode = KEYDB_SEARCH_MODE_FIRST;
1023         rc = lookup( &ctx, &kb, 1 );
1024         if (!rc && sk )
1025             sk_from_block ( &ctx, sk, kb );
1026         release_kbnode ( kb );
1027         get_seckey_end( &ctx );
1028     }
1029     else {
1030         add_to_strlist( &namelist, name );
1031         rc = key_byname( retctx, namelist, NULL, sk, 1, 1, retblock, NULL );
1032     }
1033
1034     free_strlist( namelist );
1035
1036     if( !rc && unprotect )
1037         rc = check_secret_key( sk, 0 );
1038
1039     return rc;
1040 }
1041
1042 int 
1043 get_seckey_byname( PKT_secret_key *sk, const char *name, int unlock )
1044 {
1045     return get_seckey_byname2 ( NULL, sk, name, unlock, NULL );
1046 }
1047
1048
1049 int
1050 get_seckey_bynames( GETKEY_CTX *retctx, PKT_secret_key *sk,
1051                     STRLIST names, KBNODE *ret_keyblock )
1052 {
1053     return key_byname( retctx, names, NULL, sk, 1, 1, ret_keyblock, NULL );
1054 }
1055
1056
1057 int
1058 get_seckey_next( GETKEY_CTX ctx, PKT_secret_key *sk, KBNODE *ret_keyblock )
1059 {
1060     int rc;
1061
1062     rc = lookup( ctx, ret_keyblock, 1 );
1063     if ( !rc && sk && ret_keyblock )
1064         sk_from_block ( ctx, sk, *ret_keyblock );
1065
1066     return rc;
1067 }
1068
1069
1070 void
1071 get_seckey_end( GETKEY_CTX ctx )
1072 {
1073     get_pubkey_end( ctx );
1074 }
1075
1076
1077 /****************
1078  * Search for a key with the given fingerprint.
1079  * FIXME:
1080  * We should replace this with the _byname function.  Thiscsan be done
1081  * by creating a userID conforming to the unified fingerprint style. 
1082  */
1083 int
1084 get_seckey_byfprint( PKT_secret_key *sk,
1085                      const byte *fprint, size_t fprint_len)
1086 {
1087     int rc;
1088
1089     if( fprint_len == 20 || fprint_len == 16 ) {
1090         struct getkey_ctx_s ctx;
1091         KBNODE kb = NULL;
1092
1093         memset( &ctx, 0, sizeof ctx );
1094         ctx.exact = 1 ;
1095         ctx.not_allocated = 1;
1096         ctx.kr_handle = keydb_new (1);
1097         ctx.nitems = 1;
1098         ctx.items[0].mode = fprint_len==16? KEYDB_SEARCH_MODE_FPR16
1099                                           : KEYDB_SEARCH_MODE_FPR20;
1100         memcpy( ctx.items[0].u.fpr, fprint, fprint_len );
1101         rc = lookup( &ctx, &kb, 1 );
1102         if (!rc && sk )
1103             sk_from_block ( &ctx, sk, kb );
1104         release_kbnode ( kb );
1105         get_pubkey_end( &ctx );
1106     }
1107     else
1108         rc = G10ERR_GENERAL; /* Oops */
1109     return rc;
1110 }
1111
1112 \f
1113 /************************************************
1114  ************* Merging stuff ********************
1115  ************************************************/
1116
1117 /****************
1118  * merge all selfsignatures with the keys.
1119  * FIXME: replace this at least for the public key parts
1120  *        by merge_selfsigs.
1121  *        It is still used in keyedit.c and
1122  *        at 2 or 3 other places - check whether it is really needed.
1123  *        It might be needed by the key edit and import stuff because
1124  *        the keylock is changed.
1125  */
1126 void
1127 merge_keys_and_selfsig( KBNODE keyblock )
1128 {
1129     PKT_public_key *pk = NULL;
1130     PKT_secret_key *sk = NULL;
1131     PKT_signature *sig;
1132     KBNODE k;
1133     u32 kid[2] = { 0, 0 };
1134     u32 sigdate = 0;
1135
1136     if (keyblock && keyblock->pkt->pkttype == PKT_PUBLIC_KEY ) {
1137         /* divert to our new function */
1138         merge_selfsigs (keyblock);
1139         return;
1140     }
1141     /* still need the old one because the new one can't handle secret keys */
1142
1143     for(k=keyblock; k; k = k->next ) {
1144         if( k->pkt->pkttype == PKT_PUBLIC_KEY
1145             || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1146             pk = k->pkt->pkt.public_key; sk = NULL;
1147             if( pk->version < 4 )
1148                 pk = NULL; /* not needed for old keys */
1149             else if( k->pkt->pkttype == PKT_PUBLIC_KEY )
1150                 keyid_from_pk( pk, kid );
1151             else if( !pk->expiredate ) { /* and subkey */
1152                 /* insert the expiration date here */
1153                 /*FIXME!!! pk->expiredate = subkeys_expiretime( k, kid );*/
1154             }
1155             sigdate = 0;
1156         }
1157         else if( k->pkt->pkttype == PKT_SECRET_KEY
1158             || k->pkt->pkttype == PKT_SECRET_SUBKEY ) {
1159             pk = NULL; sk = k->pkt->pkt.secret_key;
1160             if( sk->version < 4 )
1161                 sk = NULL;
1162             else if( k->pkt->pkttype == PKT_SECRET_KEY )
1163                 keyid_from_sk( sk, kid );
1164             sigdate = 0;
1165         }
1166         else if( (pk || sk ) && k->pkt->pkttype == PKT_SIGNATURE
1167                  && (sig=k->pkt->pkt.signature)->sig_class >= 0x10
1168                  && sig->sig_class <= 0x30 && sig->version > 3
1169                  && !(sig->sig_class == 0x18 || sig->sig_class == 0x28)
1170                  && sig->keyid[0] == kid[0] && sig->keyid[1] == kid[1] ) {
1171             /* okay this is a self-signature which can be used.
1172              * This is not used for subkey binding signature, becuase this
1173              * is done above.
1174              * FIXME: We should only use this if the signature is valid
1175              *        but this is time consuming - we must provide another
1176              *        way to handle this
1177              */
1178             const byte *p;
1179             u32 ed;
1180
1181             p = parse_sig_subpkt( sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL );
1182             if( pk ) {
1183                 ed = p? pk->timestamp + buffer_to_u32(p):0;
1184                 if( sig->timestamp > sigdate ) {
1185                     pk->expiredate = ed;
1186                     sigdate = sig->timestamp;
1187                 }
1188             }
1189             else {
1190                 ed = p? sk->timestamp + buffer_to_u32(p):0;
1191                 if( sig->timestamp > sigdate ) {
1192                     sk->expiredate = ed;
1193                     sigdate = sig->timestamp;
1194                 }
1195             }
1196         }
1197
1198         if(pk && (pk->expiredate==0 ||
1199                   (pk->max_expiredate && pk->expiredate>pk->max_expiredate)))
1200           pk->expiredate=pk->max_expiredate;
1201
1202         if(sk && (sk->expiredate==0 ||
1203                   (sk->max_expiredate && sk->expiredate>sk->max_expiredate)))
1204           sk->expiredate=sk->max_expiredate;
1205     }
1206 }
1207
1208 /*
1209  * Apply information from SIGNODE (which is the valid self-signature
1210  * associated with that UID) to the UIDNODE:
1211  * - wether the UID has been revoked
1212  * - assumed creation date of the UID
1213  * - temporary store the keyflags here
1214  * - temporary store the key expiration time here
1215  * - mark whether the primary user ID flag hat been set.
1216  * - store the preferences
1217  */
1218 static void
1219 fixup_uidnode ( KBNODE uidnode, KBNODE signode, u32 keycreated )
1220 {
1221     PKT_user_id   *uid = uidnode->pkt->pkt.user_id;
1222     PKT_signature *sig = signode->pkt->pkt.signature;
1223     const byte *p, *sym, *hash, *zip;
1224     size_t n, nsym, nhash, nzip;
1225
1226     uid->created = 0; /* not created == invalid */
1227     if ( IS_UID_REV ( sig ) ) {
1228         uid->is_revoked = 1;
1229         return; /* has been revoked */
1230     }
1231
1232     uid->created = sig->timestamp; /* this one is okay */
1233     uid->selfsigversion = sig->version;
1234     /* If we got this far, it's not expired :) */
1235     uid->is_expired = 0;
1236     uid->expiredate = sig->expiredate;
1237
1238     /* store the key flags in the helper variable for later processing */
1239     uid->help_key_usage = 0;
1240     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1241     if ( p && n ) {
1242         /* first octet of the keyflags */   
1243         if ( (*p & 3) )
1244             uid->help_key_usage |= PUBKEY_USAGE_SIG;
1245         if ( (*p & 12) )    
1246             uid->help_key_usage |= PUBKEY_USAGE_ENC;
1247         /* Note: we do not set the CERT flag here because it can be assumed
1248          * that thre is no real policy to set it. */
1249     }
1250
1251     /* ditto or the key expiration */
1252     uid->help_key_expire = 0;
1253     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1254     if ( p ) { 
1255         uid->help_key_expire = keycreated + buffer_to_u32(p);
1256     }
1257
1258     /* Set the primary user ID flag - we will later wipe out some
1259      * of them to only have one in our keyblock */
1260     uid->is_primary = 0;
1261     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PRIMARY_UID, NULL );
1262     if ( p && *p )
1263         uid->is_primary = 1;
1264     /* We could also query this from the unhashed area if it is not in
1265      * the hased area and then later try to decide which is the better
1266      * there should be no security problem with this.
1267      * For now we only look at the hashed one. 
1268      */
1269
1270     /* Now build the preferences list.  These must come from the
1271        hashed section so nobody can modify the ciphers a key is
1272        willing to accept. */
1273     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_SYM, &n );
1274     sym = p; nsym = p?n:0;
1275     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_HASH, &n );
1276     hash = p; nhash = p?n:0;
1277     p = parse_sig_subpkt ( sig->hashed, SIGSUBPKT_PREF_COMPR, &n );
1278     zip = p; nzip = p?n:0;
1279     if (uid->prefs) 
1280         m_free (uid->prefs);
1281     n = nsym + nhash + nzip;
1282     if (!n)
1283         uid->prefs = NULL;
1284     else {
1285         uid->prefs = m_alloc (sizeof (*uid->prefs) * (n+1));
1286         n = 0;
1287         for (; nsym; nsym--, n++) {
1288             uid->prefs[n].type = PREFTYPE_SYM;
1289             uid->prefs[n].value = *sym++;
1290         }
1291         for (; nhash; nhash--, n++) {
1292             uid->prefs[n].type = PREFTYPE_HASH;
1293             uid->prefs[n].value = *hash++;
1294         }
1295         for (; nzip; nzip--, n++) {
1296             uid->prefs[n].type = PREFTYPE_ZIP;
1297             uid->prefs[n].value = *zip++;
1298         }
1299         uid->prefs[n].type = PREFTYPE_NONE; /* end of list marker */
1300         uid->prefs[n].value = 0;
1301     }
1302
1303     /* see whether we have the MDC feature */
1304     uid->mdc_feature = 0;
1305     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_FEATURES, &n);
1306     if (p && n && (p[0] & 0x01))
1307         uid->mdc_feature = 1;
1308             
1309 }
1310
1311 static void
1312 merge_selfsigs_main( KBNODE keyblock, int *r_revoked )
1313 {
1314     PKT_public_key *pk = NULL;
1315     KBNODE k;
1316     u32 kid[2];
1317     u32 sigdate, uiddate, uiddate2;
1318     KBNODE signode, uidnode, uidnode2;
1319     u32 curtime = make_timestamp ();
1320     unsigned int key_usage = 0;
1321     u32 keytimestamp = 0;
1322     u32 key_expire = 0;
1323     int key_expire_seen = 0;
1324     byte sigversion = 0;
1325
1326     *r_revoked = 0;
1327     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY )
1328         BUG ();
1329     pk = keyblock->pkt->pkt.public_key;
1330     keytimestamp = pk->timestamp;
1331
1332     keyid_from_pk( pk, kid );
1333     pk->main_keyid[0] = kid[0];
1334     pk->main_keyid[1] = kid[1];
1335
1336     if ( pk->version < 4 ) {
1337         /* before v4 the key packet itself contains the expiration
1338          * date and there was no way to change it, so we start with
1339          * the one from the key packet */
1340         key_expire = pk->max_expiredate;
1341         key_expire_seen = 1;
1342     }
1343
1344     /* first pass: find the latest direct key self-signature.
1345      * We assume that the newest one overrides all others
1346      */
1347
1348     /* In case this key was already merged */
1349     m_free(pk->revkey);
1350     pk->revkey=NULL;
1351     pk->numrevkeys=0;
1352
1353     signode = NULL;
1354     sigdate = 0; /* helper to find the latest signature */
1355     for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next ) {
1356         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1357             PKT_signature *sig = k->pkt->pkt.signature;
1358             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1359                 if ( check_key_signature( keyblock, k, NULL ) )
1360                     ; /* signature did not verify */
1361                 else if ( IS_KEY_REV (sig) ){
1362                     /* key has been revoked - there is no way to override
1363                      * such a revocation, so we theoretically can stop now.
1364                      * We should not cope with expiration times for revocations
1365                      * here because we have to assume that an attacker can
1366                      * generate all kinds of signatures.  However due to the
1367                      * fact that the key has been revoked it does not harm
1368                      * either and by continuing we gather some more info on 
1369                      * that key.
1370                      */ 
1371                     *r_revoked = 1;
1372                 }
1373                 else if ( IS_KEY_SIG (sig) ) {
1374                   /* Add any revocation keys onto the pk.  This is
1375                      particularly interesting since we normally only
1376                      get data from the most recent 1F signature, but
1377                      you need multiple 1F sigs to properly handle
1378                      revocation keys (PGP does it this way, and a
1379                      revocation key could be sensitive and hence in a
1380                      different signature). */
1381                   if(sig->revkey) {
1382                     int i;
1383
1384                     pk->revkey=
1385                       m_realloc(pk->revkey,sizeof(struct revocation_key)*
1386                                 (pk->numrevkeys+sig->numrevkeys));
1387
1388                     for(i=0;i<sig->numrevkeys;i++)
1389                       memcpy(&pk->revkey[pk->numrevkeys++],
1390                              sig->revkey[i],
1391                              sizeof(struct revocation_key));
1392                   }
1393
1394                   if( sig->timestamp >= sigdate ) {
1395                     if(sig->flags.expired)
1396                         ; /* signature has expired - ignore it */
1397                     else {
1398                         sigdate = sig->timestamp;
1399                         signode = k;
1400                         if( sig->version > sigversion )
1401                           sigversion = sig->version;
1402
1403                     }
1404                   }
1405                 }
1406             }
1407         }
1408     }
1409
1410     /* Remove dupes from the revocation keys */
1411
1412     if(pk->revkey)
1413       {
1414         int i,j,x,changed=0;
1415
1416         for(i=0;i<pk->numrevkeys;i++)
1417           {
1418             for(j=i+1;j<pk->numrevkeys;j++)
1419               {
1420                 if(memcmp(&pk->revkey[i],&pk->revkey[j],
1421                           sizeof(struct revocation_key))==0)
1422                   {
1423                     /* remove j */
1424
1425                     for(x=j;x<pk->numrevkeys-1;x++)
1426                       pk->revkey[x]=pk->revkey[x+1];
1427
1428                     pk->numrevkeys--;
1429                     j--;
1430                     changed=1;
1431                   }
1432               }
1433           }
1434
1435         if(changed)
1436           pk->revkey=m_realloc(pk->revkey,
1437                                pk->numrevkeys*sizeof(struct revocation_key));
1438       }
1439
1440     if ( signode ) {
1441         /* some information from a direct key signature take precedence
1442          * over the same information given in UID sigs.
1443          */
1444         PKT_signature *sig = signode->pkt->pkt.signature;
1445         const byte *p;
1446         size_t n;
1447         
1448         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1449         if ( p && n ) {
1450             /* first octet of the keyflags */   
1451             if ( (*p & 3) )
1452                 key_usage |= PUBKEY_USAGE_SIG;
1453             if ( (*p & 12) )    
1454                 key_usage |= PUBKEY_USAGE_ENC;
1455         }
1456
1457         p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1458         if ( p ) {
1459           key_expire = keytimestamp + buffer_to_u32(p);
1460           key_expire_seen = 1;
1461         }
1462
1463         /* mark that key as valid: one direct key signature should 
1464          * render a key as valid */
1465         pk->is_valid = 1;
1466     }
1467
1468     /* pass 1.5: look for key revocation signatures that were not made
1469        by the key (i.e. did a revocation key issue a revocation for
1470        us?).  Only bother to do this if there is a revocation key in
1471        the first place. */
1472
1473     if(pk->revkey)
1474       for(k=keyblock; k && k->pkt->pkttype != PKT_USER_ID; k = k->next )
1475         {
1476           if ( k->pkt->pkttype == PKT_SIGNATURE )
1477             {
1478               PKT_signature *sig = k->pkt->pkt.signature;
1479
1480               if(IS_KEY_REV(sig) &&
1481                  (sig->keyid[0]!=kid[0] || sig->keyid[1]!=kid[1]))
1482                 { 
1483                   /* Failure here means the sig did not verify, is was
1484                      not issued by a revocation key, or a revocation
1485                      key loop was broken. */
1486
1487                   if(check_revocation_keys(pk,sig)==0)
1488                     *r_revoked=1;
1489
1490                   /* In the future handle subkey and cert revocations?
1491                      PGP doesn't, but it's in 2440. */
1492                 }
1493             }
1494         }
1495
1496     /* second pass: look at the self-signature of all user IDs */
1497     signode = uidnode = NULL;
1498     sigdate = 0; /* helper to find the latest signature in one user ID */
1499     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1500         if ( k->pkt->pkttype == PKT_USER_ID ) {
1501             if ( uidnode && signode ) 
1502               {
1503                 fixup_uidnode ( uidnode, signode, keytimestamp );
1504                 pk->is_valid=1;
1505               }
1506             uidnode = k;
1507             signode = NULL;
1508             sigdate = 0;
1509         }
1510         else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode ) {
1511             PKT_signature *sig = k->pkt->pkt.signature;
1512             if ( sig->keyid[0] == kid[0] && sig->keyid[1]==kid[1] ) { 
1513                 if ( check_key_signature( keyblock, k, NULL ) )
1514                     ; /* signature did not verify */
1515                 else if ( (IS_UID_SIG (sig) || IS_UID_REV (sig))
1516                           && sig->timestamp >= sigdate ) {
1517                     /* Note: we allow to invalidate cert revocations
1518                      * by a newer signature.  An attacker can't use this
1519                      * because a key should be revoced with a key revocation.
1520                      * The reason why we have to allow for that is that at
1521                      * one time an email address may become invalid but later
1522                      * the same email address may become valid again (hired,
1523                      * fired, hired again).
1524                      */
1525                     if(sig->flags.expired) {
1526                       /* Expired uids don't get to be primary unless
1527                          they are the only uid there is. */
1528                       uidnode->pkt->pkt.user_id->is_primary=0;
1529                       uidnode->pkt->pkt.user_id->is_expired=1;
1530                       uidnode->pkt->pkt.user_id->expiredate=sig->expiredate;
1531                     }
1532                     else {
1533                         sigdate = sig->timestamp;
1534                         signode = k;
1535                         if( sig->version > sigversion )
1536                           sigversion = sig->version;
1537                     }
1538                 }
1539             }
1540         }
1541     }
1542     if ( uidnode && signode ) {
1543         fixup_uidnode ( uidnode, signode, keytimestamp );
1544         pk->is_valid = 1;
1545     }
1546
1547     /* If the key isn't valid yet, and we have
1548        --allow-non-selfsigned-uid set, then force it valid. */
1549     if(!pk->is_valid && opt.allow_non_selfsigned_uid)
1550       {
1551         if(opt.verbose)
1552           log_info(_("Invalid key %08lX made valid by "
1553                      "--allow-non-selfsigned-uid\n"),
1554                    (ulong)keyid_from_pk(pk,NULL));
1555
1556         pk->is_valid = 1;
1557       }
1558
1559     /* The key STILL isn't valid, so try and find an ultimately
1560        trusted signature. */
1561     if(!pk->is_valid)
1562       {
1563         uidnode=NULL;
1564
1565         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k=k->next)
1566           {
1567             if ( k->pkt->pkttype == PKT_USER_ID )
1568               uidnode = k;
1569             else if ( k->pkt->pkttype == PKT_SIGNATURE && uidnode )
1570               {
1571                 PKT_signature *sig = k->pkt->pkt.signature;
1572                 u32 dummy;
1573                 int dum2;
1574
1575                 if(sig->keyid[0] != kid[0] || sig->keyid[1]!=kid[1])
1576                   {
1577                     PKT_public_key *ultimate_pk;
1578
1579                     ultimate_pk=m_alloc_clear(sizeof(*ultimate_pk));
1580
1581                     /* We don't want to use the full get_pubkey to
1582                        avoid infinite recursion in certain cases.
1583                        There is no reason to check that an ultimately
1584                        trusted key is still valid - if it has been
1585                        revoked or the user should also renmove the
1586                        ultimate trust flag.  */
1587                     if(get_pubkey_fast(ultimate_pk,sig->keyid)==0
1588                        && check_key_signature2(keyblock,k,ultimate_pk,
1589                                                NULL,&dummy,&dum2)==0
1590                        && get_ownertrust(ultimate_pk)==TRUST_ULTIMATE)
1591                       {
1592                         free_public_key(ultimate_pk);
1593                         pk->is_valid=1;
1594                         break;
1595                       }
1596
1597                     free_public_key(ultimate_pk);
1598                   }
1599               }
1600           }
1601       }
1602
1603     /* Record the highest selfsig version so we know if this is a v3
1604        key through and through, or a v3 key with a v4 selfsig
1605        somewhere.  This is useful in a few places to know if the key
1606        must be treated as PGP2-style or OpenPGP-style.  Note that a
1607        selfsig revocation with a higher version number will also raise
1608        this value.  This is okay since such a revocation must be
1609        issued by the user (i.e. it cannot be issued by someone else to
1610        modify the key behavior.) */
1611
1612     pk->selfsigversion=sigversion;
1613
1614     /* Now that we had a look at all user IDs we can now get some information
1615      * from those user IDs.
1616      */
1617     
1618     if ( !key_usage ) {
1619         /* find the latest user ID with key flags set */
1620         uiddate = 0; /* helper to find the latest user ID */
1621         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1622             k = k->next ) {
1623             if ( k->pkt->pkttype == PKT_USER_ID ) {
1624                 PKT_user_id *uid = k->pkt->pkt.user_id;
1625                 if ( uid->help_key_usage && uid->created > uiddate ) {
1626                     key_usage = uid->help_key_usage;
1627                     uiddate = uid->created;
1628                 }
1629             }
1630         }
1631     }
1632     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1633         key_usage = openpgp_pk_algo_usage ( pk->pubkey_algo );
1634     }
1635     else { /* check that the usage matches the usage as given by the algo */
1636         int x = openpgp_pk_algo_usage ( pk->pubkey_algo );
1637         if ( x ) /* mask it down to the actual allowed usage */
1638             key_usage &= x; 
1639     }
1640     pk->pubkey_usage = key_usage;
1641
1642     if ( !key_expire_seen ) {
1643         /* find the latest valid user ID with a key expiration set 
1644          * Note, that this may be a different one from the above because
1645          * some user IDs may have no expiration date set */
1646         uiddate = 0; 
1647         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1648             k = k->next ) {
1649             if ( k->pkt->pkttype == PKT_USER_ID ) {
1650                 PKT_user_id *uid = k->pkt->pkt.user_id;
1651                 if ( uid->help_key_expire && uid->created > uiddate ) {
1652                     key_expire = uid->help_key_expire;
1653                     uiddate = uid->created;
1654                 }
1655             }
1656         }
1657     }
1658
1659     /* Currently only v3 keys have a maximum expiration date, but I'll
1660        bet v5 keys get this feature again. */
1661     if(key_expire==0 || (pk->max_expiredate && key_expire>pk->max_expiredate))
1662       key_expire=pk->max_expiredate;
1663
1664     pk->has_expired = key_expire >= curtime? 0 : key_expire;
1665     pk->expiredate = key_expire;
1666
1667     /* Fixme: we should see how to get rid of the expiretime fields  but
1668      * this needs changes at other places too. */
1669
1670     /* and now find the real primary user ID and delete all others */
1671     uiddate = uiddate2 = 0;
1672     uidnode = uidnode2 = NULL;
1673     for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next ) {
1674         if ( k->pkt->pkttype == PKT_USER_ID &&
1675              !k->pkt->pkt.user_id->attrib_data) {
1676             PKT_user_id *uid = k->pkt->pkt.user_id;
1677             if ( uid->is_primary && uid->created > uiddate ) {
1678                 uiddate = uid->created;
1679                 uidnode = k;
1680             }
1681             if ( !uid->is_primary && uid->created > uiddate2 ) {
1682                 uiddate2 = uid->created;
1683                 uidnode2 = k;
1684             }
1685         }
1686     }
1687     if ( uidnode ) {
1688         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1689             k = k->next ) {
1690             if ( k->pkt->pkttype == PKT_USER_ID &&
1691                  !k->pkt->pkt.user_id->attrib_data) {
1692                 PKT_user_id *uid = k->pkt->pkt.user_id;
1693                 if ( k != uidnode ) 
1694                     uid->is_primary = 0;
1695             }
1696         }
1697     }
1698     else if( uidnode2 ) {
1699         /* none is flagged primary - use the latest user ID we have */
1700         uidnode2->pkt->pkt.user_id->is_primary = 1;
1701     }
1702     else
1703       {
1704         /* None of our uids were self-signed, so pick the first one to
1705            be the primary.  This is the best we can do here since
1706            there are no self sigs to date the uids. */
1707
1708         for(k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1709             k = k->next )
1710           {
1711             if(k->pkt->pkttype==PKT_USER_ID &&
1712                !k->pkt->pkt.user_id->attrib_data)
1713               {
1714                 k->pkt->pkt.user_id->is_primary=1;
1715                 break;
1716               }
1717           }
1718       }
1719 }
1720
1721
1722 static void
1723 merge_selfsigs_subkey( KBNODE keyblock, KBNODE subnode )
1724 {
1725     PKT_public_key *mainpk = NULL, *subpk = NULL;
1726     PKT_signature *sig;
1727     KBNODE k;
1728     u32 mainkid[2];
1729     u32 sigdate = 0;
1730     KBNODE signode;
1731     u32 curtime = make_timestamp ();
1732     unsigned int key_usage = 0;
1733     u32 keytimestamp = 0;
1734     u32 key_expire = 0;
1735     const byte *p;
1736     size_t n;
1737
1738     if ( subnode->pkt->pkttype != PKT_PUBLIC_SUBKEY )
1739         BUG ();
1740     mainpk = keyblock->pkt->pkt.public_key;
1741     if ( mainpk->version < 4 )
1742         return; /* (actually this should never happen) */
1743     keyid_from_pk( mainpk, mainkid );
1744     subpk = subnode->pkt->pkt.public_key;
1745     keytimestamp = subpk->timestamp;
1746
1747     subpk->is_valid = 0;
1748     subpk->main_keyid[0] = mainpk->main_keyid[0];
1749     subpk->main_keyid[1] = mainpk->main_keyid[1];
1750
1751     /* find the latest key binding self-signature. */
1752     signode = NULL;
1753     sigdate = 0; /* helper to find the latest signature */
1754     for(k=subnode->next; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY;
1755                                                         k = k->next ) {
1756         if ( k->pkt->pkttype == PKT_SIGNATURE ) {
1757             sig = k->pkt->pkt.signature;
1758             if ( sig->keyid[0] == mainkid[0] && sig->keyid[1]==mainkid[1] ) { 
1759                 if ( check_key_signature( keyblock, k, NULL ) )
1760                     ; /* signature did not verify */
1761                 else if ( IS_SUBKEY_REV (sig) ) {
1762                   /* Note that this means that the date on a
1763                      revocation sig does not matter - even if the
1764                      binding sig is dated after the revocation sig,
1765                      the subkey is still marked as revoked.  This
1766                      seems ok, as it is just as easy to make new
1767                      subkeys rather than re-sign old ones as the
1768                      problem is in the distribution.  Plus, PGP (7)
1769                      does this the same way.  */
1770                     subpk->is_revoked = 1;
1771                     /* although we could stop now, we continue to 
1772                      * figure out other information like the old expiration
1773                      * time */
1774                 }
1775                 else if ( IS_SUBKEY_SIG (sig) && sig->timestamp >= sigdate ) {
1776                     if(sig->flags.expired)
1777                         ; /* signature has expired - ignore it */
1778                     else {
1779                         sigdate = sig->timestamp;
1780                         signode = k;
1781                     }
1782                 }
1783             }
1784         }
1785     }
1786
1787     if ( !signode ) {
1788         return;  /* no valid key binding */
1789     }
1790
1791     subpk->is_valid = 1;
1792     sig = signode->pkt->pkt.signature;
1793         
1794     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_FLAGS, &n );
1795     if ( p && n ) {
1796         /* first octet of the keyflags */   
1797         if ( (*p & 3) )
1798             key_usage |= PUBKEY_USAGE_SIG;
1799         if ( (*p & 12) )    
1800             key_usage |= PUBKEY_USAGE_ENC;
1801     }
1802     if ( !key_usage ) { /* no key flags at all: get it from the algo */
1803         key_usage = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1804     }
1805     else { /* check that the usage matches the usage as given by the algo */
1806         int x = openpgp_pk_algo_usage ( subpk->pubkey_algo );
1807         if ( x ) /* mask it down to the actual allowed usage */
1808             key_usage &= x; 
1809     }
1810     subpk->pubkey_usage = key_usage;
1811     
1812     p = parse_sig_subpkt (sig->hashed, SIGSUBPKT_KEY_EXPIRE, NULL);
1813     if ( p ) 
1814         key_expire = keytimestamp + buffer_to_u32(p);
1815     else
1816         key_expire = 0;
1817     subpk->has_expired = key_expire >= curtime? 0 : key_expire;
1818     subpk->expiredate = key_expire;
1819 }
1820
1821
1822
1823 /* 
1824  * Merge information from the self-signatures with the key, so that
1825  * we can later use them more easy.
1826  * The function works by first applying the self signatures to the
1827  * primary key and the to each subkey.
1828  * Here are the rules we use to decide which inormation from which
1829  * self-signature is used:
1830  * We check all self signatures or validity and ignore all invalid signatures.
1831  * All signatures are then ordered by their creation date ....
1832  * For the primary key:
1833  *   FIXME the docs    
1834  */
1835 static void
1836 merge_selfsigs( KBNODE keyblock )
1837 {
1838     KBNODE k;
1839     int revoked;
1840     PKT_public_key *main_pk;
1841     prefitem_t *prefs;
1842     int mdc_feature;
1843
1844     if ( keyblock->pkt->pkttype != PKT_PUBLIC_KEY ) {
1845         if (keyblock->pkt->pkttype == PKT_SECRET_KEY ) {
1846             log_error ("expected public key but found secret key "
1847                        "- must stop\n");
1848             /* we better exit here becuase a public key is expected at
1849                other places too.  FIXME: Figure this out earlier and
1850                don't get to here at all */
1851             g10_exit (1);
1852         }
1853         BUG ();
1854     }
1855
1856     merge_selfsigs_main ( keyblock, &revoked );
1857
1858     /* now merge in the data from each of the subkeys */
1859     for(k=keyblock; k; k = k->next ) {
1860         if (  k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1861             merge_selfsigs_subkey ( keyblock, k );
1862         }
1863     }
1864
1865     main_pk = keyblock->pkt->pkt.public_key;
1866     if ( revoked || main_pk->has_expired || !main_pk->is_valid ) {
1867         /* if the primary key is revoked, expired, or invalid we
1868          * better set the appropriate flags on that key and all
1869          * subkeys */
1870         for(k=keyblock; k; k = k->next ) {
1871             if ( k->pkt->pkttype == PKT_PUBLIC_KEY
1872                 || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1873                 PKT_public_key *pk = k->pkt->pkt.public_key;
1874                 if(!main_pk->is_valid)
1875                   pk->is_valid = 0;
1876                 if(revoked)
1877                   pk->is_revoked = 1;
1878                 if(main_pk->has_expired)
1879                   pk->has_expired = main_pk->has_expired;
1880             }
1881         }
1882         return;
1883     }
1884
1885     /* set the preference list of all keys to those of the primary real
1886      * user ID.  Note: we use these preferences when we don't know by
1887      * which user ID the key has been selected.
1888      * fixme: we should keep atoms of commonly used preferences or
1889      * use reference counting to optimize the preference lists storage.
1890      * FIXME: it might be better to use the intersection of 
1891      * all preferences.
1892      * Do a similar thing for the MDC feature flag.
1893      */
1894     prefs = NULL;
1895     mdc_feature = 0;
1896     for (k=keyblock; k && k->pkt->pkttype != PKT_PUBLIC_SUBKEY; k = k->next) {
1897         if (k->pkt->pkttype == PKT_USER_ID
1898             && !k->pkt->pkt.user_id->attrib_data
1899             && k->pkt->pkt.user_id->is_primary) {
1900             prefs = k->pkt->pkt.user_id->prefs;
1901             mdc_feature = k->pkt->pkt.user_id->mdc_feature;
1902             break;
1903         }
1904     }    
1905     for(k=keyblock; k; k = k->next ) {
1906         if ( k->pkt->pkttype == PKT_PUBLIC_KEY
1907              || k->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1908             PKT_public_key *pk = k->pkt->pkt.public_key;
1909             if (pk->prefs)
1910                 m_free (pk->prefs);
1911             pk->prefs = copy_prefs (prefs);
1912             pk->mdc_feature = mdc_feature;
1913         }
1914     }
1915 }
1916
1917
1918 /*
1919  * Merge the secret keys from secblock into the pubblock thereby
1920  * replacing the public (sub)keys with their secret counterparts Hmmm:
1921  * It might be better to get away from the concept of entire secret
1922  * keys at all and have a way to store just the real secret parts
1923  * from the key.
1924  */
1925 static void
1926 merge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
1927 {
1928     KBNODE pub;
1929
1930     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
1931     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
1932     
1933     for (pub=pubblock; pub; pub = pub->next ) {
1934         if ( pub->pkt->pkttype == PKT_PUBLIC_KEY ) {
1935              PKT_public_key *pk = pub->pkt->pkt.public_key;
1936              PKT_secret_key *sk = secblock->pkt->pkt.secret_key;
1937              assert ( pub == pubblock ); /* only in the first node */
1938              /* there is nothing to compare in this case, so just replace
1939               * some information */
1940              copy_public_parts_to_secret_key ( pk, sk );
1941              free_public_key ( pk );
1942              pub->pkt->pkttype = PKT_SECRET_KEY;
1943              pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
1944         }
1945         else if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1946             KBNODE sec;
1947             PKT_public_key *pk = pub->pkt->pkt.public_key;
1948
1949             /* this is more complicated: it may happen that the sequence
1950              * of the subkeys dosn't match, so we have to find the
1951              * appropriate secret key */
1952             for (sec=secblock->next; sec; sec = sec->next ) {
1953                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
1954                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
1955                     if ( !cmp_public_secret_key ( pk, sk ) ) {
1956                         copy_public_parts_to_secret_key ( pk, sk );
1957                         free_public_key ( pk );
1958                         pub->pkt->pkttype = PKT_SECRET_SUBKEY;
1959                         pub->pkt->pkt.secret_key = copy_secret_key (NULL, sk);
1960                         break;
1961                     }
1962                 }
1963             }
1964             if ( !sec ) 
1965                 BUG(); /* already checked in premerge */
1966         }
1967     }
1968 }
1969
1970 /* This function checks that for every public subkey a corresponding
1971  * secret subkey is available and deletes the public subkey otherwise.
1972  * We need this function because we can't delete it later when we
1973  * actually merge the secret parts into the pubring.
1974  * The function also plays some games with the node flags.
1975  */
1976 static void
1977 premerge_public_with_secret ( KBNODE pubblock, KBNODE secblock )
1978 {
1979     KBNODE last, pub;
1980
1981     assert ( pubblock->pkt->pkttype == PKT_PUBLIC_KEY );
1982     assert ( secblock->pkt->pkttype == PKT_SECRET_KEY );
1983     
1984     for (pub=pubblock,last=NULL; pub; last = pub, pub = pub->next ) {
1985         pub->flag &= ~3; /* reset bits 0 and 1 */
1986         if ( pub->pkt->pkttype == PKT_PUBLIC_SUBKEY ) {
1987             KBNODE sec;
1988             PKT_public_key *pk = pub->pkt->pkt.public_key;
1989
1990             for (sec=secblock->next; sec; sec = sec->next ) {
1991                 if ( sec->pkt->pkttype == PKT_SECRET_SUBKEY ) {
1992                     PKT_secret_key *sk = sec->pkt->pkt.secret_key;
1993                     if ( !cmp_public_secret_key ( pk, sk ) ) {
1994                         if ( sk->protect.s2k.mode == 1001 ) {
1995                             /* The secret parts are not available so
1996                                we can't use that key for signing etc.
1997                                Fix the pubkey usage */
1998                             pk->pubkey_usage &= ~PUBKEY_USAGE_SIG;
1999                         }
2000                         /* transfer flag bits 0 and 1 to the pubblock */
2001                         pub->flag |= (sec->flag &3);
2002                         break;
2003                     }
2004                 }
2005             }
2006             if ( !sec ) {
2007                 KBNODE next, ll;
2008
2009                 log_info ( "no secret subkey "
2010                            "for public subkey %08lX - ignoring\n",  
2011                            (ulong)keyid_from_pk (pk,NULL) );
2012                 /* we have to remove the subkey in this case */
2013                 assert ( last );
2014                 /* find the next subkey */
2015                 for (next=pub->next,ll=pub;
2016                      next && pub->pkt->pkttype != PKT_PUBLIC_SUBKEY;
2017                      ll = next, next = next->next ) 
2018                     ;
2019                 /* make new link */
2020                 last->next = next;
2021                 /* release this public subkey with all sigs */
2022                 ll->next = NULL;
2023                 release_kbnode( pub );
2024                 /* let the loop continue */
2025                 pub = last;
2026             }
2027         }
2028     }
2029     /* We need to copy the found bits (0 and 1) from the secret key to
2030        the public key.  This has already been done for the subkeys but
2031        got lost on the primary key - fix it here *. */
2032     pubblock->flag |= (secblock->flag & 3);
2033 }
2034
2035
2036
2037 \f
2038 /* See see whether the key fits
2039  * our requirements and in case we do not
2040  * request the primary key, we should select
2041  * a suitable subkey.
2042  * FIXME: Check against PGP 7 whether we still need a kludge
2043  *        to favor type 16 keys over type 20 keys when type 20
2044  *        has not been explitely requested.
2045  * Returns: True when a suitable key has been found.
2046  *
2047  * We have to distinguish four cases:  FIXME!
2048  *  1. No usage and no primary key requested
2049  *     Examples for this case are that we have a keyID to be used
2050  *     for decrytion or verification.
2051  *  2. No usage but primary key requested
2052  *     This is the case for all functions which work on an
2053  *     entire keyblock, e.g. for editing or listing
2054  *  3. Usage and primary key requested
2055  *     FXME
2056  *  4. Usage but no primary key requested
2057  *     FIXME
2058  * FIXME: Tell what is going to happen here and something about the rationale
2059  * Note: We don't use this function if no specific usage is requested;
2060  *       This way the getkey functions can be used for plain key listings.
2061  *
2062  * CTX ist the keyblock we are investigating, if FOUNDK is not NULL this
2063  * is the key we actually found by looking at the keyid or a fingerprint and
2064  * may eitehr point to the primary or one of the subkeys.
2065  */
2066
2067 static int
2068 finish_lookup (GETKEY_CTX ctx)
2069 {
2070     KBNODE keyblock = ctx->keyblock;
2071     KBNODE k;
2072     KBNODE foundk = NULL;
2073     PKT_user_id *foundu = NULL;
2074   #define USAGE_MASK  (PUBKEY_USAGE_SIG|PUBKEY_USAGE_ENC)
2075     unsigned int req_usage = ( ctx->req_usage & USAGE_MASK );
2076     /* Request the primary if we're certifying another key, and also
2077        if signing data while --pgp6 or --pgp7 is on since pgp 6 and 7
2078        do not understand signatures made by a signing subkey.  PGP 8
2079        does. */
2080     int req_prim = (ctx->req_usage & PUBKEY_USAGE_CERT) ||
2081       ((opt.pgp6 || opt.pgp7) && (ctx->req_usage & PUBKEY_USAGE_SIG));
2082     u32 latest_date;
2083     KBNODE latest_key;
2084     u32 curtime = make_timestamp ();
2085
2086     assert( keyblock->pkt->pkttype == PKT_PUBLIC_KEY );
2087    
2088     ctx->found_key = NULL;
2089
2090     if (ctx->exact) {
2091         for (k=keyblock; k; k = k->next) {
2092             if ( (k->flag & 1) ) {
2093                 assert ( k->pkt->pkttype == PKT_PUBLIC_KEY
2094                          || k->pkt->pkttype == PKT_PUBLIC_SUBKEY );
2095                 foundk = k;
2096                 break;
2097             }
2098         }
2099     }
2100
2101     for (k=keyblock; k; k = k->next) {
2102         if ( (k->flag & 2) ) {
2103             assert (k->pkt->pkttype == PKT_USER_ID);
2104             foundu = k->pkt->pkt.user_id;
2105             break;
2106         }
2107     }
2108
2109     if ( DBG_CACHE )
2110         log_debug( "finish_lookup: checking key %08lX (%s)(req_usage=%x)\n",
2111                    (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL),
2112                    foundk? "one":"all", req_usage);
2113
2114     if (!req_usage) {
2115         latest_key = foundk? foundk:keyblock;
2116         goto found;
2117     }
2118     
2119     if (!req_usage) {
2120         PKT_public_key *pk = foundk->pkt->pkt.public_key;
2121         if (pk->user_id)
2122             free_user_id (pk->user_id);
2123         pk->user_id = scopy_user_id (foundu);
2124         ctx->found_key = foundk;
2125         cache_user_id( keyblock );
2126         return 1; /* found */
2127     }
2128     
2129     latest_date = 0;
2130     latest_key  = NULL;
2131     /* do not look at subkeys if a certification key is requested */
2132     if ((!foundk || foundk->pkt->pkttype == PKT_PUBLIC_SUBKEY) && !req_prim) {
2133         KBNODE nextk;
2134         /* either start a loop or check just this one subkey */
2135         for (k=foundk?foundk:keyblock; k; k = nextk ) {
2136             PKT_public_key *pk;
2137             nextk = k->next;
2138             if ( k->pkt->pkttype != PKT_PUBLIC_SUBKEY )
2139                 continue;
2140             if ( foundk )
2141                 nextk = NULL;  /* what a hack */
2142             pk = k->pkt->pkt.public_key;
2143             if (DBG_CACHE)
2144                 log_debug( "\tchecking subkey %08lX\n",
2145                            (ulong)keyid_from_pk( pk, NULL));
2146             if ( !pk->is_valid ) {
2147                 if (DBG_CACHE)
2148                     log_debug( "\tsubkey not valid\n");
2149                 continue;
2150             }
2151             if ( pk->is_revoked ) {
2152                 if (DBG_CACHE)
2153                     log_debug( "\tsubkey has been revoked\n");
2154                 continue;
2155             }
2156             if ( pk->has_expired ) {
2157                 if (DBG_CACHE)
2158                     log_debug( "\tsubkey has expired\n");
2159                 continue;
2160             }
2161             if ( pk->timestamp > curtime && !opt.ignore_valid_from ) {
2162                 if (DBG_CACHE)
2163                     log_debug( "\tsubkey not yet valid\n");
2164                 continue;
2165             }
2166             
2167             if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2168                 if (DBG_CACHE)
2169                     log_debug( "\tusage does not match: want=%x have=%x\n",
2170                                req_usage, pk->pubkey_usage );
2171                 continue;
2172             }
2173
2174             if (DBG_CACHE)
2175                 log_debug( "\tsubkey looks fine\n");
2176             if ( pk->timestamp > latest_date ) {
2177                 latest_date = pk->timestamp;
2178                 latest_key  = k;
2179             }
2180         }
2181     }
2182
2183     /* Okay now try the primary key unless we want an exact 
2184      * key ID match on a subkey */
2185     if ((!latest_key && !(ctx->exact && foundk != keyblock)) || req_prim) {
2186         PKT_public_key *pk;
2187         if (DBG_CACHE && !foundk && !req_prim )
2188             log_debug( "\tno suitable subkeys found - trying primary\n");
2189         pk = keyblock->pkt->pkt.public_key;
2190         if ( !pk->is_valid ) {
2191             if (DBG_CACHE)
2192                 log_debug( "\tprimary key not valid\n");
2193         }
2194         else if ( pk->is_revoked ) {
2195             if (DBG_CACHE)
2196                 log_debug( "\tprimary key has been revoked\n");
2197         }
2198         else if ( pk->has_expired ) {
2199             if (DBG_CACHE)
2200                 log_debug( "\tprimary key has expired\n");
2201         }
2202         else  if ( !((pk->pubkey_usage&USAGE_MASK) & req_usage) ) {
2203             if (DBG_CACHE)
2204                 log_debug( "\tprimary key usage does not match: "
2205                            "want=%x have=%x\n",
2206                            req_usage, pk->pubkey_usage );
2207         }
2208         else { /* okay */
2209             if (DBG_CACHE)
2210                 log_debug( "\tprimary key may be used\n");
2211             latest_key = keyblock;
2212             latest_date = pk->timestamp;
2213         }
2214     }
2215     
2216     if ( !latest_key ) {
2217         if (DBG_CACHE)
2218             log_debug("\tno suitable key found -  giving up\n");
2219         return 0;
2220     }
2221
2222  found:
2223     if (DBG_CACHE)
2224         log_debug( "\tusing key %08lX\n",
2225                 (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL) );
2226
2227     if (latest_key) {
2228         PKT_public_key *pk = latest_key->pkt->pkt.public_key;
2229         if (pk->user_id)
2230             free_user_id (pk->user_id);
2231         pk->user_id = scopy_user_id (foundu);
2232     }    
2233         
2234     ctx->found_key = latest_key;
2235
2236     if (latest_key != keyblock && opt.verbose) {
2237         log_info(_("using secondary key %08lX "
2238                    "instead of primary key %08lX\n"),
2239                  (ulong)keyid_from_pk( latest_key->pkt->pkt.public_key, NULL),
2240                  (ulong)keyid_from_pk( keyblock->pkt->pkt.public_key, NULL) );
2241     }
2242
2243     cache_user_id( keyblock );
2244     
2245     return 1; /* found */
2246 }
2247
2248
2249 static int
2250 lookup( GETKEY_CTX ctx, KBNODE *ret_keyblock, int secmode )
2251 {
2252     int rc;
2253     KBNODE secblock = NULL; /* helper */
2254     int no_suitable_key = 0;
2255     
2256     rc = 0;
2257     while (!(rc = keydb_search (ctx->kr_handle, ctx->items, ctx->nitems))) {
2258         /* If we are searching for the first key we have to make sure
2259            that the next interation does not no an implicit reset.
2260            This can be triggered by an empty key ring. */
2261         if (ctx->nitems && ctx->items->mode == KEYDB_SEARCH_MODE_FIRST)
2262             ctx->items->mode = KEYDB_SEARCH_MODE_NEXT;
2263
2264         rc = keydb_get_keyblock (ctx->kr_handle, &ctx->keyblock);
2265         if (rc) {
2266             log_error ("keydb_get_keyblock failed: %s\n", g10_errstr(rc));
2267             rc = 0;
2268             goto skip;
2269         }
2270                        
2271         if ( secmode ) {
2272             /* find the correspondig public key and use this 
2273              * this one for the selection process */
2274             u32 aki[2];
2275             KBNODE k = ctx->keyblock;
2276             
2277             if (k->pkt->pkttype != PKT_SECRET_KEY)
2278                 BUG();
2279
2280             keyid_from_sk (k->pkt->pkt.secret_key, aki);
2281             k = get_pubkeyblock (aki);
2282             if( !k ) {
2283                 if (!opt.quiet)
2284                     log_info(_("key %08lX: secret key without public key "
2285                                "- skipped\n"),  (ulong)aki[1] );
2286                 goto skip;
2287             }
2288             secblock = ctx->keyblock;
2289             ctx->keyblock = k;
2290
2291             premerge_public_with_secret ( ctx->keyblock, secblock );
2292         }
2293
2294         /* warning: node flag bits 0 and 1 should be preserved by
2295          * merge_selfsigs.  For secret keys, premerge did tranfer the
2296          * keys to the keyblock */
2297         merge_selfsigs ( ctx->keyblock );
2298         if ( finish_lookup (ctx) ) {
2299             no_suitable_key = 0;
2300             if ( secmode ) {
2301                 merge_public_with_secret ( ctx->keyblock,
2302                                            secblock);
2303                 release_kbnode (secblock);
2304                 secblock = NULL;
2305             }
2306             goto found;
2307         }
2308         else
2309             no_suitable_key = 1;
2310         
2311       skip:
2312         /* release resources and continue search */
2313         if ( secmode ) {
2314             release_kbnode( secblock );
2315             secblock = NULL;
2316         }
2317         release_kbnode( ctx->keyblock );
2318         ctx->keyblock = NULL;
2319     }
2320
2321   found:
2322     if( rc && rc != -1 )
2323         log_error("keydb_search failed: %s\n", g10_errstr(rc));
2324
2325     if( !rc ) {
2326         *ret_keyblock = ctx->keyblock; /* return the keyblock */
2327         ctx->keyblock = NULL;
2328     }
2329     else if (rc == -1 && no_suitable_key)
2330         rc = secmode ? G10ERR_UNU_SECKEY : G10ERR_UNU_PUBKEY;
2331     else if( rc == -1 )
2332         rc = secmode ? G10ERR_NO_SECKEY : G10ERR_NO_PUBKEY;
2333
2334     if ( secmode ) {
2335         release_kbnode( secblock );
2336         secblock = NULL;
2337     }
2338     release_kbnode( ctx->keyblock );
2339     ctx->keyblock = NULL;
2340
2341     ctx->last_rc = rc;
2342     return rc;
2343 }
2344
2345
2346
2347
2348 /****************
2349  * FIXME: Replace by the generic function 
2350  *        It does not work as it is right now - it is used at 
2351  *        2 places:  a) to get the key for an anonyous recipient
2352  *                   b) to get the ultimately trusted keys.
2353  *        The a) usage might have some problems.
2354  *
2355  * set with_subkeys true to include subkeys
2356  * set with_spm true to include secret-parts-missing keys
2357  *
2358  * Enumerate all primary secret keys.  Caller must use these procedure:
2359  *  1) create a void pointer and initialize it to NULL
2360  *  2) pass this void pointer by reference to this function
2361  *     and provide space for the secret key (pass a buffer for sk)
2362  *  3) call this function as long as it does not return -1
2363  *     to indicate EOF.
2364  *  4) Always call this function a last time with SK set to NULL,
2365  *     so that can free it's context.
2366  */
2367 int
2368 enum_secret_keys( void **context, PKT_secret_key *sk,
2369                   int with_subkeys, int with_spm )
2370 {
2371     int rc=0;
2372     struct {
2373         int eof;
2374         int first;
2375         KEYDB_HANDLE hd;
2376         KBNODE keyblock;
2377         KBNODE node;
2378     } *c = *context;
2379
2380
2381     if( !c ) { /* make a new context */
2382         c = m_alloc_clear( sizeof *c );
2383         *context = c;
2384         c->hd = keydb_new (1);
2385         c->first = 1;
2386         c->keyblock = NULL;
2387         c->node = NULL;
2388     }
2389
2390     if( !sk ) { /* free the context */
2391         keydb_release (c->hd);
2392         release_kbnode (c->keyblock);
2393         m_free( c );
2394         *context = NULL;
2395         return 0;
2396     }
2397
2398     if( c->eof )
2399         return -1;
2400
2401     do {
2402         /* get the next secret key from the current keyblock */
2403         for (; c->node; c->node = c->node->next) {
2404             if ((c->node->pkt->pkttype == PKT_SECRET_KEY
2405                 || (with_subkeys
2406                     && c->node->pkt->pkttype == PKT_SECRET_SUBKEY) )
2407                 && !(c->node->pkt->pkt.secret_key->protect.s2k.mode==1001
2408                      && !with_spm)) {
2409                 copy_secret_key (sk, c->node->pkt->pkt.secret_key );
2410                 c->node = c->node->next;
2411                 return 0; /* found */
2412             }
2413         }
2414         release_kbnode (c->keyblock);
2415         c->keyblock = c->node = NULL;
2416         
2417         rc = c->first? keydb_search_first (c->hd) : keydb_search_next (c->hd);
2418         c->first = 0;
2419         if (rc) {
2420             keydb_release (c->hd); c->hd = NULL;
2421             c->eof = 1;
2422             return -1; /* eof */
2423         }
2424         
2425         rc = keydb_get_keyblock (c->hd, &c->keyblock);
2426         c->node = c->keyblock;
2427     } while (!rc);
2428
2429     return rc; /* error */
2430 }
2431
2432
2433 \f
2434 /*********************************************
2435  ***********  user ID printing helpers *******
2436  *********************************************/
2437
2438 /****************
2439  * Return a string with a printable representation of the user_id.
2440  * this string must be freed by m_free.
2441  */
2442 char*
2443 get_user_id_string( u32 *keyid )
2444 {
2445     user_id_db_t r;
2446     char *p;
2447     int pass=0;
2448     /* try it two times; second pass reads from key resources */
2449     do {
2450         for(r=user_id_db; r; r = r->next ) {
2451             keyid_list_t a;
2452             for (a=r->keyids; a; a= a->next ) {
2453                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2454                     p = m_alloc( r->len + 10 );
2455                     sprintf(p, "%08lX %.*s",
2456                             (ulong)keyid[1], r->len, r->name );
2457                     return p;
2458                 }
2459             }
2460         }
2461     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2462     p = m_alloc( 15 );
2463     sprintf(p, "%08lX [?]", (ulong)keyid[1] );
2464     return p;
2465 }
2466
2467
2468 char*
2469 get_user_id_string_printable ( u32 *keyid )
2470 {
2471     char *p = get_user_id_string( keyid );
2472     char *p2 = utf8_to_native( p, strlen(p), 0 );
2473     m_free(p);
2474     p = make_printable_string (p2, strlen (p2), 0);
2475     m_free (p2);
2476     return p;
2477 }
2478
2479
2480 char*
2481 get_long_user_id_string( u32 *keyid )
2482 {
2483     user_id_db_t r;
2484     char *p;
2485     int pass=0;
2486     /* try it two times; second pass reads from key resources */
2487     do {
2488         for(r=user_id_db; r; r = r->next ) {
2489             keyid_list_t a;
2490             for (a=r->keyids; a; a= a->next ) {
2491                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2492                     p = m_alloc( r->len + 20 );
2493                     sprintf(p, "%08lX%08lX %.*s",
2494                             (ulong)keyid[0], (ulong)keyid[1],
2495                             r->len, r->name );
2496                     return p;
2497                 }
2498             }
2499         }
2500     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2501     p = m_alloc( 25 );
2502     sprintf(p, "%08lX%08lX [?]", (ulong)keyid[0], (ulong)keyid[1] );
2503     return p;
2504 }
2505
2506 char*
2507 get_user_id( u32 *keyid, size_t *rn )
2508 {
2509     user_id_db_t r;
2510     char *p;
2511     int pass=0;
2512
2513     /* try it two times; second pass reads from key resources */
2514     do {
2515         for(r=user_id_db; r; r = r->next ) {
2516             keyid_list_t a;
2517             for (a=r->keyids; a; a= a->next ) {
2518                 if( a->keyid[0] == keyid[0] && a->keyid[1] == keyid[1] ) {
2519                     p = m_alloc( r->len );
2520                     memcpy(p, r->name, r->len );
2521                     *rn = r->len;
2522                     return p;
2523                 }
2524             }
2525         }
2526     } while( ++pass < 2 && !get_pubkey( NULL, keyid ) );
2527     p = m_strdup( _("[User id not found]") );
2528     *rn = strlen(p);
2529     return p;
2530 }
2531
2532 char*
2533 get_user_id_printable( u32 *keyid )
2534 {
2535     size_t rn;
2536     char *p = get_user_id( keyid, &rn );
2537     char *p2 = utf8_to_native( p, rn, 0 );
2538     m_free(p);
2539     p = make_printable_string (p2, strlen (p2), 0);
2540     m_free (p2);
2541     return p;
2542 }
2543
2544 KEYDB_HANDLE
2545 get_ctx_handle(GETKEY_CTX ctx)
2546 {
2547   return ctx->kr_handle;
2548 }