* keyserver.c (parse_keyserver_options): Accept honor-http-proxy as an
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/types.h>
28 #include <sys/stat.h>
29 #include <fcntl.h>
30 #include <unistd.h>
31
32 #include "errors.h"
33 #include "iobuf.h"
34 #include "memory.h"
35 #include "util.h"
36 #include "options.h"
37 #include "main.h"
38 #include "i18n.h"
39 #include "trustdb.h"
40 #include "tdbio.h"
41
42 #if defined(HAVE_DOSISH_SYSTEM)
43 #define ftruncate chsize
44 #endif
45
46 #if defined(HAVE_DOSISH_SYSTEM) || defined(__CYGWIN__)
47 #define MY_O_BINARY  O_BINARY
48 #else
49 #define MY_O_BINARY  0
50 #endif
51
52
53 /****************
54  * Yes, this is a very simple implementation. We should really
55  * use a page aligned buffer and read complete pages.
56  * To implement a simple trannsaction system, this is sufficient.
57  */
58 typedef struct cache_ctrl_struct *CACHE_CTRL;
59 struct cache_ctrl_struct {
60     CACHE_CTRL next;
61     struct {
62         unsigned used:1;
63         unsigned dirty:1;
64     } flags;
65     ulong recno;
66     char data[TRUST_RECORD_LEN];
67 };
68
69 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
70 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
71 static CACHE_CTRL cache_list;
72 static int cache_entries;
73 static int cache_is_dirty;
74
75 /* a type used to pass infomation to cmp_krec_fpr */
76 struct cmp_krec_fpr_struct {
77     int pubkey_algo;
78     const char *fpr;
79     int fprlen;
80 };
81
82 /* a type used to pass infomation to cmp_[s]dir */
83 struct cmp_xdir_struct {
84     int pubkey_algo;
85     u32 keyid[2];
86 };
87
88
89 static char *db_name;
90 static DOTLOCK lockhandle;
91 static int is_locked;
92 static int  db_fd = -1;
93 static int in_transaction;
94
95 static void open_db(void);
96 static void migrate_from_v2 (void);
97
98
99 \f
100 /*************************************
101  ************* record cache **********
102  *************************************/
103
104 /****************
105  * Get the data from therecord cache and return a
106  * pointer into that cache.  Caller should copy
107  * the return data.  NULL is returned on a cache miss.
108  */
109 static const char *
110 get_record_from_cache( ulong recno )
111 {
112     CACHE_CTRL r;
113
114     for( r = cache_list; r; r = r->next ) {
115         if( r->flags.used && r->recno == recno )
116             return r->data;
117     }
118     return NULL;
119 }
120
121
122 static int
123 write_cache_item( CACHE_CTRL r )
124 {
125     int n;
126
127     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
128         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
129                                             r->recno, strerror(errno) );
130         return G10ERR_WRITE_FILE;
131     }
132     n = write( db_fd, r->data, TRUST_RECORD_LEN);
133     if( n != TRUST_RECORD_LEN ) {
134         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
135                                             r->recno, n, strerror(errno) );
136         return G10ERR_WRITE_FILE;
137     }
138     r->flags.dirty = 0;
139     return 0;
140 }
141
142 /****************
143  * Put data into the cache.  This function may flush the
144  * some cache entries if there is not enough space available.
145  */
146 int
147 put_record_into_cache( ulong recno, const char *data )
148 {
149     CACHE_CTRL r, unused;
150     int dirty_count = 0;
151     int clean_count = 0;
152
153     /* see whether we already cached this one */
154     for( unused = NULL, r = cache_list; r; r = r->next ) {
155         if( !r->flags.used ) {
156             if( !unused )
157                 unused = r;
158         }
159         else if( r->recno == recno ) {
160             if( !r->flags.dirty ) {
161                 /* Hmmm: should we use a a copy and compare? */
162                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
163                     r->flags.dirty = 1;
164                     cache_is_dirty = 1;
165                 }
166             }
167             memcpy( r->data, data, TRUST_RECORD_LEN );
168             return 0;
169         }
170         if( r->flags.used ) {
171             if( r->flags.dirty )
172                 dirty_count++;
173             else
174                 clean_count++;
175         }
176     }
177     /* not in the cache: add a new entry */
178     if( unused ) { /* reuse this entry */
179         r = unused;
180         r->flags.used = 1;
181         r->recno = recno;
182         memcpy( r->data, data, TRUST_RECORD_LEN );
183         r->flags.dirty = 1;
184         cache_is_dirty = 1;
185         cache_entries++;
186         return 0;
187     }
188     /* see whether we reached the limit */
189     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
190         r = m_alloc( sizeof *r );
191         r->flags.used = 1;
192         r->recno = recno;
193         memcpy( r->data, data, TRUST_RECORD_LEN );
194         r->flags.dirty = 1;
195         r->next = cache_list;
196         cache_list = r;
197         cache_is_dirty = 1;
198         cache_entries++;
199         return 0;
200     }
201     /* cache is full: discard some clean entries */
202     if( clean_count ) {
203         int n = clean_count / 3; /* discard a third of the clean entries */
204         if( !n )
205             n = 1;
206         for( unused = NULL, r = cache_list; r; r = r->next ) {
207             if( r->flags.used && !r->flags.dirty ) {
208                 if( !unused )
209                     unused = r;
210                 r->flags.used = 0;
211                 cache_entries--;
212                 if( !--n )
213                     break;
214             }
215         }
216         assert( unused );
217         r = unused;
218         r->flags.used = 1;
219         r->recno = recno;
220         memcpy( r->data, data, TRUST_RECORD_LEN );
221         r->flags.dirty = 1;
222         cache_is_dirty = 1;
223         cache_entries++;
224         return 0;
225     }
226     /* no clean entries: have to flush some dirty entries */
227     if( in_transaction ) {
228         /* but we can't do this while in a transaction
229          * we increase the cache size instead */
230         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
231             if( opt.debug && !(cache_entries % 100) )
232                 log_debug("increasing tdbio cache size\n");
233             r = m_alloc( sizeof *r );
234             r->flags.used = 1;
235             r->recno = recno;
236             memcpy( r->data, data, TRUST_RECORD_LEN );
237             r->flags.dirty = 1;
238             r->next = cache_list;
239             cache_list = r;
240             cache_is_dirty = 1;
241             cache_entries++;
242             return 0;
243         }
244         log_info(_("trustdb transaction too large\n"));
245         return G10ERR_RESOURCE_LIMIT;
246     }
247     if( dirty_count ) {
248         int n = dirty_count / 5; /* discard some dirty entries */
249         if( !n )
250             n = 1;
251         if( !is_locked ) {
252             if( make_dotlock( lockhandle, -1 ) )
253                 log_fatal("can't acquire lock - giving up\n");
254             else
255                 is_locked = 1;
256         }
257         for( unused = NULL, r = cache_list; r; r = r->next ) {
258             if( r->flags.used && r->flags.dirty ) {
259                 int rc = write_cache_item( r );
260                 if( rc )
261                     return rc;
262                 if( !unused )
263                     unused = r;
264                 r->flags.used = 0;
265                 cache_entries--;
266                 if( !--n )
267                     break;
268             }
269         }
270         if( !opt.lock_once ) {
271             if( !release_dotlock( lockhandle ) )
272                 is_locked = 0;
273         }
274         assert( unused );
275         r = unused;
276         r->flags.used = 1;
277         r->recno = recno;
278         memcpy( r->data, data, TRUST_RECORD_LEN );
279         r->flags.dirty = 1;
280         cache_is_dirty = 1;
281         cache_entries++;
282         return 0;
283     }
284     BUG();
285 }
286
287
288 int
289 tdbio_is_dirty()
290 {
291     return cache_is_dirty;
292 }
293
294
295 /****************
296  * Flush the cache.  This cannot be used while in a transaction.
297  */
298 int
299 tdbio_sync()
300 {
301     CACHE_CTRL r;
302     int did_lock = 0;
303
304     if( db_fd == -1 )
305         open_db();
306     if( in_transaction )
307         log_bug("tdbio: syncing while in transaction\n");
308
309     if( !cache_is_dirty )
310         return 0;
311
312     if( !is_locked ) {
313         if( make_dotlock( lockhandle, -1 ) )
314             log_fatal("can't acquire lock - giving up\n");
315         else
316             is_locked = 1;
317         did_lock = 1;
318     }
319     for( r = cache_list; r; r = r->next ) {
320         if( r->flags.used && r->flags.dirty ) {
321             int rc = write_cache_item( r );
322             if( rc )
323                 return rc;
324         }
325     }
326     cache_is_dirty = 0;
327     if( did_lock && !opt.lock_once ) {
328         if( !release_dotlock( lockhandle ) )
329             is_locked = 0;
330     }
331
332     return 0;
333 }
334
335 #if 0
336 /* The transaction code is disabled in the 1.2.x branch, as it is not
337    yet used.  It will be enabled in 1.3.x. */
338
339 /****************
340  * Simple transactions system:
341  * Everything between begin_transaction and end/cancel_transaction
342  * is not immediatly written but at the time of end_transaction.
343  *
344  */
345 int
346 tdbio_begin_transaction()
347 {
348     int rc;
349
350     if( in_transaction )
351         log_bug("tdbio: nested transactions\n");
352     /* flush everything out */
353     rc = tdbio_sync();
354     if( rc )
355         return rc;
356     in_transaction = 1;
357     return 0;
358 }
359
360 int
361 tdbio_end_transaction()
362 {
363     int rc;
364
365     if( !in_transaction )
366         log_bug("tdbio: no active transaction\n");
367     if( !is_locked ) {
368         if( make_dotlock( lockhandle, -1 ) )
369             log_fatal("can't acquire lock - giving up\n");
370         else
371             is_locked = 1;
372     }
373     block_all_signals();
374     in_transaction = 0;
375     rc = tdbio_sync();
376     unblock_all_signals();
377     if( !opt.lock_once ) {
378         if( !release_dotlock( lockhandle ) )
379             is_locked = 0;
380     }
381     return rc;
382 }
383
384 int
385 tdbio_cancel_transaction()
386 {
387     CACHE_CTRL r;
388
389     if( !in_transaction )
390         log_bug("tdbio: no active transaction\n");
391
392     /* remove all dirty marked entries, so that the original ones
393      * are read back the next time */
394     if( cache_is_dirty ) {
395         for( r = cache_list; r; r = r->next ) {
396             if( r->flags.used && r->flags.dirty ) {
397                 r->flags.used = 0;
398                 cache_entries--;
399             }
400         }
401         cache_is_dirty = 0;
402     }
403
404     in_transaction = 0;
405     return 0;
406 }
407 #endif
408
409 \f
410 /********************************************************
411  **************** cached I/O functions ******************
412  ********************************************************/
413
414 static void
415 cleanup(void)
416 {
417     if( is_locked ) {
418         if( !release_dotlock(lockhandle) )
419             is_locked = 0;
420     }
421 }
422
423 /* Caller must sync */
424 int
425 tdbio_update_version_record (void)
426 {
427   TRUSTREC rec;
428   int rc;
429
430   memset( &rec, 0, sizeof rec );
431
432   rc=tdbio_read_record( 0, &rec, RECTYPE_VER);
433   if(rc==0)
434     {
435       rec.r.ver.created     = make_timestamp();
436       rec.r.ver.marginals   = opt.marginals_needed;
437       rec.r.ver.completes   = opt.completes_needed;
438       rec.r.ver.cert_depth  = opt.max_cert_depth;
439       rec.r.ver.trust_model = opt.trust_model;
440       rc=tdbio_write_record(&rec);
441     }
442
443   return rc;
444 }
445
446 static int
447 create_version_record (void)
448 {
449   TRUSTREC rec;
450   int rc;
451   
452   memset( &rec, 0, sizeof rec );
453   rec.r.ver.version     = 3;
454   rec.r.ver.created     = make_timestamp();
455   rec.r.ver.marginals   = opt.marginals_needed;
456   rec.r.ver.completes   = opt.completes_needed;
457   rec.r.ver.cert_depth  = opt.max_cert_depth;
458   if(opt.trust_model==TM_PGP || opt.trust_model==TM_CLASSIC)
459     rec.r.ver.trust_model = opt.trust_model;
460   else
461     rec.r.ver.trust_model = TM_PGP;
462   rec.rectype = RECTYPE_VER;
463   rec.recnum = 0;
464   rc = tdbio_write_record( &rec );
465   if( !rc )
466     tdbio_sync();
467   return rc;
468 }
469
470
471
472 int
473 tdbio_set_dbname( const char *new_dbname, int create )
474 {
475     char *fname;
476     static int initialized = 0;
477
478     if( !initialized ) {
479         atexit( cleanup );
480         initialized = 1;
481     }
482
483     if(new_dbname==NULL)
484       fname=make_filename(opt.homedir,"trustdb" EXTSEP_S "gpg", NULL);
485     else if (*new_dbname != DIRSEP_C )
486       {
487         if (strchr(new_dbname, DIRSEP_C) )
488           fname = make_filename (new_dbname, NULL);
489         else
490           fname = make_filename (opt.homedir, new_dbname, NULL);
491       }
492     else
493       fname = m_strdup (new_dbname);
494
495     if( access( fname, R_OK ) ) {
496         if( errno != ENOENT ) {
497             log_error( _("can't access `%s': %s\n"), fname, strerror(errno) );
498             m_free(fname);
499             return G10ERR_TRUSTDB;
500         }
501         if( create ) {
502             FILE *fp;
503             TRUSTREC rec;
504             int rc;
505             char *p = strrchr( fname, DIRSEP_C );
506             mode_t oldmask;
507
508             assert(p);
509             *p = 0;
510             if( access( fname, F_OK ) ) {
511                 try_make_homedir( fname );
512                 log_fatal( _("%s: directory does not exist!\n"), fname );
513             }
514             *p = DIRSEP_C;
515
516             m_free(db_name);
517             db_name = fname;
518 #ifdef __riscos__
519             if( !lockhandle )
520                 lockhandle = create_dotlock( db_name );
521             if( !lockhandle )
522                 log_fatal( _("can't create lock for `%s'\n"), db_name );
523             if( make_dotlock( lockhandle, -1 ) )
524                 log_fatal( _("can't lock `%s'\n"), db_name );
525 #endif /* __riscos__ */
526             oldmask=umask(077);
527             if (is_secured_filename (fname)) {
528                 fp = NULL;
529                 errno = EPERM;
530             }
531             else
532                 fp =fopen( fname, "wb" );
533             umask(oldmask);
534             if( !fp )
535                 log_fatal( _("can't create `%s': %s\n"), fname, strerror(errno) );
536             fclose(fp);
537             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
538             if( db_fd == -1 )
539                 log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
540
541 #ifndef __riscos__
542             if( !lockhandle )
543                 lockhandle = create_dotlock( db_name );
544             if( !lockhandle )
545                 log_fatal( _("can't create lock for `%s'\n"), db_name );
546 #endif /* !__riscos__ */
547
548             rc = create_version_record ();
549             if( rc )
550                 log_fatal( _("%s: failed to create version record: %s"),
551                                                    fname, g10_errstr(rc));
552             /* and read again to check that we are okay */
553             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
554                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
555
556             if( !opt.quiet )
557                 log_info(_("%s: trustdb created\n"), db_name);
558
559             return 0;
560         }
561     }
562     m_free(db_name);
563     db_name = fname;
564     return 0;
565 }
566
567
568 const char *
569 tdbio_get_dbname()
570 {
571     return db_name;
572 }
573
574
575
576 static void
577 open_db()
578 {
579   byte buf[10];
580   int n;
581   TRUSTREC rec;
582
583   assert( db_fd == -1 );
584
585   if (!lockhandle )
586     lockhandle = create_dotlock( db_name );
587   if (!lockhandle )
588     log_fatal( _("can't create lock for `%s'\n"), db_name );
589 #ifdef __riscos__
590   if (make_dotlock( lockhandle, -1 ) )
591     log_fatal( _("can't lock `%s'\n"), db_name );
592 #endif /* __riscos__ */
593   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
594   if (db_fd == -1 && errno == EACCES) {
595       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
596       if (db_fd != -1)
597           log_info (_("NOTE: trustdb not writable\n"));
598   }
599   if ( db_fd == -1 )
600     log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
601   register_secured_file (db_name);
602
603   /* check whether we need to do a version migration */
604   do
605     n = read (db_fd, buf, 5);
606   while (n==-1 && errno == EINTR);
607   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
608     {
609       migrate_from_v2 ();
610     }
611   
612   /* read the version record */
613   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
614     log_fatal( _("%s: invalid trustdb\n"), db_name );
615 }
616
617
618 /****************
619  * Make a hashtable: type 0 = trust hash
620  */
621 static void
622 create_hashtable( TRUSTREC *vr, int type )
623 {
624     TRUSTREC rec;
625     off_t offset;
626     ulong recnum;
627     int i, n, rc;
628
629     offset = lseek( db_fd, 0, SEEK_END );
630     if( offset == -1 )
631         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
632     recnum = offset / TRUST_RECORD_LEN;
633     assert(recnum); /* this is will never be the first record */
634
635     if( !type )
636         vr->r.ver.trusthashtbl = recnum;
637
638     /* Now write the records */
639     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
640     for(i=0; i < n; i++, recnum++ ) {
641          memset( &rec, 0, sizeof rec );
642          rec.rectype = RECTYPE_HTBL;
643          rec.recnum = recnum;
644          rc = tdbio_write_record( &rec );
645          if( rc )
646              log_fatal( _("%s: failed to create hashtable: %s\n"),
647                                         db_name, g10_errstr(rc));
648     }
649     /* update the version record */
650     rc = tdbio_write_record( vr );
651     if( !rc )
652         rc = tdbio_sync();
653     if( rc )
654         log_fatal( _("%s: error updating version record: %s\n"),
655                                                   db_name, g10_errstr(rc));
656 }
657
658
659 int
660 tdbio_db_matches_options()
661 {
662   static int yes_no = -1;
663
664   if( yes_no == -1 )
665     {
666       TRUSTREC vr;
667       int rc;
668
669       rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
670       if( rc )
671         log_fatal( _("%s: error reading version record: %s\n"),
672                    db_name, g10_errstr(rc) );
673
674       yes_no = vr.r.ver.marginals == opt.marginals_needed
675         && vr.r.ver.completes == opt.completes_needed
676         && vr.r.ver.cert_depth == opt.max_cert_depth
677         && vr.r.ver.trust_model == opt.trust_model;
678     }
679
680   return yes_no;
681 }
682
683 byte
684 tdbio_read_model(void)
685 {
686   TRUSTREC vr;
687   int rc;
688  
689   rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
690   if( rc )
691     log_fatal( _("%s: error reading version record: %s\n"),
692                db_name, g10_errstr(rc) );
693   return vr.r.ver.trust_model;
694 }
695
696 /****************
697  * Return the nextstamp value.
698  */
699 ulong
700 tdbio_read_nextcheck ()
701 {
702     TRUSTREC vr;
703     int rc;
704
705     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
706     if( rc )
707         log_fatal( _("%s: error reading version record: %s\n"),
708                                                     db_name, g10_errstr(rc) );
709     return vr.r.ver.nextcheck;
710 }
711
712 /* Return true when the stamp was actually changed. */
713 int
714 tdbio_write_nextcheck (ulong stamp)
715 {
716     TRUSTREC vr;
717     int rc;
718
719     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
720     if( rc )
721         log_fatal( _("%s: error reading version record: %s\n"),
722                                        db_name, g10_errstr(rc) );
723
724     if (vr.r.ver.nextcheck == stamp)
725       return 0;
726
727     vr.r.ver.nextcheck = stamp;
728     rc = tdbio_write_record( &vr );
729     if( rc )
730         log_fatal( _("%s: error writing version record: %s\n"),
731                                        db_name, g10_errstr(rc) );
732     return 1;
733 }
734
735
736
737 /****************
738  * Return the record number of the trusthash tbl or create a new one.
739  */
740 static ulong
741 get_trusthashrec(void)
742 {
743     static ulong trusthashtbl; /* record number of the trust hashtable */
744
745     if( !trusthashtbl ) {
746         TRUSTREC vr;
747         int rc;
748
749         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
750         if( rc )
751             log_fatal( _("%s: error reading version record: %s\n"),
752                                             db_name, g10_errstr(rc) );
753         if( !vr.r.ver.trusthashtbl )
754             create_hashtable( &vr, 0 );
755
756         trusthashtbl = vr.r.ver.trusthashtbl;
757     }
758     return trusthashtbl;
759 }
760
761
762
763 /****************
764  * Update a hashtable.
765  * table gives the start of the table, key and keylen is the key,
766  * newrecnum is the record number to insert.
767  */
768 static int
769 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
770 {
771     TRUSTREC lastrec, rec;
772     ulong hashrec, item;
773     int msb;
774     int level=0;
775     int rc, i;
776
777     hashrec = table;
778   next_level:
779     msb = key[level];
780     hashrec += msb / ITEMS_PER_HTBL_RECORD;
781     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
782     if( rc ) {
783         log_error("upd_hashtable: read failed: %s\n",   g10_errstr(rc) );
784         return rc;
785     }
786
787     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
788     if( !item ) { /* insert a new item into the hash table */
789         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
790         rc = tdbio_write_record( &rec );
791         if( rc ) {
792             log_error("upd_hashtable: write htbl failed: %s\n",
793                                                             g10_errstr(rc) );
794             return rc;
795         }
796     }
797     else if( item != newrecnum ) {  /* must do an update */
798         lastrec = rec;
799         rc = tdbio_read_record( item, &rec, 0 );
800         if( rc ) {
801             log_error( "upd_hashtable: read item failed: %s\n",
802                                                             g10_errstr(rc) );
803             return rc;
804         }
805
806         if( rec.rectype == RECTYPE_HTBL ) {
807             hashrec = item;
808             level++;
809             if( level >= keylen ) {
810                 log_error( "hashtable has invalid indirections.\n");
811                 return G10ERR_TRUSTDB;
812             }
813             goto next_level;
814         }
815         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
816             /* see whether the key is already in this list */
817             for(;;) {
818                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
819                     if( rec.r.hlst.rnum[i] == newrecnum ) {
820                         return 0; /* okay, already in the list */
821                     }
822                 }
823                 if( rec.r.hlst.next ) {
824                     rc = tdbio_read_record( rec.r.hlst.next,
825                                                        &rec, RECTYPE_HLST);
826                     if( rc ) {
827                         log_error( "upd_hashtable: read hlst failed: %s\n",
828                                                              g10_errstr(rc) );
829                         return rc;
830                     }
831                 }
832                 else
833                     break; /* not there */
834             }
835             /* find the next free entry and put it in */
836             for(;;) {
837                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
838                     if( !rec.r.hlst.rnum[i] ) {
839                         rec.r.hlst.rnum[i] = newrecnum;
840                         rc = tdbio_write_record( &rec );
841                         if( rc )
842                             log_error( "upd_hashtable: write hlst failed: %s\n",
843                                                               g10_errstr(rc) );
844                         return rc; /* done */
845                     }
846                 }
847                 if( rec.r.hlst.next ) {
848                     rc = tdbio_read_record( rec.r.hlst.next,
849                                                       &rec, RECTYPE_HLST );
850                     if( rc ) {
851                         log_error( "upd_hashtable: read hlst failed: %s\n",
852                                                              g10_errstr(rc) );
853                         return rc;
854                     }
855                 }
856                 else { /* add a new list record */
857                     rec.r.hlst.next = item = tdbio_new_recnum();
858                     rc = tdbio_write_record( &rec );
859                     if( rc ) {
860                         log_error( "upd_hashtable: write hlst failed: %s\n",
861                                                           g10_errstr(rc) );
862                         return rc;
863                     }
864                     memset( &rec, 0, sizeof rec );
865                     rec.rectype = RECTYPE_HLST;
866                     rec.recnum = item;
867                     rec.r.hlst.rnum[0] = newrecnum;
868                     rc = tdbio_write_record( &rec );
869                     if( rc )
870                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
871                                                           g10_errstr(rc) );
872                     return rc; /* done */
873                 }
874             } /* end loop over hlst slots */
875         }
876         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
877             if( rec.recnum == newrecnum ) {
878                 return 0;
879             }
880             item = rec.recnum; /* save number of key record */
881             memset( &rec, 0, sizeof rec );
882             rec.rectype = RECTYPE_HLST;
883             rec.recnum = tdbio_new_recnum();
884             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
885             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
886             rc = tdbio_write_record( &rec );
887             if( rc ) {
888                 log_error( "upd_hashtable: write new hlst failed: %s\n",
889                                                   g10_errstr(rc) );
890                 return rc;
891             }
892             /* update the hashtable record */
893             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
894             rc = tdbio_write_record( &lastrec );
895             if( rc )
896                 log_error( "upd_hashtable: update htbl failed: %s\n",
897                                                              g10_errstr(rc) );
898             return rc; /* ready */
899         }
900         else {
901             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
902                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
903             list_trustdb(NULL);
904             return G10ERR_TRUSTDB;
905         }
906     }
907
908     return 0;
909 }
910
911
912 /****************
913  * Drop an entry from a hashtable
914  * table gives the start of the table, key and keylen is the key,
915  */
916 static int
917 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
918 {
919     TRUSTREC rec;
920     ulong hashrec, item;
921     int msb;
922     int level=0;
923     int rc, i;
924
925     hashrec = table;
926   next_level:
927     msb = key[level];
928     hashrec += msb / ITEMS_PER_HTBL_RECORD;
929     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
930     if( rc ) {
931         log_error("drop_from_hashtable: read failed: %s\n",
932                                                         g10_errstr(rc) );
933         return rc;
934     }
935
936     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
937     if( !item )  /* not found - forget about it  */
938         return 0;
939
940     if( item == recnum ) {  /* tables points direct to the record */
941         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
942         rc = tdbio_write_record( &rec );
943         if( rc )
944             log_error("drop_from_hashtable: write htbl failed: %s\n",
945                                                             g10_errstr(rc) );
946         return rc;
947     }
948
949     rc = tdbio_read_record( item, &rec, 0 );
950     if( rc ) {
951         log_error( "drop_from_hashtable: read item failed: %s\n",
952                                                         g10_errstr(rc) );
953         return rc;
954     }
955
956     if( rec.rectype == RECTYPE_HTBL ) {
957         hashrec = item;
958         level++;
959         if( level >= keylen ) {
960             log_error( "hashtable has invalid indirections.\n");
961             return G10ERR_TRUSTDB;
962         }
963         goto next_level;
964     }
965
966     if( rec.rectype == RECTYPE_HLST ) {
967         for(;;) {
968             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
969                 if( rec.r.hlst.rnum[i] == recnum ) {
970                     rec.r.hlst.rnum[i] = 0; /* drop */
971                     rc = tdbio_write_record( &rec );
972                     if( rc )
973                         log_error("drop_from_hashtable: write htbl failed: %s\n",
974                                                                         g10_errstr(rc) );
975                     return rc;
976                 }
977             }
978             if( rec.r.hlst.next ) {
979                 rc = tdbio_read_record( rec.r.hlst.next,
980                                                    &rec, RECTYPE_HLST);
981                 if( rc ) {
982                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
983                                                          g10_errstr(rc) );
984                     return rc;
985                 }
986             }
987             else
988                 return 0; /* key not in table */
989         }
990     }
991
992     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
993                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
994     return G10ERR_TRUSTDB;
995 }
996
997
998
999 /****************
1000  * Lookup a record via the hashtable tablewith key/keylen and return the
1001  * result in rec.  cmp() should return if the record is the desired one.
1002  * Returns -1 if not found, 0 if found or another errocode
1003  */
1004 static int
1005 lookup_hashtable( ulong table, const byte *key, size_t keylen,
1006                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
1007                                                 TRUSTREC *rec )
1008 {
1009     int rc;
1010     ulong hashrec, item;
1011     int msb;
1012     int level=0;
1013
1014     hashrec = table;
1015   next_level:
1016     msb = key[level];
1017     hashrec += msb / ITEMS_PER_HTBL_RECORD;
1018     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
1019     if( rc ) {
1020         log_error("lookup_hashtable failed: %s\n", g10_errstr(rc) );
1021         return rc;
1022     }
1023
1024     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
1025     if( !item )
1026         return -1; /* not found */
1027
1028     rc = tdbio_read_record( item, rec, 0 );
1029     if( rc ) {
1030         log_error( "hashtable read failed: %s\n", g10_errstr(rc) );
1031         return rc;
1032     }
1033     if( rec->rectype == RECTYPE_HTBL ) {
1034         hashrec = item;
1035         level++;
1036         if( level >= keylen ) {
1037             log_error("hashtable has invalid indirections\n");
1038             return G10ERR_TRUSTDB;
1039         }
1040         goto next_level;
1041     }
1042     else if( rec->rectype == RECTYPE_HLST ) {
1043         for(;;) {
1044             int i;
1045
1046             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1047                 if( rec->r.hlst.rnum[i] ) {
1048                     TRUSTREC tmp;
1049
1050                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1051                     if( rc ) {
1052                         log_error( "lookup_hashtable: read item failed: %s\n",
1053                                                               g10_errstr(rc) );
1054                         return rc;
1055                     }
1056                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1057                         *rec = tmp;
1058                         return 0;
1059                     }
1060                 }
1061             }
1062             if( rec->r.hlst.next ) {
1063                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1064                 if( rc ) {
1065                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1066                                                          g10_errstr(rc) );
1067                     return rc;
1068                 }
1069             }
1070             else
1071                 return -1; /* not found */
1072         }
1073     }
1074
1075
1076     if( (*cmpfnc)( cmpdata, rec ) )
1077         return 0; /* really found */
1078
1079     return -1; /* no: not found */
1080 }
1081
1082
1083 /****************
1084  * Update the trust hashtbl or create the table if it does not exist
1085  */
1086 static int
1087 update_trusthashtbl( TRUSTREC *tr )
1088 {
1089     return upd_hashtable( get_trusthashrec(),
1090                           tr->r.trust.fingerprint, 20, tr->recnum );
1091 }
1092
1093
1094
1095 void
1096 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1097 {
1098     int i;
1099     ulong rnum = rec->recnum;
1100
1101     fprintf(fp, "rec %5lu, ", rnum );
1102
1103     switch( rec->rectype ) {
1104       case 0: fprintf(fp, "blank\n");
1105         break;
1106       case RECTYPE_VER: fprintf(fp,
1107             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d tm=%d nc=%lu (%s)\n",
1108                                    rec->r.ver.trusthashtbl,
1109                                    rec->r.ver.firstfree,
1110                                    rec->r.ver.marginals,
1111                                    rec->r.ver.completes,
1112                                    rec->r.ver.cert_depth,
1113                                    rec->r.ver.trust_model,
1114                                    rec->r.ver.nextcheck,
1115                                    strtimestamp(rec->r.ver.nextcheck)
1116                                  );
1117         break;
1118       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1119         break;
1120       case RECTYPE_HTBL:
1121         fprintf(fp, "htbl,");
1122         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1123             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1124         putc('\n', fp);
1125         break;
1126       case RECTYPE_HLST:
1127         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1128         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1129             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1130         putc('\n', fp);
1131         break;
1132       case RECTYPE_TRUST:
1133         fprintf(fp, "trust ");
1134         for(i=0; i < 20; i++ )
1135             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1136         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1137                  rec->r.trust.depth, rec->r.trust.validlist);
1138         break;
1139       case RECTYPE_VALID:
1140         fprintf(fp, "valid ");
1141         for(i=0; i < 20; i++ )
1142             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1143         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1144                  rec->r.valid.next);
1145         break;
1146       default:
1147         fprintf(fp, "unknown type %d\n", rec->rectype );
1148         break;
1149     }
1150 }
1151
1152 /****************
1153  * read the record with number recnum
1154  * returns: -1 on error, 0 on success
1155  */
1156 int
1157 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1158 {
1159     byte readbuf[TRUST_RECORD_LEN];
1160     const byte *buf, *p;
1161     int rc = 0;
1162     int n, i;
1163
1164     if( db_fd == -1 )
1165         open_db();
1166     buf = get_record_from_cache( recnum );
1167     if( !buf ) {
1168         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1169             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1170             return G10ERR_READ_FILE;
1171         }
1172         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1173         if( !n ) {
1174             return -1; /* eof */
1175         }
1176         else if( n != TRUST_RECORD_LEN ) {
1177             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1178                                                         strerror(errno) );
1179             return G10ERR_READ_FILE;
1180         }
1181         buf = readbuf;
1182     }
1183     rec->recnum = recnum;
1184     rec->dirty = 0;
1185     p = buf;
1186     rec->rectype = *p++;
1187     if( expected && rec->rectype != expected ) {
1188         log_error("%lu: read expected rec type %d, got %d\n",
1189                     recnum, expected, rec->rectype );
1190         return G10ERR_TRUSTDB;
1191     }
1192     p++;    /* skip reserved byte */
1193     switch( rec->rectype ) {
1194       case 0:  /* unused (free) record */
1195         break;
1196       case RECTYPE_VER: /* version record */
1197         if( memcmp(buf+1, "gpg", 3 ) ) {
1198             log_error( _("%s: not a trustdb file\n"), db_name );
1199             rc = G10ERR_TRUSTDB;
1200         }
1201         p += 2; /* skip "gpg" */
1202         rec->r.ver.version  = *p++;
1203         rec->r.ver.marginals = *p++;
1204         rec->r.ver.completes = *p++;
1205         rec->r.ver.cert_depth = *p++;
1206         rec->r.ver.trust_model = *p++;
1207         p += 3;
1208         rec->r.ver.created  = buftoulong(p); p += 4;
1209         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1210         p += 4;
1211         p += 4;
1212         rec->r.ver.firstfree =buftoulong(p); p += 4;
1213         p += 4;
1214         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1215         if( recnum ) {
1216             log_error( _("%s: version record with recnum %lu\n"), db_name,
1217                                                              (ulong)recnum );
1218             rc = G10ERR_TRUSTDB;
1219         }
1220         else if( rec->r.ver.version != 3 ) {
1221             log_error( _("%s: invalid file version %d\n"), db_name,
1222                                                         rec->r.ver.version );
1223             rc = G10ERR_TRUSTDB;
1224         }
1225         break;
1226       case RECTYPE_FREE:
1227         rec->r.free.next  = buftoulong(p); p += 4;
1228         break;
1229       case RECTYPE_HTBL:
1230         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1231             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1232         }
1233         break;
1234       case RECTYPE_HLST:
1235         rec->r.hlst.next = buftoulong(p); p += 4;
1236         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1237             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1238         }
1239         break;
1240       case RECTYPE_TRUST:
1241         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1242         rec->r.trust.ownertrust = *p++;
1243         rec->r.trust.depth = *p++;
1244         rec->r.trust.min_ownertrust = *p++;
1245         p++;
1246         rec->r.trust.validlist = buftoulong(p); p += 4;
1247         break;
1248       case RECTYPE_VALID:
1249         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1250         rec->r.valid.validity = *p++;
1251         rec->r.valid.next = buftoulong(p); p += 4;
1252         rec->r.valid.full_count = *p++;
1253         rec->r.valid.marginal_count = *p++;
1254         break;
1255       default:
1256         log_error( "%s: invalid record type %d at recnum %lu\n",
1257                                    db_name, rec->rectype, (ulong)recnum );
1258         rc = G10ERR_TRUSTDB;
1259         break;
1260     }
1261
1262     return rc;
1263 }
1264
1265 /****************
1266  * Write the record at RECNUM
1267  */
1268 int
1269 tdbio_write_record( TRUSTREC *rec )
1270 {
1271     byte buf[TRUST_RECORD_LEN], *p;
1272     int rc = 0;
1273     int i;
1274     ulong recnum = rec->recnum;
1275
1276     if( db_fd == -1 )
1277         open_db();
1278
1279     memset(buf, 0, TRUST_RECORD_LEN);
1280     p = buf;
1281     *p++ = rec->rectype; p++;
1282     switch( rec->rectype ) {
1283       case 0:  /* unused record */
1284         break;
1285       case RECTYPE_VER: /* version record */
1286         if( recnum )
1287             BUG();
1288         memcpy(p-1, "gpg", 3 ); p += 2;
1289         *p++ = rec->r.ver.version;
1290         *p++ = rec->r.ver.marginals;
1291         *p++ = rec->r.ver.completes;
1292         *p++ = rec->r.ver.cert_depth;
1293         *p++ = rec->r.ver.trust_model;
1294         p += 3;
1295         ulongtobuf(p, rec->r.ver.created); p += 4;
1296         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1297         p += 4;
1298         p += 4;
1299         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1300         p += 4;
1301         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1302         break;
1303
1304       case RECTYPE_FREE:
1305         ulongtobuf(p, rec->r.free.next); p += 4;
1306         break;
1307
1308
1309       case RECTYPE_HTBL:
1310         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1311             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1312         }
1313         break;
1314
1315       case RECTYPE_HLST:
1316         ulongtobuf( p, rec->r.hlst.next); p += 4;
1317         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1318             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1319         }
1320         break;
1321
1322       case RECTYPE_TRUST:
1323         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1324         *p++ = rec->r.trust.ownertrust;
1325         *p++ = rec->r.trust.depth;
1326         *p++ = rec->r.trust.min_ownertrust;
1327         p++;
1328         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1329         break;
1330
1331       case RECTYPE_VALID:
1332         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1333         *p++ = rec->r.valid.validity;
1334         ulongtobuf( p, rec->r.valid.next); p += 4;
1335         *p++ = rec->r.valid.full_count;
1336         *p++ = rec->r.valid.marginal_count;
1337         break;
1338
1339       default:
1340         BUG();
1341     }
1342
1343     rc = put_record_into_cache( recnum, buf );
1344     if( rc )
1345         ;
1346     else if( rec->rectype == RECTYPE_TRUST )
1347         rc = update_trusthashtbl( rec );
1348
1349     return rc;
1350 }
1351
1352 int
1353 tdbio_delete_record( ulong recnum )
1354 {
1355     TRUSTREC vr, rec;
1356     int rc;
1357
1358     /* Must read the record fist, so we can drop it from the hash tables */
1359     rc = tdbio_read_record( recnum, &rec, 0 );
1360     if( rc )
1361         ;
1362     else if( rec.rectype == RECTYPE_TRUST ) {
1363          rc = drop_from_hashtable( get_trusthashrec(),
1364                                    rec.r.trust.fingerprint, 20, rec.recnum );
1365     }
1366
1367     if( rc )
1368         return rc;
1369
1370     /* now we can chnage it to a free record */
1371     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1372     if( rc )
1373         log_fatal( _("%s: error reading version record: %s\n"),
1374                                        db_name, g10_errstr(rc) );
1375
1376     rec.recnum = recnum;
1377     rec.rectype = RECTYPE_FREE;
1378     rec.r.free.next = vr.r.ver.firstfree;
1379     vr.r.ver.firstfree = recnum;
1380     rc = tdbio_write_record( &rec );
1381     if( !rc )
1382         rc = tdbio_write_record( &vr );
1383     return rc;
1384 }
1385
1386 /****************
1387  * create a new record and return its record number
1388  */
1389 ulong
1390 tdbio_new_recnum()
1391 {
1392     off_t offset;
1393     ulong recnum;
1394     TRUSTREC vr, rec;
1395     int rc;
1396
1397     /* look for unused records */
1398     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1399     if( rc )
1400         log_fatal( _("%s: error reading version record: %s\n"),
1401                                              db_name, g10_errstr(rc) );
1402     if( vr.r.ver.firstfree ) {
1403         recnum = vr.r.ver.firstfree;
1404         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1405         if( rc ) {
1406             log_error( _("%s: error reading free record: %s\n"),
1407                                                   db_name,  g10_errstr(rc) );
1408             return rc;
1409         }
1410         /* update dir record */
1411         vr.r.ver.firstfree = rec.r.free.next;
1412         rc = tdbio_write_record( &vr );
1413         if( rc ) {
1414             log_error( _("%s: error writing dir record: %s\n"),
1415                                                      db_name, g10_errstr(rc) );
1416             return rc;
1417         }
1418         /*zero out the new record */
1419         memset( &rec, 0, sizeof rec );
1420         rec.rectype = 0; /* unused record */
1421         rec.recnum = recnum;
1422         rc = tdbio_write_record( &rec );
1423         if( rc )
1424             log_fatal(_("%s: failed to zero a record: %s\n"),
1425                                        db_name, g10_errstr(rc));
1426     }
1427     else { /* not found, append a new record */
1428         offset = lseek( db_fd, 0, SEEK_END );
1429         if( offset == -1 )
1430             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1431         recnum = offset / TRUST_RECORD_LEN;
1432         assert(recnum); /* this is will never be the first record */
1433         /* we must write a record, so that the next call to this function
1434          * returns another recnum */
1435         memset( &rec, 0, sizeof rec );
1436         rec.rectype = 0; /* unused record */
1437         rec.recnum = recnum;
1438         rc = 0;
1439         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1440             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1441                                                 recnum, strerror(errno) );
1442             rc = G10ERR_WRITE_FILE;
1443         }
1444         else {
1445             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1446             if( n != TRUST_RECORD_LEN ) {
1447                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1448                                                  recnum, n, strerror(errno) );
1449                 rc = G10ERR_WRITE_FILE;
1450             }
1451         }
1452
1453         if( rc )
1454             log_fatal(_("%s: failed to append a record: %s\n"),
1455                                     db_name,    g10_errstr(rc));
1456     }
1457     return recnum ;
1458 }
1459
1460
1461
1462 static int
1463 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1464 {
1465     return rec->rectype == RECTYPE_TRUST
1466            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1467 }
1468
1469
1470 int
1471 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1472 {
1473     int rc;
1474
1475     /* locate the trust record using the hash table */
1476     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1477                            cmp_trec_fpr, (void*)fingerprint, rec );
1478     return rc;
1479 }
1480
1481 int
1482 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1483 {
1484     byte fingerprint[MAX_FINGERPRINT_LEN];
1485     size_t fingerlen;
1486
1487     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1488     for (; fingerlen < 20; fingerlen++ )
1489       fingerprint[fingerlen] = 0;
1490     return tdbio_search_trust_byfpr (fingerprint, rec);
1491 }
1492
1493
1494
1495 void
1496 tdbio_invalid(void)
1497 {
1498     log_error(_(
1499         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1500     g10_exit(2);
1501 }
1502
1503 /*
1504  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1505  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1506  * only to scan the tdb and insert new the new trust records.  The old ones are
1507  * obsolte from now on
1508  */
1509 static void
1510 migrate_from_v2 ()
1511 {
1512   TRUSTREC rec;
1513   int i, n;
1514   struct {
1515     ulong keyrecno;
1516     byte  ot;
1517     byte okay;
1518     byte  fpr[20];
1519   } *ottable;
1520   int ottable_size, ottable_used;
1521   byte oldbuf[40];
1522   ulong recno;
1523   int rc, count;
1524
1525   ottable_size = 5;
1526   ottable = m_alloc (ottable_size * sizeof *ottable);
1527   ottable_used = 0;
1528
1529   /* We have some restrictions here.  We can't use the version record
1530    * and we can't use any of the old hashtables because we dropped the
1531    * code.  So we first collect all ownertrusts and then use a second
1532    * pass fo find the associated keys.  We have to do this all without using 
1533    * the regular record read functions.
1534    */
1535
1536   /* get all the ownertrusts */
1537   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1538       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1539   for (recno=0;;recno++)
1540     {
1541       do
1542         n = read (db_fd, oldbuf, 40);
1543       while (n==-1 && errno == EINTR);
1544       if (!n)
1545         break; /* eof */
1546       if (n != 40)
1547         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1548
1549       if (*oldbuf != 2)
1550         continue;
1551       
1552       /* v2 dir record */
1553       if (ottable_used == ottable_size)
1554         {
1555           ottable_size += 1000;
1556           ottable = m_realloc (ottable, ottable_size * sizeof *ottable);
1557         }
1558       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1559       ottable[ottable_used].ot = oldbuf[18];
1560       ottable[ottable_used].okay = 0;
1561       memset (ottable[ottable_used].fpr,0, 20);
1562       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1563         ottable_used++;
1564     }
1565   log_info ("found %d ownertrust records\n", ottable_used);
1566
1567   /* Read again and find the fingerprints */
1568   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1569       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1570   for (recno=0;;recno++)
1571     {
1572       do
1573         n = read (db_fd, oldbuf, 40);
1574       while (n==-1 && errno == EINTR);
1575       if (!n)
1576         break; /* eof */
1577       if (n != 40)
1578         log_fatal ("migrate_from_v2: read error or short read\n");
1579
1580       if (*oldbuf != 3) 
1581         continue;
1582
1583       /* v2 key record */
1584       for (i=0; i < ottable_used; i++)
1585         {
1586           if (ottable[i].keyrecno == recno)
1587             {
1588               memcpy (ottable[i].fpr, oldbuf+20, 20);
1589               ottable[i].okay = 1;
1590               break;
1591             }
1592         }
1593     }
1594
1595   /* got everything - create the v3 trustdb */
1596   if (ftruncate (db_fd, 0))
1597     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1598   if (create_version_record ())
1599     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1600
1601   /* access the hash table, so it is store just after the version record, 
1602    * this is not needed put a dump is more pretty */
1603   get_trusthashrec ();
1604
1605   /* And insert the old ownertrust values */
1606   count = 0;
1607   for (i=0; i < ottable_used; i++)
1608     {
1609       if (!ottable[i].okay)
1610         continue;
1611       
1612       memset (&rec, 0, sizeof rec);
1613       rec.recnum = tdbio_new_recnum ();
1614       rec.rectype = RECTYPE_TRUST;
1615       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1616       rec.r.trust.ownertrust = ottable[i].ot;
1617       if (tdbio_write_record (&rec))
1618         log_fatal ("failed to write trust record of `%s'\n", db_name);
1619       count++;
1620     }
1621
1622   revalidation_mark ();
1623   rc = tdbio_sync ();
1624   if (rc)
1625     log_fatal ("failed to sync `%s'\n", db_name);
1626   log_info ("migrated %d version 2 ownertrusts\n", count);
1627   m_free (ottable);
1628 }