Finished the bulk of changes for gnupg 1.9. This included switching
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/types.h>
28 #include <sys/stat.h>
29 #include <fcntl.h>
30 #include <unistd.h>
31
32 #include "gpg.h"
33 #include "errors.h"
34 #include "iobuf.h"
35 #include "memory.h"
36 #include "util.h"
37 #include "options.h"
38 #include "main.h"
39 #include "i18n.h"
40 #include "trustdb.h"
41 #include "tdbio.h"
42
43 #if defined(HAVE_DOSISH_SYSTEM)
44 #define ftruncate chsize
45 #endif
46
47 #if defined(HAVE_DOSISH_SYSTEM) || defined(__CYGWIN__)
48 #define MY_O_BINARY  O_BINARY
49 #else
50 #define MY_O_BINARY  0
51 #endif
52
53
54 /****************
55  * Yes, this is a very simple implementation. We should really
56  * use a page aligned buffer and read complete pages.
57  * To implement a simple trannsaction system, this is sufficient.
58  */
59 typedef struct cache_ctrl_struct *CACHE_CTRL;
60 struct cache_ctrl_struct {
61     CACHE_CTRL next;
62     struct {
63         unsigned used:1;
64         unsigned dirty:1;
65     } flags;
66     ulong recno;
67     char data[TRUST_RECORD_LEN];
68 };
69
70 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
71 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
72 static CACHE_CTRL cache_list;
73 static int cache_entries;
74 static int cache_is_dirty;
75
76 /* a type used to pass infomation to cmp_krec_fpr */
77 struct cmp_krec_fpr_struct {
78     int pubkey_algo;
79     const char *fpr;
80     int fprlen;
81 };
82
83 /* a type used to pass infomation to cmp_[s]dir */
84 struct cmp_xdir_struct {
85     int pubkey_algo;
86     u32 keyid[2];
87 };
88
89
90 static char *db_name;
91 static DOTLOCK lockhandle;
92 static int is_locked;
93 static int  db_fd = -1;
94 static int in_transaction;
95
96 static void open_db(void);
97 static void migrate_from_v2 (void);
98
99
100 \f
101 /*************************************
102  ************* record cache **********
103  *************************************/
104
105 /****************
106  * Get the data from therecord cache and return a
107  * pointer into that cache.  Caller should copy
108  * the return data.  NULL is returned on a cache miss.
109  */
110 static const char *
111 get_record_from_cache( ulong recno )
112 {
113     CACHE_CTRL r;
114
115     for( r = cache_list; r; r = r->next ) {
116         if( r->flags.used && r->recno == recno )
117             return r->data;
118     }
119     return NULL;
120 }
121
122
123 static int
124 write_cache_item( CACHE_CTRL r )
125 {
126     int n;
127     gpg_error_t rc;
128
129     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
130         rc = gpg_error_from_errno (errno);
131         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
132                                             r->recno, strerror(errno) );
133         return rc;
134     }
135     n = write( db_fd, r->data, TRUST_RECORD_LEN);
136     if( n != TRUST_RECORD_LEN ) {
137         rc = gpg_error_from_errno (errno);
138         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
139                                             r->recno, n, strerror(errno) );
140         return rc;
141     }
142     r->flags.dirty = 0;
143     return 0;
144 }
145
146 /****************
147  * Put data into the cache.  This function may flush the
148  * some cache entries if there is not enough space available.
149  */
150 int
151 put_record_into_cache( ulong recno, const char *data )
152 {
153     CACHE_CTRL r, unused;
154     int dirty_count = 0;
155     int clean_count = 0;
156
157     /* see whether we already cached this one */
158     for( unused = NULL, r = cache_list; r; r = r->next ) {
159         if( !r->flags.used ) {
160             if( !unused )
161                 unused = r;
162         }
163         else if( r->recno == recno ) {
164             if( !r->flags.dirty ) {
165                 /* Hmmm: should we use a a copy and compare? */
166                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
167                     r->flags.dirty = 1;
168                     cache_is_dirty = 1;
169                 }
170             }
171             memcpy( r->data, data, TRUST_RECORD_LEN );
172             return 0;
173         }
174         if( r->flags.used ) {
175             if( r->flags.dirty )
176                 dirty_count++;
177             else
178                 clean_count++;
179         }
180     }
181     /* not in the cache: add a new entry */
182     if( unused ) { /* reuse this entry */
183         r = unused;
184         r->flags.used = 1;
185         r->recno = recno;
186         memcpy( r->data, data, TRUST_RECORD_LEN );
187         r->flags.dirty = 1;
188         cache_is_dirty = 1;
189         cache_entries++;
190         return 0;
191     }
192     /* see whether we reached the limit */
193     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
194         r = xmalloc ( sizeof *r );
195         r->flags.used = 1;
196         r->recno = recno;
197         memcpy( r->data, data, TRUST_RECORD_LEN );
198         r->flags.dirty = 1;
199         r->next = cache_list;
200         cache_list = r;
201         cache_is_dirty = 1;
202         cache_entries++;
203         return 0;
204     }
205     /* cache is full: discard some clean entries */
206     if( clean_count ) {
207         int n = clean_count / 3; /* discard a third of the clean entries */
208         if( !n )
209             n = 1;
210         for( unused = NULL, r = cache_list; r; r = r->next ) {
211             if( r->flags.used && !r->flags.dirty ) {
212                 if( !unused )
213                     unused = r;
214                 r->flags.used = 0;
215                 cache_entries--;
216                 if( !--n )
217                     break;
218             }
219         }
220         assert( unused );
221         r = unused;
222         r->flags.used = 1;
223         r->recno = recno;
224         memcpy( r->data, data, TRUST_RECORD_LEN );
225         r->flags.dirty = 1;
226         cache_is_dirty = 1;
227         cache_entries++;
228         return 0;
229     }
230     /* no clean entries: have to flush some dirty entries */
231     if( in_transaction ) {
232         /* but we can't do this while in a transaction
233          * we increase the cache size instead */
234         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
235             if( opt.debug && !(cache_entries % 100) )
236                 log_debug("increasing tdbio cache size\n");
237             r = xmalloc ( sizeof *r );
238             r->flags.used = 1;
239             r->recno = recno;
240             memcpy( r->data, data, TRUST_RECORD_LEN );
241             r->flags.dirty = 1;
242             r->next = cache_list;
243             cache_list = r;
244             cache_is_dirty = 1;
245             cache_entries++;
246             return 0;
247         }
248         log_info(_("trustdb transaction too large\n"));
249         return GPG_ERR_RESOURCE_LIMIT;
250     }
251     if( dirty_count ) {
252         int n = dirty_count / 5; /* discard some dirty entries */
253         if( !n )
254             n = 1;
255         if( !is_locked ) {
256             if( make_dotlock( lockhandle, -1 ) )
257                 log_fatal("can't acquire lock - giving up\n");
258             else
259                 is_locked = 1;
260         }
261         for( unused = NULL, r = cache_list; r; r = r->next ) {
262             if( r->flags.used && r->flags.dirty ) {
263                 int rc = write_cache_item( r );
264                 if( rc )
265                     return rc;
266                 if( !unused )
267                     unused = r;
268                 r->flags.used = 0;
269                 cache_entries--;
270                 if( !--n )
271                     break;
272             }
273         }
274         if( !opt.lock_once ) {
275             if( !release_dotlock( lockhandle ) )
276                 is_locked = 0;
277         }
278         assert( unused );
279         r = unused;
280         r->flags.used = 1;
281         r->recno = recno;
282         memcpy( r->data, data, TRUST_RECORD_LEN );
283         r->flags.dirty = 1;
284         cache_is_dirty = 1;
285         cache_entries++;
286         return 0;
287     }
288     BUG();
289 }
290
291
292 int
293 tdbio_is_dirty()
294 {
295     return cache_is_dirty;
296 }
297
298
299 /****************
300  * Flush the cache.  This cannot be used while in a transaction.
301  */
302 int
303 tdbio_sync()
304 {
305     CACHE_CTRL r;
306     int did_lock = 0;
307
308     if( db_fd == -1 )
309         open_db();
310     if( in_transaction )
311         log_bug("tdbio: syncing while in transaction\n");
312
313     if( !cache_is_dirty )
314         return 0;
315
316     if( !is_locked ) {
317         if( make_dotlock( lockhandle, -1 ) )
318             log_fatal("can't acquire lock - giving up\n");
319         else
320             is_locked = 1;
321         did_lock = 1;
322     }
323     for( r = cache_list; r; r = r->next ) {
324         if( r->flags.used && r->flags.dirty ) {
325             int rc = write_cache_item( r );
326             if( rc )
327                 return rc;
328         }
329     }
330     cache_is_dirty = 0;
331     if( did_lock && !opt.lock_once ) {
332         if( !release_dotlock( lockhandle ) )
333             is_locked = 0;
334     }
335
336     return 0;
337 }
338
339
340
341 /****************
342  * Simple transactions system:
343  * Everything between begin_transaction and end/cancel_transaction
344  * is not immediatly written but at the time of end_transaction.
345  *
346  */
347 int
348 tdbio_begin_transaction()
349 {
350     int rc;
351
352     if( in_transaction )
353         log_bug("tdbio: nested transactions\n");
354     /* flush everything out */
355     rc = tdbio_sync();
356     if( rc )
357         return rc;
358     in_transaction = 1;
359     return 0;
360 }
361
362 int
363 tdbio_end_transaction()
364 {
365     int rc;
366
367     if( !in_transaction )
368         log_bug("tdbio: no active transaction\n");
369     if( !is_locked ) {
370         if( make_dotlock( lockhandle, -1 ) )
371             log_fatal("can't acquire lock - giving up\n");
372         else
373             is_locked = 1;
374     }
375     block_all_signals();
376     in_transaction = 0;
377     rc = tdbio_sync();
378     unblock_all_signals();
379     if( !opt.lock_once ) {
380         if( !release_dotlock( lockhandle ) )
381             is_locked = 0;
382     }
383     return rc;
384 }
385
386 int
387 tdbio_cancel_transaction()
388 {
389     CACHE_CTRL r;
390
391     if( !in_transaction )
392         log_bug("tdbio: no active transaction\n");
393
394     /* remove all dirty marked entries, so that the original ones
395      * are read back the next time */
396     if( cache_is_dirty ) {
397         for( r = cache_list; r; r = r->next ) {
398             if( r->flags.used && r->flags.dirty ) {
399                 r->flags.used = 0;
400                 cache_entries--;
401             }
402         }
403         cache_is_dirty = 0;
404     }
405
406     in_transaction = 0;
407     return 0;
408 }
409
410
411 \f
412 /********************************************************
413  **************** cached I/O functions ******************
414  ********************************************************/
415
416 static void
417 cleanup(void)
418 {
419     if( is_locked ) {
420         if( !release_dotlock(lockhandle) )
421             is_locked = 0;
422     }
423 }
424
425 /* Caller must sync */
426 int
427 tdbio_update_version_record (void)
428 {
429   TRUSTREC rec;
430   int rc;
431
432   memset( &rec, 0, sizeof rec );
433
434   rc=tdbio_read_record( 0, &rec, RECTYPE_VER);
435   if(rc==0)
436     {
437       rec.r.ver.created     = make_timestamp();
438       rec.r.ver.marginals   = opt.marginals_needed;
439       rec.r.ver.completes   = opt.completes_needed;
440       rec.r.ver.cert_depth  = opt.max_cert_depth;
441       rec.r.ver.trust_model = opt.trust_model;
442       rc=tdbio_write_record(&rec);
443     }
444
445   return rc;
446 }
447
448 static int
449 create_version_record (void)
450 {
451   TRUSTREC rec;
452   int rc;
453   
454   memset( &rec, 0, sizeof rec );
455   rec.r.ver.version     = 3;
456   rec.r.ver.created     = make_timestamp();
457   rec.r.ver.marginals   = opt.marginals_needed;
458   rec.r.ver.completes   = opt.completes_needed;
459   rec.r.ver.cert_depth  = opt.max_cert_depth;
460   if(opt.trust_model==TM_PGP || opt.trust_model==TM_CLASSIC)
461     rec.r.ver.trust_model = opt.trust_model;
462   else
463     rec.r.ver.trust_model = TM_PGP;
464   rec.rectype = RECTYPE_VER;
465   rec.recnum = 0;
466   rc = tdbio_write_record( &rec );
467   if( !rc )
468     tdbio_sync();
469   return rc;
470 }
471
472
473
474 int
475 tdbio_set_dbname( const char *new_dbname, int create )
476 {
477     char *fname;
478     static int initialized = 0;
479
480     if( !initialized ) {
481         atexit( cleanup );
482         initialized = 1;
483     }
484
485     if(new_dbname==NULL)
486       fname=make_filename(opt.homedir,"trustdb" EXTSEP_S "gpg", NULL);
487     else if (*new_dbname != DIRSEP_C )
488       {
489         if (strchr(new_dbname, DIRSEP_C) )
490           fname = make_filename (new_dbname, NULL);
491         else
492           fname = make_filename (opt.homedir, new_dbname, NULL);
493       }
494     else
495       fname = xstrdup (new_dbname);
496
497     if( access( fname, R_OK ) ) {
498         if( errno != ENOENT ) {
499             log_error( _("%s: can't access: %s\n"), fname, strerror(errno) );
500             xfree (fname);
501             return GPG_ERR_TRUSTDB;
502         }
503         if( create ) {
504             FILE *fp;
505             TRUSTREC rec;
506             int rc;
507             char *p = strrchr( fname, DIRSEP_C );
508             mode_t oldmask;
509
510             assert(p);
511             *p = 0;
512             if( access( fname, F_OK ) ) {
513                 try_make_homedir( fname );
514                 log_fatal( _("%s: directory does not exist!\n"), fname );
515             }
516             *p = DIRSEP_C;
517
518             xfree (db_name);
519             db_name = fname;
520 #ifdef __riscos__
521             if( !lockhandle )
522                 lockhandle = create_dotlock( db_name );
523             if( !lockhandle )
524                 log_fatal( _("%s: can't create lock\n"), db_name );
525             if( make_dotlock( lockhandle, -1 ) )
526                 log_fatal( _("%s: can't make lock\n"), db_name );
527 #endif /* __riscos__ */
528             oldmask=umask(077);
529             fp =fopen( fname, "wb" );
530             umask(oldmask);
531             if( !fp )
532                 log_fatal( _("%s: can't create: %s\n"), fname, strerror(errno) );
533             fclose(fp);
534             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
535             if( db_fd == -1 )
536                 log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
537
538 #ifndef __riscos__
539             if( !lockhandle )
540                 lockhandle = create_dotlock( db_name );
541             if( !lockhandle )
542                 log_fatal( _("%s: can't create lock\n"), db_name );
543 #endif /* !__riscos__ */
544
545             rc = create_version_record ();
546             if( rc )
547                 log_fatal( _("%s: failed to create version record: %s"),
548                                                    fname, gpg_strerror (rc));
549             /* and read again to check that we are okay */
550             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
551                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
552
553             if( !opt.quiet )
554                 log_info(_("%s: trustdb created\n"), db_name);
555
556             return 0;
557         }
558     }
559     xfree (db_name);
560     db_name = fname;
561     return 0;
562 }
563
564
565 const char *
566 tdbio_get_dbname()
567 {
568     return db_name;
569 }
570
571
572
573 static void
574 open_db()
575 {
576   byte buf[10];
577   int n;
578   TRUSTREC rec;
579
580   assert( db_fd == -1 );
581
582   if (!lockhandle )
583     lockhandle = create_dotlock( db_name );
584   if (!lockhandle )
585     log_fatal( _("%s: can't create lock\n"), db_name );
586 #ifdef __riscos__
587   if (make_dotlock( lockhandle, -1 ) )
588     log_fatal( _("%s: can't make lock\n"), db_name );
589 #endif /* __riscos__ */
590   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
591   if (db_fd == -1 && errno == EACCES) {
592       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
593       if (db_fd != -1)
594           log_info (_("NOTE: trustdb not writable\n"));
595   }
596   if ( db_fd == -1 )
597     log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
598
599   /* check whether we need to do a version migration */
600   do
601     n = read (db_fd, buf, 5);
602   while (n==-1 && errno == EINTR);
603   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
604     {
605       migrate_from_v2 ();
606     }
607   
608   /* read the version record */
609   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
610     log_fatal( _("%s: invalid trustdb\n"), db_name );
611 }
612
613
614 /****************
615  * Make a hashtable: type 0 = trust hash
616  */
617 static void
618 create_hashtable( TRUSTREC *vr, int type )
619 {
620     TRUSTREC rec;
621     off_t offset;
622     ulong recnum;
623     int i, n, rc;
624
625     offset = lseek( db_fd, 0, SEEK_END );
626     if( offset == -1 )
627         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
628     recnum = offset / TRUST_RECORD_LEN;
629     assert(recnum); /* this is will never be the first record */
630
631     if( !type )
632         vr->r.ver.trusthashtbl = recnum;
633
634     /* Now write the records */
635     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
636     for(i=0; i < n; i++, recnum++ ) {
637          memset( &rec, 0, sizeof rec );
638          rec.rectype = RECTYPE_HTBL;
639          rec.recnum = recnum;
640          rc = tdbio_write_record( &rec );
641          if( rc )
642              log_fatal( _("%s: failed to create hashtable: %s\n"),
643                                         db_name, gpg_strerror (rc));
644     }
645     /* update the version record */
646     rc = tdbio_write_record( vr );
647     if( !rc )
648         rc = tdbio_sync();
649     if( rc )
650         log_fatal( _("%s: error updating version record: %s\n"),
651                                                   db_name, gpg_strerror (rc));
652 }
653
654
655 int
656 tdbio_db_matches_options()
657 {
658   static int yes_no = -1;
659
660   if( yes_no == -1 )
661     {
662       TRUSTREC vr;
663       int rc;
664
665       rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
666       if( rc )
667         log_fatal( _("%s: error reading version record: %s\n"),
668                    db_name, gpg_strerror (rc) );
669
670       yes_no = vr.r.ver.marginals == opt.marginals_needed
671         && vr.r.ver.completes == opt.completes_needed
672         && vr.r.ver.cert_depth == opt.max_cert_depth
673         && vr.r.ver.trust_model == opt.trust_model;
674     }
675
676   return yes_no;
677 }
678
679 byte
680 tdbio_read_model(void)
681 {
682   TRUSTREC vr;
683   int rc;
684  
685   rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
686   if( rc )
687     log_fatal( _("%s: error reading version record: %s\n"),
688                db_name, gpg_strerror (rc) );
689   return vr.r.ver.trust_model;
690 }
691
692 /****************
693  * Return the nextstamp value.
694  */
695 ulong
696 tdbio_read_nextcheck ()
697 {
698     TRUSTREC vr;
699     int rc;
700
701     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
702     if( rc )
703         log_fatal( _("%s: error reading version record: %s\n"),
704                                                     db_name, gpg_strerror (rc) );
705     return vr.r.ver.nextcheck;
706 }
707
708 /* Return true when the stamp was actually changed. */
709 int
710 tdbio_write_nextcheck (ulong stamp)
711 {
712     TRUSTREC vr;
713     int rc;
714
715     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
716     if( rc )
717         log_fatal( _("%s: error reading version record: %s\n"),
718                                        db_name, gpg_strerror (rc) );
719
720     if (vr.r.ver.nextcheck == stamp)
721       return 0;
722
723     vr.r.ver.nextcheck = stamp;
724     rc = tdbio_write_record( &vr );
725     if( rc )
726         log_fatal( _("%s: error writing version record: %s\n"),
727                                        db_name, gpg_strerror (rc) );
728     return 1;
729 }
730
731
732
733 /****************
734  * Return the record number of the trusthash tbl or create a new one.
735  */
736 static ulong
737 get_trusthashrec(void)
738 {
739     static ulong trusthashtbl; /* record number of the trust hashtable */
740
741     if( !trusthashtbl ) {
742         TRUSTREC vr;
743         int rc;
744
745         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
746         if( rc )
747             log_fatal( _("%s: error reading version record: %s\n"),
748                                             db_name, gpg_strerror (rc) );
749         if( !vr.r.ver.trusthashtbl )
750             create_hashtable( &vr, 0 );
751
752         trusthashtbl = vr.r.ver.trusthashtbl;
753     }
754     return trusthashtbl;
755 }
756
757
758
759 /****************
760  * Update a hashtable.
761  * table gives the start of the table, key and keylen is the key,
762  * newrecnum is the record number to insert.
763  */
764 static int
765 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
766 {
767     TRUSTREC lastrec, rec;
768     ulong hashrec, item;
769     int msb;
770     int level=0;
771     int rc, i;
772
773     hashrec = table;
774   next_level:
775     msb = key[level];
776     hashrec += msb / ITEMS_PER_HTBL_RECORD;
777     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
778     if( rc ) {
779         log_error( db_name, "upd_hashtable: read failed: %s\n",
780                                                         gpg_strerror (rc) );
781         return rc;
782     }
783
784     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
785     if( !item ) { /* insert a new item into the hash table */
786         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
787         rc = tdbio_write_record( &rec );
788         if( rc ) {
789             log_error( db_name, "upd_hashtable: write htbl failed: %s\n",
790                                                             gpg_strerror (rc) );
791             return rc;
792         }
793     }
794     else if( item != newrecnum ) {  /* must do an update */
795         lastrec = rec;
796         rc = tdbio_read_record( item, &rec, 0 );
797         if( rc ) {
798             log_error( "upd_hashtable: read item failed: %s\n",
799                                                             gpg_strerror (rc) );
800             return rc;
801         }
802
803         if( rec.rectype == RECTYPE_HTBL ) {
804             hashrec = item;
805             level++;
806             if( level >= keylen ) {
807                 log_error( "hashtable has invalid indirections.\n");
808                 return GPG_ERR_TRUSTDB;
809             }
810             goto next_level;
811         }
812         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
813             /* see whether the key is already in this list */
814             for(;;) {
815                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
816                     if( rec.r.hlst.rnum[i] == newrecnum ) {
817                         return 0; /* okay, already in the list */
818                     }
819                 }
820                 if( rec.r.hlst.next ) {
821                     rc = tdbio_read_record( rec.r.hlst.next,
822                                                        &rec, RECTYPE_HLST);
823                     if( rc ) {
824                         log_error( "upd_hashtable: read hlst failed: %s\n",
825                                                              gpg_strerror (rc) );
826                         return rc;
827                     }
828                 }
829                 else
830                     break; /* not there */
831             }
832             /* find the next free entry and put it in */
833             for(;;) {
834                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
835                     if( !rec.r.hlst.rnum[i] ) {
836                         rec.r.hlst.rnum[i] = newrecnum;
837                         rc = tdbio_write_record( &rec );
838                         if( rc )
839                             log_error( "upd_hashtable: write hlst failed: %s\n",
840                                                               gpg_strerror (rc) );
841                         return rc; /* done */
842                     }
843                 }
844                 if( rec.r.hlst.next ) {
845                     rc = tdbio_read_record( rec.r.hlst.next,
846                                                       &rec, RECTYPE_HLST );
847                     if( rc ) {
848                         log_error( "upd_hashtable: read hlst failed: %s\n",
849                                                              gpg_strerror (rc) );
850                         return rc;
851                     }
852                 }
853                 else { /* add a new list record */
854                     rec.r.hlst.next = item = tdbio_new_recnum();
855                     rc = tdbio_write_record( &rec );
856                     if( rc ) {
857                         log_error( "upd_hashtable: write hlst failed: %s\n",
858                                                           gpg_strerror (rc) );
859                         return rc;
860                     }
861                     memset( &rec, 0, sizeof rec );
862                     rec.rectype = RECTYPE_HLST;
863                     rec.recnum = item;
864                     rec.r.hlst.rnum[0] = newrecnum;
865                     rc = tdbio_write_record( &rec );
866                     if( rc )
867                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
868                                                           gpg_strerror (rc) );
869                     return rc; /* done */
870                 }
871             } /* end loop over hlst slots */
872         }
873         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
874             if( rec.recnum == newrecnum ) {
875                 return 0;
876             }
877             item = rec.recnum; /* save number of key record */
878             memset( &rec, 0, sizeof rec );
879             rec.rectype = RECTYPE_HLST;
880             rec.recnum = tdbio_new_recnum();
881             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
882             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
883             rc = tdbio_write_record( &rec );
884             if( rc ) {
885                 log_error( "upd_hashtable: write new hlst failed: %s\n",
886                                                   gpg_strerror (rc) );
887                 return rc;
888             }
889             /* update the hashtable record */
890             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
891             rc = tdbio_write_record( &lastrec );
892             if( rc )
893                 log_error( "upd_hashtable: update htbl failed: %s\n",
894                                                              gpg_strerror (rc) );
895             return rc; /* ready */
896         }
897         else {
898             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
899                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
900             list_trustdb(NULL);
901             return GPG_ERR_TRUSTDB;
902         }
903     }
904
905     return 0;
906 }
907
908
909 /****************
910  * Drop an entry from a hashtable
911  * table gives the start of the table, key and keylen is the key,
912  */
913 static int
914 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
915 {
916     TRUSTREC rec;
917     ulong hashrec, item;
918     int msb;
919     int level=0;
920     int rc, i;
921
922     hashrec = table;
923   next_level:
924     msb = key[level];
925     hashrec += msb / ITEMS_PER_HTBL_RECORD;
926     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
927     if( rc ) {
928         log_error( db_name, "drop_from_hashtable: read failed: %s\n",
929                                                         gpg_strerror (rc) );
930         return rc;
931     }
932
933     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
934     if( !item )  /* not found - forget about it  */
935         return 0;
936
937     if( item == recnum ) {  /* tables points direct to the record */
938         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
939         rc = tdbio_write_record( &rec );
940         if( rc )
941             log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
942                                                             gpg_strerror (rc) );
943         return rc;
944     }
945
946     rc = tdbio_read_record( item, &rec, 0 );
947     if( rc ) {
948         log_error( "drop_from_hashtable: read item failed: %s\n",
949                                                         gpg_strerror (rc) );
950         return rc;
951     }
952
953     if( rec.rectype == RECTYPE_HTBL ) {
954         hashrec = item;
955         level++;
956         if( level >= keylen ) {
957             log_error( "hashtable has invalid indirections.\n");
958             return GPG_ERR_TRUSTDB;
959         }
960         goto next_level;
961     }
962
963     if( rec.rectype == RECTYPE_HLST ) {
964         for(;;) {
965             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
966                 if( rec.r.hlst.rnum[i] == recnum ) {
967                     rec.r.hlst.rnum[i] = 0; /* drop */
968                     rc = tdbio_write_record( &rec );
969                     if( rc )
970                         log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
971                                                                         gpg_strerror (rc) );
972                     return rc;
973                 }
974             }
975             if( rec.r.hlst.next ) {
976                 rc = tdbio_read_record( rec.r.hlst.next,
977                                                    &rec, RECTYPE_HLST);
978                 if( rc ) {
979                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
980                                                          gpg_strerror (rc) );
981                     return rc;
982                 }
983             }
984             else
985                 return 0; /* key not in table */
986         }
987     }
988
989     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
990                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
991     return GPG_ERR_TRUSTDB;
992 }
993
994
995
996 /****************
997  * Lookup a record via the hashtable tablewith key/keylen and return the
998  * result in rec.  cmp() should return if the record is the desired one.
999  * Returns -1 if not found, 0 if found or another errocode
1000  */
1001 static int
1002 lookup_hashtable( ulong table, const byte *key, size_t keylen,
1003                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
1004                                                 TRUSTREC *rec )
1005 {
1006     int rc;
1007     ulong hashrec, item;
1008     int msb;
1009     int level=0;
1010
1011     hashrec = table;
1012   next_level:
1013     msb = key[level];
1014     hashrec += msb / ITEMS_PER_HTBL_RECORD;
1015     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
1016     if( rc ) {
1017         log_error( db_name, "lookup_hashtable failed: %s\n", gpg_strerror (rc) );
1018         return rc;
1019     }
1020
1021     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
1022     if( !item )
1023         return -1; /* not found */
1024
1025     rc = tdbio_read_record( item, rec, 0 );
1026     if( rc ) {
1027         log_error( db_name, "hashtable read failed: %s\n", gpg_strerror (rc) );
1028         return rc;
1029     }
1030     if( rec->rectype == RECTYPE_HTBL ) {
1031         hashrec = item;
1032         level++;
1033         if( level >= keylen ) {
1034             log_error( db_name, "hashtable has invalid indirections\n");
1035             return GPG_ERR_TRUSTDB;
1036         }
1037         goto next_level;
1038     }
1039     else if( rec->rectype == RECTYPE_HLST ) {
1040         for(;;) {
1041             int i;
1042
1043             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1044                 if( rec->r.hlst.rnum[i] ) {
1045                     TRUSTREC tmp;
1046
1047                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1048                     if( rc ) {
1049                         log_error( "lookup_hashtable: read item failed: %s\n",
1050                                                               gpg_strerror (rc) );
1051                         return rc;
1052                     }
1053                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1054                         *rec = tmp;
1055                         return 0;
1056                     }
1057                 }
1058             }
1059             if( rec->r.hlst.next ) {
1060                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1061                 if( rc ) {
1062                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1063                                                          gpg_strerror (rc) );
1064                     return rc;
1065                 }
1066             }
1067             else
1068                 return -1; /* not found */
1069         }
1070     }
1071
1072
1073     if( (*cmpfnc)( cmpdata, rec ) )
1074         return 0; /* really found */
1075
1076     return -1; /* no: not found */
1077 }
1078
1079
1080 /****************
1081  * Update the trust hashtbl or create the table if it does not exist
1082  */
1083 static int
1084 update_trusthashtbl( TRUSTREC *tr )
1085 {
1086     return upd_hashtable( get_trusthashrec(),
1087                           tr->r.trust.fingerprint, 20, tr->recnum );
1088 }
1089
1090
1091
1092 void
1093 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1094 {
1095     int i;
1096     ulong rnum = rec->recnum;
1097
1098     fprintf(fp, "rec %5lu, ", rnum );
1099
1100     switch( rec->rectype ) {
1101       case 0: fprintf(fp, "blank\n");
1102         break;
1103       case RECTYPE_VER: fprintf(fp,
1104             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d tm=%d nc=%lu (%s)\n",
1105                                    rec->r.ver.trusthashtbl,
1106                                    rec->r.ver.firstfree,
1107                                    rec->r.ver.marginals,
1108                                    rec->r.ver.completes,
1109                                    rec->r.ver.cert_depth,
1110                                    rec->r.ver.trust_model,
1111                                    rec->r.ver.nextcheck,
1112                                    strtimestamp(rec->r.ver.nextcheck)
1113                                  );
1114         break;
1115       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1116         break;
1117       case RECTYPE_HTBL:
1118         fprintf(fp, "htbl,");
1119         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1120             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1121         putc('\n', fp);
1122         break;
1123       case RECTYPE_HLST:
1124         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1125         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1126             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1127         putc('\n', fp);
1128         break;
1129       case RECTYPE_TRUST:
1130         fprintf(fp, "trust ");
1131         for(i=0; i < 20; i++ )
1132             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1133         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1134                  rec->r.trust.depth, rec->r.trust.validlist);
1135         break;
1136       case RECTYPE_VALID:
1137         fprintf(fp, "valid ");
1138         for(i=0; i < 20; i++ )
1139             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1140         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1141                  rec->r.valid.next);
1142         break;
1143       default:
1144         fprintf(fp, "unknown type %d\n", rec->rectype );
1145         break;
1146     }
1147 }
1148
1149 /****************
1150  * read the record with number recnum
1151  * returns: -1 on error, 0 on success
1152  */
1153 int
1154 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1155 {
1156     byte readbuf[TRUST_RECORD_LEN];
1157     const byte *buf, *p;
1158     int rc = 0;
1159     int n, i;
1160
1161     if( db_fd == -1 )
1162         open_db();
1163     buf = get_record_from_cache( recnum );
1164     if( !buf ) {
1165         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1166             rc = gpg_error_from_errno (errno);
1167             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1168             return rc;
1169         }
1170         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1171         if( !n ) {
1172             return -1; /* eof */
1173         }
1174         else if( n != TRUST_RECORD_LEN ) {
1175             rc = gpg_error_from_errno (errno);
1176             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1177                                                         strerror(errno) );
1178             return rc;
1179         }
1180         buf = readbuf;
1181     }
1182     rec->recnum = recnum;
1183     rec->dirty = 0;
1184     p = buf;
1185     rec->rectype = *p++;
1186     if( expected && rec->rectype != expected ) {
1187         log_error("%lu: read expected rec type %d, got %d\n",
1188                     recnum, expected, rec->rectype );
1189         return GPG_ERR_TRUSTDB;
1190     }
1191     p++;    /* skip reserved byte */
1192     switch( rec->rectype ) {
1193       case 0:  /* unused (free) record */
1194         break;
1195       case RECTYPE_VER: /* version record */
1196         if( memcmp(buf+1, "gpg", 3 ) ) {
1197             log_error( _("%s: not a trustdb file\n"), db_name );
1198             rc = GPG_ERR_TRUSTDB;
1199         }
1200         p += 2; /* skip "gpg" */
1201         rec->r.ver.version  = *p++;
1202         rec->r.ver.marginals = *p++;
1203         rec->r.ver.completes = *p++;
1204         rec->r.ver.cert_depth = *p++;
1205         rec->r.ver.trust_model = *p++;
1206         p += 3;
1207         rec->r.ver.created  = buftoulong(p); p += 4;
1208         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1209         p += 4;
1210         p += 4;
1211         rec->r.ver.firstfree =buftoulong(p); p += 4;
1212         p += 4;
1213         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1214         if( recnum ) {
1215             log_error( _("%s: version record with recnum %lu\n"), db_name,
1216                                                              (ulong)recnum );
1217             rc = GPG_ERR_TRUSTDB;
1218         }
1219         else if( rec->r.ver.version != 3 ) {
1220             log_error( _("%s: invalid file version %d\n"), db_name,
1221                                                         rec->r.ver.version );
1222             rc = GPG_ERR_TRUSTDB;
1223         }
1224         break;
1225       case RECTYPE_FREE:
1226         rec->r.free.next  = buftoulong(p); p += 4;
1227         break;
1228       case RECTYPE_HTBL:
1229         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1230             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1231         }
1232         break;
1233       case RECTYPE_HLST:
1234         rec->r.hlst.next = buftoulong(p); p += 4;
1235         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1236             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1237         }
1238         break;
1239       case RECTYPE_TRUST:
1240         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1241         rec->r.trust.ownertrust = *p++;
1242         rec->r.trust.depth = *p++;
1243         rec->r.trust.min_ownertrust = *p++;
1244         p++;
1245         rec->r.trust.validlist = buftoulong(p); p += 4;
1246         break;
1247       case RECTYPE_VALID:
1248         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1249         rec->r.valid.validity = *p++;
1250         rec->r.valid.next = buftoulong(p); p += 4;
1251         rec->r.valid.full_count = *p++;
1252         rec->r.valid.marginal_count = *p++;
1253         break;
1254       default:
1255         log_error( "%s: invalid record type %d at recnum %lu\n",
1256                                    db_name, rec->rectype, (ulong)recnum );
1257         rc = GPG_ERR_TRUSTDB;
1258         break;
1259     }
1260
1261     return rc;
1262 }
1263
1264 /****************
1265  * Write the record at RECNUM
1266  */
1267 int
1268 tdbio_write_record( TRUSTREC *rec )
1269 {
1270     byte buf[TRUST_RECORD_LEN], *p;
1271     int rc = 0;
1272     int i;
1273     ulong recnum = rec->recnum;
1274
1275     if( db_fd == -1 )
1276         open_db();
1277
1278     memset(buf, 0, TRUST_RECORD_LEN);
1279     p = buf;
1280     *p++ = rec->rectype; p++;
1281     switch( rec->rectype ) {
1282       case 0:  /* unused record */
1283         break;
1284       case RECTYPE_VER: /* version record */
1285         if( recnum )
1286             BUG();
1287         memcpy(p-1, "gpg", 3 ); p += 2;
1288         *p++ = rec->r.ver.version;
1289         *p++ = rec->r.ver.marginals;
1290         *p++ = rec->r.ver.completes;
1291         *p++ = rec->r.ver.cert_depth;
1292         *p++ = rec->r.ver.trust_model;
1293         p += 3;
1294         ulongtobuf(p, rec->r.ver.created); p += 4;
1295         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1296         p += 4;
1297         p += 4;
1298         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1299         p += 4;
1300         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1301         break;
1302
1303       case RECTYPE_FREE:
1304         ulongtobuf(p, rec->r.free.next); p += 4;
1305         break;
1306
1307
1308       case RECTYPE_HTBL:
1309         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1310             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1311         }
1312         break;
1313
1314       case RECTYPE_HLST:
1315         ulongtobuf( p, rec->r.hlst.next); p += 4;
1316         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1317             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1318         }
1319         break;
1320
1321       case RECTYPE_TRUST:
1322         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1323         *p++ = rec->r.trust.ownertrust;
1324         *p++ = rec->r.trust.depth;
1325         *p++ = rec->r.trust.min_ownertrust;
1326         p++;
1327         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1328         break;
1329
1330       case RECTYPE_VALID:
1331         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1332         *p++ = rec->r.valid.validity;
1333         ulongtobuf( p, rec->r.valid.next); p += 4;
1334         *p++ = rec->r.valid.full_count;
1335         *p++ = rec->r.valid.marginal_count;
1336         break;
1337
1338       default:
1339         BUG();
1340     }
1341
1342     rc = put_record_into_cache( recnum, buf );
1343     if( rc )
1344         ;
1345     else if( rec->rectype == RECTYPE_TRUST )
1346         rc = update_trusthashtbl( rec );
1347
1348     return rc;
1349 }
1350
1351 int
1352 tdbio_delete_record( ulong recnum )
1353 {
1354     TRUSTREC vr, rec;
1355     int rc;
1356
1357     /* Must read the record fist, so we can drop it from the hash tables */
1358     rc = tdbio_read_record( recnum, &rec, 0 );
1359     if( rc )
1360         ;
1361     else if( rec.rectype == RECTYPE_TRUST ) {
1362          rc = drop_from_hashtable( get_trusthashrec(),
1363                                    rec.r.trust.fingerprint, 20, rec.recnum );
1364     }
1365
1366     if( rc )
1367         return rc;
1368
1369     /* now we can chnage it to a free record */
1370     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1371     if( rc )
1372         log_fatal( _("%s: error reading version record: %s\n"),
1373                                        db_name, gpg_strerror (rc) );
1374
1375     rec.recnum = recnum;
1376     rec.rectype = RECTYPE_FREE;
1377     rec.r.free.next = vr.r.ver.firstfree;
1378     vr.r.ver.firstfree = recnum;
1379     rc = tdbio_write_record( &rec );
1380     if( !rc )
1381         rc = tdbio_write_record( &vr );
1382     return rc;
1383 }
1384
1385 /****************
1386  * create a new record and return its record number
1387  */
1388 ulong
1389 tdbio_new_recnum()
1390 {
1391     off_t offset;
1392     ulong recnum;
1393     TRUSTREC vr, rec;
1394     int rc;
1395
1396     /* look for unused records */
1397     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1398     if( rc )
1399         log_fatal( _("%s: error reading version record: %s\n"),
1400                                              db_name, gpg_strerror (rc) );
1401     if( vr.r.ver.firstfree ) {
1402         recnum = vr.r.ver.firstfree;
1403         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1404         if( rc ) {
1405             log_error( _("%s: error reading free record: %s\n"),
1406                                                   db_name,  gpg_strerror (rc) );
1407             return rc;
1408         }
1409         /* update dir record */
1410         vr.r.ver.firstfree = rec.r.free.next;
1411         rc = tdbio_write_record( &vr );
1412         if( rc ) {
1413             log_error( _("%s: error writing dir record: %s\n"),
1414                                                      db_name, gpg_strerror (rc) );
1415             return rc;
1416         }
1417         /*zero out the new record */
1418         memset( &rec, 0, sizeof rec );
1419         rec.rectype = 0; /* unused record */
1420         rec.recnum = recnum;
1421         rc = tdbio_write_record( &rec );
1422         if( rc )
1423             log_fatal(_("%s: failed to zero a record: %s\n"),
1424                                        db_name, gpg_strerror (rc));
1425     }
1426     else { /* not found, append a new record */
1427         offset = lseek( db_fd, 0, SEEK_END );
1428         if( offset == -1 )
1429             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1430         recnum = offset / TRUST_RECORD_LEN;
1431         assert(recnum); /* this is will never be the first record */
1432         /* we must write a record, so that the next call to this function
1433          * returns another recnum */
1434         memset( &rec, 0, sizeof rec );
1435         rec.rectype = 0; /* unused record */
1436         rec.recnum = recnum;
1437         rc = 0;
1438         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1439             rc = gpg_error_from_errno (errno);
1440             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1441                                                 recnum, strerror(errno) );
1442         }
1443         else {
1444             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1445             if( n != TRUST_RECORD_LEN ) {
1446                 rc = gpg_error_from_errno (errno);
1447                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1448                                                  recnum, n, strerror(errno) );
1449             }
1450         }
1451
1452         if( rc )
1453             log_fatal(_("%s: failed to append a record: %s\n"),
1454                                     db_name,    gpg_strerror (rc));
1455     }
1456     return recnum ;
1457 }
1458
1459
1460
1461 static int
1462 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1463 {
1464     return rec->rectype == RECTYPE_TRUST
1465            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1466 }
1467
1468
1469 int
1470 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1471 {
1472     int rc;
1473
1474     /* locate the trust record using the hash table */
1475     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1476                            cmp_trec_fpr, (void*)fingerprint, rec );
1477     return rc;
1478 }
1479
1480 int
1481 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1482 {
1483     byte fingerprint[MAX_FINGERPRINT_LEN];
1484     size_t fingerlen;
1485
1486     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1487     for (; fingerlen < 20; fingerlen++ )
1488       fingerprint[fingerlen] = 0;
1489     return tdbio_search_trust_byfpr (fingerprint, rec);
1490 }
1491
1492
1493
1494 void
1495 tdbio_invalid(void)
1496 {
1497     log_error(_(
1498         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1499     g10_exit(2);
1500 }
1501
1502 /*
1503  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1504  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1505  * only to scan the tdb and insert new the new trust records.  The old ones are
1506  * obsolte from now on
1507  */
1508 static void
1509 migrate_from_v2 ()
1510 {
1511   TRUSTREC rec;
1512   int i, n;
1513   struct {
1514     ulong keyrecno;
1515     byte  ot;
1516     byte okay;
1517     byte  fpr[20];
1518   } *ottable;
1519   int ottable_size, ottable_used;
1520   byte oldbuf[40];
1521   ulong recno;
1522   int rc, count;
1523
1524   ottable_size = 5;
1525   ottable = xmalloc (ottable_size * sizeof *ottable);
1526   ottable_used = 0;
1527
1528   /* We have some restrictions here.  We can't use the version record
1529    * and we can't use any of the old hashtables because we dropped the
1530    * code.  So we first collect all ownertrusts and then use a second
1531    * pass fo find the associated keys.  We have to do this all without using 
1532    * the regular record read functions.
1533    */
1534
1535   /* get all the ownertrusts */
1536   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1537       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1538   for (recno=0;;recno++)
1539     {
1540       do
1541         n = read (db_fd, oldbuf, 40);
1542       while (n==-1 && errno == EINTR);
1543       if (!n)
1544         break; /* eof */
1545       if (n != 40)
1546         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1547
1548       if (*oldbuf != 2)
1549         continue;
1550       
1551       /* v2 dir record */
1552       if (ottable_used == ottable_size)
1553         {
1554           ottable_size += 1000;
1555           ottable = xrealloc (ottable, ottable_size * sizeof *ottable);
1556         }
1557       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1558       ottable[ottable_used].ot = oldbuf[18];
1559       ottable[ottable_used].okay = 0;
1560       memset (ottable[ottable_used].fpr,0, 20);
1561       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1562         ottable_used++;
1563     }
1564   log_info ("found %d ownertrust records\n", ottable_used);
1565
1566   /* Read again and find the fingerprints */
1567   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1568       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1569   for (recno=0;;recno++)
1570     {
1571       do
1572         n = read (db_fd, oldbuf, 40);
1573       while (n==-1 && errno == EINTR);
1574       if (!n)
1575         break; /* eof */
1576       if (n != 40)
1577         log_fatal ("migrate_from_v2: read error or short read\n");
1578
1579       if (*oldbuf != 3) 
1580         continue;
1581
1582       /* v2 key record */
1583       for (i=0; i < ottable_used; i++)
1584         {
1585           if (ottable[i].keyrecno == recno)
1586             {
1587               memcpy (ottable[i].fpr, oldbuf+20, 20);
1588               ottable[i].okay = 1;
1589               break;
1590             }
1591         }
1592     }
1593
1594   /* got everything - create the v3 trustdb */
1595   if (ftruncate (db_fd, 0))
1596     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1597   if (create_version_record ())
1598     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1599
1600   /* access the hash table, so it is store just after the version record, 
1601    * this is not needed put a dump is more pretty */
1602   get_trusthashrec ();
1603
1604   /* And insert the old ownertrust values */
1605   count = 0;
1606   for (i=0; i < ottable_used; i++)
1607     {
1608       if (!ottable[i].okay)
1609         continue;
1610       
1611       memset (&rec, 0, sizeof rec);
1612       rec.recnum = tdbio_new_recnum ();
1613       rec.rectype = RECTYPE_TRUST;
1614       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1615       rec.r.trust.ownertrust = ottable[i].ot;
1616       if (tdbio_write_record (&rec))
1617         log_fatal ("failed to write trust record of `%s'\n", db_name);
1618       count++;
1619     }
1620
1621   revalidation_mark ();
1622   rc = tdbio_sync ();
1623   if (rc)
1624     log_fatal ("failed to sync `%s'\n", db_name);
1625   log_info ("migrated %d version 2 ownertrusts\n", count);
1626   xfree (ottable);
1627 }