* export.c (parse_export_options): New option sexp-format.
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/types.h>
28 #include <sys/stat.h>
29 #include <fcntl.h>
30 #include <unistd.h>
31
32 #include "gpg.h"
33 #include "errors.h"
34 #include "iobuf.h"
35 #include "memory.h"
36 #include "util.h"
37 #include "options.h"
38 #include "main.h"
39 #include "i18n.h"
40 #include "trustdb.h"
41 #include "tdbio.h"
42
43 #if defined(HAVE_DOSISH_SYSTEM)
44 #define ftruncate chsize
45 #endif
46
47 #if defined(HAVE_DOSISH_SYSTEM) || defined(__CYGWIN__)
48 #define MY_O_BINARY  O_BINARY
49 #else
50 #define MY_O_BINARY  0
51 #endif
52
53
54 /****************
55  * Yes, this is a very simple implementation. We should really
56  * use a page aligned buffer and read complete pages.
57  * To implement a simple trannsaction system, this is sufficient.
58  */
59 typedef struct cache_ctrl_struct *CACHE_CTRL;
60 struct cache_ctrl_struct {
61     CACHE_CTRL next;
62     struct {
63         unsigned used:1;
64         unsigned dirty:1;
65     } flags;
66     ulong recno;
67     char data[TRUST_RECORD_LEN];
68 };
69
70 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
71 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
72 static CACHE_CTRL cache_list;
73 static int cache_entries;
74 static int cache_is_dirty;
75
76 /* a type used to pass infomation to cmp_krec_fpr */
77 struct cmp_krec_fpr_struct {
78     int pubkey_algo;
79     const char *fpr;
80     int fprlen;
81 };
82
83 /* a type used to pass infomation to cmp_[s]dir */
84 struct cmp_xdir_struct {
85     int pubkey_algo;
86     u32 keyid[2];
87 };
88
89
90 static char *db_name;
91 static DOTLOCK lockhandle;
92 static int is_locked;
93 static int  db_fd = -1;
94 static int in_transaction;
95
96 static void open_db(void);
97 static void migrate_from_v2 (void);
98
99
100 \f
101 /*************************************
102  ************* record cache **********
103  *************************************/
104
105 /****************
106  * Get the data from therecord cache and return a
107  * pointer into that cache.  Caller should copy
108  * the return data.  NULL is returned on a cache miss.
109  */
110 static const char *
111 get_record_from_cache( ulong recno )
112 {
113     CACHE_CTRL r;
114
115     for( r = cache_list; r; r = r->next ) {
116         if( r->flags.used && r->recno == recno )
117             return r->data;
118     }
119     return NULL;
120 }
121
122
123 static int
124 write_cache_item( CACHE_CTRL r )
125 {
126     int n;
127     gpg_error_t rc;
128
129     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
130         rc = gpg_error_from_errno (errno);
131         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
132                                             r->recno, strerror(errno) );
133         return rc;
134     }
135     n = write( db_fd, r->data, TRUST_RECORD_LEN);
136     if( n != TRUST_RECORD_LEN ) {
137         rc = gpg_error_from_errno (errno);
138         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
139                                             r->recno, n, strerror(errno) );
140         return rc;
141     }
142     r->flags.dirty = 0;
143     return 0;
144 }
145
146 /****************
147  * Put data into the cache.  This function may flush the
148  * some cache entries if there is not enough space available.
149  */
150 int
151 put_record_into_cache( ulong recno, const char *data )
152 {
153     CACHE_CTRL r, unused;
154     int dirty_count = 0;
155     int clean_count = 0;
156
157     /* see whether we already cached this one */
158     for( unused = NULL, r = cache_list; r; r = r->next ) {
159         if( !r->flags.used ) {
160             if( !unused )
161                 unused = r;
162         }
163         else if( r->recno == recno ) {
164             if( !r->flags.dirty ) {
165                 /* Hmmm: should we use a a copy and compare? */
166                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
167                     r->flags.dirty = 1;
168                     cache_is_dirty = 1;
169                 }
170             }
171             memcpy( r->data, data, TRUST_RECORD_LEN );
172             return 0;
173         }
174         if( r->flags.used ) {
175             if( r->flags.dirty )
176                 dirty_count++;
177             else
178                 clean_count++;
179         }
180     }
181     /* not in the cache: add a new entry */
182     if( unused ) { /* reuse this entry */
183         r = unused;
184         r->flags.used = 1;
185         r->recno = recno;
186         memcpy( r->data, data, TRUST_RECORD_LEN );
187         r->flags.dirty = 1;
188         cache_is_dirty = 1;
189         cache_entries++;
190         return 0;
191     }
192     /* see whether we reached the limit */
193     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
194         r = xmalloc ( sizeof *r );
195         r->flags.used = 1;
196         r->recno = recno;
197         memcpy( r->data, data, TRUST_RECORD_LEN );
198         r->flags.dirty = 1;
199         r->next = cache_list;
200         cache_list = r;
201         cache_is_dirty = 1;
202         cache_entries++;
203         return 0;
204     }
205     /* cache is full: discard some clean entries */
206     if( clean_count ) {
207         int n = clean_count / 3; /* discard a third of the clean entries */
208         if( !n )
209             n = 1;
210         for( unused = NULL, r = cache_list; r; r = r->next ) {
211             if( r->flags.used && !r->flags.dirty ) {
212                 if( !unused )
213                     unused = r;
214                 r->flags.used = 0;
215                 cache_entries--;
216                 if( !--n )
217                     break;
218             }
219         }
220         assert( unused );
221         r = unused;
222         r->flags.used = 1;
223         r->recno = recno;
224         memcpy( r->data, data, TRUST_RECORD_LEN );
225         r->flags.dirty = 1;
226         cache_is_dirty = 1;
227         cache_entries++;
228         return 0;
229     }
230     /* no clean entries: have to flush some dirty entries */
231     if( in_transaction ) {
232         /* but we can't do this while in a transaction
233          * we increase the cache size instead */
234         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
235             if( opt.debug && !(cache_entries % 100) )
236                 log_debug("increasing tdbio cache size\n");
237             r = xmalloc ( sizeof *r );
238             r->flags.used = 1;
239             r->recno = recno;
240             memcpy( r->data, data, TRUST_RECORD_LEN );
241             r->flags.dirty = 1;
242             r->next = cache_list;
243             cache_list = r;
244             cache_is_dirty = 1;
245             cache_entries++;
246             return 0;
247         }
248         log_info(_("trustdb transaction too large\n"));
249         return GPG_ERR_RESOURCE_LIMIT;
250     }
251     if( dirty_count ) {
252         int n = dirty_count / 5; /* discard some dirty entries */
253         if( !n )
254             n = 1;
255         if( !is_locked ) {
256             if( make_dotlock( lockhandle, -1 ) )
257                 log_fatal("can't acquire lock - giving up\n");
258             else
259                 is_locked = 1;
260         }
261         for( unused = NULL, r = cache_list; r; r = r->next ) {
262             if( r->flags.used && r->flags.dirty ) {
263                 int rc = write_cache_item( r );
264                 if( rc )
265                     return rc;
266                 if( !unused )
267                     unused = r;
268                 r->flags.used = 0;
269                 cache_entries--;
270                 if( !--n )
271                     break;
272             }
273         }
274         if( !opt.lock_once ) {
275             if( !release_dotlock( lockhandle ) )
276                 is_locked = 0;
277         }
278         assert( unused );
279         r = unused;
280         r->flags.used = 1;
281         r->recno = recno;
282         memcpy( r->data, data, TRUST_RECORD_LEN );
283         r->flags.dirty = 1;
284         cache_is_dirty = 1;
285         cache_entries++;
286         return 0;
287     }
288     BUG();
289 }
290
291
292 int
293 tdbio_is_dirty()
294 {
295     return cache_is_dirty;
296 }
297
298
299 /****************
300  * Flush the cache.  This cannot be used while in a transaction.
301  */
302 int
303 tdbio_sync()
304 {
305     CACHE_CTRL r;
306     int did_lock = 0;
307
308     if( db_fd == -1 )
309         open_db();
310     if( in_transaction )
311         log_bug("tdbio: syncing while in transaction\n");
312
313     if( !cache_is_dirty )
314         return 0;
315
316     if( !is_locked ) {
317         if( make_dotlock( lockhandle, -1 ) )
318             log_fatal("can't acquire lock - giving up\n");
319         else
320             is_locked = 1;
321         did_lock = 1;
322     }
323     for( r = cache_list; r; r = r->next ) {
324         if( r->flags.used && r->flags.dirty ) {
325             int rc = write_cache_item( r );
326             if( rc )
327                 return rc;
328         }
329     }
330     cache_is_dirty = 0;
331     if( did_lock && !opt.lock_once ) {
332         if( !release_dotlock( lockhandle ) )
333             is_locked = 0;
334     }
335
336     return 0;
337 }
338
339
340
341 /****************
342  * Simple transactions system:
343  * Everything between begin_transaction and end/cancel_transaction
344  * is not immediatly written but at the time of end_transaction.
345  *
346  */
347 int
348 tdbio_begin_transaction()
349 {
350     int rc;
351
352     if( in_transaction )
353         log_bug("tdbio: nested transactions\n");
354     /* flush everything out */
355     rc = tdbio_sync();
356     if( rc )
357         return rc;
358     in_transaction = 1;
359     return 0;
360 }
361
362 int
363 tdbio_end_transaction()
364 {
365     int rc;
366
367     if( !in_transaction )
368         log_bug("tdbio: no active transaction\n");
369     if( !is_locked ) {
370         if( make_dotlock( lockhandle, -1 ) )
371             log_fatal("can't acquire lock - giving up\n");
372         else
373             is_locked = 1;
374     }
375 #warning block_all_signals is not yet available in ../common/signals.c
376     /*    block_all_signals(); */
377     in_transaction = 0;
378     rc = tdbio_sync();
379 /*      unblock_all_signals(); */
380     if( !opt.lock_once ) {
381         if( !release_dotlock( lockhandle ) )
382             is_locked = 0;
383     }
384     return rc;
385 }
386
387 int
388 tdbio_cancel_transaction()
389 {
390     CACHE_CTRL r;
391
392     if( !in_transaction )
393         log_bug("tdbio: no active transaction\n");
394
395     /* remove all dirty marked entries, so that the original ones
396      * are read back the next time */
397     if( cache_is_dirty ) {
398         for( r = cache_list; r; r = r->next ) {
399             if( r->flags.used && r->flags.dirty ) {
400                 r->flags.used = 0;
401                 cache_entries--;
402             }
403         }
404         cache_is_dirty = 0;
405     }
406
407     in_transaction = 0;
408     return 0;
409 }
410
411
412 \f
413 /********************************************************
414  **************** cached I/O functions ******************
415  ********************************************************/
416
417 static void
418 cleanup(void)
419 {
420     if( is_locked ) {
421         if( !release_dotlock(lockhandle) )
422             is_locked = 0;
423     }
424 }
425
426 /* Caller must sync */
427 int
428 tdbio_update_version_record (void)
429 {
430   TRUSTREC rec;
431   int rc;
432
433   memset( &rec, 0, sizeof rec );
434
435   rc=tdbio_read_record( 0, &rec, RECTYPE_VER);
436   if(rc==0)
437     {
438       rec.r.ver.created     = make_timestamp();
439       rec.r.ver.marginals   = opt.marginals_needed;
440       rec.r.ver.completes   = opt.completes_needed;
441       rec.r.ver.cert_depth  = opt.max_cert_depth;
442       rec.r.ver.trust_model = opt.trust_model;
443       rc=tdbio_write_record(&rec);
444     }
445
446   return rc;
447 }
448
449 static int
450 create_version_record (void)
451 {
452   TRUSTREC rec;
453   int rc;
454   
455   memset( &rec, 0, sizeof rec );
456   rec.r.ver.version     = 3;
457   rec.r.ver.created     = make_timestamp();
458   rec.r.ver.marginals   = opt.marginals_needed;
459   rec.r.ver.completes   = opt.completes_needed;
460   rec.r.ver.cert_depth  = opt.max_cert_depth;
461   if(opt.trust_model==TM_PGP || opt.trust_model==TM_CLASSIC)
462     rec.r.ver.trust_model = opt.trust_model;
463   else
464     rec.r.ver.trust_model = TM_PGP;
465   rec.rectype = RECTYPE_VER;
466   rec.recnum = 0;
467   rc = tdbio_write_record( &rec );
468   if( !rc )
469     tdbio_sync();
470   return rc;
471 }
472
473
474
475 int
476 tdbio_set_dbname( const char *new_dbname, int create )
477 {
478     char *fname;
479     static int initialized = 0;
480
481     if( !initialized ) {
482         atexit( cleanup );
483         initialized = 1;
484     }
485
486     if(new_dbname==NULL)
487       fname=make_filename(opt.homedir,"trustdb" EXTSEP_S "gpg", NULL);
488     else if (*new_dbname != DIRSEP_C )
489       {
490         if (strchr(new_dbname, DIRSEP_C) )
491           fname = make_filename (new_dbname, NULL);
492         else
493           fname = make_filename (opt.homedir, new_dbname, NULL);
494       }
495     else
496       fname = xstrdup (new_dbname);
497
498     if( access( fname, R_OK ) ) {
499         if( errno != ENOENT ) {
500             log_error( _("%s: can't access: %s\n"), fname, strerror(errno) );
501             xfree (fname);
502             return GPG_ERR_TRUSTDB;
503         }
504         if( create ) {
505             FILE *fp;
506             TRUSTREC rec;
507             int rc;
508             char *p = strrchr( fname, DIRSEP_C );
509             mode_t oldmask;
510
511             assert(p);
512             *p = 0;
513             if( access( fname, F_OK ) ) {
514                 try_make_homedir( fname );
515                 log_fatal( _("%s: directory does not exist!\n"), fname );
516             }
517             *p = DIRSEP_C;
518
519             xfree (db_name);
520             db_name = fname;
521 #ifdef __riscos__
522             if( !lockhandle )
523                 lockhandle = create_dotlock( db_name );
524             if( !lockhandle )
525                 log_fatal( _("%s: can't create lock\n"), db_name );
526             if( make_dotlock( lockhandle, -1 ) )
527                 log_fatal( _("%s: can't make lock\n"), db_name );
528 #endif /* __riscos__ */
529             oldmask=umask(077);
530             fp =fopen( fname, "wb" );
531             umask(oldmask);
532             if( !fp )
533                 log_fatal( _("%s: can't create: %s\n"), fname, strerror(errno) );
534             fclose(fp);
535             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
536             if( db_fd == -1 )
537                 log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
538
539 #ifndef __riscos__
540             if( !lockhandle )
541                 lockhandle = create_dotlock( db_name );
542             if( !lockhandle )
543                 log_fatal( _("%s: can't create lock\n"), db_name );
544 #endif /* !__riscos__ */
545
546             rc = create_version_record ();
547             if( rc )
548                 log_fatal( _("%s: failed to create version record: %s"),
549                                                    fname, gpg_strerror (rc));
550             /* and read again to check that we are okay */
551             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
552                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
553
554             if( !opt.quiet )
555                 log_info(_("%s: trustdb created\n"), db_name);
556
557             return 0;
558         }
559     }
560     xfree (db_name);
561     db_name = fname;
562     return 0;
563 }
564
565
566 const char *
567 tdbio_get_dbname()
568 {
569     return db_name;
570 }
571
572
573
574 static void
575 open_db()
576 {
577   byte buf[10];
578   int n;
579   TRUSTREC rec;
580
581   assert( db_fd == -1 );
582
583   if (!lockhandle )
584     lockhandle = create_dotlock( db_name );
585   if (!lockhandle )
586     log_fatal( _("%s: can't create lock\n"), db_name );
587 #ifdef __riscos__
588   if (make_dotlock( lockhandle, -1 ) )
589     log_fatal( _("%s: can't make lock\n"), db_name );
590 #endif /* __riscos__ */
591   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
592   if (db_fd == -1 && errno == EACCES) {
593       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
594       if (db_fd != -1)
595           log_info (_("NOTE: trustdb not writable\n"));
596   }
597   if ( db_fd == -1 )
598     log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
599
600   /* check whether we need to do a version migration */
601   do
602     n = read (db_fd, buf, 5);
603   while (n==-1 && errno == EINTR);
604   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
605     {
606       migrate_from_v2 ();
607     }
608   
609   /* read the version record */
610   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
611     log_fatal( _("%s: invalid trustdb\n"), db_name );
612 }
613
614
615 /****************
616  * Make a hashtable: type 0 = trust hash
617  */
618 static void
619 create_hashtable( TRUSTREC *vr, int type )
620 {
621     TRUSTREC rec;
622     off_t offset;
623     ulong recnum;
624     int i, n, rc;
625
626     offset = lseek( db_fd, 0, SEEK_END );
627     if( offset == -1 )
628         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
629     recnum = offset / TRUST_RECORD_LEN;
630     assert(recnum); /* this is will never be the first record */
631
632     if( !type )
633         vr->r.ver.trusthashtbl = recnum;
634
635     /* Now write the records */
636     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
637     for(i=0; i < n; i++, recnum++ ) {
638          memset( &rec, 0, sizeof rec );
639          rec.rectype = RECTYPE_HTBL;
640          rec.recnum = recnum;
641          rc = tdbio_write_record( &rec );
642          if( rc )
643              log_fatal( _("%s: failed to create hashtable: %s\n"),
644                                         db_name, gpg_strerror (rc));
645     }
646     /* update the version record */
647     rc = tdbio_write_record( vr );
648     if( !rc )
649         rc = tdbio_sync();
650     if( rc )
651         log_fatal( _("%s: error updating version record: %s\n"),
652                                                   db_name, gpg_strerror (rc));
653 }
654
655
656 int
657 tdbio_db_matches_options()
658 {
659   static int yes_no = -1;
660
661   if( yes_no == -1 )
662     {
663       TRUSTREC vr;
664       int rc;
665
666       rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
667       if( rc )
668         log_fatal( _("%s: error reading version record: %s\n"),
669                    db_name, gpg_strerror (rc) );
670
671       yes_no = vr.r.ver.marginals == opt.marginals_needed
672         && vr.r.ver.completes == opt.completes_needed
673         && vr.r.ver.cert_depth == opt.max_cert_depth
674         && vr.r.ver.trust_model == opt.trust_model;
675     }
676
677   return yes_no;
678 }
679
680 byte
681 tdbio_read_model(void)
682 {
683   TRUSTREC vr;
684   int rc;
685  
686   rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
687   if( rc )
688     log_fatal( _("%s: error reading version record: %s\n"),
689                db_name, gpg_strerror (rc) );
690   return vr.r.ver.trust_model;
691 }
692
693 /****************
694  * Return the nextstamp value.
695  */
696 ulong
697 tdbio_read_nextcheck ()
698 {
699     TRUSTREC vr;
700     int rc;
701
702     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
703     if( rc )
704         log_fatal( _("%s: error reading version record: %s\n"),
705                                                     db_name, gpg_strerror (rc) );
706     return vr.r.ver.nextcheck;
707 }
708
709 /* Return true when the stamp was actually changed. */
710 int
711 tdbio_write_nextcheck (ulong stamp)
712 {
713     TRUSTREC vr;
714     int rc;
715
716     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
717     if( rc )
718         log_fatal( _("%s: error reading version record: %s\n"),
719                                        db_name, gpg_strerror (rc) );
720
721     if (vr.r.ver.nextcheck == stamp)
722       return 0;
723
724     vr.r.ver.nextcheck = stamp;
725     rc = tdbio_write_record( &vr );
726     if( rc )
727         log_fatal( _("%s: error writing version record: %s\n"),
728                                        db_name, gpg_strerror (rc) );
729     return 1;
730 }
731
732
733
734 /****************
735  * Return the record number of the trusthash tbl or create a new one.
736  */
737 static ulong
738 get_trusthashrec(void)
739 {
740     static ulong trusthashtbl; /* record number of the trust hashtable */
741
742     if( !trusthashtbl ) {
743         TRUSTREC vr;
744         int rc;
745
746         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
747         if( rc )
748             log_fatal( _("%s: error reading version record: %s\n"),
749                                             db_name, gpg_strerror (rc) );
750         if( !vr.r.ver.trusthashtbl )
751             create_hashtable( &vr, 0 );
752
753         trusthashtbl = vr.r.ver.trusthashtbl;
754     }
755     return trusthashtbl;
756 }
757
758
759
760 /****************
761  * Update a hashtable.
762  * table gives the start of the table, key and keylen is the key,
763  * newrecnum is the record number to insert.
764  */
765 static int
766 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
767 {
768     TRUSTREC lastrec, rec;
769     ulong hashrec, item;
770     int msb;
771     int level=0;
772     int rc, i;
773
774     hashrec = table;
775   next_level:
776     msb = key[level];
777     hashrec += msb / ITEMS_PER_HTBL_RECORD;
778     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
779     if( rc ) {
780         log_error( db_name, "upd_hashtable: read failed: %s\n",
781                                                         gpg_strerror (rc) );
782         return rc;
783     }
784
785     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
786     if( !item ) { /* insert a new item into the hash table */
787         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
788         rc = tdbio_write_record( &rec );
789         if( rc ) {
790             log_error( db_name, "upd_hashtable: write htbl failed: %s\n",
791                                                             gpg_strerror (rc) );
792             return rc;
793         }
794     }
795     else if( item != newrecnum ) {  /* must do an update */
796         lastrec = rec;
797         rc = tdbio_read_record( item, &rec, 0 );
798         if( rc ) {
799             log_error( "upd_hashtable: read item failed: %s\n",
800                                                             gpg_strerror (rc) );
801             return rc;
802         }
803
804         if( rec.rectype == RECTYPE_HTBL ) {
805             hashrec = item;
806             level++;
807             if( level >= keylen ) {
808                 log_error( "hashtable has invalid indirections.\n");
809                 return GPG_ERR_TRUSTDB;
810             }
811             goto next_level;
812         }
813         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
814             /* see whether the key is already in this list */
815             for(;;) {
816                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
817                     if( rec.r.hlst.rnum[i] == newrecnum ) {
818                         return 0; /* okay, already in the list */
819                     }
820                 }
821                 if( rec.r.hlst.next ) {
822                     rc = tdbio_read_record( rec.r.hlst.next,
823                                                        &rec, RECTYPE_HLST);
824                     if( rc ) {
825                         log_error( "upd_hashtable: read hlst failed: %s\n",
826                                                              gpg_strerror (rc) );
827                         return rc;
828                     }
829                 }
830                 else
831                     break; /* not there */
832             }
833             /* find the next free entry and put it in */
834             for(;;) {
835                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
836                     if( !rec.r.hlst.rnum[i] ) {
837                         rec.r.hlst.rnum[i] = newrecnum;
838                         rc = tdbio_write_record( &rec );
839                         if( rc )
840                             log_error( "upd_hashtable: write hlst failed: %s\n",
841                                                               gpg_strerror (rc) );
842                         return rc; /* done */
843                     }
844                 }
845                 if( rec.r.hlst.next ) {
846                     rc = tdbio_read_record( rec.r.hlst.next,
847                                                       &rec, RECTYPE_HLST );
848                     if( rc ) {
849                         log_error( "upd_hashtable: read hlst failed: %s\n",
850                                                              gpg_strerror (rc) );
851                         return rc;
852                     }
853                 }
854                 else { /* add a new list record */
855                     rec.r.hlst.next = item = tdbio_new_recnum();
856                     rc = tdbio_write_record( &rec );
857                     if( rc ) {
858                         log_error( "upd_hashtable: write hlst failed: %s\n",
859                                                           gpg_strerror (rc) );
860                         return rc;
861                     }
862                     memset( &rec, 0, sizeof rec );
863                     rec.rectype = RECTYPE_HLST;
864                     rec.recnum = item;
865                     rec.r.hlst.rnum[0] = newrecnum;
866                     rc = tdbio_write_record( &rec );
867                     if( rc )
868                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
869                                                           gpg_strerror (rc) );
870                     return rc; /* done */
871                 }
872             } /* end loop over hlst slots */
873         }
874         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
875             if( rec.recnum == newrecnum ) {
876                 return 0;
877             }
878             item = rec.recnum; /* save number of key record */
879             memset( &rec, 0, sizeof rec );
880             rec.rectype = RECTYPE_HLST;
881             rec.recnum = tdbio_new_recnum();
882             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
883             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
884             rc = tdbio_write_record( &rec );
885             if( rc ) {
886                 log_error( "upd_hashtable: write new hlst failed: %s\n",
887                                                   gpg_strerror (rc) );
888                 return rc;
889             }
890             /* update the hashtable record */
891             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
892             rc = tdbio_write_record( &lastrec );
893             if( rc )
894                 log_error( "upd_hashtable: update htbl failed: %s\n",
895                                                              gpg_strerror (rc) );
896             return rc; /* ready */
897         }
898         else {
899             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
900                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
901             list_trustdb(NULL);
902             return GPG_ERR_TRUSTDB;
903         }
904     }
905
906     return 0;
907 }
908
909
910 /****************
911  * Drop an entry from a hashtable
912  * table gives the start of the table, key and keylen is the key,
913  */
914 static int
915 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
916 {
917     TRUSTREC rec;
918     ulong hashrec, item;
919     int msb;
920     int level=0;
921     int rc, i;
922
923     hashrec = table;
924   next_level:
925     msb = key[level];
926     hashrec += msb / ITEMS_PER_HTBL_RECORD;
927     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
928     if( rc ) {
929         log_error( db_name, "drop_from_hashtable: read failed: %s\n",
930                                                         gpg_strerror (rc) );
931         return rc;
932     }
933
934     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
935     if( !item )  /* not found - forget about it  */
936         return 0;
937
938     if( item == recnum ) {  /* tables points direct to the record */
939         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
940         rc = tdbio_write_record( &rec );
941         if( rc )
942             log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
943                                                             gpg_strerror (rc) );
944         return rc;
945     }
946
947     rc = tdbio_read_record( item, &rec, 0 );
948     if( rc ) {
949         log_error( "drop_from_hashtable: read item failed: %s\n",
950                                                         gpg_strerror (rc) );
951         return rc;
952     }
953
954     if( rec.rectype == RECTYPE_HTBL ) {
955         hashrec = item;
956         level++;
957         if( level >= keylen ) {
958             log_error( "hashtable has invalid indirections.\n");
959             return GPG_ERR_TRUSTDB;
960         }
961         goto next_level;
962     }
963
964     if( rec.rectype == RECTYPE_HLST ) {
965         for(;;) {
966             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
967                 if( rec.r.hlst.rnum[i] == recnum ) {
968                     rec.r.hlst.rnum[i] = 0; /* drop */
969                     rc = tdbio_write_record( &rec );
970                     if( rc )
971                         log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
972                                                                         gpg_strerror (rc) );
973                     return rc;
974                 }
975             }
976             if( rec.r.hlst.next ) {
977                 rc = tdbio_read_record( rec.r.hlst.next,
978                                                    &rec, RECTYPE_HLST);
979                 if( rc ) {
980                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
981                                                          gpg_strerror (rc) );
982                     return rc;
983                 }
984             }
985             else
986                 return 0; /* key not in table */
987         }
988     }
989
990     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
991                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
992     return GPG_ERR_TRUSTDB;
993 }
994
995
996
997 /****************
998  * Lookup a record via the hashtable tablewith key/keylen and return the
999  * result in rec.  cmp() should return if the record is the desired one.
1000  * Returns -1 if not found, 0 if found or another errocode
1001  */
1002 static int
1003 lookup_hashtable( ulong table, const byte *key, size_t keylen,
1004                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
1005                                                 TRUSTREC *rec )
1006 {
1007     int rc;
1008     ulong hashrec, item;
1009     int msb;
1010     int level=0;
1011
1012     hashrec = table;
1013   next_level:
1014     msb = key[level];
1015     hashrec += msb / ITEMS_PER_HTBL_RECORD;
1016     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
1017     if( rc ) {
1018         log_error( db_name, "lookup_hashtable failed: %s\n", gpg_strerror (rc) );
1019         return rc;
1020     }
1021
1022     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
1023     if( !item )
1024         return -1; /* not found */
1025
1026     rc = tdbio_read_record( item, rec, 0 );
1027     if( rc ) {
1028         log_error( db_name, "hashtable read failed: %s\n", gpg_strerror (rc) );
1029         return rc;
1030     }
1031     if( rec->rectype == RECTYPE_HTBL ) {
1032         hashrec = item;
1033         level++;
1034         if( level >= keylen ) {
1035             log_error( db_name, "hashtable has invalid indirections\n");
1036             return GPG_ERR_TRUSTDB;
1037         }
1038         goto next_level;
1039     }
1040     else if( rec->rectype == RECTYPE_HLST ) {
1041         for(;;) {
1042             int i;
1043
1044             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1045                 if( rec->r.hlst.rnum[i] ) {
1046                     TRUSTREC tmp;
1047
1048                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1049                     if( rc ) {
1050                         log_error( "lookup_hashtable: read item failed: %s\n",
1051                                                               gpg_strerror (rc) );
1052                         return rc;
1053                     }
1054                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1055                         *rec = tmp;
1056                         return 0;
1057                     }
1058                 }
1059             }
1060             if( rec->r.hlst.next ) {
1061                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1062                 if( rc ) {
1063                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1064                                                          gpg_strerror (rc) );
1065                     return rc;
1066                 }
1067             }
1068             else
1069                 return -1; /* not found */
1070         }
1071     }
1072
1073
1074     if( (*cmpfnc)( cmpdata, rec ) )
1075         return 0; /* really found */
1076
1077     return -1; /* no: not found */
1078 }
1079
1080
1081 /****************
1082  * Update the trust hashtbl or create the table if it does not exist
1083  */
1084 static int
1085 update_trusthashtbl( TRUSTREC *tr )
1086 {
1087     return upd_hashtable( get_trusthashrec(),
1088                           tr->r.trust.fingerprint, 20, tr->recnum );
1089 }
1090
1091
1092
1093 void
1094 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1095 {
1096     int i;
1097     ulong rnum = rec->recnum;
1098
1099     fprintf(fp, "rec %5lu, ", rnum );
1100
1101     switch( rec->rectype ) {
1102       case 0: fprintf(fp, "blank\n");
1103         break;
1104       case RECTYPE_VER: fprintf(fp,
1105             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d tm=%d nc=%lu (%s)\n",
1106                                    rec->r.ver.trusthashtbl,
1107                                    rec->r.ver.firstfree,
1108                                    rec->r.ver.marginals,
1109                                    rec->r.ver.completes,
1110                                    rec->r.ver.cert_depth,
1111                                    rec->r.ver.trust_model,
1112                                    rec->r.ver.nextcheck,
1113                                    strtimestamp(rec->r.ver.nextcheck)
1114                                  );
1115         break;
1116       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1117         break;
1118       case RECTYPE_HTBL:
1119         fprintf(fp, "htbl,");
1120         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1121             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1122         putc('\n', fp);
1123         break;
1124       case RECTYPE_HLST:
1125         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1126         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1127             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1128         putc('\n', fp);
1129         break;
1130       case RECTYPE_TRUST:
1131         fprintf(fp, "trust ");
1132         for(i=0; i < 20; i++ )
1133             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1134         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1135                  rec->r.trust.depth, rec->r.trust.validlist);
1136         break;
1137       case RECTYPE_VALID:
1138         fprintf(fp, "valid ");
1139         for(i=0; i < 20; i++ )
1140             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1141         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1142                  rec->r.valid.next);
1143         break;
1144       default:
1145         fprintf(fp, "unknown type %d\n", rec->rectype );
1146         break;
1147     }
1148 }
1149
1150 /****************
1151  * read the record with number recnum
1152  * returns: -1 on error, 0 on success
1153  */
1154 int
1155 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1156 {
1157     byte readbuf[TRUST_RECORD_LEN];
1158     const byte *buf, *p;
1159     int rc = 0;
1160     int n, i;
1161
1162     if( db_fd == -1 )
1163         open_db();
1164     buf = get_record_from_cache( recnum );
1165     if( !buf ) {
1166         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1167             rc = gpg_error_from_errno (errno);
1168             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1169             return rc;
1170         }
1171         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1172         if( !n ) {
1173             return -1; /* eof */
1174         }
1175         else if( n != TRUST_RECORD_LEN ) {
1176             rc = gpg_error_from_errno (errno);
1177             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1178                                                         strerror(errno) );
1179             return rc;
1180         }
1181         buf = readbuf;
1182     }
1183     rec->recnum = recnum;
1184     rec->dirty = 0;
1185     p = buf;
1186     rec->rectype = *p++;
1187     if( expected && rec->rectype != expected ) {
1188         log_error("%lu: read expected rec type %d, got %d\n",
1189                     recnum, expected, rec->rectype );
1190         return GPG_ERR_TRUSTDB;
1191     }
1192     p++;    /* skip reserved byte */
1193     switch( rec->rectype ) {
1194       case 0:  /* unused (free) record */
1195         break;
1196       case RECTYPE_VER: /* version record */
1197         if( memcmp(buf+1, "gpg", 3 ) ) {
1198             log_error( _("%s: not a trustdb file\n"), db_name );
1199             rc = GPG_ERR_TRUSTDB;
1200         }
1201         p += 2; /* skip "gpg" */
1202         rec->r.ver.version  = *p++;
1203         rec->r.ver.marginals = *p++;
1204         rec->r.ver.completes = *p++;
1205         rec->r.ver.cert_depth = *p++;
1206         rec->r.ver.trust_model = *p++;
1207         p += 3;
1208         rec->r.ver.created  = buftoulong(p); p += 4;
1209         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1210         p += 4;
1211         p += 4;
1212         rec->r.ver.firstfree =buftoulong(p); p += 4;
1213         p += 4;
1214         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1215         if( recnum ) {
1216             log_error( _("%s: version record with recnum %lu\n"), db_name,
1217                                                              (ulong)recnum );
1218             rc = GPG_ERR_TRUSTDB;
1219         }
1220         else if( rec->r.ver.version != 3 ) {
1221             log_error( _("%s: invalid file version %d\n"), db_name,
1222                                                         rec->r.ver.version );
1223             rc = GPG_ERR_TRUSTDB;
1224         }
1225         break;
1226       case RECTYPE_FREE:
1227         rec->r.free.next  = buftoulong(p); p += 4;
1228         break;
1229       case RECTYPE_HTBL:
1230         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1231             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1232         }
1233         break;
1234       case RECTYPE_HLST:
1235         rec->r.hlst.next = buftoulong(p); p += 4;
1236         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1237             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1238         }
1239         break;
1240       case RECTYPE_TRUST:
1241         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1242         rec->r.trust.ownertrust = *p++;
1243         rec->r.trust.depth = *p++;
1244         rec->r.trust.min_ownertrust = *p++;
1245         p++;
1246         rec->r.trust.validlist = buftoulong(p); p += 4;
1247         break;
1248       case RECTYPE_VALID:
1249         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1250         rec->r.valid.validity = *p++;
1251         rec->r.valid.next = buftoulong(p); p += 4;
1252         rec->r.valid.full_count = *p++;
1253         rec->r.valid.marginal_count = *p++;
1254         break;
1255       default:
1256         log_error( "%s: invalid record type %d at recnum %lu\n",
1257                                    db_name, rec->rectype, (ulong)recnum );
1258         rc = GPG_ERR_TRUSTDB;
1259         break;
1260     }
1261
1262     return rc;
1263 }
1264
1265 /****************
1266  * Write the record at RECNUM
1267  */
1268 int
1269 tdbio_write_record( TRUSTREC *rec )
1270 {
1271     byte buf[TRUST_RECORD_LEN], *p;
1272     int rc = 0;
1273     int i;
1274     ulong recnum = rec->recnum;
1275
1276     if( db_fd == -1 )
1277         open_db();
1278
1279     memset(buf, 0, TRUST_RECORD_LEN);
1280     p = buf;
1281     *p++ = rec->rectype; p++;
1282     switch( rec->rectype ) {
1283       case 0:  /* unused record */
1284         break;
1285       case RECTYPE_VER: /* version record */
1286         if( recnum )
1287             BUG();
1288         memcpy(p-1, "gpg", 3 ); p += 2;
1289         *p++ = rec->r.ver.version;
1290         *p++ = rec->r.ver.marginals;
1291         *p++ = rec->r.ver.completes;
1292         *p++ = rec->r.ver.cert_depth;
1293         *p++ = rec->r.ver.trust_model;
1294         p += 3;
1295         ulongtobuf(p, rec->r.ver.created); p += 4;
1296         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1297         p += 4;
1298         p += 4;
1299         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1300         p += 4;
1301         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1302         break;
1303
1304       case RECTYPE_FREE:
1305         ulongtobuf(p, rec->r.free.next); p += 4;
1306         break;
1307
1308
1309       case RECTYPE_HTBL:
1310         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1311             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1312         }
1313         break;
1314
1315       case RECTYPE_HLST:
1316         ulongtobuf( p, rec->r.hlst.next); p += 4;
1317         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1318             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1319         }
1320         break;
1321
1322       case RECTYPE_TRUST:
1323         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1324         *p++ = rec->r.trust.ownertrust;
1325         *p++ = rec->r.trust.depth;
1326         *p++ = rec->r.trust.min_ownertrust;
1327         p++;
1328         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1329         break;
1330
1331       case RECTYPE_VALID:
1332         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1333         *p++ = rec->r.valid.validity;
1334         ulongtobuf( p, rec->r.valid.next); p += 4;
1335         *p++ = rec->r.valid.full_count;
1336         *p++ = rec->r.valid.marginal_count;
1337         break;
1338
1339       default:
1340         BUG();
1341     }
1342
1343     rc = put_record_into_cache( recnum, buf );
1344     if( rc )
1345         ;
1346     else if( rec->rectype == RECTYPE_TRUST )
1347         rc = update_trusthashtbl( rec );
1348
1349     return rc;
1350 }
1351
1352 int
1353 tdbio_delete_record( ulong recnum )
1354 {
1355     TRUSTREC vr, rec;
1356     int rc;
1357
1358     /* Must read the record fist, so we can drop it from the hash tables */
1359     rc = tdbio_read_record( recnum, &rec, 0 );
1360     if( rc )
1361         ;
1362     else if( rec.rectype == RECTYPE_TRUST ) {
1363          rc = drop_from_hashtable( get_trusthashrec(),
1364                                    rec.r.trust.fingerprint, 20, rec.recnum );
1365     }
1366
1367     if( rc )
1368         return rc;
1369
1370     /* now we can chnage it to a free record */
1371     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1372     if( rc )
1373         log_fatal( _("%s: error reading version record: %s\n"),
1374                                        db_name, gpg_strerror (rc) );
1375
1376     rec.recnum = recnum;
1377     rec.rectype = RECTYPE_FREE;
1378     rec.r.free.next = vr.r.ver.firstfree;
1379     vr.r.ver.firstfree = recnum;
1380     rc = tdbio_write_record( &rec );
1381     if( !rc )
1382         rc = tdbio_write_record( &vr );
1383     return rc;
1384 }
1385
1386 /****************
1387  * create a new record and return its record number
1388  */
1389 ulong
1390 tdbio_new_recnum()
1391 {
1392     off_t offset;
1393     ulong recnum;
1394     TRUSTREC vr, rec;
1395     int rc;
1396
1397     /* look for unused records */
1398     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1399     if( rc )
1400         log_fatal( _("%s: error reading version record: %s\n"),
1401                                              db_name, gpg_strerror (rc) );
1402     if( vr.r.ver.firstfree ) {
1403         recnum = vr.r.ver.firstfree;
1404         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1405         if( rc ) {
1406             log_error( _("%s: error reading free record: %s\n"),
1407                                                   db_name,  gpg_strerror (rc) );
1408             return rc;
1409         }
1410         /* update dir record */
1411         vr.r.ver.firstfree = rec.r.free.next;
1412         rc = tdbio_write_record( &vr );
1413         if( rc ) {
1414             log_error( _("%s: error writing dir record: %s\n"),
1415                                                      db_name, gpg_strerror (rc) );
1416             return rc;
1417         }
1418         /*zero out the new record */
1419         memset( &rec, 0, sizeof rec );
1420         rec.rectype = 0; /* unused record */
1421         rec.recnum = recnum;
1422         rc = tdbio_write_record( &rec );
1423         if( rc )
1424             log_fatal(_("%s: failed to zero a record: %s\n"),
1425                                        db_name, gpg_strerror (rc));
1426     }
1427     else { /* not found, append a new record */
1428         offset = lseek( db_fd, 0, SEEK_END );
1429         if( offset == -1 )
1430             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1431         recnum = offset / TRUST_RECORD_LEN;
1432         assert(recnum); /* this is will never be the first record */
1433         /* we must write a record, so that the next call to this function
1434          * returns another recnum */
1435         memset( &rec, 0, sizeof rec );
1436         rec.rectype = 0; /* unused record */
1437         rec.recnum = recnum;
1438         rc = 0;
1439         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1440             rc = gpg_error_from_errno (errno);
1441             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1442                                                 recnum, strerror(errno) );
1443         }
1444         else {
1445             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1446             if( n != TRUST_RECORD_LEN ) {
1447                 rc = gpg_error_from_errno (errno);
1448                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1449                                                  recnum, n, strerror(errno) );
1450             }
1451         }
1452
1453         if( rc )
1454             log_fatal(_("%s: failed to append a record: %s\n"),
1455                                     db_name,    gpg_strerror (rc));
1456     }
1457     return recnum ;
1458 }
1459
1460
1461
1462 static int
1463 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1464 {
1465     return rec->rectype == RECTYPE_TRUST
1466            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1467 }
1468
1469
1470 int
1471 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1472 {
1473     int rc;
1474
1475     /* locate the trust record using the hash table */
1476     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1477                            cmp_trec_fpr, (void*)fingerprint, rec );
1478     return rc;
1479 }
1480
1481 int
1482 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1483 {
1484     byte fingerprint[MAX_FINGERPRINT_LEN];
1485     size_t fingerlen;
1486
1487     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1488     for (; fingerlen < 20; fingerlen++ )
1489       fingerprint[fingerlen] = 0;
1490     return tdbio_search_trust_byfpr (fingerprint, rec);
1491 }
1492
1493
1494
1495 void
1496 tdbio_invalid(void)
1497 {
1498     log_error(_(
1499         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1500     g10_exit(2);
1501 }
1502
1503 /*
1504  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1505  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1506  * only to scan the tdb and insert new the new trust records.  The old ones are
1507  * obsolte from now on
1508  */
1509 static void
1510 migrate_from_v2 ()
1511 {
1512   TRUSTREC rec;
1513   int i, n;
1514   struct {
1515     ulong keyrecno;
1516     byte  ot;
1517     byte okay;
1518     byte  fpr[20];
1519   } *ottable;
1520   int ottable_size, ottable_used;
1521   byte oldbuf[40];
1522   ulong recno;
1523   int rc, count;
1524
1525   ottable_size = 5;
1526   ottable = xmalloc (ottable_size * sizeof *ottable);
1527   ottable_used = 0;
1528
1529   /* We have some restrictions here.  We can't use the version record
1530    * and we can't use any of the old hashtables because we dropped the
1531    * code.  So we first collect all ownertrusts and then use a second
1532    * pass fo find the associated keys.  We have to do this all without using 
1533    * the regular record read functions.
1534    */
1535
1536   /* get all the ownertrusts */
1537   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1538       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1539   for (recno=0;;recno++)
1540     {
1541       do
1542         n = read (db_fd, oldbuf, 40);
1543       while (n==-1 && errno == EINTR);
1544       if (!n)
1545         break; /* eof */
1546       if (n != 40)
1547         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1548
1549       if (*oldbuf != 2)
1550         continue;
1551       
1552       /* v2 dir record */
1553       if (ottable_used == ottable_size)
1554         {
1555           ottable_size += 1000;
1556           ottable = xrealloc (ottable, ottable_size * sizeof *ottable);
1557         }
1558       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1559       ottable[ottable_used].ot = oldbuf[18];
1560       ottable[ottable_used].okay = 0;
1561       memset (ottable[ottable_used].fpr,0, 20);
1562       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1563         ottable_used++;
1564     }
1565   log_info ("found %d ownertrust records\n", ottable_used);
1566
1567   /* Read again and find the fingerprints */
1568   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1569       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1570   for (recno=0;;recno++)
1571     {
1572       do
1573         n = read (db_fd, oldbuf, 40);
1574       while (n==-1 && errno == EINTR);
1575       if (!n)
1576         break; /* eof */
1577       if (n != 40)
1578         log_fatal ("migrate_from_v2: read error or short read\n");
1579
1580       if (*oldbuf != 3) 
1581         continue;
1582
1583       /* v2 key record */
1584       for (i=0; i < ottable_used; i++)
1585         {
1586           if (ottable[i].keyrecno == recno)
1587             {
1588               memcpy (ottable[i].fpr, oldbuf+20, 20);
1589               ottable[i].okay = 1;
1590               break;
1591             }
1592         }
1593     }
1594
1595   /* got everything - create the v3 trustdb */
1596   if (ftruncate (db_fd, 0))
1597     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1598   if (create_version_record ())
1599     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1600
1601   /* access the hash table, so it is store just after the version record, 
1602    * this is not needed put a dump is more pretty */
1603   get_trusthashrec ();
1604
1605   /* And insert the old ownertrust values */
1606   count = 0;
1607   for (i=0; i < ottable_used; i++)
1608     {
1609       if (!ottable[i].okay)
1610         continue;
1611       
1612       memset (&rec, 0, sizeof rec);
1613       rec.recnum = tdbio_new_recnum ();
1614       rec.rectype = RECTYPE_TRUST;
1615       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1616       rec.r.trust.ownertrust = ottable[i].ot;
1617       if (tdbio_write_record (&rec))
1618         log_fatal ("failed to write trust record of `%s'\n", db_name);
1619       count++;
1620     }
1621
1622   revalidation_mark ();
1623   rc = tdbio_sync ();
1624   if (rc)
1625     log_fatal ("failed to sync `%s'\n", db_name);
1626   log_info ("migrated %d version 2 ownertrusts\n", count);
1627   xfree (ottable);
1628 }