Switched to GPLv3.
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 3 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, see <http://www.gnu.org/licenses/>.
18  */
19
20 #include <config.h>
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <string.h>
24 #include <errno.h>
25 #include <assert.h>
26 #include <sys/types.h>
27 #include <sys/stat.h>
28 #include <fcntl.h>
29 #include <unistd.h>
30
31 #include "errors.h"
32 #include "iobuf.h"
33 #include "memory.h"
34 #include "util.h"
35 #include "options.h"
36 #include "main.h"
37 #include "i18n.h"
38 #include "trustdb.h"
39 #include "tdbio.h"
40
41 #if defined(HAVE_DOSISH_SYSTEM)
42 #define ftruncate chsize
43 #endif
44
45 #if defined(HAVE_DOSISH_SYSTEM) || defined(__CYGWIN__)
46 #define MY_O_BINARY  O_BINARY
47 #else
48 #define MY_O_BINARY  0
49 #endif
50
51
52 /****************
53  * Yes, this is a very simple implementation. We should really
54  * use a page aligned buffer and read complete pages.
55  * To implement a simple trannsaction system, this is sufficient.
56  */
57 typedef struct cache_ctrl_struct *CACHE_CTRL;
58 struct cache_ctrl_struct {
59     CACHE_CTRL next;
60     struct {
61         unsigned used:1;
62         unsigned dirty:1;
63     } flags;
64     ulong recno;
65     char data[TRUST_RECORD_LEN];
66 };
67
68 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
69 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
70 static CACHE_CTRL cache_list;
71 static int cache_entries;
72 static int cache_is_dirty;
73
74 /* a type used to pass infomation to cmp_krec_fpr */
75 struct cmp_krec_fpr_struct {
76     int pubkey_algo;
77     const char *fpr;
78     int fprlen;
79 };
80
81 /* a type used to pass infomation to cmp_[s]dir */
82 struct cmp_xdir_struct {
83     int pubkey_algo;
84     u32 keyid[2];
85 };
86
87
88 static char *db_name;
89 static DOTLOCK lockhandle;
90 static int is_locked;
91 static int  db_fd = -1;
92 static int in_transaction;
93
94 static void open_db(void);
95 static void migrate_from_v2 (void);
96
97
98 \f
99 /*************************************
100  ************* record cache **********
101  *************************************/
102
103 /****************
104  * Get the data from therecord cache and return a
105  * pointer into that cache.  Caller should copy
106  * the return data.  NULL is returned on a cache miss.
107  */
108 static const char *
109 get_record_from_cache( ulong recno )
110 {
111     CACHE_CTRL r;
112
113     for( r = cache_list; r; r = r->next ) {
114         if( r->flags.used && r->recno == recno )
115             return r->data;
116     }
117     return NULL;
118 }
119
120
121 static int
122 write_cache_item( CACHE_CTRL r )
123 {
124     int n;
125
126     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
127         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
128                                             r->recno, strerror(errno) );
129         return G10ERR_WRITE_FILE;
130     }
131     n = write( db_fd, r->data, TRUST_RECORD_LEN);
132     if( n != TRUST_RECORD_LEN ) {
133         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
134                                             r->recno, n, strerror(errno) );
135         return G10ERR_WRITE_FILE;
136     }
137     r->flags.dirty = 0;
138     return 0;
139 }
140
141 /****************
142  * Put data into the cache.  This function may flush the
143  * some cache entries if there is not enough space available.
144  */
145 int
146 put_record_into_cache( ulong recno, const char *data )
147 {
148     CACHE_CTRL r, unused;
149     int dirty_count = 0;
150     int clean_count = 0;
151
152     /* see whether we already cached this one */
153     for( unused = NULL, r = cache_list; r; r = r->next ) {
154         if( !r->flags.used ) {
155             if( !unused )
156                 unused = r;
157         }
158         else if( r->recno == recno ) {
159             if( !r->flags.dirty ) {
160                 /* Hmmm: should we use a a copy and compare? */
161                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
162                     r->flags.dirty = 1;
163                     cache_is_dirty = 1;
164                 }
165             }
166             memcpy( r->data, data, TRUST_RECORD_LEN );
167             return 0;
168         }
169         if( r->flags.used ) {
170             if( r->flags.dirty )
171                 dirty_count++;
172             else
173                 clean_count++;
174         }
175     }
176     /* not in the cache: add a new entry */
177     if( unused ) { /* reuse this entry */
178         r = unused;
179         r->flags.used = 1;
180         r->recno = recno;
181         memcpy( r->data, data, TRUST_RECORD_LEN );
182         r->flags.dirty = 1;
183         cache_is_dirty = 1;
184         cache_entries++;
185         return 0;
186     }
187     /* see whether we reached the limit */
188     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
189         r = xmalloc( sizeof *r );
190         r->flags.used = 1;
191         r->recno = recno;
192         memcpy( r->data, data, TRUST_RECORD_LEN );
193         r->flags.dirty = 1;
194         r->next = cache_list;
195         cache_list = r;
196         cache_is_dirty = 1;
197         cache_entries++;
198         return 0;
199     }
200     /* cache is full: discard some clean entries */
201     if( clean_count ) {
202         int n = clean_count / 3; /* discard a third of the clean entries */
203         if( !n )
204             n = 1;
205         for( unused = NULL, r = cache_list; r; r = r->next ) {
206             if( r->flags.used && !r->flags.dirty ) {
207                 if( !unused )
208                     unused = r;
209                 r->flags.used = 0;
210                 cache_entries--;
211                 if( !--n )
212                     break;
213             }
214         }
215         assert( unused );
216         r = unused;
217         r->flags.used = 1;
218         r->recno = recno;
219         memcpy( r->data, data, TRUST_RECORD_LEN );
220         r->flags.dirty = 1;
221         cache_is_dirty = 1;
222         cache_entries++;
223         return 0;
224     }
225     /* no clean entries: have to flush some dirty entries */
226     if( in_transaction ) {
227         /* but we can't do this while in a transaction
228          * we increase the cache size instead */
229         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
230             if( opt.debug && !(cache_entries % 100) )
231                 log_debug("increasing tdbio cache size\n");
232             r = xmalloc( sizeof *r );
233             r->flags.used = 1;
234             r->recno = recno;
235             memcpy( r->data, data, TRUST_RECORD_LEN );
236             r->flags.dirty = 1;
237             r->next = cache_list;
238             cache_list = r;
239             cache_is_dirty = 1;
240             cache_entries++;
241             return 0;
242         }
243         log_info(_("trustdb transaction too large\n"));
244         return G10ERR_RESOURCE_LIMIT;
245     }
246     if( dirty_count ) {
247         int n = dirty_count / 5; /* discard some dirty entries */
248         if( !n )
249             n = 1;
250         if( !is_locked ) {
251             if( make_dotlock( lockhandle, -1 ) )
252                 log_fatal("can't acquire lock - giving up\n");
253             else
254                 is_locked = 1;
255         }
256         for( unused = NULL, r = cache_list; r; r = r->next ) {
257             if( r->flags.used && r->flags.dirty ) {
258                 int rc = write_cache_item( r );
259                 if( rc )
260                     return rc;
261                 if( !unused )
262                     unused = r;
263                 r->flags.used = 0;
264                 cache_entries--;
265                 if( !--n )
266                     break;
267             }
268         }
269         if( !opt.lock_once ) {
270             if( !release_dotlock( lockhandle ) )
271                 is_locked = 0;
272         }
273         assert( unused );
274         r = unused;
275         r->flags.used = 1;
276         r->recno = recno;
277         memcpy( r->data, data, TRUST_RECORD_LEN );
278         r->flags.dirty = 1;
279         cache_is_dirty = 1;
280         cache_entries++;
281         return 0;
282     }
283     BUG();
284 }
285
286
287 int
288 tdbio_is_dirty()
289 {
290     return cache_is_dirty;
291 }
292
293
294 /****************
295  * Flush the cache.  This cannot be used while in a transaction.
296  */
297 int
298 tdbio_sync()
299 {
300     CACHE_CTRL r;
301     int did_lock = 0;
302
303     if( db_fd == -1 )
304         open_db();
305     if( in_transaction )
306         log_bug("tdbio: syncing while in transaction\n");
307
308     if( !cache_is_dirty )
309         return 0;
310
311     if( !is_locked ) {
312         if( make_dotlock( lockhandle, -1 ) )
313             log_fatal("can't acquire lock - giving up\n");
314         else
315             is_locked = 1;
316         did_lock = 1;
317     }
318     for( r = cache_list; r; r = r->next ) {
319         if( r->flags.used && r->flags.dirty ) {
320             int rc = write_cache_item( r );
321             if( rc )
322                 return rc;
323         }
324     }
325     cache_is_dirty = 0;
326     if( did_lock && !opt.lock_once ) {
327         if( !release_dotlock( lockhandle ) )
328             is_locked = 0;
329     }
330
331     return 0;
332 }
333
334 #if 0
335 /* The transaction code is disabled in the 1.2.x branch, as it is not
336    yet used.  It will be enabled in 1.3.x. */
337
338 /****************
339  * Simple transactions system:
340  * Everything between begin_transaction and end/cancel_transaction
341  * is not immediatly written but at the time of end_transaction.
342  *
343  */
344 int
345 tdbio_begin_transaction()
346 {
347     int rc;
348
349     if( in_transaction )
350         log_bug("tdbio: nested transactions\n");
351     /* flush everything out */
352     rc = tdbio_sync();
353     if( rc )
354         return rc;
355     in_transaction = 1;
356     return 0;
357 }
358
359 int
360 tdbio_end_transaction()
361 {
362     int rc;
363
364     if( !in_transaction )
365         log_bug("tdbio: no active transaction\n");
366     if( !is_locked ) {
367         if( make_dotlock( lockhandle, -1 ) )
368             log_fatal("can't acquire lock - giving up\n");
369         else
370             is_locked = 1;
371     }
372     block_all_signals();
373     in_transaction = 0;
374     rc = tdbio_sync();
375     unblock_all_signals();
376     if( !opt.lock_once ) {
377         if( !release_dotlock( lockhandle ) )
378             is_locked = 0;
379     }
380     return rc;
381 }
382
383 int
384 tdbio_cancel_transaction()
385 {
386     CACHE_CTRL r;
387
388     if( !in_transaction )
389         log_bug("tdbio: no active transaction\n");
390
391     /* remove all dirty marked entries, so that the original ones
392      * are read back the next time */
393     if( cache_is_dirty ) {
394         for( r = cache_list; r; r = r->next ) {
395             if( r->flags.used && r->flags.dirty ) {
396                 r->flags.used = 0;
397                 cache_entries--;
398             }
399         }
400         cache_is_dirty = 0;
401     }
402
403     in_transaction = 0;
404     return 0;
405 }
406 #endif
407
408 \f
409 /********************************************************
410  **************** cached I/O functions ******************
411  ********************************************************/
412
413 static void
414 cleanup(void)
415 {
416     if( is_locked ) {
417         if( !release_dotlock(lockhandle) )
418             is_locked = 0;
419     }
420 }
421
422 /* Caller must sync */
423 int
424 tdbio_update_version_record (void)
425 {
426   TRUSTREC rec;
427   int rc;
428
429   memset( &rec, 0, sizeof rec );
430
431   rc=tdbio_read_record( 0, &rec, RECTYPE_VER);
432   if(rc==0)
433     {
434       rec.r.ver.created     = make_timestamp();
435       rec.r.ver.marginals   = opt.marginals_needed;
436       rec.r.ver.completes   = opt.completes_needed;
437       rec.r.ver.cert_depth  = opt.max_cert_depth;
438       rec.r.ver.trust_model = opt.trust_model;
439       rc=tdbio_write_record(&rec);
440     }
441
442   return rc;
443 }
444
445 static int
446 create_version_record (void)
447 {
448   TRUSTREC rec;
449   int rc;
450   
451   memset( &rec, 0, sizeof rec );
452   rec.r.ver.version     = 3;
453   rec.r.ver.created     = make_timestamp();
454   rec.r.ver.marginals   = opt.marginals_needed;
455   rec.r.ver.completes   = opt.completes_needed;
456   rec.r.ver.cert_depth  = opt.max_cert_depth;
457   if(opt.trust_model==TM_PGP || opt.trust_model==TM_CLASSIC)
458     rec.r.ver.trust_model = opt.trust_model;
459   else
460     rec.r.ver.trust_model = TM_PGP;
461   rec.rectype = RECTYPE_VER;
462   rec.recnum = 0;
463   rc = tdbio_write_record( &rec );
464   if( !rc )
465     tdbio_sync();
466   return rc;
467 }
468
469
470
471 int
472 tdbio_set_dbname( const char *new_dbname, int create )
473 {
474     char *fname;
475     static int initialized = 0;
476
477     if( !initialized ) {
478         atexit( cleanup );
479         initialized = 1;
480     }
481
482     if(new_dbname==NULL)
483       fname=make_filename(opt.homedir,"trustdb" EXTSEP_S "gpg", NULL);
484     else if (*new_dbname != DIRSEP_C )
485       {
486         if (strchr(new_dbname, DIRSEP_C) )
487           fname = make_filename (new_dbname, NULL);
488         else
489           fname = make_filename (opt.homedir, new_dbname, NULL);
490       }
491     else
492       fname = xstrdup (new_dbname);
493
494     if( access( fname, R_OK ) ) {
495         if( errno != ENOENT ) {
496             log_error( _("can't access `%s': %s\n"), fname, strerror(errno) );
497             xfree(fname);
498             return G10ERR_TRUSTDB;
499         }
500         if( create ) {
501             FILE *fp;
502             TRUSTREC rec;
503             int rc;
504             char *p = strrchr( fname, DIRSEP_C );
505             mode_t oldmask;
506
507             assert(p);
508             *p = 0;
509             if( access( fname, F_OK ) ) {
510                 try_make_homedir( fname );
511                 log_fatal( _("%s: directory does not exist!\n"), fname );
512             }
513             *p = DIRSEP_C;
514
515             xfree(db_name);
516             db_name = fname;
517 #ifdef __riscos__
518             if( !lockhandle )
519                 lockhandle = create_dotlock( db_name );
520             if( !lockhandle )
521                 log_fatal( _("can't create lock for `%s'\n"), db_name );
522             if( make_dotlock( lockhandle, -1 ) )
523                 log_fatal( _("can't lock `%s'\n"), db_name );
524 #endif /* __riscos__ */
525             oldmask=umask(077);
526             if (is_secured_filename (fname)) {
527                 fp = NULL;
528                 errno = EPERM;
529             }
530             else
531                 fp =fopen( fname, "wb" );
532             umask(oldmask);
533             if( !fp )
534                 log_fatal( _("can't create `%s': %s\n"), fname, strerror(errno) );
535             fclose(fp);
536             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
537             if( db_fd == -1 )
538                 log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
539
540 #ifndef __riscos__
541             if( !lockhandle )
542                 lockhandle = create_dotlock( db_name );
543             if( !lockhandle )
544                 log_fatal( _("can't create lock for `%s'\n"), db_name );
545 #endif /* !__riscos__ */
546
547             rc = create_version_record ();
548             if( rc )
549                 log_fatal( _("%s: failed to create version record: %s"),
550                                                    fname, g10_errstr(rc));
551             /* and read again to check that we are okay */
552             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
553                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
554
555             if( !opt.quiet )
556                 log_info(_("%s: trustdb created\n"), db_name);
557
558             return 0;
559         }
560     }
561     xfree(db_name);
562     db_name = fname;
563     return 0;
564 }
565
566
567 const char *
568 tdbio_get_dbname()
569 {
570     return db_name;
571 }
572
573
574
575 static void
576 open_db()
577 {
578   byte buf[10];
579   int n;
580   TRUSTREC rec;
581
582   assert( db_fd == -1 );
583
584   if (!lockhandle )
585     lockhandle = create_dotlock( db_name );
586   if (!lockhandle )
587     log_fatal( _("can't create lock for `%s'\n"), db_name );
588 #ifdef __riscos__
589   if (make_dotlock( lockhandle, -1 ) )
590     log_fatal( _("can't lock `%s'\n"), db_name );
591 #endif /* __riscos__ */
592   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
593   if (db_fd == -1 && (errno == EACCES
594 #ifdef EROFS
595                       || errno == EROFS)
596 #endif
597       ) {
598       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
599       if (db_fd != -1)
600           log_info (_("NOTE: trustdb not writable\n"));
601   }
602   if ( db_fd == -1 )
603     log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
604   register_secured_file (db_name);
605
606   /* check whether we need to do a version migration */
607   do
608     n = read (db_fd, buf, 5);
609   while (n==-1 && errno == EINTR);
610   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
611     {
612       migrate_from_v2 ();
613     }
614   
615   /* read the version record */
616   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
617     log_fatal( _("%s: invalid trustdb\n"), db_name );
618 }
619
620
621 /****************
622  * Make a hashtable: type 0 = trust hash
623  */
624 static void
625 create_hashtable( TRUSTREC *vr, int type )
626 {
627     TRUSTREC rec;
628     off_t offset;
629     ulong recnum;
630     int i, n, rc;
631
632     offset = lseek( db_fd, 0, SEEK_END );
633     if( offset == -1 )
634         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
635     recnum = offset / TRUST_RECORD_LEN;
636     assert(recnum); /* this is will never be the first record */
637
638     if( !type )
639         vr->r.ver.trusthashtbl = recnum;
640
641     /* Now write the records */
642     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
643     for(i=0; i < n; i++, recnum++ ) {
644          memset( &rec, 0, sizeof rec );
645          rec.rectype = RECTYPE_HTBL;
646          rec.recnum = recnum;
647          rc = tdbio_write_record( &rec );
648          if( rc )
649              log_fatal( _("%s: failed to create hashtable: %s\n"),
650                                         db_name, g10_errstr(rc));
651     }
652     /* update the version record */
653     rc = tdbio_write_record( vr );
654     if( !rc )
655         rc = tdbio_sync();
656     if( rc )
657         log_fatal( _("%s: error updating version record: %s\n"),
658                                                   db_name, g10_errstr(rc));
659 }
660
661
662 int
663 tdbio_db_matches_options()
664 {
665   static int yes_no = -1;
666
667   if( yes_no == -1 )
668     {
669       TRUSTREC vr;
670       int rc;
671
672       rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
673       if( rc )
674         log_fatal( _("%s: error reading version record: %s\n"),
675                    db_name, g10_errstr(rc) );
676
677       yes_no = vr.r.ver.marginals == opt.marginals_needed
678         && vr.r.ver.completes == opt.completes_needed
679         && vr.r.ver.cert_depth == opt.max_cert_depth
680         && vr.r.ver.trust_model == opt.trust_model;
681     }
682
683   return yes_no;
684 }
685
686 byte
687 tdbio_read_model(void)
688 {
689   TRUSTREC vr;
690   int rc;
691  
692   rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
693   if( rc )
694     log_fatal( _("%s: error reading version record: %s\n"),
695                db_name, g10_errstr(rc) );
696   return vr.r.ver.trust_model;
697 }
698
699 /****************
700  * Return the nextstamp value.
701  */
702 ulong
703 tdbio_read_nextcheck ()
704 {
705     TRUSTREC vr;
706     int rc;
707
708     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
709     if( rc )
710         log_fatal( _("%s: error reading version record: %s\n"),
711                                                     db_name, g10_errstr(rc) );
712     return vr.r.ver.nextcheck;
713 }
714
715 /* Return true when the stamp was actually changed. */
716 int
717 tdbio_write_nextcheck (ulong stamp)
718 {
719     TRUSTREC vr;
720     int rc;
721
722     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
723     if( rc )
724         log_fatal( _("%s: error reading version record: %s\n"),
725                                        db_name, g10_errstr(rc) );
726
727     if (vr.r.ver.nextcheck == stamp)
728       return 0;
729
730     vr.r.ver.nextcheck = stamp;
731     rc = tdbio_write_record( &vr );
732     if( rc )
733         log_fatal( _("%s: error writing version record: %s\n"),
734                                        db_name, g10_errstr(rc) );
735     return 1;
736 }
737
738
739
740 /****************
741  * Return the record number of the trusthash tbl or create a new one.
742  */
743 static ulong
744 get_trusthashrec(void)
745 {
746     static ulong trusthashtbl; /* record number of the trust hashtable */
747
748     if( !trusthashtbl ) {
749         TRUSTREC vr;
750         int rc;
751
752         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
753         if( rc )
754             log_fatal( _("%s: error reading version record: %s\n"),
755                                             db_name, g10_errstr(rc) );
756         if( !vr.r.ver.trusthashtbl )
757             create_hashtable( &vr, 0 );
758
759         trusthashtbl = vr.r.ver.trusthashtbl;
760     }
761     return trusthashtbl;
762 }
763
764
765
766 /****************
767  * Update a hashtable.
768  * table gives the start of the table, key and keylen is the key,
769  * newrecnum is the record number to insert.
770  */
771 static int
772 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
773 {
774     TRUSTREC lastrec, rec;
775     ulong hashrec, item;
776     int msb;
777     int level=0;
778     int rc, i;
779
780     hashrec = table;
781   next_level:
782     msb = key[level];
783     hashrec += msb / ITEMS_PER_HTBL_RECORD;
784     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
785     if( rc ) {
786         log_error("upd_hashtable: read failed: %s\n",   g10_errstr(rc) );
787         return rc;
788     }
789
790     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
791     if( !item ) { /* insert a new item into the hash table */
792         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
793         rc = tdbio_write_record( &rec );
794         if( rc ) {
795             log_error("upd_hashtable: write htbl failed: %s\n",
796                                                             g10_errstr(rc) );
797             return rc;
798         }
799     }
800     else if( item != newrecnum ) {  /* must do an update */
801         lastrec = rec;
802         rc = tdbio_read_record( item, &rec, 0 );
803         if( rc ) {
804             log_error( "upd_hashtable: read item failed: %s\n",
805                                                             g10_errstr(rc) );
806             return rc;
807         }
808
809         if( rec.rectype == RECTYPE_HTBL ) {
810             hashrec = item;
811             level++;
812             if( level >= keylen ) {
813                 log_error( "hashtable has invalid indirections.\n");
814                 return G10ERR_TRUSTDB;
815             }
816             goto next_level;
817         }
818         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
819             /* see whether the key is already in this list */
820             for(;;) {
821                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
822                     if( rec.r.hlst.rnum[i] == newrecnum ) {
823                         return 0; /* okay, already in the list */
824                     }
825                 }
826                 if( rec.r.hlst.next ) {
827                     rc = tdbio_read_record( rec.r.hlst.next,
828                                                        &rec, RECTYPE_HLST);
829                     if( rc ) {
830                         log_error( "upd_hashtable: read hlst failed: %s\n",
831                                                              g10_errstr(rc) );
832                         return rc;
833                     }
834                 }
835                 else
836                     break; /* not there */
837             }
838             /* find the next free entry and put it in */
839             for(;;) {
840                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
841                     if( !rec.r.hlst.rnum[i] ) {
842                         rec.r.hlst.rnum[i] = newrecnum;
843                         rc = tdbio_write_record( &rec );
844                         if( rc )
845                             log_error( "upd_hashtable: write hlst failed: %s\n",
846                                                               g10_errstr(rc) );
847                         return rc; /* done */
848                     }
849                 }
850                 if( rec.r.hlst.next ) {
851                     rc = tdbio_read_record( rec.r.hlst.next,
852                                                       &rec, RECTYPE_HLST );
853                     if( rc ) {
854                         log_error( "upd_hashtable: read hlst failed: %s\n",
855                                                              g10_errstr(rc) );
856                         return rc;
857                     }
858                 }
859                 else { /* add a new list record */
860                     rec.r.hlst.next = item = tdbio_new_recnum();
861                     rc = tdbio_write_record( &rec );
862                     if( rc ) {
863                         log_error( "upd_hashtable: write hlst failed: %s\n",
864                                                           g10_errstr(rc) );
865                         return rc;
866                     }
867                     memset( &rec, 0, sizeof rec );
868                     rec.rectype = RECTYPE_HLST;
869                     rec.recnum = item;
870                     rec.r.hlst.rnum[0] = newrecnum;
871                     rc = tdbio_write_record( &rec );
872                     if( rc )
873                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
874                                                           g10_errstr(rc) );
875                     return rc; /* done */
876                 }
877             } /* end loop over hlst slots */
878         }
879         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
880             if( rec.recnum == newrecnum ) {
881                 return 0;
882             }
883             item = rec.recnum; /* save number of key record */
884             memset( &rec, 0, sizeof rec );
885             rec.rectype = RECTYPE_HLST;
886             rec.recnum = tdbio_new_recnum();
887             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
888             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
889             rc = tdbio_write_record( &rec );
890             if( rc ) {
891                 log_error( "upd_hashtable: write new hlst failed: %s\n",
892                                                   g10_errstr(rc) );
893                 return rc;
894             }
895             /* update the hashtable record */
896             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
897             rc = tdbio_write_record( &lastrec );
898             if( rc )
899                 log_error( "upd_hashtable: update htbl failed: %s\n",
900                                                              g10_errstr(rc) );
901             return rc; /* ready */
902         }
903         else {
904             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
905                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
906             list_trustdb(NULL);
907             return G10ERR_TRUSTDB;
908         }
909     }
910
911     return 0;
912 }
913
914
915 /****************
916  * Drop an entry from a hashtable
917  * table gives the start of the table, key and keylen is the key,
918  */
919 static int
920 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
921 {
922     TRUSTREC rec;
923     ulong hashrec, item;
924     int msb;
925     int level=0;
926     int rc, i;
927
928     hashrec = table;
929   next_level:
930     msb = key[level];
931     hashrec += msb / ITEMS_PER_HTBL_RECORD;
932     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
933     if( rc ) {
934         log_error("drop_from_hashtable: read failed: %s\n",
935                                                         g10_errstr(rc) );
936         return rc;
937     }
938
939     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
940     if( !item )  /* not found - forget about it  */
941         return 0;
942
943     if( item == recnum ) {  /* tables points direct to the record */
944         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
945         rc = tdbio_write_record( &rec );
946         if( rc )
947             log_error("drop_from_hashtable: write htbl failed: %s\n",
948                                                             g10_errstr(rc) );
949         return rc;
950     }
951
952     rc = tdbio_read_record( item, &rec, 0 );
953     if( rc ) {
954         log_error( "drop_from_hashtable: read item failed: %s\n",
955                                                         g10_errstr(rc) );
956         return rc;
957     }
958
959     if( rec.rectype == RECTYPE_HTBL ) {
960         hashrec = item;
961         level++;
962         if( level >= keylen ) {
963             log_error( "hashtable has invalid indirections.\n");
964             return G10ERR_TRUSTDB;
965         }
966         goto next_level;
967     }
968
969     if( rec.rectype == RECTYPE_HLST ) {
970         for(;;) {
971             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
972                 if( rec.r.hlst.rnum[i] == recnum ) {
973                     rec.r.hlst.rnum[i] = 0; /* drop */
974                     rc = tdbio_write_record( &rec );
975                     if( rc )
976                         log_error("drop_from_hashtable: write htbl failed: %s\n",
977                                                                         g10_errstr(rc) );
978                     return rc;
979                 }
980             }
981             if( rec.r.hlst.next ) {
982                 rc = tdbio_read_record( rec.r.hlst.next,
983                                                    &rec, RECTYPE_HLST);
984                 if( rc ) {
985                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
986                                                          g10_errstr(rc) );
987                     return rc;
988                 }
989             }
990             else
991                 return 0; /* key not in table */
992         }
993     }
994
995     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
996                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
997     return G10ERR_TRUSTDB;
998 }
999
1000
1001
1002 /****************
1003  * Lookup a record via the hashtable tablewith key/keylen and return the
1004  * result in rec.  cmp() should return if the record is the desired one.
1005  * Returns -1 if not found, 0 if found or another errocode
1006  */
1007 static int
1008 lookup_hashtable( ulong table, const byte *key, size_t keylen,
1009                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
1010                                                 TRUSTREC *rec )
1011 {
1012     int rc;
1013     ulong hashrec, item;
1014     int msb;
1015     int level=0;
1016
1017     hashrec = table;
1018   next_level:
1019     msb = key[level];
1020     hashrec += msb / ITEMS_PER_HTBL_RECORD;
1021     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
1022     if( rc ) {
1023         log_error("lookup_hashtable failed: %s\n", g10_errstr(rc) );
1024         return rc;
1025     }
1026
1027     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
1028     if( !item )
1029         return -1; /* not found */
1030
1031     rc = tdbio_read_record( item, rec, 0 );
1032     if( rc ) {
1033         log_error( "hashtable read failed: %s\n", g10_errstr(rc) );
1034         return rc;
1035     }
1036     if( rec->rectype == RECTYPE_HTBL ) {
1037         hashrec = item;
1038         level++;
1039         if( level >= keylen ) {
1040             log_error("hashtable has invalid indirections\n");
1041             return G10ERR_TRUSTDB;
1042         }
1043         goto next_level;
1044     }
1045     else if( rec->rectype == RECTYPE_HLST ) {
1046         for(;;) {
1047             int i;
1048
1049             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1050                 if( rec->r.hlst.rnum[i] ) {
1051                     TRUSTREC tmp;
1052
1053                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1054                     if( rc ) {
1055                         log_error( "lookup_hashtable: read item failed: %s\n",
1056                                                               g10_errstr(rc) );
1057                         return rc;
1058                     }
1059                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1060                         *rec = tmp;
1061                         return 0;
1062                     }
1063                 }
1064             }
1065             if( rec->r.hlst.next ) {
1066                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1067                 if( rc ) {
1068                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1069                                                          g10_errstr(rc) );
1070                     return rc;
1071                 }
1072             }
1073             else
1074                 return -1; /* not found */
1075         }
1076     }
1077
1078
1079     if( (*cmpfnc)( cmpdata, rec ) )
1080         return 0; /* really found */
1081
1082     return -1; /* no: not found */
1083 }
1084
1085
1086 /****************
1087  * Update the trust hashtbl or create the table if it does not exist
1088  */
1089 static int
1090 update_trusthashtbl( TRUSTREC *tr )
1091 {
1092     return upd_hashtable( get_trusthashrec(),
1093                           tr->r.trust.fingerprint, 20, tr->recnum );
1094 }
1095
1096
1097
1098 void
1099 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1100 {
1101     int i;
1102     ulong rnum = rec->recnum;
1103
1104     fprintf(fp, "rec %5lu, ", rnum );
1105
1106     switch( rec->rectype ) {
1107       case 0: fprintf(fp, "blank\n");
1108         break;
1109       case RECTYPE_VER: fprintf(fp,
1110             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d tm=%d nc=%lu (%s)\n",
1111                                    rec->r.ver.trusthashtbl,
1112                                    rec->r.ver.firstfree,
1113                                    rec->r.ver.marginals,
1114                                    rec->r.ver.completes,
1115                                    rec->r.ver.cert_depth,
1116                                    rec->r.ver.trust_model,
1117                                    rec->r.ver.nextcheck,
1118                                    strtimestamp(rec->r.ver.nextcheck)
1119                                  );
1120         break;
1121       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1122         break;
1123       case RECTYPE_HTBL:
1124         fprintf(fp, "htbl,");
1125         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1126             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1127         putc('\n', fp);
1128         break;
1129       case RECTYPE_HLST:
1130         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1131         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1132             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1133         putc('\n', fp);
1134         break;
1135       case RECTYPE_TRUST:
1136         fprintf(fp, "trust ");
1137         for(i=0; i < 20; i++ )
1138             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1139         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1140                  rec->r.trust.depth, rec->r.trust.validlist);
1141         break;
1142       case RECTYPE_VALID:
1143         fprintf(fp, "valid ");
1144         for(i=0; i < 20; i++ )
1145             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1146         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1147                  rec->r.valid.next);
1148         break;
1149       default:
1150         fprintf(fp, "unknown type %d\n", rec->rectype );
1151         break;
1152     }
1153 }
1154
1155 /****************
1156  * read the record with number recnum
1157  * returns: -1 on error, 0 on success
1158  */
1159 int
1160 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1161 {
1162     byte readbuf[TRUST_RECORD_LEN];
1163     const byte *buf, *p;
1164     int rc = 0;
1165     int n, i;
1166
1167     if( db_fd == -1 )
1168         open_db();
1169     buf = get_record_from_cache( recnum );
1170     if( !buf ) {
1171         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1172             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1173             return G10ERR_READ_FILE;
1174         }
1175         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1176         if( !n ) {
1177             return -1; /* eof */
1178         }
1179         else if( n != TRUST_RECORD_LEN ) {
1180             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1181                                                         strerror(errno) );
1182             return G10ERR_READ_FILE;
1183         }
1184         buf = readbuf;
1185     }
1186     rec->recnum = recnum;
1187     rec->dirty = 0;
1188     p = buf;
1189     rec->rectype = *p++;
1190     if( expected && rec->rectype != expected ) {
1191         log_error("%lu: read expected rec type %d, got %d\n",
1192                     recnum, expected, rec->rectype );
1193         return G10ERR_TRUSTDB;
1194     }
1195     p++;    /* skip reserved byte */
1196     switch( rec->rectype ) {
1197       case 0:  /* unused (free) record */
1198         break;
1199       case RECTYPE_VER: /* version record */
1200         if( memcmp(buf+1, "gpg", 3 ) ) {
1201             log_error( _("%s: not a trustdb file\n"), db_name );
1202             rc = G10ERR_TRUSTDB;
1203         }
1204         p += 2; /* skip "gpg" */
1205         rec->r.ver.version  = *p++;
1206         rec->r.ver.marginals = *p++;
1207         rec->r.ver.completes = *p++;
1208         rec->r.ver.cert_depth = *p++;
1209         rec->r.ver.trust_model = *p++;
1210         p += 3;
1211         rec->r.ver.created  = buftoulong(p); p += 4;
1212         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1213         p += 4;
1214         p += 4;
1215         rec->r.ver.firstfree =buftoulong(p); p += 4;
1216         p += 4;
1217         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1218         if( recnum ) {
1219             log_error( _("%s: version record with recnum %lu\n"), db_name,
1220                                                              (ulong)recnum );
1221             rc = G10ERR_TRUSTDB;
1222         }
1223         else if( rec->r.ver.version != 3 ) {
1224             log_error( _("%s: invalid file version %d\n"), db_name,
1225                                                         rec->r.ver.version );
1226             rc = G10ERR_TRUSTDB;
1227         }
1228         break;
1229       case RECTYPE_FREE:
1230         rec->r.free.next  = buftoulong(p); p += 4;
1231         break;
1232       case RECTYPE_HTBL:
1233         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1234             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1235         }
1236         break;
1237       case RECTYPE_HLST:
1238         rec->r.hlst.next = buftoulong(p); p += 4;
1239         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1240             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1241         }
1242         break;
1243       case RECTYPE_TRUST:
1244         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1245         rec->r.trust.ownertrust = *p++;
1246         rec->r.trust.depth = *p++;
1247         rec->r.trust.min_ownertrust = *p++;
1248         p++;
1249         rec->r.trust.validlist = buftoulong(p); p += 4;
1250         break;
1251       case RECTYPE_VALID:
1252         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1253         rec->r.valid.validity = *p++;
1254         rec->r.valid.next = buftoulong(p); p += 4;
1255         rec->r.valid.full_count = *p++;
1256         rec->r.valid.marginal_count = *p++;
1257         break;
1258       default:
1259         log_error( "%s: invalid record type %d at recnum %lu\n",
1260                                    db_name, rec->rectype, (ulong)recnum );
1261         rc = G10ERR_TRUSTDB;
1262         break;
1263     }
1264
1265     return rc;
1266 }
1267
1268 /****************
1269  * Write the record at RECNUM
1270  */
1271 int
1272 tdbio_write_record( TRUSTREC *rec )
1273 {
1274     byte buf[TRUST_RECORD_LEN], *p;
1275     int rc = 0;
1276     int i;
1277     ulong recnum = rec->recnum;
1278
1279     if( db_fd == -1 )
1280         open_db();
1281
1282     memset(buf, 0, TRUST_RECORD_LEN);
1283     p = buf;
1284     *p++ = rec->rectype; p++;
1285     switch( rec->rectype ) {
1286       case 0:  /* unused record */
1287         break;
1288       case RECTYPE_VER: /* version record */
1289         if( recnum )
1290             BUG();
1291         memcpy(p-1, "gpg", 3 ); p += 2;
1292         *p++ = rec->r.ver.version;
1293         *p++ = rec->r.ver.marginals;
1294         *p++ = rec->r.ver.completes;
1295         *p++ = rec->r.ver.cert_depth;
1296         *p++ = rec->r.ver.trust_model;
1297         p += 3;
1298         ulongtobuf(p, rec->r.ver.created); p += 4;
1299         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1300         p += 4;
1301         p += 4;
1302         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1303         p += 4;
1304         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1305         break;
1306
1307       case RECTYPE_FREE:
1308         ulongtobuf(p, rec->r.free.next); p += 4;
1309         break;
1310
1311
1312       case RECTYPE_HTBL:
1313         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1314             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1315         }
1316         break;
1317
1318       case RECTYPE_HLST:
1319         ulongtobuf( p, rec->r.hlst.next); p += 4;
1320         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1321             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1322         }
1323         break;
1324
1325       case RECTYPE_TRUST:
1326         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1327         *p++ = rec->r.trust.ownertrust;
1328         *p++ = rec->r.trust.depth;
1329         *p++ = rec->r.trust.min_ownertrust;
1330         p++;
1331         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1332         break;
1333
1334       case RECTYPE_VALID:
1335         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1336         *p++ = rec->r.valid.validity;
1337         ulongtobuf( p, rec->r.valid.next); p += 4;
1338         *p++ = rec->r.valid.full_count;
1339         *p++ = rec->r.valid.marginal_count;
1340         break;
1341
1342       default:
1343         BUG();
1344     }
1345
1346     rc = put_record_into_cache( recnum, buf );
1347     if( rc )
1348         ;
1349     else if( rec->rectype == RECTYPE_TRUST )
1350         rc = update_trusthashtbl( rec );
1351
1352     return rc;
1353 }
1354
1355 int
1356 tdbio_delete_record( ulong recnum )
1357 {
1358     TRUSTREC vr, rec;
1359     int rc;
1360
1361     /* Must read the record fist, so we can drop it from the hash tables */
1362     rc = tdbio_read_record( recnum, &rec, 0 );
1363     if( rc )
1364         ;
1365     else if( rec.rectype == RECTYPE_TRUST ) {
1366          rc = drop_from_hashtable( get_trusthashrec(),
1367                                    rec.r.trust.fingerprint, 20, rec.recnum );
1368     }
1369
1370     if( rc )
1371         return rc;
1372
1373     /* now we can chnage it to a free record */
1374     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1375     if( rc )
1376         log_fatal( _("%s: error reading version record: %s\n"),
1377                                        db_name, g10_errstr(rc) );
1378
1379     rec.recnum = recnum;
1380     rec.rectype = RECTYPE_FREE;
1381     rec.r.free.next = vr.r.ver.firstfree;
1382     vr.r.ver.firstfree = recnum;
1383     rc = tdbio_write_record( &rec );
1384     if( !rc )
1385         rc = tdbio_write_record( &vr );
1386     return rc;
1387 }
1388
1389 /****************
1390  * create a new record and return its record number
1391  */
1392 ulong
1393 tdbio_new_recnum()
1394 {
1395     off_t offset;
1396     ulong recnum;
1397     TRUSTREC vr, rec;
1398     int rc;
1399
1400     /* look for unused records */
1401     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1402     if( rc )
1403         log_fatal( _("%s: error reading version record: %s\n"),
1404                                              db_name, g10_errstr(rc) );
1405     if( vr.r.ver.firstfree ) {
1406         recnum = vr.r.ver.firstfree;
1407         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1408         if( rc ) {
1409             log_error( _("%s: error reading free record: %s\n"),
1410                                                   db_name,  g10_errstr(rc) );
1411             return rc;
1412         }
1413         /* update dir record */
1414         vr.r.ver.firstfree = rec.r.free.next;
1415         rc = tdbio_write_record( &vr );
1416         if( rc ) {
1417             log_error( _("%s: error writing dir record: %s\n"),
1418                                                      db_name, g10_errstr(rc) );
1419             return rc;
1420         }
1421         /*zero out the new record */
1422         memset( &rec, 0, sizeof rec );
1423         rec.rectype = 0; /* unused record */
1424         rec.recnum = recnum;
1425         rc = tdbio_write_record( &rec );
1426         if( rc )
1427             log_fatal(_("%s: failed to zero a record: %s\n"),
1428                                        db_name, g10_errstr(rc));
1429     }
1430     else { /* not found, append a new record */
1431         offset = lseek( db_fd, 0, SEEK_END );
1432         if( offset == -1 )
1433             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1434         recnum = offset / TRUST_RECORD_LEN;
1435         assert(recnum); /* this is will never be the first record */
1436         /* we must write a record, so that the next call to this function
1437          * returns another recnum */
1438         memset( &rec, 0, sizeof rec );
1439         rec.rectype = 0; /* unused record */
1440         rec.recnum = recnum;
1441         rc = 0;
1442         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1443             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1444                                                 recnum, strerror(errno) );
1445             rc = G10ERR_WRITE_FILE;
1446         }
1447         else {
1448             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1449             if( n != TRUST_RECORD_LEN ) {
1450                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1451                                                  recnum, n, strerror(errno) );
1452                 rc = G10ERR_WRITE_FILE;
1453             }
1454         }
1455
1456         if( rc )
1457             log_fatal(_("%s: failed to append a record: %s\n"),
1458                                     db_name,    g10_errstr(rc));
1459     }
1460     return recnum ;
1461 }
1462
1463
1464
1465 static int
1466 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1467 {
1468     return rec->rectype == RECTYPE_TRUST
1469            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1470 }
1471
1472
1473 int
1474 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1475 {
1476     int rc;
1477
1478     /* locate the trust record using the hash table */
1479     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1480                            cmp_trec_fpr, (void*)fingerprint, rec );
1481     return rc;
1482 }
1483
1484 int
1485 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1486 {
1487     byte fingerprint[MAX_FINGERPRINT_LEN];
1488     size_t fingerlen;
1489
1490     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1491     for (; fingerlen < 20; fingerlen++ )
1492       fingerprint[fingerlen] = 0;
1493     return tdbio_search_trust_byfpr (fingerprint, rec);
1494 }
1495
1496
1497
1498 void
1499 tdbio_invalid(void)
1500 {
1501     log_error(_(
1502         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1503     g10_exit(2);
1504 }
1505
1506 /*
1507  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1508  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1509  * only to scan the tdb and insert new the new trust records.  The old ones are
1510  * obsolte from now on
1511  */
1512 static void
1513 migrate_from_v2 ()
1514 {
1515   TRUSTREC rec;
1516   int i, n;
1517   struct {
1518     ulong keyrecno;
1519     byte  ot;
1520     byte okay;
1521     byte  fpr[20];
1522   } *ottable;
1523   int ottable_size, ottable_used;
1524   byte oldbuf[40];
1525   ulong recno;
1526   int rc, count;
1527
1528   ottable_size = 5;
1529   ottable = xmalloc (ottable_size * sizeof *ottable);
1530   ottable_used = 0;
1531
1532   /* We have some restrictions here.  We can't use the version record
1533    * and we can't use any of the old hashtables because we dropped the
1534    * code.  So we first collect all ownertrusts and then use a second
1535    * pass fo find the associated keys.  We have to do this all without using 
1536    * the regular record read functions.
1537    */
1538
1539   /* get all the ownertrusts */
1540   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1541       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1542   for (recno=0;;recno++)
1543     {
1544       do
1545         n = read (db_fd, oldbuf, 40);
1546       while (n==-1 && errno == EINTR);
1547       if (!n)
1548         break; /* eof */
1549       if (n != 40)
1550         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1551
1552       if (*oldbuf != 2)
1553         continue;
1554       
1555       /* v2 dir record */
1556       if (ottable_used == ottable_size)
1557         {
1558           ottable_size += 1000;
1559           ottable = xrealloc (ottable, ottable_size * sizeof *ottable);
1560         }
1561       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1562       ottable[ottable_used].ot = oldbuf[18];
1563       ottable[ottable_used].okay = 0;
1564       memset (ottable[ottable_used].fpr,0, 20);
1565       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1566         ottable_used++;
1567     }
1568   log_info ("found %d ownertrust records\n", ottable_used);
1569
1570   /* Read again and find the fingerprints */
1571   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1572       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1573   for (recno=0;;recno++)
1574     {
1575       do
1576         n = read (db_fd, oldbuf, 40);
1577       while (n==-1 && errno == EINTR);
1578       if (!n)
1579         break; /* eof */
1580       if (n != 40)
1581         log_fatal ("migrate_from_v2: read error or short read\n");
1582
1583       if (*oldbuf != 3) 
1584         continue;
1585
1586       /* v2 key record */
1587       for (i=0; i < ottable_used; i++)
1588         {
1589           if (ottable[i].keyrecno == recno)
1590             {
1591               memcpy (ottable[i].fpr, oldbuf+20, 20);
1592               ottable[i].okay = 1;
1593               break;
1594             }
1595         }
1596     }
1597
1598   /* got everything - create the v3 trustdb */
1599   if (ftruncate (db_fd, 0))
1600     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1601   if (create_version_record ())
1602     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1603
1604   /* access the hash table, so it is store just after the version record, 
1605    * this is not needed put a dump is more pretty */
1606   get_trusthashrec ();
1607
1608   /* And insert the old ownertrust values */
1609   count = 0;
1610   for (i=0; i < ottable_used; i++)
1611     {
1612       if (!ottable[i].okay)
1613         continue;
1614       
1615       memset (&rec, 0, sizeof rec);
1616       rec.recnum = tdbio_new_recnum ();
1617       rec.rectype = RECTYPE_TRUST;
1618       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1619       rec.r.trust.ownertrust = ottable[i].ot;
1620       if (tdbio_write_record (&rec))
1621         log_fatal ("failed to write trust record of `%s'\n", db_name);
1622       count++;
1623     }
1624
1625   revalidation_mark ();
1626   rc = tdbio_sync ();
1627   if (rc)
1628     log_fatal ("failed to sync `%s'\n", db_name);
1629   log_info ("migrated %d version 2 ownertrusts\n", count);
1630   xfree (ottable);
1631 }