Updated FSF street address and preparations for a release candidate.
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301,
19  * USA.
20  */
21
22 #include <config.h>
23 #include <stdio.h>
24 #include <stdlib.h>
25 #include <string.h>
26 #include <errno.h>
27 #include <assert.h>
28 #include <sys/types.h>
29 #include <sys/stat.h>
30 #include <fcntl.h>
31 #include <unistd.h>
32
33 #include "errors.h"
34 #include "iobuf.h"
35 #include "memory.h"
36 #include "util.h"
37 #include "options.h"
38 #include "main.h"
39 #include "i18n.h"
40 #include "trustdb.h"
41 #include "tdbio.h"
42
43 #if defined(HAVE_DOSISH_SYSTEM)
44 #define ftruncate chsize
45 #endif
46
47 #if defined(HAVE_DOSISH_SYSTEM) || defined(__CYGWIN__)
48 #define MY_O_BINARY  O_BINARY
49 #else
50 #define MY_O_BINARY  0
51 #endif
52
53
54 /****************
55  * Yes, this is a very simple implementation. We should really
56  * use a page aligned buffer and read complete pages.
57  * To implement a simple trannsaction system, this is sufficient.
58  */
59 typedef struct cache_ctrl_struct *CACHE_CTRL;
60 struct cache_ctrl_struct {
61     CACHE_CTRL next;
62     struct {
63         unsigned used:1;
64         unsigned dirty:1;
65     } flags;
66     ulong recno;
67     char data[TRUST_RECORD_LEN];
68 };
69
70 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
71 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
72 static CACHE_CTRL cache_list;
73 static int cache_entries;
74 static int cache_is_dirty;
75
76 /* a type used to pass infomation to cmp_krec_fpr */
77 struct cmp_krec_fpr_struct {
78     int pubkey_algo;
79     const char *fpr;
80     int fprlen;
81 };
82
83 /* a type used to pass infomation to cmp_[s]dir */
84 struct cmp_xdir_struct {
85     int pubkey_algo;
86     u32 keyid[2];
87 };
88
89
90 static char *db_name;
91 static DOTLOCK lockhandle;
92 static int is_locked;
93 static int  db_fd = -1;
94 static int in_transaction;
95
96 static void open_db(void);
97 static void migrate_from_v2 (void);
98
99
100 \f
101 /*************************************
102  ************* record cache **********
103  *************************************/
104
105 /****************
106  * Get the data from therecord cache and return a
107  * pointer into that cache.  Caller should copy
108  * the return data.  NULL is returned on a cache miss.
109  */
110 static const char *
111 get_record_from_cache( ulong recno )
112 {
113     CACHE_CTRL r;
114
115     for( r = cache_list; r; r = r->next ) {
116         if( r->flags.used && r->recno == recno )
117             return r->data;
118     }
119     return NULL;
120 }
121
122
123 static int
124 write_cache_item( CACHE_CTRL r )
125 {
126     int n;
127
128     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
129         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
130                                             r->recno, strerror(errno) );
131         return G10ERR_WRITE_FILE;
132     }
133     n = write( db_fd, r->data, TRUST_RECORD_LEN);
134     if( n != TRUST_RECORD_LEN ) {
135         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
136                                             r->recno, n, strerror(errno) );
137         return G10ERR_WRITE_FILE;
138     }
139     r->flags.dirty = 0;
140     return 0;
141 }
142
143 /****************
144  * Put data into the cache.  This function may flush the
145  * some cache entries if there is not enough space available.
146  */
147 int
148 put_record_into_cache( ulong recno, const char *data )
149 {
150     CACHE_CTRL r, unused;
151     int dirty_count = 0;
152     int clean_count = 0;
153
154     /* see whether we already cached this one */
155     for( unused = NULL, r = cache_list; r; r = r->next ) {
156         if( !r->flags.used ) {
157             if( !unused )
158                 unused = r;
159         }
160         else if( r->recno == recno ) {
161             if( !r->flags.dirty ) {
162                 /* Hmmm: should we use a a copy and compare? */
163                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
164                     r->flags.dirty = 1;
165                     cache_is_dirty = 1;
166                 }
167             }
168             memcpy( r->data, data, TRUST_RECORD_LEN );
169             return 0;
170         }
171         if( r->flags.used ) {
172             if( r->flags.dirty )
173                 dirty_count++;
174             else
175                 clean_count++;
176         }
177     }
178     /* not in the cache: add a new entry */
179     if( unused ) { /* reuse this entry */
180         r = unused;
181         r->flags.used = 1;
182         r->recno = recno;
183         memcpy( r->data, data, TRUST_RECORD_LEN );
184         r->flags.dirty = 1;
185         cache_is_dirty = 1;
186         cache_entries++;
187         return 0;
188     }
189     /* see whether we reached the limit */
190     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
191         r = m_alloc( sizeof *r );
192         r->flags.used = 1;
193         r->recno = recno;
194         memcpy( r->data, data, TRUST_RECORD_LEN );
195         r->flags.dirty = 1;
196         r->next = cache_list;
197         cache_list = r;
198         cache_is_dirty = 1;
199         cache_entries++;
200         return 0;
201     }
202     /* cache is full: discard some clean entries */
203     if( clean_count ) {
204         int n = clean_count / 3; /* discard a third of the clean entries */
205         if( !n )
206             n = 1;
207         for( unused = NULL, r = cache_list; r; r = r->next ) {
208             if( r->flags.used && !r->flags.dirty ) {
209                 if( !unused )
210                     unused = r;
211                 r->flags.used = 0;
212                 cache_entries--;
213                 if( !--n )
214                     break;
215             }
216         }
217         assert( unused );
218         r = unused;
219         r->flags.used = 1;
220         r->recno = recno;
221         memcpy( r->data, data, TRUST_RECORD_LEN );
222         r->flags.dirty = 1;
223         cache_is_dirty = 1;
224         cache_entries++;
225         return 0;
226     }
227     /* no clean entries: have to flush some dirty entries */
228     if( in_transaction ) {
229         /* but we can't do this while in a transaction
230          * we increase the cache size instead */
231         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
232             if( opt.debug && !(cache_entries % 100) )
233                 log_debug("increasing tdbio cache size\n");
234             r = m_alloc( sizeof *r );
235             r->flags.used = 1;
236             r->recno = recno;
237             memcpy( r->data, data, TRUST_RECORD_LEN );
238             r->flags.dirty = 1;
239             r->next = cache_list;
240             cache_list = r;
241             cache_is_dirty = 1;
242             cache_entries++;
243             return 0;
244         }
245         log_info(_("trustdb transaction too large\n"));
246         return G10ERR_RESOURCE_LIMIT;
247     }
248     if( dirty_count ) {
249         int n = dirty_count / 5; /* discard some dirty entries */
250         if( !n )
251             n = 1;
252         if( !is_locked ) {
253             if( make_dotlock( lockhandle, -1 ) )
254                 log_fatal("can't acquire lock - giving up\n");
255             else
256                 is_locked = 1;
257         }
258         for( unused = NULL, r = cache_list; r; r = r->next ) {
259             if( r->flags.used && r->flags.dirty ) {
260                 int rc = write_cache_item( r );
261                 if( rc )
262                     return rc;
263                 if( !unused )
264                     unused = r;
265                 r->flags.used = 0;
266                 cache_entries--;
267                 if( !--n )
268                     break;
269             }
270         }
271         if( !opt.lock_once ) {
272             if( !release_dotlock( lockhandle ) )
273                 is_locked = 0;
274         }
275         assert( unused );
276         r = unused;
277         r->flags.used = 1;
278         r->recno = recno;
279         memcpy( r->data, data, TRUST_RECORD_LEN );
280         r->flags.dirty = 1;
281         cache_is_dirty = 1;
282         cache_entries++;
283         return 0;
284     }
285     BUG();
286 }
287
288
289 int
290 tdbio_is_dirty()
291 {
292     return cache_is_dirty;
293 }
294
295
296 /****************
297  * Flush the cache.  This cannot be used while in a transaction.
298  */
299 int
300 tdbio_sync()
301 {
302     CACHE_CTRL r;
303     int did_lock = 0;
304
305     if( db_fd == -1 )
306         open_db();
307     if( in_transaction )
308         log_bug("tdbio: syncing while in transaction\n");
309
310     if( !cache_is_dirty )
311         return 0;
312
313     if( !is_locked ) {
314         if( make_dotlock( lockhandle, -1 ) )
315             log_fatal("can't acquire lock - giving up\n");
316         else
317             is_locked = 1;
318         did_lock = 1;
319     }
320     for( r = cache_list; r; r = r->next ) {
321         if( r->flags.used && r->flags.dirty ) {
322             int rc = write_cache_item( r );
323             if( rc )
324                 return rc;
325         }
326     }
327     cache_is_dirty = 0;
328     if( did_lock && !opt.lock_once ) {
329         if( !release_dotlock( lockhandle ) )
330             is_locked = 0;
331     }
332
333     return 0;
334 }
335
336 #if 0
337 /* The transaction code is disabled in the 1.2.x branch, as it is not
338    yet used.  It will be enabled in 1.3.x. */
339
340 /****************
341  * Simple transactions system:
342  * Everything between begin_transaction and end/cancel_transaction
343  * is not immediatly written but at the time of end_transaction.
344  *
345  */
346 int
347 tdbio_begin_transaction()
348 {
349     int rc;
350
351     if( in_transaction )
352         log_bug("tdbio: nested transactions\n");
353     /* flush everything out */
354     rc = tdbio_sync();
355     if( rc )
356         return rc;
357     in_transaction = 1;
358     return 0;
359 }
360
361 int
362 tdbio_end_transaction()
363 {
364     int rc;
365
366     if( !in_transaction )
367         log_bug("tdbio: no active transaction\n");
368     if( !is_locked ) {
369         if( make_dotlock( lockhandle, -1 ) )
370             log_fatal("can't acquire lock - giving up\n");
371         else
372             is_locked = 1;
373     }
374     block_all_signals();
375     in_transaction = 0;
376     rc = tdbio_sync();
377     unblock_all_signals();
378     if( !opt.lock_once ) {
379         if( !release_dotlock( lockhandle ) )
380             is_locked = 0;
381     }
382     return rc;
383 }
384
385 int
386 tdbio_cancel_transaction()
387 {
388     CACHE_CTRL r;
389
390     if( !in_transaction )
391         log_bug("tdbio: no active transaction\n");
392
393     /* remove all dirty marked entries, so that the original ones
394      * are read back the next time */
395     if( cache_is_dirty ) {
396         for( r = cache_list; r; r = r->next ) {
397             if( r->flags.used && r->flags.dirty ) {
398                 r->flags.used = 0;
399                 cache_entries--;
400             }
401         }
402         cache_is_dirty = 0;
403     }
404
405     in_transaction = 0;
406     return 0;
407 }
408 #endif
409
410 \f
411 /********************************************************
412  **************** cached I/O functions ******************
413  ********************************************************/
414
415 static void
416 cleanup(void)
417 {
418     if( is_locked ) {
419         if( !release_dotlock(lockhandle) )
420             is_locked = 0;
421     }
422 }
423
424 /* Caller must sync */
425 int
426 tdbio_update_version_record (void)
427 {
428   TRUSTREC rec;
429   int rc;
430
431   memset( &rec, 0, sizeof rec );
432
433   rc=tdbio_read_record( 0, &rec, RECTYPE_VER);
434   if(rc==0)
435     {
436       rec.r.ver.created     = make_timestamp();
437       rec.r.ver.marginals   = opt.marginals_needed;
438       rec.r.ver.completes   = opt.completes_needed;
439       rec.r.ver.cert_depth  = opt.max_cert_depth;
440       rec.r.ver.trust_model = opt.trust_model;
441       rc=tdbio_write_record(&rec);
442     }
443
444   return rc;
445 }
446
447 static int
448 create_version_record (void)
449 {
450   TRUSTREC rec;
451   int rc;
452   
453   memset( &rec, 0, sizeof rec );
454   rec.r.ver.version     = 3;
455   rec.r.ver.created     = make_timestamp();
456   rec.r.ver.marginals   = opt.marginals_needed;
457   rec.r.ver.completes   = opt.completes_needed;
458   rec.r.ver.cert_depth  = opt.max_cert_depth;
459   if(opt.trust_model==TM_PGP || opt.trust_model==TM_CLASSIC)
460     rec.r.ver.trust_model = opt.trust_model;
461   else
462     rec.r.ver.trust_model = TM_PGP;
463   rec.rectype = RECTYPE_VER;
464   rec.recnum = 0;
465   rc = tdbio_write_record( &rec );
466   if( !rc )
467     tdbio_sync();
468   return rc;
469 }
470
471
472
473 int
474 tdbio_set_dbname( const char *new_dbname, int create )
475 {
476     char *fname;
477     static int initialized = 0;
478
479     if( !initialized ) {
480         atexit( cleanup );
481         initialized = 1;
482     }
483
484     if(new_dbname==NULL)
485       fname=make_filename(opt.homedir,"trustdb" EXTSEP_S "gpg", NULL);
486     else if (*new_dbname != DIRSEP_C )
487       {
488         if (strchr(new_dbname, DIRSEP_C) )
489           fname = make_filename (new_dbname, NULL);
490         else
491           fname = make_filename (opt.homedir, new_dbname, NULL);
492       }
493     else
494       fname = m_strdup (new_dbname);
495
496     if( access( fname, R_OK ) ) {
497         if( errno != ENOENT ) {
498             log_error( _("can't access `%s': %s\n"), fname, strerror(errno) );
499             m_free(fname);
500             return G10ERR_TRUSTDB;
501         }
502         if( create ) {
503             FILE *fp;
504             TRUSTREC rec;
505             int rc;
506             char *p = strrchr( fname, DIRSEP_C );
507             mode_t oldmask;
508
509             assert(p);
510             *p = 0;
511             if( access( fname, F_OK ) ) {
512                 try_make_homedir( fname );
513                 log_fatal( _("%s: directory does not exist!\n"), fname );
514             }
515             *p = DIRSEP_C;
516
517             m_free(db_name);
518             db_name = fname;
519 #ifdef __riscos__
520             if( !lockhandle )
521                 lockhandle = create_dotlock( db_name );
522             if( !lockhandle )
523                 log_fatal( _("can't create lock for `%s'\n"), db_name );
524             if( make_dotlock( lockhandle, -1 ) )
525                 log_fatal( _("can't lock `%s'\n"), db_name );
526 #endif /* __riscos__ */
527             oldmask=umask(077);
528             if (is_secured_filename (fname)) {
529                 fp = NULL;
530                 errno = EPERM;
531             }
532             else
533                 fp =fopen( fname, "wb" );
534             umask(oldmask);
535             if( !fp )
536                 log_fatal( _("can't create `%s': %s\n"), fname, strerror(errno) );
537             fclose(fp);
538             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
539             if( db_fd == -1 )
540                 log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
541
542 #ifndef __riscos__
543             if( !lockhandle )
544                 lockhandle = create_dotlock( db_name );
545             if( !lockhandle )
546                 log_fatal( _("can't create lock for `%s'\n"), db_name );
547 #endif /* !__riscos__ */
548
549             rc = create_version_record ();
550             if( rc )
551                 log_fatal( _("%s: failed to create version record: %s"),
552                                                    fname, g10_errstr(rc));
553             /* and read again to check that we are okay */
554             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
555                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
556
557             if( !opt.quiet )
558                 log_info(_("%s: trustdb created\n"), db_name);
559
560             return 0;
561         }
562     }
563     m_free(db_name);
564     db_name = fname;
565     return 0;
566 }
567
568
569 const char *
570 tdbio_get_dbname()
571 {
572     return db_name;
573 }
574
575
576
577 static void
578 open_db()
579 {
580   byte buf[10];
581   int n;
582   TRUSTREC rec;
583
584   assert( db_fd == -1 );
585
586   if (!lockhandle )
587     lockhandle = create_dotlock( db_name );
588   if (!lockhandle )
589     log_fatal( _("can't create lock for `%s'\n"), db_name );
590 #ifdef __riscos__
591   if (make_dotlock( lockhandle, -1 ) )
592     log_fatal( _("can't lock `%s'\n"), db_name );
593 #endif /* __riscos__ */
594   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
595   if (db_fd == -1 && errno == EACCES) {
596       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
597       if (db_fd != -1)
598           log_info (_("NOTE: trustdb not writable\n"));
599   }
600   if ( db_fd == -1 )
601     log_fatal( _("can't open `%s': %s\n"), db_name, strerror(errno) );
602   register_secured_file (db_name);
603
604   /* check whether we need to do a version migration */
605   do
606     n = read (db_fd, buf, 5);
607   while (n==-1 && errno == EINTR);
608   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
609     {
610       migrate_from_v2 ();
611     }
612   
613   /* read the version record */
614   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
615     log_fatal( _("%s: invalid trustdb\n"), db_name );
616 }
617
618
619 /****************
620  * Make a hashtable: type 0 = trust hash
621  */
622 static void
623 create_hashtable( TRUSTREC *vr, int type )
624 {
625     TRUSTREC rec;
626     off_t offset;
627     ulong recnum;
628     int i, n, rc;
629
630     offset = lseek( db_fd, 0, SEEK_END );
631     if( offset == -1 )
632         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
633     recnum = offset / TRUST_RECORD_LEN;
634     assert(recnum); /* this is will never be the first record */
635
636     if( !type )
637         vr->r.ver.trusthashtbl = recnum;
638
639     /* Now write the records */
640     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
641     for(i=0; i < n; i++, recnum++ ) {
642          memset( &rec, 0, sizeof rec );
643          rec.rectype = RECTYPE_HTBL;
644          rec.recnum = recnum;
645          rc = tdbio_write_record( &rec );
646          if( rc )
647              log_fatal( _("%s: failed to create hashtable: %s\n"),
648                                         db_name, g10_errstr(rc));
649     }
650     /* update the version record */
651     rc = tdbio_write_record( vr );
652     if( !rc )
653         rc = tdbio_sync();
654     if( rc )
655         log_fatal( _("%s: error updating version record: %s\n"),
656                                                   db_name, g10_errstr(rc));
657 }
658
659
660 int
661 tdbio_db_matches_options()
662 {
663   static int yes_no = -1;
664
665   if( yes_no == -1 )
666     {
667       TRUSTREC vr;
668       int rc;
669
670       rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
671       if( rc )
672         log_fatal( _("%s: error reading version record: %s\n"),
673                    db_name, g10_errstr(rc) );
674
675       yes_no = vr.r.ver.marginals == opt.marginals_needed
676         && vr.r.ver.completes == opt.completes_needed
677         && vr.r.ver.cert_depth == opt.max_cert_depth
678         && vr.r.ver.trust_model == opt.trust_model;
679     }
680
681   return yes_no;
682 }
683
684 byte
685 tdbio_read_model(void)
686 {
687   TRUSTREC vr;
688   int rc;
689  
690   rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
691   if( rc )
692     log_fatal( _("%s: error reading version record: %s\n"),
693                db_name, g10_errstr(rc) );
694   return vr.r.ver.trust_model;
695 }
696
697 /****************
698  * Return the nextstamp value.
699  */
700 ulong
701 tdbio_read_nextcheck ()
702 {
703     TRUSTREC vr;
704     int rc;
705
706     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
707     if( rc )
708         log_fatal( _("%s: error reading version record: %s\n"),
709                                                     db_name, g10_errstr(rc) );
710     return vr.r.ver.nextcheck;
711 }
712
713 /* Return true when the stamp was actually changed. */
714 int
715 tdbio_write_nextcheck (ulong stamp)
716 {
717     TRUSTREC vr;
718     int rc;
719
720     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
721     if( rc )
722         log_fatal( _("%s: error reading version record: %s\n"),
723                                        db_name, g10_errstr(rc) );
724
725     if (vr.r.ver.nextcheck == stamp)
726       return 0;
727
728     vr.r.ver.nextcheck = stamp;
729     rc = tdbio_write_record( &vr );
730     if( rc )
731         log_fatal( _("%s: error writing version record: %s\n"),
732                                        db_name, g10_errstr(rc) );
733     return 1;
734 }
735
736
737
738 /****************
739  * Return the record number of the trusthash tbl or create a new one.
740  */
741 static ulong
742 get_trusthashrec(void)
743 {
744     static ulong trusthashtbl; /* record number of the trust hashtable */
745
746     if( !trusthashtbl ) {
747         TRUSTREC vr;
748         int rc;
749
750         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
751         if( rc )
752             log_fatal( _("%s: error reading version record: %s\n"),
753                                             db_name, g10_errstr(rc) );
754         if( !vr.r.ver.trusthashtbl )
755             create_hashtable( &vr, 0 );
756
757         trusthashtbl = vr.r.ver.trusthashtbl;
758     }
759     return trusthashtbl;
760 }
761
762
763
764 /****************
765  * Update a hashtable.
766  * table gives the start of the table, key and keylen is the key,
767  * newrecnum is the record number to insert.
768  */
769 static int
770 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
771 {
772     TRUSTREC lastrec, rec;
773     ulong hashrec, item;
774     int msb;
775     int level=0;
776     int rc, i;
777
778     hashrec = table;
779   next_level:
780     msb = key[level];
781     hashrec += msb / ITEMS_PER_HTBL_RECORD;
782     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
783     if( rc ) {
784         log_error("upd_hashtable: read failed: %s\n",   g10_errstr(rc) );
785         return rc;
786     }
787
788     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
789     if( !item ) { /* insert a new item into the hash table */
790         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
791         rc = tdbio_write_record( &rec );
792         if( rc ) {
793             log_error("upd_hashtable: write htbl failed: %s\n",
794                                                             g10_errstr(rc) );
795             return rc;
796         }
797     }
798     else if( item != newrecnum ) {  /* must do an update */
799         lastrec = rec;
800         rc = tdbio_read_record( item, &rec, 0 );
801         if( rc ) {
802             log_error( "upd_hashtable: read item failed: %s\n",
803                                                             g10_errstr(rc) );
804             return rc;
805         }
806
807         if( rec.rectype == RECTYPE_HTBL ) {
808             hashrec = item;
809             level++;
810             if( level >= keylen ) {
811                 log_error( "hashtable has invalid indirections.\n");
812                 return G10ERR_TRUSTDB;
813             }
814             goto next_level;
815         }
816         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
817             /* see whether the key is already in this list */
818             for(;;) {
819                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
820                     if( rec.r.hlst.rnum[i] == newrecnum ) {
821                         return 0; /* okay, already in the list */
822                     }
823                 }
824                 if( rec.r.hlst.next ) {
825                     rc = tdbio_read_record( rec.r.hlst.next,
826                                                        &rec, RECTYPE_HLST);
827                     if( rc ) {
828                         log_error( "upd_hashtable: read hlst failed: %s\n",
829                                                              g10_errstr(rc) );
830                         return rc;
831                     }
832                 }
833                 else
834                     break; /* not there */
835             }
836             /* find the next free entry and put it in */
837             for(;;) {
838                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
839                     if( !rec.r.hlst.rnum[i] ) {
840                         rec.r.hlst.rnum[i] = newrecnum;
841                         rc = tdbio_write_record( &rec );
842                         if( rc )
843                             log_error( "upd_hashtable: write hlst failed: %s\n",
844                                                               g10_errstr(rc) );
845                         return rc; /* done */
846                     }
847                 }
848                 if( rec.r.hlst.next ) {
849                     rc = tdbio_read_record( rec.r.hlst.next,
850                                                       &rec, RECTYPE_HLST );
851                     if( rc ) {
852                         log_error( "upd_hashtable: read hlst failed: %s\n",
853                                                              g10_errstr(rc) );
854                         return rc;
855                     }
856                 }
857                 else { /* add a new list record */
858                     rec.r.hlst.next = item = tdbio_new_recnum();
859                     rc = tdbio_write_record( &rec );
860                     if( rc ) {
861                         log_error( "upd_hashtable: write hlst failed: %s\n",
862                                                           g10_errstr(rc) );
863                         return rc;
864                     }
865                     memset( &rec, 0, sizeof rec );
866                     rec.rectype = RECTYPE_HLST;
867                     rec.recnum = item;
868                     rec.r.hlst.rnum[0] = newrecnum;
869                     rc = tdbio_write_record( &rec );
870                     if( rc )
871                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
872                                                           g10_errstr(rc) );
873                     return rc; /* done */
874                 }
875             } /* end loop over hlst slots */
876         }
877         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
878             if( rec.recnum == newrecnum ) {
879                 return 0;
880             }
881             item = rec.recnum; /* save number of key record */
882             memset( &rec, 0, sizeof rec );
883             rec.rectype = RECTYPE_HLST;
884             rec.recnum = tdbio_new_recnum();
885             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
886             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
887             rc = tdbio_write_record( &rec );
888             if( rc ) {
889                 log_error( "upd_hashtable: write new hlst failed: %s\n",
890                                                   g10_errstr(rc) );
891                 return rc;
892             }
893             /* update the hashtable record */
894             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
895             rc = tdbio_write_record( &lastrec );
896             if( rc )
897                 log_error( "upd_hashtable: update htbl failed: %s\n",
898                                                              g10_errstr(rc) );
899             return rc; /* ready */
900         }
901         else {
902             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
903                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
904             list_trustdb(NULL);
905             return G10ERR_TRUSTDB;
906         }
907     }
908
909     return 0;
910 }
911
912
913 /****************
914  * Drop an entry from a hashtable
915  * table gives the start of the table, key and keylen is the key,
916  */
917 static int
918 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
919 {
920     TRUSTREC rec;
921     ulong hashrec, item;
922     int msb;
923     int level=0;
924     int rc, i;
925
926     hashrec = table;
927   next_level:
928     msb = key[level];
929     hashrec += msb / ITEMS_PER_HTBL_RECORD;
930     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
931     if( rc ) {
932         log_error("drop_from_hashtable: read failed: %s\n",
933                                                         g10_errstr(rc) );
934         return rc;
935     }
936
937     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
938     if( !item )  /* not found - forget about it  */
939         return 0;
940
941     if( item == recnum ) {  /* tables points direct to the record */
942         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
943         rc = tdbio_write_record( &rec );
944         if( rc )
945             log_error("drop_from_hashtable: write htbl failed: %s\n",
946                                                             g10_errstr(rc) );
947         return rc;
948     }
949
950     rc = tdbio_read_record( item, &rec, 0 );
951     if( rc ) {
952         log_error( "drop_from_hashtable: read item failed: %s\n",
953                                                         g10_errstr(rc) );
954         return rc;
955     }
956
957     if( rec.rectype == RECTYPE_HTBL ) {
958         hashrec = item;
959         level++;
960         if( level >= keylen ) {
961             log_error( "hashtable has invalid indirections.\n");
962             return G10ERR_TRUSTDB;
963         }
964         goto next_level;
965     }
966
967     if( rec.rectype == RECTYPE_HLST ) {
968         for(;;) {
969             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
970                 if( rec.r.hlst.rnum[i] == recnum ) {
971                     rec.r.hlst.rnum[i] = 0; /* drop */
972                     rc = tdbio_write_record( &rec );
973                     if( rc )
974                         log_error("drop_from_hashtable: write htbl failed: %s\n",
975                                                                         g10_errstr(rc) );
976                     return rc;
977                 }
978             }
979             if( rec.r.hlst.next ) {
980                 rc = tdbio_read_record( rec.r.hlst.next,
981                                                    &rec, RECTYPE_HLST);
982                 if( rc ) {
983                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
984                                                          g10_errstr(rc) );
985                     return rc;
986                 }
987             }
988             else
989                 return 0; /* key not in table */
990         }
991     }
992
993     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
994                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
995     return G10ERR_TRUSTDB;
996 }
997
998
999
1000 /****************
1001  * Lookup a record via the hashtable tablewith key/keylen and return the
1002  * result in rec.  cmp() should return if the record is the desired one.
1003  * Returns -1 if not found, 0 if found or another errocode
1004  */
1005 static int
1006 lookup_hashtable( ulong table, const byte *key, size_t keylen,
1007                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
1008                                                 TRUSTREC *rec )
1009 {
1010     int rc;
1011     ulong hashrec, item;
1012     int msb;
1013     int level=0;
1014
1015     hashrec = table;
1016   next_level:
1017     msb = key[level];
1018     hashrec += msb / ITEMS_PER_HTBL_RECORD;
1019     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
1020     if( rc ) {
1021         log_error("lookup_hashtable failed: %s\n", g10_errstr(rc) );
1022         return rc;
1023     }
1024
1025     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
1026     if( !item )
1027         return -1; /* not found */
1028
1029     rc = tdbio_read_record( item, rec, 0 );
1030     if( rc ) {
1031         log_error( "hashtable read failed: %s\n", g10_errstr(rc) );
1032         return rc;
1033     }
1034     if( rec->rectype == RECTYPE_HTBL ) {
1035         hashrec = item;
1036         level++;
1037         if( level >= keylen ) {
1038             log_error("hashtable has invalid indirections\n");
1039             return G10ERR_TRUSTDB;
1040         }
1041         goto next_level;
1042     }
1043     else if( rec->rectype == RECTYPE_HLST ) {
1044         for(;;) {
1045             int i;
1046
1047             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1048                 if( rec->r.hlst.rnum[i] ) {
1049                     TRUSTREC tmp;
1050
1051                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1052                     if( rc ) {
1053                         log_error( "lookup_hashtable: read item failed: %s\n",
1054                                                               g10_errstr(rc) );
1055                         return rc;
1056                     }
1057                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1058                         *rec = tmp;
1059                         return 0;
1060                     }
1061                 }
1062             }
1063             if( rec->r.hlst.next ) {
1064                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1065                 if( rc ) {
1066                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1067                                                          g10_errstr(rc) );
1068                     return rc;
1069                 }
1070             }
1071             else
1072                 return -1; /* not found */
1073         }
1074     }
1075
1076
1077     if( (*cmpfnc)( cmpdata, rec ) )
1078         return 0; /* really found */
1079
1080     return -1; /* no: not found */
1081 }
1082
1083
1084 /****************
1085  * Update the trust hashtbl or create the table if it does not exist
1086  */
1087 static int
1088 update_trusthashtbl( TRUSTREC *tr )
1089 {
1090     return upd_hashtable( get_trusthashrec(),
1091                           tr->r.trust.fingerprint, 20, tr->recnum );
1092 }
1093
1094
1095
1096 void
1097 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1098 {
1099     int i;
1100     ulong rnum = rec->recnum;
1101
1102     fprintf(fp, "rec %5lu, ", rnum );
1103
1104     switch( rec->rectype ) {
1105       case 0: fprintf(fp, "blank\n");
1106         break;
1107       case RECTYPE_VER: fprintf(fp,
1108             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d tm=%d nc=%lu (%s)\n",
1109                                    rec->r.ver.trusthashtbl,
1110                                    rec->r.ver.firstfree,
1111                                    rec->r.ver.marginals,
1112                                    rec->r.ver.completes,
1113                                    rec->r.ver.cert_depth,
1114                                    rec->r.ver.trust_model,
1115                                    rec->r.ver.nextcheck,
1116                                    strtimestamp(rec->r.ver.nextcheck)
1117                                  );
1118         break;
1119       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1120         break;
1121       case RECTYPE_HTBL:
1122         fprintf(fp, "htbl,");
1123         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1124             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1125         putc('\n', fp);
1126         break;
1127       case RECTYPE_HLST:
1128         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1129         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1130             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1131         putc('\n', fp);
1132         break;
1133       case RECTYPE_TRUST:
1134         fprintf(fp, "trust ");
1135         for(i=0; i < 20; i++ )
1136             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1137         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1138                  rec->r.trust.depth, rec->r.trust.validlist);
1139         break;
1140       case RECTYPE_VALID:
1141         fprintf(fp, "valid ");
1142         for(i=0; i < 20; i++ )
1143             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1144         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1145                  rec->r.valid.next);
1146         break;
1147       default:
1148         fprintf(fp, "unknown type %d\n", rec->rectype );
1149         break;
1150     }
1151 }
1152
1153 /****************
1154  * read the record with number recnum
1155  * returns: -1 on error, 0 on success
1156  */
1157 int
1158 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1159 {
1160     byte readbuf[TRUST_RECORD_LEN];
1161     const byte *buf, *p;
1162     int rc = 0;
1163     int n, i;
1164
1165     if( db_fd == -1 )
1166         open_db();
1167     buf = get_record_from_cache( recnum );
1168     if( !buf ) {
1169         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1170             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1171             return G10ERR_READ_FILE;
1172         }
1173         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1174         if( !n ) {
1175             return -1; /* eof */
1176         }
1177         else if( n != TRUST_RECORD_LEN ) {
1178             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1179                                                         strerror(errno) );
1180             return G10ERR_READ_FILE;
1181         }
1182         buf = readbuf;
1183     }
1184     rec->recnum = recnum;
1185     rec->dirty = 0;
1186     p = buf;
1187     rec->rectype = *p++;
1188     if( expected && rec->rectype != expected ) {
1189         log_error("%lu: read expected rec type %d, got %d\n",
1190                     recnum, expected, rec->rectype );
1191         return G10ERR_TRUSTDB;
1192     }
1193     p++;    /* skip reserved byte */
1194     switch( rec->rectype ) {
1195       case 0:  /* unused (free) record */
1196         break;
1197       case RECTYPE_VER: /* version record */
1198         if( memcmp(buf+1, "gpg", 3 ) ) {
1199             log_error( _("%s: not a trustdb file\n"), db_name );
1200             rc = G10ERR_TRUSTDB;
1201         }
1202         p += 2; /* skip "gpg" */
1203         rec->r.ver.version  = *p++;
1204         rec->r.ver.marginals = *p++;
1205         rec->r.ver.completes = *p++;
1206         rec->r.ver.cert_depth = *p++;
1207         rec->r.ver.trust_model = *p++;
1208         p += 3;
1209         rec->r.ver.created  = buftoulong(p); p += 4;
1210         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1211         p += 4;
1212         p += 4;
1213         rec->r.ver.firstfree =buftoulong(p); p += 4;
1214         p += 4;
1215         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1216         if( recnum ) {
1217             log_error( _("%s: version record with recnum %lu\n"), db_name,
1218                                                              (ulong)recnum );
1219             rc = G10ERR_TRUSTDB;
1220         }
1221         else if( rec->r.ver.version != 3 ) {
1222             log_error( _("%s: invalid file version %d\n"), db_name,
1223                                                         rec->r.ver.version );
1224             rc = G10ERR_TRUSTDB;
1225         }
1226         break;
1227       case RECTYPE_FREE:
1228         rec->r.free.next  = buftoulong(p); p += 4;
1229         break;
1230       case RECTYPE_HTBL:
1231         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1232             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1233         }
1234         break;
1235       case RECTYPE_HLST:
1236         rec->r.hlst.next = buftoulong(p); p += 4;
1237         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1238             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1239         }
1240         break;
1241       case RECTYPE_TRUST:
1242         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1243         rec->r.trust.ownertrust = *p++;
1244         rec->r.trust.depth = *p++;
1245         rec->r.trust.min_ownertrust = *p++;
1246         p++;
1247         rec->r.trust.validlist = buftoulong(p); p += 4;
1248         break;
1249       case RECTYPE_VALID:
1250         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1251         rec->r.valid.validity = *p++;
1252         rec->r.valid.next = buftoulong(p); p += 4;
1253         rec->r.valid.full_count = *p++;
1254         rec->r.valid.marginal_count = *p++;
1255         break;
1256       default:
1257         log_error( "%s: invalid record type %d at recnum %lu\n",
1258                                    db_name, rec->rectype, (ulong)recnum );
1259         rc = G10ERR_TRUSTDB;
1260         break;
1261     }
1262
1263     return rc;
1264 }
1265
1266 /****************
1267  * Write the record at RECNUM
1268  */
1269 int
1270 tdbio_write_record( TRUSTREC *rec )
1271 {
1272     byte buf[TRUST_RECORD_LEN], *p;
1273     int rc = 0;
1274     int i;
1275     ulong recnum = rec->recnum;
1276
1277     if( db_fd == -1 )
1278         open_db();
1279
1280     memset(buf, 0, TRUST_RECORD_LEN);
1281     p = buf;
1282     *p++ = rec->rectype; p++;
1283     switch( rec->rectype ) {
1284       case 0:  /* unused record */
1285         break;
1286       case RECTYPE_VER: /* version record */
1287         if( recnum )
1288             BUG();
1289         memcpy(p-1, "gpg", 3 ); p += 2;
1290         *p++ = rec->r.ver.version;
1291         *p++ = rec->r.ver.marginals;
1292         *p++ = rec->r.ver.completes;
1293         *p++ = rec->r.ver.cert_depth;
1294         *p++ = rec->r.ver.trust_model;
1295         p += 3;
1296         ulongtobuf(p, rec->r.ver.created); p += 4;
1297         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1298         p += 4;
1299         p += 4;
1300         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1301         p += 4;
1302         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1303         break;
1304
1305       case RECTYPE_FREE:
1306         ulongtobuf(p, rec->r.free.next); p += 4;
1307         break;
1308
1309
1310       case RECTYPE_HTBL:
1311         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1312             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1313         }
1314         break;
1315
1316       case RECTYPE_HLST:
1317         ulongtobuf( p, rec->r.hlst.next); p += 4;
1318         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1319             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1320         }
1321         break;
1322
1323       case RECTYPE_TRUST:
1324         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1325         *p++ = rec->r.trust.ownertrust;
1326         *p++ = rec->r.trust.depth;
1327         *p++ = rec->r.trust.min_ownertrust;
1328         p++;
1329         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1330         break;
1331
1332       case RECTYPE_VALID:
1333         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1334         *p++ = rec->r.valid.validity;
1335         ulongtobuf( p, rec->r.valid.next); p += 4;
1336         *p++ = rec->r.valid.full_count;
1337         *p++ = rec->r.valid.marginal_count;
1338         break;
1339
1340       default:
1341         BUG();
1342     }
1343
1344     rc = put_record_into_cache( recnum, buf );
1345     if( rc )
1346         ;
1347     else if( rec->rectype == RECTYPE_TRUST )
1348         rc = update_trusthashtbl( rec );
1349
1350     return rc;
1351 }
1352
1353 int
1354 tdbio_delete_record( ulong recnum )
1355 {
1356     TRUSTREC vr, rec;
1357     int rc;
1358
1359     /* Must read the record fist, so we can drop it from the hash tables */
1360     rc = tdbio_read_record( recnum, &rec, 0 );
1361     if( rc )
1362         ;
1363     else if( rec.rectype == RECTYPE_TRUST ) {
1364          rc = drop_from_hashtable( get_trusthashrec(),
1365                                    rec.r.trust.fingerprint, 20, rec.recnum );
1366     }
1367
1368     if( rc )
1369         return rc;
1370
1371     /* now we can chnage it to a free record */
1372     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1373     if( rc )
1374         log_fatal( _("%s: error reading version record: %s\n"),
1375                                        db_name, g10_errstr(rc) );
1376
1377     rec.recnum = recnum;
1378     rec.rectype = RECTYPE_FREE;
1379     rec.r.free.next = vr.r.ver.firstfree;
1380     vr.r.ver.firstfree = recnum;
1381     rc = tdbio_write_record( &rec );
1382     if( !rc )
1383         rc = tdbio_write_record( &vr );
1384     return rc;
1385 }
1386
1387 /****************
1388  * create a new record and return its record number
1389  */
1390 ulong
1391 tdbio_new_recnum()
1392 {
1393     off_t offset;
1394     ulong recnum;
1395     TRUSTREC vr, rec;
1396     int rc;
1397
1398     /* look for unused records */
1399     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1400     if( rc )
1401         log_fatal( _("%s: error reading version record: %s\n"),
1402                                              db_name, g10_errstr(rc) );
1403     if( vr.r.ver.firstfree ) {
1404         recnum = vr.r.ver.firstfree;
1405         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1406         if( rc ) {
1407             log_error( _("%s: error reading free record: %s\n"),
1408                                                   db_name,  g10_errstr(rc) );
1409             return rc;
1410         }
1411         /* update dir record */
1412         vr.r.ver.firstfree = rec.r.free.next;
1413         rc = tdbio_write_record( &vr );
1414         if( rc ) {
1415             log_error( _("%s: error writing dir record: %s\n"),
1416                                                      db_name, g10_errstr(rc) );
1417             return rc;
1418         }
1419         /*zero out the new record */
1420         memset( &rec, 0, sizeof rec );
1421         rec.rectype = 0; /* unused record */
1422         rec.recnum = recnum;
1423         rc = tdbio_write_record( &rec );
1424         if( rc )
1425             log_fatal(_("%s: failed to zero a record: %s\n"),
1426                                        db_name, g10_errstr(rc));
1427     }
1428     else { /* not found, append a new record */
1429         offset = lseek( db_fd, 0, SEEK_END );
1430         if( offset == -1 )
1431             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1432         recnum = offset / TRUST_RECORD_LEN;
1433         assert(recnum); /* this is will never be the first record */
1434         /* we must write a record, so that the next call to this function
1435          * returns another recnum */
1436         memset( &rec, 0, sizeof rec );
1437         rec.rectype = 0; /* unused record */
1438         rec.recnum = recnum;
1439         rc = 0;
1440         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1441             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1442                                                 recnum, strerror(errno) );
1443             rc = G10ERR_WRITE_FILE;
1444         }
1445         else {
1446             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1447             if( n != TRUST_RECORD_LEN ) {
1448                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1449                                                  recnum, n, strerror(errno) );
1450                 rc = G10ERR_WRITE_FILE;
1451             }
1452         }
1453
1454         if( rc )
1455             log_fatal(_("%s: failed to append a record: %s\n"),
1456                                     db_name,    g10_errstr(rc));
1457     }
1458     return recnum ;
1459 }
1460
1461
1462
1463 static int
1464 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1465 {
1466     return rec->rectype == RECTYPE_TRUST
1467            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1468 }
1469
1470
1471 int
1472 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1473 {
1474     int rc;
1475
1476     /* locate the trust record using the hash table */
1477     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1478                            cmp_trec_fpr, (void*)fingerprint, rec );
1479     return rc;
1480 }
1481
1482 int
1483 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1484 {
1485     byte fingerprint[MAX_FINGERPRINT_LEN];
1486     size_t fingerlen;
1487
1488     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1489     for (; fingerlen < 20; fingerlen++ )
1490       fingerprint[fingerlen] = 0;
1491     return tdbio_search_trust_byfpr (fingerprint, rec);
1492 }
1493
1494
1495
1496 void
1497 tdbio_invalid(void)
1498 {
1499     log_error(_(
1500         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1501     g10_exit(2);
1502 }
1503
1504 /*
1505  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1506  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1507  * only to scan the tdb and insert new the new trust records.  The old ones are
1508  * obsolte from now on
1509  */
1510 static void
1511 migrate_from_v2 ()
1512 {
1513   TRUSTREC rec;
1514   int i, n;
1515   struct {
1516     ulong keyrecno;
1517     byte  ot;
1518     byte okay;
1519     byte  fpr[20];
1520   } *ottable;
1521   int ottable_size, ottable_used;
1522   byte oldbuf[40];
1523   ulong recno;
1524   int rc, count;
1525
1526   ottable_size = 5;
1527   ottable = m_alloc (ottable_size * sizeof *ottable);
1528   ottable_used = 0;
1529
1530   /* We have some restrictions here.  We can't use the version record
1531    * and we can't use any of the old hashtables because we dropped the
1532    * code.  So we first collect all ownertrusts and then use a second
1533    * pass fo find the associated keys.  We have to do this all without using 
1534    * the regular record read functions.
1535    */
1536
1537   /* get all the ownertrusts */
1538   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1539       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1540   for (recno=0;;recno++)
1541     {
1542       do
1543         n = read (db_fd, oldbuf, 40);
1544       while (n==-1 && errno == EINTR);
1545       if (!n)
1546         break; /* eof */
1547       if (n != 40)
1548         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1549
1550       if (*oldbuf != 2)
1551         continue;
1552       
1553       /* v2 dir record */
1554       if (ottable_used == ottable_size)
1555         {
1556           ottable_size += 1000;
1557           ottable = m_realloc (ottable, ottable_size * sizeof *ottable);
1558         }
1559       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1560       ottable[ottable_used].ot = oldbuf[18];
1561       ottable[ottable_used].okay = 0;
1562       memset (ottable[ottable_used].fpr,0, 20);
1563       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1564         ottable_used++;
1565     }
1566   log_info ("found %d ownertrust records\n", ottable_used);
1567
1568   /* Read again and find the fingerprints */
1569   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1570       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1571   for (recno=0;;recno++)
1572     {
1573       do
1574         n = read (db_fd, oldbuf, 40);
1575       while (n==-1 && errno == EINTR);
1576       if (!n)
1577         break; /* eof */
1578       if (n != 40)
1579         log_fatal ("migrate_from_v2: read error or short read\n");
1580
1581       if (*oldbuf != 3) 
1582         continue;
1583
1584       /* v2 key record */
1585       for (i=0; i < ottable_used; i++)
1586         {
1587           if (ottable[i].keyrecno == recno)
1588             {
1589               memcpy (ottable[i].fpr, oldbuf+20, 20);
1590               ottable[i].okay = 1;
1591               break;
1592             }
1593         }
1594     }
1595
1596   /* got everything - create the v3 trustdb */
1597   if (ftruncate (db_fd, 0))
1598     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1599   if (create_version_record ())
1600     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1601
1602   /* access the hash table, so it is store just after the version record, 
1603    * this is not needed put a dump is more pretty */
1604   get_trusthashrec ();
1605
1606   /* And insert the old ownertrust values */
1607   count = 0;
1608   for (i=0; i < ottable_used; i++)
1609     {
1610       if (!ottable[i].okay)
1611         continue;
1612       
1613       memset (&rec, 0, sizeof rec);
1614       rec.recnum = tdbio_new_recnum ();
1615       rec.rectype = RECTYPE_TRUST;
1616       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1617       rec.r.trust.ownertrust = ottable[i].ot;
1618       if (tdbio_write_record (&rec))
1619         log_fatal ("failed to write trust record of `%s'\n", db_name);
1620       count++;
1621     }
1622
1623   revalidation_mark ();
1624   rc = tdbio_sync ();
1625   if (rc)
1626     log_fatal ("failed to sync `%s'\n", db_name);
1627   log_info ("migrated %d version 2 ownertrusts\n", count);
1628   m_free (ottable);
1629 }