added fast-import to import-options
[gnupg.git] / g10 / tdbio.c
1 /* tdbio.c
2  * Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3  *
4  * This file is part of GnuPG.
5  *
6  * GnuPG is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; either version 2 of the License, or
9  * (at your option) any later version.
10  *
11  * GnuPG is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License
17  * along with this program; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA
19  */
20
21 #include <config.h>
22 #include <stdio.h>
23 #include <stdlib.h>
24 #include <string.h>
25 #include <errno.h>
26 #include <assert.h>
27 #include <sys/types.h>
28 #include <sys/stat.h>
29 #include <fcntl.h>
30 #include <unistd.h>
31
32 #include "errors.h"
33 #include "iobuf.h"
34 #include "memory.h"
35 #include "util.h"
36 #include "options.h"
37 #include "main.h"
38 #include "i18n.h"
39 #include "trustdb.h"
40 #include "tdbio.h"
41
42 #if defined(HAVE_DOSISH_SYSTEM) && !defined(__CYGWIN32__)
43 #define ftruncate chsize
44 #endif
45
46 #ifdef HAVE_DOSISH_SYSTEM
47 #define MY_O_BINARY  O_BINARY
48 #else
49 #define MY_O_BINARY  0
50 #endif
51
52
53 /****************
54  * Yes, this is a very simple implementation. We should really
55  * use a page aligned buffer and read complete pages.
56  * To implement a simple trannsaction system, this is sufficient.
57  */
58 typedef struct cache_ctrl_struct *CACHE_CTRL;
59 struct cache_ctrl_struct {
60     CACHE_CTRL next;
61     struct {
62         unsigned used:1;
63         unsigned dirty:1;
64     } flags;
65     ulong recno;
66     char data[TRUST_RECORD_LEN];
67 };
68
69 #define MAX_CACHE_ENTRIES_SOFT  200    /* may be increased while in a */
70 #define MAX_CACHE_ENTRIES_HARD  10000  /* transaction to this one */
71 static CACHE_CTRL cache_list;
72 static int cache_entries;
73 static int cache_is_dirty;
74
75 /* a type used to pass infomation to cmp_krec_fpr */
76 struct cmp_krec_fpr_struct {
77     int pubkey_algo;
78     const char *fpr;
79     int fprlen;
80 };
81
82 /* a type used to pass infomation to cmp_[s]dir */
83 struct cmp_xdir_struct {
84     int pubkey_algo;
85     u32 keyid[2];
86 };
87
88
89 static char *db_name;
90 static DOTLOCK lockhandle;
91 static int is_locked;
92 static int  db_fd = -1;
93 static int in_transaction;
94
95 static void open_db(void);
96 static void migrate_from_v2 (void);
97
98
99 \f
100 /*************************************
101  ************* record cache **********
102  *************************************/
103
104 /****************
105  * Get the data from therecord cache and return a
106  * pointer into that cache.  Caller should copy
107  * the return data.  NULL is returned on a cache miss.
108  */
109 static const char *
110 get_record_from_cache( ulong recno )
111 {
112     CACHE_CTRL r;
113
114     for( r = cache_list; r; r = r->next ) {
115         if( r->flags.used && r->recno == recno )
116             return r->data;
117     }
118     return NULL;
119 }
120
121
122 static int
123 write_cache_item( CACHE_CTRL r )
124 {
125     int n;
126
127     if( lseek( db_fd, r->recno * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
128         log_error(_("trustdb rec %lu: lseek failed: %s\n"),
129                                             r->recno, strerror(errno) );
130         return G10ERR_WRITE_FILE;
131     }
132     n = write( db_fd, r->data, TRUST_RECORD_LEN);
133     if( n != TRUST_RECORD_LEN ) {
134         log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
135                                             r->recno, n, strerror(errno) );
136         return G10ERR_WRITE_FILE;
137     }
138     r->flags.dirty = 0;
139     return 0;
140 }
141
142 /****************
143  * Put data into the cache.  This function may flush the
144  * some cache entries if there is not enough space available.
145  */
146 int
147 put_record_into_cache( ulong recno, const char *data )
148 {
149     CACHE_CTRL r, unused;
150     int dirty_count = 0;
151     int clean_count = 0;
152
153     /* see whether we already cached this one */
154     for( unused = NULL, r = cache_list; r; r = r->next ) {
155         if( !r->flags.used ) {
156             if( !unused )
157                 unused = r;
158         }
159         else if( r->recno == recno ) {
160             if( !r->flags.dirty ) {
161                 /* Hmmm: should we use a a copy and compare? */
162                 if( memcmp(r->data, data, TRUST_RECORD_LEN ) ) {
163                     r->flags.dirty = 1;
164                     cache_is_dirty = 1;
165                 }
166             }
167             memcpy( r->data, data, TRUST_RECORD_LEN );
168             return 0;
169         }
170         if( r->flags.used ) {
171             if( r->flags.dirty )
172                 dirty_count++;
173             else
174                 clean_count++;
175         }
176     }
177     /* not in the cache: add a new entry */
178     if( unused ) { /* reuse this entry */
179         r = unused;
180         r->flags.used = 1;
181         r->recno = recno;
182         memcpy( r->data, data, TRUST_RECORD_LEN );
183         r->flags.dirty = 1;
184         cache_is_dirty = 1;
185         cache_entries++;
186         return 0;
187     }
188     /* see whether we reached the limit */
189     if( cache_entries < MAX_CACHE_ENTRIES_SOFT ) { /* no */
190         r = m_alloc( sizeof *r );
191         r->flags.used = 1;
192         r->recno = recno;
193         memcpy( r->data, data, TRUST_RECORD_LEN );
194         r->flags.dirty = 1;
195         r->next = cache_list;
196         cache_list = r;
197         cache_is_dirty = 1;
198         cache_entries++;
199         return 0;
200     }
201     /* cache is full: discard some clean entries */
202     if( clean_count ) {
203         int n = clean_count / 3; /* discard a third of the clean entries */
204         if( !n )
205             n = 1;
206         for( unused = NULL, r = cache_list; r; r = r->next ) {
207             if( r->flags.used && !r->flags.dirty ) {
208                 if( !unused )
209                     unused = r;
210                 r->flags.used = 0;
211                 cache_entries--;
212                 if( !--n )
213                     break;
214             }
215         }
216         assert( unused );
217         r = unused;
218         r->flags.used = 1;
219         r->recno = recno;
220         memcpy( r->data, data, TRUST_RECORD_LEN );
221         r->flags.dirty = 1;
222         cache_is_dirty = 1;
223         cache_entries++;
224         return 0;
225     }
226     /* no clean entries: have to flush some dirty entries */
227     if( in_transaction ) {
228         /* but we can't do this while in a transaction
229          * we increase the cache size instead */
230         if( cache_entries < MAX_CACHE_ENTRIES_HARD ) { /* no */
231             if( opt.debug && !(cache_entries % 100) )
232                 log_debug("increasing tdbio cache size\n");
233             r = m_alloc( sizeof *r );
234             r->flags.used = 1;
235             r->recno = recno;
236             memcpy( r->data, data, TRUST_RECORD_LEN );
237             r->flags.dirty = 1;
238             r->next = cache_list;
239             cache_list = r;
240             cache_is_dirty = 1;
241             cache_entries++;
242             return 0;
243         }
244         log_info(_("trustdb transaction too large\n"));
245         return G10ERR_RESOURCE_LIMIT;
246     }
247     if( dirty_count ) {
248         int n = dirty_count / 5; /* discard some dirty entries */
249         if( !n )
250             n = 1;
251         if( !is_locked ) {
252             if( make_dotlock( lockhandle, -1 ) )
253                 log_fatal("can't acquire lock - giving up\n");
254             else
255                 is_locked = 1;
256         }
257         for( unused = NULL, r = cache_list; r; r = r->next ) {
258             if( r->flags.used && r->flags.dirty ) {
259                 int rc = write_cache_item( r );
260                 if( rc )
261                     return rc;
262                 if( !unused )
263                     unused = r;
264                 r->flags.used = 0;
265                 cache_entries--;
266                 if( !--n )
267                     break;
268             }
269         }
270         if( !opt.lock_once ) {
271             if( !release_dotlock( lockhandle ) )
272                 is_locked = 0;
273         }
274         assert( unused );
275         r = unused;
276         r->flags.used = 1;
277         r->recno = recno;
278         memcpy( r->data, data, TRUST_RECORD_LEN );
279         r->flags.dirty = 1;
280         cache_is_dirty = 1;
281         cache_entries++;
282         return 0;
283     }
284     BUG();
285 }
286
287
288 int
289 tdbio_is_dirty()
290 {
291     return cache_is_dirty;
292 }
293
294
295 /****************
296  * Flush the cache.  This cannot be used while in a transaction.
297  */
298 int
299 tdbio_sync()
300 {
301     CACHE_CTRL r;
302     int did_lock = 0;
303
304     if( db_fd == -1 )
305         open_db();
306     if( in_transaction )
307         log_bug("tdbio: syncing while in transaction\n");
308
309     if( !cache_is_dirty )
310         return 0;
311
312     if( !is_locked ) {
313         if( make_dotlock( lockhandle, -1 ) )
314             log_fatal("can't acquire lock - giving up\n");
315         else
316             is_locked = 1;
317         did_lock = 1;
318     }
319     for( r = cache_list; r; r = r->next ) {
320         if( r->flags.used && r->flags.dirty ) {
321             int rc = write_cache_item( r );
322             if( rc )
323                 return rc;
324         }
325     }
326     cache_is_dirty = 0;
327     if( did_lock && !opt.lock_once ) {
328         if( !release_dotlock( lockhandle ) )
329             is_locked = 0;
330     }
331
332     return 0;
333 }
334
335
336
337 /****************
338  * Simple transactions system:
339  * Everything between begin_transaction and end/cancel_transaction
340  * is not immediatly written but at the time of end_transaction.
341  *
342  */
343 int
344 tdbio_begin_transaction()
345 {
346     int rc;
347
348     if( in_transaction )
349         log_bug("tdbio: nested transactions\n");
350     /* flush everything out */
351     rc = tdbio_sync();
352     if( rc )
353         return rc;
354     in_transaction = 1;
355     return 0;
356 }
357
358 int
359 tdbio_end_transaction()
360 {
361     int rc;
362
363     if( !in_transaction )
364         log_bug("tdbio: no active transaction\n");
365     if( !is_locked ) {
366         if( make_dotlock( lockhandle, -1 ) )
367             log_fatal("can't acquire lock - giving up\n");
368         else
369             is_locked = 1;
370     }
371     block_all_signals();
372     in_transaction = 0;
373     rc = tdbio_sync();
374     unblock_all_signals();
375     if( !opt.lock_once ) {
376         if( !release_dotlock( lockhandle ) )
377             is_locked = 0;
378     }
379     return rc;
380 }
381
382 int
383 tdbio_cancel_transaction()
384 {
385     CACHE_CTRL r;
386
387     if( !in_transaction )
388         log_bug("tdbio: no active transaction\n");
389
390     /* remove all dirty marked entries, so that the original ones
391      * are read back the next time */
392     if( cache_is_dirty ) {
393         for( r = cache_list; r; r = r->next ) {
394             if( r->flags.used && r->flags.dirty ) {
395                 r->flags.used = 0;
396                 cache_entries--;
397             }
398         }
399         cache_is_dirty = 0;
400     }
401
402     in_transaction = 0;
403     return 0;
404 }
405
406
407 \f
408 /********************************************************
409  **************** cached I/O functions ******************
410  ********************************************************/
411
412 static void
413 cleanup(void)
414 {
415     if( is_locked ) {
416         if( !release_dotlock(lockhandle) )
417             is_locked = 0;
418     }
419 }
420
421 static int
422 create_version_record (void)
423 {
424   TRUSTREC rec;
425   int rc;
426   
427   memset( &rec, 0, sizeof rec );
428   rec.r.ver.version = 3;
429   rec.r.ver.created = make_timestamp();
430   rec.r.ver.marginals =  opt.marginals_needed;
431   rec.r.ver.completes =  opt.completes_needed;
432   rec.r.ver.cert_depth = opt.max_cert_depth;
433   rec.rectype = RECTYPE_VER;
434   rec.recnum = 0;
435   rc = tdbio_write_record( &rec );
436   if( !rc )
437     tdbio_sync();
438   return rc;
439 }
440
441
442
443 int
444 tdbio_set_dbname( const char *new_dbname, int create )
445 {
446     char *fname;
447     static int initialized = 0;
448
449     if( !initialized ) {
450         atexit( cleanup );
451         initialized = 1;
452     }
453     fname = new_dbname? m_strdup( new_dbname )
454                       : make_filename(opt.homedir,
455                                       "trustdb" EXTSEP_S "gpg", NULL );
456
457     if( access( fname, R_OK ) ) {
458         if( errno != ENOENT ) {
459             log_error( _("%s: can't access: %s\n"), fname, strerror(errno) );
460             m_free(fname);
461             return G10ERR_TRUSTDB;
462         }
463         if( create ) {
464             FILE *fp;
465             TRUSTREC rec;
466             int rc;
467             char *p = strrchr( fname, DIRSEP_C );
468             mode_t oldmask;
469
470             assert(p);
471             *p = 0;
472             if( access( fname, F_OK ) ) {
473                 try_make_homedir( fname );
474                 log_fatal( _("%s: directory does not exist!\n"), fname );
475             }
476             *p = DIRSEP_C;
477
478             m_free(db_name);
479             db_name = fname;
480 #ifdef __riscos__
481             if( !lockhandle )
482                 lockhandle = create_dotlock( db_name );
483             if( !lockhandle )
484                 log_fatal( _("%s: can't create lock\n"), db_name );
485             if( make_dotlock( lockhandle, -1 ) )
486                 log_fatal( _("%s: can't make lock\n"), db_name );
487 #endif /* __riscos__ */
488             oldmask=umask(077);
489             fp =fopen( fname, "wb" );
490             umask(oldmask);
491             if( !fp )
492                 log_fatal( _("%s: can't create: %s\n"), fname, strerror(errno) );
493             fclose(fp);
494             db_fd = open( db_name, O_RDWR | MY_O_BINARY );
495             if( db_fd == -1 )
496                 log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
497
498 #ifndef __riscos__
499             if( !lockhandle )
500                 lockhandle = create_dotlock( db_name );
501             if( !lockhandle )
502                 log_fatal( _("%s: can't create lock\n"), db_name );
503 #endif /* !__riscos__ */
504
505             rc = create_version_record ();
506             if( rc )
507                 log_fatal( _("%s: failed to create version record: %s"),
508                                                    fname, g10_errstr(rc));
509             /* and read again to check that we are okay */
510             if( tdbio_read_record( 0, &rec, RECTYPE_VER ) )
511                 log_fatal( _("%s: invalid trustdb created\n"), db_name );
512
513             if( !opt.quiet )
514                 log_info(_("%s: trustdb created\n"), db_name);
515
516             return 0;
517         }
518     }
519     m_free(db_name);
520     db_name = fname;
521     return 0;
522 }
523
524
525 const char *
526 tdbio_get_dbname()
527 {
528     return db_name;
529 }
530
531
532
533 static void
534 open_db()
535 {
536   byte buf[10];
537   int n;
538   TRUSTREC rec;
539
540   assert( db_fd == -1 );
541
542   if (!lockhandle )
543     lockhandle = create_dotlock( db_name );
544   if (!lockhandle )
545     log_fatal( _("%s: can't create lock\n"), db_name );
546 #ifdef __riscos__
547   if (make_dotlock( lockhandle, -1 ) )
548     log_fatal( _("%s: can't make lock\n"), db_name );
549 #endif /* __riscos__ */
550   db_fd = open (db_name, O_RDWR | MY_O_BINARY );
551   if (db_fd == -1 && errno == EACCES) {
552       db_fd = open (db_name, O_RDONLY | MY_O_BINARY );
553       if (db_fd != -1)
554           log_info (_("NOTE: trustdb not writable\n"));
555   }
556   if ( db_fd == -1 )
557     log_fatal( _("%s: can't open: %s\n"), db_name, strerror(errno) );
558
559   /* check whether we need to do a version migration */
560   do
561     n = read (db_fd, buf, 5);
562   while (n==-1 && errno == EINTR);
563   if (n == 5 && !memcmp (buf, "\x01gpg\x02", 5))
564     {
565       migrate_from_v2 ();
566     }
567   
568   /* read the version record */
569   if (tdbio_read_record (0, &rec, RECTYPE_VER ) )
570     log_fatal( _("%s: invalid trustdb\n"), db_name );
571 }
572
573
574 /****************
575  * Make a hashtable: type 0 = trust hash
576  */
577 static void
578 create_hashtable( TRUSTREC *vr, int type )
579 {
580     TRUSTREC rec;
581     off_t offset;
582     ulong recnum;
583     int i, n, rc;
584
585     offset = lseek( db_fd, 0, SEEK_END );
586     if( offset == -1 )
587         log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
588     recnum = offset / TRUST_RECORD_LEN;
589     assert(recnum); /* this is will never be the first record */
590
591     if( !type )
592         vr->r.ver.trusthashtbl = recnum;
593
594     /* Now write the records */
595     n = (256+ITEMS_PER_HTBL_RECORD-1) / ITEMS_PER_HTBL_RECORD;
596     for(i=0; i < n; i++, recnum++ ) {
597          memset( &rec, 0, sizeof rec );
598          rec.rectype = RECTYPE_HTBL;
599          rec.recnum = recnum;
600          rc = tdbio_write_record( &rec );
601          if( rc )
602              log_fatal( _("%s: failed to create hashtable: %s\n"),
603                                         db_name, g10_errstr(rc));
604     }
605     /* update the version record */
606     rc = tdbio_write_record( vr );
607     if( !rc )
608         rc = tdbio_sync();
609     if( rc )
610         log_fatal( _("%s: error updating version record: %s\n"),
611                                                   db_name, g10_errstr(rc));
612 }
613
614
615 int
616 tdbio_db_matches_options()
617 {
618     static int yes_no = -1;
619
620     if( yes_no == -1 ) {
621         TRUSTREC vr;
622         int rc;
623
624         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
625         if( rc )
626             log_fatal( _("%s: error reading version record: %s\n"),
627                                                     db_name, g10_errstr(rc) );
628
629         if( !vr.r.ver.marginals && !vr.r.ver.completes
630                                 && !vr.r.ver.cert_depth )
631         {   /* special hack for trustdbs created by old versions of GnuPG */
632             vr.r.ver.marginals =  opt.marginals_needed;
633             vr.r.ver.completes =  opt.completes_needed;
634             vr.r.ver.cert_depth = opt.max_cert_depth;
635             rc = tdbio_write_record( &vr );
636             if( !rc && !in_transaction )
637                 rc = tdbio_sync();
638             if( rc )
639                 log_error( _("%s: error writing version record: %s\n"),
640                                                 db_name, g10_errstr(rc) );
641         }
642
643         yes_no = vr.r.ver.marginals == opt.marginals_needed
644                  && vr.r.ver.completes == opt.completes_needed
645                  && vr.r.ver.cert_depth == opt.max_cert_depth;
646     }
647     return yes_no;
648 }
649
650
651 /****************
652  * Return the nextstamp value.
653  */
654 ulong
655 tdbio_read_nextcheck ()
656 {
657     TRUSTREC vr;
658     int rc;
659
660     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
661     if( rc )
662         log_fatal( _("%s: error reading version record: %s\n"),
663                                                     db_name, g10_errstr(rc) );
664     return vr.r.ver.nextcheck;
665 }
666
667 /* Return true when the stamp was actually changed. */
668 int
669 tdbio_write_nextcheck (ulong stamp)
670 {
671     TRUSTREC vr;
672     int rc;
673
674     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
675     if( rc )
676         log_fatal( _("%s: error reading version record: %s\n"),
677                                        db_name, g10_errstr(rc) );
678
679     if (vr.r.ver.nextcheck == stamp)
680       return 0;
681
682     vr.r.ver.nextcheck = stamp;
683     rc = tdbio_write_record( &vr );
684     if( rc )
685         log_fatal( _("%s: error writing version record: %s\n"),
686                                        db_name, g10_errstr(rc) );
687     return 1;
688 }
689
690
691
692 /****************
693  * Return the record number of the trusthash tbl or create a new one.
694  */
695 static ulong
696 get_trusthashrec(void)
697 {
698     static ulong trusthashtbl; /* record number of the trust hashtable */
699
700     if( !trusthashtbl ) {
701         TRUSTREC vr;
702         int rc;
703
704         rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
705         if( rc )
706             log_fatal( _("%s: error reading version record: %s\n"),
707                                             db_name, g10_errstr(rc) );
708         if( !vr.r.ver.trusthashtbl )
709             create_hashtable( &vr, 0 );
710
711         trusthashtbl = vr.r.ver.trusthashtbl;
712     }
713     return trusthashtbl;
714 }
715
716
717
718 /****************
719  * Update a hashtable.
720  * table gives the start of the table, key and keylen is the key,
721  * newrecnum is the record number to insert.
722  */
723 static int
724 upd_hashtable( ulong table, byte *key, int keylen, ulong newrecnum )
725 {
726     TRUSTREC lastrec, rec;
727     ulong hashrec, item;
728     int msb;
729     int level=0;
730     int rc, i;
731
732     hashrec = table;
733   next_level:
734     msb = key[level];
735     hashrec += msb / ITEMS_PER_HTBL_RECORD;
736     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
737     if( rc ) {
738         log_error( db_name, "upd_hashtable: read failed: %s\n",
739                                                         g10_errstr(rc) );
740         return rc;
741     }
742
743     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
744     if( !item ) { /* insert a new item into the hash table */
745         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = newrecnum;
746         rc = tdbio_write_record( &rec );
747         if( rc ) {
748             log_error( db_name, "upd_hashtable: write htbl failed: %s\n",
749                                                             g10_errstr(rc) );
750             return rc;
751         }
752     }
753     else if( item != newrecnum ) {  /* must do an update */
754         lastrec = rec;
755         rc = tdbio_read_record( item, &rec, 0 );
756         if( rc ) {
757             log_error( "upd_hashtable: read item failed: %s\n",
758                                                             g10_errstr(rc) );
759             return rc;
760         }
761
762         if( rec.rectype == RECTYPE_HTBL ) {
763             hashrec = item;
764             level++;
765             if( level >= keylen ) {
766                 log_error( "hashtable has invalid indirections.\n");
767                 return G10ERR_TRUSTDB;
768             }
769             goto next_level;
770         }
771         else if( rec.rectype == RECTYPE_HLST ) { /* extend list */
772             /* see whether the key is already in this list */
773             for(;;) {
774                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
775                     if( rec.r.hlst.rnum[i] == newrecnum ) {
776                         return 0; /* okay, already in the list */
777                     }
778                 }
779                 if( rec.r.hlst.next ) {
780                     rc = tdbio_read_record( rec.r.hlst.next,
781                                                        &rec, RECTYPE_HLST);
782                     if( rc ) {
783                         log_error( "upd_hashtable: read hlst failed: %s\n",
784                                                              g10_errstr(rc) );
785                         return rc;
786                     }
787                 }
788                 else
789                     break; /* not there */
790             }
791             /* find the next free entry and put it in */
792             for(;;) {
793                 for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
794                     if( !rec.r.hlst.rnum[i] ) {
795                         rec.r.hlst.rnum[i] = newrecnum;
796                         rc = tdbio_write_record( &rec );
797                         if( rc )
798                             log_error( "upd_hashtable: write hlst failed: %s\n",
799                                                               g10_errstr(rc) );
800                         return rc; /* done */
801                     }
802                 }
803                 if( rec.r.hlst.next ) {
804                     rc = tdbio_read_record( rec.r.hlst.next,
805                                                       &rec, RECTYPE_HLST );
806                     if( rc ) {
807                         log_error( "upd_hashtable: read hlst failed: %s\n",
808                                                              g10_errstr(rc) );
809                         return rc;
810                     }
811                 }
812                 else { /* add a new list record */
813                     rec.r.hlst.next = item = tdbio_new_recnum();
814                     rc = tdbio_write_record( &rec );
815                     if( rc ) {
816                         log_error( "upd_hashtable: write hlst failed: %s\n",
817                                                           g10_errstr(rc) );
818                         return rc;
819                     }
820                     memset( &rec, 0, sizeof rec );
821                     rec.rectype = RECTYPE_HLST;
822                     rec.recnum = item;
823                     rec.r.hlst.rnum[0] = newrecnum;
824                     rc = tdbio_write_record( &rec );
825                     if( rc )
826                         log_error( "upd_hashtable: write ext hlst failed: %s\n",
827                                                           g10_errstr(rc) );
828                     return rc; /* done */
829                 }
830             } /* end loop over hlst slots */
831         }
832         else if( rec.rectype == RECTYPE_TRUST ) { /* insert a list record */
833             if( rec.recnum == newrecnum ) {
834                 return 0;
835             }
836             item = rec.recnum; /* save number of key record */
837             memset( &rec, 0, sizeof rec );
838             rec.rectype = RECTYPE_HLST;
839             rec.recnum = tdbio_new_recnum();
840             rec.r.hlst.rnum[0] = item;       /* old keyrecord */
841             rec.r.hlst.rnum[1] = newrecnum; /* and new one */
842             rc = tdbio_write_record( &rec );
843             if( rc ) {
844                 log_error( "upd_hashtable: write new hlst failed: %s\n",
845                                                   g10_errstr(rc) );
846                 return rc;
847             }
848             /* update the hashtable record */
849             lastrec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = rec.recnum;
850             rc = tdbio_write_record( &lastrec );
851             if( rc )
852                 log_error( "upd_hashtable: update htbl failed: %s\n",
853                                                              g10_errstr(rc) );
854             return rc; /* ready */
855         }
856         else {
857             log_error( "hashtbl %lu: %lu/%d points to an invalid record %lu\n",
858                        table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
859             list_trustdb(NULL);
860             return G10ERR_TRUSTDB;
861         }
862     }
863
864     return 0;
865 }
866
867
868 /****************
869  * Drop an entry from a hashtable
870  * table gives the start of the table, key and keylen is the key,
871  */
872 static int
873 drop_from_hashtable( ulong table, byte *key, int keylen, ulong recnum )
874 {
875     TRUSTREC rec;
876     ulong hashrec, item;
877     int msb;
878     int level=0;
879     int rc, i;
880
881     hashrec = table;
882   next_level:
883     msb = key[level];
884     hashrec += msb / ITEMS_PER_HTBL_RECORD;
885     rc = tdbio_read_record( hashrec, &rec, RECTYPE_HTBL );
886     if( rc ) {
887         log_error( db_name, "drop_from_hashtable: read failed: %s\n",
888                                                         g10_errstr(rc) );
889         return rc;
890     }
891
892     item = rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
893     if( !item )  /* not found - forget about it  */
894         return 0;
895
896     if( item == recnum ) {  /* tables points direct to the record */
897         rec.r.htbl.item[msb % ITEMS_PER_HTBL_RECORD] = 0;
898         rc = tdbio_write_record( &rec );
899         if( rc )
900             log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
901                                                             g10_errstr(rc) );
902         return rc;
903     }
904
905     rc = tdbio_read_record( item, &rec, 0 );
906     if( rc ) {
907         log_error( "drop_from_hashtable: read item failed: %s\n",
908                                                         g10_errstr(rc) );
909         return rc;
910     }
911
912     if( rec.rectype == RECTYPE_HTBL ) {
913         hashrec = item;
914         level++;
915         if( level >= keylen ) {
916             log_error( "hashtable has invalid indirections.\n");
917             return G10ERR_TRUSTDB;
918         }
919         goto next_level;
920     }
921
922     if( rec.rectype == RECTYPE_HLST ) {
923         for(;;) {
924             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
925                 if( rec.r.hlst.rnum[i] == recnum ) {
926                     rec.r.hlst.rnum[i] = 0; /* drop */
927                     rc = tdbio_write_record( &rec );
928                     if( rc )
929                         log_error( db_name, "drop_from_hashtable: write htbl failed: %s\n",
930                                                                         g10_errstr(rc) );
931                     return rc;
932                 }
933             }
934             if( rec.r.hlst.next ) {
935                 rc = tdbio_read_record( rec.r.hlst.next,
936                                                    &rec, RECTYPE_HLST);
937                 if( rc ) {
938                     log_error( "drop_from_hashtable: read hlst failed: %s\n",
939                                                          g10_errstr(rc) );
940                     return rc;
941                 }
942             }
943             else
944                 return 0; /* key not in table */
945         }
946     }
947
948     log_error( "hashtbl %lu: %lu/%d points to wrong record %lu\n",
949                     table, hashrec, (msb % ITEMS_PER_HTBL_RECORD), item);
950     return G10ERR_TRUSTDB;
951 }
952
953
954
955 /****************
956  * Lookup a record via the hashtable tablewith key/keylen and return the
957  * result in rec.  cmp() should return if the record is the desired one.
958  * Returns -1 if not found, 0 if found or another errocode
959  */
960 static int
961 lookup_hashtable( ulong table, const byte *key, size_t keylen,
962                   int (*cmpfnc)(void*, const TRUSTREC *), void *cmpdata,
963                                                 TRUSTREC *rec )
964 {
965     int rc;
966     ulong hashrec, item;
967     int msb;
968     int level=0;
969
970     hashrec = table;
971   next_level:
972     msb = key[level];
973     hashrec += msb / ITEMS_PER_HTBL_RECORD;
974     rc = tdbio_read_record( hashrec, rec, RECTYPE_HTBL );
975     if( rc ) {
976         log_error( db_name, "lookup_hashtable failed: %s\n", g10_errstr(rc) );
977         return rc;
978     }
979
980     item = rec->r.htbl.item[msb % ITEMS_PER_HTBL_RECORD];
981     if( !item )
982         return -1; /* not found */
983
984     rc = tdbio_read_record( item, rec, 0 );
985     if( rc ) {
986         log_error( db_name, "hashtable read failed: %s\n", g10_errstr(rc) );
987         return rc;
988     }
989     if( rec->rectype == RECTYPE_HTBL ) {
990         hashrec = item;
991         level++;
992         if( level >= keylen ) {
993             log_error( db_name, "hashtable has invalid indirections\n");
994             return G10ERR_TRUSTDB;
995         }
996         goto next_level;
997     }
998     else if( rec->rectype == RECTYPE_HLST ) {
999         for(;;) {
1000             int i;
1001
1002             for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1003                 if( rec->r.hlst.rnum[i] ) {
1004                     TRUSTREC tmp;
1005
1006                     rc = tdbio_read_record( rec->r.hlst.rnum[i], &tmp, 0 );
1007                     if( rc ) {
1008                         log_error( "lookup_hashtable: read item failed: %s\n",
1009                                                               g10_errstr(rc) );
1010                         return rc;
1011                     }
1012                     if( (*cmpfnc)( cmpdata, &tmp ) ) {
1013                         *rec = tmp;
1014                         return 0;
1015                     }
1016                 }
1017             }
1018             if( rec->r.hlst.next ) {
1019                 rc = tdbio_read_record( rec->r.hlst.next, rec, RECTYPE_HLST );
1020                 if( rc ) {
1021                     log_error( "lookup_hashtable: read hlst failed: %s\n",
1022                                                          g10_errstr(rc) );
1023                     return rc;
1024                 }
1025             }
1026             else
1027                 return -1; /* not found */
1028         }
1029     }
1030
1031
1032     if( (*cmpfnc)( cmpdata, rec ) )
1033         return 0; /* really found */
1034
1035     return -1; /* no: not found */
1036 }
1037
1038
1039 /****************
1040  * Update the trust hashtbl or create the table if it does not exist
1041  */
1042 static int
1043 update_trusthashtbl( TRUSTREC *tr )
1044 {
1045     return upd_hashtable( get_trusthashrec(),
1046                           tr->r.trust.fingerprint, 20, tr->recnum );
1047 }
1048
1049
1050
1051 void
1052 tdbio_dump_record( TRUSTREC *rec, FILE *fp  )
1053 {
1054     int i;
1055     ulong rnum = rec->recnum;
1056
1057     fprintf(fp, "rec %5lu, ", rnum );
1058
1059     switch( rec->rectype ) {
1060       case 0: fprintf(fp, "blank\n");
1061         break;
1062       case RECTYPE_VER: fprintf(fp,
1063             "version, td=%lu, f=%lu, m/c/d=%d/%d/%d nc=%lu (%s)\n",
1064                                    rec->r.ver.trusthashtbl,
1065                                    rec->r.ver.firstfree,
1066                                    rec->r.ver.marginals,
1067                                    rec->r.ver.completes,
1068                                    rec->r.ver.cert_depth,
1069                                    rec->r.ver.nextcheck,
1070                                    strtimestamp(rec->r.ver.nextcheck)
1071                                  );
1072         break;
1073       case RECTYPE_FREE: fprintf(fp, "free, next=%lu\n", rec->r.free.next );
1074         break;
1075       case RECTYPE_HTBL:
1076         fprintf(fp, "htbl,");
1077         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ )
1078             fprintf(fp, " %lu", rec->r.htbl.item[i] );
1079         putc('\n', fp);
1080         break;
1081       case RECTYPE_HLST:
1082         fprintf(fp, "hlst, next=%lu,", rec->r.hlst.next );
1083         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ )
1084             fprintf(fp, " %lu", rec->r.hlst.rnum[i] );
1085         putc('\n', fp);
1086         break;
1087       case RECTYPE_TRUST:
1088         fprintf(fp, "trust ");
1089         for(i=0; i < 20; i++ )
1090             fprintf(fp, "%02X", rec->r.trust.fingerprint[i] );
1091         fprintf (fp, ", ot=%d, d=%d, vl=%lu\n", rec->r.trust.ownertrust,
1092                  rec->r.trust.depth, rec->r.trust.validlist);
1093         break;
1094       case RECTYPE_VALID:
1095         fprintf(fp, "valid ");
1096         for(i=0; i < 20; i++ )
1097             fprintf(fp, "%02X", rec->r.valid.namehash[i] );
1098         fprintf (fp, ", v=%d, next=%lu\n", rec->r.valid.validity,
1099                  rec->r.valid.next);
1100         break;
1101       default:
1102         fprintf(fp, "unknown type %d\n", rec->rectype );
1103         break;
1104     }
1105 }
1106
1107 /****************
1108  * read the record with number recnum
1109  * returns: -1 on error, 0 on success
1110  */
1111 int
1112 tdbio_read_record( ulong recnum, TRUSTREC *rec, int expected )
1113 {
1114     byte readbuf[TRUST_RECORD_LEN];
1115     const byte *buf, *p;
1116     int rc = 0;
1117     int n, i;
1118
1119     if( db_fd == -1 )
1120         open_db();
1121     buf = get_record_from_cache( recnum );
1122     if( !buf ) {
1123         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1124             log_error(_("trustdb: lseek failed: %s\n"), strerror(errno) );
1125             return G10ERR_READ_FILE;
1126         }
1127         n = read( db_fd, readbuf, TRUST_RECORD_LEN);
1128         if( !n ) {
1129             return -1; /* eof */
1130         }
1131         else if( n != TRUST_RECORD_LEN ) {
1132             log_error(_("trustdb: read failed (n=%d): %s\n"), n,
1133                                                         strerror(errno) );
1134             return G10ERR_READ_FILE;
1135         }
1136         buf = readbuf;
1137     }
1138     rec->recnum = recnum;
1139     rec->dirty = 0;
1140     p = buf;
1141     rec->rectype = *p++;
1142     if( expected && rec->rectype != expected ) {
1143         log_error("%lu: read expected rec type %d, got %d\n",
1144                     recnum, expected, rec->rectype );
1145         return G10ERR_TRUSTDB;
1146     }
1147     p++;    /* skip reserved byte */
1148     switch( rec->rectype ) {
1149       case 0:  /* unused (free) record */
1150         break;
1151       case RECTYPE_VER: /* version record */
1152         if( memcmp(buf+1, "gpg", 3 ) ) {
1153             log_error( _("%s: not a trustdb file\n"), db_name );
1154             rc = G10ERR_TRUSTDB;
1155         }
1156         p += 2; /* skip "gpg" */
1157         rec->r.ver.version  = *p++;
1158         rec->r.ver.marginals = *p++;
1159         rec->r.ver.completes = *p++;
1160         rec->r.ver.cert_depth = *p++;
1161         p += 4; /* lock flags */
1162         rec->r.ver.created  = buftoulong(p); p += 4;
1163         rec->r.ver.nextcheck = buftoulong(p); p += 4;
1164         p += 4;
1165         p += 4;
1166         rec->r.ver.firstfree =buftoulong(p); p += 4;
1167         p += 4;
1168         rec->r.ver.trusthashtbl =buftoulong(p); p += 4;
1169         if( recnum ) {
1170             log_error( _("%s: version record with recnum %lu\n"), db_name,
1171                                                              (ulong)recnum );
1172             rc = G10ERR_TRUSTDB;
1173         }
1174         else if( rec->r.ver.version != 3 ) {
1175             log_error( _("%s: invalid file version %d\n"), db_name,
1176                                                         rec->r.ver.version );
1177             rc = G10ERR_TRUSTDB;
1178         }
1179         break;
1180       case RECTYPE_FREE:
1181         rec->r.free.next  = buftoulong(p); p += 4;
1182         break;
1183       case RECTYPE_HTBL:
1184         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1185             rec->r.htbl.item[i] = buftoulong(p); p += 4;
1186         }
1187         break;
1188       case RECTYPE_HLST:
1189         rec->r.hlst.next = buftoulong(p); p += 4;
1190         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1191             rec->r.hlst.rnum[i] = buftoulong(p); p += 4;
1192         }
1193         break;
1194       case RECTYPE_TRUST:
1195         memcpy( rec->r.trust.fingerprint, p, 20); p+=20;
1196         rec->r.trust.ownertrust = *p++;
1197         rec->r.trust.depth = *p++;
1198         p += 2;
1199         rec->r.trust.validlist  = buftoulong(p); p += 4;
1200         break;
1201       case RECTYPE_VALID:
1202         memcpy( rec->r.valid.namehash, p, 20); p+=20;
1203         rec->r.valid.validity = *p++;
1204         rec->r.valid.next = buftoulong(p); p += 4;
1205         break;
1206       default:
1207         log_error( "%s: invalid record type %d at recnum %lu\n",
1208                                    db_name, rec->rectype, (ulong)recnum );
1209         rc = G10ERR_TRUSTDB;
1210         break;
1211     }
1212
1213     return rc;
1214 }
1215
1216 /****************
1217  * Write the record at RECNUM
1218  */
1219 int
1220 tdbio_write_record( TRUSTREC *rec )
1221 {
1222     byte buf[TRUST_RECORD_LEN], *p;
1223     int rc = 0;
1224     int i;
1225     ulong recnum = rec->recnum;
1226
1227     if( db_fd == -1 )
1228         open_db();
1229
1230     memset(buf, 0, TRUST_RECORD_LEN);
1231     p = buf;
1232     *p++ = rec->rectype; p++;
1233     switch( rec->rectype ) {
1234       case 0:  /* unused record */
1235         break;
1236       case RECTYPE_VER: /* version record */
1237         if( recnum )
1238             BUG();
1239         memcpy(p-1, "gpg", 3 ); p += 2;
1240         *p++ = rec->r.ver.version;
1241         *p++ = rec->r.ver.marginals;
1242         *p++ = rec->r.ver.completes;
1243         *p++ = rec->r.ver.cert_depth;
1244         p += 4; /* skip lock flags */
1245         ulongtobuf(p, rec->r.ver.created); p += 4;
1246         ulongtobuf(p, rec->r.ver.nextcheck); p += 4;
1247         p += 4;
1248         p += 4;
1249         ulongtobuf(p, rec->r.ver.firstfree ); p += 4;
1250         p += 4;
1251         ulongtobuf(p, rec->r.ver.trusthashtbl ); p += 4;
1252         break;
1253
1254       case RECTYPE_FREE:
1255         ulongtobuf(p, rec->r.free.next); p += 4;
1256         break;
1257
1258
1259       case RECTYPE_HTBL:
1260         for(i=0; i < ITEMS_PER_HTBL_RECORD; i++ ) {
1261             ulongtobuf( p, rec->r.htbl.item[i]); p += 4;
1262         }
1263         break;
1264
1265       case RECTYPE_HLST:
1266         ulongtobuf( p, rec->r.hlst.next); p += 4;
1267         for(i=0; i < ITEMS_PER_HLST_RECORD; i++ ) {
1268             ulongtobuf( p, rec->r.hlst.rnum[i]); p += 4;
1269         }
1270         break;
1271
1272       case RECTYPE_TRUST:
1273         memcpy( p, rec->r.trust.fingerprint, 20); p += 20;
1274         *p++ = rec->r.trust.ownertrust;
1275         *p++ = rec->r.trust.depth;
1276         p += 2;
1277         ulongtobuf( p, rec->r.trust.validlist); p += 4;
1278         break;
1279
1280       case RECTYPE_VALID:
1281         memcpy( p, rec->r.valid.namehash, 20); p += 20;
1282         *p++ = rec->r.valid.validity;
1283         ulongtobuf( p, rec->r.valid.next); p += 4;
1284         break;
1285
1286       default:
1287         BUG();
1288     }
1289
1290     rc = put_record_into_cache( recnum, buf );
1291     if( rc )
1292         ;
1293     else if( rec->rectype == RECTYPE_TRUST )
1294         rc = update_trusthashtbl( rec );
1295
1296     return rc;
1297 }
1298
1299 int
1300 tdbio_delete_record( ulong recnum )
1301 {
1302     TRUSTREC vr, rec;
1303     int rc;
1304
1305     /* Must read the record fist, so we can drop it from the hash tables */
1306     rc = tdbio_read_record( recnum, &rec, 0 );
1307     if( rc )
1308         ;
1309     else if( rec.rectype == RECTYPE_TRUST ) {
1310          rc = drop_from_hashtable( get_trusthashrec(),
1311                                    rec.r.trust.fingerprint, 20, rec.recnum );
1312     }
1313
1314     if( rc )
1315         return rc;
1316
1317     /* now we can chnage it to a free record */
1318     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1319     if( rc )
1320         log_fatal( _("%s: error reading version record: %s\n"),
1321                                        db_name, g10_errstr(rc) );
1322
1323     rec.recnum = recnum;
1324     rec.rectype = RECTYPE_FREE;
1325     rec.r.free.next = vr.r.ver.firstfree;
1326     vr.r.ver.firstfree = recnum;
1327     rc = tdbio_write_record( &rec );
1328     if( !rc )
1329         rc = tdbio_write_record( &vr );
1330     return rc;
1331 }
1332
1333 /****************
1334  * create a new record and return its record number
1335  */
1336 ulong
1337 tdbio_new_recnum()
1338 {
1339     off_t offset;
1340     ulong recnum;
1341     TRUSTREC vr, rec;
1342     int rc;
1343
1344     /* look for unused records */
1345     rc = tdbio_read_record( 0, &vr, RECTYPE_VER );
1346     if( rc )
1347         log_fatal( _("%s: error reading version record: %s\n"),
1348                                              db_name, g10_errstr(rc) );
1349     if( vr.r.ver.firstfree ) {
1350         recnum = vr.r.ver.firstfree;
1351         rc = tdbio_read_record( recnum, &rec, RECTYPE_FREE );
1352         if( rc ) {
1353             log_error( _("%s: error reading free record: %s\n"),
1354                                                   db_name,  g10_errstr(rc) );
1355             return rc;
1356         }
1357         /* update dir record */
1358         vr.r.ver.firstfree = rec.r.free.next;
1359         rc = tdbio_write_record( &vr );
1360         if( rc ) {
1361             log_error( _("%s: error writing dir record: %s\n"),
1362                                                      db_name, g10_errstr(rc) );
1363             return rc;
1364         }
1365         /*zero out the new record */
1366         memset( &rec, 0, sizeof rec );
1367         rec.rectype = 0; /* unused record */
1368         rec.recnum = recnum;
1369         rc = tdbio_write_record( &rec );
1370         if( rc )
1371             log_fatal(_("%s: failed to zero a record: %s\n"),
1372                                        db_name, g10_errstr(rc));
1373     }
1374     else { /* not found, append a new record */
1375         offset = lseek( db_fd, 0, SEEK_END );
1376         if( offset == -1 )
1377             log_fatal("trustdb: lseek to end failed: %s\n", strerror(errno) );
1378         recnum = offset / TRUST_RECORD_LEN;
1379         assert(recnum); /* this is will never be the first record */
1380         /* we must write a record, so that the next call to this function
1381          * returns another recnum */
1382         memset( &rec, 0, sizeof rec );
1383         rec.rectype = 0; /* unused record */
1384         rec.recnum = recnum;
1385         rc = 0;
1386         if( lseek( db_fd, recnum * TRUST_RECORD_LEN, SEEK_SET ) == -1 ) {
1387             log_error(_("trustdb rec %lu: lseek failed: %s\n"),
1388                                                 recnum, strerror(errno) );
1389             rc = G10ERR_WRITE_FILE;
1390         }
1391         else {
1392             int n = write( db_fd, &rec, TRUST_RECORD_LEN);
1393             if( n != TRUST_RECORD_LEN ) {
1394                 log_error(_("trustdb rec %lu: write failed (n=%d): %s\n"),
1395                                                  recnum, n, strerror(errno) );
1396                 rc = G10ERR_WRITE_FILE;
1397             }
1398         }
1399
1400         if( rc )
1401             log_fatal(_("%s: failed to append a record: %s\n"),
1402                                     db_name,    g10_errstr(rc));
1403     }
1404     return recnum ;
1405 }
1406
1407
1408
1409 static int
1410 cmp_trec_fpr ( void *fpr, const TRUSTREC *rec )
1411 {
1412     return rec->rectype == RECTYPE_TRUST
1413            && !memcmp( rec->r.trust.fingerprint, fpr, 20);
1414 }
1415
1416
1417 int
1418 tdbio_search_trust_byfpr( const byte *fingerprint, TRUSTREC *rec )
1419 {
1420     int rc;
1421
1422     /* locate the trust record using the hash table */
1423     rc = lookup_hashtable( get_trusthashrec(), fingerprint, 20,
1424                            cmp_trec_fpr, (void*)fingerprint, rec );
1425     return rc;
1426 }
1427
1428 int
1429 tdbio_search_trust_bypk (PKT_public_key *pk, TRUSTREC *rec)
1430 {
1431     byte fingerprint[MAX_FINGERPRINT_LEN];
1432     size_t fingerlen;
1433
1434     fingerprint_from_pk( pk, fingerprint, &fingerlen );
1435     for (; fingerlen < 20; fingerlen++ )
1436       fingerprint[fingerlen] = 0;
1437     return tdbio_search_trust_byfpr (fingerprint, rec);
1438 }
1439
1440
1441
1442 void
1443 tdbio_invalid(void)
1444 {
1445     log_error(_(
1446         "the trustdb is corrupted; please run \"gpg --fix-trustdb\".\n") );
1447     g10_exit(2);
1448 }
1449
1450 /*
1451  * Migrate the trustdb as just up to gpg 1.0.6 (trustdb version 2)
1452  * to the 2.1 version as used with 1.0.6b - This is pretty trivial as needs
1453  * only to scan the tdb and insert new the new trust records.  The old ones are
1454  * obsolte from now on
1455  */
1456 static void
1457 migrate_from_v2 ()
1458 {
1459   TRUSTREC rec;
1460   int i, n;
1461   struct {
1462     ulong keyrecno;
1463     byte  ot;
1464     byte okay;
1465     byte  fpr[20];
1466   } *ottable;
1467   int ottable_size, ottable_used;
1468   byte oldbuf[40];
1469   ulong recno;
1470   int rc, count;
1471
1472   ottable_size = 5;
1473   ottable = m_alloc (ottable_size * sizeof *ottable);
1474   ottable_used = 0;
1475
1476   /* We have some restrictions here.  We can't use the version record
1477    * and we can't use any of the old hashtables because we dropped the
1478    * code.  So we first collect all ownertrusts and then use a second
1479    * pass fo find the associated keys.  We have to do this all without using 
1480    * the regular record read functions.
1481    */
1482
1483   /* get all the ownertrusts */
1484   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1485       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1486   for (recno=0;;recno++)
1487     {
1488       do
1489         n = read (db_fd, oldbuf, 40);
1490       while (n==-1 && errno == EINTR);
1491       if (!n)
1492         break; /* eof */
1493       if (n != 40)
1494         log_fatal ("migrate_vfrom_v2: read error or short read\n");
1495
1496       if (*oldbuf != 2)
1497         continue;
1498       
1499       /* v2 dir record */
1500       if (ottable_used == ottable_size)
1501         {
1502           ottable_size += 1000;
1503           ottable = m_realloc (ottable, ottable_size * sizeof *ottable);
1504         }
1505       ottable[ottable_used].keyrecno = buftoulong (oldbuf+6);
1506       ottable[ottable_used].ot = oldbuf[18];
1507       ottable[ottable_used].okay = 0;
1508       memset (ottable[ottable_used].fpr,0, 20);
1509       if (ottable[ottable_used].keyrecno && ottable[ottable_used].ot)
1510         ottable_used++;
1511     }
1512   log_info ("found %d ownertrust records\n", ottable_used);
1513
1514   /* Read again and find the fingerprints */
1515   if (lseek (db_fd, 0, SEEK_SET ) == -1 ) 
1516       log_fatal ("migrate_from_v2: lseek failed: %s\n", strerror (errno));
1517   for (recno=0;;recno++)
1518     {
1519       do
1520         n = read (db_fd, oldbuf, 40);
1521       while (n==-1 && errno == EINTR);
1522       if (!n)
1523         break; /* eof */
1524       if (n != 40)
1525         log_fatal ("migrate_from_v2: read error or short read\n");
1526
1527       if (*oldbuf != 3) 
1528         continue;
1529
1530       /* v2 key record */
1531       for (i=0; i < ottable_used; i++)
1532         {
1533           if (ottable[i].keyrecno == recno)
1534             {
1535               memcpy (ottable[i].fpr, oldbuf+20, 20);
1536               ottable[i].okay = 1;
1537               break;
1538             }
1539         }
1540     }
1541
1542   /* got everything - create the v3 trustdb */
1543   if (ftruncate (db_fd, 0))
1544     log_fatal ("can't truncate `%s': %s\n", db_name, strerror (errno) );
1545   if (create_version_record ())
1546     log_fatal ("failed to recreate version record of `%s'\n", db_name);
1547
1548   /* access the hash table, so it is store just after the version record, 
1549    * this is not needed put a dump is more pretty */
1550   get_trusthashrec ();
1551
1552   /* And insert the old ownertrust values */
1553   count = 0;
1554   for (i=0; i < ottable_used; i++)
1555     {
1556       if (!ottable[i].okay)
1557         continue;
1558       
1559       memset (&rec, 0, sizeof rec);
1560       rec.recnum = tdbio_new_recnum ();
1561       rec.rectype = RECTYPE_TRUST;
1562       memcpy(rec.r.trust.fingerprint, ottable[i].fpr, 20);
1563       rec.r.trust.ownertrust = ottable[i].ot;
1564       if (tdbio_write_record (&rec))
1565         log_fatal ("failed to write trust record of `%s'\n", db_name);
1566       count++;
1567     }
1568
1569   revalidation_mark ();
1570   rc = tdbio_sync ();
1571   if (rc)
1572     log_fatal ("failed to sync `%s'\n", db_name);
1573   log_info ("migrated %d version 2 ownertrusts\n", count);
1574   m_free (ottable);
1575 }
1576
1577
1578