* DETAILS: Document PLAINTEXT and PLAINTEXT_LENGTH.
[gnupg.git] / doc / DETAILS
1
2 Format of colon listings
3 ========================
4 First an example:
5
6 $ gpg --fixed-list-mode --with-colons --list-keys \
7    --with-fingerprint --with-fingerprint wk@gnupg.org
8
9 pub:f:1024:17:6C7EE1B8621CC013:899817715:1055898235::m:::scESC:
10 fpr:::::::::ECAF7590EB3443B5C7CF3ACB6C7EE1B8621CC013:
11 uid:f::::::::Werner Koch <wk@g10code.com>:
12 uid:f::::::::Werner Koch <wk@gnupg.org>:
13 sub:f:1536:16:06AD222CADF6A6E1:919537416:1036177416:::::e:
14 fpr:::::::::CF8BCC4B18DE08FCD8A1615906AD222CADF6A6E1:
15 sub:r:1536:20:5CE086B5B5A18FF4:899817788:1025961788:::::esc:
16 fpr:::::::::AB059359A3B81F410FCFF97F5CE086B5B5A18FF4:
17
18 The double --with-fingerprint prints the fingerprint for the subkeys
19 too, --fixed-list-mode is themodern listing way printing dates in
20 seconds since Epoch and does not merge the first userID with the pub
21 record.
22
23
24  1. Field:  Type of record
25             pub = public key
26             crt = X.509 certificate
27             crs = X.509 certificate and private key available
28             sub = subkey (secondary key)
29             sec = secret key
30             ssb = secret subkey (secondary key)
31             uid = user id (only field 10 is used).
32             uat = user attribute (same as user id except for field 10).
33             sig = signature
34             rev = revocation signature
35             fpr = fingerprint: (fingerprint is in field 10)
36             pkd = public key data (special field format, see below)
37             grp = reserved for gpgsm
38             rvk = revocation key
39             tru = trust database information
40
41  2. Field:  A letter describing the calculated trust. This is a single
42             letter, but be prepared that additional information may follow
43             in some future versions. (not used for secret keys)
44                 o = Unknown (this key is new to the system)
45                 i = The key is invalid (e.g. due to a missing self-signature)
46                 d = The key has been disabled
47                     (deprecated - use the 'D' in field 12 instead)
48                 r = The key has been revoked
49                 e = The key has expired
50                 - = Unknown trust (i.e. no value assigned)
51                 q = Undefined trust
52                     '-' and 'q' may safely be treated as the same
53                     value for most purposes
54                 n = Don't trust this key at all
55                 m = There is marginal trust in this key
56                 f = The key is fully trusted
57                 u = The key is ultimately trusted.  This often means
58                     that the secret key is available, but any key may
59                     be marked as ultimately trusted.
60  3. Field:  length of key in bits.
61  4. Field:  Algorithm:  1 = RSA
62                        16 = Elgamal (encrypt only)
63                        17 = DSA (sometimes called DH, sign only)
64                        20 = Elgamal (sign and encrypt - don't use them!)
65             (for other id's see include/cipher.h)
66  5. Field:  KeyID
67  6. Field:  Creation Date (in UTC).  For UID and UAT records, this is the
68             self-signature date.  Note that the dae is usally printed
69             in seconds since epoch, however, we are migrating to an ISO
70             8601 format (e.g. "19660205T091500").  This is currently
71             only relevant for X.509, A simple way to detect the format
72             is be scannning for the 'T'.
73  7. Field:  Key or user ID/user attribute expiration date or empty if none.
74  8. Field:  Used for serial number in crt records (used to be the Local-ID).
75             For UID and UAT records, this is a hash of the user ID contents
76             used to represent that exact user ID.  For trust signatures,
77             this is the trust depth seperated by the trust value by a
78             space.
79  9. Field:  Ownertrust (primary public keys only)
80             This is a single letter, but be prepared that additional
81             information may follow in some future versions.  For trust
82             signatures with a regular expression, this is the regular
83             expression value, quoted as in field 10.
84 10. Field:  User-ID.  The value is quoted like a C string to avoid
85             control characters (the colon is quoted "\x3a").
86             This is not used with --fixed-list-mode in gpg.
87             A UAT record puts the attribute subpacket count here, a
88             space, and then the total attribute subpacket size.
89             In gpgsm the issuer name comes here
90             An FPR record stores the fingerprint here.
91             The fingerprint of an revocation key is stored here.
92 11. Field:  Signature class.  This is a 2 digit hexnumber followed by
93             either the letter 'x' for an exportable signature or the
94             letter 'l' for a local-only signature.
95             The class byte of an revocation key is also given here,
96             'x' and 'l' ist used the same way.
97 12. Field:  Key capabilities:
98                 e = encrypt
99                 s = sign
100                 c = certify
101                 a = authentication
102             A key may have any combination of them in any order.  In
103             addition to these letters, the primary key has uppercase
104             versions of the letters to denote the _usable_
105             capabilities of the entire key, and a potential letter 'D'
106             to indicate a disabled key.
107 13. Field:  Used in FPR records for S/MIME keys to store the fingerprint of
108             the issuer certificate.  This is useful to build the
109             certificate path based on certificates stored in the local
110             keyDB; it is only filled if the issue certificate is
111             available. The advantage of using this value is that it is
112             guaranteed to have been been build by the same lookup
113             algorithm as gpgsm uses.
114             For "uid" recods this lists the preferences n the sameway the 
115             -edit menu does.
116             For "sig" records, this is the fingerprint of the key that
117             issued the signature.  Note that this is only filled in if
118             the signature verified correctly.  Note also that for
119             various technical reasons, this fingerprint is only
120             available if --no-sig-cache is used.
121
122 14. Field   Flag field used in the --edit menu output:
123
124 15. Field   Used in sec/sbb to print the serial number of a token
125             (internal protect mode 1002) or a '#' if that key is a
126             simple stub (internal protect mode 1001)
127
128 All dates are displayed in the format yyyy-mm-dd unless you use the
129 option --fixed-list-mode in which case they are displayed as seconds
130 since Epoch.  More fields may be added later, so parsers should be
131 prepared for this. When parsing a number the parser should stop at the
132 first non-number character so that additional information can later be
133 added.
134
135 If field 1 has the tag "pkd", a listing looks like this:
136 pkd:0:1024:B665B1435F4C2 .... FF26ABB:
137     !  !   !-- the value
138     !  !------ for information number of bits in the value
139     !--------- index (eg. DSA goes from 0 to 3: p,q,g,y)
140
141
142 The "tru" trust database records have the fields:
143
144  1: Reason for staleness of trust.  If this field is empty, then the
145     trustdb is not stale.  This field may have multiple flags in it:
146
147     o: Trustdb is old
148     t: Trustdb was built with a different trust model than the one we
149        are using now.
150
151  2: Trust model.  This is always zero (i.e. "Classic") in this version
152     of GnuPG.
153  3: Date trustdb was created in seconds since 1/1/1970.
154  4: Date trustdb will expire in seconds since 1/1/1970.
155
156  
157
158 Format of the "--status-fd" output
159 ==================================
160 Every line is prefixed with "[GNUPG:] ", followed by a keyword with
161 the type of the status line and a some arguments depending on the
162 type (maybe none); an application should always be prepared to see
163 more arguments in future versions.
164
165
166     NEWSIG
167         May be issued right before a signature verification starts.  This
168         is useful to define a context for parsing ERROR status
169         messages.  No arguments are currently defined.
170
171     GOODSIG     <long keyid>  <username>
172         The signature with the keyid is good.  For each signature only
173         one of the three codes GOODSIG, BADSIG or ERRSIG will be
174         emitted and they may be used as a marker for a new signature.
175         The username is the primary one encoded in UTF-8 and %XX
176         escaped.
177
178     EXPSIG      <long keyid>  <username>
179         The signature with the keyid is good, but the signature is
180         expired. The username is the primary one encoded in UTF-8 and
181         %XX escaped.
182
183     EXPKEYSIG   <long keyid>  <username>
184         The signature with the keyid is good, but the signature was
185         made by an expired key. The username is the primary one
186         encoded in UTF-8 and %XX escaped.
187
188     REVKEYSIG   <long keyid>  <username>
189         The signature with the keyid is good, but the signature was
190         made by a revoked key. The username is the primary one
191         encoded in UTF-8 and %XX escaped.
192
193     BADSIG      <long keyid>  <username>
194         The signature with the keyid has not been verified okay.
195         The username is the primary one encoded in UTF-8 and %XX
196         escaped.
197
198     ERRSIG  <long keyid>  <pubkey_algo> <hash_algo> \
199             <sig_class> <timestamp> <rc>
200         It was not possible to check the signature.  This may be
201         caused by a missing public key or an unsupported algorithm.
202         A RC of 4 indicates unknown algorithm, a 9 indicates a missing
203         public key. The other fields give more information about
204         this signature.  sig_class is a 2 byte hex-value.
205
206         Note, that TIMESTAMP may either be a number with seconds since
207         epoch or an ISO 8601 string which can be detected by the
208         presence of the letter 'T' inside.
209
210     VALIDSIG    <fingerprint in hex> <sig_creation_date> <sig-timestamp>
211                 <expire-timestamp> <sig-version> <reserved> <pubkey-algo>
212                 <hash-algo> <sig-class> <primary-key-fpr>
213
214         The signature with the keyid is good. This is the same as
215         GOODSIG but has the fingerprint as the argument. Both status
216         lines are emitted for a good signature.  All arguments here
217         are on one long line.  sig-timestamp is the signature creation
218         time in seconds after the epoch. expire-timestamp is the
219         signature expiration time in seconds after the epoch (zero
220         means "does not expire"). sig-version, pubkey-algo, hash-algo,
221         and sig-class (a 2-byte hex value) are all straight from the
222         signature packet.  PRIMARY-KEY-FPR is the fingerprint of the
223         primary key or identical to the first argument.  This is
224         useful to get back to the primary key without running gpg
225         again for this purpose.
226
227         Note, that *-TIMESTAMP may either be a number with seconds
228         since epoch or an ISO 8601 string which can be detected by the
229         presence of the letter 'T' inside.
230
231     SIG_ID  <radix64_string>  <sig_creation_date>  <sig-timestamp>
232         This is emitted only for signatures of class 0 or 1 which
233         have been verified okay.  The string is a signature id
234         and may be used in applications to detect replay attacks
235         of signed messages.  Note that only DLP algorithms give
236         unique ids - others may yield duplicated ones when they
237         have been created in the same second.
238
239         Note, that SIG-TIMESTAMP may either be a number with seconds
240         since epoch or an ISO 8601 string which can be detected by the
241         presence of the letter 'T' inside.
242
243
244     ENC_TO  <long keyid>  <keytype>  <keylength>
245         The message is encrypted to this keyid.
246         keytype is the numerical value of the public key algorithm,
247         keylength is the length of the key or 0 if it is not known
248         (which is currently always the case).
249
250     NODATA  <what>
251         No data has been found. Codes for what are:
252             1 - No armored data.
253             2 - Expected a packet but did not found one.
254             3 - Invalid packet found, this may indicate a non OpenPGP message.
255         You may see more than one of these status lines.
256
257     UNEXPECTED <what>
258         Unexpected data has been encountered
259             0 - not further specified               1       
260   
261
262     TRUST_UNDEFINED <error token>
263     TRUST_NEVER  <error token>
264     TRUST_MARGINAL
265     TRUST_FULLY
266     TRUST_ULTIMATE
267         For good signatures one of these status lines are emitted
268         to indicate how trustworthy the signature is.  The error token
269         values are currently only emiited by gpgsm.
270
271     SIGEXPIRED
272         This is deprecated in favor of KEYEXPIRED.
273
274     KEYEXPIRED <expire-timestamp>
275         The key has expired.  expire-timestamp is the expiration time
276         in seconds after the epoch.
277
278         Note, that TIMESTAMP may either be a number with seconds since
279         epoch or an ISO 8601 string which can be detected by the
280         presence of the letter 'T' inside.
281
282     KEYREVOKED
283         The used key has been revoked by its owner.  No arguments yet.
284
285     BADARMOR
286         The ASCII armor is corrupted.  No arguments yet.
287
288     RSA_OR_IDEA
289         The IDEA algorithms has been used in the data.  A
290         program might want to fallback to another program to handle
291         the data if GnuPG failed.  This status message used to be emitted
292         also for RSA but this has been dropped after the RSA patent expired.
293         However we can't change the name of the message.
294
295     SHM_INFO
296     SHM_GET
297     SHM_GET_BOOL
298     SHM_GET_HIDDEN
299
300     GET_BOOL
301     GET_LINE
302     GET_HIDDEN
303     GOT_IT
304
305     NEED_PASSPHRASE <long main keyid> <long keyid> <keytype> <keylength>
306         Issued whenever a passphrase is needed.
307         keytype is the numerical value of the public key algorithm
308         or 0 if this is not applicable, keylength is the length
309         of the key or 0 if it is not known (this is currently always the case).
310
311     NEED_PASSPHRASE_SYM <cipher_algo> <s2k_mode> <s2k_hash>
312         Issued whenever a passphrase for symmetric encryption is needed.
313
314     MISSING_PASSPHRASE
315         No passphrase was supplied.  An application which encounters this
316         message may want to stop parsing immediately because the next message
317         will probably be a BAD_PASSPHRASE.  However, if the application
318         is a wrapper around the key edit menu functionality it might not
319         make sense to stop parsing but simply ignoring the following
320         BAD_PASSPHRASE.
321
322     BAD_PASSPHRASE <long keyid>
323         The supplied passphrase was wrong or not given.  In the latter case
324         you may have seen a MISSING_PASSPHRASE.
325
326     GOOD_PASSPHRASE
327         The supplied passphrase was good and the secret key material
328         is therefore usable.
329
330     DECRYPTION_FAILED
331         The symmetric decryption failed - one reason could be a wrong
332         passphrase for a symmetrical encrypted message.
333
334     DECRYPTION_OKAY
335         The decryption process succeeded.  This means, that either the
336         correct secret key has been used or the correct passphrase
337         for a conventional encrypted message was given.  The program
338         itself may return an errorcode because it may not be possible to
339         verify a signature for some reasons.
340
341     NO_PUBKEY  <long keyid>
342     NO_SECKEY  <long keyid>
343         The key is not available
344
345     IMPORTED   <long keyid>  <username>
346         The keyid and name of the signature just imported
347
348     IMPORT_OK  <reason> [<fingerprint>]
349         The key with the primary key's FINGERPRINT has been imported.
350         Reason flags:
351           0 := Not actually changed
352           1 := Entirely new key.
353           2 := New user IDs
354           4 := New signatures
355           8 := New subkeys 
356          16 := Contains private key.
357         The flags may be ORed.
358
359     IMPORT_PROBLEM <reason> [<fingerprint>]
360         Issued for each import failure.  Reason codes are:
361           0 := "No specific reason given".
362           1 := "Invalid Certificate".
363           2 := "Issuer Certificate missing".
364           3 := "Certificate Chain too long".
365           4 := "Error storing certificate".
366
367     IMPORT_RES <count> <no_user_id> <imported> <imported_rsa> <unchanged>
368         <n_uids> <n_subk> <n_sigs> <n_revoc> <sec_read> <sec_imported> <sec_dups> <not_imported>
369         Final statistics on import process (this is one long line)
370
371     FILE_START <what> <filename>
372         Start processing a file <filename>.  <what> indicates the performed
373         operation:
374             1 - verify
375             2 - encrypt
376             3 - decrypt        
377
378     FILE_DONE
379         Marks the end of a file processing which has been started
380         by FILE_START.
381
382     BEGIN_DECRYPTION
383     END_DECRYPTION
384         Mark the start and end of the actual decryption process.  These
385         are also emitted when in --list-only mode.
386
387     BEGIN_ENCRYPTION  <mdc_method> <sym_algo>
388     END_ENCRYPTION
389         Mark the start and end of the actual encryption process.
390
391     DELETE_PROBLEM reason_code
392         Deleting a key failed.  Reason codes are:
393             1 - No such key
394             2 - Must delete secret key first
395             3 - Ambigious specification
396
397     PROGRESS what char cur total
398         Used by the primegen and Public key functions to indicate progress.
399         "char" is the character displayed with no --status-fd enabled, with
400         the linefeed replaced by an 'X'.  "cur" is the current amount
401         done and "total" is amount to be done; a "total" of 0 indicates that
402         the total amount is not known.  100/100 may be used to detect the
403         end of operation.
404         Well known values for WHAT:
405              "pk_dsa"   - DSA key generation
406              "pk_elg"   - Elgamal key generation
407              "primegen" - Prime generation
408              "need_entropy" - Waiting for new entropy in the RNG
409              "file:XXX" - processing file XXX
410                           (note that current gpg versions leave out the
411                            "file:" prefix).
412              "tick"     - generic tick without any special meaning - useful
413                           for letting clients know that the server is
414                           still working.
415              "starting_agent" - A gpg-agent was started because it is not
416                           running as a daemon.
417
418         
419     SIG_CREATED <type> <pubkey algo> <hash algo> <class> <timestamp> <key fpr>
420         A signature has been created using these parameters.
421             type:  'D' = detached
422                    'C' = cleartext
423                    'S' = standard
424                    (only the first character should be checked)
425             class: 2 hex digits with the signature class
426
427         Note, that TIMESTAMP may either be a number with seconds since
428         epoch or an ISO 8601 string which can be detected by the
429         presence of the letter 'T' inside.
430         
431     KEY_CREATED <type> <fingerprint>
432         A key has been created
433             type: 'B' = primary and subkey
434                   'P' = primary
435                   'S' = subkey
436         The fingerprint is one of the primary key for type B and P and
437         the one of the subkey for S.
438
439     SESSION_KEY  <algo>:<hexdigits>
440         The session key used to decrypt the message.  This message will
441         only be emmited when the special option --show-session-key
442         is used.  The format is suitable to be passed to the option
443         --override-session-key
444
445     NOTATION_NAME <name> 
446     NOTATION_DATA <string>
447         name and string are %XX escaped; the data may be splitted
448         among several notation_data lines.
449
450     USERID_HINT <long main keyid> <string>
451         Give a hint about the user ID for a certain keyID. 
452
453     POLICY_URL <string>
454         string is %XX escaped
455
456     BEGIN_STREAM
457     END_STREAM
458         Issued by pipemode.
459
460     INV_RECP <reason> <requested_recipient>
461         Issued for each unusable recipient. The reasons codes
462         currently in use are:
463           0 := "No specific reason given".
464           1 := "Not Found"
465           2 := "Ambigious specification"
466           3 := "Wrong key usage"
467           4 := "Key revoked"
468           5 := "Key expired"
469           6 := "No CRL known"
470           7 := "CRL too old"
471           8 := "Policy mismatch"
472           9 := "Not a secret key"
473          10 := "Key not trusted"
474
475         Note that this status is also used for gpgsm's SIGNER command
476         where it relates to signer's of course.
477
478     NO_RECP <reserved>
479         Issued when no recipients are usable.
480
481     ALREADY_SIGNED <long-keyid>
482         Warning: This is experimental and might be removed at any time.
483
484     TRUNCATED <maxno>
485         The output was truncated to MAXNO items.  This status code is issued
486         for certain external requests
487
488     ERROR <error location> <error code> 
489
490         This is a generic error status message, it might be followed
491         by error location specific data. <error token> and
492         <error_location> should not contain a space.  The error code
493         is a either a string commencing with a letter or such string
494         prefix with a numerical error code and an underscore; e.g.:
495         "151011327_EOF"
496
497     ATTRIBUTE <fpr> <octets> <type> <index> <count>
498               <timestamp> <expiredate> <flags>
499         This is one long line issued for each attribute subpacket when
500         an attribute packet is seen during key listing.  <fpr> is the
501         fingerprint of the key. <octets> is the length of the
502         attribute subpacket. <type> is the attribute type
503         (1==image). <index>/<count> indicates that this is the Nth
504         indexed subpacket of count total subpackets in this attribute
505         packet.  <timestamp> and <expiredate> are from the
506         self-signature on the attribute packet.  If the attribute
507         packet does not have a valid self-signature, then the
508         timestamp is 0.  <flags> are a bitwise OR of:
509                 0x01 = this attribute packet is a primary uid
510                 0x02 = this attribute packet is revoked
511                 0x04 = this attribute packet is expired
512
513     STATUSCTRL <what> [<serialno>]
514         This is used to control smartcard operations.
515         Defined values for WHAT are:
516            1 = Request insertion of a card.  Serialnumber may be given
517                to request a specific card.
518            2 = Request removal of a card.
519            3 = Card with serialnumber detected
520
521     PLAINTEXT <format> <timestamp>
522         This indicates the format of the plaintext that is about to be
523         written.  The format is a 1 byte hex code that shows the
524         format of the plaintext: 62 ('b') is binary data, 74 ('t') is
525         text data with no character set specified, and 75 ('u') is
526         text data encoded in the UTF-8 character set.  The timestamp
527         is in seconds since the epoch.
528
529     PLAINTEXT_LENGTH <length>
530         This indicates the length of the plaintext that is about to be
531         written.  Note that if the plaintext packet has partial length
532         encoding it is not possible to know the length ahead of time.
533         In that case, this status tag does not appear.
534
535
536 Format of the "--attribute-fd" output
537 =====================================
538
539 When --attribute-fd is set, during key listings (--list-keys,
540 --list-secret-keys) GnuPG dumps each attribute packet to the file
541 descriptor specified.  --attribute-fd is intended for use with
542 --status-fd as part of the required information is carried on the
543 ATTRIBUTE status tag (see above).
544
545 The contents of the attribute data is specified by 2440bis, but for
546 convenience, here is the Photo ID format, as it is currently the only
547 attribute defined:
548
549    Byte 0-1:  The length of the image header.  Due to a historical
550               accident (i.e. oops!) back in the NAI PGP days, this is
551               a little-endian number.  Currently 16 (0x10 0x00).
552
553    Byte 2:    The image header version.  Currently 0x01.
554
555    Byte 3:    Encoding format.  0x01 == JPEG.
556
557    Byte 4-15: Reserved, and currently unused.
558
559    All other data after this header is raw image (JPEG) data.
560
561
562 Format of the "--list-config" output
563 ====================================
564
565 --list-config outputs information about the GnuPG configuration for
566 the benefit of frontends or other programs that call GnuPG.  There are
567 several list-config items, all colon delimited like the rest of the
568 --with-colons output.  The first field is always "cfg" to indicate
569 configuration information.  The second field is one of (with
570 examples):
571
572 version: the third field contains the version of GnuPG.
573
574    cfg:version:1.3.5
575
576 pubkey: the third field contains the public key algorithmdcaiphers
577         this version of GnuPG supports, separated by semicolons.  The
578         algorithm numbers are as specified in RFC-2440.
579
580    cfg:pubkey:1;2;3;16;17
581
582 cipher: the third field contains the symmetric ciphers this version of
583         GnuPG supports, separated by semicolons.  The cipher numbers
584         are as specified in RFC-2440.
585
586    cfg:cipher:2;3;4;7;8;9;10
587
588 digest: the third field contains the digest (hash) algorithms this
589         version of GnuPG supports, separated by semicolons.  The
590         digest numbers are as specified in RFC-2440.
591
592    cfg:digest:1;2;3;8;9;10
593
594 compress: the third field contains the compression algorithms this
595           version of GnuPG supports, separated by semicolons.  The
596           algorithm numbers are as specified in RFC-2440.
597
598    cfg:compress:0;1;2;3
599
600 group: the third field contains the name of the group, and the fourth
601        field contains the values that the group expands to, separated
602        by semicolons.
603
604 For example, a group of:
605    group mynames = paige 0x12345678 joe patti
606
607 would result in:
608    cfg:group:mynames:patti;joe;0x12345678;paige
609
610
611 Key generation
612 ==============
613     Key generation shows progress by printing different characters to
614     stderr:
615              "."  Last 10 Miller-Rabin tests failed
616              "+"  Miller-Rabin test succeeded
617              "!"  Reloading the pool with fresh prime numbers
618              "^"  Checking a new value for the generator
619              "<"  Size of one factor decreased
620              ">"  Size of one factor increased
621
622     The prime number for Elgamal is generated this way:
623
624     1) Make a prime number q of 160, 200, 240 bits (depending on the keysize)
625     2) Select the length of the other prime factors to be at least the size
626        of q and calculate the number of prime factors needed
627     3) Make a pool of prime numbers, each of the length determined in step 2
628     4) Get a new permutation out of the pool or continue with step 3
629        if we have tested all permutations.
630     5) Calculate a candidate prime p = 2 * q * p[1] * ... * p[n] + 1
631     6) Check that this prime has the correct length (this may change q if
632        it seems not to be possible to make a prime of the desired length)
633     7) Check whether this is a prime using trial divisions and the
634        Miller-Rabin test.
635     8) Continue with step 4 if we did not find a prime in step 7.
636     9) Find a generator for that prime.
637
638     This algorithm is based on Lim and Lee's suggestion from the
639     Crypto '97 proceedings p. 260.
640
641
642 Unattended key generation
643 =========================
644 This feature allows unattended generation of keys controlled by a
645 parameter file.  To use this feature, you use --gen-key together with
646 --batch and feed the parameters either from stdin or from a file given
647 on the commandline.
648
649 The format of this file is as follows:
650   o Text only, line length is limited to about 1000 chars.
651   o You must use UTF-8 encoding to specify non-ascii characters.
652   o Empty lines are ignored.
653   o Leading and trailing spaces are ignored.
654   o A hash sign as the first non white space character indicates a comment line.
655   o Control statements are indicated by a leading percent sign, the
656     arguments are separated by white space from the keyword.
657   o Parameters are specified by a keyword, followed by a colon.  Arguments
658     are separated by white space.
659   o The first parameter must be "Key-Type", control statements
660     may be placed anywhere.
661   o Key generation takes place when either the end of the parameter file
662     is reached, the next "Key-Type" parameter is encountered or at the
663     control statement "%commit"
664   o Control statements:
665     %echo <text>
666         Print <text>.
667     %dry-run
668         Suppress actual key generation (useful for syntax checking).
669     %commit
670         Perform the key generation.  An implicit commit is done
671         at the next "Key-Type" parameter.
672     %pubring <filename>
673     %secring <filename>
674         Do not write the key to the default or commandline given
675         keyring but to <filename>.  This must be given before the first
676         commit to take place, duplicate specification of the same filename
677         is ignored, the last filename before a commit is used.
678         The filename is used until a new filename is used (at commit points)
679         and all keys are written to that file.  If a new filename is given,
680         this file is created (and overwrites an existing one).
681         Both control statements must be given.
682    o The order of the parameters does not matter except for "Key-Type"
683      which must be the first parameter.  The parameters are only for the
684      generated keyblock and parameters from previous key generations are not
685      used. Some syntactically checks may be performed.
686      The currently defined parameters are:
687      Key-Type: <algo-number>|<algo-string>
688         Starts a new parameter block by giving the type of the
689         primary key. The algorithm must be capable of signing.
690         This is a required parameter.
691      Key-Length: <length-in-bits>
692         Length of the key in bits.  Default is 1024.
693      Key-Usage: <usage-list>
694         Space or comma delimited list of key usage, allowed values are
695         "encrypt" and "sign".  This is used to generate the key flags.
696         Please make sure that the algorithm is capable of this usage.
697      Subkey-Type: <algo-number>|<algo-string>
698         This generates a secondary key.  Currently only one subkey
699         can be handled.
700      Subkey-Length: <length-in-bits>
701         Length of the subkey in bits.  Default is 1024.
702      Subkey-Usage: <usage-list>
703         Similar to Key-Usage.
704      Passphrase: <string>
705         If you want to specify a passphrase for the secret key,
706         enter it here.  Default is not to use any passphrase.
707      Name-Real: <string>
708      Name-Comment: <string>
709      Name-Email: <string>
710         The 3 parts of a key. Remember to use UTF-8 here.
711         If you don't give any of them, no user ID is created.
712      Expire-Date: <iso-date>|(<number>[d|w|m|y])
713         Set the expiration date for the key (and the subkey).  It
714         may either be entered in ISO date format (2000-08-15) or as
715         number of days, weeks, month or years. Without a letter days
716         are assumed.
717      Preferences: <string>
718         Set the cipher, hash, and compression preference values for
719         this key.  This expects the same type of string as "setpref"
720         in the --edit menu.
721      Revoker: <algo>:<fpr> [sensitive]
722         Add a designated revoker to the generated key.  Algo is the
723         public key algorithm of the designated revoker (i.e. RSA=1,
724         DSA=17, etc.)  Fpr is the fingerprint of the designated
725         revoker.  The optional "sensitive" flag marks the designated
726         revoker as sensitive information.  Only v4 keys may be
727         designated revokers.
728
729 Here is an example:
730 $ cat >foo <<EOF
731      %echo Generating a standard key
732      Key-Type: DSA
733      Key-Length: 1024
734      Subkey-Type: ELG-E
735      Subkey-Length: 1024
736      Name-Real: Joe Tester
737      Name-Comment: with stupid passphrase
738      Name-Email: joe@foo.bar
739      Expire-Date: 0
740      Passphrase: abc
741      %pubring foo.pub
742      %secring foo.sec
743      # Do a commit here, so that we can later print "done" :-)
744      %commit
745      %echo done
746 EOF
747 $ gpg --batch --gen-key foo
748  [...]
749 $ gpg --no-default-keyring --secret-keyring ./foo.sec \
750                                   --keyring ./foo.pub --list-secret-keys
751 /home/wk/work/gnupg-stable/scratch/foo.sec
752 ------------------------------------------
753 sec  1024D/915A878D 2000-03-09 Joe Tester (with stupid passphrase) <joe@foo.bar>
754 ssb  1024g/8F70E2C0 2000-03-09
755
756
757
758 Layout of the TrustDB
759 =====================
760 The TrustDB is built from fixed length records, where the first byte
761 describes the record type.  All numeric values are stored in network
762 byte order. The length of each record is 40 bytes. The first record of
763 the DB is always of type 1 and this is the only record of this type.
764
765 FIXME:  The layout changed, document it here.
766
767   Record type 0:
768   --------------
769     Unused record, can be reused for any purpose.
770
771   Record type 1:
772   --------------
773     Version information for this TrustDB.  This is always the first
774     record of the DB and the only one with type 1.
775      1 byte value 1
776      3 bytes 'gpg'  magic value
777      1 byte Version of the TrustDB (2)
778      1 byte marginals needed
779      1 byte completes needed
780      1 byte max_cert_depth
781             The three items are used to check whether the cached
782             validity value from the dir record can be used.
783      1 u32  locked flags [not used]
784      1 u32  timestamp of trustdb creation
785      1 u32  timestamp of last modification which may affect the validity
786             of keys in the trustdb.  This value is checked against the
787             validity timestamp in the dir records.
788      1 u32  timestamp of last validation [currently not used]
789             (Used to keep track of the time, when this TrustDB was checked
790              against the pubring)
791      1 u32  record number of keyhashtable [currently not used]
792      1 u32  first free record
793      1 u32  record number of shadow directory hash table [currently not used]
794             It does not make sense to combine this table with the key table
795             because the keyid is not in every case a part of the fingerprint.
796      1 u32  record number of the trusthashtbale
797
798
799   Record type 2: (directory record)
800   --------------
801     Informations about a public key certificate.
802     These are static values which are never changed without user interaction.
803
804      1 byte value 2
805      1 byte  reserved
806      1 u32   LID     .  (This is simply the record number of this record.)
807      1 u32   List of key-records (the first one is the primary key)
808      1 u32   List of uid-records
809      1 u32   cache record
810      1 byte  ownertrust
811      1 byte  dirflag
812      1 byte  maximum validity of all the user ids
813      1 u32   time of last validity check.
814      1 u32   Must check when this time has been reached.
815              (0 = no check required)
816
817
818   Record type 3:  (key record)
819   --------------
820     Informations about a primary public key.
821     (This is mainly used to lookup a trust record)
822
823      1 byte value 3
824      1 byte  reserved
825      1 u32   LID
826      1 u32   next   - next key record
827      7 bytes reserved
828      1 byte  keyflags
829      1 byte  pubkey algorithm
830      1 byte  length of the fingerprint (in bytes)
831      20 bytes fingerprint of the public key
832               (This is the value we use to identify a key)
833
834   Record type 4: (uid record)
835   --------------
836     Informations about a userid
837     We do not store the userid but the hash value of the userid because that
838     is sufficient.
839
840      1 byte value 4
841      1 byte reserved
842      1 u32  LID  points to the directory record.
843      1 u32  next   next userid
844      1 u32  pointer to preference record
845      1 u32  siglist  list of valid signatures
846      1 byte uidflags
847      1 byte validity of the key calculated over this user id
848      20 bytes ripemd160 hash of the username.
849
850
851   Record type 5: (pref record)
852   --------------
853     This record type is not anymore used.
854
855      1 byte value 5
856      1 byte   reserved
857      1 u32  LID; points to the directory record (and not to the uid record!).
858             (or 0 for standard preference record)
859      1 u32  next
860      30 byte preference data
861
862   Record type 6  (sigrec)
863   -------------
864     Used to keep track of key signatures. Self-signatures are not
865     stored.  If a public key is not in the DB, the signature points to
866     a shadow dir record, which in turn has a list of records which
867     might be interested in this key (and the signature record here
868     is one).
869
870      1 byte   value 6
871      1 byte   reserved
872      1 u32    LID           points back to the dir record
873      1 u32    next   next sigrec of this uid or 0 to indicate the
874                      last sigrec.
875      6 times
876         1 u32  Local_id of signatures dir or shadow dir record
877         1 byte Flag: Bit 0 = checked: Bit 1 is valid (we have a real
878                              directory record for this)
879                          1 = valid is set (but may be revoked)
880
881
882
883   Record type 8: (shadow directory record)
884   --------------
885     This record is used to reserve a LID for a public key.  We
886     need this to create the sig records of other keys, even if we
887     do not yet have the public key of the signature.
888     This record (the record number to be more precise) will be reused
889     as the dir record when we import the real public key.
890
891      1 byte value 8
892      1 byte  reserved
893      1 u32   LID      (This is simply the record number of this record.)
894      2 u32   keyid
895      1 byte  pubkey algorithm
896      3 byte reserved
897      1 u32   hintlist   A list of records which have references to
898                         this key.  This is used for fast access to
899                         signature records which are not yet checked.
900                         Note, that this is only a hint and the actual records
901                         may not anymore hold signature records for that key
902                         but that the code cares about this.
903     18 byte reserved
904
905
906
907   Record Type 10 (hash table)
908   --------------
909     Due to the fact that we use fingerprints to lookup keys, we can
910     implement quick access by some simple hash methods, and avoid
911     the overhead of gdbm.  A property of fingerprints is that they can be
912     used directly as hash values.  (They can be considered as strong
913     random numbers.)
914       What we use is a dynamic multilevel architecture, which combines
915     hashtables, record lists, and linked lists.
916
917     This record is a hashtable of 256 entries; a special property
918     is that all these records are stored consecutively to make one
919     big table. The hash value is simple the 1st, 2nd, ... byte of
920     the fingerprint (depending on the indirection level).
921
922     When used to hash shadow directory records, a different table is used
923     and indexed by the keyid.
924
925      1 byte value 10
926      1 byte reserved
927      n u32  recnum; n depends on the record length:
928             n = (reclen-2)/4  which yields 9 for the current record length
929             of 40 bytes.
930
931     the total number of such record which makes up the table is:
932          m = (256+n-1) / n
933     which is 29 for a record length of 40.
934
935     To look up a key we use the first byte of the fingerprint to get
936     the recnum from this hashtable and look up the addressed record:
937        - If this record is another hashtable, we use 2nd byte
938          to index this hash table and so on.
939        - if this record is a hashlist, we walk all entries
940          until we found one a matching one.
941        - if this record is a key record, we compare the
942          fingerprint and to decide whether it is the requested key;
943
944
945   Record type 11 (hash list)
946   --------------
947     see hash table for an explanation.
948     This is also used for other purposes.
949
950     1 byte value 11
951     1 byte reserved
952     1 u32  next          next hash list record
953     n times              n = (reclen-5)/5
954         1 u32  recnum
955
956     For the current record length of 40, n is 7
957
958
959
960   Record type 254 (free record)
961   ---------------
962     All these records form a linked list of unused records.
963      1 byte  value 254
964      1 byte  reserved (0)
965      1 u32   next_free
966
967
968
969 Packet Headers
970 ===============
971
972 GNUPG uses PGP 2 packet headers and also understands OpenPGP packet header.
973 There is one enhancement used with the old style packet headers:
974
975    CTB bits 10, the "packet-length length bits", have values listed in
976    the following table:
977
978       00 - 1-byte packet-length field
979       01 - 2-byte packet-length field
980       10 - 4-byte packet-length field
981       11 - no packet length supplied, unknown packet length
982
983    As indicated in this table, depending on the packet-length length
984    bits, the remaining 1, 2, 4, or 0 bytes of the packet structure field
985    are a "packet-length field".  The packet-length field is a whole
986    number field.  The value of the packet-length field is defined to be
987    the value of the whole number field.
988
989    A value of 11 is currently used in one place: on compressed data.
990    That is, a compressed data block currently looks like <A3 01 . .  .>,
991    where <A3>, binary 10 1000 11, is an indefinite-length packet. The
992    proper interpretation is "until the end of the enclosing structure",
993    although it should never appear outermost (where the enclosing
994    structure is a file).
995
996 +  This will be changed with another version, where the new meaning of
997 +  the value 11 (see below) will also take place.
998 +
999 +  A value of 11 for other packets enables a special length encoding,
1000 +  which is used in case, where the length of the following packet can
1001 +  not be determined prior to writing the packet; especially this will
1002 +  be used if large amounts of data are processed in filter mode.
1003 +
1004 +  It works like this: After the CTB (with a length field of 11) a
1005 +  marker field is used, which gives the length of the following datablock.
1006 +  This is a simple 2 byte field (MSB first) containing the amount of data
1007 +  following this field, not including this length field. After this datablock
1008 +  another length field follows, which gives the size of the next datablock.
1009 +  A value of 0 indicates the end of the packet. The maximum size of a
1010 +  data block is limited to 65534, thereby reserving a value of 0xffff for
1011 +  future extensions. These length markers must be inserted into the data
1012 +  stream just before writing the data out.
1013 +
1014 +  This 2 byte field is large enough, because the application must buffer
1015 +  this amount of data to prepend the length marker before writing it out.
1016 +  Data block sizes larger than about 32k doesn't make any sense. Note
1017 +  that this may also be used for compressed data streams, but we must use
1018 +  another packet version to tell the application that it can not assume,
1019 +  that this is the last packet.
1020
1021
1022 GNU extensions to the S2K algorithm
1023 ===================================
1024 S2K mode 101 is used to identify these extensions.
1025 After the hash algorithm the 3 bytes "GNU" are used to make
1026 clear that these are extensions for GNU, the next bytes gives the
1027 GNU protection mode - 1000.  Defined modes are:
1028   1001 - do not store the secret part at all
1029   1002 - a stub to access smartcards (not used in 1.2.x)
1030
1031
1032 Pipemode
1033 ========
1034 NOTE:  This is deprecated and will be removed in future versions.
1035
1036 This mode can be used to perform multiple operations with one call to
1037 gpg. It comes handy in cases where you have to verify a lot of
1038 signatures. Currently we support only detached signatures.  This mode
1039 is a kludge to avoid running gpg n daemon mode and using Unix Domain
1040 Sockets to pass the data to it.  There is no easy portable way to do
1041 this under Windows, so we use plain old pipes which do work well under
1042 Windows.  Because there is no way to signal multiple EOFs in a pipe we
1043 have to embed control commands in the data stream: We distinguish
1044 between a data state and a control state.  Initially the system is in
1045 data state but it won't accept any data.  Instead it waits for
1046 transition to control state which is done by sending a single '@'
1047 character.  While in control state the control command os expected and
1048 this command is just a single byte after which the system falls back
1049 to data state (but does not necesary accept data now).  The simplest
1050 control command is a '@' which just inserts this character into the
1051 data stream.
1052
1053 Here is the format we use for detached signatures:
1054 "@<"  - Begin of new stream
1055 "@B"  - Detached signature follows.
1056         This emits a control packet (1,'B')
1057 <detached_signature>
1058 "@t"  - Signed text follows. 
1059         This emits the control packet (2, 'B')
1060 <signed_text>
1061 "@."  - End of operation. The final control packet forces signature
1062         verification
1063 "@>"  - End of stream   
1064
1065
1066
1067
1068
1069
1070 Other Notes
1071 ===========
1072     * For packet version 3 we calculate the keyids this way:
1073         RSA     := low 64 bits of n
1074         ELGAMAL := build a v3 pubkey packet (with CTB 0x99) and calculate
1075                    a rmd160 hash value from it. This is used as the
1076                    fingerprint and the low 64 bits are the keyid.
1077
1078     * Revocation certificates consist only of the signature packet;
1079       "import" knows how to handle this.  The rationale behind it is
1080       to keep them small.
1081
1082
1083
1084
1085
1086
1087
1088 Keyserver Message Format
1089 =========================
1090
1091 The keyserver may be contacted by a Unix Domain socket or via TCP.
1092
1093 The format of a request is:
1094
1095 ====
1096 command-tag
1097 "Content-length:" digits
1098 CRLF
1099 =======
1100
1101 Where command-tag is
1102
1103 NOOP
1104 GET <user-name>
1105 PUT
1106 DELETE <user-name>
1107
1108
1109 The format of a response is:
1110
1111 ======
1112 "GNUPG/1.0" status-code status-text
1113 "Content-length:" digits
1114 CRLF
1115 ============
1116 followed by <digits> bytes of data
1117
1118
1119 Status codes are:
1120
1121      o  1xx: Informational - Request received, continuing process
1122
1123      o  2xx: Success - The action was successfully received, understood,
1124         and accepted
1125
1126      o  4xx: Client Error - The request contains bad syntax or cannot be
1127         fulfilled
1128
1129      o  5xx: Server Error - The server failed to fulfill an apparently
1130         valid request
1131
1132
1133
1134 Documentation on HKP (the http keyserver protocol):
1135
1136 A minimalistic HTTP server on port 11371 recognizes a GET for /pks/lookup.
1137 The standard http URL encoded query parameters are this (always key=value):
1138
1139 - op=index (like pgp -kv), op=vindex (like pgp -kvv) and op=get (like
1140   pgp -kxa)
1141
1142 - search=<stringlist>. This is a list of words that must occur in the key.
1143   The words are delimited with space, points, @ and so on. The delimiters
1144   are not searched for and the order of the words doesn't matter (but see
1145   next option).
1146
1147 - exact=on. This switch tells the hkp server to only report exact matching
1148   keys back. In this case the order and the "delimiters" are important.
1149
1150 - fingerprint=on. Also reports the fingerprints when used with 'index' or
1151   'vindex'
1152
1153 The keyserver also recognizes http-POSTs to /pks/add. Use this to upload
1154 keys.
1155
1156
1157 A better way to do this would be a request like:
1158
1159    /pks/lookup/<gnupg_formatierte_user_id>?op=<operation>
1160
1161 This can be implemented using Hurd's translator mechanism.
1162 However, I think the whole key server stuff has to be re-thought;
1163 I have some ideas and probably create a white paper.
1164