5f03fb6103184d2e3b5f2d82d8b9804ac9fd4ee0
[gpgme.git] / TODO
1 #+TITLE: TODO List
2 Hey Emacs, this is -*- org -*- mode!
3
4 * IMPORTANT!
5   :PROPERTIES:
6   :CUSTOM_ID: dev-gnupg-org
7   :END:
8
9   There was a nine year gap (2009 to 2018) between edits of this file,
10   so it is likely that much of the old information in it is wrong or
11   no longer applicable.
12
13   Bugs, feature requests and other development related work will be
14   tracked through the [[https://dev.gnupg.org/][dev.gnupg.org]] site.
15
16
17 * TODO Document all the new stuff.
18   :PROPERTIES:
19   :CUSTOM_ID: more-docs-is-better
20   :END:
21
22 ** STARTED Fix this TODO list.
23    :PROPERTIES:
24    :CUSTOM_ID: fix-todo
25    :END:
26    - State "STARTED"    from "TODO"       [2018-03-09 Fri 08:31]
27    Clean up the current TODO list.  Include properties as relevant (so
28    if someone does make a PDF or HTML version the TOC will work).
29
30    Also check ans see if some of these ancient things can be removed
31    (e.g. do we really need to fix things that were broken in GPG
32    1.3.x?  I'm thinking not so much).
33
34
35
36 * Fix the remaining UI Server problems:
37   :PROPERTIES:
38   :CUSTOM_ID: ui-server-fix
39   :END:
40 ** VERIFY --silent support.
41    :PROPERTIES:
42    :CUSTOM_ID: verify-silent
43    :END:
44 ** ENCRYPT/DECRYPT/VERIFY/SIGN reset the engine, shouldn't be done with UISERVER?
45    :PROPERTIES:
46    :CUSTOM_ID: reset-engine-not-ui
47    :END:
48
49
50 * IMPORTANT
51   :PROPERTIES:
52   :CUSTOM_ID: important-stuff-really
53   :END:
54 ** When using descriptor passing, we need to set the fd to blocking before
55    :PROPERTIES:
56    :CUSTOM_ID: set-fd-blocking
57    :END:
58    issueing simple commands, because we are mixing synchronous
59    commands into potentially asynchronous operations.
60 ** Might want to implement nonblock for w32 native backend!
61    :PROPERTIES:
62    :CUSTOM_ID: nonblock-win32
63    :END:
64    Right now we block reading the next line with assuan.
65
66 * Before release:
67   :PROPERTIES:
68   :CUSTOM_ID: pre-release
69   :END:
70 ** CANCELLED Some gpg tests fail with gpg 1.3.4-cvs (gpg/t-keylist-sig)
71    CLOSED: [2018-03-09 Fri 08:16]
72    :PROPERTIES:
73    :CUSTOM_ID: gpg-1-3-4-really
74    :END:
75    - State "CANCELLED"  from "TODO"       [2018-03-09 Fri 08:16] \\
76      WON'T FIX — too old or no longer applies.
77    The test is currently disabled there and in gpg/t-import.
78 ** When gpg supports it, write binary subpackets directly,
79    :PROPERTIES:
80    :CUSTOM_ID: binary-subpackets
81    :END:
82    and parse SUBPACKET status lines.
83
84 * ABI's to break:
85   :PROPERTIES:
86   :CUSTOM_ID: abi-breakage-apparently-on-purpose
87   :END:
88 ** Old opassuan interface.
89    :PROPERTIES:
90    :CUSTOM_ID: old-opassuan
91    :END:
92 ** Implementation: Remove support for old style error codes in
93    :PROPERTIES:
94    :CUSTOM_ID: remove-old-error-codes
95    :END:
96    conversion.c::_gpgme_map_gnupg_error.
97 ** gpgme_edit_cb_t: Add "processed" return argument
98    :PROPERTIES:
99    :CUSTOM_ID: add-processed-return
100    :END:
101    (see edit.c::command_handler).
102 ** I/O and User Data could be made extensible.  But this can be done
103    :PROPERTIES:
104    :CUSTOM_ID: add-io-user-data
105    :END:
106    without breaking the ABI hopefully.
107 ** All enums should be replaced by ints and simple macros for
108    :PROPERTIES:
109    :CUSTOM_ID: enums-should-be-ints
110    :END:
111    maximum compatibility.
112 ** Compatibility interfaces that can be removed in future versions:
113    :PROPERTIES:
114    :CUSTOM_ID: compat-interfaces-to-go
115    :END:
116 *** gpgme_data_new_from_filepart
117     :PROPERTIES:
118     :CUSTOM_ID: gpgme-data-new-from-filepart
119     :END:
120 *** gpgme_data_new_from_file
121     :PROPERTIES:
122     :CUSTOM_ID: gpgme-data-new-from-file
123     :END:
124 *** gpgme_data_new_with_read_cb
125     :PROPERTIES:
126     :CUSTOM_ID: gpgme-data-new-with-read-cb
127     :END:
128 *** gpgme_data_rewind
129     :PROPERTIES:
130     :CUSTOM_ID: gpgme-data-rewind
131     :END:
132 *** gpgme_op_import_ext
133     :PROPERTIES:
134     :CUSTOM_ID: gpgme-op-import-ext
135     :END:
136 *** gpgme_get_sig_key
137     :PROPERTIES:
138     :CUSTOM_ID: gpgme-get-sig-key
139     :END:
140 *** gpgme_get_sig_ulong_attr
141     :PROPERTIES:
142     :CUSTOM_ID: gpgme-get-sig-ulong-attr
143     :END:
144 *** gpgme_get_sig_string_attr
145     :PROPERTIES:
146     :CUSTOM_ID: gpgme-get-sig-string-attr
147     :END:
148 *** GPGME_SIG_STAT_*
149     :PROPERTIES:
150     :CUSTOM_ID: gpgme-sig-stat
151     :END:
152 *** gpgme_get_sig_status
153     :PROPERTIES:
154     :CUSTOM_ID: gpgme-get-sig-status
155     :END:
156 *** gpgme_trust_item_release
157     :PROPERTIES:
158     :CUSTOM_ID: gpgme-trust-item-release
159     :END:
160 *** gpgme_trust_item_get_string_attr
161     :PROPERTIES:
162     :CUSTOM_ID: gpgme-trust-item-get-string-attr
163     :END:
164 *** gpgme_trust_item_get_ulong_attr
165     :PROPERTIES:
166     :CUSTOM_ID: gpgme-trust-item-get-ulong-attr
167     :END:
168 *** gpgme_attr_t
169     :PROPERTIES:
170     :CUSTOM_ID: gpgme-attr-t
171     :END:
172 *** All Gpgme* typedefs.
173     :PROPERTIES:
174     :CUSTOM_ID: all-gpgme-typedefs
175     :END:
176
177
178 * Thread support:
179   :PROPERTIES:
180   :CUSTOM_ID: threads
181   :END:
182 ** When GNU Pth supports sendmsg/recvmsg, wrap them properly.
183    :PROPERTIES:
184    :CUSTOM_ID: wrap-oth
185    :END:
186 ** Without timegm (3) support our ISO time parser is not thread safe.
187    :PROPERTIES:
188    :CUSTOM_ID: time-threads
189    :END:
190    There is a configure time warning, though.
191
192 * New features:
193   :PROPERTIES:
194   :CUSTOM_ID: new-features
195   :END:
196 ** Flow control for data objects.
197    :PROPERTIES:
198    :CUSTOM_ID: flow-control-is-not-a-euphemism-for-an-s-bend
199    :END:
200    Currently, gpgme_data_t objects are assumed to be blocking.  To
201    break this assumption, we need either (A) a way for an user I/O
202    callback to store the current operation in a continuation that can
203    be resumed later.  While the continuation exists, file descriptors
204    associated with this operation must be removed from their
205    respective event loop.  or (B) a way for gpgme data objects to be
206    associated with a waitable object, that can be registered with the
207    user event loop.  Neither is particularly simple.
208 ** Extended notation support.  When gpg supports arbitrary binary
209    :PROPERTIES:
210    :CUSTOM_ID: extended-notation
211    :END:
212    notation data, provide a user interface for that.
213 ** notification system
214    :PROPERTIES:
215    :CUSTOM_ID: notification-system
216    :END:
217    We need a simple notification system, probably a simple callback
218    with a string and some optional arguments.  This is for example
219    required to notify an application of a changed smartcard, The
220    application can then do whatever is required.  There are other
221    usages too.  This notfication system should be independent of any
222    contextes of course.
223
224    Not sure whether this is still required.  GPGME_PROTOCOL_ASSUAN is
225    sufficient for this.
226
227 ** --learn-code support
228    :PROPERTIES:
229    :CUSTOM_ID: learn-code
230    :END:
231    This might be integrated with import. we still need to work out how
232    to learn a card when gpg and gpgsm have support for smartcards.  In
233    GPA we currently invoke gpg directly.
234
235 ** Might need a stat() for data objects and use it for length param to gpg.
236    :PROPERTIES:
237    :CUSTOM_ID: stat-data
238    :END:
239 ** Implement support for photo ids.
240    :PROPERTIES:
241    :CUSTOM_ID: photo-id
242    :END:
243 ** Allow selection of subkeys
244    :PROPERTIES:
245    :CUSTOM_ID: subkey-selection
246    :END:
247 ** Allow to return time stamps in ISO format
248    :PROPERTIES:
249    :CUSTOM_ID: iso-format-datetime
250    :END:
251   This allows us to handle years later than 2037 properly.  With the
252   time_t interface they are all mapped to 2037-12-31
253 ** New features requested by our dear users, but rejected or left for
254    :PROPERTIES:
255    :CUSTOM_ID: feature-requests
256    :END:
257    later consideration:
258 *** Allow to export secret keys.
259     :PROPERTIES:
260     :CUSTOM_ID: export-secret-keys
261     :END:
262     Rejected because this is conceptually flawed.  Secret keys on a
263     smart card can not be exported, for example.
264     May eventually e supproted with a keywrapping system.
265 *** Selecting the key ring, setting the version or comment in output.
266     :PROPERTIES:
267     :CUSTOM_ID: select-keyring-version
268     :END:
269     Rejected because the naive implementation is engine specific, the
270     configuration is part of the engine's configuration or readily
271     worked around in a different way
272 *** Selecting the symmetric cipher.
273     :PROPERTIES:
274     :CUSTOM_ID: symmetric-cipher-selection
275     :END:
276 *** Exchanging keys with key servers.
277     :PROPERTIES:
278     :CUSTOM_ID: key-server-exchange
279     :END:
280
281
282 * Documentation
283   :PROPERTIES:
284   :CUSTOM_ID: documentation
285   :END:
286 ** TODO Document validity and trust issues.
287    :PROPERTIES:
288    :CUSTOM_ID: valid-trust-issues
289    :END:
290 ** In gpgme.texi: Register callbacks under the right letter in the index.
291    :PROPERTIES:
292    :CUSTOM_ID: gpgme-texi
293    :END:
294 ** TODO Update TODO file
295    :PROPERTIES:
296    :CUSTOM_ID: todo-update
297    :END:
298
299 *** DONE fix TODO items
300     CLOSED: [2018-03-04 Sun 08:55]
301     :PROPERTIES:
302     :CUSTOM_ID: fix-todo-items
303     :END:
304
305     Adjust todo items so each can now be referenced by custom-id and
306     checked off as necessary.
307
308 * Engines
309   :PROPERTIES:
310   :CUSTOM_ID: engines
311   :END:
312 ** Do not create/destroy engines, but create engine and then reset it.
313    :PROPERTIES:
314    :CUSTOM_ID: reset-engine-is-not-quite-just-ignition
315    :END:
316    Internally the reset operation still spawns a new engine process,
317    but this can be replaced with a reset later.  Also, be very sure to
318    release everything properly at a reset and at an error.  Think hard
319    about where to guarantee what (ie, what happens if start fails, are
320    the fds unregistered immediately - i think so?)
321    Note that we need support in gpgsm to set include-certs to default
322    as RESET does not reset it, also for no_encrypt_to and probably
323    other options.
324 ** Optimize the case where a data object has an underlying fd we can pass
325    :PROPERTIES:
326    :CUSTOM_ID: optimus-data-cousin-of-optimus-prime
327    :END:
328    directly to the engine.  This will be automatic with socket I/O and
329    descriptor passing.
330 ** Move code common to all engines up from gpg to engine.
331    :PROPERTIES:
332    :CUSTOM_ID: move-code-common-to-engines-out-of-gpg
333    :END:
334 ** engine operations can return General Error on unknown protocol
335    :PROPERTIES:
336    :CUSTOM_ID: general-error-looking-to-be-court-martialled
337    :END:
338    (it's an internal error, as select_protocol checks already).
339 ** When server mode is implemented properly, more care has to be taken to
340    :PROPERTIES:
341    :CUSTOM_ID: server-mode
342    :END:
343    release all resources on error (for example to free assuan_cmd).
344 ** op_import_keys and op_export_keys have a limit in the number of keys.
345    :PROPERTIES:
346    :CUSTOM_ID: import-export-problems
347    :END:
348    This is because we pass them in gpg via the command line and gpgsm
349    via an assuan control line.  We should pipe them instead and maybe
350    change gpg/gpgsm to not put them in memory.
351
352
353 * GPG breakage:
354   :PROPERTIES:
355   :CUSTOM_ID: gpg-breakage
356   :END:
357 ** CANCELLED gpg 1.4.2 lacks error reporting if sign/encrypt with revoked key.
358    CLOSED: [2018-03-09 Fri 08:19]
359    :PROPERTIES:
360    :CUSTOM_ID: gpg-classic-lacks-stuff
361    :END:
362    - State "CANCELLED"  from "TODO"       [2018-03-09 Fri 08:19] \\
363      WON'T FIX.
364 ** CANCELLED gpg 1.4.2 does crappy error reporting (namely none at all) when
365    CLOSED: [2018-03-09 Fri 08:20]
366    :PROPERTIES:
367    :CUSTOM_ID: gpg-classic-problems-but-do-we-care
368    :END:
369    - State "CANCELLED"  from "TODO"       [2018-03-09 Fri 08:20] \\
370      WON'T FIX.
371    smart card is missing for sign operation:
372     [GNUPG:] CARDCTRL 4
373     gpg: selecting openpgp failed: ec=6.110
374     gpg: signing failed: general error
375     [GNUPG:] BEGIN_ENCRYPTION 2 10
376     gpg: test: sign+encrypt failed: general error
377 ** DONE Without agent and with wrong passphrase, gpg 1.4.2 enters into an
378    CLOSED: [2018-03-09 Fri 08:20]
379    :PROPERTIES:
380    :CUSTOM_ID: recursive-gpg-classic
381    :END:
382    - State "DONE"       from "TODO"       [2018-03-09 Fri 08:20] \\
383      Must have been fixed in a subsequent release.
384    infinite loop.
385 ** CANCELLED Use correct argv[0]
386    CLOSED: [2018-03-09 Fri 08:24]
387    :PROPERTIES:
388    :CUSTOM_ID: correct-argv
389    :END:
390    - State "CANCELLED"  from "TODO"       [2018-03-09 Fri 08:24] \\
391      WON'T FIX.
392
393      Also, there is no rungpg.c file in GPGME (or in GPG or most, if not
394      all of the rest of the libs and packages; I suspect there hasn't been
395      for a very long time).
396    In rungpg.c:build_argv we use
397       argv[argc] = strdup ("gpg"); /* argv[0] */
398    This should be changed to take the real file name used in account.
399
400
401 * Operations
402   :PROPERTIES:
403   :CUSTOM_ID: operations-are-not-surgical
404   :END:
405 ** Include cert values -2, -1, 0 and 1 should be defined as macros.
406    :PROPERTIES:
407    :CUSTOM_ID: certified-macros
408    :END:
409 ** If an operation failed, make sure that the result functions don't return
410    :PROPERTIES:
411    :CUSTOM_ID: operation-failure
412    :END:
413    corrupt partial information. !!!
414    NOTE: The EOF status handler is not called in this case !!!
415 ** Verify must not fail on NODATA premature if auto-key-retrieval failed.
416    :PROPERTIES:
417    :CUSTOM_ID: autobot-key-retrieval
418    :END:
419    It should not fail silently if it knows there is an error. !!!
420 ** All operations: Better error reporting. !!
421    :PROPERTIES:
422    :CUSTOM_ID: better-reporting-not-like-fox-news
423    :END:
424 ** Export status handler need much more work. !!!
425    :PROPERTIES:
426    :CUSTOM_ID: export-status-handler
427    :END:
428 ** Import should return a useful error when one happened.
429    :PROPERTIES:
430    :CUSTOM_ID: import-useful-stuff-even-wrong-stuff
431    :END:
432 *** Import does not take notice of NODATA status report.
433     :PROPERTIES:
434     :CUSTOM_ID: import-no-data
435     :END:
436 *** When GPGSM does issue IMPORT_OK status reports, make sure to check for
437     :PROPERTIES:
438     :CUSTOM_ID: gpgsm-import-ok
439     :END:
440     them in tests/gpgs m/t-import.c.
441 ** Verify can include info about version/algo/class, but currently
442    :PROPERTIES:
443    :CUSTOM_ID: verify-class
444    :END:
445    this is only available for gpg, not gpgsm.
446 ** Return ENC_TO output in verify result.  Again, this is not available
447    :PROPERTIES:
448    :CUSTOM_ID: return-to-enc
449    :END:
450    for gpgsm.
451 ** Genkey should return something more useful than General_Error.
452    :PROPERTIES:
453    :CUSTOM_ID: general-key-assumed-command-from-general-error
454    :END:
455 ** If possible, use --file-setsize to set the file size for proper progress
456    :PROPERTIES:
457    :CUSTOM_ID: file-setsize
458    :END:
459    callback handling.  Write data interface for file size.
460 ** Optimize the file descriptor list, so the number of open fds is
461    :PROPERTIES:
462    :CUSTOM_ID: optimus-descriptus-younger-brother-of-optimus-prime
463    :END:
464    always known easily.
465 ** Encryption: It should be verified that the behaviour for partially untrusted
466    :PROPERTIES:
467    :CUSTOM_ID: only-mostly-dead-means-partially-alive
468    :END:
469    recipients is correct.
470 ** When GPG issues INV_something for invalid signers, catch them.
471    :PROPERTIES:
472    :CUSTOM_ID: invalid-sig
473    :END:
474
475
476 * Error Values
477   :PROPERTIES:
478   :CUSTOM_ID: error-value
479   :END:
480 ** Map ASSUAN/GpgSM ERR error values in a better way than is done now. !!
481    :PROPERTIES:
482    :CUSTOM_ID: map-ass-error
483    :END:
484 ** Some error values should identify the source more correctly (mostly error
485    :PROPERTIES:
486    :CUSTOM_ID: source-errors
487    :END:
488    values derived from status messages).
489 ** In rungpg.c we need to check the version of the engine
490    :PROPERTIES:
491    :CUSTOM_ID: rungpg-c-engine-ver
492    :END:
493    This requires a way to get the cached version number from the
494    engine layer.
495
496
497 * Tests
498   :PROPERTIES:
499   :CUSTOM_ID: tests
500   :END:
501 ** TODO Write a fake gpg-agent so that we can supply known passphrases to
502    :PROPERTIES:
503    :CUSTOM_ID: test-fake-gpg-agent
504    :END:
505    gpgsm and setup the configuration files to use the agent.  Without
506    this we are testing a currently running gpg-agent which is not a
507    clever idea. !
508 ** t-data
509    :PROPERTIES:
510    :CUSTOM_ID: test-data
511    :END:
512 *** Test gpgme_data_release_and_get_mem.
513     :PROPERTIES:
514     :CUSTOM_ID: test-gpgme-data-release-mem
515     :END:
516 *** Test gpgme_data_seek for invalid types.
517     :PROPERTIES:
518     :CUSTOM_ID: test-gpgme-data-seek
519     :END:
520 ** t-keylist
521    :PROPERTIES:
522    :CUSTOM_ID: test-keylist
523    :END:
524    Write a test for ext_keylist.
525 ** Test reading key signatures.
526    :PROPERTIES:
527    :CUSTOM_ID: test-key-sig
528    :END:
529
530
531 * Debug
532   :PROPERTIES:
533   :CUSTOM_ID: debug
534   :END:
535 ** Tracepoints should be added at: Every public interface enter/leave,
536    :PROPERTIES:
537    :CUSTOM_ID: tracepoint-pub-int
538    :END:
539    before and in every callback, at major decision points, at every
540    internal data point which might easily be observed by the outside
541    (system handles).  We also trace handles and I/O support threads in
542    the w32 implementation because that's fragile code.
543    Files left to do:
544    data-fd.c data-mem.c data-stream.c data-user.c debug.c rungpg.c
545    engine.c engine-gpgsm.c funopen.c w32-glib-io.c wait.c
546    wait-global.c wait-private.c wait-user.c op-support.c decrypt.c
547    decrypt-verify.c delete.c edit.c encrypt.c encrypt-sign.c export.c
548    genkey.c import.c key.c keylist.c passphrase.c progress.c signers.c
549    sig-notation.c trust-item.c trustlist.c verify.c
550 ** TODO Handle malloc and vasprintf errors.  But decide first if they should be
551    :PROPERTIES:
552    :CUSTOM_ID: malloc-vasprintf
553    :END:
554
555    ignored (and logged with 255?!), or really be assertions. !
556
557
558 * Build suite
559   :PROPERTIES:
560   :CUSTOM_ID: build-suite
561   :END:
562 ** TODO Make sure everything is cleaned correctly (esp. test area).
563    :PROPERTIES:
564    :CUSTOM_ID: clean-tests
565    :END:
566 ** TODO Enable AC_CONFIG_MACRO_DIR and bump up autoconf version requirement.
567    :PROPERTIES:
568    :CUSTOM_ID: autoconf-macros
569    :END:
570    (To fix "./autogen.sh; ./configure --enable-maintainer-mode; touch
571    configure.ac; make").  Currently worked around with ACLOCAL_AMFLAGS???
572
573
574 * Error checking 
575   :PROPERTIES:
576   :CUSTOM_ID: error-checking
577   :END:
578 ** TODO engine-gpgsm, with-validation
579    :PROPERTIES:
580    :CUSTOM_ID: gpgsm-validation
581    :END:
582    Add error checking some time after releasing a new gpgsm.
583
584
585 * Language bindings and related components
586   :PROPERTIES:
587   :CUSTOM_ID: language-bindings-and-related-stuff
588   :END:
589
590 ** TODO Emacs and elisp binding
591    :PROPERTIES:
592    :CUSTOM_ID: emacs-and-elisp
593    :END:
594
595    Currently GNU Emacs uses EPA and EPG to provide GnuPG support.  EPG
596    does this by calling the GPG executable and wrapping the commands
597    with elisp functions.  A more preferable solution would be to
598    implement an epgme.el which integrated with GPGME, then if it could
599    not to attempt calling the gpgme-tool and only if those failed to
600    fall back to the current epg.el and calling the command line
601    binaries.
602
603 ** TODO API of an API
604    :PROPERTIES:
605    :CUSTOM_ID: api-squared
606    :END:
607
608    See the more detailed notes on this in the [[lang/python/docs/TODO.org][python TODO]].
609
610 ** TODO GPGME installation and package management guide
611    :PROPERTIES:
612    :CUSTOM_ID: package-management
613    :END:
614
615    Write a guide/best practices for maintainers of GPGME packages with
616    third party package management systems.
617
618 Copyright 2004, 2005, 2018 g10 Code GmbH
619
620 This file is free software; as a special exception the author gives
621 unlimited permission to copy and/or distribute it, with or without
622 modifications, as long as this notice is preserved.
623
624 This file is distributed in the hope that it will be useful, but
625 WITHOUT ANY WARRANTY, to the extent permitted by law; without even the
626 implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR
627 PURPOSE.