web: 2.2.6 release announcement
[gnupg-doc.git] / web / share / gpgweb.el
1 ;;; gpgweb.el --- elisp helper code for the GnuPG web pages
2
3 (if (< (string-to-number emacs-version) 24)
4     (require 'org-exp))
5
6 ;; makeindex disabled because the generated file is created in the
7 ;; source directory.
8 (defun gpgweb-setup-project ()
9   "Set up an org-publish project for the gnupg.org website."
10   (progn
11    (require 'ox-gpgweb (concat gpgweb-root-dir "share/ox-gpgweb.el"))
12    (aput 'org-publish-project-alist "gpgweb-org"
13    `(:base-directory ,gpgweb-root-dir
14      :base-extension "org"
15      :language "en"
16      :html-extension "html"
17      :recursive t
18      :publishing-directory ,gpgweb-stage-dir
19      :publishing-function gpgweb-org-to-html
20      :body-only t
21      :section-numbers nil
22      :tags nil
23      :with-toc nil
24      :makeindex nil
25      :auto-sitemap nil
26      :sitemap-title "GnuPG - Sitemap"
27      :sitemap-sort-folders "last"
28      :sitemap-file-entry-format "%t  @@html:<span id=\"smallnote\">@@(%d)@@html:</span>@@"
29      :style-include-default nil
30      :timestamp-file nil
31      :html-head "<link rel=\"stylesheet\" href=\"gnupg.css\" type=\"text/css\" />"
32      :html-head-include-scripts nil))
33
34    (aput 'org-publish-project-alist "gpgweb-other"
35    `(:base-directory ,gpgweb-root-dir
36      :base-extension "jpg\\|png\\|css\\|txt\\|rss\\|lst\\|sig\\|js\\|map\\|eot\\|ttf\\|woff\\|woff2\\|svg"
37      :recursive t
38      :publishing-directory ,gpgweb-stage-dir
39      :publishing-function org-publish-attachment
40      :completion-function gpgweb-upload))
41
42    (aput 'org-publish-project-alist "gpgweb"
43    '(:components ("gpgweb-org" "gpgweb-other")))
44
45    (add-hook 'org-export-before-processing-hook 'gpgweb-preprocess)))
46
47
48 (defun gpgweb-preprocess (backend)
49   "Insert certain stuff before processing."
50   (let ()
51     (goto-char (point-min))
52     (when (re-search-forward
53            "^#\\+GPGWEB-NEED-SWDB\\b" 2048 t)
54       (beginning-of-line)
55       (kill-line 1)
56       (insert (org-file-contents (concat gpgweb-root-dir "swdb.mac")
57                                  'noerror)))))
58
59
60 (defun gpgweb-insert-header (title committed-at custom)
61   "Insert the header.
62
63 COMMITTED-AT is the commit date string of the source file or nil
64 if not available.  If CUSTOM is true only a minimal header is set."
65   (goto-char (point-min))
66   (insert "<?xml version=\"1.0\" encoding=\"utf-8\"?>
67 <!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Strict//EN\"
68                \"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd\">
69 <html xmlns=\"http://www.w3.org/1999/xhtml\" lang=\"en\" xml:lang=\"en\">
70 <head>
71 <title>" title "</title>
72 <meta http-equiv=\"Content-Type\" content=\"text/html;charset=utf-8\" />
73 ")
74   (when (and committed-at (>= (length committed-at) 10))
75       (insert "<meta name=\"DC.Date\" content=\""
76               (substring committed-at 0 10) "\" />\n"))
77   (insert "<meta name=\"DC.Language\" content=\"en\" />
78 <meta name=\"DC.Title\" content=\"" title "\" />
79 <meta name=\"DC.Description\"
80  content=\"GnuPG is a free implementation of OpenPGP\" />
81 <meta name=\"DC.Creator\" content=\"The People of the GnuPG Project\" />
82 <meta name=\"DC.Publisher\" content=\"The GnuPG Project\" />
83 <meta name=\"DC.Identifier\" content=\"https://gnupg.org/\" />
84 <meta name=\"DC.Rights\" content=\"https://gnupg.org/copying.html\" />
85 <meta name=\"viewport\" content=\"width=device-width, initial-scale=1\" />
86 ")
87 (unless custom
88  (insert "<link rel=\"stylesheet\" href=\"/share/site.css\" type=\"text/css\" />
89 </head>
90 <body>
91 ")))
92
93 (defconst gpgweb-gnupg-menu-alist
94   '(("/index.html"
95      "Home"
96      (("/index.html"                       "Home")
97       ("/news.html"                        "News")
98       ("/people/index.html"                "People")
99       ("/verein/index.html"                "Verein")
100       ("/documentation/sites.html"         "Sites")))
101     ("/donate/index.html"
102      "Donate"
103      (("/donate/index.html"                "Donate")
104       ("/donate/kudos.html"                "List of Donors")))
105     ("/software/index.html"
106      "Software"
107      (("/software/index.html"              "GnuPG")
108       ("/software/frontends.html"          "Frontends")
109       ("/software/tools.html"              "Tools")
110       ("/software/libraries.html"          "Libraries")
111       ("/software/swlist.html"             "All")))
112     ("/download/index.html"
113      "Download"
114      (("/download/index.html"              "Download")
115       ("/download/integrity_check.html"    "Integrity&nbsp;Check")
116       ("/download/supported_systems.html"  "Supported&nbsp;Systems")
117       ("/download/release_notes.html"      "Release&nbsp;Notes")
118       ("/download/mirrors.html"            "Mirrors")
119       ("/download/git.html"                "GIT")))
120     ("/documentation/index.html"
121      "Documentation"
122      (("/documentation/howtos.html"        "HOWTOs")
123       ("/documentation/manuals.html"       "Manuals")
124       ("/documentation/guides.html"        "Guides")
125       ("/documentation/faqs.html"          "FAQs")
126       ("/documentation/mailing-lists.html" "Mailing&nbsp;Lists")
127       ("/service.html"                     "3rd Party Support")
128       ("/documentation/bts.html"           "Bug&nbsp;Tracker")
129       ("/documentation/security.html"      "Security")))
130     ("/blog/index.html"
131      "Blog"))
132   "The definition of the gnupg.org menu structure.")
133
134 (defconst gpgweb-gnupg-bottom-menu-alist
135   '(("/privacy-policy.html"
136      "Privacy&nbsp;Policy"
137      ())
138     ("/imprint.html"
139      "Imprint"
140      ())
141     ("/misc/index.html"
142      "Archive"
143      ())
144     ("/sitemap.html"
145      "Sitemap"
146      ())
147     ("/blog/index.html"
148      "Blog"
149      ())
150     ("/ftp/index.html"
151      "Files"
152      ()))
153   "The definition of the gnupg.org bottom menu structure.")
154
155
156 (defun gpgweb--any-selected-menu-p (menu selected-file)
157   "Return t if any item in MENU has been selected."
158   (let ((item (car menu))
159         res)
160     (when menu
161       (when item
162         (when (string= (car item) selected-file)
163             (setq res t))
164         (when (caddr item)
165           (when (gpgweb--any-selected-menu-p (caddr item) selected-file)
166             (setq res t))))
167       (when (gpgweb--any-selected-menu-p (cdr menu) selected-file)
168         (setq res t)))
169     res))
170
171
172 (defun gpgweb--selected-top-menu (menu selected-file)
173   "Return the selected top menu or nil."
174   (when menu
175     (let ((item (car menu)))
176       (if (and item
177                (or (string= (car item) selected-file)
178                    (gpgweb--any-selected-menu-p (caddr item) selected-file)))
179           menu
180         (gpgweb--selected-top-menu (cdr menu) selected-file)))))
181
182 (defun gpgweb--insert-menu (menu lvl selected-file)
183   "Helper function to insert the menu."
184   (when menu
185     (let ((item (car menu)))
186       (when item
187         (dotimes (i (1+ lvl)) (insert "  "))
188         (insert "  <li><a href=\"" (car item) "\"")
189         (when (or (string= (car item) selected-file)
190                   (gpgweb--any-selected-menu-p (caddr item) selected-file))
191           (insert " class=\"selected\""))
192         (insert  ">" (cadr item) "</a>\n")
193         (when (caddr item)
194           (dotimes (i (1+ lvl)) (insert "  "))
195           (insert "  <ul class=\"sub-menu\">\n")
196           (gpgweb--insert-menu (caddr item) (1+ lvl) selected-file)
197           (dotimes (i (1+ lvl)) (insert "  "))
198           (insert "  </ul>\n"))
199         (dotimes (i (1+ lvl)) (insert "  "))
200         (insert "  </li>\n")))
201     (gpgweb--insert-menu (cdr menu) lvl selected-file)))
202
203
204 (defun gpgweb--insert-submenu (menu selected-file)
205    "Helper function to insert the sub-menu."
206    (when menu
207      (let ((item (car menu)))
208        (when item
209          (insert "    <li><a href=\"" (car item) "\"")
210          (when (or (string= (car item) selected-file)
211                    (gpgweb--any-selected-menu-p (caddr item) selected-file))
212            (insert " class=\"selected\""))
213          (insert ">" (cadr item) "</a></li>\n")))
214      (gpgweb--insert-submenu (cdr menu) selected-file)))
215
216
217 (defun gpgweb-insert-menu (selected-file)
218   "Insert the menu structure into the HTML file."
219   (goto-char (point-min))
220   (when (re-search-forward "^<body>\n" nil t)
221     (insert "<div id=\"wrapper\">
222 <div id=\"header\"><a href=\"/index.html\" class=\"logo\"
223      ><img src=\"/share/logo-gnupg-light-purple-bg.png\"></a>&nbsp;</div>
224 <nav>
225   <ul>
226 ")
227     (gpgweb--insert-menu gpgweb-gnupg-menu-alist 0 selected-file)
228     (insert "  </ul>
229 </nav>
230 ")
231     (let ((m (caddr (car (gpgweb--selected-top-menu
232                           gpgweb-gnupg-menu-alist selected-file)))))
233       (when m
234           (insert "<nav class=\"subnav\">\n  <ul>\n")
235           (gpgweb--insert-submenu m selected-file)
236           (insert "  </ul>\n</nav>\n")))
237     (insert "<main>
238 <div id=\"content\">
239 ")))
240
241
242 (defun gpgweb-blog-index (orgfile filelist)
243   "Return the index of ORGFILE in FILELIST or nil if not found."
244   (let (found
245         (i 0))
246     (while (and filelist (not found))
247       (if (string= orgfile (car filelist))
248           (setq found i))
249       (setq i (1+ i))
250       (setq filelist (cdr filelist)))
251     found))
252
253 (defun gpgweb-blog-prev (fileidx filelist)
254   "Return the chronological previous file at FILEIDX from FILELIST
255 with the suffixed replaced by \"html\"."
256   (if (> fileidx 1)
257       (concat (file-name-sans-extension (nth (1- fileidx) filelist)) ".html")))
258
259 (defun gpgweb-blog-next (orgfile filelist)
260   "Return the chronological next file at FILEIDX from FILELIST
261 with the suffixed replaced by \"html\"."
262   (if (< fileidx (1- (length filelist)))
263       (concat (file-name-sans-extension (nth (1+ fileidx) filelist)) ".html")))
264
265 (defun gpgweb-fixup-blog (info orgfile filelist)
266   "Insert the blog specific content.  INFO is the usual
267 plist. ORGFILE is the name of the current source file without the
268 directory part.  If FILELIST is a list it has an ordered list of
269 org filenames."
270   (let ((authorstr (car (plist-get info :author)))
271         (datestr   (car (plist-get info :date))))
272     (goto-char (point-min))
273     (if (re-search-forward "^<main>" nil t)
274         (let* ((indexp (string= orgfile "index.org"))
275                (fileidx (if (listp filelist)
276                             (if indexp
277                                 (1- (length filelist))
278                               (gpgweb-blog-index orgfile filelist))))
279                (prevfile (if fileidx
280                              (gpgweb-blog-prev fileidx filelist)))
281                (nextfile (if (and fileidx (not indexp))
282                            (gpgweb-blog-next fileidx filelist))))
283           (move-beginning-of-line nil)
284           (insert "<nav class=\"subnav\">\n  <ul>\n")
285           (if prevfile
286               (insert "    <li><a href=\"" prevfile "\">Previous</a></li>\n"))
287           (insert
288            "    <li><a href=\"/blog/index.html#blogindex\">Index</a></li>\n")
289           (if nextfile
290               (insert "    <li><a href=\"" nextfile "\">Next</a></li>\n"))
291           (insert "  </ul>\n</nav>\n")))
292     (if (and datestr authorstr)
293         (if (re-search-forward "^<h2 id=.*\n" nil t)
294             (insert "<p class=\"postdate\">Posted "
295                     datestr
296                     " by "
297                     authorstr
298                     "</p>\n")))))
299
300
301 (defun gpgweb-insert-footer (htmlfile committed-at blogmode)
302   "Insert the footer.
303
304 HTMLFILE is HTML file name and COMMITTED-AT is the commit date
305 string of the source file or nil if not available."
306   (let ((srcfile (concat "https://git.gnupg.org/cgi-bin/gitweb.cgi?"
307                          "p=gnupg-doc.git;a=blob;f="
308                          (if blogmode "misc/blog.gnupg.org" "web/")
309                          ;; The replace below is a hack to cope with
310                          ;; blogmode where HTMLFILE is like "./foo.html".
311                          (replace-regexp-in-string
312                           "^\\./" "/"
313                           (file-name-sans-extension htmlfile) t)
314                          ".org"))
315         (changed (if (and committed-at (>= (length committed-at) 10))
316                      (substring committed-at 0 10)
317                      "[unknown]")))
318     (goto-char (point-max))
319     (insert "</div><!-- end content -->
320 </main>
321 <div id=\"footer\">
322   <div id=\"nav_bottom\">
323   <ul>
324 ")
325     (gpgweb--insert-menu gpgweb-gnupg-bottom-menu-alist 0 nil)
326     (insert "    </ul>
327   </div>
328 ")
329     (insert "  <div class=\"footerbox\">
330   <a><img src=\"/share/traueranzeige-g10_v2015.png\"
331           width=\"200px\" height=\"73px\"
332           alt=\"Traueranzeige: Wir nehmen Abschied von einem sicher geglaubten Freund, dem | Fernmeldegeheimniss | (Artikel 10 Grundgesetz) | * 23. Mai 1949, + 18. Dezember 2015\"
333           title=\"Article 10 of the German constitution (communication privacy) is not anymore with us.\" /></a>
334   <p></p>
335   </div>
336 ")
337     (goto-char (point-min))
338     (unless (search-forward "<!--disable-copyright-footer-->" nil t)
339       (goto-char (point-max))
340       (if (string-prefix-p "verein/" htmlfile)
341           (insert "  <div id=\"cpyright\">
342     <a rel=\"license\" href=\"https://creativecommons.org/licenses/by-sa/4.0/\"
343       ><img alt=\"CC BY-SA 4.0\" style=\"border: 0\"
344             src=\"/share/cc-by-sa_80x15.png\"/></a>&nbsp;
345     This web page is
346     Copyright 2018 GnuPG e.V. and licensed under a
347     <a rel=\"license\" href=\"https://creativecommons.org/licenses/by-sa/4.0/\"
348     >Creative Commons Attribution-ShareAlike 4.0 International License</a>.  See
349     <a href=\"/copying.html\">copying</a> for details.
350     Page <a href=\"" srcfile "\">source</a> last changed on " changed ".
351   </div>\n")
352           (insert "  <div id=\"cpyright\">
353     <a rel=\"license\" href=\"https://creativecommons.org/licenses/by-sa/3.0/\"
354       ><img alt=\"CC BY-SA 3.0\" style=\"border: 0\"
355             src=\"/share/cc-by-sa_80x15.png\"/></a>&nbsp;
356     These web pages are
357     Copyright 1998--2018 The GnuPG Project and licensed under a
358     <a rel=\"license\" href=\"https://creativecommons.org/licenses/by-sa/3.0/\"
359     >Creative Commons Attribution-ShareAlike 3.0 Unported License</a>.  See
360     <a href=\"/copying.html\">copying</a> for details.
361     Page <a href=\"" srcfile "\">source</a> last changed on " changed ".
362   </div>\n")))
363   (goto-char (point-max))
364   (insert "</div>
365 </div><!-- end wrapper -->
366 </body>
367 </html>")))
368
369
370 (defun gpgweb-publish-find-title (file &optional reset)
371   "Find the title of FILE in project.
372 This is a copy of org-publish-find-title which switches the
373 buffer into read-write mode so that it works with read-only files."
374   (or
375    (and (not reset) (org-publish-cache-get-file-property file :title nil t))
376    (let* ((org-inhibit-startup t)
377           (visiting (find-buffer-visiting file))
378           (buffer (or visiting (find-file-noselect file))))
379      (with-current-buffer buffer
380        (toggle-read-only 0)
381        (let ((title
382               (let ((property
383                      (plist-get
384                       ;; protect local variables in open buffers
385                       (if visiting
386                           (org-export-with-buffer-copy (org-export-get-environment))
387                         (org-export-get-environment))
388                       :title)))
389                 (if property
390                     (org-no-properties (org-element-interpret-data property))
391                   (file-name-nondirectory (file-name-sans-extension file))))))
392          (unless visiting (kill-buffer buffer))
393          (org-publish-cache-set-file-property file :title title)
394          title)))))
395
396
397 (defun gpgweb-want-custom-page-p ()
398   "Return true if the current buffer indicated that it wants to
399 be a custom page."
400   (let ((savepoint (point))
401         (result))
402     (goto-char (point-min))
403     (setq result (not (not (search-forward "<!--custom-page-->" nil t))))
404     (goto-char savepoint)
405     result))
406
407
408 (defun gpgweb-postprocess-html (plist orgfile htmlfile blogmode)
409   "Post-process the generated HTML file
410
411   - Insert header and footer
412   - Insert \"class=selected\" into the active menu entry
413   - Fixup sitemap.
414
415 If blogmode is not nil the output is rendered as a blog.  BLOGMODE
416 may then contain an ordered list of org file names which are used
417 to create the previous and Next links for an entry."
418   (let* ((visitingp (find-buffer-visiting htmlfile))
419          (work-buffer (or visitingp (find-file-noselect htmlfile)))
420          (committed-at (shell-command-to-string
421                         (concat "git"
422                                 (if blogmode (concat " -C " gpgweb-blog-dir))
423                                 " log -1 --format='%ci' -- " orgfile))))
424     (prog1 (with-current-buffer work-buffer
425              (let ((fname (file-name-nondirectory htmlfile))
426                    (fname-2 (replace-regexp-in-string
427                              ".*/gnupg-doc-stage/web/\\(.*\\)$" "\\1"
428                              htmlfile t))
429                    (title (gpgweb-publish-find-title orgfile))
430                    (custom (gpgweb-want-custom-page-p)))
431                ;; Insert header, menu, and footer.
432                (gpgweb-insert-header title committed-at custom)
433                (unless custom
434                  (goto-char (point-min))
435                  (unless (search-forward "<!--disable-menu-->" nil t)
436                    (gpgweb-insert-menu fname-2))
437                  (if blogmode
438                      (gpgweb-fixup-blog plist
439                                         (file-name-nondirectory orgfile)
440                                         blogmode))
441                  (gpgweb-insert-footer fname-2 committed-at blogmode))
442
443                ; Fixup the sitemap
444                (when (string-equal fname "sitemap.html")
445                  (goto-char (point-min))
446                  (while (re-search-forward
447                          "^.*<li>.*>\\(GnuPG - \\).*<span.*$" nil t)
448                    (replace-match "" t nil nil 1)))
449
450                ; Due to a problem with the current org exporter (cases
451                ; were we link to file mapped via a webserver alias) we
452                ; have to use a full URL at some places in the org
453                ; source.  We fix that up here.
454                (goto-char (point-min))
455                (while (re-search-forward
456                        "href=\"\\(https://www.gnupg.org\\)/.*\"" nil t)
457                  (replace-match "" t t nil 1))
458
459                ; If the wideright flag is used, change <td> and <th>
460                ; attributes.
461                (goto-char (point-min))
462                (when (search-forward "<!--table_data_wideright-->" nil t)
463                  (goto-char (point-min))
464                  (while (re-search-forward
465                          "^<t[hd].*class=\"\\(right\\)\".*$" nil t)
466                    (replace-match "right wideright" t nil nil 1)))
467
468                ; And save the changes
469                (basic-save-buffer))
470       (unless visitingp (kill-buffer work-buffer))))))
471
472
473 (defun gpgweb-org-to-html (plist filename pub-dir)
474   "The publishing function used by the HTML exporter"
475   (gpgweb-postprocess-html plist
476                            filename
477                            (org-gpgweb-publish-to-html plist filename pub-dir)
478                            nil))
479
480
481 (defun gpgweb-faq-to-txt (faqfile)
482   "Render FAQFILE as text.  FAQFILE is assumed to be in web/faq.
483 Note that the HTML rendering is done as part of the gpgweb-org-to-html"
484   (interactive "sFAQ orgfile: ")
485   (let* ((file (concat gpgweb-root-dir "faq/" faqfile))
486          (visitingp (find-buffer-visiting file))
487          (work-buffer (or visitingp (find-file-noselect file))))
488     (with-current-buffer work-buffer
489       (setq default-directory (concat gpgweb-stage-dir "faq"))
490       (make-directory default-directory t)
491       (toggle-read-only 0)
492       (org-ascii-export-to-ascii nil nil nil nil '(:ascii-charset utf-8))
493       (basic-save-buffer))
494     (unless visitingp
495           (kill-buffer work-buffer))))
496
497
498 (defun gpgweb-render-blog (&optional filelist)
499   "Turn the current buffer which has an org-mode blog entry into its
500 rendered form and save it with the suffix .html."
501   (interactive)
502   (let* ((extplist '(:language "en"
503                      :section-numbers nil
504                      :tags nil
505                      :with-toc nil))
506          (orgfile (buffer-file-name))
507          (plist (org-export-get-environment 'gpgweb nil extplist))
508          (htmlfile (org-gpgweb-export-to-html nil nil nil t extplist)))
509     (gpgweb-postprocess-html plist orgfile htmlfile (if filelist filelist t))))
510
511
512 (defun gpgweb-publish-blogs ()
513   "Publish all blog entries in the current directory"
514   (interactive)
515   (let ((orgfiles (directory-files gpgweb-blog-dir nil "^2[0-9]+-.*\.org$")))
516     (dolist (file (cons "index.org" orgfiles))
517       (let* ((file2 (concat gpgweb-blog-dir file))
518              (visitingp (find-buffer-visiting file2))
519              (work-buffer (or visitingp (find-file-noselect file2))))
520         (with-current-buffer work-buffer
521           (setq default-directory gpgweb-stage-dir)
522           (toggle-read-only 0)
523           (gpgweb-render-blog orgfiles)
524           (basic-save-buffer))
525         (unless visitingp
526           (kill-buffer work-buffer))))))
527
528 (defun gpgweb-upload ()
529   "We don't do an upload directly.  Instead we only print the
530 commands to do that.  In reality a cron jobs syncs the stage dir."
531   (let ((stagedir (plist-get project-plist :publishing-directory)))
532     (message "gpgweb  rootdir '%s'" gpgweb-root-dir)
533     (message "gpgweb stagedir '%s'" stagedir)
534     (message
535      (concat "cd " gpgweb-root-dir " && cd " stagedir
536              " && echo rsync -rlt --exclude \"*~\" ./ "
537              "werner@trithemius.gnupg.org:"
538              "/var/www/www/www.gnupg.org/htdocs/ ;"
539              " echo ssh werner@trithemius.gnupg.org"
540              " touch /var/www/www/www.gnupg.org/htdocs/donate/donors.dat"))
541 ))
542
543 (provide 'gpgweb)