DANE - testcase for fail under GnuTLS with TA-mode to a selfsigned server cert

Docs: more indexing of affix-related bits

Fix broken doc links and http→https where possible

I got a cookie-cutter email from folks noting the modssl.org doc links
were broken and asking us to use their site instead, which was both
helpful and a rather heavy page with advertising on it, so not something
I want our docs to link to.

Fixed the modssl link to point to the correct current Apache docs, since
mod_ssl has not been a separate project for … a very long time.

Audited every `http:` link in the Spec, replacing with https if
available, updating URLs as needed, or trimming deadwood as appropriate.
This did edit one license text, but in a way which I believe is
reasonable and in the license holder's best interests.

* Use comments with a datestamp for any remaining http: URLs, showing
  when they were last audited
* Suggest migrating away from Berkeley DB.
* Drop mention of a patched `pam_unix` module which is no longer available.
* In revamping the CDB tools links, add my own tools.
* Redo the intro text for the mod_ssl stuff (first person voice of PH).
* Rescorla's book's online examples appear to be gone; drop mention of
  them and point to Ristić's more recent book too.
* Point to wikipedia list of DNSxL services as an overview, in part
  because I dropped the reference to the defunct rfc-ignorant.org and
  there was no good candidate as an exemplar for domain-based lists.
* Note that mksd is a candidate for removal from Exim since mks_vir
  is dead.
* Drop LogReport/lire reference (dead/gone and can't find it).
* Redo proxy protocol spec-linking text.
* Replace FAQ A1701 with text saying "don't do that" (self-signed certs)
  and just telling people to use a CA instead, pointing strongly to
  Let's Encrypt.  We did nobody any favors with that old text still
  being present today (it was entirely appropriate when written).

DEBUG: db functions

Refactor authenticators API to take an (opaque) smtp connection context

Do not use arc4random_stir() directly (Bug 2304)

arc4random_stir should not be used directly (it's fully automated after
FreeBSD r227520, or approximately __FreeBSD_version 1000002), the
interface will be removed from FreeBSD soon (bugs.freebsd.org/230756).

Patch was from bugs.freebsd.org/230826.

Use single-bit fields for file-global flags in smtp_in

DMARC: Fix forensic-report envelopes to permit non-null.  Bug 1896

Fix no-SSL, with-SOCKS build

Testsuite: fix CHUNKING tests for no-DKIM build

Use single-bit fields for global flags

Logging: server pipelining offer but no uptake

tidying

Builtin macros for log_selector values

Tidying: indentation

Debug: indent builtin-DB operations

Logging: pipelining log_selector

unbreak test: s/log_write/logwrite/

UTF8/locale: document constraints on current expansions.

Fix utf8clean not replacing incomplete final character

Before, it was just dropped, but we document that it's replaced by ?.

Tests updated, manual test-case for -be prompt is:

    ${utf8clean:${length_1:フィル}}

Fix logging all_parents for cutthrough delivery.  Bug 2296

Fix cutthrough delivery for more than one iteration of address redirection.  Bug 2296

Docs: add explicit warning on spoolfile formats

18N: fix docs for option name.  Bug 2246

Incorrect at introduction in 71c158466d.

REQUIRETLS: amplify docs discussion

Make -n work with macros too

Have `exim -n -bP macro FOO` just print the value of the macro `FOO`,
without the `name=` prefix.

This is the same handling as used for option values.

If the invoker asks for multiple macros in one invocation, with `-n`,
then that's their problem.

I18N: add a utf8_downconvert option to the smtp transport.  Bug 2248

Support REQUIRETLS

Fix non-EVENTS build

Broken-by: c4b57fddca

Testsuite: restore rspamd testcase
Missed from 611b1961b8.

I18N: reject SMTPUTF8 MAIL command when facility not advertised

I18N: Fix protocol recorded for a multi-SMTPUTF8-message connection.  Bug 2287

Docs: clarify rolled-up dkim status availability in data ACL

doc: DANE: don't claim TA can be elided from chain

While technically an implementation can choose to use a public TA from
DNS or elsewhere to populate a missing TA from the chain, that creates
interoperability issues and the OpenSSL integration code, at least,
doesn't support that and after a bit of work drilling through layers of
abstraction, I've not figured out what GnuTLS does and I've decided I
don't care.

So I'm heeding Viktor's advice and changing the docs to just say to
publish the TA in the chain sent by the server.

nit typo

Document problems with SHA-1 in certs with DANE-TA

Very few domains are using SHA-1 in EE certs issued from a CA used in
DANE-TA anchoring, but some are.  Meanwhile apparently GnuTLS now
defaults to disabling SHA-1 in chains.  Which is eminently reasonable.

I do not believe that Exim should re-enable use of SHA-1 here.  Let it
die.  Document with warnings that folks using a private CA for certs to
be publicly trusted via DANE-TA should follow decent operational
issuance practices.

Also update my Channel Binding docs for GSASL to warn that Channel
Binding is Broken™.

Callouts: enhance debug message

Testsuite: tweak instructions for running the suite

Restore rsmapd support

Following discussions on the exim-user mailinglist it seems that the conclusion
that the interface was nonfunctioning was unwarranted.

tidying

Merge branch 'rspamd-removal'

Revert "Support Rspamd.  Patch from Andrew Lewis, lightly editorialised"

This reverts commit c5f280e20a8e3ecd5f016b8fb34a436588915ed2.

Revert "Rspamd: add $authenticated_id as User to scan command"

This reverts commit 6c54be6459b83b955fbd2fd6d6a844f80c98427a.

Revert "Spamd: add missing initialiser.  Rspamd mode was incorrectly sometimes seen."

This reverts commit e718bd6285cb0fb45b74b6fc00b7737590dcaa60.

Revert "Do not use shutdown() when talking to rspamd. Fixes 1802"

This reverts commit 416a0be6df0697848ca551dd3243b652e763792d.

Revert "Testsuite: limited support for Content-length:"

This reverts commit f6f239461fd62b3a4f3142b6b2a85f8f65eee486.

Revert "Avoid repeated string-copy building command-string for rspamd"

This reverts commit 5df838645bcdb135355205a115bf918c85987caf.

Unbreak non-DANE build

Broken-by: afdb5e9cf0

Expansions: A tls option on ${readsocket }.  Bug 2282

ARC: Fix verification to do AS checks in reverse order

Broken from the original introduction (617d39327e)

Fix mutiple message send under TLS

Broken-by: 74f1a42304

TLS: rework client-side use with an explicit context rather than a global

Testsuite: workaround older-perl bug

Testsuite: missing output files

DKIM: Fix signing for body lines starting with a pair of dots.  Bug 2284

Broken-by: 42055a3385

Docs: spelling

OpenSSL: TLSv1.3 notes

OpenSSL: enable use of TLS 1.3  (with OpenSSL 1.1.0 and later)

Add client-ip info to non-pass iprev ${authres } lines

Clarify the socket address family (UNIX) for server_socket (dovecot)

Wishlist item (#2280) is created for INET connections.
See https://bugs.exim.org/show_bug.cgi?id=2280

DKIM: support timestamp and expiry tags in signing.  Bug 2260

Follow CNAME chains only one step.  Bug 2264

ARC: Fix signing for case when DKIM signing failed

Change-log

Fix logging of cmdline args when starting in an unlinked cwd.  Bug 2274

Use serial number 1 for self-generated selfsigned certificate

Broken-by: 23bb69826c

ARC: better diagnostics for keyfile issues

DMARC: do not wipe values set by config options, between message receptions

Broken-by: b4757e3611

Docs: add note on DKIM signing-limit security

Safer handling of argument-logging memory of cwd

Testsuite: output changes arising

Callouts: record succeeding random local-part tests.  Bug 177

Content scanning: Fix locking on message spool files.  Bug 2275

Don't open spool data-files which are symlinks

ARC: fix crash on signing with missing key file

-bV: include the CONFIGURE_FILE path if it contains a ':'

tidying

Cutthrough: fix race resulting in duplicate-delivery.  Bug 2273

tidying

Fix typo in readconf.c

Expansions: new ${lheader:<name>}.  Bug 2272

tidying

Docs: minor fixes

ARC: add $arc_oldest_pass variable, for verify

ARC: support $arc_domains also for verify fails

ARC: add $arc_domains variable, for verify pass

ARC: limit verify chain to 50-deep

Testsuite: syslog testcase

DKIM: enforce limit of 20 on received DKIM-Signature: headers.  Bug 2269

Improve OpenSSL/GnuTLS; enable DNSSEC for non-smarthost

Docs: clarify DKIM verification

TLS by default for example smarthost SMTP Transport

And _decent_ TLS at that, with verification.

Testsuite: output changes arising.

Broken-by: 0e8aed8aab

ACL: reword error message for ratelimit.  Bug 2267

Docs: rewrite description of 'leaky' ratelimit.  Bug 1298

Fix spec

Thanks to Mike Brudenell

Compile warning defaults for OpenBSD, at request of the port maintainer

tidying

Belated README.UPDATING notes for Exim 4.91

People skip versions and move past them later, so while it's too late
for 4.91, this will still help people moving to 4.92 from pre-4.91 in
future.

Note that none of these strictly needed to be documented here:
experimental features, features marked as deprecated for many many
years, etc.  But let's err on the side of caution and include "things
which will break if you try to upgrade without changing Local/Makefile".

Fix OpenSSL non-OCSP build