Testsuite: client script faciility for handling optional reponses

Use this to deal with fallout from TLS negotiation failure, where the
server sees leftover encrypted data as garbage commands.

OpenSSL: Enhance connect/accept-time debug

Also, use safer interface for error-strings.

Testsuite: tidying

Fix Mac build

Broken-by: 75c121f07a

Fix OpenBSD build.

Broken-by: 75c121f07a

Increase buffer size used for DNS responses.  Bug 2329

tidying

Rename smtp.client-ip to smtp.remote-ip

This tracks changes in the ARC draft.

The Received-SPF headers remain unchanged.

Debug: output GnuTLS verbose reason for certificate verify refusal

Testsuite: more TLSv1.3 handling

Docs: tweak ARC description

TFO: use enum for client status

Debug: noutf8 selector.  Bug 2324

Testsuite: enhance json extract tests

Expansions: fix json extract for de-wrapping nested objects.  Bug 2322

Expansions: extract methods for JSON objects and arrays.  Bug 2282

Events: tests.  Bug 2322

Events:  Fire msg:fail:internal for a non-system filter "fail" command.  Bug 2322

Events:  Fire msg:fail:delivery event even when error is being ignored.  Bug 2314

Logging: do not log a missing proxy address, on delivery non-proxied.

Broken-by: e6d2a9894d

Check return from asprintf()

DSN: tescase for ESMTP DSN extension, RCPT options

OpenSSL: Check return value from X509_NAME_oneline().  Bug 2316

It didn't used to be documented as possibly returning NULL, but now it is.

DANE: ignore undersized TLSA records

Testsuite: output changes resulting

Testsuite: timing change needed for debug changes

Broken-by: 8008accd32

Testsuite: handle OpenSSL 1.1.1

Builtin macros for OpenSSL options

Constification

Testsuite: output changes resulting from timing change.

Broken-by: 8008accd32

Testsuite: track newer GnuTLS behaviour

We have lost one log line, for a ciphers-negotiation failure on an early
host in a list from routing.  We still get something indicative if the
last one fails, so I'm going to let this pass.
Test 2025 will fail on earlier GnuTLS library versions as a result.

NONE no longer works as documented, in priority string for GnuTLS.

GnuTLS: simplify cert hostname checking

Constification

DANE: fix TA-mode verify under GnuTLS.  Bug 2311

Avoid fixed-size buffers for file paths in DB open

Events: raise msg:fail:internal & msg:complete for -Mrm.  Bug 2310

testsuite output changes

Fix filter noerror command.  Bug 2318

Tidying and compiler-silencing

tests: propagate CPPFLAGS into build invocations

With openssl installed by brew on macOS, OpenSSL headers are not in a
normal place.  I can fiddle with LDFLAGS/CPPFLAGS to get them available,
but then the `./configure` step succeeds and build fails.

Propagating the CPPFLAGS into the generated Makefile lets the build
succeed and we get a `client-ssl` binary output.

Restore Darwin OS configuration

MacStadium are providing us with free Mac Mini hosting as part of their
FOSS support.  I'm about to set it up.  Let's have out-of-repo tuning in
place before I begin.

Check returncode from SSL_CTX_set_cipher_list()

Unbreak test 0600 (copy/paste error)

Docs: document ancillary info for more event types.  Bug 2313

Patch from Matthias, with additional code indentation tweaks from JGH

docs: unbreak spec build

I've created a homebrew tap with sdop and xfpt in it, so I can install
those more easily on macOS in the future, and now have bothered actually
building the docs.  `.url()` should have been `&url()` in two places.

The `make spec.pdf` pipeline yields a document where those are not
clickable links, but if i use `make spec.ps` and let macOS auto-convert
to PDF upon open, those are proper clickable hyperlinks.  So this switch
is definitely for the better.

DANE - testcase for fail under GnuTLS with TA-mode to a selfsigned server cert

Docs: more indexing of affix-related bits

Fix broken doc links and http→https where possible

I got a cookie-cutter email from folks noting the modssl.org doc links
were broken and asking us to use their site instead, which was both
helpful and a rather heavy page with advertising on it, so not something
I want our docs to link to.

Fixed the modssl link to point to the correct current Apache docs, since
mod_ssl has not been a separate project for … a very long time.

Audited every `http:` link in the Spec, replacing with https if
available, updating URLs as needed, or trimming deadwood as appropriate.
This did edit one license text, but in a way which I believe is
reasonable and in the license holder's best interests.

* Use comments with a datestamp for any remaining http: URLs, showing
  when they were last audited
* Suggest migrating away from Berkeley DB.
* Drop mention of a patched `pam_unix` module which is no longer available.
* In revamping the CDB tools links, add my own tools.
* Redo the intro text for the mod_ssl stuff (first person voice of PH).
* Rescorla's book's online examples appear to be gone; drop mention of
  them and point to Ristić's more recent book too.
* Point to wikipedia list of DNSxL services as an overview, in part
  because I dropped the reference to the defunct rfc-ignorant.org and
  there was no good candidate as an exemplar for domain-based lists.
* Note that mksd is a candidate for removal from Exim since mks_vir
  is dead.
* Drop LogReport/lire reference (dead/gone and can't find it).
* Redo proxy protocol spec-linking text.
* Replace FAQ A1701 with text saying "don't do that" (self-signed certs)
  and just telling people to use a CA instead, pointing strongly to
  Let's Encrypt.  We did nobody any favors with that old text still
  being present today (it was entirely appropriate when written).

DEBUG: db functions

Refactor authenticators API to take an (opaque) smtp connection context

Do not use arc4random_stir() directly (Bug 2304)

arc4random_stir should not be used directly (it's fully automated after
FreeBSD r227520, or approximately __FreeBSD_version 1000002), the
interface will be removed from FreeBSD soon (bugs.freebsd.org/230756).

Patch was from bugs.freebsd.org/230826.

Use single-bit fields for file-global flags in smtp_in

DMARC: Fix forensic-report envelopes to permit non-null.  Bug 1896

Fix no-SSL, with-SOCKS build

Testsuite: fix CHUNKING tests for no-DKIM build

Use single-bit fields for global flags

Logging: server pipelining offer but no uptake

tidying

Builtin macros for log_selector values

Tidying: indentation

Debug: indent builtin-DB operations

Logging: pipelining log_selector

unbreak test: s/log_write/logwrite/

UTF8/locale: document constraints on current expansions.

Fix utf8clean not replacing incomplete final character

Before, it was just dropped, but we document that it's replaced by ?.

Tests updated, manual test-case for -be prompt is:

    ${utf8clean:${length_1:フィル}}

Fix logging all_parents for cutthrough delivery.  Bug 2296

Fix cutthrough delivery for more than one iteration of address redirection.  Bug 2296

Docs: add explicit warning on spoolfile formats

18N: fix docs for option name.  Bug 2246

Incorrect at introduction in 71c158466d.

REQUIRETLS: amplify docs discussion

Make -n work with macros too

Have `exim -n -bP macro FOO` just print the value of the macro `FOO`,
without the `name=` prefix.

This is the same handling as used for option values.

If the invoker asks for multiple macros in one invocation, with `-n`,
then that's their problem.

I18N: add a utf8_downconvert option to the smtp transport.  Bug 2248

Support REQUIRETLS

Fix non-EVENTS build

Broken-by: c4b57fddca

Testsuite: restore rspamd testcase
Missed from 611b1961b8.

I18N: reject SMTPUTF8 MAIL command when facility not advertised

I18N: Fix protocol recorded for a multi-SMTPUTF8-message connection.  Bug 2287

Docs: clarify rolled-up dkim status availability in data ACL

doc: DANE: don't claim TA can be elided from chain

While technically an implementation can choose to use a public TA from
DNS or elsewhere to populate a missing TA from the chain, that creates
interoperability issues and the OpenSSL integration code, at least,
doesn't support that and after a bit of work drilling through layers of
abstraction, I've not figured out what GnuTLS does and I've decided I
don't care.

So I'm heeding Viktor's advice and changing the docs to just say to
publish the TA in the chain sent by the server.

nit typo

Document problems with SHA-1 in certs with DANE-TA

Very few domains are using SHA-1 in EE certs issued from a CA used in
DANE-TA anchoring, but some are.  Meanwhile apparently GnuTLS now
defaults to disabling SHA-1 in chains.  Which is eminently reasonable.

I do not believe that Exim should re-enable use of SHA-1 here.  Let it
die.  Document with warnings that folks using a private CA for certs to
be publicly trusted via DANE-TA should follow decent operational
issuance practices.

Also update my Channel Binding docs for GSASL to warn that Channel
Binding is Broken™.

Callouts: enhance debug message

Testsuite: tweak instructions for running the suite

Restore rsmapd support

Following discussions on the exim-user mailinglist it seems that the conclusion
that the interface was nonfunctioning was unwarranted.

tidying

Merge branch 'rspamd-removal'

Revert "Support Rspamd.  Patch from Andrew Lewis, lightly editorialised"

This reverts commit c5f280e20a8e3ecd5f016b8fb34a436588915ed2.

Revert "Rspamd: add $authenticated_id as User to scan command"

This reverts commit 6c54be6459b83b955fbd2fd6d6a844f80c98427a.

Revert "Spamd: add missing initialiser.  Rspamd mode was incorrectly sometimes seen."

This reverts commit e718bd6285cb0fb45b74b6fc00b7737590dcaa60.

Revert "Do not use shutdown() when talking to rspamd. Fixes 1802"

This reverts commit 416a0be6df0697848ca551dd3243b652e763792d.

Revert "Testsuite: limited support for Content-length:"

This reverts commit f6f239461fd62b3a4f3142b6b2a85f8f65eee486.

Revert "Avoid repeated string-copy building command-string for rspamd"

This reverts commit 5df838645bcdb135355205a115bf918c85987caf.

Unbreak non-DANE build

Broken-by: afdb5e9cf0

Expansions: A tls option on ${readsocket }.  Bug 2282

ARC: Fix verification to do AS checks in reverse order

Broken from the original introduction (617d39327e)

Fix mutiple message send under TLS

Broken-by: 74f1a42304

TLS: rework client-side use with an explicit context rather than a global

Testsuite: workaround older-perl bug

Testsuite: missing output files

DKIM: Fix signing for body lines starting with a pair of dots.  Bug 2284

Broken-by: 42055a3385