Testsuite: variances for OpenSSL 1.1.1

Tidying: char signedness

Build: probe for broken poll() timing implementation

MacOS: probe for a usable TFO system configuration

Testsuite: fix debug stream munging for non-autocreate DBM variants, and for no TFO support

MacOS: fix spurious "child process failure"

Debug: provide for SIGALRM tracking

Fix bad use of library, copying string over itself

tidying

Ensure unique message-id even for rejected messages

MacOS: fix egid problem

MacOS: support large group-membership counts

Refactor startup error exits

Testsuite: force non-TLSv1.3 for (OpenSSL) cert-variable test
This maintains visibility of the cert choice required by the auth-method configuration.

Leave the bogus results from pre-1.1.1 OpenSSL library bug while the fixed version is not in common use.

tidying

Testsuite: client script faciility for handling optional reponses

Use this to deal with fallout from TLS negotiation failure, where the
server sees leftover encrypted data as garbage commands.

OpenSSL: Enhance connect/accept-time debug

Also, use safer interface for error-strings.

Testsuite: tidying

Fix Mac build

Broken-by: 75c121f07a

Fix OpenBSD build.

Broken-by: 75c121f07a

Increase buffer size used for DNS responses.  Bug 2329

tidying

Rename smtp.client-ip to smtp.remote-ip

This tracks changes in the ARC draft.

The Received-SPF headers remain unchanged.

Debug: output GnuTLS verbose reason for certificate verify refusal

Testsuite: more TLSv1.3 handling

Docs: tweak ARC description

TFO: use enum for client status

Debug: noutf8 selector.  Bug 2324

Testsuite: enhance json extract tests

Expansions: fix json extract for de-wrapping nested objects.  Bug 2322

Expansions: extract methods for JSON objects and arrays.  Bug 2282

Events: tests.  Bug 2322

Events:  Fire msg:fail:internal for a non-system filter "fail" command.  Bug 2322

Events:  Fire msg:fail:delivery event even when error is being ignored.  Bug 2314

Logging: do not log a missing proxy address, on delivery non-proxied.

Broken-by: e6d2a9894d

Check return from asprintf()

DSN: tescase for ESMTP DSN extension, RCPT options

OpenSSL: Check return value from X509_NAME_oneline().  Bug 2316

It didn't used to be documented as possibly returning NULL, but now it is.

DANE: ignore undersized TLSA records

Testsuite: output changes resulting

Testsuite: timing change needed for debug changes

Broken-by: 8008accd32

Testsuite: handle OpenSSL 1.1.1

Builtin macros for OpenSSL options

Constification

Testsuite: output changes resulting from timing change.

Broken-by: 8008accd32

Testsuite: track newer GnuTLS behaviour

We have lost one log line, for a ciphers-negotiation failure on an early
host in a list from routing.  We still get something indicative if the
last one fails, so I'm going to let this pass.
Test 2025 will fail on earlier GnuTLS library versions as a result.

NONE no longer works as documented, in priority string for GnuTLS.

GnuTLS: simplify cert hostname checking

Constification

DANE: fix TA-mode verify under GnuTLS.  Bug 2311

Avoid fixed-size buffers for file paths in DB open

Events: raise msg:fail:internal & msg:complete for -Mrm.  Bug 2310

testsuite output changes

Fix filter noerror command.  Bug 2318

Tidying and compiler-silencing

tests: propagate CPPFLAGS into build invocations

With openssl installed by brew on macOS, OpenSSL headers are not in a
normal place.  I can fiddle with LDFLAGS/CPPFLAGS to get them available,
but then the `./configure` step succeeds and build fails.

Propagating the CPPFLAGS into the generated Makefile lets the build
succeed and we get a `client-ssl` binary output.

Restore Darwin OS configuration

MacStadium are providing us with free Mac Mini hosting as part of their
FOSS support.  I'm about to set it up.  Let's have out-of-repo tuning in
place before I begin.

Check returncode from SSL_CTX_set_cipher_list()

Unbreak test 0600 (copy/paste error)

Docs: document ancillary info for more event types.  Bug 2313

Patch from Matthias, with additional code indentation tweaks from JGH

docs: unbreak spec build

I've created a homebrew tap with sdop and xfpt in it, so I can install
those more easily on macOS in the future, and now have bothered actually
building the docs.  `.url()` should have been `&url()` in two places.

The `make spec.pdf` pipeline yields a document where those are not
clickable links, but if i use `make spec.ps` and let macOS auto-convert
to PDF upon open, those are proper clickable hyperlinks.  So this switch
is definitely for the better.

DANE - testcase for fail under GnuTLS with TA-mode to a selfsigned server cert

Docs: more indexing of affix-related bits

Fix broken doc links and http→https where possible

I got a cookie-cutter email from folks noting the modssl.org doc links
were broken and asking us to use their site instead, which was both
helpful and a rather heavy page with advertising on it, so not something
I want our docs to link to.

Fixed the modssl link to point to the correct current Apache docs, since
mod_ssl has not been a separate project for … a very long time.

Audited every `http:` link in the Spec, replacing with https if
available, updating URLs as needed, or trimming deadwood as appropriate.
This did edit one license text, but in a way which I believe is
reasonable and in the license holder's best interests.

* Use comments with a datestamp for any remaining http: URLs, showing
  when they were last audited
* Suggest migrating away from Berkeley DB.
* Drop mention of a patched `pam_unix` module which is no longer available.
* In revamping the CDB tools links, add my own tools.
* Redo the intro text for the mod_ssl stuff (first person voice of PH).
* Rescorla's book's online examples appear to be gone; drop mention of
  them and point to Ristić's more recent book too.
* Point to wikipedia list of DNSxL services as an overview, in part
  because I dropped the reference to the defunct rfc-ignorant.org and
  there was no good candidate as an exemplar for domain-based lists.
* Note that mksd is a candidate for removal from Exim since mks_vir
  is dead.
* Drop LogReport/lire reference (dead/gone and can't find it).
* Redo proxy protocol spec-linking text.
* Replace FAQ A1701 with text saying "don't do that" (self-signed certs)
  and just telling people to use a CA instead, pointing strongly to
  Let's Encrypt.  We did nobody any favors with that old text still
  being present today (it was entirely appropriate when written).

DEBUG: db functions

Refactor authenticators API to take an (opaque) smtp connection context

Do not use arc4random_stir() directly (Bug 2304)

arc4random_stir should not be used directly (it's fully automated after
FreeBSD r227520, or approximately __FreeBSD_version 1000002), the
interface will be removed from FreeBSD soon (bugs.freebsd.org/230756).

Patch was from bugs.freebsd.org/230826.

Use single-bit fields for file-global flags in smtp_in

DMARC: Fix forensic-report envelopes to permit non-null.  Bug 1896

Fix no-SSL, with-SOCKS build

Testsuite: fix CHUNKING tests for no-DKIM build

Use single-bit fields for global flags

Logging: server pipelining offer but no uptake

tidying

Builtin macros for log_selector values

Tidying: indentation

Debug: indent builtin-DB operations

Logging: pipelining log_selector

unbreak test: s/log_write/logwrite/

UTF8/locale: document constraints on current expansions.

Fix utf8clean not replacing incomplete final character

Before, it was just dropped, but we document that it's replaced by ?.

Tests updated, manual test-case for -be prompt is:

    ${utf8clean:${length_1:フィル}}

Fix logging all_parents for cutthrough delivery.  Bug 2296

Fix cutthrough delivery for more than one iteration of address redirection.  Bug 2296

Docs: add explicit warning on spoolfile formats

18N: fix docs for option name.  Bug 2246

Incorrect at introduction in 71c158466d.

REQUIRETLS: amplify docs discussion

Make -n work with macros too

Have `exim -n -bP macro FOO` just print the value of the macro `FOO`,
without the `name=` prefix.

This is the same handling as used for option values.

If the invoker asks for multiple macros in one invocation, with `-n`,
then that's their problem.

I18N: add a utf8_downconvert option to the smtp transport.  Bug 2248

Support REQUIRETLS

Fix non-EVENTS build

Broken-by: c4b57fddca

Testsuite: restore rspamd testcase
Missed from 611b1961b8.

I18N: reject SMTPUTF8 MAIL command when facility not advertised

I18N: Fix protocol recorded for a multi-SMTPUTF8-message connection.  Bug 2287

Docs: clarify rolled-up dkim status availability in data ACL

doc: DANE: don't claim TA can be elided from chain

While technically an implementation can choose to use a public TA from
DNS or elsewhere to populate a missing TA from the chain, that creates
interoperability issues and the OpenSSL integration code, at least,
doesn't support that and after a bit of work drilling through layers of
abstraction, I've not figured out what GnuTLS does and I've decided I
don't care.

So I'm heeding Viktor's advice and changing the docs to just say to
publish the TA in the chain sent by the server.

nit typo

Document problems with SHA-1 in certs with DANE-TA

Very few domains are using SHA-1 in EE certs issued from a CA used in
DANE-TA anchoring, but some are.  Meanwhile apparently GnuTLS now
defaults to disabling SHA-1 in chains.  Which is eminently reasonable.

I do not believe that Exim should re-enable use of SHA-1 here.  Let it
die.  Document with warnings that folks using a private CA for certs to
be publicly trusted via DANE-TA should follow decent operational
issuance practices.

Also update my Channel Binding docs for GSASL to warn that Channel
Binding is Broken™.

Callouts: enhance debug message

Testsuite: tweak instructions for running the suite

Restore rsmapd support

Following discussions on the exim-user mailinglist it seems that the conclusion
that the interface was nonfunctioning was unwarranted.

tidying