Avoid leaving $domain live with bogus info, during server connection startup

(cherry picked from commit cde93db00d4f5cff864070ebfed2d0c36e532e71)

Fix cyrus-sasl authenticator for $authenticated_fail_id.  Bug 2338

Cherry-picked from: 49ff55b6a9

Fix bad use of library, copying string over itself

(cherry picked from commit e30f4f43de211b14bd405a3d0e1579b9bd814908)

Logging: do not log a missing proxy address, on delivery non-proxied.

Broken-by: e6d2a9894d
(cherry picked from commit eb58ddf5828a161dec94f131ff2c5c926c868354)

DANE: ignore undersized TLSA records

(cherry picked from commit 834dec3ec34411a106695fec7b89622c17980feb)

Testsuite: handle OpenSSL 1.1.1
There are no functional changes as a result of this.

(Cherry-picked from 9e9ad3eea1)

Testsuite: track newer GnuTLS behaviour
There are no non-debug functional changes as a result of this.

(cherry picked from commits 8008accd32, 1813a1e032, 90901366ce, 316645af5a)

DANE: fix TA-mode verify under GnuTLS.  Bug 2311

(cherry picked from commit 570cb1bdbc6ea378b2dcaf6ebabb45a5610ed1ef)

Fix filter noerror command.  Bug 2318

(cherry picked from commit 25beaee4c28ed29a37078e6c68fa3d18ced6ec8c)

tests: propagate CPPFLAGS into build invocations

With openssl installed by brew on macOS, OpenSSL headers are not in a
normal place.  I can fiddle with LDFLAGS/CPPFLAGS to get them available,
but then the `./configure` step succeeds and build fails.

Propagating the CPPFLAGS into the generated Makefile lets the build
succeed and we get a `client-ssl` binary output.

(cherry picked from commit be4bdb96db7556f34c5f298f1c473d53f3700bd9)
Signed-off-by: Phil Pennock <pdp@exim.org>

Restore Darwin OS configuration

MacStadium are providing us with free Mac Mini hosting as part of their
FOSS support.  I'm about to set it up.  Let's have out-of-repo tuning in
place before I begin.

(cherry picked from commit a3d83c9e8d57ba51cd246435b14604f995551802)
Signed-off-by: Phil Pennock <pdp@exim.org>

Fix cutthrough delivery for more than one iteration of address redirection.  Bug 2296

(cherry picked from commit d16931c81f3e500fa6eafe5ec1c5d8e7db63e65a
                and commit 8a6b4e02cd384193a5566e8601bdd97249b22284)

Fix non-EVENTS build

Broken-by: c4b57fddca
(cherry picked from commit 8d3dc2397dd769bf4654b0678be8d2acf0956ddd)

I18N: Fix protocol recorded for a multi-SMTPUTF8-message connection.  Bug 2287

(cherry picked from commit 946515bfe62796f6c0d6554e9e1e227f33253e7c)

ARC: Fix verification to do AS checks in reverse order

Broken from the original introduction (617d39327e)

Testsuite: missing output files

DKIM: Fix signing for body lines starting with a pair of dots.  Bug 2284

Broken-by: 42055a3385

ARC: Fix signing for case when DKIM signing failed

Fix logging of cmdline args when starting in an unlinked cwd.  Bug 2274

Use serial number 1 for self-generated selfsigned certificate

Broken-by: 23bb69826c
(cherry picked from commit 1613fd68b5931757016c3c25fdc3b0f37827e7f1)

Content scanning: Fix locking on message spool files.  Bug 2275

(cherry picked from commit 1bd642c265dae5643f16d023879043b7576f66a9)

ARC: fix crash on signing with missing key file

Cherry-picked from: 97e939dfe2

tidying

Cutthrough: fix race resulting in duplicate-delivery.  Bug 2273

Cherry-picked from: cfbb0d24e8

DKIM: enforce limit of 20 on received DKIM-Signature: headers.  Bug 2269

(cherry picked from commit 64b67b658a37dd780cc1b2fd0ef87febe461a0ba)

Fix spec

Thanks to Mike Brudenell

(cherry picked from commit 4ae6e648660146fd44e7aa00669d00e49c17c31a)

Fix OpenSSL non-OCSP build

(cherry picked from commit 37f0ce65959019e417ff79b9d0959e13470c5290)

Fix typo in arc.  Bug 2262

(cherry picked from commit 69a82da3e9018b082cee870030ecc557497301df)

    Avoid doing logging in signal-handlers.  Bug 1007

        Cherry-picked from 9723f96673, with the LOCAL_SCAN changes removed

Belated README.UPDATING notes for Exim 4.91

People skip versions and move past them later, so while it's too late
for 4.91, this will still help people moving to 4.92 from pre-4.91 in
future.

Note that none of these strictly needed to be documented here:
experimental features, features marked as deprecated for many many
years, etc.  But let's err on the side of caution and include "things
which will break if you try to upgrade without changing Local/Makefile".

Testsuite: tidyup after myslq testing

Logging: fix syslog logging for syslog_timestamp=no and log_selector +millisec
         also syslog_pid=no and log_selector +pid

Docs: typo

DKIM downgrade example again; this time debugged

As well as previous commit's `len_3` -> `length_3`, we were missing
braces around the expansion operator, resulting in trying to dereference
an unknown variable `$length_3`, and we were missing the outer braces
from the `or` expansion condition.

We really need a better way to test ACL expansion without a full harness. :(

This bug-fixed version is now running on my system.

Fix length expansion operator in DKIM downgrade example

DKIM: add support for the SubjectPublicKeyInfo wrapped form of pubkey

Docs: add known broken-version info for OpenSSL behavior

Mention MTA-STS in DANE context; nit fixes

Did an audit of text changed since commit 6aa6fc9c5 to look for issues
which stood out, fixed those.  Spelling mistakes, markup issues, minor
grammatical infelicities.

The public/private CA stuff in the DANE text might push people away from
public CAs, but the existence of MTA-STS means that one of those is
probably the best choice.  Mention what exim.org does, to provide
slightly firmer guidance without pressure.

List the `dkim_hash` values, `sha512` appears to be new since that text
was last touched.

Doc: website updates and so forth

I've added <https://downloads.exim.org/> as a new vhost which doesn't
reference FTP and loses the `/pub/exim` prefix.

Fixed various other outdated claims and documented Jeremy's PGP key as
the main key for releases, with mine (Phil's) and Heiko's as fallbacks.

Mention the `.xz` files.

Add `receive_time` to list of log_selector values

bugfix: heimdal interaction, check length

clang noted that taking the address of a struct member will never be 0,
so checking against 0 was wrong.  It was a `.length` member.  I've
compiled RC4 with this change and deployed it to my box and I can still
authenticate fine.

ARC: fix signing when DKIM-signing is also being done

The ordering of headers being signed was wrong when a message
being forwarded arrived with a dkim signature

DMARC: fix history file

Too many variables were being cleared between connections
Broken-by: c780096c29 4.91 RC2

Better(?!?) fallback for stat: Perl

We use Perl extensively in other scripts.

*sigh*

stat portability

I forgot how much I loathe basic stuff like "get the size of a file,
portably, in shell".  Bleh.

Added util/renew-opendmarc-tlds.sh script to renew PSL

OpenSSL: Revert the disabling of the session-cache.  Bug 2255

Session cacheing is never useful, as we use a new context for every TLS startup.
However, removing the support triggers odd behaviour from Outlook Express (only
when there is an IMAP server on the same machine as Exim): an initial connect
from the OE client fails, the immediate retry works.

ARC: fix verify to not evaluate the top AMS twice

Logging: fix DKIM precis received log line element.

Broken-by: 2c47372fad

compiler quietening

compiler quietening

Actually reap node2 process in redis cluster test

Avast: rework interface

Avast: implement pass_unscanned option

Avast: improve compliance with avast-protocol(5)

Treat scanner errors as malware. Defer on scanner tmpfail
only.

Testsuite: ignore config-optional -bP output

Docs: tidy the ChangeLog file

Merge branch 'dane_require_tls_ciphers'

New SMTP Transport option for simplified improved security for DANE.

Testsuite: avoid ipv6 use in dane_require_tls_ciphers testcases

Testcases for dane_require_tls_ciphers

Implement dane_require_tls_ciphers (theoretically)

It compiles with OpenSSL, on Darwin (if restore Darwin OS).
It doesn't crash immediately, but more testing is needed from a place
where port 25 is not just blocked.

Document new dane_require_tls_ciphers

Haven't written the code yet, but writing the docs first helped me
affirm that this makes sense and feels clean.  Code in next commit.

ARC: log signing-spec errors in mainlog only, not paniclog

ARC: enhance debug for signing; explicitly init signing context

Fix non-ARC build

ARC: add guard in verify against lack of the dkim-verify context
needed for body-hashing

Cutthrough: for an onward finaldot timeout, generate an initator 450 in defer=pass mode

ARC: cutthrough delivery may not be used with ARC signing

Cutthrough: enforce non-use in combination with DKIM signing or transport filter

Broken-by: 02b41d7106

Add ARC signing caveats

SPF: remove the deprecated "err_temp" and "err_perm" result names

DKIM: document proper Ed25519 key-generation methods; remove helper program

Expand directory opetion for queuefile transport

Remove extraneus line - benign but pointless.

Broken-by: 9e70917d0a

Testsuite: for SPF tests, avoid using the ipv4 address

Add non-mtp source info to ${authres }

DKIM: document generation of RSA keys

DKIM: document Ed25519 private key generation under OpenSSL (1.1.1+)

DKIM: move ed25519_privkey_pem_to_pubkey_raw_b64 to src/util/ and add usage notes to docs

Docs: more on ${authresults }

ARC: give more detail with "bad signing-spec" message

Mark variables that are unused before release of store in the queue-list loop

Address jgh notes re OpenSSL

* `/usr/local` is fair, on Linux, but I deliberately picked something
  specific to OpenSSL to make the context clear and limit bad
  interactions with other locally-installed software.
* `RPATH` and `RUNPATH` are not the same and are deeply twisty in their
  interactions.
  <https://blog.qt.io/blog/2011/10/28/rpath-and-runpath/> is a decent
  summary.

ARC: For signing, accept A-R header lacking ARC info as equivalent to "none"

Docs: typo

Fix spool_wireformat final-dot on LMTP transport.  Bug 2258

Broken-by: 328c5688db

ARC: add independent-source testcase.  Fix signatures by not line-terminating
last header line being hashed.

exiqsumm fix: Check @ARGV exists before testing it

Set a TERM handler to terminate properly if running as PID 1

SPF: additional variable $spf_result_guessed; tweak authresults string indicating guess

Pipe transport, part two.  Bug 2257

ARC: AS header should have no c= tag

ARC: on the smtp transport option take empty or forced-fail to disable signing

Not all the world is binutils ld

Fix pipe transport to not use a socket-only syscall.  Bug 2257

Broken-by: 42055a3385

DKIM: harden signature header parsing

LibreSSL version numbering differe from OpenSSL

DMARC: tescase

Extremely basic; we have no control of the DNS use of the dmarc library

DMARC: if ACL condition not called, do not add anything to authres string

Previously "skipped" was added; that is no only done for an actual
call which could not be completed

Unbreak DMARC

Broken-by: c780096c29