ARC: fix signing when DKIM-signing is also being done

The ordering of headers being signed was wrong when a message
being forwarded arrived with a dkim signature

DMARC: fix history file

Too many variables were being cleared between connections
Broken-by: c780096c29 4.91 RC2

Better(?!?) fallback for stat: Perl

We use Perl extensively in other scripts.

*sigh*

stat portability

I forgot how much I loathe basic stuff like "get the size of a file,
portably, in shell".  Bleh.

Added util/renew-opendmarc-tlds.sh script to renew PSL

OpenSSL: Revert the disabling of the session-cache.  Bug 2255

Session cacheing is never useful, as we use a new context for every TLS startup.
However, removing the support triggers odd behaviour from Outlook Express (only
when there is an IMAP server on the same machine as Exim): an initial connect
from the OE client fails, the immediate retry works.

ARC: fix verify to not evaluate the top AMS twice

Clear more globals between messages

Logging: fix DKIM precis received log line element.

Broken-by: 2c47372fad

compiler quietening

Add client-ip info to iprev ${authres } line

compiler quietening

Actually reap node2 process in redis cluster test

ARC: add optional x= tag to signing

local_scan: add note on Makefile requirement

ARC: add optional t= tags to signing

ARC: log signing-spec errors in mainlog only, not paniclog

ARC: enhance debug for signing; explicitly init signing context

Fix non-ARC build

ARC: add guard in verify against lack of the dkim-verify context
needed for body-hashing

ARC: cutthrough delivery may not be used with ARC signing

Cutthrough: enforce non-use in combination with DKIM signing or transport filter

Broken-by: 02b41d7106

Add ARC signing caveats

ARC: give more detail with "bad signing-spec" message

ARC: For signing, accept A-R header lacking ARC info as equivalent to "none"

ARC: add independent-source testcase.  Fix signatures by not line-terminating
last header line being hashed.

ARC: AS header should have no c= tag

ARC: on the smtp transport option take empty or forced-fail to disable signing

Avast: rework interface

Avast: implement pass_unscanned option

Avast: improve compliance with avast-protocol(5)

Treat scanner errors as malware. Defer on scanner tmpfail
only.

Testsuite: ignore config-optional -bP output

Testsuite: output changes arising

Docs: tidy the ChangeLog file

Merge branch 'dane_require_tls_ciphers'

New SMTP Transport option for simplified improved security for DANE.

Avoid doing logging in signal-handlers.  Bug 1007

Testsuite: avoid ipv6 use in dane_require_tls_ciphers testcases

Testsuite: avoid ipv6 use in dane_require_tls_ciphers testcases

DANE: smtp transport option dane_require_tls_ciphers

Testcases for dane_require_tls_ciphers

Implement dane_require_tls_ciphers (theoretically)

It compiles with OpenSSL, on Darwin (if restore Darwin OS).
It doesn't crash immediately, but more testing is needed from a place
where port 25 is not just blocked.

Document new dane_require_tls_ciphers

Haven't written the code yet, but writing the docs first helped me
affirm that this makes sense and feels clean.  Code in next commit.

ARC: log signing-spec errors in mainlog only, not paniclog

ARC: enhance debug for signing; explicitly init signing context

Fix non-ARC build

ARC: add guard in verify against lack of the dkim-verify context
needed for body-hashing

Cutthrough: for an onward finaldot timeout, generate an initator 450 in defer=pass mode

ARC: cutthrough delivery may not be used with ARC signing

Cutthrough: enforce non-use in combination with DKIM signing or transport filter

Broken-by: 02b41d7106

Add ARC signing caveats

SPF: remove the deprecated "err_temp" and "err_perm" result names

DKIM: document proper Ed25519 key-generation methods; remove helper program

Expand directory opetion for queuefile transport

Remove extraneus line - benign but pointless.

Broken-by: 9e70917d0a

Testsuite: for SPF tests, avoid using the ipv4 address

Add non-mtp source info to ${authres }

DKIM: document generation of RSA keys

DKIM: document Ed25519 private key generation under OpenSSL (1.1.1+)

DKIM: move ed25519_privkey_pem_to_pubkey_raw_b64 to src/util/ and add usage notes to docs

Docs: more on ${authresults }

ARC: give more detail with "bad signing-spec" message

Mark variables that are unused before release of store in the queue-list loop

Address jgh notes re OpenSSL

* `/usr/local` is fair, on Linux, but I deliberately picked something
  specific to OpenSSL to make the context clear and limit bad
  interactions with other locally-installed software.
* `RPATH` and `RUNPATH` are not the same and are deeply twisty in their
  interactions.
  <https://blog.qt.io/blog/2011/10/28/rpath-and-runpath/> is a decent
  summary.

ARC: For signing, accept A-R header lacking ARC info as equivalent to "none"

Docs: typo

Fix spool_wireformat final-dot on LMTP transport.  Bug 2258

Broken-by: 328c5688db

ARC: add independent-source testcase.  Fix signatures by not line-terminating
last header line being hashed.

exiqsumm fix: Check @ARGV exists before testing it

Set a TERM handler to terminate properly if running as PID 1

SPF: additional variable $spf_result_guessed; tweak authresults string indicating guess

Pipe transport, part two.  Bug 2257

ARC: AS header should have no c= tag

ARC: on the smtp transport option take empty or forced-fail to disable signing

Not all the world is binutils ld

Fix pipe transport to not use a socket-only syscall.  Bug 2257

Broken-by: 42055a3385

DKIM: harden signature header parsing

LibreSSL version numbering differe from OpenSSL

DMARC: tescase

Extremely basic; we have no control of the DNS use of the dmarc library

DMARC: if ACL condition not called, do not add anything to authres string

Previously "skipped" was added; that is no only done for an actual
call which could not be completed

Unbreak DMARC

Broken-by: c780096c29

DMARC: add results to generic authres string; remove $dmarc_ar_header

typo

DKIM: Ed25519 signatures under OpenSSL (1.1.1 or later)

OpenSSL 1.1.1 is not released yet, but operation has been checked against the current source

DMARC: add variables to list of those now-unused at the tail of the SMTP per-message loop

Build-variant tidyup

openssl: use += for LDFLAGS, drop env PC docs

Using `LDFLAGS=` instead of `LDFLAGS+=` will stomp over an earlier
setting of LDFLAGS, and the DMARC support is now further up in
`src/EDITME`, thus likely to get stomped upon.

Rather than continue to document using `PKG_CONFIG_PATH` via env, the
in-Local/Makefile support has been around for a little while now, so go
ahead and make that the only way we suggest here.

Add a mention of _why_ we use both `USE_OPENSSL_PC` and `LDFLAGS`.

Fix heavy-pipeline SMTP command input corruption.  Bug 2250

Docs: copyright year

Docs: changemar markup

Mark variables that are unused before release of store in the receive message loop

NewStuff & doc addition for redis cluster changes

ARC: add $arc_state, $arc_state_reason and add reason to authres string

Mark variables unused before release of store in the queue-runner loop

tidying

Mark variables unused before release of store in the daemon loop

Compiler quietening

Fix memory leak during build process (Bug 2183)

(Normally we don't care about leaks in short lived processes we use
during build time. But as -fsanitize=address breaks the build in an
early stage, the leak is fixed now.)

Thanks to Andrew Aitchison.

Fix dec64table[] OOB read in b64decode()

Possible values for y at this point are 0..255.  However, dec64table[]
only has 128 entries and hence valid indexes are 0..127.  The values of
y greater than 127 trigger out of bounds read.  As dec64table[] is in
the data segment, the OOB access is not detected by tools as valgrind or
ASAN.  This adds a check to ensure y is less than or equal to 127, just
like in other cases where dec64table[] is accessed.

Note that removal of the y == 0 condition is not a problem, as
dec64table[0] == 255, so the second part of the condition is true.

Update to protocol used by avast 2.2.0 (Multiline responses) (Bug 2112)

Based on a patch by Victor Ustugov.

ARC: options on the verify