SECURITY: length limits on many cmdline options

We'll also now abort upon, rather than silently truncate, a driver name
(router, transport, ACL, etc) encountered in the config which is longer than
the 64-char limit.

(cherry picked from commit ff8bef9ae2370db4a7873fe2ce573a607fe6999f)
(cherry picked from commit a8bd24b96c2027fd839f95a9e6b3282453ae288e)

Re-ran the conversion of all DH parameters

I get different results now to those I got before.

Now, using gen_pkcs3 linked against OpenSSL 1.1.1f-1ubuntu2 on Focal Fossa, I
get the results below.  The ffdhe2048 value now matches that at
<https://ssl-config.mozilla.org/ffdhe2048.txt>.

I ran the same code yesterday for just the ffdhe2048 item and got code which
seemed to me then to match what was already in the C file.  Something hinky is
going on, perhaps with my sanity.

(the commit IDs changee because of heavy rebasing (heiko))

(cherry picked from commit 76ed8115182e2daaadb437ec9655df8000796ec5)
(cherry picked from commit 0aafa26a5d3d528e79476c91537c28936154fe04)

gen_pkcs3: Terminate string before calling BH_hex2bn()

Signed-off-by: Phil Pennock <pdp@exim.org>
(cherry picked from commit 1cf66e5872d517b620c308af634e4e26e3547f06)
(cherry picked from commit 48d8c54ecf9493c709d4305850877b6062f285a7)

Default config: reject on too many bad RCPT

An example exploit failed against my system, because I had this sanity guard in
place; it's not a real security fix since a careful attacker could find enough
valid recipients to hit that problem, but it highlights that this is a useful
enough pattern that we should encourage its wider use.

(cherry picked from commit 2a636a39fff29b7c3da1798767a510dfed982a62)
(cherry picked from commit 346f96bad326893f9c1fa772a5b8ac35b1f8f7bd)

Handle SIGINT as we do with SIGTERM

(cherry picked from commit cdc5c672e1c309294626cd5ed90acdccb05baaa1)
(cherry picked from commit f9c8211fb0ad0dd362f471978a5e0abc5dfa71b4)

Enforce pid_file_path start at "/"

(cherry picked from commit 60f2a8e797d9ebaea1e3eac4ad28ff64e11bab40)
(cherry picked from commit 6b3d553c733475a1033c8b7a241e6506d7ed73b1)

testsuite: tidy logs/4520 and confs/4520

This fixed 4520 failure en-passant, but I'm sure it's a timing issue
here (the order of the mainlog output lines didn't exactly match the
logs/4520)

(cherry picked from commit 95306ca61531d9d79c5dac808a5a571158acd29c)
(cherry picked from commit 0439d2e0566d64c84feaf1434e0e4a3fd8ce29b3)

tidy

(cherry picked from commit 7973b58af7db0fb8fddb54b366dcf43c7ce131ec)
(cherry picked from commit b7e726f6ae4c6f19e7efc4e6b10ec35e5b01368c)

Use separate line in Received: header for timestamp

Docs: assorted fixes

Closes 2752
Closes 2753
Closes 2658
Closes 2659
Closes 2712
Closes 2720
Closes 2721
Closes 2722
Closes 2746
Closes 2748
Closes 2749

Docs: typo

Fix host_name_lookup (Close 2747)

Thanks to Nico R for providing a reproducing configuration.

        host_lookup             = *
        message_size_limit      = ${if def:sender_host_name {32M}{32M}}
        acl_smtp_connect        = acl_smtp_connect
        acl_smtp_rcpt           = acl_smtp_rcpt

        begin acl
          acl_smtp_connect:
                warn ratelimit = 256 / 1m / per_conn
                accept

          acl_smtp_rcpt:
                accept hosts = 127.0.0.*

        begin routers
        null:
          driver          = accept
          transport       = null

        begin transports
        null:
          driver          = appendfile
          file            = /dev/null

Tested with

        swaks -f mailbox@example.org -t mailbox@example.org --pipe 'exim -bh 127.0.0.1 -C /opt/exim/etc/exim-bug.conf'

The IP must have a PTR to "localhost." to reproduce it.

(cherry picked from commit 20812729e3e47a193a21d326ecd036d67a8b2724)

Named Queues: fix immediate-delivery.  Bug 2743

OpenBSD: remove redundant platform define

TLS DANE to multiple recipients w/ different DNSSec status

Fix DANE + SNI handling (Bug 2265)

Broken in d8e99d6047e709b35eabb1395c2046100d1a1dda
Thanks to JGH and Wolfgang Breyha for contributions.

(cherry picked from commit e8ac8be0a3d56ba0a189fb970c339ac6e84769be)

DNS: Better handling of SOA when negative-caching lookups

wip

Debug: output dmarc library version

Fix ${ipv6norm:}

Docs: typo. Closes 2713

tidying

Testsuite: tidying

Taint: enforce untainted ACL text line

Fix time usage on non-subtick-resolution platforms

Docs: note caching of auto-generated server certificate

Experimental: ESMTP LIMITS extension

Testsuite: output changes arising

Somewhere recently (possibly 3f06b9b4c7) we stopped overwriting errno;
the "Permission denied" seen now in 4520 for the ${bogus} expansion is
as expected.

Log queue_time and queue_time_overall exclusive of receive time.  Bug 2672

taint: allow appendfile create_file option to specify a de-tainting safe path

Set mainlog_name and rejectlog_name unconditionally.

Logging: better tracking of continued-connection use

Pass proxy addresses/ports to continued trasnports.  Bug 2710

Docs: add warning note on ${listnamed:} operator

Docs: mention *_environment in "Misc" section"

Disable server-side close timing sophistication on MacOS

Broken-by: 001bf8f587

Docs: add example for DKIM dual-signing

TLS: harden error-detection in TLS proxy process

Make smtp_accept_max_per_connection expanded

testsuite: fix runtest (File::Copy used in another place)

build: Allow environment EXIM_RELEASE_VERSION

This should easy automated testing where no .git directory
is available (as is happens with git worktrees)

Setting this environment variable makes the reversion script
using it instead of searching for version.sh or using `git describe`.

Docs: clarify list-separator requirements

typoes

testsuite: provide cp() if File::Copy is too old.

testsuite: use File::Copy "cp" to copy the permissions (x-bit)

testsuite: add --fail-any option to runtest

This option makes runtest's exit status !0 on any failure in any test.
(Useful in -c mode and git-bisect)

Memory handling: fix size backoff on store-reset

Memory debug: do not try to save allocation bytes used for debug as ACL can modify debugging status

testsuite: make runtest exit(!0) on failure in continue mode

This makes it possible to use `runtest -c <xx>` for `git bisect run …`

testsuite: tidy runtest

GnuTLS: use a less bogus-looking temporary filename for DH-parameters

Avoid all tail-end pipelining on retries

Build: use PHDRS set in the toplevel Makefile

They're passed as HDRS, but the lookups/Makefile referenced the PHDRS
(which was empty)

E.g. touch src/functions.h didn't force a rebuild of the lookups.a

Avoid building routines calling other not incuded in utilities link stage

This should fix a Solaris build error probably inserted by 92583637b2

Avoid clearing first_delivery flag on the initial half of a 2-phase queue run

Builtin macros for Experimental features

DNS: explicit alloc/free of workspace

Memory debug: track max pool order, fix nonpool accounting

Memory handling: exponentially-increasing alloc size

DKIM: Force use of tainted mem for headers

Avoid needless alloc for null header

DKIM: verify using separate pool-pair, reset per message

testsuite output changes resulting

Broken-by: 649c209e19

Linux and the BSDs have getifaddrs().  Use it and save a bunch of complex coding.

testsuite output changes resulting

Broken-by: 649c209e19

Pipeline QUIT after data

Debug: tag client SMTP output with buffering qualifier

Fix error messages in dbfn_open

Doc: more explicit hinting on tls_try_verify_hosts.

Fix uClibc build

structs.h:757:18: error: ‘NS_MAXMSG’ undeclared here (not in a function); did you mean ‘N_MASC’?
   uschar  answer[NS_MAXMSG];      /* the answer itself */

wip

Revert "Docs: typos"

This reverts commit 1ad20e19a669731c19852c865facabe4816ae4f9.
These are not typos; "provably" is a real word and accurate in context.

Docs: typos

Docs: fix description of hosts_try_dane.  Bug 2704

Queryprogram router: call extract fn directly rather than via string-expansion

This is not only safer (vs. unexpected expansions), but more efficient

Bulid: fix DISABLE_PIPE_CONNECT build.  Bug 270333

Fix list-expansion for various domainlists, having included sublist elements.  Bug 2701

Testsuite: fix error message.  Bug 2700

spamd: Use macro for default priority.  Bug 2694

Use random_number rather than random, for external server distribution.  Bug 2694

Fix weight calculation for socks_proxy.  Bug 2694

Fix weight calculation for spamd_address.  Bug 2694

Docs: yet more on $domain_data

Docs: typo

Debugging: avoid expansion problem with foolish-length list output

Testsuite: when generating a bounce message, allow time for exec to run before before feeding the message

This is to keep debug output in similar order on different platforms

Fix build for platforms not having ulong

wip

Docs: more notes on dnslists

Fix error codes in ACL-time quota checking

Fix FreeBSD 13 build

Testsuite: expand testcase.  Bug 2693

Testsuite: missing file

Broken-by: d6870e76cf

Docs: fix bug reference

Fix handling of server which follows a RCPT 452 with a 250.  Bug 26092

Fix daemon-SIGHUP on FreeBSD

Testsuite: fix testcase for SPF empty-mailfrom-use-helo.  Bug 467

gsasl authenticator: support client salted-password caching

Fix Freebsd TFO build

Broken-by: 3eb0bcd7a1

tidying