Testsuite: munge for LibreSSL TLSv1.3

Merge branch 'readonly_config'

Doc note

gsasl authenticator: do not try to clear server password after use, if
from config text

Small config, with:

----Exit nonpool max:  18 kB in 8 blocks
----Exit npools  max:  95 kB
----Exit  pool 0 max:  12 kB in 2 blocks at order 13 untainted main
----Exit  pool 1 max:   4 kB in 1 blocks at order 13 untainted perm
----Exit  pool 2 max:   4 kB in 1 blocks at order 13    untainted config
----Exit  pool 3 max:   4 kB in 1 blocks at order 13    untainted search
----Exit  pool 4 max:   4 kB in 1 blocks at order 13    untainted message
----Exit  pool 5 max:   4 kB in 1 blocks at order 13    tainted main
----Exit  pool 6 max:  52 kB in 3 blocks at order 15    tainted perm
----Exit  pool 7 max:   4 kB in 1 blocks at order 13    tainted config
----Exit  pool 8 max:   4 kB in 1 blocks at order 13    tainted search
----Exit  pool 9 max:   4 kB in 1 blocks at order 13    tainted message

Small config, without:

----Exit nonpool max:  18 kB in 8 blocks
----Exit npools  max:  87 kB
----Exit  pool 0 max:  12 kB in 2 blocks at order 13 untainted main
----Exit  pool 1 max:   4 kB in 1 blocks at order 13 untainted perm
----Exit  pool 2 max:   4 kB in 1 blocks at order 13    untainted search
----Exit  pool 3 max:   4 kB in 1 blocks at order 13    untainted message
----Exit  pool 4 max:   4 kB in 1 blocks at order 13    tainted main
----Exit  pool 5 max:  52 kB in 3 blocks at order 15    tainted perm
----Exit  pool 6 max:   4 kB in 1 blocks at order 13    tainted search
----Exit  pool 7 max:   4 kB in 1 blocks at order 13    tainted message

Large config, with:

----Exit nonpool max:  17 kB in 30 blocks
----Exit npools  max: 309 kB
----Exit  pool 0 max: 124 kB in 5 blocks at order 17    untainted main
----Exit  pool 1 max:  60 kB in 4 blocks at order 15    untainted perm
----Exit  pool 2 max: 298 kB in 2 blocks at order 13    untainted config
----Exit  pool 3 max:  12 kB in 2 blocks at order 13    untainted search
----Exit  pool 4 max:   4 kB in 1 blocks at order 13    untainted message
----Exit  pool 5 max:  60 kB in 4 blocks at order 15    tainted main
----Exit  pool 6 max:  52 kB in 3 blocks at order 15    tainted perm
----Exit  pool 7 max:   4 kB in 1 blocks at order 13    tainted config
----Exit  pool 8 max:   4 kB in 1 blocks at order 13    tainted search
----Exit  pool 9 max:   4 kB in 1 blocks at order 13    tainted message

Large config, without:

----Exit nonpool max: 212 kB in 30 blocks
----Exit npools  max: 591 kB
----Exit  pool 0 max: 508 kB in 7 blocks at order 19    untainted main
----Exit  pool 1 max:  12 kB in 2 blocks at order 13    untainted perm
----Exit  pool 2 max:   4 kB in 1 blocks at order 13    untainted search
----Exit  pool 3 max:   4 kB in 1 blocks at order 13    untainted message
----Exit  pool 4 max:   4 kB in 1 blocks at order 13    tainted main
----Exit  pool 5 max:  52 kB in 3 blocks at order 15    tainted perm
----Exit  pool 6 max:   4 kB in 1 blocks at order 13    tainted search
----Exit  pool 7 max:   4 kB in 1 blocks at order 13    tainted message

paniclog sigsegv events

openssl config strings are immutable

Config lines are immutable during  -bP config  dump

autorepy never_mail strings are immutable

avoid mofying config text

smtp tpt fallback_hosts list must be mutable

acceptable log output change

hostlist for router fallback_hosts must be mutable

consification

avoid modifying source text in parse_forward_list()

avoid modifying source text, in appendfile

tree nodes for acls must be mutable

avoid modifying possible config text during :fail: delivery

copy transport struct for modifying for **bypassed** postprocess

use store_get_perm()

driver options blocks must be mutable

router instance must be mutable

namedlist_block has to be allocated mutably, to cache lookups
paniclog from 5 - subprocess crashes

first go.  crashes in 0003

Suggestion from Qalys:

If I may add one more thing, there is an issue that should be addressed
sooner rather than later: the writable configuration at the beginning of
the heap. A short-term (and hopefully non-intrusive) solution may be to
mmap() the configuration instead, and then mprotect(PROT_READ) it. This
would mitigate the exploitation technique that almost all Exim exploits
have been using.

Fix Solaris 10 build, more

Fix Solaris 10 build, for intro of taintwarn

Broken-by: f9a3fcddba

TLS: track changing fd of file-watcher when creds are releaded.

Broken-by: 5fd673807d

Merge branch 'hs/taintwarn'

This is a "forward" port of the taintwarn patches that are applied to
4.94.2+fixes.

Testsuite: Fix 608

Fix logging with build-time config and empty elements (Closes 2733)

(cherry picked from commit 66392b270e3a6c8202e4626d43bbc9b77545ae23)

Fix logging with empty element in log_file_path (Bug 2733)

(cherry picked from commit e19790f7707cc901435849e78d20f249056c16b5)

Revert "testsuite: adjust 622 for taintwarn"

This reverts commit 7ab3a6cd7fe7b033b5e267617f3be8a99b33db31.

testsuite: adjust 622 for taintwarn

(cherry picked from commit 460aac0eb9a289af1ab0f32a242a27dab851fa18)

Silence the compiler

(cherry picked from commit 33d5b8e8e4c2f23b4e834e3a095e3c9dd9f0686b)

Do not close the (main)_log, if we do not see a chance to open it again.

The process doing local deliveries runs as an unprivileged user. If this
process needs to log failures or warnings (as caused by the
is_tainting2() function), it can't re-open the main_log and just exits.

(cherry picked from commit 235c7030ee9ee1c1aad507786506a470b580bfe2)

Silence compiler

(cherry picked from commit 2c9869d0622cc690b424cc74166d4a8393017ece)

tidy log.c

(cherry picked from commit 0327b6460eec64da6b0c1543c7e9b3d0f8cb9294)
(cherry picked from commit 8021b95c2e266861aba29c97b4bb90dc6f7637a2)

testsuite: add 0990 for allow_insecure_tainted_data

(cherry picked from commit 56213337357265eb42c40dd04a22f6ac433b9e81)

update doc

(cherry picked from commit 77cc1ad3058e4ef7ae82adb914ccff0be9fe2c8b)

smtp

(cherry picked from commit 8b7d4ba8903ace7e3e3db70343798a5a0b7cea23)

smtp_out

(cherry picked from commit b9b967cca71a4da51506f8ba596b9ae40cfcef57)

deliver

(cherry picked from commit 2bafe3fc82cf62f0c21f939f5891b8d067f3abc7)

rf_get_transport

(cherry picked from commit 015fff57c854184f8bce61476c46a2830a97daf8)

lf_sqlperform

(cherry picked from commit 9810dfc25d8b9687b46e57963a3ac30bf5c9b2c9)

expand

(cherry picked from commit c02ea85f525ff256d78e084d6f76fe3032fd52e1)

directory

(cherry picked from commit 5f41e800ce9cc7ad154047298914df955e905bf4)

deliver

(cherry picked from commit 2fee91ae42e974c21202e0b5e17185f6a87bf8af)

pipe

(cherry picked from commit f9628406706112be459adb3f121db8e6cf282c2d)

autoreply

(cherry picked from commit 26de37d8960da80473866fb59b9dfd10a5761538)

rda

(cherry picked from commit a6da9c67acaee699616516be141d600cc178a633)

parse

(cherry picked from commit 7eeeb6f26af05322814ecc77c87f09c72ab2216a)

acl

(cherry picked from commit 44fd80ad8abcd885fc1c8dbb294fc2140e4ef481)

dbstuff

(cherry picked from commit 35b11dd0e52b5ac176849f807cca8898bcaf0c3d)

search

(cherry picked from commit b71d675f695c2cf17357b190476129535d5f446c)

Introduce main config option allow_insecure_tainted_data

This option is deprecated already now.

(cherry picked from commit ec06d64532e4952fc36429f73e0222d26997ef7c)

GnuTLS: fix build with older GnuTLS

The ALPN handling we need requires later features than the basic functions.
Broken-byu: f50a063dc0

TLS: as server, reject connections with ALPN indicating non-smtp use

Testsuite: fix testcases for non-TLS build

Testsuite: fix munging for no-TLS build

Broken-by: da40b1ec6b

Compiler quietening

Stupid static analysis failing to track crontrol dependencies

OpenSSL: on library versions too old to support session tickets
client-side limit the valid lifetime of resumable sessions

Testsuite: split out OpenSSL TLS1.3 resume tests

Older library versions do not support 1.3 so a separate numbered
testcase is needed

Testsuite: allow time for daemon to listen before terminating

OpenSSL: fix verify-certs stack initialization

Testsuite: output changes for OpenSSL library variants

Broken-by: 2f8e0a5f6b

Docs: typo

hosts_require_helo

Testsuite: EC cert

Fix server creds cache invalidation

Broken-by: 5fd673807d

compiler quietening

Re-fix non-Linux build

tidying

Vroken-by: ef77ddc923

Fix non-Linux build

Observability: listen queue backlog

Testsuite: testcase for multiple listener sockets ready

Avoid rescanning listen select set

Compute select fd_set outside daemon loop

Testsuite: fix OCSP/OpenSSL/1.3 testcase

Fix SSL creds file watching on kevent platforms (BSDs) for symlinks

DMARC: note unsupported library versions issue

debug: fix openssl output

Testsuite: regen certificates suite with fixed Authority Identifier

DKIM: under GnuTLS, permit weak algorithms

Recent versions of GnuTLS by default disallow use of some methods now regarded as
weak.  This probably mean sha1, which is deprecated per DKIM standards.

Testsuite: use higher-spec certs, for more-recent GnuTLS versions which deprecate weaker ones

Needed for GnuTLS 3.6.15 (on Fedora 33)

tidying

Update testcase output to match newly applied default config limit
Broken-by: f07847e436

Fix testsuite output for DB cases
Broken-by: 186e99bafc

tidying

Logging: avoid pause during log-open under testsuite
It results in rearranged logging output, causing testsuite case failures
The downside is that we lose debug visbility of the extra process startup

Broken-by: b6c1434e47

Fix dmarc build
Broken-by: b6c1434e47

Docs: enhance section on redirect router :defer: & :fail:

Merge branch 'qualys-2020'

- all Qualys patches from 4.94.2
- all fixes from 4.94.2+fixes if not applied yet

Fix BDAT issue for body w/o trailing CRLF (again Bug 1974)

(cherry picked from commit 919111edac911ba9c15422eafd7c5bf14d416d26)

testsuite: reproduce BDAT with missing eol (Bug 1974)

(cherry picked from commit e9cecc465a570c1a4f34b199eae6bdd0a52ee2b0)

Cleanup docs on cve-2020-qualys, point to the Exim website

(cherry picked from commit 6429b0fc79595f120703c022ae99aa10d698f909)

rewrite: revert to unchecked result of parse_extract_address()

Now it breaks 471, and overlong addresses won't make it into the rewrite
process, as they are handled as empty.

(cherry picked from commit 506286c62b8786a926dafb5bb05d3103492b86bc)

Honour the outcome of parse_extract_address(), testsuite 471

(cherry picked from commit 39d83bf19fc0c4364e0a665360b14194c62e4ab4)

Update upgrade notes and source about use of seteuid()

(cherry picked from commit bc13bbca6e07267dfe0c4d275bb0a2e9aabf1dfb)
(cherry picked from commit fee1a06ec05e58e0cda8cf04f28240688736f945)

CVE-2020-28007: Link attack in Exim's log directory

We patch this vulnerability by opening (instead of just creating) the
log file in an unprivileged (exim) child process, and by passing this
file descriptor back to the privileged (root) parent process. The two
functions log_send_fd() and log_recv_fd() are inspired by OpenSSH's
functions mm_send_fd() and mm_receive_fd(); thanks!

This patch also fixes:

- a NULL-pointer dereference in usr1_handler() (this signal handler is
  installed before process_log_path is initialized);

- a file-descriptor leak in dmarc_write_history_file() (two return paths
  did not close history_file_fd).

Note: the use of log_open_as_exim() in dmarc_write_history_file() should
be fine because the documentation explicitly states "Make sure the
directory of this file is writable by the user exim runs as."

(cherry picked from commit 2502cc41d1d92c1413eca6a4ba035c21162662bd)
(cherry picked from commit 93e9a18fbf09deb59bd133986f4c89aeb2d2d86a)