Merge branch 'master' into 4.next

Testsuite: Ignore optional-config output change

DKIM: support specifying alternate-identity tag for signing.  Bug 2170

TFO: early-data for ClamAV and for readsocket expansion

Avoid repeated string-copy building command-string for rspamd

TFO: better detection of client fast-open connections

Fix testsuite build for non-TFO platforms

TFO: early-data for client outbound via socks5 proxy

exipick: add -C|--config option

This fits better to
   echo test | exim -C /tmp/test.conf -v test@example.com
   exipick -C /tmp/test.conf

SOCKS: fix unitialized-pointer

tidying

Fix build on FreeBSD

Fix function prototype

Support parallel-build for the buildtin macros

tidying

Provide readn() as a wrapper around read()

This readn() reads all the data requested, even if the
writer sends it in smaller chunks.

Use writev(2) when sending delivery status to the parent

Do not use O_NONBLOCK for reading the delivery transport pipe

Tidy build under pre-v3 GnuTLS

DKIM: support multiple signing, by selector

DKIM: support multiple hash methods

DKIM: rename internal signing api

DKIM: fix signing bug induced by total size of parameter text
causing header-line fold between "b=" and terminating ";" of
pseudo-header.

specified-initialisers

Fix sieve QP regression from Coverity cleanups

Fixes: 2161

Logging: restrict TFO client-side to Linux

The detection method depends on a getsockopt struct member apparently
not supported by FreeBSD (at least).  Other platforms status unknown.

Logging: TCP Fast Open

Fix address ignore-errors flag bit initialisation and propagation

Broken-by: 7eb0e5d2b8

Fixed compilation with mariadb-10.2

https://bugzilla.redhat.com/show_bug.cgi?id=1467312

Signed-off-by: Jaroslav Škarvada <jskarvad@redhat.com>
Exim-merge-changes: added ChangeLog item (Phil Pennock)

Use bitfields for flags in the "addr" struct

Logging: add elapsed-time element to unexpected-diconnection lines

tidying

tidying

Fix EXPERIMENTAL_DMARC build

Broken-by: f2ed27cf5f

Fix non-TLS build

Broken-by: e5de01f091

Typo

Broken-by: f2ed27cf5f

Document CVE assignment for Berkeley DB issue

Coding: use specified-initialisers

Use exim string facilities rather than custom parser for DKIM pubkey

DKIM:  Enforce any "h" field present in the DNS publickey record.  This can be set to require specific
hash types, eg sha256, in signatues.  There is an IETF draft in discussion which deprecates sha1 so this
feature may start to be used.

Logging: millisecond time on 'no MAIL' lines.  Bug 2102

tidying

tidying

Debugging: millisecond timestamps.  Bug 2102

Logging: millisecond QT and DT.  Bug 2102

Use retval from sprintf while walking buffers

Tidying

Logging: millisecond timestamps.  Bug 2102

No change to QT logging yet as that will need a spool format update

Retire historical build files from Makefile

Retire historical build files

On callout avoid SIZE every time but noncacheable rcpt main-verify.  Bug 2151

Do not rely on linker identifying common strings

Fix cache-cold random callout verify.  Bug 2147

Optimise scanning config for macros

Fix macro_predef build for auth_cyrus_sasl

Fix build for earlier version Berkeley DB

tidying

Use the BDB "environment" so that a database config file is not looked for.  Bug 2141

Add directory name as new arg to EXIM_DBOPEN

Add $smtp_command_history variable

tidying

Avoid creating before-buffer pointer.  Bug 2145

Found by: ASAN / <ago@gentoo.org>

Prebuild the data structure for builtin macros

Prebuild the data structure for builtin macros

Split macro name storage out from macro definition struct

exigrep: use less --quite-if-one-screen --no-init

Transform string_append_listele{,_n}() to proper expanding-string triplet interface
(but do always maintain a nul-term string result).  This avoids always copying the
previous list version, and should do fewer allocs too.

Configure the default opendmarc.tlds file in EDITME

Build: set LC_ALL=C for the makefile configuration

Otherwise Perl may complain about missing locales, which
in turn confuses the Configure-Makefile script when parsing
the output from Perl

testsuite: don't break on '+' in trusted-config-list path

Update Changelog about -p/-oMr

Fix ChangeLog notice re manualroute option ordering

We do *NOT* permit options before hostnames.  It's always hostnames
before options.  It's _within_ the options that the use of a transport
name as an option name had been accidentally constrained to come last,
which was then fixed in commit 833c70bc.

I goofed in describing this.

Fix appendfile.c errmsg output that broke with d291c7

Repair manualroute transport name not-last option

Commit 55414b25b did const-ification surgery which removed the old
"temporarily drop a NUL in here" anti-pattern, but one of the
Ustrcmp->Ustrncmp conversions was missed, for transport-name comparison.

As a result, since Exim 4.85, we've had an undocumented
requirement-by-bug that the transport name be the last such option
given.  Restore old behaviour.

Still missing a test-case to deter regression.

Bail out if a configuration file starts with a byte order mark

Fix what d291c7670e4c370cdc4f631ea58f82c7f4f87823 broke. Closes 1115

Add quota/quota_filecount transport option modifier "no_check" Bug 1115

This option modifier allows to ignore the quota limits, but update
the maildirsize file.

Doc: check for w3m existence

w3m is called as non-last command in pipelines. A missing w3m
creates empty output and Make doesn't get it, because the last command
of the pipe (e.g. Tidytxt) doesn't return failure on empty input.

When pipelining under TLS do not treat fd-readability as tls-readability

Add compile-time checks on expanding-string function use

Cleanup (prevent repeated use of -p/-oMr to avoid mem leak)

Fix log line corruption for DKIM status

On a continued-transport delivery, do not check the hostlist for mismatch in the
transport dispatch level when the transport does hosts-override.  Instead do the
full trasport process call and let it decide on compatibility with the connection.

In tls-proxy process take case to close unused pipe ends, select also for exception conditions on data fds

Testsuite: testcase for continued-delivery with transport hosts_override

Fix logging of delivery port for callout lazy-close, when port specified by router

Testsuite: stabilize output sequence for 2x35/6

Docs: tweak "sock" malware interface description

Fix crash in transport, on second smtp-connect fail for a list of target hosts

Reported as the sequence:
  1MX: 554 on connect (banner)
  2MX: TCP conn timeout

Docs: add missing dollarsign

Testsuite: stabilize output sequence for case 4530

Testsuite: stabilize output sequence for case 0906

Malware: make "sock" cmdline default usable.  Bug 2111

doc: string2 not expanded, don't imply otherwise

A simple reading which skips the later paragraph would mislead people;
this was remnant text from before the EXPAND_LISTMATCH_RHS changed the
default behaviour.

A couple of paragraphs later we contradicted this now-misleading
parenthetical, but that's not enough.  Nuke it.

typo

TLS: do not use DH_bits for LibreSSL; it is not supported (as of LibreSSL 2.3.2)

Debug: more info during server-side authentication

OpenSSL: add sender_host_address info to certificate verify error log messages when in verify callout

Use DH_bits for OpenSSL 1.1.0

Fixes bug 2095

TLS: PIPELINING under OpenSSL