Testsuite: Add PORT_DYNAMIC (Bug 1775)

This avoids problems on OpenBSD with SO_REUSEADDR.

On OpenBSD SO_REUSEADDR only works if the IP address AND the EUID
of the bind(2) calls match. In 0562 Exim binds to 1225 as euid=0,
in 0564 runtest tries to bind to 01225 as the user running the tests.

Thanks to Kirill Miazine for working this out.

Testsuite: Fix IPv4 address detection.

Broken-by: d63a95630

Testsuite: Test for existence if 'ip'

Unbreak build: crypto hdrs not in system includes

If using pkg-config to get the paths for various packages and the crypto
library headers are not in the system headers, then the hash work broke
the Exim build by requiring the CFLAGS manipulation for _all_ builds,
not just the TLS libraries.

Shows up on MacOS where there's a system OpenSSL but not system OpenSSL
headers (because only SecureTransport is supported) and using
brew-installed OpenSSL.

I've also coded the fix for GnuTLS on the same basis, but that's
untested.

Fixes bug 1906

Avoid pure-ACK TCP segments during command phase

Testsuite: Check version of binary against current git revision

Tidying: coverity issues

Fix sender-verify callout to not use trigger-message SIZE

Broken-by: 9094b84b4cce

Tidying: coverity issues

Queuefile: avoid using buffered I/O - no point for a block-copy
and it meant (an admittedly ingnorable) Coverity whine about a FILE leak

Take the oppurtunity to constify a utility function

Testsuite: revert some of the modernish Perl constructs

Solaris10 needs to be supported, they use Perl 5.8

Testsuite: re-insert munge expression about size/inode

Testsuite: detect "hidden" IPs

`ifconfig -a` doesn't show all addresses, it skippes addresses that
do not have a label. `ip a` show even these.

Bonus: some small cosmetical changes to get a more modern Perl
style.

Testsuite: stabilize disk space/inode munging

Testsuite: add tests/munges for configure owner

Include 'Configure owner' in -bV output

Testsuite: add clarification about the permissions of the trusted-configs file

tidying

Queuefile: refactor

Testsuite: for queuefile transport, avoid using named-queues as part of test
Also avoid using aux-var as a testing temporary area

New: queuefile transport, under EXPERIMENTAL_QUEUEFILE

Testsuite: (named queues) add testcase for 3rd-party queue transfer

Docs: add warning on SNI-dependent certfile expansion needing a good default

Lazy-create builtin macros

By only filling out the internal macro representation for the builtin macros
when a config line includes an underscore followed by a letter which might be one
we should save startup effort on configs which never use a builtin.

Fix check for commandline macro definition
Without this, mailq (done by unpriv user) and daemon SIGHUP handling fail

Broken-by: c0b9d3e87264

Docs: add section on builtin macros

DH parameters update, new values & default

* Add three new Exim-specific DH parameter constants; state provenance,
  but no way for others to verify; this is a signed commit, which is
  about as much as we can do for the truly paranoid: provide an audit
  trail.
* Add the RFC 7919 DH primes
  + No TLS feature negotiation, per 7919, but the DH primes can be used
    if folks so choose
* Fixed broken format string in util/gen_pkcs3.c
* Tried to make gen_pkcs3.c support q values.
  + Turns out, q doesn't affect the PEM and that's not a mistake in my
    initialisation; I've checked with a cryptographer, we're losing some
    server-side optimizations but not any security properties for our
    scenario.

Fixes: 1895

Fix callouts connection fallback from TLS to cleartext.  Bug 1897

Docs: add another index entry for delay_warning

Testsuite: for CHUNKING set sender name explicitly
for consistent chunk size on different platforms

Testsuite: for CHUNKING rewrite sender name in headers to consistent value
for consistent chunk size on different test platforms

Close logfile after a while waiting for non-smtp input.  Bug 1891

Avoid parsing cost for auto-macro creates

Logging: connection_reject log selector should apply also to the connect acl

Fix mime ACL filename decode

A latent bug (uninitialised memory referred to by $mime_decoded_filename)
uncovered by 40c90bca9f7e

Fix checking for -D option use

Broken-by: c0b9d3e87264

Feature macros should be uppercase

Debug: fix openssl tls_close() debug output

Testsuite: tidying

Refactor driver feature-macro generation to be driven by existing tables

Would like to do lookup drivers too but unsure about dyn-linked variants

Default to filesystem space/inode checking enabled

Drain socket to get clean TCP FINs

Add automatic macros for config-file options.  Bug 1819

Docs: fix quotes

Delivery: fix memory leak

Doc: add clarification for DKIM example

Defend against symlink attack by another process running as exim

Reported-by:
http://www.halfdog.net/Security/2016/DebianEximSpoolLocalRoot/

Routing: avoid doing the one_time replacement operation when a redirect leaves the address unchanged

When done, in combination with a defer the retry would see the address as delivered, hence losing mail.

Routing: for efficiency, avoid complexifying the "condition" string until the second is read from config

ACL: merge the tables used for codition/modifier decode

ACL: bsearch for controls

tidying

Docs: mention Perl manpages for PCRE.  Bug 1881

Logging: fix errno decodes

Auth: fix error check in CRAM-MD5

tidying

Log EHLO response on getting conn-close response for HELO.  Bug 1832

Reduce space used by flags in smtp transport

Make BOOL unsigned; fix resulting latent bugs

Cutthrough: option to reflect 4xx errors from target to initiator

Testsuite: missing output file

Docs: prettify code examples.   Bug 1284

Docs: add note on strict DKIM verification

Testsuite: fix GnuTLS OCSP testing

Support "G" multiplier on integer configuration values

Testsuite: fix spool-space testcase for larger disks

Tidying: coverity issues

CHUNKING: after rejecting a pipelined SMTP command, flush any followon BDAT data

Add automatic macros for compile-time feature options

Testsuite: fix macro conflict (X vs. HEADERS_MAXSIZE)

tidying

Expansions: more debug verbosity in expansion conditions

Tidying: coverity issues

Testsuite: rework timing of time-dependent testcase

Delivery: fix transmission down an already-open connection, when
one of the group of addresses is unsuitable for it.  Bug 1874

Broken-by: 3070ceeeed05, fa41615da702.

Delivery: same-host checking for transport runs should include port from address give by routing

tidying

Testsuite: add progress detail to log of troublesome testcase

DMARC: send forensic reports for reject & quarantine results, and "none" policy.  Bug 1846

Expansions: new ${escape8bit:<string>} operator.  Bug 1863

LMDB: introduce as Experimental.  Bug 1856

ACL: Ensure that acl_smtp_notquit is called for a conndrop between data-go-ahead and data-ack.
Bug 1872

Defensive coding in ${run }

Bug 1870

tidying

Bug 1870

Testsuite: missing output files

Testsuite: nail down hostname for CHUNKING test cases

Docs: more index entries for header lines

Radius: Fix authentication for Radius libraries that return REJECT_RC.  Bug 1850

DKIM: reduce memory usage (2nd go)

Testsuite: accept debug & testscript output sizes varying with testhost name

Testsuite: account for change in debug

Broken-by: fb6833e0a559

CHUNKING/DKIM: fix handling of lines having a leading dot

Revert "DKIM: reduce memory usage"

This reverts commit dea4897244b409bf91dc60a7e5e4b3d06f123dd6.
It appears to induce spurious behaviour, seen in the testsuite.  Possibly
the sha_hash update calls think the memory they are passed will still
be around later (eg. at sha_finish time)?   A pity, since currently
we are allocating for the entire message body - which could easily
be MB or (future) GB.

CHUNKING: fix transmit with long headers

When the buffer used for SMTP commands and message headers filled to flush
point, protocol sequencing was wrong.

DKIM: reduce memory usage

Routing: in a dnslookup, fix fail_defer_domains to defer on missing MX record.  Bug 1867

Fix DISABLE_DKIM build & test.  Fix build on systems lacking MAX in standard includes.
Broken-by: 44bc8f0c2f35

Merge branch 'CHUNKING'

tidying

Docs: add warning on non-ASCII results from SpamAssassin.  Bug 1863