Queuefile: refactor

Testsuite: for queuefile transport, avoid using named-queues as part of test
Also avoid using aux-var as a testing temporary area

New: queuefile transport, under EXPERIMENTAL_QUEUEFILE

Testsuite: (named queues) add testcase for 3rd-party queue transfer

Docs: add warning on SNI-dependent certfile expansion needing a good default

Lazy-create builtin macros

By only filling out the internal macro representation for the builtin macros
when a config line includes an underscore followed by a letter which might be one
we should save startup effort on configs which never use a builtin.

Fix check for commandline macro definition
Without this, mailq (done by unpriv user) and daemon SIGHUP handling fail

Broken-by: c0b9d3e87264

Docs: add section on builtin macros

DH parameters update, new values & default

* Add three new Exim-specific DH parameter constants; state provenance,
  but no way for others to verify; this is a signed commit, which is
  about as much as we can do for the truly paranoid: provide an audit
  trail.
* Add the RFC 7919 DH primes
  + No TLS feature negotiation, per 7919, but the DH primes can be used
    if folks so choose
* Fixed broken format string in util/gen_pkcs3.c
* Tried to make gen_pkcs3.c support q values.
  + Turns out, q doesn't affect the PEM and that's not a mistake in my
    initialisation; I've checked with a cryptographer, we're losing some
    server-side optimizations but not any security properties for our
    scenario.

Fixes: 1895

Fix callouts connection fallback from TLS to cleartext.  Bug 1897

Docs: add another index entry for delay_warning

Testsuite: for CHUNKING set sender name explicitly
for consistent chunk size on different platforms

Testsuite: for CHUNKING rewrite sender name in headers to consistent value
for consistent chunk size on different test platforms

Close logfile after a while waiting for non-smtp input.  Bug 1891

Avoid parsing cost for auto-macro creates

Logging: connection_reject log selector should apply also to the connect acl

Fix mime ACL filename decode

A latent bug (uninitialised memory referred to by $mime_decoded_filename)
uncovered by 40c90bca9f7e

Fix checking for -D option use

Broken-by: c0b9d3e87264

Feature macros should be uppercase

Debug: fix openssl tls_close() debug output

Testsuite: tidying

Refactor driver feature-macro generation to be driven by existing tables

Would like to do lookup drivers too but unsure about dyn-linked variants

Default to filesystem space/inode checking enabled

Drain socket to get clean TCP FINs

Add automatic macros for config-file options.  Bug 1819

Docs: fix quotes

Delivery: fix memory leak

Doc: add clarification for DKIM example

Defend against symlink attack by another process running as exim

Reported-by:
http://www.halfdog.net/Security/2016/DebianEximSpoolLocalRoot/

Routing: avoid doing the one_time replacement operation when a redirect leaves the address unchanged

When done, in combination with a defer the retry would see the address as delivered, hence losing mail.

Routing: for efficiency, avoid complexifying the "condition" string until the second is read from config

ACL: merge the tables used for codition/modifier decode

ACL: bsearch for controls

tidying

Docs: mention Perl manpages for PCRE.  Bug 1881

Logging: fix errno decodes

Auth: fix error check in CRAM-MD5

tidying

Log EHLO response on getting conn-close response for HELO.  Bug 1832

Reduce space used by flags in smtp transport

Make BOOL unsigned; fix resulting latent bugs

Cutthrough: option to reflect 4xx errors from target to initiator

Testsuite: missing output file

Docs: prettify code examples.   Bug 1284

Docs: add note on strict DKIM verification

Testsuite: fix GnuTLS OCSP testing

Support "G" multiplier on integer configuration values

Testsuite: fix spool-space testcase for larger disks

Tidying: coverity issues

CHUNKING: after rejecting a pipelined SMTP command, flush any followon BDAT data

Add automatic macros for compile-time feature options

Testsuite: fix macro conflict (X vs. HEADERS_MAXSIZE)

tidying

Expansions: more debug verbosity in expansion conditions

Tidying: coverity issues

Testsuite: rework timing of time-dependent testcase

Delivery: fix transmission down an already-open connection, when
one of the group of addresses is unsuitable for it.  Bug 1874

Broken-by: 3070ceeeed05, fa41615da702.

Delivery: same-host checking for transport runs should include port from address give by routing

tidying

Testsuite: add progress detail to log of troublesome testcase

DMARC: send forensic reports for reject & quarantine results, and "none" policy.  Bug 1846

Expansions: new ${escape8bit:<string>} operator.  Bug 1863

LMDB: introduce as Experimental.  Bug 1856

ACL: Ensure that acl_smtp_notquit is called for a conndrop between data-go-ahead and data-ack.
Bug 1872

Defensive coding in ${run }

Bug 1870

tidying

Bug 1870

Testsuite: missing output files

Testsuite: nail down hostname for CHUNKING test cases

Docs: more index entries for header lines

Radius: Fix authentication for Radius libraries that return REJECT_RC.  Bug 1850

DKIM: reduce memory usage (2nd go)

Testsuite: accept debug & testscript output sizes varying with testhost name

Testsuite: account for change in debug

Broken-by: fb6833e0a559

CHUNKING/DKIM: fix handling of lines having a leading dot

Revert "DKIM: reduce memory usage"

This reverts commit dea4897244b409bf91dc60a7e5e4b3d06f123dd6.
It appears to induce spurious behaviour, seen in the testsuite.  Possibly
the sha_hash update calls think the memory they are passed will still
be around later (eg. at sha_finish time)?   A pity, since currently
we are allocating for the entire message body - which could easily
be MB or (future) GB.

CHUNKING: fix transmit with long headers

When the buffer used for SMTP commands and message headers filled to flush
point, protocol sequencing was wrong.

DKIM: reduce memory usage

Routing: in a dnslookup, fix fail_defer_domains to defer on missing MX record.  Bug 1867

Fix DISABLE_DKIM build & test.  Fix build on systems lacking MAX in standard includes.
Broken-by: 44bc8f0c2f35

Merge branch 'CHUNKING'

tidying

Docs: add warning on non-ASCII results from SpamAssassin.  Bug 1863

Merge branch 'fakereject'

Logging: visibility of fakereject

DKIM: log error on overlong input line

Named queues: Add queue name to "queued by ACL" log line

DANE: treat a TLSA response having only non-TLSA records the same as a no-match response

pass advertised facility to continued-transport process

transmit logging

testcases for PRDR

testcases for TLS

receive docs

receive with DKIM

transmit with DKIM

basic & pipelined transmit testcases

Callback into smtp transport for BDAT commands

tidying

feed need for BDAT down to write_chunk()

tidying: dkim output buffer

tidying: dkim output function args