Use smtp_setup_conn() for verify callout

Split out smtp MAIL and RCPT option string building

Split out smtp_setup_conn() from smtp_deliver, in the transport

Fix DKIM verify operation in -bh test mode.  Bug 2017

Testsuite: Make patchexim work with dirty tag checkouts

fix example command-line

Testsuite: output changes from 4c04137d7

VRFY: advertise in EHLO response, if there is an ACL defined

VRFY: add docs note on results, and additional test cases

Docs: add note on round-robin DNS problems vs. authentication

spelling: Mavrogiannopoulos

Committer note: the name was spelt as was used by Nikos at the time, but
he's since switched to the other latinization form and is using it
everywhere these days.  Part of his response was "Feel free to use the
Mavrogiannopoulos variant everywhere.", so I'm merging this commit too.

replace keept with rotation

Log rotate documentation does not actually give a term for this portion
of a filename, but to the extent that I can find a term, a number of
places call it a "rotation number".

Replacing keept which is inaccurate and misleading with rotation makes
the code a little easier to read.

Recording merge technique in git history

This is an empty commit which exists for this commit message,
documenting how I handled GitHub PR 52, which was 228 separate commits,
each fixing the spelling of one word.  The submitter's approach made it
easy to consider and approve/reject each independently, so was valuable,
but I didn't want so many commits in our history.

A few aspects of the shell commands rely upon Zsh: `read -q` for
getting a single Y/N response; `$IFS` containing ASCII NUL (and
builtins handling NUL inside strings) for parsing `.git/MERGE_RR`;
anonymous function calls so that I could abort cleanly if I wanted to.

    git log --pretty=tformat:%h master..github/pr/52  > ../1.consider
    touch ../2.keep
    for F in $(<../1.consider); do git show $F | cat -v; read -q "keep?Keep $F ? " && echo $F >> ../2.keep; echo; echo =============================; done

That let me iterate through each, selecting 214/228 commits to apply in
one pass.  Two PR commits were held for a separate commit, because they
fixed behavioural bugs.  So 216/228 were accepted.  A couple warranted
minor post-fixing as part of the first PR.

    for F in $(<../2.keep ) ; do (){ git cherry-pick -n $F && continue; for junk fn in $(<.git/MERGE_RR); do [[ -n $fn ]] || break; if vi $fn; then git add $fn; else return 1; fi; done } || break; done
    vi src/src/filter.c && git add src/src/filter.c
    vi src/src/dns.c && git add src/src/dns.c
    GIT_AUTHOR_NAME='Josh Soref' GIT_AUTHOR_EMAIL='jsoref@users.noreply.github.com' git commit

and similarly for the second commit.

One more commit from the PR requires chasing with a contributor whose
name is natively in a non-Roman alphabet and who appears to have changed
the Romanisation, to check how they'd like it handled.  I will chase
under separate cover.

Bug-fix no_require_dnssec parsing & spelling fixes

Patches from Josh Soref fixing spelling fixed two bugs:
* Parsing `no_require_dnssec` configuration option
* Setting `_HAVE_TRANSPORT_APPEND_MAILDIR` macro (for config parsing)

[ PP pulled these two out into a separate commit to update the ChangeLog
  accordingly. ]

214 spelling fixes

Provide alternative Heimdal pkg-config example

Building Exim against Heimdal 1.5, heimdal-gssapi.pc was needed.
There's been a major version bump in Heimdal, and against 7.1 that
doesn't work; using heimdal-krb5.pc fails on missing `gss_*` functions.

I can find no build documentation for Heimdal which describes what
should be needed.  heimdal-gssapi.pc does reference heimdal-krb5.pc
in `Requires.private` but it's not being used by FreeBSD pkgconf in
such a way that it's available when building on FreeBSD 10.3.

Fortunately, our `*_PC` logic works with multiple packages listed,
so provide that example.

Docs: add note on DKIM ACL triggers

Testsuite: moved output file

Broken-by: f4630439f888

CHUNKING: fix non-pipelined synch checks.  Bug 2004

PROXY: fix v2 protocol decode.  Bugs 2003, 1747

wip: OpenSSL docs on custom install

To fix before merge: ability to use `$ORIGIN` in linker line via Exim
config file.

Docs: fix smtp transport TFO option indexing

Merge remote-tracking branch 'github/pr/50'

GitHub user @YmrDtnJu "Björn" provided a patch to fix that we called
ldap_start_tls_s on ldapi:// connections.

This is obviously a correct change, since above we've avoiding
initializing the TLS state if using ldapi.

Added documentation noting this behaviour.

DKIM: Under debug, when signing do an extra check on the dns record that will be
used for verification.  Bug 1926

Do not call ldap_start_tls_s on ldapi:// connections.

The code already skips the initialisation of TLS on LDAP connections over unix
sockets but the call to ldap_start_tls_s is done nonetheless.

Docs: Add .new/wen marker for relative includes (Bug 1971)

Tidy and add \0 after string_append() for relative .includes

tidying

Docs: typoes

I18N: avoid trying to downconvert all-ascii domain names.

With the IDNA-2008 handling downconversion results in lowercasing;
so avoid doing that if possible.

Testsuite: use custom-munge for dsn-info in 4510

Broken-by: 87cb4a166c47

Sync 4.next from master

Allow relative file names in .include lines (Closes 1971)

Doc: Minor fixes

Release process: make mk_exim_release more self descriptive

Release process: rename the scripts to be more generic

Release process: sign all *.tar.* under a given dir

Release process: fix the --no-web option

Constify config_filename

DKIM: More validation of DNS key record.  Bug 1926

OpenSSL: add detail to certname verify fail log line

Pipe transport: expand the path option

Testsuite: enhance IDNA examples; move to IDNA-2008 conversions

Testsuite: fix 0290 for permitted relative paths

Testsuite: fix 0173 + 2100+, take 2

Testsuite: fix 0173 and related

Import the system PATH via keep_environment

Testsuite: fix 0903

Docs: clarify headers availability in data-time ACLs

I18N: support IDNA2008.  Bug 1911

Docs: Clean for next release

Doc: clarify CVE-2016-9963

Allow relative file names in .include lines (Closes 1971)

Doc: Minor fixes

Doc: short description of CVE-2016-9963

Fix DKIM information leakage

Release process: make mk_exim_release more self descriptive

Release process: rename the scripts to be more generic

Release process: sign all *.tar.* under a given dir

Release process: fix the --no-web option

Constify config_filename

DKIM: More validation of DNS key record.  Bug 1926

Testsuite: output changes for ca7cca63f762

Docs: typo

Use long names for the _DRIVER_*, and _OPT_* macros

OpenSSL: add detail to certname verify fail log line

Doc: fix minor typos

Testsuite: ipv6 output changes

Testsuite: honour the "build" environment variable

OpenSSL: default to tls_eccurve = auto

For OpenSSL < 1.0.2: fallback to prime256v1, for newer libraries
rely on auto-selection.

Testsuite: more pipe transport / perl cases

Testsuite: more pipe transport / perl cases

Testsuite: set path for use of perl by pipe transport

FreeBSD places perl in a nonstandard (for the pipe transport) directory

Pipe transport: expand the path option

Testsuite: remove outdated flavour result files

Testsuite: platform variance for perl utility location

Testsuite: ipv6 source address platform variance

Testsuite: ensure delivery order

Testsuite: OpenSSL error lines change going to 1.1

Build: disable OCSP, AUTH_TLS and EXPERIMENTAL_CERTNAMES if SUPPORT_TLS is not enabled

Testsuite: OpenSSL info output during conn changes going to 1.1; give up trying to track changes

Doc: Add hint about spamd and half-closed connections

Doc: Minor corrections/additions

I18N: support IDNA2008.  Bug 1911

Testsuite: annotate I18N conversions

Update ChangeLog

Merge from master into 4.next

Done with git merge --squash -x theirs master

Testsuite: distribute configure script

configure needs to be created by autoreconf. Autoconf
It is not always available.

Testsuite: do not use VPATH and $<

It is not portable, was a GNU extension, available in GNU make
only.

Testsuite: patchexim now uses /usr/bin/env

Testsuite: ignore run-summary.log

Testsuite: fix minor warning in runtest

Testsuite: more diag info if initial Exim startup fails

Testsuite: show output from failed exim -d -bP exim_user

Testsuite: fix warning

Revert "Testsuite: Debian8 GnuTLS does not support OCSP. Add flavour files."

This reverts commit 28660ab6ff99d24fdabe3ce0d9feb3478de1015b.

On Debian8 OCSP doesn't work with GnuTLS. Local/Makefile allows
to configure this (DISABLE_OCSP=yes), thus neither it is a test failure,
nor is it a specific flavour, it's just a build mis-configuration.

Testsuite: Debian8 GnuTLS does not support OCSP. Add flavour files.

5651 is still unstable.

Fix memory leak on (Gnu)TLS close.

This leak doesn't show up under normal operation, as the process
normally dies right after closing the session.

But during callout repetitive TLS sessions are opened and closed from
the same process (the process receiving the message). Depending on
the amount of RAM and the number of callouts the same process does,
this may be a problem. (On an amd64 machine with 4GB RAM, at about 1000
recipients the memory is exhausted.)

Fix crash in (Gnu)TLS debug output

Testsuite: prepare shadow (vpath) builds

Testsuite: fix for not-previously-existing logfile