GnuTLS: fix use of SHA3 hashes

Testsuite: Fix 0207 (message order)

Message ids are not always in ascending order (PIDs may be randomized)
Thanks to Kirill Miazine.

Testsuite: output changes from a26fb6a77384

bug-fix test-driving input

The client driver is a little restrictive in the escape sequences it
handles; two octets here were missing the `x` after the `\`, so `\05` is
two octets, a 0 and then a 5, where `\x05` would be one octet.

So we were sending two more octets than expected, not catching that Exim
was parsing the wrong IP/port at the end, and now that Exim only reads
as much of the proxy protocol header as belongs in it, instead of "up to
the largest it could be", this test-bug has been exposed.

Proxy clarification & nit fixes.

Release: should be cherry-picked into 4.89RC series

Handle Proxy Protocol v2 safely as well.

We had test suite failures (test suite success!) because Proxy Protocol
v2 (PPv2) wasn't being detected; by only reading 12 octets, the >= 16
check was failing.  But in fact I had previously only fixed reading
"only enough" for PPv1.

Handling both PPv1 and PPv2 is complicated because the minimum valid
length for PPv1 is 15 octets but for PPv2 the size to read is in the
15th and 16th octets.

So refactored a little and we now use a total of 3 reads for the PPv2
case (assuming no fragmentation, etc; we'll actually keep reading now
instead of aborting) to get the entire PPv2 header of exactly the right
size, so that TLS handshake immediately following the PP header is not
also swallowed.

Fixes: 2018
Tested: manually, TLS and non-TLS, PPv1 and PPv2, all ways.
Release: should be cherry-picked into 4.89RC series

Fix error logged for send failure

Broken-by: de6273b487f1

Testsuite: use certs expring before end of 2037, to avoid GnuTLS top-limit clamp on small-size_t platforms

Callouts: fix recipient verify/random

Broken-by: e9166683487c

Fix logging of drop-after-EHLO-reject.
An unset variable went wrong with clang, was fortuitously right with gcc.

Testsuite: perl may live in /usr/local/bin

Avoid using "-w" option in perl script shebang lines, being incompatible with "env perl"

Abort release process if generated .txt empty

Open umask before creating release packages

Copyright year bumps for substantive changes 2017

Document that fixed 2018

Fixes: 2018

Avoid reading too much data before TLS handshake

Fix size calculation, log unhandled amount.

We did a `string_copy()` so `hdr.v1.line` is not the right base for an
accurate size.  Fix.

Log unhanded amount.  For clients waiting on the server before sending,
this has to be 0.  For clients speaking first (TLS) this can be
non-zero.

Restrict address-parsing to a maximum of five layers of nested angle-brackets,
under main-option strip_excess_angle_brackets

Tidying: Coverity

Testsuite: add missing output file.

Broken-by: 560e71cc5451

Update change log

CHUNKING: Reject messages with malformed line ending.  Bug 2000

Actually test only the first header line, but still do full line-ending canonicalisation on the
remainder of the message in case a Evil Person slips past that.

Docs: add note on verify = senders= .  Bug 2028

TFO: remember setsockopt results, to condition non-transport client use.  Bug 2027

Shuffle proxy-protocol to wrap TLS-on-connect startup.  Bug 2018

DANE: fix build under LibreSSL.  Bug 2020

Testsuite: add dnsdb testcase for defer when used in ACL

Docs: add note on system_filter forced expansion fail

LMDB: include filename in open-error message

DKIM: check pointer to calculated body hash before verify comparison.  Bug 2029

We can have a missing body hash from a malformed DKIM-Signature: header

Testsuite: testcase for DKIM bug 2029

DKIM: rename variables for clarity

Testsuite: get same certextract samples for GnuTLS and OpenSSL

Testsuite: output file changes from d7a2c8337f7b

Testsuite: fix delay-dependent testcase for really slow systems

Testsuite: missing output files

Fix reception of (quoted) local-parts with embedded spaces.  Bug 2025

TFO: Support compilation on Linus platforms which define TCP_FASTOPEN but not MSG_FASTOPEN

Define MIN and MAX for Solaris

Fix build with OpenSSL, EXPERIMENTAL_DANE and DISABLE_EVENT

Document OpenBSD resolver ignoring EDNS0

DKIM: permit verify of sig blocks that sign other sig blocks.  Bug 2014

Merge branch 'fix-2016-dkim'

Fix DKIM verify when used with CHUNKING.  Bug 2016

Testsuite: Add DKIM Chunking test

Testsuite: Rename 4500-Domain-Keys-Identified-Mail for consistency

Testsuite: Rename 4510-DKIM

We need some additional tests in 4500

Merge branch 'callout_smtp_tpt_merge'

Testcases for pipelined callout

Use smtp_write_mail_and_rcpt_cmds() for verify callout

use smtp_context struct for sync_responses()

Split out smtp_write_mail_and_rcpt_cmds() from smtp_deliver()

Split out cutthrough connection-cache / subsequent-rcpt handling, from do_callout()

Split out callout-cache handling from do_callout()

Use smtp_setup_conn() for verify callout

Split out smtp MAIL and RCPT option string building

Split out smtp_setup_conn() from smtp_deliver, in the transport

Fix DKIM verify operation in -bh test mode.  Bug 2017

Testsuite: Make patchexim work with dirty tag checkouts

fix example command-line

Testsuite: output changes from 4c04137d7

VRFY: advertise in EHLO response, if there is an ACL defined

VRFY: add docs note on results, and additional test cases

Docs: add note on round-robin DNS problems vs. authentication

spelling: Mavrogiannopoulos

Committer note: the name was spelt as was used by Nikos at the time, but
he's since switched to the other latinization form and is using it
everywhere these days.  Part of his response was "Feel free to use the
Mavrogiannopoulos variant everywhere.", so I'm merging this commit too.

replace keept with rotation

Log rotate documentation does not actually give a term for this portion
of a filename, but to the extent that I can find a term, a number of
places call it a "rotation number".

Replacing keept which is inaccurate and misleading with rotation makes
the code a little easier to read.

Recording merge technique in git history

This is an empty commit which exists for this commit message,
documenting how I handled GitHub PR 52, which was 228 separate commits,
each fixing the spelling of one word.  The submitter's approach made it
easy to consider and approve/reject each independently, so was valuable,
but I didn't want so many commits in our history.

A few aspects of the shell commands rely upon Zsh: `read -q` for
getting a single Y/N response; `$IFS` containing ASCII NUL (and
builtins handling NUL inside strings) for parsing `.git/MERGE_RR`;
anonymous function calls so that I could abort cleanly if I wanted to.

    git log --pretty=tformat:%h master..github/pr/52  > ../1.consider
    touch ../2.keep
    for F in $(<../1.consider); do git show $F | cat -v; read -q "keep?Keep $F ? " && echo $F >> ../2.keep; echo; echo =============================; done

That let me iterate through each, selecting 214/228 commits to apply in
one pass.  Two PR commits were held for a separate commit, because they
fixed behavioural bugs.  So 216/228 were accepted.  A couple warranted
minor post-fixing as part of the first PR.

    for F in $(<../2.keep ) ; do (){ git cherry-pick -n $F && continue; for junk fn in $(<.git/MERGE_RR); do [[ -n $fn ]] || break; if vi $fn; then git add $fn; else return 1; fi; done } || break; done
    vi src/src/filter.c && git add src/src/filter.c
    vi src/src/dns.c && git add src/src/dns.c
    GIT_AUTHOR_NAME='Josh Soref' GIT_AUTHOR_EMAIL='jsoref@users.noreply.github.com' git commit

and similarly for the second commit.

One more commit from the PR requires chasing with a contributor whose
name is natively in a non-Roman alphabet and who appears to have changed
the Romanisation, to check how they'd like it handled.  I will chase
under separate cover.

Bug-fix no_require_dnssec parsing & spelling fixes

Patches from Josh Soref fixing spelling fixed two bugs:
* Parsing `no_require_dnssec` configuration option
* Setting `_HAVE_TRANSPORT_APPEND_MAILDIR` macro (for config parsing)

[ PP pulled these two out into a separate commit to update the ChangeLog
  accordingly. ]

214 spelling fixes

Provide alternative Heimdal pkg-config example

Building Exim against Heimdal 1.5, heimdal-gssapi.pc was needed.
There's been a major version bump in Heimdal, and against 7.1 that
doesn't work; using heimdal-krb5.pc fails on missing `gss_*` functions.

I can find no build documentation for Heimdal which describes what
should be needed.  heimdal-gssapi.pc does reference heimdal-krb5.pc
in `Requires.private` but it's not being used by FreeBSD pkgconf in
such a way that it's available when building on FreeBSD 10.3.

Fortunately, our `*_PC` logic works with multiple packages listed,
so provide that example.

Docs: add note on DKIM ACL triggers

Testsuite: moved output file

Broken-by: f4630439f888

CHUNKING: fix non-pipelined synch checks.  Bug 2004

PROXY: fix v2 protocol decode.  Bugs 2003, 1747

wip: OpenSSL docs on custom install

To fix before merge: ability to use `$ORIGIN` in linker line via Exim
config file.

Docs: fix smtp transport TFO option indexing

Merge remote-tracking branch 'github/pr/50'

GitHub user @YmrDtnJu "Björn" provided a patch to fix that we called
ldap_start_tls_s on ldapi:// connections.

This is obviously a correct change, since above we've avoiding
initializing the TLS state if using ldapi.

Added documentation noting this behaviour.

DKIM: Under debug, when signing do an extra check on the dns record that will be
used for verification.  Bug 1926

Do not call ldap_start_tls_s on ldapi:// connections.

The code already skips the initialisation of TLS on LDAP connections over unix
sockets but the call to ldap_start_tls_s is done nonetheless.

Docs: Add .new/wen marker for relative includes (Bug 1971)

Tidy and add \0 after string_append() for relative .includes

tidying

Docs: typoes

I18N: avoid trying to downconvert all-ascii domain names.

With the IDNA-2008 handling downconversion results in lowercasing;
so avoid doing that if possible.

Testsuite: use custom-munge for dsn-info in 4510

Broken-by: 87cb4a166c47

Allow relative file names in .include lines (Closes 1971)

Doc: Minor fixes

Release process: make mk_exim_release more self descriptive

Release process: rename the scripts to be more generic

Release process: sign all *.tar.* under a given dir

Release process: fix the --no-web option

Constify config_filename

DKIM: More validation of DNS key record.  Bug 1926

OpenSSL: add detail to certname verify fail log line

Pipe transport: expand the path option

Testsuite: enhance IDNA examples; move to IDNA-2008 conversions

Docs: clarify headers availability in data-time ACLs

I18N: support IDNA2008.  Bug 1911

Docs: Clean for next release