Document Jeremy's ref-count bug-fix as 4.89 JH/19

Fix child-address counting.

When a new address was created by a routing step it was possible for the parent address in the tree to
be marked as having zero children, despite the new child having a pointer to the parent.  When the child
was then delivered, the count on the parent could go negative or, if other children had been added which
correctly incremented the count, arrive at zero while some children were outstanding.  Fix this to
maintin the invariant.  While there, make the counter unsigned.

(cherry picked from commit 82f90600647a5322e9e7b58fc127eb8be839165c)
Signed-off-by: Phil Pennock <pdp@exim.org>

Docs: add more Redis info

(cherry picked from commit d5d82b8443e2604e7b0729ecbb3b2041ce176189)
Signed-off-by: Phil Pennock <pdp@exim.org>

ChangeLog entry JH/18; applying to 4.89 release

(cherry picked from commit 4bb432cb42d990bc40665d38aedbf02b00128df7)
Signed-off-by: Phil Pennock <pdp@exim.org>

Fix ${extract } corrupting an enclosing ${reduce }  $value.  Bug 2061

Broken-by: 20fcb1e7be45 - Bug 1870
(cherry picked from commit 9e09521e621d852ac4828f1865b4ccb01568d9ee)
Signed-off-by: Phil Pennock <pdp@exim.org>

Pull in vdukhovni/ssl_dane 8270afba fix

Negating an int and comparing to another int was a bug which we got
lucky on.

Memory management: drop $acl_m_ variables explicitly as they go out-of-scope
between message receptions in an SMTP connection

(cherry picked from commit b83fa5fa89071dab0637c0e58ba8e5c1b829149b)
Signed-off-by: Phil Pennock <pdp@exim.org>

Move bdat_ungetc decl to hdr ∵ receive.c uses too

(cherry picked from commit f6f4a58dcac2a21f4104bb8d7e580e90ba6bf3f4)
Signed-off-by: Phil Pennock <pdp@exim.org>

Memory Managment: new main-section config option "debug_store" to control extra internal checking

(cherry picked from commit 10919584f8ad580434442c7d971083f91c315bc0)
Signed-off-by: Phil Pennock <pdp@exim.org>

releng: able to use gnupg default keys for signing

Git and our previous "must specify one keyid" approach is more
constraining than GnuPG allows; cleanest and simplest way, without
breaking support for people with multiple keys and such like, is to just
provide a way to break out of our logic and say "use the configured
default GnuPG keys".

My PGP key has multiple signing subkeys, one RSA and one Ed25519; I
think I might try a dual-signature in an upcoming RC to see how many
people scream with broken OpenPGP clients.

(cherry picked from commit b7e8c96e9bfd6fe9505230359138f59b731054e5)
Signed-off-by: Phil Pennock <pdp@exim.org>

Fix broken-in-queue messages predating CHUNKING fix

util/chunking_fixqueue_finalnewlines.pl walks the queue, fixing any
affected messages; see README.UPDATING.

We're extremely cautious about operation failure.

We do one check without locking messages, so that we can quickly skip
past before trying to lock and contending with an actual delivery.  Then
we lock and do another fix.

Note that we use flock, not fcntl, because that's what Perl makes
readily available; we use an OS-guard to barf if the OS is not handled.

(cherry picked from commit 7dc5f827a629b06afcba5a1a52184084c5214c98)
Signed-off-by: Phil Pennock <pdp@exim.org>

nit: document that `fout` must be open for reading too

(cherry picked from commit 544dd905b208164eaae771ab6d2a198b4c67aa0c)
Signed-off-by: Phil Pennock <pdp@exim.org>

Fix missing line termination on the last received BDAT chunk (Bug 1974)

(cherry picked from commit d953610fa77ec9a08fad9c1a183181079a79674e)
Signed-off-by: Phil Pennock <pdp@exim.org>

Use enum { SEEN_LF, …} for ch_state(s)

(cherry picked from commit cff70eb1c1eb494ee5964dca33dc115181baafd7)
Signed-off-by: Phil Pennock <pdp@exim.org>

os_getcwd(): do not realloc if there was no malloc().

(cherry picked from commit 4a5ee04fd186cb7d86a4f70821dacc55f8cce98d)
(changelog added)
Signed-off-by: Phil Pennock <pdp@exim.org>

DKIM: fix crash with a verification when dkim disabled, under CHUNKING

(cherry picked from commit 79de4f370f306869887e1714ff4ecef5bfc93fa5)
(changelog added)
Signed-off-by: Phil Pennock <pdp@exim.org>

FreeBSD: only assume iconv for FreeBSD >= 10

Since FreeBSD 10 is the oldest version of the OS supported by the
FreeBSD Project, we shouldn't need this.  But people are still using
older versions.  On closer examination, it's only been 6 weeks since 9.3
stopped being supported.  People ignoring the status are playing with
fire, getting no security updates, but let's not make that _our_
problem.

Guard the "use system iconv" #define for the libiconv package with an OS
version #ifdef.

(cherry picked from commit 852e25c532665a5523f07930030199666aef996c)
Signed-off-by: Phil Pennock <pdp@exim.org>

Fix missing Changelog entries for recent work

(cherry picked from commit 1ec2ab360cdac80529cfb597a1efa6c3fc9ea9b8)
Signed-off-by: Phil Pennock <pdp@exim.org>

Unbreak test_dbfn make-target

doc/dbm.discuss.txt describes how to make and use `test_dbfn` for
testing DB functionality.

Commit cf0812d5 adds a call to assert_no_variables into store.c which
depends upon expand.c functionality and we can't link that in for
test_dbfn without pulling in half of Exim.

So adjust the test_dbfn target to rebuild store.o in COMPILE_UTILITY
mode and link against that variant, then remove the custom-built store.o
after the executable has been linked.

(cherry picked from commit 92e840383faa41c28f4ef099ee5fe0b6b18c2738)
Signed-off-by: Phil Pennock <pdp@exim.org>

Mention FreeBSD/iconv in README.UPDATING

(cherry picked from commit 0aaf76a49ec6e788d56b3b2100436f3641284532)
Signed-off-by: Phil Pennock <pdp@exim.org>

Compilation warnings shushing

With this patch, in clang 3.4.1 we get no compilation complaints if
Local/Makefile contains:

    CC=clang
    CFLAGS+=-Wno-dangling-else -Wno-logical-op-parentheses

* In hash.c, for the OpenSSL case, use assert() to guard the paths which
  can't happen, instead of just assuming that the calling code never has
  a mistake
* Fix some signed/unsigned issues
* Be explicit about some ignored return values
* Some parens around bit-twiddling
* Use our os_getcwd with its extra guards in one place where getcwd was
  called
* FreeBSD: use system iconv, safely, always

perl paranoia about @INC

(cherry picked from commit 4d3d955f2791199b35704c3e9784dc99fd229696)
Signed-off-by: Phil Pennock <pdp@exim.org>

RELEASE EXPERIMENT: tarball ownership, fix RC version

The ability to release 4.XX.Y via hardcoding a version.sh as part of
release broke the ability to do properly versioned RC releases.  Fix
that.

Try to fix ownership of files in tarballs to not be local system user.

Release packaging & scripting improvements.

* Make the .xz tarball variant too, and work harder on compressing our
  files for distribution.
  + The .xz files have gained more positive feedback than any other part
    of the 4.89 release.
* Drop usercodes from tarball
  + We shouldn't be embedding own-system-specifc ownership information
    into software release tarballs.  That's for local system backups,
    not distribution.
* Script for the size/checksums
  + We include checksums in the mail; this gets the format fixed and not
    including checksums-of-signatures, etc.  I've also experimented with
    including the size, so let's script that to be portably generated.
* Better tarball signing script
  + Automatically find the signing directory (if not already in it)
  + Sign all files, properly skipping existing .asc files
  + Find the signing key from git config, if available, else error out
    (Nigel is not on the hook as the default victim now)
  + Show what we're doing as we do it

All changes made on the original `release_4_89` branch with
`RELEASE EXPERIMENT` subject tags.

Fix DKIM/GnuTLS build

Broken-by: e1d04f48a45c

Debug: indent ACL and expreassion tracing by evaluation depth

DKIM: trim debug verbosity

This tidies some buildfarm fails on animals buildding without DKIM

Fix non-contentscan build

Broken-by: 90341c71c19c

Memory management: drop variables identified as going out-of-scope

Fixes crash in transport re-using bad $sender_ip_address from callout

Memory management: when running under the testsuite, check every string variable on store_reset

On spotting data in a region being freed, panic

DocÖ Fix typo about spf lookup (experimental)

Testsuite: tidy generation and sorting of exim -bp output

The root cause is, that exim -bp doesn't always return the message
ids in the order they were created, but sorted. The 2nd
part of the message id (PID) can be random on *BSD.

doc-fix: reference current libsrs_alt availability

Matches site from Wiki, from Google SERP, etc.

CHUNKING: fix transport crash on temp-reject of pipelined non-first chunk

DKIM: more care over untrustworthy data during verify

Fix no-SSL build

FreeBSD: Perl no longer in /usr/bin from Ports

FreeBSD Ports by policy no longer allows symlinks in /usr/bin for things
like Perl, so we have to look in /usr/local/bin for it instead.

Spec docs for IDNA2008 support

GnuTLS: fix use of SHA3 hashes

Testsuite: Fix 0207 (message order)

Message ids are not always in ascending order (PIDs may be randomized)
Thanks to Kirill Miazine.

Testsuite: output changes from a26fb6a77384

bug-fix test-driving input

The client driver is a little restrictive in the escape sequences it
handles; two octets here were missing the `x` after the `\`, so `\05` is
two octets, a 0 and then a 5, where `\x05` would be one octet.

So we were sending two more octets than expected, not catching that Exim
was parsing the wrong IP/port at the end, and now that Exim only reads
as much of the proxy protocol header as belongs in it, instead of "up to
the largest it could be", this test-bug has been exposed.

Proxy clarification & nit fixes.

Release: should be cherry-picked into 4.89RC series

Handle Proxy Protocol v2 safely as well.

We had test suite failures (test suite success!) because Proxy Protocol
v2 (PPv2) wasn't being detected; by only reading 12 octets, the >= 16
check was failing.  But in fact I had previously only fixed reading
"only enough" for PPv1.

Handling both PPv1 and PPv2 is complicated because the minimum valid
length for PPv1 is 15 octets but for PPv2 the size to read is in the
15th and 16th octets.

So refactored a little and we now use a total of 3 reads for the PPv2
case (assuming no fragmentation, etc; we'll actually keep reading now
instead of aborting) to get the entire PPv2 header of exactly the right
size, so that TLS handshake immediately following the PP header is not
also swallowed.

Fixes: 2018
Tested: manually, TLS and non-TLS, PPv1 and PPv2, all ways.
Release: should be cherry-picked into 4.89RC series

Fix error logged for send failure

Broken-by: de6273b487f1

Testsuite: use certs expring before end of 2037, to avoid GnuTLS top-limit clamp on small-size_t platforms

Callouts: fix recipient verify/random

Broken-by: e9166683487c

Fix logging of drop-after-EHLO-reject.
An unset variable went wrong with clang, was fortuitously right with gcc.

Testsuite: perl may live in /usr/local/bin

Avoid using "-w" option in perl script shebang lines, being incompatible with "env perl"

Abort release process if generated .txt empty

Open umask before creating release packages

Copyright year bumps for substantive changes 2017

Document that fixed 2018

Fixes: 2018

Avoid reading too much data before TLS handshake

Fix size calculation, log unhandled amount.

We did a `string_copy()` so `hdr.v1.line` is not the right base for an
accurate size.  Fix.

Log unhanded amount.  For clients waiting on the server before sending,
this has to be 0.  For clients speaking first (TLS) this can be
non-zero.

Restrict address-parsing to a maximum of five layers of nested angle-brackets,
under main-option strip_excess_angle_brackets

Tidying: Coverity

Testsuite: add missing output file.

Broken-by: 560e71cc5451

Update change log

CHUNKING: Reject messages with malformed line ending.  Bug 2000

Actually test only the first header line, but still do full line-ending canonicalisation on the
remainder of the message in case a Evil Person slips past that.

Docs: add note on verify = senders= .  Bug 2028

TFO: remember setsockopt results, to condition non-transport client use.  Bug 2027

Shuffle proxy-protocol to wrap TLS-on-connect startup.  Bug 2018

DANE: fix build under LibreSSL.  Bug 2020

Testsuite: add dnsdb testcase for defer when used in ACL

Docs: add note on system_filter forced expansion fail

LMDB: include filename in open-error message

DKIM: check pointer to calculated body hash before verify comparison.  Bug 2029

We can have a missing body hash from a malformed DKIM-Signature: header

Testsuite: testcase for DKIM bug 2029

DKIM: rename variables for clarity

Testsuite: get same certextract samples for GnuTLS and OpenSSL

Testsuite: output file changes from d7a2c8337f7b

Testsuite: fix delay-dependent testcase for really slow systems

Testsuite: missing output files

Fix reception of (quoted) local-parts with embedded spaces.  Bug 2025

TFO: Support compilation on Linus platforms which define TCP_FASTOPEN but not MSG_FASTOPEN

Define MIN and MAX for Solaris

Fix build with OpenSSL, EXPERIMENTAL_DANE and DISABLE_EVENT

Document OpenBSD resolver ignoring EDNS0

DKIM: permit verify of sig blocks that sign other sig blocks.  Bug 2014

Merge branch 'fix-2016-dkim'

Fix DKIM verify when used with CHUNKING.  Bug 2016

Testsuite: Add DKIM Chunking test

Testsuite: Rename 4500-Domain-Keys-Identified-Mail for consistency

Testsuite: Rename 4510-DKIM

We need some additional tests in 4500

Merge branch 'callout_smtp_tpt_merge'

Testcases for pipelined callout

Use smtp_write_mail_and_rcpt_cmds() for verify callout

use smtp_context struct for sync_responses()

Split out smtp_write_mail_and_rcpt_cmds() from smtp_deliver()

Split out cutthrough connection-cache / subsequent-rcpt handling, from do_callout()

Split out callout-cache handling from do_callout()

Use smtp_setup_conn() for verify callout

Split out smtp MAIL and RCPT option string building

Split out smtp_setup_conn() from smtp_deliver, in the transport

Fix DKIM verify operation in -bh test mode.  Bug 2017

Testsuite: Make patchexim work with dirty tag checkouts

fix example command-line

Testsuite: output changes from 4c04137d7