Rework detection of multiple ports on a given IP, for the daemon status line

Previously only spotted adjacent cases in the address list, now a full scan

tidying

Transport: fix smtp under combo of mua_wrapper and limited max_rcpt

Builtin macros: note config trigger line in debug output

$SOURCE_DATE_EPOCH support for build date stamp

If, and _only_ if, $SOURCE_DATE_EPOCH is found in environ during build,
use it to set the timestamp embedded in the binary instead of using
__DATE__ and __TIME__ cpp directives.

This per <https://reproducible-builds.org/specs/source-date-epoch/>
spec.  It's sane and sensible, without removing date stamping which
matters.  The examples encourage packagers to use timestamps which
do change when they backport patches, so that the date remains useful
for distinguishing builds instead of claiming one date forever across
multiple patchlevels.

This change written so that the old behaviour and code is used if the
environment variable is not found, to better continue to support ancient
platforms with other variants of date(1).

Built with and without an override, on macOS.

compiler quietening

Remove references to some csx.cam sites

The ftp.csx.cam.ac.uk server is no longer authoratative  not even up to date.

The training courses are no longer happening.

typo

tidying

tidying

Callout/hold: ensure TLS-proxy process is not waited for as a transport process

Debug: show error for SMTP read response

Callout/hold: fix uninitialized variable

Docs: expand descriptiong of control=debug

Openssl: disable session-tickets by default and session-cache always

Docs: fix definition of msg:fail:delivery event

tidying

Documentation: replace http by https where possible

I didn't change the schema for external links. This
needs further checking if the content of https://…
matches the content of http://…

tidying

Doc: clarify location of DMARC dmarc_tld_file

Callouts: a "hold" option for receipient-verify, which keeps the connection open both for
further recipients and for eventual delivery.

Logging: make cipher info available for continued-TLS connection deliveries

exigrep: migrate to Getopt::Long, allow --no-pager

This gives us long/more descriptive option names.
Add an option to supress the use of a pager.

exigrep: use a pager if stdout is connected to a terminal

exigrep: add POD and -h, -m

Testsuite: allow --range <number> +

Now `runtest <number> +` and `runtest --range <number> +`
do the same.

Testsuite: fixup testsuite test about flavours

Support for flavours isn't dropped, but currently
we do not have flavour specific files.

Expansions: check numeric values of IPv4 address components

Logging: mark continued-TLS connection deliveries with "X-*"

Sync 4.next from master

Testsuite: add --test and --range options

Testsuite: Getopt::Long, --help, --man for runtest

Malware: new connection type "f-prot6d" for FPSCAND protocol over TCP

Docs: fix description of tls_advertise_hosts

uClibc does not contain gnu/libc-version.h

Signed-off-by: Bernd Kuhls <bernd.kuhls@t-online.de>

Testsuite: remove debug "ps" output from 0420

Debug: Use UTF-8 linedrawing, for indent partial-markers

Shorten long daemon-startup log lines

Some platforms (Solaris) do not have AF_LOCAL; use AF_UNIX

Docs: fix macro typo

Delivery: contined-connection maintaining TLS

Docs: clean for next release

Debug: Use UTF-8 linedrawing rather than ASCII lineart for grouping expansion tracing messages

Testsuite: sys_errlist[] not supported on all platforms

Testsuite: do not wait forever for exim daemon to start up

openssl.txt: stamp RPATH into library too

Coverity fixes

Document Jeremy's ref-count bug-fix as 4.89 JH/19

Memory Management: drop another variable ($callout_address) as it goes out of scope.

Fix child-address counting.

When a new address was created by a routing step it was possible for the parent address in the tree to
be marked as having zero children, despite the new child having a pointer to the parent.  When the child
was then delivered, the count on the parent could go negative or, if other children had been added which
correctly incremented the count, arrive at zero while some children were outstanding.  Fix this to
maintin the invariant.  While there, make the counter unsigned.

Docs: add more Redis info

Testsuite: tidying

Testsuite: Fix more end-of-input markers (****)

These wrong markers didn't have any impact.

Docs: tidy a table

Testsuite: reduce trailing 0372 subtest to queue-only

Suboptimal, but sufficient to regression-test the reason it was added (a live acl_m_
variable being store_reset over, after reception (and ACLs) and then referenced
later.  The problem was, child procs of the daemon were still running as the following
0373 started up, and left unexpected output files there.

Testsuite: Terminate the client input properly

Testsuite: Add EXIM_TEST_NUMBER to the environment

Add option to control use of shutdown by ${readsocket }.  Bug 400

ChangeLog entry JH/18; applying to 4.89 release

DKIM: rework error logging - compiler quietening.  Bug 966

Testsuite: in force-continue mode, always dump any unexpected paniclog files

Testsuite: regression test for Bug 2061

Fix ${extract } corrupting an enclosing ${reduce }  $value.  Bug 2061

Broken-by: 20fcb1e7be45 - Bug 1870

Point at readline fix on macOS

dlopen() without a qualified path searches env vars and paths stamped
into the binary; Exim is usually setuid, so this becomes just the paths
stamped into the binary.  On some platforms (*cough* macOS) libreadline
is not in the usual places.

So show how to stamp the Homebrew location of libreadline into the Exim
binary.

Testsuite: set cmdline before running testcase not after

DKIM: rework error logging to pass strings back to caller for logging.  Bug 966

Testsuite: add file-inclusion facility to "client" scripts

Memory Management: new main-section config option "debug_store" to control extra internal checking

(cherry picked from commit 10919584f8ad580434442c7d971083f91c315bc0)
Signed-off-by: Phil Pennock <pdp@exim.org>

Pull in vdukhovni/ssl_dane 8270afba fix

Negating an int and comparing to another int was a bug which we got
lucky on.

tidying

Memory management: drop $acl_m_ variables explicitly as they go out-of-scope
between message receptions in an SMTP connection

Docs: clarify non-applicability of the tls_eccurve option to GnuTLS

Move bdat_ungetc decl to hdr ∵ receive.c uses too

releng: able to use gnupg default keys for signing

Git and our previous "must specify one keyid" approach is more
constraining than GnuPG allows; cleanest and simplest way, without
breaking support for people with multiple keys and such like, is to just
provide a way to break out of our logic and say "use the configured
default GnuPG keys".

My PGP key has multiple signing subkeys, one RSA and one Ed25519; I
think I might try a dual-signature in an upcoming RC to see how many
people scream with broken OpenPGP clients.

Testsuite: add option to insert delays, for very slow test platforms

An emulated PPC, running as a VM on x86_64, was seeing testcase fails where
the trailing few log line were missing in munged output, despite on inspection
being present in the spool.  Adding a delay before the munge-and-compare
made the issue go away.

testsuite: make patchexim more relaxed for tag names

Docs: Add commandline option used for chunking on continued connection

Tidy quickrelease

Fix broken-in-queue messages predating CHUNKING fix

util/chunking_fixqueue_finalnewlines.pl walks the queue, fixing any
affected messages; see README.UPDATING.

We're extremely cautious about operation failure.

We do one check without locking messages, so that we can quickly skip
past before trying to lock and contending with an actual delivery.  Then
we lock and do another fix.

Note that we use flock, not fcntl, because that's what Perl makes
readily available; we use an OS-guard to barf if the OS is not handled.

nit: document that `fout` must be open for reading too

Fix missing line termination on the last received BDAT chunk (Bug 1974)

Use enum { SEEN_LF, …} for ch_state(s)

Handle PKG_CONFIG_PATH in Local/Makefile

Handle PKG_CONFIG_PATH, stripping whitespace expanding globs, collecting
multiple sets and just build one variable, and use it in environment at
configure time so that the libraries are found.

Forward-port ChangeLog entries written for release branch

os_getcwd(): do not realloc if there was no malloc().

DKIM: fix crash with a verification when dkim disabled, under CHUNKING

Debug: avoid indenting line-prefixes (timestamp, pid, host-checking marker)

FreeBSD: only assume iconv for FreeBSD >= 10

Since FreeBSD 10 is the oldest version of the OS supported by the
FreeBSD Project, we shouldn't need this.  But people are still using
older versions.  On closer examination, it's only been 6 weeks since 9.3
stopped being supported.  People ignoring the status are playing with
fire, getting no security updates, but let's not make that _our_
problem.

Guard the "use system iconv" #define for the libiconv package with an OS
version #ifdef.

4.89 JH/17 -> 4.90 JH/01

Fix missing Changelog entries for recent work

Unbreak test_dbfn make-target

doc/dbm.discuss.txt describes how to make and use `test_dbfn` for
testing DB functionality.

Commit cf0812d5 adds a call to assert_no_variables into store.c which
depends upon expand.c functionality and we can't link that in for
test_dbfn without pulling in half of Exim.

So adjust the test_dbfn target to rebuild store.o in COMPILE_UTILITY
mode and link against that variant, then remove the custom-built store.o
after the executable has been linked.

DNS: return explicit error code to caller on dnssec failure, for better logging

Mention FreeBSD/iconv in README.UPDATING

Compilation warnings shushing

With this patch, in clang 3.4.1 we get no compilation complaints if
Local/Makefile contains:

    CC=clang
    CFLAGS+=-Wno-dangling-else -Wno-logical-op-parentheses

* In hash.c, for the OpenSSL case, use assert() to guard the paths which
  can't happen, instead of just assuming that the calling code never has
  a mistake
* Fix some signed/unsigned issues
* Be explicit about some ignored return values
* Some parens around bit-twiddling
* Use our os_getcwd with its extra guards in one place where getcwd was
  called
* FreeBSD: use system iconv, safely, always

(cherry picked from commit 845a3ced80964f562872aba841099adbc8933b40)
Signed-off-by: Phil Pennock <pdp@exim.org>

perl paranoia about @INC

TLS: rework error logging to pass more string back to caller for logging

This permits a library-sourced error to be associated with an address
being delivered, collapsing pairs of log lines

Testsuite: fix munging of now-indented date in stdout

Broken-by: e1d04f48a45c

Fix release RC stamping & tarball ownership

The ability to release 4.XX.Y via hardcoding a version.sh as part of
release broke the ability to do properly versioned RC releases.  Fix
that.

Try to fix ownership of files in tarballs to not be local system user.

(cherry picked from commit 7677a8673f89843326aab3944e608c6be4339039)
Signed-off-by: Phil Pennock <pdp@exim.org>

Release packaging & scripting improvements.

* Make the .xz tarball variant too, and work harder on compressing our
  files for distribution.
  + The .xz files have gained more positive feedback than any other part
    of the 4.89 release.
* Drop usercodes from tarball
  + We shouldn't be embedding own-system-specifc ownership information
    into software release tarballs.  That's for local system backups,
    not distribution.
* Script for the size/checksums
  + We include checksums in the mail; this gets the format fixed and not
    including checksums-of-signatures, etc.  I've also experimented with
    including the size, so let's script that to be portably generated.
* Better tarball signing script
  + Automatically find the signing directory (if not already in it)
  + Sign all files, properly skipping existing .asc files
  + Find the signing key from git config, if available, else error out
    (Nigel is not on the hook as the default victim now)
  + Show what we're doing as we do it

All changes made on the original `release_4_89` branch with
`RELEASE EXPERIMENT` subject tags.

Fix DKIM/GnuTLS build

Broken-by: e1d04f48a45c