Merge branch 'master' into transp_logging_1031

Conflicts:
src/src/expand.c

Log expansion failures

Fix debug output in ${acl }

Rename feature to "Transport Post-Delivery Actions"

Merge branch 'master' into transp_logging_1031

More tidying of ACL-config skip

Merge branch 'master' into transp_logging_1031

Conflicts:
src/src/readconf.c

Remove ACL-config skip so that ${acl } expansions work from queue-runs.

Previously we skipped parsing the ACL section when not needed.  Now it is
potentially needed in all cases.  The skip was ~5% faster than a full parse
so probably not a large part of the exim process startup.

Fix up testsuite output files affected by the removal and add a regression test.

Add gdb history file to git ignore

Make success expansion a per-transport option

Make router_name and transport_name usable for the expansions

Add test for ${hexquote:

Add test for deferral case

Add test skeleton

Restore missing part of patch.

Merge branch 'master' into transp_logging_1031

Conflicts:
doc/doc-txt/experimental-spec.txt
src/src/EDITME
src/src/deliver.c
src/src/exim.c

Patch imported from bugzilla 1031.    Axel Rau.

Add notes and helper-script for OCSP

Use function macro instead of explicit arg cast.

Quiet signedness compiler warnings.

Support safari_ecdhe_ecdsa_bug for openssl_options

Guard LDAP TLS usage against Solaris LDAP variant.

PP/22
Report from Prashanth Katuri.

This variant ensures that if TLS won't be activated because of
compile-time guards, but was requested, then we at least debug-log _why_
we're not doing anything.

Fix eximon continuous updating with timestamped log-files.

Report and fix from Heiko Schlichting.

Fixes 1363.

Add doc comment on use of forany.

readconf: clarify a retry rule parsing error message

Submitted by: Paul Osborne <paul.osborne@canterbury.ac.uk>

Documentation for udpsend and ${hexquote:

The udpsend ACL modifier.

This is for reporting mailer activity without going via the log files.

${hexquote: expansion operator

This converts octets outside the range 0x21-0x7E (the ASCII
graphic characters) to \xNN hex escapes.

Merge branch 'callout_auth'

Log AUTH info on cutthrough deliveries.

Typo in doc source.

Support AUTH for verify-callout and cutthrough-delivery.

Refactored smtp transport to pull out AUTH-related routines so they could be
also called from the verify code.

Bugs 321, 823.

Add compile-time checks for various tables being in alphabetical order.

This is gross hackery and somewhat fragile.  A better method would
actuallyt compile the 'C' involved and check programmatically.

Fix dns_retry definition.

Was placed in non-alphabetical order.

Security considerations: running local commands

Call out the dangers of use_shell in the security considerations
chapter.

Call out a number of related dangers too.

Use enum for cutthrough receive processing state.

Document PRDR, OCSP & DMARC options in OptionLists file.

Add entry to Changelog.

Remove static from local variable declaration.

Fix history file logging to use correct variables

Remove SPF domain synthesis, just use HELO.

Withhold TLD load error if not defined in conf

Move DKIM endif.

Fix a few cosmetic differences.

DMARC documentation and license

DMARC support by opendmarc libs

Fix runtest -CONTINUE to work everywhere

Changes the $more variable to just cat the changes to STDOUT and not
  pipe it through less or more.

Drop mistakenly-added test config

Merge branch 'ocsp_staple_rollup'

* ocsp_staple_rollup:
  tidying
  OCSP-stapling enhancement and testing.

Update testsuite case 0390 for force_command addition to pipe transport

Fix -p doc mention of Perl -pd conflict.

Reported by Heiko Schlichting.
fixes 1345

Ensure OpenSSL entropy state reset across forks.

Note that this function is never going to be called pre-fork unless the
admin is doing something highly unusual with ${randint:..} in a context
evaluated in the listening daemon.  Other forks should result in a
re-exec(), thus resetting state.

Nonetheless, be more cautious, explicitly reset state.

Fix per PostgreSQL.

PS: why does OpenSSL not document RAND_cleanup() on the same page as all
    the other entropy pool maintenance functions?

Clean & integrate force_command.

Work by J. Nick Koston, for cPanel, Inc.

tidying

Add the force_command option to the pipe transport

Normally when a router redirects an address directly to a pipe command
the command option on the transport is ignored.  If force_command
is set, the command option will expanded and used. This is especially
useful for forcing a wrapper or additional argument to be added to the
command.

OCSP-stapling enhancement and testing.

Server:
  Honor environment variable as well as running_in_test_harness in permitting bogus staplings
  Update server tests
  Add "-ocsp" option to client-ssl.
  Server side: add verification of stapled status.
  First cut server-mode ocsp testing.
  Fix some uninitialized ocsp-related data.

Client (new):
  Verify stapling using only the chain that verified the server cert, not any acceptable chain.
  Add check for multiple responses in a stapling, which is not handled
  Refuse verification on expired and revoking staplings.
  Handle OCSP client refusal on lack of stapling from server.
  More fixing in client OCSP: use the server cert signing chain to verify the OCSP info.
  Add transport hosts_require_ocsp option.
  Log stapling responses.
  Start on tests for client-side.

Testing support:
    Add CRL generation code and documentation update
    Initial CA & certificate set for testing.

BUGFIX:
    Once a single OCSP response has been extracted the validation
    routine return code is no longer about the structure, but the actual
    returned OCSP status.

Rename dns_use_dnssec to dns_dnssec_ok.

This per Tony's suggestion; this makes it clearer that we are merely
setting resolver flags, not performing validation ourselves.

Well, clearer to those who understand DNSSEC.  For everyone else,
they'll still be dependent upon a forthcoming new chapter to the
Specification.

OpenSSL fix empty tls_verify_certificates.

New behaviour matches GnuTLS handling, and is documented.

Previously, a tls_verify_certificates expansion forced failure was the
only portable way to avoid setting this option.  Now, an empty string is
equivalent.

Guard smtp_user_msg() with EXPERIMENTAL_PRDR check.

Resolves:

    gcc receive.c
    receive.c:520: warning: 'smtp_user_msg' defined but not used

configure.default handle IPv6 localhost better.

Base patch by Alain Williams.
Tweaked, to avoid putting an IPv6-dependency into the default
uncommented form, and some rewording.

Bugzilla 880.
GitHub PR #1.

Document the last change in ChangeLog

Handle recursion better, caused by ACLs.

Issue debugged by Todd Lyons, this fix from me.

Bug 1339: DCC update (Wolfgang Breyha)

Add a few temp doc items to ignore

tls_out.sni fix for ancient-OpenSSL #ifdef branch

PRDR support, if compiled with EXPERIMENTAL_PRDR

Update eximstats to watch out for senders sending 'HELO [IpAddr]'

Fix GNU Hurd interface IPv6 address detection.

Define SIOCGIFCONF_GIVES_ADDR in OS/os.h-GNU

Fixes 1331.

Typo & nit fixes.

JH has made more changes than he realised.  New second JH/11 to JH/13.

Restrict lifetime of $router_name and $transport_name. Bug 308.

The router name is explicitly nulled after the router exits;
the transport name is set only in the subprocess it runs in.

Add $router_name and $transport_name variables.  Bug 308.

gen_pkcs3: add comment explaining rationale

Wondering why you wrote some code and having to grep the source code to find out,
in the same year that you wrote it, is generally a sign of missing information.

Fixed.

Typo fixes (experimental-spec)

Update testsuite (gnutls) outputs to match 6822b9.

Add notification of OCSP-stapling facility inclusion.

GnuTLS-FAQ: typo fixes & glitch re standard primes

Mostly typos.

Was one instance of "which a future release of Exim will probably support"
which should already have been "which Exim now supports". Doh. Fixed
too.

Initialise OCSP-related pointers before use.

Document scripts/lookups-Makefile for new lookups.

Missing step for adding a new lookup noticed by Paul Gamble.

OCSP/SNI: set correct callback.

Caught by Jeremy; was wrong in (my) original commit, the dual-TLS work
had just renamed the variables and theoretically made it more visible.
I still missed it.

The server_sni context initialisation was setting the OCSP status
callback context parameter back on the original server_ctx instead of
the new server_sni context.

I guess OCSP and SNI aren't being used together in Exim much yet.

Fix tests 5400, 5401, 5410, 5420 to work under any user.

Note build fixes in ChangeLog

Avoid unnecessary rebuilds of lookup helper functions.

Avoid spurious rebuilds of the dynamic lookups Makefile.

This was noticable when re-building as a non-privileged user
after installing as root; lookups/Makefile had been rebuilt
by root and when it was rebuilt again by the unprivileged user
`mv` demanded confirmation before overwriting the file.

Fix tests 5401 and 5410 when not run under a user named eximtest.

Fix test 5400 when not run under a user named eximtest.

A safer version of the check for gecos expansion.

More test updates following the retry fix.

Most of these are due to the changes in the logging of
ultimate timeout checks.

Test 0548 is more meaningfully affected. The test originally
failed to spot that the recipient-specific deferrals pushed
past the ultimate retry timeout.

Update test 0357 following the retry fix.

Make gecos expansion work with test 0412 as well as 0254.

Added DCC entry to Changelog as GF/01 (2nd attempt)

Revert "Added DCC entry to Changelog as GF/01"

This reverts commit fee685ddb4cb1a995556b5cc35df907ae7a8ad62.

Added DCC entry to Changelog as GF/01

Fix my earlier "fix" for intermittently deliverable recipients.

Only do the ultimate address timeout check if there is an address
retry record and there is not a domain retry record; this implies
that previous attempts to handle the address had the retry_use_local_parts
option turned on. We use this as an approximation for the destination
being like a local delivery, as in LMTP.

Correct gecos expansion when From: is a prefix of the username.

Test 0254 submits a message to Exim with the header

  Resent-From: f

When I ran the test suite under the user fanf2, Exim expanded
the header to contain my full name, whereas it should have added
a Resent-Sender: header. It erroneously treats any prefix of the
username as equal to the username.

This change corrects that bug.

Explain the 3 SSL_CTX we have

Fix eximon build.

Add retry timeout fix to ChangeLog

Fix ultimate retry timeouts for intermittently deliverable recipients.

When a queue runner is handling a message, Exim first routes the
recipient addresses, during which it prunes them based on the retry
hints database. After that it attempts to deliver the message to
any remaining recipients. It then updates the hints database using
the retry rules.

So if a recipient address works intermittently, it can get repeatedly
deferred at routing time. The retry hints record remains fresh so the
address never reaches the final cutoff time.

This is a fairly common occurrence when a user is bumping up against
their storage quota. Exim had some logic in its local delivery code
to deal with this. However it did not apply to per-recipient defers
in remote deliveries, e.g. over LMTP to a separate IMAP message store.

This commit adds a proper retry rule check during routing so that
the final cutoff time is checked against the message's age. I also
took the opportunity to unify three very similar blocks of code.

I suspect this new check makes the old local delivery cutoff check
redundant, but I have not verified this so I left the code in place.

Use new .copyyear macro

Revert copyright years to manual-update.  Bug 1318.

Insert version number and date into documentation at build time.  Bug 1318.

Write a temp file with macro definitions from the makefile, and include it
from the doc sources.  Pass the version to make from the perl script.

It is still needed to manually update the previous-version number and
changebar indicators (.new/.wen) manually.

DCC debug and logging tidy