Add retry timeout fix to ChangeLog

Fix ultimate retry timeouts for intermittently deliverable recipients.

When a queue runner is handling a message, Exim first routes the
recipient addresses, during which it prunes them based on the retry
hints database. After that it attempts to deliver the message to
any remaining recipients. It then updates the hints database using
the retry rules.

So if a recipient address works intermittently, it can get repeatedly
deferred at routing time. The retry hints record remains fresh so the
address never reaches the final cutoff time.

This is a fairly common occurrence when a user is bumping up against
their storage quota. Exim had some logic in its local delivery code
to deal with this. However it did not apply to per-recipient defers
in remote deliveries, e.g. over LMTP to a separate IMAP message store.

This commit adds a proper retry rule check during routing so that
the final cutoff time is checked against the message's age. I also
took the opportunity to unify three very similar blocks of code.

I suspect this new check makes the old local delivery cutoff check
redundant, but I have not verified this so I left the code in place.

Use new .copyyear macro

Revert copyright years to manual-update.  Bug 1318.

Insert version number and date into documentation at build time.  Bug 1318.

Write a temp file with macro definitions from the makefile, and include it
from the doc sources.  Pass the version to make from the perl script.

It is still needed to manually update the previous-version number and
changebar indicators (.new/.wen) manually.

DCC debug and logging tidy

Fix merge problem.

Check syscall return values.

Mostly just compiler-quietening rather than intelligent error-handling.
This deals with complaints of "attribute warn_unused_result" during an rpm
build for SL6 (probably for Fedora also).

Fix 64b build.

Dovecot: robustness; better msg on missing mech.

If the dovecot protocol response doesn't include the MECH message for
the SMTP AUTH protocol the client has requested, that's not a protocol
failure, don't log it as such.  Instead, explicitly log that it didn't
advertise the mechanism we're looking for.  This lets administrators fix
either their Exim or their Dovecot configurations.

Also: make the Dovecot handling more resistant to bad data from the auth
server; handle too many fields with debug-log message to explain what's
going on, permit lines of 8192 length per spec and detect if the line is
too long, so that we can fail auth instead of becoming unsynchronised.

Stop using the CUID from the server as the AUTH id counter.  They're
different, by my reading of the spec.

TESTED: works against Dovecot 2.1.10.

Thanks to Brady Catherman for reporting the problem with diagnosis.

More compiler quietening.

More compiler quietening.

More compiler quitening.

Fix initializer for struct tls_support, per edc33b5f1aca and 817d9f576cd.

Configure should stop on error.

Set the POSIX -e option on the #! line invoking /bin/sh.
If any of the sub-commands fail, the Configure as a whole should fail.

Auth info from transports must be tracked per-address.

Ensure that recipient is well-defined for expansion-called acl at RCPT-time.

ChangeLog update for NTLM/server_set_id

Fix server_set_id for SPA/NTLM auth.

Broken in 4.80 release, commit 08488c86.

We need to leave $auth1 available after the authenticator returns, so
that server_set_id can be evaluated by the caller.  We need to do this
whether we succeed or fail, because server_set_id only makes it into
$authenticated_id if we return OK, but is logged regardless.

Updated test config to set server_set_id; updated logs.

Add optional authenticated_sender info to A= elements of log lines; bug 1314.

New log_selector, smtp_mailauth, to enable.

Docs fixup

Add A= to delivery log lines, and a client_set_id option to authenticators.

Track ACL context through ${acl expansions. Bug 1305.

Rather than pass "where" around all the string-expansion calls I've
used a global; and unpleasant mismatch with the existing "where"
tracking done for nested ACL calls.

Quieten complaining compilers.

Update testsuite outputs to match 333b9d.

4.81 to 4.82

Avoiding confusion of 4.80.1 vs 4.81, we went with skipping to 4.82 instead.

Merge 4.80.1 security fix in.

Merge commit '4263f395efd136dece52d765dfcff3c96f17506e'

Amendment to ChangeLog to handle changes.

Merge branch 'master' of git://git.exim.org/exim

Save/restore $acl_arg1 ... across acl calls, making them local variables.

SECURITY: DKIM DNS buffer overflow protection

CVE-2012-5671

malloc/heap overflow, with a 60kB window of overwrite.
Requires DNS under control of person sending email, leaves plenty of
evidence, but is very likely exploitable on OSes that have not been
well hardened.

Example tune for clarity (reverse_ip)

Use a last octet which will highlight the hex nature in the example.
> ${reverse_ip:2001:0db8:c42:9:1:abcd:192.0.2.127}
f.7.2.0.0.0.0.c.d.c.b.a.1.0.0.0.9.0.0.0.2.4.c.0.8.b.d.0.1.0.0.2

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Adjust debug output to indicate a test, not result

Note post-DATA ACL ordering.

DKIM, then MIME, then DATA.

(Also CHID12 -> CHAPdkim)

Avoid reset of store pool in expand when a ${acl is used; it may have side-effects that must
be persistent.

Doc fix: log field M8S=, in details section

Move Wolfgang's ack to current section

Logging-only patch for 8BITMIME; bug 817.

Add smarthost Router to default config, commented-out.

This is a very common requirement for the portion of the user-base who need the most assistance.

Add expansion variable $headers_added returning newline-sep list of headers
added in ACLs.  Bug 199.

Strip leading/trailing newlines on list of headers for addition; bug 884.

NB: this means a bare "X-ACL-Warn:" header is harder to add.

Releases signed by Phil's key, not Nigel's.

State a more general policy of PGP signing, mention trust paths, cite
the main public keyserver pool, provide a link to a trustpath display
between Nigel's key and Phil's.

Provide Phil's current PGP keyid (noting will change in 2013).

Bounce via a redirector, on Phil's security site, because:
 (1) xfpt barfs on &url(..) where the URL contains an ampersand
 (2) No ampersands means less debugging across various platforms
 (3) The redirector is https: with a public cert, where www.exim.org
     does not have a cert (with that name, at this time).

All keys cited in 0xLong form (16 hex characters).

Nits:
 (1) URL is given with https:// on one line, the rest on the next
 (2) using alt text does not give the URL in the .txt format, despite
     the docs, because we build .txt from w3m -dump, so the HTML form is
     used.
 (3) Ideally, we'll get around to having https://www.exim.org/ exist and
     be usable for this redirect.

Side-effects:
 (1) My name is in The Spec for the first time. :)

Unbreak non-ipv6 build.

My commit 3a7963704c519 broke compilation without HAVE_IPv6.  Rework.

Add doc caveats on cutthrough-delivery vs. verify-mode routers.

Fix expected test output file with return before linefeed.

Typo in debug output.

Minor doc nits re bug 1262.

Update src comment to be clearer about why it's safe for "state of this transport" to affect other deliveries.
Mention change in externally observable state in README.UPDATING.
Reference bugzilla entry in ChangeLog.
Update Paul's credit in ACKNOWLEDGMENTS.

Avoid using a waiting db for single-message-only transports.  Performance
bug 1262 and patch from Paul Fisher.  Testcase 0288 exercises.

Update manual on the logging of cutthrough-mode deliveries.

minor nits.

Some whitespace changes; 4.73 item 8: bool_lax{} is an expansion condition, not e. operator.
Fix a comma to a period.

Add dnsdb lookup pseudo-type "a+".   Addresses bug 1269.

Bugtrack 1290 - Spec grammar fixes.

Submitted by Regid.

Bugtrack 1285 - Add docs for omitted dkim_disable_verify.

Fixed spec docbook file to pass validation when building spec.txt.
Adjust Makefile to not delete html, but not version controlled
  index.html.

Bugtrack 1283 - Spec typo fix.

Bugtrack 1281 - Spec typo fix.

Fix trailing whitespace

Fix trailing whitespace in STDOUT file.

Bug #198: Add remove_header ACL modifier.

Used patch from Magnus Holmgren dated 2007-02-20.
Added documentation.
Added tests to detect proper operation.

Add example ACL usage of ${run in exim spec.

Doc fixes from Regid Ichira & Andreas Metzler

Doc note re 9999 days & 32bit time (SSL certs)

Thanks to Jay Rouman for highlighting that there can be rollover.
I have chosen *not* to reduce the duration, but to leave it and instead
provoke thought on the part of those deploying systems, if this bites them.

Add CONTINUE to runtest script

Add check for inlist and !inlist in test 0002.

Merge branch 'master' of git://git.exim.org/exim

Multiple headers_add/remove options per router/transport - fixes bug 337

Make +smtp_confirmation be a default logging option.

Fix bug 1267 - inlist/i were ignoring negation.

Fix the acl condition also; and make editor brace-matching a
little better.

Delay expansion of smtp transport option "authenticated_sender"
after connection startup, to match documentation - bug 1144.

Include the static files within the HTML documentation dir

Merge branch 'acl'

git/ACKNOWLEDGMENTS: coerce charset of git tools

github seems to assume content is 8bit.

Acl expansions: tests and documentation

Let Linux makefile inherit CFLAGS/CFLAGS_DYNAMIC.

Pulled from Debian 30_dontoverridecflags.dpatch by Andreas Metzler.
We just add CFLAGS_DYNAMIC too and some comments.

Non-POSIX syntax, but fairly portable; GNU make gained it in 1998,
we believe even very old systems should handle it fine.

Change acl expansion-condition syntax to "acl {{name} {arg1}{arg2}...}"
to match saslauthd condition.

Merge branch 'acl-args' into acl

Add gnutls_enable_pkcs11 option.

GnuTLS 2.12.0 adds PKCS11 support using p11-kit and by default will
autoload modules, which interoperates badly with GNOME keyring
integration, configured via paths in environment variables, and Exim
invoked by the user (eg, mailq) will then try to load the modules, fail
and spew warnings from the module for a library loaded by a library.

http://www.gnu.org/software/gnutls/manual/gnutls.html#Smart-cards-and-HSMs
documents that to prevent this, explicitly init PKCS11 before calling
gnutls_global_init().  So we do so, unless the admin sets the new
option.

Reported by Andreas Metzler, who confirmed that the added calls fixed
the problem for him.

Add acl call as an expansion condition

Add args to trad. modifier acl call method

Use custom variables for ACL args, up to nine.  Add an arg-count variable.

Add ${acl {name}{arg}} expansion item.

Merge branch 'lists'

Change names to "listnamed" and "listcount".

Add ${list:name} and ${nlist:string} expansion operators.

Corrections to spec examples - fixes bug 1196

Typo fix in spec - fixes bug 1197

Packagers: Debian

Expand $sender_host_dnssec and add vtype_bool

Unbreak EXPERIMENTAL_OCSP after TLS cutthrough

BUGFIX: forced-fail smtp option tls_sni would dereference NULL

BUGFIX: forced-fail smtp option tls_sni would dereference NULL

LLONG_MIN example in os.h-Linux

Ignore files left over from patch program

Testsuite: add per-testcase munge facility; use for dnssec and gnutls.

Docs for "G" modifier on numbers in ${if comparisons.

Support "G" modifier on numbers in ${if comparisons.

Basic documentation for cutthrough.

Add $tls_in_* variables; note the old names as deprecated.

Add hosts_verify_avoid_tls option to smtp transport.

Fix post-rebase merge issues.

Split out OpenSSL and GnuTLS versions of tests.