Merge branch 'master' of ssh://git.exim.org/home/git/exim

Provide better sprintf debug output for callers

Propagate dnssec status from dnslookup router through transport to tpda

Fix pair of buffer size errors.  Bug 1478

Reported-by: David Binderman

New expansion operator sha256 for certificates.  Bug 1170

More testcase serialization

Compiler quietening and testcase consistency
Fix an unterminated comment from 018058b

Remove extraneous debug

Make $tls_out_ocsp visible to TPDA (mostly testsuite)

Certificate-related routines only present when TLS is supported

Enable operator md5 and sha1 use on certificate variables.  Bug 1170

OCSP observability: variables $tls_{in,out}_ocsp
and smtp transport option hosts_request_ocsp

Refactor tls_client_init interface

Extractors for subject-alternate-name, ocsp-uri, crl-uri return list.  Bug 1358

Fix build with OpenSSL on earlier versions.

Centos 6.5 and earlier had a build fail with GENERAL_NAME etc. undefined.
Just include the file defining it even if it's a duplicate on later versions.

More debug output

Restore testsuite operation on earlier GnuTLS libraries

Typo

Restore testsuite operation on earlier GnuTLS libraries

Certificate variables and field-extractor expansions.  Bug 1358

Support dnssec in verify-callout use of smtp transport.
Use of dnslookup router support is already present.

Cancel in-progress or reject requeted cutthrough when fakereject.  Bug 1475

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Bug 1454: Option -oMm for message reference

Includes docs and test suite

Add options dnssec_request_domains, dnssec_require_domains to the smtp transport

Note there are no testsuite cases included.

TODO in this area:
- dnssec during verify-callouts
- dnssec on the forward lookup of a verify=helo and verify=reverse_host_lookup

Support OCSP Stapling under GnuTLS.  Bug 1459
Requires GnuTLS version 3.1.3 or later.
Under EXPERIMENTAL_OCSP

Dnssec observability: add variable $lookup_dnssec_authenticated

Fix typo in markup.  Add .new/.wen.

Bug 609: Add -C option to exiqgrep

Option is a passthrough to the exim process that it spawns that
  generates the queue list.

Fixed Conflicts:
doc/doc-txt/ChangeLog

dnssec_strict, _lax, _never modifiers for dnsdb lookups

Lacking testsuite coverage

Bug 1453: Add SERVERS ldap server list override

Merge branch 'master' of git://git.exim.org/exim

Make --verbose propogate to html generation script

Merge remote-tracking branch 'github/pr/13'

(exiqgrep -a support)

exiqgrep: add -a to use all recipients (including delivered)

Updated GnuTLS error messages

Fix testcase "server missing/empty certificate file"

GnuTLS early versions (pre 3.0.0 ?) fail to send a reasonable
client-cert request when tls_verify_certificates is an empty file.
Since the test is for missing *server* certs (tls_certificate)
avoid this by pointing to a real (if non-verifying) cert in
tls_verify_certificates.

Fix DISABLE_DNSSEC build

Bad syntax possibly only affected some compilers.

Make testcase more robust vs. timing variations
by restricting operations and logging to fewer items of interest

Restore testsuite operation under gnuTLS 2.8.5

Update testsuite for gnuTLS 3.1.23

Add options dnssec_request_domains, dnssec_require_domains to the dnslookup router

Note there are no testsuite cases included.

TODO in this area:
- dnssec during verify-callouts
- dnssec during dnsdb expansions
- dnssec on the forward lookup of a verify=helo and verify=reverse_host_lookup
- observability of status of requested dnssec

Fix handling of $tls_cipher et.al. in (non-verify) transport.  Bug 1455

The split of these variables into _in and _out sets introduced by d9b231
in 4.82 was incomplete, leaving the deprecated legacy variables nonfunctional
during a transport and associated client authenticator.

Fix by repointing the legacy set to the outbound connection set at
transport startup (and do not clear out the inbound set at this
time, either).

Copyright year updates:

vim $(git whatchanged --since=2014-01-01 | grep '^:100' | sed 's/^[^M]*M//' | sort -u | fgrep -v test/)

Fix Proxy Protocol v2 handling

Change recv() to not use MSGPEEK and eliminated flush_input().
Add proxy_target_address/port expansions.
Convert ipv6 decoding to memmove().
Use sizeof() for variable sizing.
Correct struct member access.
Enhance debug output when passed invalid command/family.
Add to and enhance documentation.
Client script to test Proxy Protocol, interactive on STDIN/STDOUT,
  so can be chained (ie a swaks pipe), useful for any service, not
  just Exim and/or smtp.

Fix logging of nomail

When built with TLS support, non-TLS connections not resulting in mail transfer were crashing while
building a log line.  Fix by not returning a non-extensible string from the routine added in 67d81c1.

Bail configuration on missing package

If we're configured to use pkg-config (or pcre-config) and the tool is
not available or does not know about the package we ask for, that should
be a fatal configuration error.

We should not silently ignore the missing package, then try to compile,
and have missing header warnings from the compiler.  Eg, if we're told
to support GSASL, we'll try to compile the client code, and without
compiler flags, we'll either fail to compile (missing headers) or fail
to link, which obscures the source of the errors.

This change will only break people who had builds set to have Exim
depend upon non-existent packages, and that _needs_ to break.

Report OpenSSL build date too.

Adjust `-d -bV` output for OpenSSL to include library build date.

Some OS packagers have backported heartbleed security fixes without
changing anything in the reported version number.  The closest we can
get to a reassuring sign for administrators is to report the OpenSSL
library build date, as picked by the library which Exim is using at run
time.

```
Library version: OpenSSL: Compile: OpenSSL 1.0.1g 7 Apr 2014
                          Runtime: OpenSSL 1.0.1g 7 Apr 2014
                                 : built on: Mon Apr  7 15:08:30 PDT 2014
```

For comparison, the version information for OpenSSL on Ubuntu (where
Exim is by default built with GnuTLS, but this provides for context for
comparison):

```
$ openssl version -v -b
OpenSSL 1.0.1 14 Mar 2012
built on: Mon Apr  7 20:33:29 UTC 2014
```

GnuTLS: the closest I can find to a runtime value is the call we are
already making; if an OS vendor patches GnuTLS without changing the
version which would be returned by `gnutls_check_version(NULL)` then the
sysadmin is SOL and will have to explore library linkages more
carefully.

Make dmarc code c89 compliant

Add back deprecated SPF error conditions

Previous patch introduced a change that could break existing SPF
  configurations.  Add back the two non-standard "err_temp" and
  "err_perm" result values, with note that it is deprecated and
  will be removed in a future release.

Add expansion for DMARC policy

New variable is $dmarc_domain_policy

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Fixed Conflicts:
doc/doc-txt/ChangeLog

De-duplicate two documentation sections

Update ${utf8clean }.  Bug 1401

Fix build for update on library component.

When, eg, the smtp transport is changed the transports library must be rebuilt.
Fix the main makefile to not assume that the date on the library .a is sufficient,
but always call the library subdir makefiles.

More care with headers add/remove lists.  Bug 1452
As a side-effect, playing games with newlines no longer gives an altered message body/

Testcase 0324 is questionable (though passing)

dnsdb tlsa lookup

Print support for Experimental Proxy with -bV

Fix string_unprinting()

Future-proof OpenSSL version string.  Bug 1421

Fix testcase for GnuTLS tls_require_ciphers

Docs for transport tls_verify_hosts &c.

Add tls_verify_hosts and tls_try_verify_hosts to smtp transport, GnuTLS.

Fix testsuite GnuTLS case for 511a6c1

Fix ACL "condition =" for negative number values.  Bug 1005
Fix conditional "bool{<string>}" for negative number values, to match.

Enforce that only smtp transports can be used for verify callouts.  Bug 1445

Support transport-added headers under cutthrough delivery.  Bug 1431

Add tls_verify_hosts and tls_try_verify_hosts to smtp transport.  Bug 1371

Code by Wolfgang Breyha, docs and testsuite by Jeremy Harris

Testcases

Add documentation

Fix DISABLE_DKIM build

Reported-by: heiko.schlichting@fu-berlin.de
Broken-in: 6e62c454 - jgh146exb@wizmail.org

Refactor malware.c and introduce new scanner type "sock". Bugs 1418 and 1396

Log port and TLS details for a failed delivery

Log incoming-TLS details on rejects. Bug 305

Fix docs for utf8clean

${utf8clean:string} expansion operator.  Bug 1401

Expand documentation on use of dnslists in an IPv6 environment. Bug 1369

Change strings of SPF result to conform to RFC 4408

Introduces a small backwards incompatible change to two results,
  err_temp to temperror and err_perm to permerror.

Code for verify=header_names_ascii

Documentation and test included.

Fixed Conflicts:
doc/doc-txt/ChangeLog

Support log_selector smtp_confirmation for the lmtp transport.  Bug 1157

Fix docs, `dns_dnssec_ok` not `dns_use_dnssec`

The variable rename in 4.82 PP/19 (commit 0fbd9bff) was incomplete, I
missed changing the documentation.  :(

Fix parallel make.  Bug 1446
from work by Heiko Schlittermann

Add tls_verify_hosts and tls_try_verify_hosts to smtp transport

Patch version 2

Fix build on systems having ipv6 but lacking an IPV6_TCLASS define (GNU Hurd).  Bug 1441
By Samuel Thibault

Fix tls_verify_certificates in gnutls use.  Bug 1413.
Patch by W.Breyha, tested by H.Schlittermann

Bugzilla 1433: Fix DMARC SEGV

Properly escape value passed to expand_string().
Check for NULL return from expand_string().

Update copyright year in --version output

Copyright year updates:

    vi $(git whatchanged --since=2013-01-01 | grep '^:100' | sed 's/^[^M]*M//' | sort -u | fgrep -v test/)

Did 2014 first, since otherwise every file I touched to update to 2013
would show as changed in 2014.  Last invocation logged to git was during
2012.  Will need to be more careful if auditing next year.

Copyright year updates: 2014

    vi $(git whatchanged --since=2014-01-01 | grep '^:100' | sed 's/^[^M]*M//' | sort -u | fgrep -v test/)

Document (and enforce) that DKIM-signing is not supported in cobination with cutthrough routing

Documant the non-support of header manipulation in post-RCPT ACLs in combination with cuttrhough.
Add check and paniclog attempts to do so.  Bug 1411 (WONTFIX).

Explicitly disable cutthrough on transports having filters

Explicitly disable cutthrough on transports having filters

Proxy negotiation saves socket timeout values.

Rename proxy expansions conforming to Exim standards.
Update documentation to reflect rename.
Seperate restore socket function

Add ${listextract {n}{list}...}

Fix use of uninitialized variable

Increase test CA key sizes from 512 to 1024 to handle TLS1.2 digest sizes.

Clarify interaction of delay_warning and retry configuration.

Proxy Protocol - Server support

Initial conf setting and expansions
Logging setting whether to record proxy host, off by default
Put PROXY processing before connect ACL
Fix incoming address logging
Add Proxy Protocol to ChangeLog
Set window for Proxy Protocol header to be sent
Update docs and EDITME.

build: try to get dash/bash for sanity

The "local" builtin is not part of POSIX.  We want it.  Try harder to
get a vaguely sane shell, rather than just a POSIX shell.

Also, safeguard to error out more gracefully if invoked from outside the
build process.

Fix testsuite build on Solaris

As of s11, Solaris & derivatives need libsocket and libnsl.  Ensure they are searched for
by autoconfig.  This seems to be successfully ignored on Linux.
Credit to Dave Edmondson (dme@dme.org) for the fix.