Merge branch 'experimental_ocsp'

Overhaul of GnuTLS code.

GnuTLS code re-done, using cut&paste for preservation where appropriate.

Stop using deprecated APIs.  Stop hard-coding lists of ciphers.
Use gnutls_priority_init() instead.
Turns tls_require_ciphers into a string in the GnuTLS case, not just
OpenSSL case.

Deprecate three gnutls_require_* options; now ignored but not errors.
(No warnings yet).

Added TLS SNI support.

Made the channel binding integration theoretically actually work.  I had
it guarded by an #ifdef but the value used was an enum instead.  Oops.
Fixed.

New code much more amenable to future work permitting TLS in callouts.

DH param sizes now chosen by GnuTLS maintainers, we use "normal"; that's
suddenly a lot more bits, so the saved filename was changed too.
(GNUTLS_SEC_PARAM_NORMAL).

DH param setup only done for servers now, since clients don't need/use
it.

GnuTLS a lot more robust to library negotiation using stuff we don't
support, error-ing out quickly for other authentication systems (PGP,
etc).

Renamed pseudo_random_number() to vaguely_random_number() which makes
the nature clearer.

GnuTLS now provides a vaguely_random_number() implementation, to match
OpenSSL.

Pull in <inttypes.h> to make the recent arithmetic changes compile on
MacOS.

Nuke test 2011 which related to the gnutls_require_* options now
non-functional.

Testsuite: fix problem with parsing retry records spanning midnight.

Merge branch '64bitint'

Use defines in config.h for type & scanf-patterns for eval.  Update docs.

typo fix

Make integer values 64bit (bug 1171).

Testsuite: ensure socket from wait-mode daemon test is not held open.

Oops, missed .c change in bug 1246 fix git commit

Fixed headers_only on smtp transports.

Was not sending trailing dot.
Added test case to catch this.

fixes bug 1246.

pcre-config support.

Remove a couple of stray references to PCRE_CFLAGS too (dating from when PCRE was bundled).

Testing for -bw mode

Testsuite: updates for 8bitmime-as-default (Dovecot; untested).

Testsuite: updates for 8bitmime-as-default (GnuTLS).

Also add Retry command to more runtest testcase-fail possibilities.

fix non-bw case, late slip not re-run by my earlier tests

Merge branch 'master' of git://git.exim.org/exim

Fix non-TLS build.  Detection and fix by Todd Lyons.

inetd wait mode support with -bw

OCSP Stapling support, under EXPERIMENTAL_OCSP.

OpenSSL only.

Testsuite: updates for 8bitmime-as-default.

Default accept_8bitmime to true.

Some discussion at http://bugs.exim.org/show_bug.cgi?id=817

Refer readers to Dan Bernstein's analysis of the issues.
Consensus seen from maintainers is that DJB is right on this point.

revert "%s" addition in em_main.c, broke %D in log_file.

Also added gdb support.

This leaves us with a printf warning.  We accept that as the cost of using PRINTF_FORMAT for strings that aren't libc formats.

Testsuite: teach the fakedns zonefile generator about the ipv6 double-colon rule.

Fixes case 1003 for me (having a trailing ::).

Unbreak build on Solaris.

Solaris needs -lresolv, ie $(LIBRESOLV), for anything referencing DNS.
I added _res stuff to os.c.
os.c is used by multiple tools, but of those only Exim needs the DNS functionality.
So used a !defined(COMPILE_UTILITY) guard.

DNS resolver init changes for NetBSD compatibility.

Fix eximon build (tls_sni)

Merge branch 'master' of git://git.exim.org/exim

Fix bug 1225: Accept new testsuite case output.

Having looked further at the ratelimit code, the new output looks reasonable.  The obscure
values of "19" derive from testing "per-byte", being the size of the test message.

Check localhost_number expansion for failure.

Avoids NULL dereference.
Report and patch from Alun Jones.

Also a couple of SIZE_T_FMT sizeof() printf string fixes while I was in there.

fixes bug 1122

New doc section explaining TLS SNI

silence various compiler complaints; expose NVALGRIND

fix sdop directive in filter.xfpt

fix all sdop "line overflow" doc complaints

fix example line-length, add comment (openssl_options)

Doc build bug-fix.

Had repeated .ilist instead of .next in the openssl_options value list.
Old sdop: segfault.  New sdop: memory exhaustion.
Oops!

More tls_sni support: outbound, logging.

tls_sni as SMTP transport option.
Use correct storage pool for copying tls_sni, so survives for life of process.
Add +tls_sni log-selector, for inbound tls_sni.
Update exipick to handle -tls_sni in spool files.

Also reset tls_bits at start of outbound connection (was missing).

TLS SNI support for OpenSSL ($tls_sni)

Guard loadable module vars with LOOKUP_MODULE_DIR.

Fixes compiler complaints about unused variables.

spurious compiler warning of unused var fix

(but added check in case wrong about spuriousness)

OpenSSL fixes and backwards compat break.

Drop SSL_clear() after SSL_new() which causes protocol negotiation failures for TLS1.0 vs TLS1.1/1.2 in OpenSSL 1.0.1b.

Remove SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS (+dont_insert_empty_fragments) from default of openssl_options.

LDAP: Check for errors of TLS initialisation

Report and patch from Dmitry Banschikov.

Update testsuite output files for GnuTLS version update and fixes.

Code refactoring in acl.c (bug 1184)

Move to a table-driven approach for the parsing of "verify =".

Change notes for bug 660.

Return multi-values attributes from an LDAP lookup in parsable form (bug 660).

document TK's bug 1239 fix in ChangeLog

Fix verification when DKIM Signatures are not inserted as tracking headers. Thanks to Wolfgang Breyha for the patch! (bug 1239)

Include string_interpret_escape() in COMPILE_UTILITY cases.

Eximon needs it, via util-spool_in.o
It needed a private hex_digits[] to avoid bringing in all of globals.c to COMPILE_UTILITY.

include string_unprinting() in COMPILE_UTILITY cases.

jgh debugged eximon build failure; util-spool_in.o needs it

TLS fixes for OpenSSL.

Support TLS 1.1 & 1.2
New "openssl_options" values (all now documented).

Set SSL_MODE_AUTO_RETRY so that OpenSSL will retry a read or write after
TLS renegotiation, which otherwise led to messages "Got SSL error 2".

describe spool file changes for -tls_peerdn

Handle \n in tls_peerdn for spool files.

Fixes bug 1240.

Fix testsuite case 0373.

The subtest does a readsocket (with 1s timeout) into a server
which closes immediately.  The expected output in the testcase was null, the output
actually seen was the error-return expansion, which seems more correct.
Accepting the actual output.

New testcase output from SSL library.

Add ACL name to debug output of condition result (bug 1238).

Ensure $smtp_command is initialized before it can be expanded (bug 1182).

Add pointer to IPv6 support in prototype Makefile (bug 1232).

Update testsuite case enabled by fix for bug 1227, with changes require by bug 1224.

Always init_lookup_list before readconf_main.

This happens while still root.
Be more emphatic in EDITME about the security implications of loadable modules.

Better ls output fixing.

fixes bug 1226
Further investigation from Jeremy Harris showed the previous fix
left trailing whitespace on output which previously ended after
the permission bits (eg, test 0240).

This works better for me.

Merge branch 'master' of git://git.exim.org/exim

Mark cases where printf format strings are used
Bug report from Lars Müller <lars@samba.org> (via SUSE),
Patch from Dirk Mueller <dmueller@suse.com>

Bug 1224: fixup testsuite case output from testdb.

Add testsuite case retry (without update) option on failed file compare.

Accept change in testcase munged output for -bt

Trailing spaces were trimmed by commit 37acd760db

Bug 1224 followon - avoid breaking other testcases.

Add specific patterns to avoid when munging the output.
This is fragile and may still be broken outside my specific test environment.

Fix bug 1224.

Replace the lookup index char in sterr traces with a zero;
update testcase expected stderr files to match.

Fix bug 1229.

Update testcase output with now-expected info.

Testcase changes to match changes introduced by bug 1214.

Additional "A=" authenticator info was added to log lines for rejections.

Merge remote branch 'origin'

Handle TAB, not just SP, in MAIL args.

Analysis, diagnosis and variant patch by Todd Lyons.

Updated OptionsList with gsasl, heimdal_gssapi, _PC changes.

Also maildir_use_size_file is now expanded

Two clarifications.

String expansion, draw more attention to &dagger; marking.

Document the order in which parameters are supplied to relative comparators.

Fix IPv6 RE

fix gsasl / cyrus claims

Point 1 for 4.78 said gsasl could *not* be used to replace cyrus.
This was obsoleted by point 5.
Remove claim from point 1, add additional note to point 5.

Handle alternate access method flag in ls.

Jeremy Harris found ls output not parsing on SELinux systems.  I
identified this as SUSv3's "optional alternate access method flag".
Jeremy wrote the patch, I adjusted a little.

fixes bug 1226

set umask

fixes bug 1228

handle more of the new format version numbers

Merge branch 'dbmjz'

heimdal_gssapi: accept SASL with empty authzid

Saw this happening with Apple Mail; accept it, dup the GSS Display Name

Add dbmjz lookup type

Log auth data in rejectlog.

http://bugs.exim.org/attachment.cgi?id=547&action=edit
fixes bug: 1214
Patch by Jeremy Harris

expand cyrus_sasl server_realm option

Merge branch 'sasl_fixes'

Use gsasl_property_fast() in property callback.

Avoids the loops which we only cancel out anyway.

Document pkg-config for TLS

Support pkg-config for SSL libraries.

Also: update EDITME to refer to pkg-config & AUTH_HEIMDAL_GSSAPI.

Document pkg-config

Swap gsasl GSSAPI $auth1/$auth2

Drop server_realm from heimdal_gssapi

Document heimdal_gssapi as it works now.

Minor cleanups.

multi-blank-line protection never set the bool needed
OID-method for keytab setting cleanup (drop <roken.h> and fix comments)

Use gsskrb5_register_acceptor_identity

Drop the OID and pseudo-standard GSSAPI extension mechanism.
Found Heimdal-specific API call I needed, works great.
gsskrb5_register_acceptor_identity(filename)

Separately: add various debug statements.

First pass heimdal_gssapi authenticator.

Not yet working, failing to set keytab.

Also: support (AUTH|LOOKUP)_*_PC=foo to use `pkg-config foo` for cflags/libs.

Document gsasl integration

More bug-fixes, GSASL DIGEST-MD5 now works.

Defined helper streqic() since I seem tired enough to be forgetting ==0 checks.
Deal with left-over-data-to-send correctly.
Now tested with PLAIN, CRAM-MD5, DIGEST-MD5.
For DIGEST-MD5, check for server_realm, since GSASL doesn't error out without it.

remove stray globals block

Implemented gsasl driver for authentication.

Missing: documentation; tests.

Tested: PLAIN auth.

Status: probably buggy

Documentation for $tls_bits and SASL changes

Various SASL fixes.

Export $tls_bits new expansion variable (not yet documented).
Fix tls-gnu.c so that ciphername string construction uses bit-count, not byte-count.
Avoid hard-coding primary_hostname in first call to init Cyrus SASL.
Cast fix for function pointer (Cyrus-SASL uses void params in struct entry funcptr, so need to cast).
Many more debug statements in cyrus_sasl.c
Pass external SSF from TLS cipher into Cyrus SASL initialisation.
Detect when we can't get an identity from SASL properties (error out correctly).
Detect when SASL negotiated a protection layer and error out, since we do not support those.