features.h; tls_validate_require_cipher: log flag & tests

Pull in <features.h> on Linux.
Switch readconf log from D_all (bug) to D_tls (though D_any would have
worked).
Modified runtest to handle clamped DH bits and
tls_validate_require_cipher added debug logging.

only drop privs for TLS if still root

Update docs for latest state of TLS affairs.

gnutls-params bits count no longer necessarily what GnuTLS says to use.
The OpenSSL-vs-GnuTLS text needed some updating.
Catches a ChangeLog addition made during the previous commit, so not picked up by it.

Added tls_dh_max_bits & check tls_require_ciphers early.

Janne Snabb tracked down the GnuTLS 2.12 vs NSS (Thunderbird) interop
problems to a hard-coded limit of 2236 bits for DH in NSS while GnuTLS
was suggesting 2432 bits as normal.

Added new global option tls_dh_max_bits to clamp all DH values (client
or server); unexpanded integer.  Default value to 2236.  Apply to both
GnuTLS and OpenSSL (which requires tls_dh_params for this).

Tired of debugging "SMTP fails TLS" error messages in mailing-lists
caused by OpenSSL library/include clashes, and of finding out I typo'd
in tls_require_ciphers only at the STARTTLS handshake.  During readconf,
fork/drop-privs/initialise-TLS-library.  In that, if tls_require_ciphers
is set, then validate it.

The validation child will panic if it can't initialise or if
tls_require_ciphers can't be parsed, else it exits 0.  If the child
exits anything other than 0, the main Exim process will exit.

Guard TLS SNI callback define better.

Guarded the callback invocation on OpenSSL having TLS extension support.
Failed to guard the callback definition.  Fixed.
Problem spotted by Todd Lyons.

tls_require_ciphers must be assigned to state copy

Merge branch 'master_testsuite_faq'

FAQ of running test suite

Testsuite: more guidance in README

Typo: PRE_PRERELEASE -> PCRE_PRERELEASE

Noted by Moritz Wilhelmy.

GnuTLS debug callback: check for existing \n

"make makfile" -> "make makefile".

Confirmed typo, rather than QNXism, by grepping tree and finding no
other instances.

Reported by René Berber.

Cipher munging continues.

I omitted log/2025 pending further investigation.

HAVE_IPV6=yes in comment; need value!

Testsuite: munge recorded TLS version &c in output to permit awkward test-host installations.

PRINTF_FUNCTION -> ALMOST_PRINTF.

WANT_DEEPER_PRINTF_CHECKS guards ALMOST_PRINTF being PRINTF_FUNCTION.
Fix some actual issues exposed when I cut down on the spam.

Portability to HP-UX.

Report and fix from Michael Haardt.

The resolver library change's assumed typedef was absent, but the
underlying struct __res_state is present.  Long type issues for the
arithmetic changes.

PCRE_PRERELEASE fix, again

Torture the English language slightly less

Fix three issues highlighted by clang analyser.

Only crash-plausible issue would require the Cambridge-specific
iplookup router and a misconfiguration.

Report from Marcin Mirosław

Test suite fixes, mostly for new certs.

New cert1 and cert2 but I'd only updated the GnuTLS tests.
This fixes OpenSSL ones too.

The SHELL vs /bin/sh one also fixed, finally realised that
the test output just hadn't been updated to match the munging.

Document DCC in experimental-spec.txt

Base text from Wolfgang Breyha.
I went over it as someone new to it, to make some obvious-to-experts-but-not-me fixes.

Second SPF fix, moved to where type is correct.

De-initialised "type" var in stack declaration, so a repeat of this mistake
would lead to an uninitialized variable usage warning which would have blocked
the previous incorrect fix from being committed.

Fix dcc_header content corruption.

(stack memory referenced, read-only, out of scope).

Patch from Wolfgang Breyha, report from Stuart Northfield.

SPF multiple strings join on "".

Patch from Janne Snabb.

GnuTLS pretty much passes test suite.

Fixed assumption that tls_certificate non-NULL in server when TLS
advertised.
Weakened an !S_ISREG() to an S_ISDIR() to keep the test-suite happy.

Using:
  do { rc = gnutls_handshake(state->session);
  } while ((rc == GNUTLS_E_AGAIN) || (rc == GNUTLS_E_INTERRUPTED));
is contra-indicated when you expect SIGALRM to be able to break you out
of the loop.  A little _too_ robust there.  Switching last part to:
  (rc == GNUTLS_E_INTERRUPTED && !sigalrm_seen)
is rather more productive.

Only test not passing is 2025, which makes major assumptions about
cipher suites and needs to be revisited to see what it's trying to
achieve.  We fail the test because we successfully deliver the message
without expected errors, because other ciphersuites are available, since
we're no longer limited to a *very* short list embedded in the Exim
code.  That sort of failure I can live with.

Make test-suite client cmd -t<timeout> actually work

CRL addition returns count of CRLs added

A couple more cert1/2 strings updated, plus some disambiguating rhubarb.

Insert new JH/02 entry for the ACL clean-up

Documentation update for bug 1172.

Support expansion variable for hi-res timestamp (bug 1172).

fix tls_cipher memory lifetime.

Some tests had not been updated for the new cert because they were missing an X= log-line.
Updated those tests now.

More GnuTLS cleanups/fixes.

Decided "unknown (reason)" in tls_peerdn was wrong, stripped that, added
replacement guard.

Moved cipherbuf construction to where it makes more sense, where peerdn
is extracted, so that setting the exim vars gets back closer to just
some pointer switching.

Fix missing failure check after handshake in client.

Fix tls.c tls_ungetc() and friends by pointing watermark vars at state
content.

Regenerated test-suite D-H params so we don't have too small values,
which was causing connection rejections.

Test-suite output where new test cert info is logged (there will be a
couple more, when I fix a lingering problem with tls_peerdn being unset
in client log-lines).

Give test-suite client command some --help.

GnuTLS control constants exposed to Makefile.

Mostly care about EXIM_GNUTLS_LIBRARY_LOG_LEVEL for debugging.
If someone screams that we kept the default dh-bits at 1024 for old GnuTLS,
we can point them at EXIM_SERVER_DH_BITS_PRE2_12.  The name itself will
tell them to shut up and update their library if they care about security. :)

Copyright year updates.

Updated all files modified in 2012 which contained a copyright year
already, unless the range was specified as open-ended.

vi $(git whatchanged --since=2012-01-01 | grep '^:100' | sed 's/^[^M]*M//' | sort -u | fgrep -v test/)

gnutls_require_protocols comment on 4.77 notes.

4.78 -> 4.80

Handle absent tls_require_ciphers correctly.

Fix test-suite certs to not use MD5.
Document that we do not support MD5 certs any longer.
Make test-suite generate probably-correct gnutls-params filename for us.

Handle TLSv1.2 in test suite.

Normalise TLSv1.2 to TLSv1.
Normalise AES256-GCM-SHA384 to AES256-SHA.
Make some test configs accept AES256-GCM-SHA384 in "encrypted =" ACLs.

Have test suite print final test id during abort, make it easier to track down.

Get TLS SNI server-switching working with GnuTLS.

Registering a cert/key in an x509 credentials *adds* them, and there's
no way to remove them, so we need a shiny new x509_cred each time the
key/cert change.

Since we avoid re-expanding unless tls_sni appears in tls_certificate,
we've mostly avoided the expense unless SNI is in use, and the extra
loading should be minimal, as everything should be in buffer/cache from
a few microseconds beforehand.

This code tested with GnuTLS and OpenSSL clients, without TLS
extensions, with servername, and verifying we do now get the correct
cert.

fix TLS SNI segfault case

Failed to notice my test config on the GnuTLS box did nothing with SNI.
Fixed segfault.  Better diagnostics.

Still not actually changing key/cert, need to investigate further

Guards for older releases of GnuTLS.

gnutls_sec_param_to_pk_bits() and gnutls_rnd() are both new as of
GnuTLS 2.12.x.  Guard their usage on 2.12.0+ at compile time.

In older versions, the vaguely_random_number() function just immediately
calls the fallback, so it's the same as before this change (just one
extra indirection in the code-path).

Define a constant of 1024 for dh-bits for use in those old releases
where GnuTLS won't tell us how many we should use.

Change the on-disk filename for generated D-H params again, replacing
the -normal with -<bitcount>, so that it's 1024 or whatever, and as
the value changes, Exim will automatically start using the new value.

dnsdb SPF support, from Janne Snabb

Merge branch 'experimental_ocsp'

Overhaul of GnuTLS code.

GnuTLS code re-done, using cut&paste for preservation where appropriate.

Stop using deprecated APIs.  Stop hard-coding lists of ciphers.
Use gnutls_priority_init() instead.
Turns tls_require_ciphers into a string in the GnuTLS case, not just
OpenSSL case.

Deprecate three gnutls_require_* options; now ignored but not errors.
(No warnings yet).

Added TLS SNI support.

Made the channel binding integration theoretically actually work.  I had
it guarded by an #ifdef but the value used was an enum instead.  Oops.
Fixed.

New code much more amenable to future work permitting TLS in callouts.

DH param sizes now chosen by GnuTLS maintainers, we use "normal"; that's
suddenly a lot more bits, so the saved filename was changed too.
(GNUTLS_SEC_PARAM_NORMAL).

DH param setup only done for servers now, since clients don't need/use
it.

GnuTLS a lot more robust to library negotiation using stuff we don't
support, error-ing out quickly for other authentication systems (PGP,
etc).

Renamed pseudo_random_number() to vaguely_random_number() which makes
the nature clearer.

GnuTLS now provides a vaguely_random_number() implementation, to match
OpenSSL.

Pull in <inttypes.h> to make the recent arithmetic changes compile on
MacOS.

Nuke test 2011 which related to the gnutls_require_* options now
non-functional.

Testsuite: fix problem with parsing retry records spanning midnight.

Merge branch '64bitint'

Use defines in config.h for type & scanf-patterns for eval.  Update docs.

typo fix

Make integer values 64bit (bug 1171).

Testsuite: ensure socket from wait-mode daemon test is not held open.

Oops, missed .c change in bug 1246 fix git commit

Fixed headers_only on smtp transports.

Was not sending trailing dot.
Added test case to catch this.

fixes bug 1246.

pcre-config support.

Remove a couple of stray references to PCRE_CFLAGS too (dating from when PCRE was bundled).

Testing for -bw mode

Testsuite: updates for 8bitmime-as-default (Dovecot; untested).

Testsuite: updates for 8bitmime-as-default (GnuTLS).

Also add Retry command to more runtest testcase-fail possibilities.

fix non-bw case, late slip not re-run by my earlier tests

Merge branch 'master' of git://git.exim.org/exim

Fix non-TLS build.  Detection and fix by Todd Lyons.

inetd wait mode support with -bw

OCSP Stapling support, under EXPERIMENTAL_OCSP.

OpenSSL only.

Testsuite: updates for 8bitmime-as-default.

Default accept_8bitmime to true.

Some discussion at http://bugs.exim.org/show_bug.cgi?id=817

Refer readers to Dan Bernstein's analysis of the issues.
Consensus seen from maintainers is that DJB is right on this point.

revert "%s" addition in em_main.c, broke %D in log_file.

Also added gdb support.

This leaves us with a printf warning.  We accept that as the cost of using PRINTF_FORMAT for strings that aren't libc formats.

Testsuite: teach the fakedns zonefile generator about the ipv6 double-colon rule.

Fixes case 1003 for me (having a trailing ::).

Unbreak build on Solaris.

Solaris needs -lresolv, ie $(LIBRESOLV), for anything referencing DNS.
I added _res stuff to os.c.
os.c is used by multiple tools, but of those only Exim needs the DNS functionality.
So used a !defined(COMPILE_UTILITY) guard.

Disable SSLv2 by default.

DNS resolver init changes for NetBSD compatibility.

Fix eximon build (tls_sni)

Merge branch 'master' of git://git.exim.org/exim

Fix bug 1225: Accept new testsuite case output.

Having looked further at the ratelimit code, the new output looks reasonable.  The obscure
values of "19" derive from testing "per-byte", being the size of the test message.

Check localhost_number expansion for failure.

Avoids NULL dereference.
Report and patch from Alun Jones.

Also a couple of SIZE_T_FMT sizeof() printf string fixes while I was in there.

fixes bug 1122

New doc section explaining TLS SNI

silence various compiler complaints; expose NVALGRIND

fix sdop directive in filter.xfpt

fix all sdop "line overflow" doc complaints

fix example line-length, add comment (openssl_options)

Doc build bug-fix.

Had repeated .ilist instead of .next in the openssl_options value list.
Old sdop: segfault.  New sdop: memory exhaustion.
Oops!

More tls_sni support: outbound, logging.

tls_sni as SMTP transport option.
Use correct storage pool for copying tls_sni, so survives for life of process.
Add +tls_sni log-selector, for inbound tls_sni.
Update exipick to handle -tls_sni in spool files.

Also reset tls_bits at start of outbound connection (was missing).

TLS SNI support for OpenSSL ($tls_sni)

Guard loadable module vars with LOOKUP_MODULE_DIR.

Fixes compiler complaints about unused variables.

spurious compiler warning of unused var fix

(but added check in case wrong about spuriousness)

OpenSSL fixes and backwards compat break.

Drop SSL_clear() after SSL_new() which causes protocol negotiation failures for TLS1.0 vs TLS1.1/1.2 in OpenSSL 1.0.1b.

Remove SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS (+dont_insert_empty_fragments) from default of openssl_options.

LDAP: Check for errors of TLS initialisation

Report and patch from Dmitry Banschikov.

Update testsuite output files for GnuTLS version update and fixes.

Code refactoring in acl.c (bug 1184)

Move to a table-driven approach for the parsing of "verify =".

Change notes for bug 660.

Return multi-values attributes from an LDAP lookup in parsable form (bug 660).

document TK's bug 1239 fix in ChangeLog

Fix verification when DKIM Signatures are not inserted as tracking headers. Thanks to Wolfgang Breyha for the patch! (bug 1239)

Include string_interpret_escape() in COMPILE_UTILITY cases.

Eximon needs it, via util-spool_in.o
It needed a private hex_digits[] to avoid bringing in all of globals.c to COMPILE_UTILITY.

include string_unprinting() in COMPILE_UTILITY cases.

jgh debugged eximon build failure; util-spool_in.o needs it

TLS fixes for OpenSSL.

Support TLS 1.1 & 1.2
New "openssl_options" values (all now documented).

Set SSL_MODE_AUTO_RETRY so that OpenSSL will retry a read or write after
TLS renegotiation, which otherwise led to messages "Got SSL error 2".

describe spool file changes for -tls_peerdn

Handle \n in tls_peerdn for spool files.

Fixes bug 1240.

Fix testsuite case 0373.

The subtest does a readsocket (with 1s timeout) into a server
which closes immediately.  The expected output in the testcase was null, the output
actually seen was the error-return expansion, which seems more correct.
Accepting the actual output.

New testcase output from SSL library.

Add ACL name to debug output of condition result (bug 1238).

Ensure $smtp_command is initialized before it can be expanded (bug 1182).