Documentation for $tls_bits and SASL changes

Various SASL fixes.

Export $tls_bits new expansion variable (not yet documented).
Fix tls-gnu.c so that ciphername string construction uses bit-count, not byte-count.
Avoid hard-coding primary_hostname in first call to init Cyrus SASL.
Cast fix for function pointer (Cyrus-SASL uses void params in struct entry funcptr, so need to cast).
Many more debug statements in cyrus_sasl.c
Pass external SSF from TLS cipher into Cyrus SASL initialisation.
Detect when we can't get an identity from SASL properties (error out correctly).
Detect when SASL negotiated a protection layer and error out, since we do not support those.

bool{} is false for empty strings

fixes bug 1193
reported by Jasen Betts.

Documentation had primary_host_name for primary_hostname. Fixes: #1169

eximstats DATA reject detection regexps improved. Fixes: #1093

Documentation fix. Fixes: #949

Handle short writes on logfiles.

fixes bug 1053

Merge branch 'log_retry'

Rough readme mainly for benefit of github

Pod translator is lousing up - may move to a different
format for the future.  [issues are with L<> links]

log_write EINTR handling on write()

Parallel build fixes for lookups

Make lookups depend upon PHDRS not HDRS.
Make parent dir depend upon child build target for lookups

ASCII NUL in desc of $body_zerocount (keyword grepability)

EXPAND_LISTMATCH_RHS for match_ip too

PCRE_PRERELEASE is a bare sequence, not a string.

Unbreak release.sh for final releases

Update release date, prep for 4.77 final cut

Testsuite: also handle -XX in version

More testsuite fixes

Make runtest more resilient to setup problems

fix unprotected variable in SQL example

Make README.UPDATING more explicit, with more examples, about the impact of the match_<type> changes

exiqgrep: handle queue line size output too small for K

rework userforward local_part_suffix documentation

Loosely based on suggestion from Julian Gilbey.
fixes bug 1139.

shut up bogus complaint of unused variable in new ratelimit ACL work

Apply patch from Dmitry Isaikin fixing log.c format string.

fixes bug 1152.

fix sub2_honour_dollar type

Was code correct before, but storing a ptr of 0 or 1, from bool initialiser.
I meant to use a BOOL and it is more type-safe to do so, so fixed.

quote var for case stmt, so that old shell will see it as empty, rather than syntax error

test for .git dir with -d not -e; more portable

Solaris/Irix portability hacks for reversion

source referenced version.sh file always

Tested for version.sh in cwd, but used . to source, assuming that
would pull in file from cwd.  True on BSD (checked after $PATH) but
not part of POSIX and not true for bash when in POSIX mode.

PP/12 fix uninitialised greeting string from PP/03

Exim 4.77: documentation version updates.

Merge branch 'list_safety'

(gnutls fixes had updated some text docs)

EXPAND_LISTMATCH_RHS plumbed into build makefiles.

Tested builds both with and without this option, behaviour matches expectations.

match_* do not expand RHS, unconditionally.

EXPAND_LISTMATCH_RHS define is checked, but not yet plumbed that into build system.

Implement inlist/inlisti expansion conditions

Document match_*/inlist changes (before coding starts)

Make sure rc is initialised

Pull Andreas Metzler's fix for gnutls_certificate_verify_peers (bug 1095)

TLS1.2 and TLS1.1 support with GnuTLS

ssize_t for mime.c

mime_decode_*() functions can return -1 for error, which would be lost when assigning to unsigned int.
Sprinkled ssize_t across function return types and result variables.

Doc: exim-future@ gone; mention exim-cvs@

fixes bug 1146

Document behaviour of message_size_limit=0 (main config setting, not transport)

Doc fixes for syntax errors.

Fixes from Simon Arlott.

Handle IPv6 addresses with SPF.

Patch from Wolfgang Breyha.

Also, slight improvements to some debug statements.

fixes bug 860

Handle ${run} returning more data than OS pipe buffer size.

Patch from Holger Weiß.
fixes bug 1131

Make maildir_use_size_file expandable.

Patch from Heiko Schlittermann.
Fixes bug 1089

Stop build process more reliably on failure.

Patch from Heiko Schlittermann.
Fixes bug 1087

$av_failed variable set when av_scanner deferred

Patch from John Horne.
Fixes bug 1078

Use .dylib not .so for dynamic libraries on MacOS

Not tested the drtables.c change for dynamically loaded lookups, only
the readline loading for -be interactive mode.

Add protocol=smtps support to smtp transport.

Permits SSL-on-connect for outbound connections.

Heavily based on Simon Arlott's patch, but with enough modifications to
risk new bugs.

nb: am on a plane, change confirmed to compile on MacOS, nothing more

fixes bug 97

Raise smtp_cmd_buffer_size to 16384.

Needed to interoperate with SASL commands containing a large
initial-response; in practice, GSSAPI with authorisation data, such as
in a Windows domain.

Patch from Paul Fisher.

fixes bug 879

Pull strict-aliasing fix for sockaddr_46.

One-line code change in unattributed .patch file bundled in someone's
.src.rpm.

We cause plenty of warnings for -Wstrict-aliasing=2, most appear to be
signed/unsigned char issues.

Use git to automatically create version.h

Adapted from git itself via unifdef. This does not (yet) include
the equivalent automation for the doc build.

Another PCRE remnant.

More PCRE cleanup.

Remove a few PCRE remnants.

Remove obsolete $Cambridge$ CVS revision strings.

I have also de-CVSed the ABOUT files and cleaned up a few
introductory comments.

doc/doc-txt/NewStuff: note the ratelimit changes.

Improved ratelimit ACL condition.

Replace /noupdate with simpler /readonly option. (/noupdate is
supported for backwards compatibility but no longer documented.)

Better checking of the compatibility between per_* options and the
ACL in which the ratelimit condition appears.

Better handling of the start of a burst of email and of very low-rate
clients.

The new /count= option generalizes the per_byte and per_rcpt options.

The new /unique= option is a rather groovy use for a Bloom filter.

exiwhat: Ensure the SIGUSR1 signal handler is safe.

exiwhat sends a SIGUSR1 to all exim processes to make them write
their status to the process log. This is all done in the signal
handler, but the logging code makes a number of calls that are not
signal safe. These can all cause crashes or recursive locking in
libc.

Firstly, obtaining and formatting the timestamp is not safe.
Doing so is unnecessary since exiwhat strips off the timestamp.
This change removes timestamps from the process log.

Secondly, exim closes all the logs after writing the process
log. Closing syslog is not signal safe, and isn't necessary.
We now only close the process log after writing to it.

Thirdly, exim may calculate the process_log_path inside the signal
handler which involves some possibly-unsafe string handling code.
This change calculates the path when reading the configuration.

Fourthly, when exim creates the process log file it might have to
call the unsafe directory_create() though this is unlikely in
practice. After this change exim only calls log_create() in a
subprocess which is safe - it sometimes needs to do so anyway, if
it is running as root and needs to drop privileges.

The new code has no process log handling in log.c which eliminates
some awkward special cases. It uses very simple code to write to
the file in the signal handler, so it is obviously safe by inspection.

Ensure we log the error message when unlink() fails.

See also commit ID 0761d44e

DKIM Verification: Fix relaxed canon for empty headers w/o
whitespace trailer

malware.c: avoid arithmetic on a void pointer.

Solaris build fix for Oracle's LDAP libraries.

Patch from Stephen Usher.
fixes 1109

Testsuite: Compiler info skip; whitespace stupidity.

ChangeLog updates for the security issues.

INT_MIN {/,%} -1 = INT_MAX for our purposes.

Dodge a SIGFPE on x86.

Merge branch 'tom_dev'

Don't use match_isinlist() for simple string list matching

Typo fixes from Andreas Metzler.

fixes bug 1111

Prep for 4.76 release. Version bumps, ChangeLog update.

Fix compile of exim_monitor

The "Compiler masochism compliance" patch changed the log_write()
prototype to use "const char *" instead of "char *"; I don't have X11 on
my main box, so neglected to handle exim_monitor's duplicate definition
of log_write().

Fixes bug 1107

Bugzilla #1106: Don't pass DKIM compound log line as format string

Cond !bool{}/!bool_lax{} did not negate. Fixed.

Fixes bug: 1104

Also ${eval:x % 0} fixed to not SIGFPE.

Pointed out by: Steven A. Reisman

Catch divide-by-zero in ${eval:...}.

Fixes 1102

Merge branch 'master' of git://git.exim.org/exim

Revert "Avoid conflicting prototypes for strsignal()"

This reverts commit 29f20a41029cc5e36a8756ad8dfda64d0ed314ce.

Phil has staged something better.

Merge branch 'master' of /home/git/exim into tom_dev

Avoid conflicting prototypes for strsignal()

Rely on system prototypes if we #define our os funcs.

The const-ness updates broke systems where `os_strsignal()` gets mapped
to `strsignal()`, which does *not* return `const char *` but `char *`.

If we #define away, then there should be a prototype from the system
headers.

Bugzilla #1097: PDKIM: Update embedded PolarSSL code to 0.14.2, thanks to Andreas Metzler for the patch!

Also memset(.., 0, ..) the pre-TLS input buffer.

Extra paranoia around STARTTLS-with-data-in-buffer.

Avoid segfault on ref:name specified as uid.

If group not also specified, make this a fatal error.  If group
specified, we'll error out anyway unless the group can be resolved.

Approach considered but not followed: fatal config error if built with
ref:name where name is a number.

fixes bug 1098

Mention dns_use_edns0

Added dns_use_edns0 main option.

Is int because need a "do not override default" option, but that stops
us from using the bool expansion logic and so we need to explicitly
set numbers. Should try to find a way around that.

openssl_options: rejig default code & debug prints.

A couple of debug_printf()s missing trailing \n.

Set the default to 0L and |= the one item we default, rather than
setting outright, in the hopes of soon also |= setting another option if
available (SSL_OP_NO_SSLv2).

New openssl_options items: no_sslv2 no_sslv3 no_ticket no_tlsv1

(no changes to any defaults).

Harmonised TLS library version reporting.

Only show if debugging.
Layout now matches that introduced for other libraries in 4.74 PP/03.

Make ldap_require_cert work (not segfault).

The clang complaint, which also triggered a gcc complaint, was
legitimate. My first test, which suggested no problem, was flawed.

This:
  ldap_start_tls
  ldap_require_cert = demand
would cause a segfault on LDAP lookup.

fixes bug 230

Report compiler in -d -bV. Clang compat.

Exim successfully builds with clang, albeit with a number of warnings.

 * Our %n usage in printf() calls appears to be correct and safe, AFAICT.
 * dummy functions are, unsurprisingly, unused
 * Valgrind macros cause vociferous complaints
 * Dynamic modules *not* tested

Further clang testing on my part will require an OS update and clang
2.9 to get -rdynamic support.

Compiler masochism compliance.

Be able to build most of Exim with:
  -Werror -Wwrite-strings -Wunused-function -Waddress -Wpointer-sign
  -Wformat -Wuninitialized -Winit-self

Skipped a change to auth-spa which I was uncertain of. That is not
the most readable of code.

Temporarily gave up on src/src/pdkim/pdkim.c, as header_name_match()
treats the second param as const or not depending on the third param.
(I hacked the build-*/pdkim/Makefile to continue past this)

Much of this change is const propagation.

Set "new since" to the 4.75 release.

Stripped all .new/.wen except the exemplar.  4.75 was a stabilisation
release, reset the accumulation of "this is new".

no_freeze_signal in output.

Pipe transport option added in: 2fe767453007d1b015f52313d16dc61635085621

Fix RFC2047 encoding tests after robustness patch.

Output changed by:
  Commit 86ae49a65fce504ebcf9c30ddff213cca71fb872

  Fix wide character breakage in the rfc2047 coding

  Fixes bug 1064
  Patch frome Andrey N. Oktyabrski

Another valgrind.h portability fix.

C89 compilers do not support variable argument macros.
Our copy of valgrind.h now differs from upstream.

Reported-by: Heiko Schlichting <heiko.schlichting@fu-berlin.de>

Fixed previous changelog to Bugzilla 968

Ugh - typo-ed previous bugzilla id (case of probably shouldn't be
let near a keyboard today).

Add missing changelog for Bugzilla 698