Exim 4.77: documentation version updates.

Merge branch 'list_safety'

(gnutls fixes had updated some text docs)

EXPAND_LISTMATCH_RHS plumbed into build makefiles.

Tested builds both with and without this option, behaviour matches expectations.

match_* do not expand RHS, unconditionally.

EXPAND_LISTMATCH_RHS define is checked, but not yet plumbed that into build system.

Implement inlist/inlisti expansion conditions

Document match_*/inlist changes (before coding starts)

Make sure rc is initialised

Pull Andreas Metzler's fix for gnutls_certificate_verify_peers (bug 1095)

TLS1.2 and TLS1.1 support with GnuTLS

ssize_t for mime.c

mime_decode_*() functions can return -1 for error, which would be lost when assigning to unsigned int.
Sprinkled ssize_t across function return types and result variables.

Doc: exim-future@ gone; mention exim-cvs@

fixes bug 1146

Document behaviour of message_size_limit=0 (main config setting, not transport)

Doc fixes for syntax errors.

Fixes from Simon Arlott.

Handle IPv6 addresses with SPF.

Patch from Wolfgang Breyha.

Also, slight improvements to some debug statements.

fixes bug 860

Handle ${run} returning more data than OS pipe buffer size.

Patch from Holger Weiß.
fixes bug 1131

Make maildir_use_size_file expandable.

Patch from Heiko Schlittermann.
Fixes bug 1089

Stop build process more reliably on failure.

Patch from Heiko Schlittermann.
Fixes bug 1087

$av_failed variable set when av_scanner deferred

Patch from John Horne.
Fixes bug 1078

Use .dylib not .so for dynamic libraries on MacOS

Not tested the drtables.c change for dynamically loaded lookups, only
the readline loading for -be interactive mode.

Add protocol=smtps support to smtp transport.

Permits SSL-on-connect for outbound connections.

Heavily based on Simon Arlott's patch, but with enough modifications to
risk new bugs.

nb: am on a plane, change confirmed to compile on MacOS, nothing more

fixes bug 97

Raise smtp_cmd_buffer_size to 16384.

Needed to interoperate with SASL commands containing a large
initial-response; in practice, GSSAPI with authorisation data, such as
in a Windows domain.

Patch from Paul Fisher.

fixes bug 879

Pull strict-aliasing fix for sockaddr_46.

One-line code change in unattributed .patch file bundled in someone's
.src.rpm.

We cause plenty of warnings for -Wstrict-aliasing=2, most appear to be
signed/unsigned char issues.

Use git to automatically create version.h

Adapted from git itself via unifdef. This does not (yet) include
the equivalent automation for the doc build.

Another PCRE remnant.

More PCRE cleanup.

Remove a few PCRE remnants.

Remove obsolete $Cambridge$ CVS revision strings.

I have also de-CVSed the ABOUT files and cleaned up a few
introductory comments.

doc/doc-txt/NewStuff: note the ratelimit changes.

Improved ratelimit ACL condition.

Replace /noupdate with simpler /readonly option. (/noupdate is
supported for backwards compatibility but no longer documented.)

Better checking of the compatibility between per_* options and the
ACL in which the ratelimit condition appears.

Better handling of the start of a burst of email and of very low-rate
clients.

The new /count= option generalizes the per_byte and per_rcpt options.

The new /unique= option is a rather groovy use for a Bloom filter.

exiwhat: Ensure the SIGUSR1 signal handler is safe.

exiwhat sends a SIGUSR1 to all exim processes to make them write
their status to the process log. This is all done in the signal
handler, but the logging code makes a number of calls that are not
signal safe. These can all cause crashes or recursive locking in
libc.

Firstly, obtaining and formatting the timestamp is not safe.
Doing so is unnecessary since exiwhat strips off the timestamp.
This change removes timestamps from the process log.

Secondly, exim closes all the logs after writing the process
log. Closing syslog is not signal safe, and isn't necessary.
We now only close the process log after writing to it.

Thirdly, exim may calculate the process_log_path inside the signal
handler which involves some possibly-unsafe string handling code.
This change calculates the path when reading the configuration.

Fourthly, when exim creates the process log file it might have to
call the unsafe directory_create() though this is unlikely in
practice. After this change exim only calls log_create() in a
subprocess which is safe - it sometimes needs to do so anyway, if
it is running as root and needs to drop privileges.

The new code has no process log handling in log.c which eliminates
some awkward special cases. It uses very simple code to write to
the file in the signal handler, so it is obviously safe by inspection.

Ensure we log the error message when unlink() fails.

See also commit ID 0761d44e

DKIM Verification: Fix relaxed canon for empty headers w/o
whitespace trailer

malware.c: avoid arithmetic on a void pointer.

Solaris build fix for Oracle's LDAP libraries.

Patch from Stephen Usher.
fixes 1109

Testsuite: Compiler info skip; whitespace stupidity.

ChangeLog updates for the security issues.

INT_MIN {/,%} -1 = INT_MAX for our purposes.

Dodge a SIGFPE on x86.

Merge branch 'tom_dev'

Don't use match_isinlist() for simple string list matching

Typo fixes from Andreas Metzler.

fixes bug 1111

Prep for 4.76 release. Version bumps, ChangeLog update.

Fix compile of exim_monitor

The "Compiler masochism compliance" patch changed the log_write()
prototype to use "const char *" instead of "char *"; I don't have X11 on
my main box, so neglected to handle exim_monitor's duplicate definition
of log_write().

Fixes bug 1107

Bugzilla #1106: Don't pass DKIM compound log line as format string

Cond !bool{}/!bool_lax{} did not negate. Fixed.

Fixes bug: 1104

Also ${eval:x % 0} fixed to not SIGFPE.

Pointed out by: Steven A. Reisman

Catch divide-by-zero in ${eval:...}.

Fixes 1102

Merge branch 'master' of git://git.exim.org/exim

Revert "Avoid conflicting prototypes for strsignal()"

This reverts commit 29f20a41029cc5e36a8756ad8dfda64d0ed314ce.

Phil has staged something better.

Merge branch 'master' of /home/git/exim into tom_dev

Avoid conflicting prototypes for strsignal()

Rely on system prototypes if we #define our os funcs.

The const-ness updates broke systems where `os_strsignal()` gets mapped
to `strsignal()`, which does *not* return `const char *` but `char *`.

If we #define away, then there should be a prototype from the system
headers.

Bugzilla #1097: PDKIM: Update embedded PolarSSL code to 0.14.2, thanks to Andreas Metzler for the patch!

Also memset(.., 0, ..) the pre-TLS input buffer.

Extra paranoia around STARTTLS-with-data-in-buffer.

Avoid segfault on ref:name specified as uid.

If group not also specified, make this a fatal error.  If group
specified, we'll error out anyway unless the group can be resolved.

Approach considered but not followed: fatal config error if built with
ref:name where name is a number.

fixes bug 1098

Mention dns_use_edns0

Added dns_use_edns0 main option.

Is int because need a "do not override default" option, but that stops
us from using the bool expansion logic and so we need to explicitly
set numbers. Should try to find a way around that.

openssl_options: rejig default code & debug prints.

A couple of debug_printf()s missing trailing \n.

Set the default to 0L and |= the one item we default, rather than
setting outright, in the hopes of soon also |= setting another option if
available (SSL_OP_NO_SSLv2).

New openssl_options items: no_sslv2 no_sslv3 no_ticket no_tlsv1

(no changes to any defaults).

Harmonised TLS library version reporting.

Only show if debugging.
Layout now matches that introduced for other libraries in 4.74 PP/03.

Make ldap_require_cert work (not segfault).

The clang complaint, which also triggered a gcc complaint, was
legitimate. My first test, which suggested no problem, was flawed.

This:
  ldap_start_tls
  ldap_require_cert = demand
would cause a segfault on LDAP lookup.

fixes bug 230

Report compiler in -d -bV. Clang compat.

Exim successfully builds with clang, albeit with a number of warnings.

 * Our %n usage in printf() calls appears to be correct and safe, AFAICT.
 * dummy functions are, unsurprisingly, unused
 * Valgrind macros cause vociferous complaints
 * Dynamic modules *not* tested

Further clang testing on my part will require an OS update and clang
2.9 to get -rdynamic support.

Compiler masochism compliance.

Be able to build most of Exim with:
  -Werror -Wwrite-strings -Wunused-function -Waddress -Wpointer-sign
  -Wformat -Wuninitialized -Winit-self

Skipped a change to auth-spa which I was uncertain of. That is not
the most readable of code.

Temporarily gave up on src/src/pdkim/pdkim.c, as header_name_match()
treats the second param as const or not depending on the third param.
(I hacked the build-*/pdkim/Makefile to continue past this)

Much of this change is const propagation.

Set "new since" to the 4.75 release.

Stripped all .new/.wen except the exemplar.  4.75 was a stabilisation
release, reset the accumulation of "this is new".

no_freeze_signal in output.

Pipe transport option added in: 2fe767453007d1b015f52313d16dc61635085621

Fix RFC2047 encoding tests after robustness patch.

Output changed by:
  Commit 86ae49a65fce504ebcf9c30ddff213cca71fb872

  Fix wide character breakage in the rfc2047 coding

  Fixes bug 1064
  Patch frome Andrey N. Oktyabrski

Another valgrind.h portability fix.

C89 compilers do not support variable argument macros.
Our copy of valgrind.h now differs from upstream.

Reported-by: Heiko Schlichting <heiko.schlichting@fu-berlin.de>

Fixed previous changelog to Bugzilla 968

Ugh - typo-ed previous bugzilla id (case of probably shouldn't be
let near a keyboard today).

Add missing changelog for Bugzilla 698

DISABLE_DKIM has never worked. Fix that.

Work on IRIX by setting _XPG=1

Don't disable quota when maildirsize lost to races.

When maildir_ensure_sizefile() returns -2, we still have size
information, so we can still use that.  Don't disable quota.  As a
result, do refrain from potentially calling close(-2).

Fixes bug 1086

Moved variable decl to start of block for old gcc

Trivial spelling fix in ChangeLog

Thanks to Dennis Davis in full pedant mode!

Fix doc/ directory assembly in build-script.

Fix doc typos. Add freeze_signal to OptionLists.

Exim 4.75.

Exim 4.75, prepping for release.
"Previous" version of docs deliberately remains 4.72.

DKIM multiple signature generation fix.

Patch from Uwe Doering, sign-off by Michael Haardt.
fixes bug 1019

maildir_tag hint provided by Heiko Schlittermann.

(and add .new/.wen to previous change).

Deal with maildir quota file races.

Based on patch from Heiko Schlittermann.
Fixes bug 1086.

Improved spamd server selection.

Patch from Mark Zealey.
Fixes bug 1056.

Update $message_linecount for maildir_tag.

Patch from Mark Zealey.
Fixes bug 1055.

Minor robustness fixes for debugging.

sig_atomic_t for signal-handlers.
getgroups() return value checking.
Developed for bug 927.

BugZilla 1006 - recommit patch from Micha Lenk

Move lookup extern decls to file scope.

Should permit building on old gcc which dislikes extern inside function
scope.

Patch from Oliver Fleischmann, who encountered this with gcc 2.95.2.

Implement %M datestamping in log filenames.

Patch from Simon Arlott.

fixes bug 486

Don't reveal SQL expansion failure details in SMTP.

fixes bug 1061

Implement freeze_signal on pipe transport.

Patch from Jakob Hirsch.

fixes bug 1042

Escape lookup deferral error message when logging.

closes bug 1083

Patch from John Horne.

RC releases get marked as such in version.h.

Release-tools only, no NewStuff/ChangeLog

Fix exiqgrep issue where malformed lines not parsed

Fixes bug 943
Lightly tested, but not with report error condition,
would like reporter to check this fix on their system.

Strip \x{c2} from .txt files and audit.

Am unable to keep the build process from inserting spurious \x{c2}
characters into the created .txt files.

Strip the characters in Tidytxt.

Add SanityTestText to do a final audit for non-ASCII characters in the
.txt files.  Dependency: pcregrep if available, else uses Perl.

LDAP TLS negotiation support.

closes bug 230
Applies patches provided by Adam Ciarcinski of NetBSD in bug 230.
Adds documentation.

Tested the negotiation and server verification, not tested the client
certificate presentation but looks sane.

Allow underscore in dnslist lookups

Fixes bug 1026
Patch from Graeme Fowler

Added ChangeLog entry for f68cdd

Fix wide character breakage in the rfc2047 coding

Fixes bug 1064
Patch frome Andrey N. Oktyabrski

Merge branch 'master' of ssh://git.exim.org/home/git/exim

child_open_uid: restore default SIGPIPE handler

Fixes bug 968
Merge branch 'sigpipe-fix' of git://github.com/lp0/exim into master

Testing: Exim must not use HEADERS_CHARSET UTF-8.

Failed at test 178.

sudo !tty_tickets; correct config file list.

sudo needs to permit sudo w/o a TTY.
The config file used is the same for each test, the individual config
files are made available under a particular name. Correct that advice.