Merge branch 'master' of git://git.exim.org/exim

Revert "Avoid conflicting prototypes for strsignal()"

This reverts commit 29f20a41029cc5e36a8756ad8dfda64d0ed314ce.

Phil has staged something better.

Merge branch 'master' of /home/git/exim into tom_dev

Avoid conflicting prototypes for strsignal()

Rely on system prototypes if we #define our os funcs.

The const-ness updates broke systems where `os_strsignal()` gets mapped
to `strsignal()`, which does *not* return `const char *` but `char *`.

If we #define away, then there should be a prototype from the system
headers.

Bugzilla #1097: PDKIM: Update embedded PolarSSL code to 0.14.2, thanks to Andreas Metzler for the patch!

Also memset(.., 0, ..) the pre-TLS input buffer.

Extra paranoia around STARTTLS-with-data-in-buffer.

Avoid segfault on ref:name specified as uid.

If group not also specified, make this a fatal error.  If group
specified, we'll error out anyway unless the group can be resolved.

Approach considered but not followed: fatal config error if built with
ref:name where name is a number.

fixes bug 1098

Mention dns_use_edns0

Added dns_use_edns0 main option.

Is int because need a "do not override default" option, but that stops
us from using the bool expansion logic and so we need to explicitly
set numbers. Should try to find a way around that.

openssl_options: rejig default code & debug prints.

A couple of debug_printf()s missing trailing \n.

Set the default to 0L and |= the one item we default, rather than
setting outright, in the hopes of soon also |= setting another option if
available (SSL_OP_NO_SSLv2).

New openssl_options items: no_sslv2 no_sslv3 no_ticket no_tlsv1

(no changes to any defaults).

Harmonised TLS library version reporting.

Only show if debugging.
Layout now matches that introduced for other libraries in 4.74 PP/03.

Make ldap_require_cert work (not segfault).

The clang complaint, which also triggered a gcc complaint, was
legitimate. My first test, which suggested no problem, was flawed.

This:
  ldap_start_tls
  ldap_require_cert = demand
would cause a segfault on LDAP lookup.

fixes bug 230

Report compiler in -d -bV. Clang compat.

Exim successfully builds with clang, albeit with a number of warnings.

 * Our %n usage in printf() calls appears to be correct and safe, AFAICT.
 * dummy functions are, unsurprisingly, unused
 * Valgrind macros cause vociferous complaints
 * Dynamic modules *not* tested

Further clang testing on my part will require an OS update and clang
2.9 to get -rdynamic support.

Compiler masochism compliance.

Be able to build most of Exim with:
  -Werror -Wwrite-strings -Wunused-function -Waddress -Wpointer-sign
  -Wformat -Wuninitialized -Winit-self

Skipped a change to auth-spa which I was uncertain of. That is not
the most readable of code.

Temporarily gave up on src/src/pdkim/pdkim.c, as header_name_match()
treats the second param as const or not depending on the third param.
(I hacked the build-*/pdkim/Makefile to continue past this)

Much of this change is const propagation.

Set "new since" to the 4.75 release.

Stripped all .new/.wen except the exemplar.  4.75 was a stabilisation
release, reset the accumulation of "this is new".

no_freeze_signal in output.

Pipe transport option added in: 2fe767453007d1b015f52313d16dc61635085621

Fix RFC2047 encoding tests after robustness patch.

Output changed by:
  Commit 86ae49a65fce504ebcf9c30ddff213cca71fb872

  Fix wide character breakage in the rfc2047 coding

  Fixes bug 1064
  Patch frome Andrey N. Oktyabrski

Another valgrind.h portability fix.

C89 compilers do not support variable argument macros.
Our copy of valgrind.h now differs from upstream.

Reported-by: Heiko Schlichting <heiko.schlichting@fu-berlin.de>

Fixed previous changelog to Bugzilla 968

Ugh - typo-ed previous bugzilla id (case of probably shouldn't be
let near a keyboard today).

Add missing changelog for Bugzilla 698

DISABLE_DKIM has never worked. Fix that.

Work on IRIX by setting _XPG=1

Don't disable quota when maildirsize lost to races.

When maildir_ensure_sizefile() returns -2, we still have size
information, so we can still use that.  Don't disable quota.  As a
result, do refrain from potentially calling close(-2).

Fixes bug 1086

Moved variable decl to start of block for old gcc

Trivial spelling fix in ChangeLog

Thanks to Dennis Davis in full pedant mode!

Fix doc/ directory assembly in build-script.

Fix doc typos. Add freeze_signal to OptionLists.

Exim 4.75.

Exim 4.75, prepping for release.
"Previous" version of docs deliberately remains 4.72.

DKIM multiple signature generation fix.

Patch from Uwe Doering, sign-off by Michael Haardt.
fixes bug 1019

maildir_tag hint provided by Heiko Schlittermann.

(and add .new/.wen to previous change).

Deal with maildir quota file races.

Based on patch from Heiko Schlittermann.
Fixes bug 1086.

Improved spamd server selection.

Patch from Mark Zealey.
Fixes bug 1056.

Update $message_linecount for maildir_tag.

Patch from Mark Zealey.
Fixes bug 1055.

Minor robustness fixes for debugging.

sig_atomic_t for signal-handlers.
getgroups() return value checking.
Developed for bug 927.

BugZilla 1006 - recommit patch from Micha Lenk

Move lookup extern decls to file scope.

Should permit building on old gcc which dislikes extern inside function
scope.

Patch from Oliver Fleischmann, who encountered this with gcc 2.95.2.

Implement %M datestamping in log filenames.

Patch from Simon Arlott.

fixes bug 486

Don't reveal SQL expansion failure details in SMTP.

fixes bug 1061

Implement freeze_signal on pipe transport.

Patch from Jakob Hirsch.

fixes bug 1042

Escape lookup deferral error message when logging.

closes bug 1083

Patch from John Horne.

RC releases get marked as such in version.h.

Release-tools only, no NewStuff/ChangeLog

Fix exiqgrep issue where malformed lines not parsed

Fixes bug 943
Lightly tested, but not with report error condition,
would like reporter to check this fix on their system.

Strip \x{c2} from .txt files and audit.

Am unable to keep the build process from inserting spurious \x{c2}
characters into the created .txt files.

Strip the characters in Tidytxt.

Add SanityTestText to do a final audit for non-ASCII characters in the
.txt files.  Dependency: pcregrep if available, else uses Perl.

LDAP TLS negotiation support.

closes bug 230
Applies patches provided by Adam Ciarcinski of NetBSD in bug 230.
Adds documentation.

Tested the negotiation and server verification, not tested the client
certificate presentation but looks sane.

Allow underscore in dnslist lookups

Fixes bug 1026
Patch from Graeme Fowler

Added ChangeLog entry for f68cdd

Fix wide character breakage in the rfc2047 coding

Fixes bug 1064
Patch frome Andrey N. Oktyabrski

Merge branch 'master' of ssh://git.exim.org/home/git/exim

child_open_uid: restore default SIGPIPE handler

Fixes bug 968
Merge branch 'sigpipe-fix' of git://github.com/lp0/exim into master

Testing: Exim must not use HEADERS_CHARSET UTF-8.

Failed at test 178.

sudo !tty_tickets; correct config file list.

sudo needs to permit sudo w/o a TTY.
The config file used is the same for each test, the individual config
files are made available under a particular name. Correct that advice.

Test suite mostly clean for 4.73/4.74.

With this, I can run the test suite with few enough differences that I
can review and confirm, getting as far as Basic/0094.

Pretty much just dealing with new stderr from debugging.

macros_trusted overriden message only if debugging.

DEBUG(D_any) missing.  Fixed.

The test suite dislikes USE_READLINE.

There's a lot of copying of stdin to stdout when using readline for -be,
which breaks the test suite.  The suite now runs well enough for me to
fix the stuff broken by the debugging changes I introduced.

Incremental improvement of release build script

Use LC_ALL=C for building lookups/Makefile.

Pulled spamd_address-expanded caching fix.

Author: Wolfgang Breyha
Bugzilla: 935
Attachment: 378

(looks like it could do with a strcmp check at the end before the extra
 string_copy, but that's a nicety and the author has presumably been
 running with this).

Permit make values to be indented or in env.

It appears some make(1)s are not complaining about variables defined
with leading whitespace on the line.  Permit that where we can, for the
lookups, but it's not tenable for CFLAGS_DYNAMIC.

Some people are specifying knobs on the make command-line, so we get
them via the environment.

Tested: indented LOOKUP_CDB and commented out LOOKUP_DNSDB, supplying it
via { make LOOKUP_DNSDB=yes }.  { exim -d --version } shows both are
built-in, no results from { fgrep DNSDB build-*/Makefile }.

Fix portability of Makefiles to HP-UX and other non-extended makes.

Fix portability bugs in valgrind support.

Update valgrind.h and memcheck.h to copies from valgrind-3.6.0.
This fixes portability to compilers other than gcc, notably
Solaris CC and HP-UX CC.

Fixes: bug #1050.

Workround compile error with old PCRE versions

Fixes bug #1073

Bug-fix the xpg4 Solaris logic.

Should not code at 9am when still awake then.
Should sanity-review such code changes before submitting (after sleep).
Should s,/usr/xpg4/bin/sh,/bin/bash, as a convenient test to confirm
what I suspected.  But should do so pre-submit.

Doh.

Compatibility fixes for dynlookup makefile builder.

Don't abort if CFLAGS_DYNAMIC not defined.  Oops!

Attempt to get a POSIX environment on Solaris.

Document POSIXy assumptions going forward.

Problems reported by: Dennis Davis

Loadable modules: fix debug invocations

The new code was calling DEBUG(<n>) for values of n including 4, 5, 9;
that was an Exim 3 API, we now use bits; -v sets bit 0x1, -bP implies
-v, so { exim -bP } was pulling up random debug messages.

Switched all the DEBUG checks to be DEBUG(D_lookup).

Bug 1071: fix delivery logging with untrusted macros.

If dropping privileges for untrusted macros, we disabled normal logging
on the basis that it would fail; for the Exim run-time user, this is not
the case, and it resulted in successful deliveries going unlogged.
Fixed.  Reported by Andreas Metzler.

Report TRUSTED_CONFIG_LIST & WHITELIST_D_MACROS.

When invoked { exim -d -bV } show these build-time options that affect
what can be done.

Document 1041 merge (DCC fix).

Merge branch 'master' of git://git.exim.org/exim

Bugzilla 1041: pull patch id=425, DCC fixes.

DCC return codes were not always correct. Patch from DCC code
maintainer, Wolfgang Breyha.

Sign Script - Take EXIM_KEY from environ.

Reworked changebars (still relative to 4.72) in doc source

Update dates.

Spec: both doc date and release date (plus copyright year).
Filter: only release date (doc not changed, so neither is copyright year)

Test suite: make cf 64-bit compat for -exact.

I assume stdint.h and intptr_t available for any platform where we're
running the test suite.

Tests compat. setgid failure / dropped_privilege

If we've *dropped* privilege, it's okay to not abort if setgid fails.

Document some of what's now needed for the test suite.
Adjust the test suide for better post-4.73 compat.

Bump version to 4.74.

Docs deliberately keep changebars since v4.72 as 4.73 has not been out
for long.

OptionLists updates for dynamic modules and for the security changes
from 4.73.

IncompatibleChanges out, README.UPDATING updated.

I forgot about README.UPDATING and introduced a new txt file with the
4.73 release, noting incompatible changes. Because these weren't
documented in the normal place, some people missed them. Mea culpa.

Integrated the notes from IncompatibleChanges into README.UPDATING.

Added a note on the ABI of the dynlookups.

Check return values of setgid/setuid.

CVE-2011-0017

One assertion of the unimportance of checking the return value was wrong,
in the event of a compromised exim run-time user.

Version reporting & module ABI change.

Debug version display reports library info.

Bumps lookup API magic constant, adds new field to module API.

When invoking { exim -d -bV } we can display more version information.
Show versions for many external libraries, including both compile-time
and run-time information if we can.

Optional for modules, may be NULL.  Implemented for MySQL, SQLite &
Whoson lookups.  For all lookups, if dynamically loaded, report the
Exim version number from the build.  (Packagers will bundle stuff, but
dynamic modules are no longer just available for packagers, so we need
to deal with less managed environments and people forgetting to install
new modules).

Suggest in EDITME that users of modules not using package management
consider embedding a version number in the path to the modules.

Should consider removing the TLS (OpenSSL/GnuTLS) reporting from the
default -bV display and moving it into the debug display.  Not done.

Created version.h, now support a version extension string for
distributors who patch heavily. Henceforth release engineer should
change the version in version.h not version.c.

Module loading working on FreeBSD (and unbreak).

(1) Commit eec525c43adade97ff94d839810faf7cb35bd87f broke module
    support, because we *do* still need some exported variable
    definitions, as for a module to actually work, we need the
    per-module _INCLUDE/_LIBS settings.

(2) FreeBSD's nsdispatch() will leave dlerror() returning a complaint
    about "_nss_cache_cycle_prevention_function"; we need to clear the
    error state before the dlsym() call, so that any error found
    afterwards must have come from that dlsym() call.  Fix is just an
    extra call to dlerror(), which should be portable.

I can now use sqlite3 from a module, in FreeBSD.

Mention new dlopen functionality.

Clarify: tls_verify_certificates is for CA certs.

It can be used for individual user certs but is really intended for
CAs.  Note this, and explain that if the tls_verify_certificates value
is a file, then the certs within are sent from the server to clients,
thus is public data.

Let /dev/null have normal permissions.

The 4.73 fixes were a little too stringent and complained about the
permissions on /dev/null.  Exempt it from some checks.
Reported by Andreas M. Kirchwitz

Bug-fix for bash and no-dynamic case.

When writing the patch, originally nothing other than a cp was needed if
there were no dynamic modules.  That changed, but the guard at the top
did not.  Remove that check.

bash does not like a block which consists solely of a comment.  Provide
a ':' invocation.

Both problems spotted by Simon Arlott -- thanks.

Bug 139: portability fixes and documentation.

Document the dynamic lookup module capability in spec.xfpt.
Include a ChangeLog item.

Avoid the GNU-specific "export" make(1) directive.
Build the lookups Makefile using the existing framework.
Build with BSD Make once more.

The src/lookups/Makefile that is used at build time now has the dynamic
content come from scripts/lookups-Makefile.

Add CFLAGS_DYNAMIC support, which can be set in Local/Makefile.
Provide defaults for Linux & FreeBSD.

Ensure that build fails early if a dynamic module is requested but
CFLAGS_DYNAMIC is not defined.

src/deliver.c: log the error message when unlink(spoolname) fails

src/transports/smtp.c: log LMTP confirmation same as SMTP

src/dbfn.c: write lock aquisition failures to the panic log

CONTRIBUTING: correct expansion of GPL

Bugzilla #1067 - DKIM: Fix relaxed header canon for headers ending with whitespace.

Include <dlfcn.h> only when necessary

Add dynamic lookup support

Fixed: bug #139

DKIM ACL Documentation

Fixes: bug #929

Fixes: bug #1002 - Message loss when using multiple deliveries

LDAP Authetication documentation example syntax fix

Fixes: bug #999

Reword BSMTP ACL documentation

Fixes: bug #974

Eximstats documentstion - s/delivery_time/deliver_time/

Fixes: bug #1034

drop unwanted paragraph break.

Fixes: bug #1052
Signed-off-by: Nigel Metheringham <nigel@exim.org>