Incremental improvement of release build script

Use LC_ALL=C for building lookups/Makefile.

Pulled spamd_address-expanded caching fix.

Author: Wolfgang Breyha
Bugzilla: 935
Attachment: 378

(looks like it could do with a strcmp check at the end before the extra
 string_copy, but that's a nicety and the author has presumably been
 running with this).

Permit make values to be indented or in env.

It appears some make(1)s are not complaining about variables defined
with leading whitespace on the line.  Permit that where we can, for the
lookups, but it's not tenable for CFLAGS_DYNAMIC.

Some people are specifying knobs on the make command-line, so we get
them via the environment.

Tested: indented LOOKUP_CDB and commented out LOOKUP_DNSDB, supplying it
via { make LOOKUP_DNSDB=yes }.  { exim -d --version } shows both are
built-in, no results from { fgrep DNSDB build-*/Makefile }.

Fix portability of Makefiles to HP-UX and other non-extended makes.

Fix portability bugs in valgrind support.

Update valgrind.h and memcheck.h to copies from valgrind-3.6.0.
This fixes portability to compilers other than gcc, notably
Solaris CC and HP-UX CC.

Fixes: bug #1050.

Workround compile error with old PCRE versions

Fixes bug #1073

Bug-fix the xpg4 Solaris logic.

Should not code at 9am when still awake then.
Should sanity-review such code changes before submitting (after sleep).
Should s,/usr/xpg4/bin/sh,/bin/bash, as a convenient test to confirm
what I suspected.  But should do so pre-submit.

Doh.

Compatibility fixes for dynlookup makefile builder.

Don't abort if CFLAGS_DYNAMIC not defined.  Oops!

Attempt to get a POSIX environment on Solaris.

Document POSIXy assumptions going forward.

Problems reported by: Dennis Davis

Loadable modules: fix debug invocations

The new code was calling DEBUG(<n>) for values of n including 4, 5, 9;
that was an Exim 3 API, we now use bits; -v sets bit 0x1, -bP implies
-v, so { exim -bP } was pulling up random debug messages.

Switched all the DEBUG checks to be DEBUG(D_lookup).

Bug 1071: fix delivery logging with untrusted macros.

If dropping privileges for untrusted macros, we disabled normal logging
on the basis that it would fail; for the Exim run-time user, this is not
the case, and it resulted in successful deliveries going unlogged.
Fixed.  Reported by Andreas Metzler.

Report TRUSTED_CONFIG_LIST & WHITELIST_D_MACROS.

When invoked { exim -d -bV } show these build-time options that affect
what can be done.

Document 1041 merge (DCC fix).

Merge branch 'master' of git://git.exim.org/exim

Bugzilla 1041: pull patch id=425, DCC fixes.

DCC return codes were not always correct. Patch from DCC code
maintainer, Wolfgang Breyha.

Sign Script - Take EXIM_KEY from environ.

Reworked changebars (still relative to 4.72) in doc source

Update dates.

Spec: both doc date and release date (plus copyright year).
Filter: only release date (doc not changed, so neither is copyright year)

Test suite: make cf 64-bit compat for -exact.

I assume stdint.h and intptr_t available for any platform where we're
running the test suite.

Tests compat. setgid failure / dropped_privilege

If we've *dropped* privilege, it's okay to not abort if setgid fails.

Document some of what's now needed for the test suite.
Adjust the test suide for better post-4.73 compat.

Bump version to 4.74.

Docs deliberately keep changebars since v4.72 as 4.73 has not been out
for long.

OptionLists updates for dynamic modules and for the security changes
from 4.73.

IncompatibleChanges out, README.UPDATING updated.

I forgot about README.UPDATING and introduced a new txt file with the
4.73 release, noting incompatible changes. Because these weren't
documented in the normal place, some people missed them. Mea culpa.

Integrated the notes from IncompatibleChanges into README.UPDATING.

Added a note on the ABI of the dynlookups.

Check return values of setgid/setuid.

CVE-2011-0017

One assertion of the unimportance of checking the return value was wrong,
in the event of a compromised exim run-time user.

Version reporting & module ABI change.

Debug version display reports library info.

Bumps lookup API magic constant, adds new field to module API.

When invoking { exim -d -bV } we can display more version information.
Show versions for many external libraries, including both compile-time
and run-time information if we can.

Optional for modules, may be NULL.  Implemented for MySQL, SQLite &
Whoson lookups.  For all lookups, if dynamically loaded, report the
Exim version number from the build.  (Packagers will bundle stuff, but
dynamic modules are no longer just available for packagers, so we need
to deal with less managed environments and people forgetting to install
new modules).

Suggest in EDITME that users of modules not using package management
consider embedding a version number in the path to the modules.

Should consider removing the TLS (OpenSSL/GnuTLS) reporting from the
default -bV display and moving it into the debug display.  Not done.

Created version.h, now support a version extension string for
distributors who patch heavily. Henceforth release engineer should
change the version in version.h not version.c.

Module loading working on FreeBSD (and unbreak).

(1) Commit eec525c43adade97ff94d839810faf7cb35bd87f broke module
    support, because we *do* still need some exported variable
    definitions, as for a module to actually work, we need the
    per-module _INCLUDE/_LIBS settings.

(2) FreeBSD's nsdispatch() will leave dlerror() returning a complaint
    about "_nss_cache_cycle_prevention_function"; we need to clear the
    error state before the dlsym() call, so that any error found
    afterwards must have come from that dlsym() call.  Fix is just an
    extra call to dlerror(), which should be portable.

I can now use sqlite3 from a module, in FreeBSD.

Mention new dlopen functionality.

Clarify: tls_verify_certificates is for CA certs.

It can be used for individual user certs but is really intended for
CAs.  Note this, and explain that if the tls_verify_certificates value
is a file, then the certs within are sent from the server to clients,
thus is public data.

Let /dev/null have normal permissions.

The 4.73 fixes were a little too stringent and complained about the
permissions on /dev/null.  Exempt it from some checks.
Reported by Andreas M. Kirchwitz

Bug-fix for bash and no-dynamic case.

When writing the patch, originally nothing other than a cp was needed if
there were no dynamic modules.  That changed, but the guard at the top
did not.  Remove that check.

bash does not like a block which consists solely of a comment.  Provide
a ':' invocation.

Both problems spotted by Simon Arlott -- thanks.

Bug 139: portability fixes and documentation.

Document the dynamic lookup module capability in spec.xfpt.
Include a ChangeLog item.

Avoid the GNU-specific "export" make(1) directive.
Build the lookups Makefile using the existing framework.
Build with BSD Make once more.

The src/lookups/Makefile that is used at build time now has the dynamic
content come from scripts/lookups-Makefile.

Add CFLAGS_DYNAMIC support, which can be set in Local/Makefile.
Provide defaults for Linux & FreeBSD.

Ensure that build fails early if a dynamic module is requested but
CFLAGS_DYNAMIC is not defined.

src/deliver.c: log the error message when unlink(spoolname) fails

src/transports/smtp.c: log LMTP confirmation same as SMTP

src/dbfn.c: write lock aquisition failures to the panic log

CONTRIBUTING: correct expansion of GPL

Bugzilla #1067 - DKIM: Fix relaxed header canon for headers ending with whitespace.

Include <dlfcn.h> only when necessary

Add dynamic lookup support

Fixed: bug #139

DKIM ACL Documentation

Fixes: bug #929

Fixes: bug #1002 - Message loss when using multiple deliveries

LDAP Authetication documentation example syntax fix

Fixes: bug #999

Reword BSMTP ACL documentation

Fixes: bug #974

Eximstats documentstion - s/delivery_time/deliver_time/

Fixes: bug #1034

drop unwanted paragraph break.

Fixes: bug #1052
Signed-off-by: Nigel Metheringham <nigel@exim.org>

fix grammar error: s/this/that/

Fixes: bug #1051
Signed-off-by: Nigel Metheringham <nigel@exim.org>

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Do not refer to TRUSTED_CONFIG_PREFIX_FILE.

Refer to TRUSTED_CONFIG_LIST instead of TRUSTED_CONFIG_PREFIX_FILE in
documentation and comments.

Inserted change notifications into the documentation source

Make the documentation cleared that TRUSTED_CONFIG_LIST is pathname one per line

Release script now generates the HTML documentation

This is really rather crude... but should work.

Updated version numbers of code and documentation

Merge branch 'master' of ssh://git.exim.org/home/git/exim

Stripped old HTML doc generation - will add new HTML gen soon

Turn TRUSTED_CONFIG_PREFIX_LIST into TRUSTED_CONFIG_LIST. No prefix or regexes

Updated mk_exim_release.pl to work with git

However this still builds docs as before - ie it does
not use the new HTML generation.  Will work on that next.

Allow only Exim or CONFIGURE_OWNER to use whitelisted configs with -C

We only added TRUSTED_CONFIG_PREFIX_FILE to compensate for the enforcing
of ALT_CONFIG_ROOT_ONLY. Let's not open it up any further than we need to;
other users don't get to make use of it.

Kil va_copy(). It isn't present on some ancient systems.

Implement -D whitelist invoking user restriction.

Document WHITELIST_D_MACROS.

doc-txt updates for the security changes

Implement -D filtering, first pass.

Document the change to system_filter_user's default.

Change the default for system_filter_user.

If the system filter needs to be run as root, let that be explicitly
configured.  The default is now the Exim run-time user.

Document this, and a couple of other points, in IncompatibleChanges.

Allow only absolute paths in TRUSTED_CONFIG_PREFIX_LIST, fix store leak

Set FD_CLOEXEC on SMTP sockets after forking to handle the connection.

Add TRUSTED_CONFIG_PREFIX_FILE option

(Bug 1044, CVE-2010-4345)

Remove ALT_CONFIG_ROOT_ONLY build option, effectively making it always true.

We *never* want the Exim user to be able to specify arbitrary configuration
files. Don't let them build it that way.

(Bug 1044, CVE-2010-4345)

Check configure file permissions even for non-default files if still privileged

(Bug 1044, CVE-2010-4345)

Don't allow a configure file which is writeable by the Exim user or group

(Bug 1044, CVE-2010-4345)

Add Valgrind hooks for memory pools

It's useful to tell Valgrind when memory is undefined because it's been
freed by store_reset(), and when it's not supposed to be accessed because
although it's been allocated for the store it hasn't actually been given
out by store_get() yet.

OpenSSL and XSL changes documented.

Plus typo fixed.

Document the ClamAV ExtendedDetectionInfo response handling.

OpenSSL 1.0.0 const fix for SSL_get_current_cipher

OpenSSL 1.0.0 changes SSL_get_current_cipher()'s return value to include
const.  It looks like a safe change for older OpenSSL, so treat it
appropriately and cast as needed.

Guidance on contributing to Exim.

Use public http: URLs for XSL includes.

Adjust OS-Fixups, document how this works in HowItWorks.txt

Rework clamd response handling to be more robust.

In particular, clamd's ExtendedDetectionInfo option broke our parsing.

Merge ssh://tahini.csx.cam.ac.uk/home/git/exim

Somehow in learning how to use git I lost half the changes needed to fix the collision between 0383.f and 0383.F on HFS+.  this is the second half of 04a45836676516936d791202928e249b711c03ee

Bugzilla #1006: Keep EHLO attributes in case STARTTLS errors are ignored

Applied patch submitted by Micha Lenk. Thanks!

The test architecture can't support having the testsuite user and the Exim user the same.  restrict it in runtest and add a note about it in the README

Change to allow test 0383 to work on HFS+ (non-case-sensitive FS)

Fix malware regression for cmdline scanner introduced in PP/08.
Notification from Dr Andrew Aitchison.

(Also: make the PP/08 description more complete)

added expansion tests for bool{} and bool_lax{}

print sizeof(off_t) in initial -bV output.  Refuse to tun tests is sizeof(off_t) > 32.

Clarify that the ACL framework is not invoked for -bmalware, so that using
ACL variables in av_scanner blindly will not work.

Remove logic branch which can use PRIdMAX for SIZE_T_FMT because it fails
when size_t is 32-bit but the system supports 64-bit integers.

account for new information TLS log line added in tls-openssl.c 1.23

removed extraneous "\n" from the end of some log_write lines, removed "magic" string " => " from a non-delivery log line

Add tcp_wrappers_daemon_name (closes: bug #278)
(I honestly have no memory of writing this patch...)

iaddressing bug 966 and my own concerns, stop sending non-panic error to panic log in dkim.c

Minor doc updates:
 * -bmalware, note that not running as invoking user and emphasize that it's
   for debugging Exim, not for general scanning.
 * permit_codedump ?  coRedump.
 * Anon SSL lacking cert has been confirmed, fix works, remove the
   "(I believe)" (which also might have been inferred to mean I did the
   diagnosis; I didn't, I just convinced myself that Martin's analysis was
   correct).

another change related to Date/Message-Id order, just took me a while to realize how it was related.

log/5101 - header order, plus new wording for appendfile to dir from MBX security checks
stdout/0390 - allow for new option permit_coredump in output (from bug 834)

Run when EXIM_USER=notroot specified.

For the new SIZE_T_FMT, if not C99 then our size_t conversion specifier
should use PRIdMAX; this was disabled because I was testing the other logic
and forgot to restore before commit.  Bleh, sorry.
Add #if to protect against unused variable complaints for this too.

Both bool{} and bool_lax{} should ignore trailing whitespace.

Added bool_lax{} expansion operator, which uses Router condition logic to
determine whether or not a string is true.
Switch the multiple-condition logic to use bool_lax{}.
Add note where we combine multiple conditions regarding the memory leak.

Allow Routers to have multiple conditions, IF each one yields a strict bool.
Fixes: #816

Clean up compiler warnings from { gcc -Wall }, many of which I introduced with
the ClamAV and openssl_options patches in this release.

Logic in buildconfig.c for adjusting some print format strings assumed that
long ints were four bytes; adjust to test this against reality, to remove
spurious warnings on my dev box (FreeBSD/amd64).

Note: this commit adds a buildconfig.h dependency upon inttypes.h, which was in
SUSv2, so should be safe.

Build without WITH_CONTENT_SCAN.
Broken by -bmalware option added while reworking ClamAV to new API.
Path from Andreas Metzler (adjusted slightly).

No longer permit the exim user to be root.  Fixes: #752

Implement --version.  Fixes: #973