Changes to chapter 39 (exiscan)

Filled out some 4.44 change messages, added CAN numbers to 4.50 ones

Version to 4.47 for the next snapshot.

Incorporated the 4.44 ChangeLog into the main ChangeLog so that a
historical record is preserved. It is separate from the 4.50 entries,
many of which are duplicates, and there's an explanation about why.

Don't send QUIT after a timeout in a callout connection.

Fix what I broke when adding the 127.0.0.2 test-harness feature.

Add the unwanted input to the log line for a synchronization error right
at the start of an SMTP session (so it's the same as other cases).

The patch to support LDAP_SEARCH_RES_REFERENCE was unconditional; it
seems that some versions of LDAP don't have this (e.g. OpenLDAP v1, which is
of course pretty old, but some people still use it). I've modified the
patch to exclude the functionality when the macro isn't defined.

(1) Get rid of compiler warnings (a) in expand.c on 64-bit systems (b) in
malware.c where there was a %hu and an int variable in sscanf(). (2)
Remove an email address from David Saez's email address in malware.c
(best not to have emails in public code these days). (3) Added a credit
to David S to ACKNOWLEDGMENTS.

Use "system" message for $acl_verify_message if there is no "user"
message.

Fixed typo in comment ("is" for "it").

Changed "legit" to "legitimate" in the fakereject message (blame Tony
for complaining :-)

Restrict control=no_mbox-unspool to those ACLs that receive messages.

Fix compiler warnings in acl.c for bitmaps specified as ~something in
unsigned ints.

Corrected typo in updated OS/Makefile-GNU configuration file.

(1) The flags in acl.c for fakereject allowed it in too many places. It
is now allowed only when receiving a message. (2) There was a redundant
setting of fake_reject=FALSE in spool_in.c.

host_aton() was not handling scoped IPv6 addresses correctly.

Corrected several mis-calls of is_ip_address() that treated the result
as a boolean instead of an int.

Updated filter source; preliminary update of ACL chapter and addition of
new content scanning chapter in the main doc source; updated
ACKNOWLEDGMENTS from Tom's list for the virus scanners.

Include note about exicyclog and keeping more than 99 back copies.

Created new doc file containing specs for the experimental features,
taken from Tom's original document.

Reset separator char after string_nextinlist() calls

Added patches for remote clamd operation and improved drwebd error handling. Contributed by Alex Miller

Added the hosts_max_try_hardlimit option. (The removed file is left over
from a previous update; I screwed up the CVS-ing.)

Data saved for $host_data after a lookup involving a named host list was
corrupted if there was more than one message in an SMTP session.

A call to exiwhat no longer cuts short ACL delays set by the "delay"
modifier.

Need to initialize getloadavg() as root in the daemon when
deliver_drop_privilege is set, for the benefit of the queue runner.

Updated configuration for GNU; added configuration for GNUkFreeBSD and
GNUkNetBSD.

(1) Typo in redirect router; (2) Update version number; (3) Update
copyright notices to 2005.

Missed out a couple of fakereject cases that were still #ifdef-ed with
CONTENT_SCAN.

The various Exiscan tests were locked out from the non-SMTP ACL, but
there is no reason why they should not be available (and they apparently
were available in the original patch).

(1) Setting WITH_OLD_DEMIME without WITH_CONTENT_SCAN caused eximon not
to compile; WITH_CONTENT_SCAN was forced in exim.h in this case, but was
not forced for eximon. I have updated buildconfig so that it gets set in
config.h and thus applies everywhere. (2) Fixed some compiler warnings
in the demime.c module. (3) Moved the inclusion of config.h above the
inclusion of mytypes.h and macros.h for eximon, to be the same as for
exim itself.

Removed the WITH_CONTENT_SCAN conditionals from the fakereject feature of
Exiscan, since it doesn't really depend on content scanning.

Fix buffer overflow vulnerability in spa_base64_to_bits() function.

The host_aton() buffer overflow: (1) Put a check in host_aton() itself;
(2) noted that the exploit via dnsdb/ptr lookup was already fortuitously
fixed by a previous change.

(1) Tidies to the Wishlist; (2) Extra testing for duplicates and
Envelope-to.

Added $smtp_active_hostname as a variable, and used it in smtp_banner
default value instead of $primary_hostname.

If more than 99 log files are being kept, exicyclog now uses 001, 002,
... instead of 01, 02, ...

(1) Doubled size of debug_buffer. (2) Output from SpamAssassin test
changed because 96 hours have passed. Shows up the difficulty of testing
such things...

Improve error message when ldap_search fails in OpenLDAP or Solaris
LDAP.

Check dnsdb PTR key for IP address before playing the reversing game.

Alex Miller's patch for LDAP_RES_SEARCH_REFERENCE.

Credit Wouter Verhelst with V1.35

Fix exigrep for "Completed" lines that have additional data (as a result
of +queue_time_overall).

Exim crashed for a huge SMTP error response; increasing big_buffer_size
for Exiscan made this go away, but I've now also made the code more
robust.

Sieve buglet: now it explicitly sets From: when generating an autoreply.

(1) Fixed the cipher preference order for GnuTLS client usage.
(2) Fixed a small bug in the runtest script.

Added Tony's defer_foo patch to dnsdb lookups.

A forced expansion failure in the SPA authenticator is now treated the
same as in other authenticators (it moves to the next authenticator).

1.34 - allow eximstats to parse syslog lines as well as mainlog lines
1.35 - bugfix such that pie charts by volume are generated correctly

When checking for a message's continued existence, exim_tidydb was not
looking in the split spool subdirectories.

Reset locale after calling embedded Perl, in case it was changed.

1. Tidies to get rid of compiler warnings from the merged Exiscan files.
2. Fixed a very old bug that sometimes lost the final 221 message after
QUIT.

Merge from EXISCAN branch.

More wishes.

Another wish.

Another new wish.

OpenSSL: make same change as recently for GnuTLS: show file name if
certificate or key file setup fails, because the message from the
library doesn't. Also, update all the OpenSSL TLS tests, which hadn't
been tried for a while, for various recent changes such as protocol
names.

Don't defer for lists of domains (in dnsdb and dnslists sublists) if any
of the other items is actually found.

Allow both -bf and -bF in the same test run.

Tidy up some Wish List entries.

Expand error message when GnuTLS has problems setting up cert/key files.

Fix typo in NewStuff.

Another wish.

Testing tweak to improve repeatability.

Added the mxh lookup type for dnsdb lookups.

Another wish.

Installed eximstats 1.33

Added log_selector=+queue_time_overall.

Allow a list of IP addresses or names to follow / in a dnslists ACL
condition.

Additions to dnsdb lookups: (a) list of domains (b) change output
separator.

Implement the pseudo dns lookup type "zns" for ${dnsdb lookups.

Canonicize IPv6 addresses that are supplied via -bh or -bhc.

errors_to on a router was being ignored for bounce messages.

Minor tidy to the recent LDAP fix to keep the code for Netscape SDK
unchanged (though I cannot test it).

Allow both strings to be omitted in "${if" expansions: the true value
defaults to "true", which works nicely for "condition" conditions (the
false value has always defaulted to "").

Respect the 75-character limit for "encoded words" when doing RFC 2047
encoding, and increase the buffer size for ${rfc2047: expansion.

Added $spool_size, $log_size, $spool_inodes, $log_inodes.

Exim went into a mad DNS lookup loop when doing a callout where the
host was specified on the transport, if the DNS lookup yielded more than
one IP address.

fixed ordering of FAQ TOC page

(a) Allow an empty sender to be matched against a lookup in an address list.
Previously the only cases considered were a regular expression, or an
empty pattern.

(b) Fixed typo in the FAQ ("prefix" should have been "local_part_prefix").

initial FAQ 2 wiki script

fixed typo

Installed the latest exipick (20041110) from John Jetmore, with changes
as follows:

* 20041102 added optimization when searching for specific message_id
* 20041103 changed '=' op to be caseless by dafault, added --caseful
           option to change this back to old behavior.
* 20041110 fixed recipients_del POD to note that it includes generated
           addrs
* 20041110 added variables recipients_{del,undel}_count

Added HAVE_SYS_STATVFS_H to the os.h file for Linux, as it has had this
support for a long time. Removed HAVE_SYS_VFS_H.

Recalculate maildirsize data if either of the totals comes out negative,
as this indicates a broken file.

(a) Changed to using os_restarting_signal() for setting the SIGCHLD
handler in the daemon; this may fix Tony's obscure occasional crashes.
(b) Reduced the size of the race window for noticing SIGCHLDs (note: it
is not *essential* for Exim to see them).

Two minor tidies to the recent ldap.c changes.

(1) $host_address now contains the target address when processing
ignore_target_hosts; (2) extremely unlikely bug in ipliteral router
fixed: if ignore_target_hosts called for a host name, it wouldn't have
worked.

Set protocol to "smtps" after EHLO->STARTTLS->HELO (was "smtp").

Michael Haardt's patch to do LDAP network timeouts better for OpenLDAP.

New CYGWIN Makefile, supplied by Pierre Humblet.

Added -dd for daemon debugging.

Another wish.

Added $sender_verify_failure and $recipient_verify_failure to
distinguish in more detail what has failed (e.g. MAIL vs RCPT in a
callout).

A "Completed" log line is now written for messages that are removed from
the spool by the -Mrm option.

If FIXED_NEVER_USERS was defined but empty, Exim erroneously assumed it
contained uid 0.

Added a "connect=<time>" option to callouts, for a separate timeout
for making the connection. As part of this, the debug output for a
failed connection now shows the error, and, if it's a timeout, the
timeout value.

Added forbid_exim_filter and forbid_sieve_filter to the redirect router.

More wishes.