Two-phase queue run perf: parallel processes for phase one
[users/jgh/exim.git] / src / README.UPDATING
1 This document contains detailed information about incompatibilities that might
2 be encountered when upgrading from one release of Exim to another. The
3 information is in reverse order of release numbers. Mostly these are relatively
4 small points, and the configuration file is normally upwards compatible, but
5 there have been two big upheavals...
6
7
8 **************************************************************************
9 * There was a big reworking of the way mail routing works for release    *
10 * 4.00. Previously used "directors" were abolished, and all routing is   *
11 * now done by routers. Policy controls for incoming mail are now done by *
12 * Access Control Lists instead of separate options. All this means that  *
13 * pre-4.00 configuration files have to be massively converted. If you    *
14 * are coming from a 3.xx release, please read the document in the file   *
15 * doc/Exim4.upgrade, and allow some time to complete the upgrade.        *
16 *                                                                        *
17 * There was a big reworking of the way domain/host/net/address lists are *
18 * handled at release 3.00. If you are coming from a pre-3.00 release, it *
19 * might be easier to start again from a default configuration. Otherwise *
20 * you need to read doc/Exim3.upgrade and do a double conversion of your  *
21 * configuration file.                                                    *
22 **************************************************************************
23
24
25 The rest of this document contains information about changes in 4.xx releases
26 that might affect a running system.
27
28
29 Exim version 4.94
30 -----------------
31
32 Some Transports now refuse to use tainted data in constructing their delivery
33 location; this WILL BREAK configurations which are not updated accordingly.
34
35 In particular: any Transport use of $local_user which has been relying upon
36 check_local_user far away in the Router to make it safe, should be updated to
37 replace $local_user with $local_part_verified.
38
39
40 Exim version 4.93
41 -----------------
42
43 For a detailed list of changes that might affect Exim's operation with
44 an unchanged configuration, please see the doc/ChangeLog file.
45
46 Build:
47
48  * SUPPORT_DMARC replaces EXPERIMENTAL_DMARC
49
50  * DISABLE_TLS replaces SUPPORT_TLS
51
52  * Bump the version for the local_scan API.
53
54 Runtime:
55
56  * smtp transport option hosts_try_fastopen defaults to "*".
57
58  * DNSSec is requested (not required) for all queries. (This seemes to
59    ask for trouble if your resolver is a systemd-resolved.)
60
61  * Generic router option retry_use_local_part defaults to "true" under specific
62    pre-conditions.
63
64  * Introduce a tainting mechanism for values read from untrusted sources.
65
66  * Use longer file names for temporary spool files (this avoids
67    name conflicts with spool on a shared file system).
68
69  * Use dsn_from main config option (was ignored previously).
70
71
72 Exim version 4.92
73 -----------------
74
75  * Exim used to manually follow CNAME chains, to a limited depth.  In this
76    day-and-age we expect the resolver to be doing this for us, so the loop
77    is limited to one retry unless the (new) config option dns_cname_loops
78    is changed.
79
80 Exim version 4.91
81 -----------------
82
83  * DANE and SPF have been promoted from Experimental to Supported status, thus
84    the options to enable them in Local/Makefile have been renamed.
85    See current src/EDITME for full details, including changes in dependencies,
86    but loosely: replace EXPERIMENTAL_SPF with SUPPORT_SPF and replace
87    EXPERIMENTAL_DANE with SUPPORT_DANE.
88
89  * Ancient ClamAV stream support, long deprecated by ClamAV, has been removed;
90    if you were building with WITH_OLD_CLAMAV_STREAM enabled then your problems
91    have marginally increased.
92
93  * A number of logging changes; if relying upon the previous DKIM additional
94    log-line, explicit log_selector configuration is needed to keep it.
95
96  * Other incompatible changes in EXPERIMENTAL_* features, read NewStuff and
97    ChangeLog carefully if relying upon an experimental feature such as DMARC.
98    Note that this includes changes to SPF as it was promoted into Supported.
99
100
101 Exim version 4.89
102 -----------------
103
104  * SMTP CHUNKING in Exim 4.88 did not ensure that received mails had a final
105    newline; attempts to deliver such messages onwards to non-chunking hosts
106    would probably hang, as Exim does not insert the newline before a ".".
107    In 4.89, the newline is added upon receipt.  For already-received messages
108    in your queue, try util/chunking_fixqueue_finalnewlines.pl
109    to walk the queue, fixing any affected messages.  Note that because a
110    delivery attempt will be hanging, attempts to lock the messages for fixing
111    them will stall; stopping all queue-runners temporarily is recommended.
112
113  * OpenSSL: oldest supported release series is now 1.0.2, which is the oldest
114    supported by the OpenSSL project.  If you can build Exim with an older
115    release series, congratulations.  If you can't, then upgrade.
116    The file doc/openssl.txt contains instructions for installing a current
117    OpenSSL outside the system library paths and building Exim to use it.
118
119  * FreeBSD: we now always use the system iconv in libc, as all versions of
120    FreeBSD supported by the FreeBSD project provide this functionality.
121
122
123 Exim version 4.88
124 -----------------
125
126  * The "demime" ACL condition, deprecated for the past 10 years, has
127    now been removed.
128
129  * Old GnuTLS configuration options "gnutls_require_kx", "gnutls_require_mac",
130    and "gnutls_require_protocols" have now been removed.  (Inoperative from
131    4.80, per below; logging warnings since 4.83, again per below).
132
133
134 Exim version 4.83
135 -----------------
136
137  * SPF condition results renamed "permerror" and "temperror".  The old
138    names are still accepted for back-compatibility, for this release.
139
140  * TLS details are now logged on rejects, subject to log selectors.
141
142  * Items in headers_remove lists must now have any embedded list-separators
143    doubled.
144
145  * Attempted use of the deprecated options "gnutls_require_kx" et. al.
146    now result in logged warning.
147
148
149 Exim version 4.82
150 -----------------
151
152  * New option gnutls_allow_auto_pkcs11 defaults false; if you have GnuTLS 2.12.0
153    or later and do want PKCS11 modules to be autoloaded, then set this option.
154
155  * A per-transport wait-<name> database is no longer updated if the transport
156    sets "connection_max_messages" to 1, as it can not be used and causes
157    unnecessary serialisation and load.  External tools tracking the state of
158    Exim by the hints databases may need modification to take this into account.
159
160  * The av_scanner option can now accept multiple clamd TCP targets, all other
161    setting limitations remain.
162
163
164 Exim version 4.80
165 -----------------
166
167  * BEWARE backwards-incompatible changes in SSL libraries, thus the version
168    bump.  See points below for details.
169    Also an LDAP data returned format change.
170
171  * The value of $tls_peerdn is now print-escaped when written to the spool file
172    in a -tls_peerdn line, and unescaped when read back in.  We received reports
173    of values with embedded newlines, which caused spool file corruption.
174
175    If you have a corrupt spool file and you wish to recover the contents after
176    upgrading, then lock the message, replace the new-lines that should be part
177    of the -tls_peerdn line with the two-character sequence \n and then unlock
178    the message.  No tool has been provided as we believe this is a rare
179    occurrence.
180
181  * For OpenSSL, SSLv2 is now disabled by default.  (GnuTLS does not support
182    SSLv2).  RFC 6176 prohibits SSLv2 and some informal surveys suggest no
183    actual usage.  You can re-enable with the "openssl_options" Exim option,
184    in the main configuration section.  Note that supporting SSLv2 exposes
185    you to ciphersuite downgrade attacks.
186
187  * With OpenSSL 1.0.1+, Exim now supports TLS 1.1 and TLS 1.2.  If built
188    against 1.0.1a then you will get a warning message and the
189    "openssl_options" value will not parse "no_tlsv1_1": the value changes
190    incompatibly between 1.0.1a and 1.0.1b, because the value chosen for 1.0.1a
191    is infelicitous.  We advise avoiding 1.0.1a.
192
193    "openssl_options" gains "no_tlsv1_1", "no_tlsv1_2" and "no_compression".
194
195    COMPATIBILITY WARNING: The default value of "openssl_options" is no longer
196    "+dont_insert_empty_fragments".  We default to "+no_sslv2".
197    That old default was grandfathered in from before openssl_options became a
198    configuration option.
199    Empty fragments are inserted by default through TLS1.0, to partially defend
200    against certain attacks; TLS1.1+ change the protocol so that this is not
201    needed.  The DIEF SSL option was required for some old releases of mail
202    clients which did not gracefully handle the empty fragments, and was
203    initially set in Exim release 4.31 (see ChangeLog, item 37).
204
205    If you still have affected mail-clients, and you see SSL protocol failures
206    with this release of Exim, set:
207      openssl_options = +dont_insert_empty_fragments
208    in the main section of your Exim configuration file.  You're trading off
209    security for compatibility.  Exim is now defaulting to higher security and
210    rewarding more modern clients.
211
212    If the option tls_dhparams is set and the parameters loaded from the file
213    have a bit-count greater than the new option tls_dh_max_bits, then the file
214    will now be ignored.  If this affects you, raise the tls_dh_max_bits limit.
215    We suspect that most folks are using dated defaults and will not be affected.
216
217  * Ldap lookups returning multi-valued attributes now separate the attributes
218    with only a comma, not a comma-space sequence.  Also, an actual comma within
219    a returned attribute is doubled.  This makes it possible to parse the
220    attribute as a comma-separated list.  Note the distinction from multiple
221    attributes being returned, where each one is a name=value pair.
222
223    If you are currently splitting the results from LDAP upon a comma, then you
224    should check carefully to see if adjustments are needed.
225
226    This change lets cautious folks distinguish "comma used as separator for
227    joining values" from "comma inside the data".
228
229  * accept_8bitmime now defaults on, which is not RFC compliant but is better
230    suited to today's Internet.  See http://cr.yp.to/smtp/8bitmime.html for a
231    sane rationale.  Those who wish to be strictly RFC compliant, or know that
232    they need to talk to servers that are not 8-bit-clean, now need to take
233    explicit configuration action to default this option off.  This is not a
234    new option, you can safely force it off before upgrading, to decouple
235    configuration changes from the binary upgrade while remaining RFC compliant.
236
237  * The GnuTLS support has been mostly rewritten, to use APIs which don't cause
238    deprecation warnings in GnuTLS 2.12.x.  As part of this, these three options
239    are no longer supported:
240
241      gnutls_require_kx
242      gnutls_require_mac
243      gnutls_require_protocols
244
245    Their functionality is entirely subsumed into tls_require_ciphers.  In turn,
246    tls_require_ciphers is no longer an Exim list and is not parsed by Exim, but
247    is instead given to gnutls_priority_init(3), which expects a priority string;
248    this behaviour is much closer to the OpenSSL behaviour.  See:
249
250      http://www.gnutls.org/manual/html_node/Priority-Strings.html
251
252    for fuller documentation of the strings parsed.  The three gnutls_require_*
253    options are still parsed by Exim and, for this release, silently ignored.
254    A future release will add warnings, before a later still release removes
255    parsing entirely and the presence of the options will be a configuration
256    error.
257
258    Note that by default, GnuTLS will not accept RSA-MD5 signatures in chains.
259    A tls_require_ciphers value of NORMAL:%VERIFY_ALLOW_SIGN_RSA_MD5 may
260    re-enable support, but this is not supported by the Exim maintainers.
261    Our test suite no longer includes MD5-based certificates.
262
263    This rewrite means that Exim will continue to build against GnuTLS in the
264    future, brings Exim closer to other GnuTLS applications and lets us add
265    support for SNI and other features more readily.  We regret that it wasn't
266    feasible to retain the three dropped options.
267
268  * If built with TLS support, then Exim will now validate the value of
269    the main section tls_require_ciphers option at start-up.  Before, this
270    would cause a STARTTLS 4xx failure, now it causes a failure to start.
271    Running with a broken configuration which causes failures that may only
272    be left in the logs has been traded off for something more visible.  This
273    change makes an existing problem more prominent, but we do not believe
274    anyone would deliberately be running with an invalid tls_require_ciphers
275    option.
276
277    This also means that library linkage issues caused by conflicts of some
278    kind might take out the main daemon, not just the delivery or receiving
279    process.  Conceivably some folks might prefer to continue delivering
280    mail plaintext when their binary is broken in this way, if there is a
281    server that is a candidate to receive such mails that does not advertise
282    STARTTLS.  Note that Exim is typically a setuid root binary and given
283    broken linkage problems that cause segfaults, we feel it is safer to
284    fail completely.  (The check is not done as root, to ensure that problems
285    here are not made worse by the check).
286
287  * The "tls_dhparam" option has been updated, so that it can now specify a
288    path or an identifier for a standard DH prime from one of a few RFCs.
289    The default for OpenSSL is no longer to not use DH but instead to use
290    one of these standard primes.  The default for GnuTLS is no longer to use
291    a file in the spool directory, but to use that same standard prime.
292    The option is now used by GnuTLS too.  If it points to a path, then
293    GnuTLS will use that path, instead of a file in the spool directory;
294    GnuTLS will attempt to create it if it does not exist.
295
296    To preserve the previous behaviour of generating files in the spool
297    directory, set "tls_dhparam = historic".  Since prior releases of Exim
298    ignored tls_dhparam when using GnuTLS, this can safely be done before
299    the upgrade.
300
301
302
303 Exim version 4.77
304 -----------------
305
306  * GnuTLS will now attempt to use TLS 1.2 and TLS 1.1 before TLS 1.0 and SSL3,
307    if supported by your GnuTLS library.  Use the existing
308    "gnutls_require_protocols" option to downgrade this if that will be a
309    problem.  Prior to this release, supported values were "TLS1" and "SSL3",
310    so you should be able to update configuration prior to update.
311
312     [nb: gnutls_require_protocols removed in Exim 4.80, instead use
313          tls_require_ciphers to provide a priority string; see notes above]
314
315  * The match_<type>{string1}{string2} expansion conditions no longer subject
316    string2 to string expansion, unless Exim was built with the new
317    "EXPAND_LISTMATCH_RHS" option.  Too many people have inadvertently created
318    insecure configurations that way.  If you need the functionality and turn on
319    that build option, please let the developers know, and know why, so we can
320    try to provide a safer mechanism for you.
321
322    The match{}{} expansion condition (for regular expressions) is NOT affected.
323    For match_<type>{s1}{s2}, all list functionality is unchanged.  The only
324    change is that a '$' appearing in s2 will not trigger expansion, but instead
325    will be treated as a literal $ sign; the effect is very similar to having
326    wrapped s2 with \N...\N.  If s2 contains a named list and the list definition
327    uses $expansions then those _will_ be processed as normal.  It is only the
328    point at which s2 is read where expansion is inhibited.
329
330    If you are trying to test if two email addresses are equal, use eqi{s1}{s2}.
331    If you are testing if the address in s1 occurs in the list of items given
332    in s2, either use the new inlisti{s1}{s2} condition (added in 4.77) or use
333    the pre-existing forany{s2}{eqi{$item}{s1}} condition.
334
335
336 Exim version 4.74
337 -----------------
338
339  * The integrated support for dynamically loadable lookup modules has an ABI
340    change from the modules supported by some OS vendors through an unofficial
341    patch. Don't try to mix & match.
342
343  * Some parts of the build system are now beginning to assume that the host
344    environment is POSIX. If you're building on a system where POSIX tools are
345    not the default, you might have an easier time if you switch to the POSIX
346    tools.  Feel free to report non-POSIX issues as a request for a feature
347    enhancement, but if the POSIX variants are available then the fix will
348    probably just involve some coercion.  See the README instructions for
349    building on such hosts.
350
351
352 Exim version 4.73
353 -----------------
354
355  * The Exim run-time user can no longer be root; this was always
356    strongly discouraged, but is now prohibited both at build and
357    run-time.  If you need Exim to run routinely as root, you'll need to
358    patch the source and accept the risk.  Here be dragons.
359
360  * Exim will no longer accept a configuration file owned by the Exim
361    run-time user, unless that account is explicitly the value in
362    CONFIGURE_OWNER, which we discourage.  Exim now checks to ensure that
363    files are not writeable by other accounts.
364
365  * The ALT_CONFIG_ROOT_ONLY build option is no longer optional and is forced
366    on; the Exim user can, by default, no longer use -C/-D and retain privilege.
367    Two new build options mitigate this.
368
369     * TRUSTED_CONFIG_LIST defines a file containing a whitelist of config
370       files that are trusted to be selected by the Exim user; one per line.
371       This is the recommended approach going forward.
372
373     * WHITELIST_D_MACROS defines a colon-separated list of macro names which
374       the Exim run-time user may safely pass without dropping privileges.
375       Because changes to this involve a recompile, this is not the recommended
376       approach but may ease transition.  The values of the macros, when
377       overridden, are constrained to match this regex: ^[A-Za-z0-9_/.-]*$
378
379  * The system_filter_user option now defaults to the Exim run-time user,
380    rather than root.  You can still set it explicitly to root and this
381    can be done with prior versions too, letting you roll versions
382    without needing to change this configuration option.
383
384  * ClamAV must be at least version 0.95 unless WITH_OLD_CLAMAV_STREAM is
385    defined at build time.
386
387
388 Exim version 4.70
389 -----------------
390
391 1. Experimental Yahoo! Domainkeys support has been dropped in this release.
392 It has been superseded by a native implementation of its successor DKIM.
393
394 2. Up to version 4.69, Exim came with an embedded version of the PCRE library.
395 As of 4.70, this is no longer the case. To compile Exim, you will need PCRE
396 installed. Most OS distributions have ready-made library and development
397 packages.
398
399
400 Exim version 4.68
401 -----------------
402
403 1. The internal implementation of the database keys that are used for ACL
404 ratelimiting has been tidied up. This means that an update to 4.68 might cause
405 Exim to "forget" previous rates that it had calculated, and reset them to zero.
406
407
408 Exim version 4.64
409 -----------------
410
411 1. Callouts were setting the name used for EHLO/HELO from $smtp_active_
412 hostname. This is wrong, because it relates to the incoming message (and
413 probably the interface on which it is arriving) and not to the outgoing
414 callout (which could be using a different interface). This has been
415 changed to use the value of the helo_data option from the smtp transport
416 instead - this is what is used when a message is actually being sent. If
417 there is no remote transport (possible with a router that sets up host
418 addresses), $smtp_active_hostname is used. This change is mentioned here in
419 case somebody is relying on the use of $smtp_active_hostname.
420
421 2. A bug has been fixed that might just possibly be something that is relied on
422 in some configurations. In expansion items such as ${if >{xxx}{yyy}...} an
423 empty string (that is {}) was being interpreted as if it was {0} and therefore
424 treated as the number zero. From release 4.64, such strings cause an error
425 because a decimal number, possibly followed by K or M, is required (as has
426 always been documented).
427
428 3. There has been a change to the GnuTLS support (ChangeLog/PH/20) to improve
429 Exim's performance. Unfortunately, this has the side effect of being slightly
430 non-upwards compatible for versions 4.50 and earlier. If you are upgrading from
431 one of these earlier versions and you use GnuTLS, you must remove the file
432 called gnutls-params in Exim's spool directory. If you don't do this, you will
433 see this error:
434
435   TLS error on connection from ... (DH params import): Base64 decoding error.
436
437 Removing the file causes Exim to recompute the relevant encryption parameters
438 and cache them in the new format that was introduced for release 4.51 (May
439 2005). If you are upgrading from release 4.51 or later, there should be no
440 problem.
441
442
443 Exim version 4.63
444 -----------------
445
446 When an SMTP error message is specified in a "message" modifier in an ACL, or
447 in a :fail: or :defer: message in a redirect router, Exim now checks the start
448 of the message for an SMTP error code. This consists of three digits followed
449 by a space, optionally followed by an extended code of the form n.n.n, also
450 followed by a space. If this is the case and the very first digit is the same
451 as the default error code, the code from the message is used instead. If the
452 very first digit is incorrect, a panic error is logged, and the default code is
453 used. This is an incompatible change, but it is not expected to affect many (if
454 any) configurations. It is possible to suppress the use of the supplied code in
455 a redirect router by setting the smtp_error_code option false. In this case,
456 any SMTP code is quietly ignored.
457
458
459 Exim version 4.61
460 -----------------
461
462 1. The default number of ACL variables of each type has been increased to 20,
463 and it's possible to compile Exim with more. You can safely upgrade to this
464 release if you already have messages on the queue with saved ACL variable
465 values. However, if you downgrade from this release with messages on the queue,
466 any saved ACL values they may have will be lost.
467
468 2. The default value for rfc1413_query_timeout has been changed from 30s to 5s.
469
470
471 Exim version 4.54
472 -----------------
473
474 There was a problem with 4.52/TF/02 in that a "name=" option on control=
475 submission terminated at the next slash, thereby not allowing for slashes in
476 the name. This has been changed so that "name=" takes the rest of the string as
477 its data. It must therefore be the last option.
478
479
480 Version 4.53
481 ------------
482
483 If you are using the experimental Domain Keys support, you must upgrade to
484 at least libdomainkeys 0.67 in order to run this release of Exim.
485
486
487 Version 4.51
488 ------------
489
490 1. The format in which GnuTLS parameters are cached (in the file gnutls-params
491 in the spool directory) has been changed. The new format can also be generated
492 externally, so it is now possible to update the values from outside Exim. This
493 has been implemented in an upwards, BUT NOT downwards, compatible manner.
494 Upgrading should be seamless: when Exim finds that it cannot understand an
495 existing cache file, it generates new parameters and writes them to the cache
496 in the new format. If, however, you downgrade from 4.51 to a previous release,
497 you MUST delete the gnutls-params file in the spool directory, because the
498 older Exim will not recognize the new format.
499
500 2. When doing a callout as part of verifying an address, Exim was not paying
501 attention to any local part prefix or suffix that was matched by the router
502 that accepted the address. It now behaves in the same way as it does for
503 delivery: the affixes are removed from the local part unless
504 rcpt_include_affixes is set on the transport. If you have a configuration that
505 uses prefixes or suffixes on addresses that could be used for callouts, and you
506 want the affixes to be retained, you must make sure that rcpt_include_affixes
507 is set on the transport.
508
509 3. Bounce and delay warning messages no longer contain details of delivery
510 errors, except for explicit messages (e.g. generated by :fail:) and SMTP
511 responses from remote hosts.
512
513
514 Version 4.50
515 ------------
516
517 The exicyclog script has been updated to use three-digit numbers in rotated log
518 files if the maximum number to keep is greater than 99. If you are already
519 keeping more than 99, there will be an incompatible change when you upgrade.
520 You will probably want to rename your old log files to the new form before
521 running the new exicyclog.
522
523
524 Version 4.42
525 ------------
526
527 RFC 3848 specifies standard names for the "with" phrase in Received: header
528 lines when AUTH and/or TLS are in use. This is the "received protocol"
529 field. Exim used to use "asmtp" for authenticated SMTP, without any
530 indication (in the protocol name) for TLS use. Now it follows the RFC and
531 uses "esmtpa" if the connection is authenticated, "esmtps" if it is
532 encrypted, and "esmtpsa" if it is both encrypted and authenticated. These names
533 appear in log lines as well as in Received: header lines.
534
535
536 Version 4.34
537 ------------
538
539 Change 4.31/2 gave problems to data ACLs and local_scan() functions that
540 expected to see a Received: header. I have changed to yet another scheme. The
541 Received: header is now generated after the body is received, but before the
542 ACL or local_scan() is called. After they have run, the timestamp in the
543 Received: header is updated.
544
545 Thus, change (a) of 4.31/2 has been reversed, but change (b) is still true,
546 which is lucky, since I decided it was a bug fix.
547
548
549 Version 4.33
550 ------------
551
552 If an expansion in a condition on a "warn" statement fails because a lookup
553 defers, the "warn" statement is abandoned, and the next ACL statement is
554 processed. Previously this caused the whole ACL to be aborted.
555
556
557 Version 4.32
558 ------------
559
560 Change 4.31/2 has been reversed, as it proved contentious. Recipient callout
561 verification now uses <> in the MAIL command by default, as it did before. A
562 new callout option, "use_sender", has been added to request the other
563 behaviour.
564
565
566 Version 4.31
567 ------------
568
569 1. If you compile Exim to use GnuTLS, it now requires the use of release 1.0.0
570    or greater. The interface to the obsolete 0.8.x releases is no longer
571    supported. There is one externally visible change: the format for the
572    display of Distinguished Names now uses commas as a separator rather than a
573    slash. This is to comply with RFC 2253.
574
575 2. When a message is received, the Received: header line is now generated when
576    reception is complete, instead of at the start of reception. For messages
577    that take a long time to come in, this changes the meaning of the timestamp.
578    There are several side-effects of this change:
579
580     (a) If a message is rejected by a DATA or non-SMTP ACL, or by local_scan(),
581         the logged header lines no longer include the local Received: line,
582         because it has not yet been created. If the message is a non-SMTP one,
583         and the error is processed by sending a message to the sender, the copy
584         of the original message that is returned does not have an added
585         Received: line.
586
587     (b) When a filter file is tested using -bf, no additional Received: header
588         is added to the test message. After some thought, I decided that this
589         is a bug fix.
590
591     The contents of $received_for are not affected by this change. This
592     variable still contains the single recipient of a message, copied after
593     addresses have been rewritten, but before local_scan() is run.
594
595 2. Recipient callout verification, like sender verification, was using <> in
596    the MAIL FROM command. This isn't really the right thing, since the actual
597    sender may affect whether the remote host accepts the recipient or not. I
598    have changed it to use the actual sender in the callout; this means that
599    the cache record is now keyed on a recipient/sender pair, not just the
600    recipient address. There doesn't seem to be a real danger of callout loops,
601    since a callout by the remote host to check the sender would use <>.
602
603
604 Version 4.30
605 ------------
606
607 1. I have abolished timeout_DNS as an error that can be detected in retry
608    rules, because it has never worked. Despite the fact that it has been
609    documented since at least release 1.62, there was no code to support it.
610    If you have used it in your retry rules, you will now get a warning message
611    to the log and panic log. It is now treated as plain "timeout".
612
613 2. After discussion on the mailing list, Exim no longer adds From:, Date:, or
614    Message-Id: header lines to messages that do not originate locally, that is,
615    messages that have an associated sending host address.
616
617 3. When looking up a host name from an IP address, Exim now tries the DNS
618    first, and only if that fails does it use gethostbyaddr() (or equivalent).
619    This change was made because on some OS, not all the names are given for
620    addresses with multiple PTR records via the gethostbyaddr() interface. The
621    order of lookup can be changed by setting host_lookup_order.
622
623
624 Version 4.23
625 ------------
626
627 1. The new FIXED_NEVER_USERS build-time option creates a list of "never users"
628    that cannot be overridden. The default in the distributed EDITME is "root".
629    If for some reason you were (against advice) running deliveries as root, you
630    will have to ensure that FIXED_NEVER_USERS is not set in your
631    Local/Makefile.
632
633 2. The ${quote: operator now quotes an empty string, which it did not before.
634
635 3. Version 4.23 saves the contents of the ACL variables with the message, so
636    that they can be used later. If one of these variables contains a newline,
637    there will be a newline character in the spool that will not be interpreted
638    correctly by a previous version of Exim. (Exim ignores keyed spool file
639    items that it doesn't understand - precisely for this kind of problem - but
640    it expects them all to be on one line.)
641
642    So the bottom line is: if you have newlines in your ACL variables, you
643    cannot retreat from 4.23.
644
645
646 Version 4.21
647 ------------
648
649 1. The idea of the "warn" ACL verb is that it adds a header or writes to the
650    log only when "message" or "log_message" are set. However, if one of the
651    conditions was an address verification, or a call to a nested ACL, the
652    messages generated by the underlying test were being passed through. This
653    no longer happens. The underlying message is available in $acl_verify_
654    message for both "message" and "log_message" expansions, so it can be
655    passed through if needed.
656
657 2. The way that the $h_ (and $header_) expansions work has been changed by the
658    addition of RFC 2047 decoding. See the main documentation (the NewStuff file
659    until release 4.30, then the manual) for full details. Briefly, there are
660    now three forms:
661
662      $rh_xxx: and $rheader_xxx: give the original content of the header
663        line(s), with no processing at all.
664
665      $bh_xxx: and $bheader_xxx: remove leading and trailing white space, and
666        then decode base64 or quoted-printable "words" within the header text,
667        but do not do charset translation.
668
669      $h_xxx: and $header_xxx: attempt to translate the $bh_ string to a
670        standard character set.
671
672    If you have previously been using $h_ expansions to access the raw
673    characters, you should change to $rh_ instead.
674
675 3. When Exim creates an RFC 2047 encoded word in a header line, it labels it
676    with the default character set from the headers_charset option instead of
677    always using iso-8859-1.
678
679 4. If TMPDIR is defined in Local/Makefile (default in src/EDITME is
680    TMPDIR="/tmp"), Exim checks for the presence of an environment variable
681    called TMPDIR, and if it finds it is different, it changes its value.
682
683 5. Following a discussion on the list, the rules by which Exim recognises line
684    endings on incoming messages have been changed. The -dropcr and drop_cr
685    options are now no-ops, retained only for backwards compatibility. The
686    following line terminators are recognized: LF CRLF CR. However, special
687    processing applies to CR:
688
689    (i)  The sequence CR . CR does *not* terminate an incoming SMTP message,
690         nor a local message in the state where . is a terminator.
691
692    (ii) If a bare CR is encountered in a header line, an extra space is added
693         after the line terminator so as not to end the header. The reasoning
694         behind this is that bare CRs in header lines are most likely either
695         to be mistakes, or people trying to play silly games.
696
697 6. The code for using daemon_smtp_port, local_interfaces, and the -oX options
698    has been reorganized. It is supposed to be backwards compatible, but it is
699    mentioned here just in case I've screwed up.
700
701
702
703 Version 4.20
704 ------------
705
706 1. I have tidied and re-organized the code that uses alarm() for imposing time
707    limits on various things. It shouldn't affect anything, but if you notice
708    processes getting stuck, it may be that I've broken something.
709
710 2. The "arguments" log selector now also logs the current working directory
711    when Exim is called.
712
713 3. An incompatible change has been made to the appendfile transport. This
714    affects the case when it is used for file deliveries that are set up by
715    .forward and filter files. Previously, any settings of the "file" or
716    "directory" options were ignored. It is hoped that, like the address_file
717    transport in the default configuration, these options were never in fact set
718    on such transports, because they were of no use.
719
720    Now, if either of these options is set, it is used. The path that is passed
721    by the router is in $address_file (this is not new), so it can be used as
722    part of a longer path, or modified in any other way that expansion permits.
723
724    If neither "file" nor "directory" is set, the behaviour is unchanged.
725
726 4. Related to the above: in a filter, if a "save" command specifies a non-
727    absolute path, the value of $home/ is pre-pended. This no longer happens if
728    $home is unset or is set to an empty string.
729
730 5. Multiple file deliveries from a filter or .forward file can never be
731    batched; the value of batch_max on the transport is ignored for file
732    deliveries. I'm assuming that nobody ever actually set batch_max on the
733    address_file transport - it would have had odd effects previously.
734
735 6. DESTDIR is the more common variable that ROOT for use when installing
736    software under a different root filing system. The Exim install script now
737    recognizes DESTDIR first; if it is not set, ROOT is used.
738
739 7. If DESTDIR is set when installing Exim, it no longer prepends its value to
740    the path of the system aliases file that appears in the default
741    configuration (when a default configuration is installed). If an aliases
742    file is actually created, its name *does* use the prefix.
743
744
745 Version 4.14
746 ------------
747
748 1. The default for the maximum number of unknown SMTP commands that Exim will
749 accept before dropping a connection has been reduced from 5 to 3. However, you
750 can now change the value by setting smtp_max_unknown_commands.
751
752 2. The ${quote: operator has been changed so that it turns newline and carriage
753 return characters into \n and \r, respectively.
754
755 3. The file names used for maildir messages now include the microsecond time
756 fraction as well as the time in seconds, to cope with systems where the process
757 id can be re-used within the same second. The format is now
758
759   <time>.H<microsec>P<pid>.<host>
760
761 This should be a compatible change, but is noted here just in case.
762
763 4. The rules for creating message ids have changed, to cope with systems where
764 the process id can be re-used within the same second. The format, however, is
765 unchanged, so this should not cause any problems, except as noted in the next
766 item.
767
768 5. The maximum value for localhost_number has been reduced from 255 to 16, in
769 order to implement the new message id rules. For operating systems that have
770 case-insensitive file systems (Cygwin and Darwin), the limit is 10.
771
772 6. verify = header_syntax was allowing unqualified addresses in all cases. Now
773 it allows them only for locally generated messages and from hosts that match
774 sender_unqualified_hosts or recipient_unqualified_hosts, respectively.
775
776 7. For reasons lost in the mists of time, when a pipe transport was run, the
777 environment variable MESSAGE_ID was set to the message ID preceded by 'E' (the
778 form used in Message-ID: header lines). The 'E' has been removed.
779
780
781 Version 4.11
782 ------------
783
784 1. The handling of lines in the configuration file has changed. Previously,
785 macro expansion was applied to logical lines, after continuations had been
786 joined on. This meant that it could not be used in .include lines, which are
787 handled as physical rather than logical lines. Macro expansion is now done on
788 physical lines rather than logical lines. This means there are two
789 incompatibilities:
790
791   (a) A macro that expands to # to turn a line into a comment now applies only
792       to the physical line where it appears. Previously, it would have caused
793       any following continuations also to be ignored.
794
795   (b) A macro name can no longer be split over the boundary between a line and
796       its continuation. Actually, this is more of a bug fix. :-)
797
798 2. The -D command line option must now all be within one command line item.
799 This makes it possible to use -D to set a macro to the empty string by commands
800 such as
801
802   exim -DABC  ...
803   exim -DABC= ...
804
805 Previously, these items would have moved on to the next item on the command
806 line. To include spaces in a macro definition item, quotes must be used, in
807 which case you can also have spaces after -D and surrounding the equals. For
808 example:
809
810   exim '-D ABC = something' ...
811
812 3. The way that addresses that redirect to themselves are handled has been
813 changed, in order to fix an obscure bug. This should not cause any problems
814 except in the case of wanting to go back from a 4.11 (or later) release to an
815 earlier release. If there are undelivered messages on the spool that contain
816 addresses which redirect to themselves, and the redirected addresses have
817 already been delivered, you might get a duplicate delivery if you revert to an
818 earlier Exim.
819
820 4. The default way of looking up IP addresses for hosts in the manualroute and
821 queryprogram routers has been changed. If "byname" or "bydns" is explicitly
822 specified, there is no change, but if no method is specified, Exim now behaves
823 as follows:
824
825   First, a DNS lookup is done. If this yields anything other than
826   HOST_NOT_FOUND, that result is used. Otherwise, Exim goes on to try a call to
827   getipnodebyname() (or gethostbyname() on older systems) and the result of the
828   lookup is the result of that call.
829
830 This change has been made because it has been discovered that on some systems,
831 if a DNS lookup called via getipnodebyname() times out, HOST_NOT_FOUND is
832 returned instead of TRY_AGAIN. Thus, it is safest to try a DNS lookup directly
833 first, and only if that gives a definite "no such host" to try the local
834 function.
835
836 5. In fixing the minor security problem with pid_file_path, I have removed some
837 backwards-compatible (undocumented) code which was present to ease conversion
838 from Exim 3. In Exim 4, pid_file_path is a literal; in Exim 3 it was allowed to
839 contain "%s", which was replaced by the port number for daemons listening on
840 non-standard ports. In Exim 4, such daemons do not write a pid file. The
841 backwards compatibility feature was to replace "%s" by nothing if it occurred
842 in an Exim 4 setting of pid_file_path. The bug was in this code. I have solved
843 the problem by removing the backwards compatibility feature. Thus, if you still
844 have "%s" somewhere in a setting of pid_file_path, you should remove it.
845
846 6. There has been an extension to lsearch files. The keys in these files may
847 now be quoted in order to allow for whitespace and colons in them. This means
848 that if you were previously using keys that began with a doublequote, you will
849 now have to wrap them with extra quotes and escape the internal quotes. The
850 possibility that anybody is actually doing this seems extremely remote, but it
851 is documented just in case.
852
853
854 Version 4.10
855 ------------
856
857 The build-time parameter EXIWHAT_KILL_ARG has been renamed EXIWHAT_KILL_SIGNAL
858 to better reflect its function. The OS-specific files have been updated. Only
859 if you have explicitly set this in your Makefile (highly unlikely) do you need
860 to change anything.
861
862 ****