Utilities: add -G<queuename> option to exiqgrep. Bug 2397
[exim.git] / src / README.UPDATING
1 This document contains detailed information about incompatibilities that might
2 be encountered when upgrading from one release of Exim to another. The
3 information is in reverse order of release numbers. Mostly these are relatively
4 small points, and the configuration file is normally upwards compatible, but
5 there have been two big upheavals...
6
7
8 **************************************************************************
9 * There was a big reworking of the way mail routing works for release    *
10 * 4.00. Previously used "directors" were abolished, and all routing is   *
11 * now done by routers. Policy controls for incoming mail are now done by *
12 * Access Control Lists instead of separate options. All this means that  *
13 * pre-4.00 configuration files have to be massively converted. If you    *
14 * are coming from a 3.xx release, please read the document in the file   *
15 * doc/Exim4.upgrade, and allow some time to complete the upgrade.        *
16 *                                                                        *
17 * There was a big reworking of the way domain/host/net/address lists are *
18 * handled at release 3.00. If you are coming from a pre-3.00 release, it *
19 * might be easier to start again from a default configuration. Otherwise *
20 * you need to read doc/Exim3.upgrade and do a double conversion of your  *
21 * configuration file.                                                    *
22 **************************************************************************
23
24
25 The rest of this document contains information about changes in 4.xx releases
26 that might affect a running system.
27
28
29 Exim version 4.92
30 -----------------
31
32  * Exim used to manually follow CNAME chains, to a limited depth.  In this
33    day-and-age we expect the resolver to be doing this for us, so the loop
34    is limited to one retry unless the (new) config option dns_cname_loops
35    is changed.
36
37 Exim version 4.91
38 -----------------
39
40  * DANE and SPF have been promoted from Experimental to Supported status, thus
41    the options to enable them in Local/Makefile have been renamed.
42    See current src/EDITME for full details, including changes in dependencies,
43    but loosely: replace EXPERIMENTAL_SPF with SUPPORT_SPF and replace
44    EXPERIMENTAL_DANE with SUPPORT_DANE.
45
46  * Ancient ClamAV stream support, long deprecated by ClamAV, has been removed;
47    if you were building with WITH_OLD_CLAMAV_STREAM enabled then your problems
48    have marginally increased.
49
50  * A number of logging changes; if relying upon the previous DKIM additional
51    log-line, explicit log_selector configuration is needed to keep it.
52
53  * Other incompatible changes in EXPERIMENTAL_* features, read NewStuff and
54    ChangeLog carefully if relying upon an experimental feature such as DMARC.
55    Note that this includes changes to SPF as it was promoted into Supported.
56
57
58 Exim version 4.89
59 -----------------
60
61  * SMTP CHUNKING in Exim 4.88 did not ensure that received mails had a final
62    newline; attempts to deliver such messages onwards to non-chunking hosts
63    would probably hang, as Exim does not insert the newline before a ".".
64    In 4.89, the newline is added upon receipt.  For already-received messages
65    in your queue, try util/chunking_fixqueue_finalnewlines.pl
66    to walk the queue, fixing any affected messages.  Note that because a
67    delivery attempt will be hanging, attempts to lock the messages for fixing
68    them will stall; stopping all queue-runners temporarily is recommended.
69
70  * OpenSSL: oldest supported release series is now 1.0.2, which is the oldest
71    supported by the OpenSSL project.  If you can build Exim with an older
72    release series, congratulations.  If you can't, then upgrade.
73    The file doc/openssl.txt contains instructions for installing a current
74    OpenSSL outside the system library paths and building Exim to use it.
75
76  * FreeBSD: we now always use the system iconv in libc, as all versions of
77    FreeBSD supported by the FreeBSD project provide this functionality.
78
79
80 Exim version 4.88
81 -----------------
82
83  * The "demime" ACL condition, deprecated for the past 10 years, has
84    now been removed.
85
86  * Old GnuTLS configuration options "gnutls_require_kx", "gnutls_require_mac",
87    and "gnutls_require_protocols" have now been removed.  (Inoperative from
88    4.80, per below; logging warnings since 4.83, again per below).
89
90
91 Exim version 4.83
92 -----------------
93
94  * SPF condition results renamed "permerror" and "temperror".  The old
95    names are still accepted for back-compatibility, for this release.
96
97  * TLS details are now logged on rejects, subject to log selectors.
98
99  * Items in headers_remove lists must now have any embedded list-separators
100    doubled.
101
102  * Attempted use of the deprecated options "gnutls_require_kx" et. al.
103    now result in logged warning.
104
105
106 Exim version 4.82
107 -----------------
108
109  * New option gnutls_allow_auto_pkcs11 defaults false; if you have GnuTLS 2.12.0
110    or later and do want PKCS11 modules to be autoloaded, then set this option.
111
112  * A per-transport wait-<name> database is no longer updated if the transport
113    sets "connection_max_messages" to 1, as it can not be used and causes
114    unnecessary serialisation and load.  External tools tracking the state of
115    Exim by the hints databases may need modification to take this into account.
116
117  * The av_scanner option can now accept multiple clamd TCP targets, all other
118    setting limitations remain.
119
120
121 Exim version 4.80
122 -----------------
123
124  * BEWARE backwards-incompatible changes in SSL libraries, thus the version
125    bump.  See points below for details.
126    Also an LDAP data returned format change.
127
128  * The value of $tls_peerdn is now print-escaped when written to the spool file
129    in a -tls_peerdn line, and unescaped when read back in.  We received reports
130    of values with embedded newlines, which caused spool file corruption.
131
132    If you have a corrupt spool file and you wish to recover the contents after
133    upgrading, then lock the message, replace the new-lines that should be part
134    of the -tls_peerdn line with the two-character sequence \n and then unlock
135    the message.  No tool has been provided as we believe this is a rare
136    occurrence.
137
138  * For OpenSSL, SSLv2 is now disabled by default.  (GnuTLS does not support
139    SSLv2).  RFC 6176 prohibits SSLv2 and some informal surveys suggest no
140    actual usage.  You can re-enable with the "openssl_options" Exim option,
141    in the main configuration section.  Note that supporting SSLv2 exposes
142    you to ciphersuite downgrade attacks.
143
144  * With OpenSSL 1.0.1+, Exim now supports TLS 1.1 and TLS 1.2.  If built
145    against 1.0.1a then you will get a warning message and the
146    "openssl_options" value will not parse "no_tlsv1_1": the value changes
147    incompatibly between 1.0.1a and 1.0.1b, because the value chosen for 1.0.1a
148    is infelicitous.  We advise avoiding 1.0.1a.
149
150    "openssl_options" gains "no_tlsv1_1", "no_tlsv1_2" and "no_compression".
151
152    COMPATIBILITY WARNING: The default value of "openssl_options" is no longer
153    "+dont_insert_empty_fragments".  We default to "+no_sslv2".
154    That old default was grandfathered in from before openssl_options became a
155    configuration option.
156    Empty fragments are inserted by default through TLS1.0, to partially defend
157    against certain attacks; TLS1.1+ change the protocol so that this is not
158    needed.  The DIEF SSL option was required for some old releases of mail
159    clients which did not gracefully handle the empty fragments, and was
160    initially set in Exim release 4.31 (see ChangeLog, item 37).
161
162    If you still have affected mail-clients, and you see SSL protocol failures
163    with this release of Exim, set:
164      openssl_options = +dont_insert_empty_fragments
165    in the main section of your Exim configuration file.  You're trading off
166    security for compatibility.  Exim is now defaulting to higher security and
167    rewarding more modern clients.
168
169    If the option tls_dhparams is set and the parameters loaded from the file
170    have a bit-count greater than the new option tls_dh_max_bits, then the file
171    will now be ignored.  If this affects you, raise the tls_dh_max_bits limit.
172    We suspect that most folks are using dated defaults and will not be affected.
173
174  * Ldap lookups returning multi-valued attributes now separate the attributes
175    with only a comma, not a comma-space sequence.  Also, an actual comma within
176    a returned attribute is doubled.  This makes it possible to parse the
177    attribute as a comma-separated list.  Note the distinction from multiple
178    attributes being returned, where each one is a name=value pair.
179
180    If you are currently splitting the results from LDAP upon a comma, then you
181    should check carefully to see if adjustments are needed.
182
183    This change lets cautious folks distinguish "comma used as separator for
184    joining values" from "comma inside the data".
185
186  * accept_8bitmime now defaults on, which is not RFC compliant but is better
187    suited to today's Internet.  See http://cr.yp.to/smtp/8bitmime.html for a
188    sane rationale.  Those who wish to be strictly RFC compliant, or know that
189    they need to talk to servers that are not 8-bit-clean, now need to take
190    explicit configuration action to default this option off.  This is not a
191    new option, you can safely force it off before upgrading, to decouple
192    configuration changes from the binary upgrade while remaining RFC compliant.
193
194  * The GnuTLS support has been mostly rewritten, to use APIs which don't cause
195    deprecation warnings in GnuTLS 2.12.x.  As part of this, these three options
196    are no longer supported:
197
198      gnutls_require_kx
199      gnutls_require_mac
200      gnutls_require_protocols
201
202    Their functionality is entirely subsumed into tls_require_ciphers.  In turn,
203    tls_require_ciphers is no longer an Exim list and is not parsed by Exim, but
204    is instead given to gnutls_priority_init(3), which expects a priority string;
205    this behaviour is much closer to the OpenSSL behaviour.  See:
206
207      http://www.gnutls.org/manual/html_node/Priority-Strings.html
208
209    for fuller documentation of the strings parsed.  The three gnutls_require_*
210    options are still parsed by Exim and, for this release, silently ignored.
211    A future release will add warnings, before a later still release removes
212    parsing entirely and the presence of the options will be a configuration
213    error.
214
215    Note that by default, GnuTLS will not accept RSA-MD5 signatures in chains.
216    A tls_require_ciphers value of NORMAL:%VERIFY_ALLOW_SIGN_RSA_MD5 may
217    re-enable support, but this is not supported by the Exim maintainers.
218    Our test suite no longer includes MD5-based certificates.
219
220    This rewrite means that Exim will continue to build against GnuTLS in the
221    future, brings Exim closer to other GnuTLS applications and lets us add
222    support for SNI and other features more readily.  We regret that it wasn't
223    feasible to retain the three dropped options.
224
225  * If built with TLS support, then Exim will now validate the value of
226    the main section tls_require_ciphers option at start-up.  Before, this
227    would cause a STARTTLS 4xx failure, now it causes a failure to start.
228    Running with a broken configuration which causes failures that may only
229    be left in the logs has been traded off for something more visible.  This
230    change makes an existing problem more prominent, but we do not believe
231    anyone would deliberately be running with an invalid tls_require_ciphers
232    option.
233
234    This also means that library linkage issues caused by conflicts of some
235    kind might take out the main daemon, not just the delivery or receiving
236    process.  Conceivably some folks might prefer to continue delivering
237    mail plaintext when their binary is broken in this way, if there is a
238    server that is a candidate to receive such mails that does not advertise
239    STARTTLS.  Note that Exim is typically a setuid root binary and given
240    broken linkage problems that cause segfaults, we feel it is safer to
241    fail completely.  (The check is not done as root, to ensure that problems
242    here are not made worse by the check).
243
244  * The "tls_dhparam" option has been updated, so that it can now specify a
245    path or an identifier for a standard DH prime from one of a few RFCs.
246    The default for OpenSSL is no longer to not use DH but instead to use
247    one of these standard primes.  The default for GnuTLS is no longer to use
248    a file in the spool directory, but to use that same standard prime.
249    The option is now used by GnuTLS too.  If it points to a path, then
250    GnuTLS will use that path, instead of a file in the spool directory;
251    GnuTLS will attempt to create it if it does not exist.
252
253    To preserve the previous behaviour of generating files in the spool
254    directory, set "tls_dhparam = historic".  Since prior releases of Exim
255    ignored tls_dhparam when using GnuTLS, this can safely be done before
256    the upgrade.
257
258
259
260 Exim version 4.77
261 -----------------
262
263  * GnuTLS will now attempt to use TLS 1.2 and TLS 1.1 before TLS 1.0 and SSL3,
264    if supported by your GnuTLS library.  Use the existing
265    "gnutls_require_protocols" option to downgrade this if that will be a
266    problem.  Prior to this release, supported values were "TLS1" and "SSL3",
267    so you should be able to update configuration prior to update.
268
269     [nb: gnutls_require_protocols removed in Exim 4.80, instead use
270          tls_require_ciphers to provide a priority string; see notes above]
271
272  * The match_<type>{string1}{string2} expansion conditions no longer subject
273    string2 to string expansion, unless Exim was built with the new
274    "EXPAND_LISTMATCH_RHS" option.  Too many people have inadvertently created
275    insecure configurations that way.  If you need the functionality and turn on
276    that build option, please let the developers know, and know why, so we can
277    try to provide a safer mechanism for you.
278
279    The match{}{} expansion condition (for regular expressions) is NOT affected.
280    For match_<type>{s1}{s2}, all list functionality is unchanged.  The only
281    change is that a '$' appearing in s2 will not trigger expansion, but instead
282    will be treated as a literal $ sign; the effect is very similar to having
283    wrapped s2 with \N...\N.  If s2 contains a named list and the list definition
284    uses $expansions then those _will_ be processed as normal.  It is only the
285    point at which s2 is read where expansion is inhibited.
286
287    If you are trying to test if two email addresses are equal, use eqi{s1}{s2}.
288    If you are testing if the address in s1 occurs in the list of items given
289    in s2, either use the new inlisti{s1}{s2} condition (added in 4.77) or use
290    the pre-existing forany{s2}{eqi{$item}{s1}} condition.
291
292
293 Exim version 4.74
294 -----------------
295
296  * The integrated support for dynamically loadable lookup modules has an ABI
297    change from the modules supported by some OS vendors through an unofficial
298    patch. Don't try to mix & match.
299
300  * Some parts of the build system are now beginning to assume that the host
301    environment is POSIX. If you're building on a system where POSIX tools are
302    not the default, you might have an easier time if you switch to the POSIX
303    tools.  Feel free to report non-POSIX issues as a request for a feature
304    enhancement, but if the POSIX variants are available then the fix will
305    probably just involve some coercion.  See the README instructions for
306    building on such hosts.
307
308
309 Exim version 4.73
310 -----------------
311
312  * The Exim run-time user can no longer be root; this was always
313    strongly discouraged, but is now prohibited both at build and
314    run-time.  If you need Exim to run routinely as root, you'll need to
315    patch the source and accept the risk.  Here be dragons.
316
317  * Exim will no longer accept a configuration file owned by the Exim
318    run-time user, unless that account is explicitly the value in
319    CONFIGURE_OWNER, which we discourage.  Exim now checks to ensure that
320    files are not writeable by other accounts.
321
322  * The ALT_CONFIG_ROOT_ONLY build option is no longer optional and is forced
323    on; the Exim user can, by default, no longer use -C/-D and retain privilege.
324    Two new build options mitigate this.
325
326     * TRUSTED_CONFIG_LIST defines a file containing a whitelist of config
327       files that are trusted to be selected by the Exim user; one per line.
328       This is the recommended approach going forward.
329
330     * WHITELIST_D_MACROS defines a colon-separated list of macro names which
331       the Exim run-time user may safely pass without dropping privileges.
332       Because changes to this involve a recompile, this is not the recommended
333       approach but may ease transition.  The values of the macros, when
334       overridden, are constrained to match this regex: ^[A-Za-z0-9_/.-]*$
335
336  * The system_filter_user option now defaults to the Exim run-time user,
337    rather than root.  You can still set it explicitly to root and this
338    can be done with prior versions too, letting you roll versions
339    without needing to change this configuration option.
340
341  * ClamAV must be at least version 0.95 unless WITH_OLD_CLAMAV_STREAM is
342    defined at build time.
343
344
345 Exim version 4.70
346 -----------------
347
348 1. Experimental Yahoo! Domainkeys support has been dropped in this release.
349 It has been superseded by a native implementation of its successor DKIM.
350
351 2. Up to version 4.69, Exim came with an embedded version of the PCRE library.
352 As of 4.70, this is no longer the case. To compile Exim, you will need PCRE
353 installed. Most OS distributions have ready-made library and development
354 packages.
355
356
357 Exim version 4.68
358 -----------------
359
360 1. The internal implementation of the database keys that are used for ACL
361 ratelimiting has been tidied up. This means that an update to 4.68 might cause
362 Exim to "forget" previous rates that it had calculated, and reset them to zero.
363
364
365 Exim version 4.64
366 -----------------
367
368 1. Callouts were setting the name used for EHLO/HELO from $smtp_active_
369 hostname. This is wrong, because it relates to the incoming message (and
370 probably the interface on which it is arriving) and not to the outgoing
371 callout (which could be using a different interface). This has been
372 changed to use the value of the helo_data option from the smtp transport
373 instead - this is what is used when a message is actually being sent. If
374 there is no remote transport (possible with a router that sets up host
375 addresses), $smtp_active_hostname is used. This change is mentioned here in
376 case somebody is relying on the use of $smtp_active_hostname.
377
378 2. A bug has been fixed that might just possibly be something that is relied on
379 in some configurations. In expansion items such as ${if >{xxx}{yyy}...} an
380 empty string (that is {}) was being interpreted as if it was {0} and therefore
381 treated as the number zero. From release 4.64, such strings cause an error
382 because a decimal number, possibly followed by K or M, is required (as has
383 always been documented).
384
385 3. There has been a change to the GnuTLS support (ChangeLog/PH/20) to improve
386 Exim's performance. Unfortunately, this has the side effect of being slightly
387 non-upwards compatible for versions 4.50 and earlier. If you are upgrading from
388 one of these earlier versions and you use GnuTLS, you must remove the file
389 called gnutls-params in Exim's spool directory. If you don't do this, you will
390 see this error:
391
392   TLS error on connection from ... (DH params import): Base64 decoding error.
393
394 Removing the file causes Exim to recompute the relevant encryption parameters
395 and cache them in the new format that was introduced for release 4.51 (May
396 2005). If you are upgrading from release 4.51 or later, there should be no
397 problem.
398
399
400 Exim version 4.63
401 -----------------
402
403 When an SMTP error message is specified in a "message" modifier in an ACL, or
404 in a :fail: or :defer: message in a redirect router, Exim now checks the start
405 of the message for an SMTP error code. This consists of three digits followed
406 by a space, optionally followed by an extended code of the form n.n.n, also
407 followed by a space. If this is the case and the very first digit is the same
408 as the default error code, the code from the message is used instead. If the
409 very first digit is incorrect, a panic error is logged, and the default code is
410 used. This is an incompatible change, but it is not expected to affect many (if
411 any) configurations. It is possible to suppress the use of the supplied code in
412 a redirect router by setting the smtp_error_code option false. In this case,
413 any SMTP code is quietly ignored.
414
415
416 Exim version 4.61
417 -----------------
418
419 1. The default number of ACL variables of each type has been increased to 20,
420 and it's possible to compile Exim with more. You can safely upgrade to this
421 release if you already have messages on the queue with saved ACL variable
422 values. However, if you downgrade from this release with messages on the queue,
423 any saved ACL values they may have will be lost.
424
425 2. The default value for rfc1413_query_timeout has been changed from 30s to 5s.
426
427
428 Exim version 4.54
429 -----------------
430
431 There was a problem with 4.52/TF/02 in that a "name=" option on control=
432 submission terminated at the next slash, thereby not allowing for slashes in
433 the name. This has been changed so that "name=" takes the rest of the string as
434 its data. It must therefore be the last option.
435
436
437 Version 4.53
438 ------------
439
440 If you are using the experimental Domain Keys support, you must upgrade to
441 at least libdomainkeys 0.67 in order to run this release of Exim.
442
443
444 Version 4.51
445 ------------
446
447 1. The format in which GnuTLS parameters are cached (in the file gnutls-params
448 in the spool directory) has been changed. The new format can also be generated
449 externally, so it is now possible to update the values from outside Exim. This
450 has been implemented in an upwards, BUT NOT downwards, compatible manner.
451 Upgrading should be seamless: when Exim finds that it cannot understand an
452 existing cache file, it generates new parameters and writes them to the cache
453 in the new format. If, however, you downgrade from 4.51 to a previous release,
454 you MUST delete the gnutls-params file in the spool directory, because the
455 older Exim will not recognize the new format.
456
457 2. When doing a callout as part of verifying an address, Exim was not paying
458 attention to any local part prefix or suffix that was matched by the router
459 that accepted the address. It now behaves in the same way as it does for
460 delivery: the affixes are removed from the local part unless
461 rcpt_include_affixes is set on the transport. If you have a configuration that
462 uses prefixes or suffixes on addresses that could be used for callouts, and you
463 want the affixes to be retained, you must make sure that rcpt_include_affixes
464 is set on the transport.
465
466 3. Bounce and delay warning messages no longer contain details of delivery
467 errors, except for explicit messages (e.g. generated by :fail:) and SMTP
468 responses from remote hosts.
469
470
471 Version 4.50
472 ------------
473
474 The exicyclog script has been updated to use three-digit numbers in rotated log
475 files if the maximum number to keep is greater than 99. If you are already
476 keeping more than 99, there will be an incompatible change when you upgrade.
477 You will probably want to rename your old log files to the new form before
478 running the new exicyclog.
479
480
481 Version 4.42
482 ------------
483
484 RFC 3848 specifies standard names for the "with" phrase in Received: header
485 lines when AUTH and/or TLS are in use. This is the "received protocol"
486 field. Exim used to use "asmtp" for authenticated SMTP, without any
487 indication (in the protocol name) for TLS use. Now it follows the RFC and
488 uses "esmtpa" if the connection is authenticated, "esmtps" if it is
489 encrypted, and "esmtpsa" if it is both encrypted and authenticated. These names
490 appear in log lines as well as in Received: header lines.
491
492
493 Version 4.34
494 ------------
495
496 Change 4.31/2 gave problems to data ACLs and local_scan() functions that
497 expected to see a Received: header. I have changed to yet another scheme. The
498 Received: header is now generated after the body is received, but before the
499 ACL or local_scan() is called. After they have run, the timestamp in the
500 Received: header is updated.
501
502 Thus, change (a) of 4.31/2 has been reversed, but change (b) is still true,
503 which is lucky, since I decided it was a bug fix.
504
505
506 Version 4.33
507 ------------
508
509 If an expansion in a condition on a "warn" statement fails because a lookup
510 defers, the "warn" statement is abandoned, and the next ACL statement is
511 processed. Previously this caused the whole ACL to be aborted.
512
513
514 Version 4.32
515 ------------
516
517 Change 4.31/2 has been reversed, as it proved contentious. Recipient callout
518 verification now uses <> in the MAIL command by default, as it did before. A
519 new callout option, "use_sender", has been added to request the other
520 behaviour.
521
522
523 Version 4.31
524 ------------
525
526 1. If you compile Exim to use GnuTLS, it now requires the use of release 1.0.0
527    or greater. The interface to the obsolete 0.8.x releases is no longer
528    supported. There is one externally visible change: the format for the
529    display of Distinguished Names now uses commas as a separator rather than a
530    slash. This is to comply with RFC 2253.
531
532 2. When a message is received, the Received: header line is now generated when
533    reception is complete, instead of at the start of reception. For messages
534    that take a long time to come in, this changes the meaning of the timestamp.
535    There are several side-effects of this change:
536
537     (a) If a message is rejected by a DATA or non-SMTP ACL, or by local_scan(),
538         the logged header lines no longer include the local Received: line,
539         because it has not yet been created. If the message is a non-SMTP one,
540         and the error is processed by sending a message to the sender, the copy
541         of the original message that is returned does not have an added
542         Received: line.
543
544     (b) When a filter file is tested using -bf, no additional Received: header
545         is added to the test message. After some thought, I decided that this
546         is a bug fix.
547
548     The contents of $received_for are not affected by this change. This
549     variable still contains the single recipient of a message, copied after
550     addresses have been rewritten, but before local_scan() is run.
551
552 2. Recipient callout verification, like sender verification, was using <> in
553    the MAIL FROM command. This isn't really the right thing, since the actual
554    sender may affect whether the remote host accepts the recipient or not. I
555    have changed it to use the actual sender in the callout; this means that
556    the cache record is now keyed on a recipient/sender pair, not just the
557    recipient address. There doesn't seem to be a real danger of callout loops,
558    since a callout by the remote host to check the sender would use <>.
559
560
561 Version 4.30
562 ------------
563
564 1. I have abolished timeout_DNS as an error that can be detected in retry
565    rules, because it has never worked. Despite the fact that it has been
566    documented since at least release 1.62, there was no code to support it.
567    If you have used it in your retry rules, you will now get a warning message
568    to the log and panic log. It is now treated as plain "timeout".
569
570 2. After discussion on the mailing list, Exim no longer adds From:, Date:, or
571    Message-Id: header lines to messages that do not originate locally, that is,
572    messages that have an associated sending host address.
573
574 3. When looking up a host name from an IP address, Exim now tries the DNS
575    first, and only if that fails does it use gethostbyaddr() (or equivalent).
576    This change was made because on some OS, not all the names are given for
577    addresses with multiple PTR records via the gethostbyaddr() interface. The
578    order of lookup can be changed by setting host_lookup_order.
579
580
581 Version 4.23
582 ------------
583
584 1. The new FIXED_NEVER_USERS build-time option creates a list of "never users"
585    that cannot be overridden. The default in the distributed EDITME is "root".
586    If for some reason you were (against advice) running deliveries as root, you
587    will have to ensure that FIXED_NEVER_USERS is not set in your
588    Local/Makefile.
589
590 2. The ${quote: operator now quotes an empty string, which it did not before.
591
592 3. Version 4.23 saves the contents of the ACL variables with the message, so
593    that they can be used later. If one of these variables contains a newline,
594    there will be a newline character in the spool that will not be interpreted
595    correctly by a previous version of Exim. (Exim ignores keyed spool file
596    items that it doesn't understand - precisely for this kind of problem - but
597    it expects them all to be on one line.)
598
599    So the bottom line is: if you have newlines in your ACL variables, you
600    cannot retreat from 4.23.
601
602
603 Version 4.21
604 ------------
605
606 1. The idea of the "warn" ACL verb is that it adds a header or writes to the
607    log only when "message" or "log_message" are set. However, if one of the
608    conditions was an address verification, or a call to a nested ACL, the
609    messages generated by the underlying test were being passed through. This
610    no longer happens. The underlying message is available in $acl_verify_
611    message for both "message" and "log_message" expansions, so it can be
612    passed through if needed.
613
614 2. The way that the $h_ (and $header_) expansions work has been changed by the
615    addition of RFC 2047 decoding. See the main documentation (the NewStuff file
616    until release 4.30, then the manual) for full details. Briefly, there are
617    now three forms:
618
619      $rh_xxx: and $rheader_xxx: give the original content of the header
620        line(s), with no processing at all.
621
622      $bh_xxx: and $bheader_xxx: remove leading and trailing white space, and
623        then decode base64 or quoted-printable "words" within the header text,
624        but do not do charset translation.
625
626      $h_xxx: and $header_xxx: attempt to translate the $bh_ string to a
627        standard character set.
628
629    If you have previously been using $h_ expansions to access the raw
630    characters, you should change to $rh_ instead.
631
632 3. When Exim creates an RFC 2047 encoded word in a header line, it labels it
633    with the default character set from the headers_charset option instead of
634    always using iso-8859-1.
635
636 4. If TMPDIR is defined in Local/Makefile (default in src/EDITME is
637    TMPDIR="/tmp"), Exim checks for the presence of an environment variable
638    called TMPDIR, and if it finds it is different, it changes its value.
639
640 5. Following a discussion on the list, the rules by which Exim recognises line
641    endings on incoming messages have been changed. The -dropcr and drop_cr
642    options are now no-ops, retained only for backwards compatibility. The
643    following line terminators are recognized: LF CRLF CR. However, special
644    processing applies to CR:
645
646    (i)  The sequence CR . CR does *not* terminate an incoming SMTP message,
647         nor a local message in the state where . is a terminator.
648
649    (ii) If a bare CR is encountered in a header line, an extra space is added
650         after the line terminator so as not to end the header. The reasoning
651         behind this is that bare CRs in header lines are most likely either
652         to be mistakes, or people trying to play silly games.
653
654 6. The code for using daemon_smtp_port, local_interfaces, and the -oX options
655    has been reorganized. It is supposed to be backwards compatible, but it is
656    mentioned here just in case I've screwed up.
657
658
659
660 Version 4.20
661 ------------
662
663 1. I have tidied and re-organized the code that uses alarm() for imposing time
664    limits on various things. It shouldn't affect anything, but if you notice
665    processes getting stuck, it may be that I've broken something.
666
667 2. The "arguments" log selector now also logs the current working directory
668    when Exim is called.
669
670 3. An incompatible change has been made to the appendfile transport. This
671    affects the case when it is used for file deliveries that are set up by
672    .forward and filter files. Previously, any settings of the "file" or
673    "directory" options were ignored. It is hoped that, like the address_file
674    transport in the default configuration, these options were never in fact set
675    on such transports, because they were of no use.
676
677    Now, if either of these options is set, it is used. The path that is passed
678    by the router is in $address_file (this is not new), so it can be used as
679    part of a longer path, or modified in any other way that expansion permits.
680
681    If neither "file" nor "directory" is set, the behaviour is unchanged.
682
683 4. Related to the above: in a filter, if a "save" command specifies a non-
684    absolute path, the value of $home/ is pre-pended. This no longer happens if
685    $home is unset or is set to an empty string.
686
687 5. Multiple file deliveries from a filter or .forward file can never be
688    batched; the value of batch_max on the transport is ignored for file
689    deliveries. I'm assuming that nobody ever actually set batch_max on the
690    address_file transport - it would have had odd effects previously.
691
692 6. DESTDIR is the more common variable that ROOT for use when installing
693    software under a different root filing system. The Exim install script now
694    recognizes DESTDIR first; if it is not set, ROOT is used.
695
696 7. If DESTDIR is set when installing Exim, it no longer prepends its value to
697    the path of the system aliases file that appears in the default
698    configuration (when a default configuration is installed). If an aliases
699    file is actually created, its name *does* use the prefix.
700
701
702 Version 4.14
703 ------------
704
705 1. The default for the maximum number of unknown SMTP commands that Exim will
706 accept before dropping a connection has been reduced from 5 to 3. However, you
707 can now change the value by setting smtp_max_unknown_commands.
708
709 2. The ${quote: operator has been changed so that it turns newline and carriage
710 return characters into \n and \r, respectively.
711
712 3. The file names used for maildir messages now include the microsecond time
713 fraction as well as the time in seconds, to cope with systems where the process
714 id can be re-used within the same second. The format is now
715
716   <time>.H<microsec>P<pid>.<host>
717
718 This should be a compatible change, but is noted here just in case.
719
720 4. The rules for creating message ids have changed, to cope with systems where
721 the process id can be re-used within the same second. The format, however, is
722 unchanged, so this should not cause any problems, except as noted in the next
723 item.
724
725 5. The maximum value for localhost_number has been reduced from 255 to 16, in
726 order to implement the new message id rules. For operating systems that have
727 case-insensitive file systems (Cygwin and Darwin), the limit is 10.
728
729 6. verify = header_syntax was allowing unqualified addresses in all cases. Now
730 it allows them only for locally generated messages and from hosts that match
731 sender_unqualified_hosts or recipient_unqualified_hosts, respectively.
732
733 7. For reasons lost in the mists of time, when a pipe transport was run, the
734 environment variable MESSAGE_ID was set to the message ID preceded by 'E' (the
735 form used in Message-ID: header lines). The 'E' has been removed.
736
737
738 Version 4.11
739 ------------
740
741 1. The handling of lines in the configuration file has changed. Previously,
742 macro expansion was applied to logical lines, after continuations had been
743 joined on. This meant that it could not be used in .include lines, which are
744 handled as physical rather than logical lines. Macro expansion is now done on
745 physical lines rather than logical lines. This means there are two
746 incompatibilities:
747
748   (a) A macro that expands to # to turn a line into a comment now applies only
749       to the physical line where it appears. Previously, it would have caused
750       any following continuations also to be ignored.
751
752   (b) A macro name can no longer be split over the boundary between a line and
753       its continuation. Actually, this is more of a bug fix. :-)
754
755 2. The -D command line option must now all be within one command line item.
756 This makes it possible to use -D to set a macro to the empty string by commands
757 such as
758
759   exim -DABC  ...
760   exim -DABC= ...
761
762 Previously, these items would have moved on to the next item on the command
763 line. To include spaces in a macro definition item, quotes must be used, in
764 which case you can also have spaces after -D and surrounding the equals. For
765 example:
766
767   exim '-D ABC = something' ...
768
769 3. The way that addresses that redirect to themselves are handled has been
770 changed, in order to fix an obscure bug. This should not cause any problems
771 except in the case of wanting to go back from a 4.11 (or later) release to an
772 earlier release. If there are undelivered messages on the spool that contain
773 addresses which redirect to themselves, and the redirected addresses have
774 already been delivered, you might get a duplicate delivery if you revert to an
775 earlier Exim.
776
777 4. The default way of looking up IP addresses for hosts in the manualroute and
778 queryprogram routers has been changed. If "byname" or "bydns" is explicitly
779 specified, there is no change, but if no method is specified, Exim now behaves
780 as follows:
781
782   First, a DNS lookup is done. If this yields anything other than
783   HOST_NOT_FOUND, that result is used. Otherwise, Exim goes on to try a call to
784   getipnodebyname() (or gethostbyname() on older systems) and the result of the
785   lookup is the result of that call.
786
787 This change has been made because it has been discovered that on some systems,
788 if a DNS lookup called via getipnodebyname() times out, HOST_NOT_FOUND is
789 returned instead of TRY_AGAIN. Thus, it is safest to try a DNS lookup directly
790 first, and only if that gives a definite "no such host" to try the local
791 function.
792
793 5. In fixing the minor security problem with pid_file_path, I have removed some
794 backwards-compatible (undocumented) code which was present to ease conversion
795 from Exim 3. In Exim 4, pid_file_path is a literal; in Exim 3 it was allowed to
796 contain "%s", which was replaced by the port number for daemons listening on
797 non-standard ports. In Exim 4, such daemons do not write a pid file. The
798 backwards compatibility feature was to replace "%s" by nothing if it occurred
799 in an Exim 4 setting of pid_file_path. The bug was in this code. I have solved
800 the problem by removing the backwards compatibility feature. Thus, if you still
801 have "%s" somewhere in a setting of pid_file_path, you should remove it.
802
803 6. There has been an extension to lsearch files. The keys in these files may
804 now be quoted in order to allow for whitespace and colons in them. This means
805 that if you were previously using keys that began with a doublequote, you will
806 now have to wrap them with extra quotes and escape the internal quotes. The
807 possibility that anybody is actually doing this seems extremely remote, but it
808 is documented just in case.
809
810
811 Version 4.10
812 ------------
813
814 The build-time parameter EXIWHAT_KILL_ARG has been renamed EXIWHAT_KILL_SIGNAL
815 to better reflect its function. The OS-specific files have been updated. Only
816 if you have explicitly set this in your Makefile (highly unlikely) do you need
817 to change anything.
818
819 ****