Move PRDR out of EXPERIMENTAL
[exim.git] / doc / doc-txt / NewStuff
1 New Features in Exim
2 --------------------
3
4 This file contains descriptions of new features that have been added to Exim.
5 Before a formal release, there may be quite a lot of detail so that people can
6 test from the snapshots or the CVS before the documentation is updated. Once
7 the documentation is updated, this file is reduced to a short list.
8
9 Version 4.83
10 ------------
11
12  1. If built with the EXPERIMENTAL_PROXY feature enabled, Exim can be
13     configured to expect an initial header from a proxy that will make the
14     actual external source IP:host be used in exim instead of the IP of the
15     proxy that is connecting to it.
16
17  2. New verify option header_names_ascii, which will check to make sure
18     there are no non-ASCII characters in header names.  Exim itself handles
19     those non-ASCII characters, but downstream apps may not, so Exim can
20     detect and reject if those characters are present.
21
22  3. New expansion operator ${utf8clean:string} to replace malformed UTF8
23     codepoints with valid ones.
24
25  4. New malware type "sock".  Talks over a Unix or TCP socket, sending one
26     command line and matching a regex against the return data for trigger
27     and a second regex to extract malware_name.  The mail spoofile name can
28     be included in the command line.
29
30  5. The smtp transport now supports options "tls_verify_hosts" and
31     "tls_try_verify_hosts".  If either is set the certificate verification
32     is split from the encryption operation. The default remains that a failed
33     verification cancels the encryption.
34
35  6. New SERVERS override of default ldap server list.  In the ACLs, an ldap
36     lookup can now set a list of servers to use that is different from the
37     default list.
38
39  7. New command-line option -C for exiqgrep to specify alternate exim.conf
40     file when searching the queue.
41
42  8. EXPERIMENTAL_OCSP now supports GnuTLS also, if you have version 3.1.3
43     or later of that.
44
45  9. Support for DNSSEC on outbound connections.
46
47 10. New variables "tls_(in,out)_(our,peer)cert" and expansion item
48     "certextract" to extract fields from them. Hash operators md5 and sha1
49     work over them for generating fingerprints, and a new sha256 operator
50     for them added.
51
52 11. PRDR is now supported dy default.
53
54
55 Version 4.82
56 ------------
57
58  1. New command-line option -bI:sieve will list all supported sieve extensions
59     of this Exim build on standard output, one per line.
60     ManageSieve (RFC 5804) providers managing scripts for use by Exim should
61     query this to establish the correct list to include in the protocol's
62     SIEVE capability line.
63
64  2. If the -n option is combined with the -bP option, then the name of an
65     emitted option is not output, only the value (if visible to you).
66     For instance, "exim -n -bP pid_file_path" should just emit a pathname
67     followed by a newline, and no other text.
68
69  3. When built with SUPPORT_TLS and USE_GNUTLS, the SMTP transport driver now
70     has a "tls_dh_min_bits" option, to set the minimum acceptable number of
71     bits in the Diffie-Hellman prime offered by a server (in DH ciphersuites)
72     acceptable for security.  (Option accepted but ignored if using OpenSSL).
73     Defaults to 1024, the old value.  May be lowered only to 512, or raised as
74     far as you like.  Raising this may hinder TLS interoperability with other
75     sites and is not currently recommended.  Lowering this will permit you to
76     establish a TLS session which is not as secure as you might like.
77
78     Unless you really know what you are doing, leave it alone.
79
80  4. If not built with DISABLE_DNSSEC, Exim now has the main option
81     dns_dnssec_ok; if set to 1 then Exim will initialise the resolver library
82     to send the DO flag to your recursive resolver.  If you have a recursive
83     resolver, which can set the Authenticated Data (AD) flag in results, Exim
84     can now detect this.  Exim does not perform validation itself, instead
85     relying upon a trusted path to the resolver.
86
87     Current status: work-in-progress; $sender_host_dnssec variable added.
88
89  5. DSCP support for outbound connections: on a transport using the smtp driver,
90     set "dscp = ef", for instance, to cause the connections to have the relevant
91     DSCP (IPv4 TOS or IPv6 TCLASS) value in the header.
92
93     Similarly for inbound connections, there is a new control modifier, dscp,
94     so "warn control = dscp/ef" in the connect ACL, or after authentication.
95
96     Supported values depend upon system libraries.  "exim -bI:dscp" to list the
97     ones Exim knows of.  You can also set a raw number 0..0x3F.
98
99  6. The -G command-line flag is no longer ignored; it is now equivalent to an
100     ACL setting "control = suppress_local_fixups".  The -L command-line flag
101     is now accepted and forces use of syslog, with the provided tag as the
102     process name.  A few other flags used by Sendmail are now accepted and
103     ignored.
104
105  7. New cutthrough routing feature.  Requested by a "control = cutthrough_delivery"
106     ACL modifier; works for single-recipient mails which are recieved on and
107     deliverable via SMTP.  Using the connection made for a recipient verify,
108     if requested before the verify, or a new one made for the purpose while
109     the inbound connection is still active.  The bulk of the mail item is copied
110     direct from the inbound socket to the outbound (as well as the spool file).
111     When the source notifies the end of data, the data acceptance by the destination
112     is negociated before the acceptance is sent to the source.  If the destination
113     does not accept the mail item, for example due to content-scanning, the item
114     is not accepted from the source and therefore there is no need to generate
115     a bounce mail.  This is of benefit when providing a secondary-MX service.
116     The downside is that delays are under the control of the ultimate destination
117     system not your own.
118
119     The Recieved-by: header on items delivered by cutthrough is generated
120     early in reception rather than at the end; this will affect any timestamp
121     included.  The log line showing delivery is recorded before that showing
122     reception; it uses a new ">>" tag instead of "=>".
123
124     To support the feature, verify-callout connections can now use ESMTP and TLS.
125     The usual smtp transport options are honoured, plus a (new, default everything)
126     hosts_verify_avoid_tls.
127
128     New variable families named tls_in_cipher, tls_out_cipher etc. are introduced
129     for specific access to the information for each connection.  The old names
130     are present for now but deprecated.
131
132     Not yet supported: IGNOREQUOTA, SIZE, PIPELINING.
133
134  8. New expansion operators ${listnamed:name} to get the content of a named list
135     and ${listcount:string} to count the items in a list.
136
137  9. New global option "gnutls_allow_auto_pkcs11", defaults false.  The GnuTLS
138     rewrite in 4.80 combines with GnuTLS 2.12.0 or later, to autoload PKCS11
139     modules.  For some situations this is desirable, but we expect admin in
140     those situations to know they want the feature.  More commonly, it means
141     that GUI user modules get loaded and are broken by the setuid Exim being
142     unable to access files specified in environment variables and passed
143     through, thus breakage.  So we explicitly inhibit the PKCS11 initialisation
144     unless this new option is set.
145
146     Some older OS's with earlier versions of GnuTLS might not have pkcs11 ability,
147     so have also added a build option which can be used to build Exim with GnuTLS
148     but without trying to use any kind of PKCS11 support.  Uncomment this in the
149     Local/Makefile:
150
151     AVOID_GNUTLS_PKCS11=yes
152
153 10. The "acl = name" condition on an ACL now supports optional arguments.
154     New expansion item "${acl {name}{arg}...}" and expansion condition
155     "acl {{name}{arg}...}" are added.  In all cases up to nine arguments
156     can be used, appearing in $acl_arg1 to $acl_arg9 for the called ACL.
157     Variable $acl_narg contains the number of arguments.  If the ACL sets
158     a "message =" value this becomes the result of the expansion item,
159     or the value of $value for the expansion condition.  If the ACL returns
160     accept the expansion condition is true; if reject, false.  A defer
161     return results in a forced fail.
162
163 11. Routers and transports can now have multiple headers_add and headers_remove
164     option lines.  The concatenated list is used.
165
166 12. New ACL modifier "remove_header" can remove headers before message gets
167     handled by routers/transports.
168
169 13. New dnsdb lookup pseudo-type "a+".  A sequence of "a6" (if configured),
170     "aaaa" and "a" lookups is done and the full set of results returned.
171
172 14. New expansion variable $headers_added with content from ACL add_header
173     modifier (but not yet added to messsage).
174
175 15. New 8bitmime status logging option for received messages.  Log field "M8S".
176
177 16. New authenticated_sender logging option, adding to log field "A".
178
179 17. New expansion variables $router_name and $transport_name.  Useful
180     particularly for debug_print as -bt commandline option does not
181     require privilege whereas -d does.
182
183 18. If built with EXPERIMENTAL_PRDR, per-recipient data responses per a
184     proposed extension to SMTP from Eric Hall.
185
186 19. The pipe transport has gained the force_command option, to allow
187     decorating commands from user .forward pipe aliases with prefix
188     wrappers, for instance.
189
190 20. Callout connections can now AUTH; the same controls as normal delivery
191     connections apply.
192
193 21. Support for DMARC, using opendmarc libs, can be enabled. It adds new
194     options: dmarc_forensic_sender, dmarc_history_file, and dmarc_tld_file.
195     It adds new expansion variables $dmarc_ar_header, $dmarc_status,
196     $dmarc_status_text, and $dmarc_used_domain.  It adds a new acl modifier
197     dmarc_status.  It adds new control flags dmarc_disable_verify and
198     dmarc_enable_forensic.
199
200 22. Add expansion variable $authenticated_fail_id, which is the username
201     provided to the authentication method which failed.  It is available
202     for use in subsequent ACL processing (typically quit or notquit ACLs).
203
204 23. New ACL modifer "udpsend" can construct a UDP packet to send to a given
205     UDP host and port.
206
207 24. New ${hexquote:..string..} expansion operator converts non-printable
208     characters in the string to \xNN form.
209
210 25. Experimental TPDA (Transport Post Delivery Action) function added.
211     Patch provided by Axel Rau.
212
213 26. Experimental Redis lookup added. Patch provided by Warren Baker.
214
215
216 Version 4.80
217 ------------
218
219  1. New authenticator driver, "gsasl".  Server-only (at present).
220     This is a SASL interface, licensed under GPL, which can be found at
221     http://www.gnu.org/software/gsasl/.
222     This system does not provide sources of data for authentication, so
223     careful use needs to be made of the conditions in Exim.
224
225  2. New authenticator driver, "heimdal_gssapi".  Server-only.
226     A replacement for using cyrus_sasl with Heimdal, now that $KRB5_KTNAME
227     is no longer honoured for setuid programs by Heimdal.  Use the
228     "server_keytab" option to point to the keytab.
229
230  3. The "pkg-config" system can now be used when building Exim to reference
231     cflags and library information for lookups and authenticators, rather
232     than having to update "CFLAGS", "AUTH_LIBS", "LOOKUP_INCLUDE" and
233     "LOOKUP_LIBS" directly.  Similarly for handling the TLS library support
234     without adjusting "TLS_INCLUDE" and "TLS_LIBS".
235
236     In addition, setting PCRE_CONFIG=yes will query the pcre-config tool to
237     find the headers and libraries for PCRE.
238
239  4. New expansion variable $tls_bits.
240
241  5. New lookup type, "dbmjz".  Key is an Exim list, the elements of which will
242     be joined together with ASCII NUL characters to construct the key to pass
243     into the DBM library.  Can be used with gsasl to access sasldb2 files as
244     used by Cyrus SASL.
245
246  6. OpenSSL now supports TLS1.1 and TLS1.2 with OpenSSL 1.0.1.
247
248     Avoid release 1.0.1a if you can.  Note that the default value of
249     "openssl_options" is no longer "+dont_insert_empty_fragments", as that
250     increased susceptibility to attack.  This may still have interoperability
251     implications for very old clients (see version 4.31 change 37) but
252     administrators can choose to make the trade-off themselves and restore
253     compatibility at the cost of session security.
254
255  7. Use of the new expansion variable $tls_sni in the main configuration option
256     tls_certificate will cause Exim to re-expand the option, if the client
257     sends the TLS Server Name Indication extension, to permit choosing a
258     different certificate; tls_privatekey will also be re-expanded.  You must
259     still set these options to expand to valid files when $tls_sni is not set.
260
261     The SMTP Transport has gained the option tls_sni, which will set a hostname
262     for outbound TLS sessions, and set $tls_sni too.
263
264     A new log_selector, +tls_sni, has been added, to log received SNI values
265     for Exim as a server.
266
267  8. The existing "accept_8bitmime" option now defaults to true.  This means
268     that Exim is deliberately not strictly RFC compliant.  We're following
269     Dan Bernstein's advice in http://cr.yp.to/smtp/8bitmime.html by default.
270     Those who disagree, or know that they are talking to mail servers that,
271     even today, are not 8-bit clean, need to turn off this option.
272
273  9. Exim can now be started with -bw (with an optional timeout, given as
274     -bw<timespec>).  With this, stdin at startup is a socket that is
275     already listening for connections.  This has a more modern name of
276     "socket activation", but forcing the activated socket to fd 0.  We're
277     interested in adding more support for modern variants.
278
279 10. ${eval } now uses 64-bit values on supporting platforms.  A new "G" suffix
280     for numbers indicates multiplication by 1024^3.
281
282 11. The GnuTLS support has been revamped; the three options gnutls_require_kx,
283     gnutls_require_mac & gnutls_require_protocols are no longer supported.
284     tls_require_ciphers is now parsed by gnutls_priority_init(3) as a priority
285     string, documentation for which is at:
286     http://www.gnutls.org/manual/html_node/Priority-Strings.html
287
288     SNI support has been added to Exim's GnuTLS integration too.
289
290     For sufficiently recent GnuTLS libraries, ${randint:..} will now use
291     gnutls_rnd(), asking for GNUTLS_RND_NONCE level randomness.
292
293 12. With OpenSSL, if built with EXPERIMENTAL_OCSP, a new option tls_ocsp_file
294     is now available.  If the contents of the file are valid, then Exim will
295     send that back in response to a TLS status request; this is OCSP Stapling.
296     Exim will not maintain the contents of the file in any way: administrators
297     are responsible for ensuring that it is up-to-date.
298
299     See "experimental-spec.txt" for more details.
300
301 13. ${lookup dnsdb{ }} supports now SPF record types. They are handled
302     identically to TXT record lookups.
303
304 14. New expansion variable $tod_epoch_l for higher-precision time.
305
306 15. New global option tls_dh_max_bits, defaulting to current value of NSS
307     hard-coded limit of DH ephemeral bits, to fix interop problems caused by
308     GnuTLS 2.12 library recommending a bit count higher than NSS supports.
309
310 16. tls_dhparam now used by both OpenSSL and GnuTLS, can be path or identifier.
311     Option can now be a path or an identifier for a standard prime.
312     If unset, we use the DH prime from section 2.2 of RFC 5114, "ike23".
313     Set to "historic" to get the old GnuTLS behaviour of auto-generated DH
314     primes.
315
316 17. SSLv2 now disabled by default in OpenSSL.  (Never supported by GnuTLS).
317     Use "openssl_options -no_sslv2" to re-enable support, if your OpenSSL
318     install was not built with OPENSSL_NO_SSL2 ("no-ssl2").
319
320
321 Version 4.77
322 ------------
323
324  1. New options for the ratelimit ACL condition: /count= and /unique=.
325     The /noupdate option has been replaced by a /readonly option.
326
327  2. The SMTP transport's protocol option may now be set to "smtps", to
328     use SSL-on-connect outbound.
329
330  3. New variable $av_failed, set true if the AV scanner deferred; ie, when
331     there is a problem talking to the AV scanner, or the AV scanner running.
332
333  4. New expansion conditions, "inlist" and "inlisti", which take simple lists
334     and check if the search item is a member of the list.  This does not
335     support named lists, but does subject the list part to string expansion.
336
337  5. Unless the new EXPAND_LISTMATCH_RHS build option is set when Exim was
338     built, Exim no longer performs string expansion on the second string of
339     the match_* expansion conditions: "match_address", "match_domain",
340     "match_ip" & "match_local_part".  Named lists can still be used.
341
342
343 Version 4.76
344 ------------
345
346  1. The global option "dns_use_edns0" may be set to coerce EDNS0 usage on
347     or off in the resolver library.
348
349
350 Version 4.75
351 ------------
352
353  1. In addition to the existing LDAP and LDAP/SSL ("ldaps") support, there
354     is now LDAP/TLS support, given sufficiently modern OpenLDAP client
355     libraries.  The following global options have been added in support of
356     this: ldap_ca_cert_dir, ldap_ca_cert_file, ldap_cert_file, ldap_cert_key,
357     ldap_cipher_suite, ldap_require_cert, ldap_start_tls.
358
359  2. The pipe transport now takes a boolean option, "freeze_signal", default
360     false.  When true, if the external delivery command exits on a signal then
361     Exim will freeze the message in the queue, instead of generating a bounce.
362
363  3. Log filenames may now use %M as an escape, instead of %D (still available).
364     The %M pattern expands to yyyymm, providing month-level resolution.
365
366  4. The $message_linecount variable is now updated for the maildir_tag option,
367     in the same way as $message_size, to reflect the real number of lines,
368     including any header additions or removals from transport.
369
370  5. When contacting a pool of SpamAssassin servers configured in spamd_address,
371     Exim now selects entries randomly, to better scale in a cluster setup.
372
373
374 Version 4.74
375 ------------
376
377  1. SECURITY FIX: privilege escalation flaw fixed. On Linux (and only Linux)
378     the flaw permitted the Exim run-time user to cause root to append to
379     arbitrary files of the attacker's choosing, with the content based
380     on content supplied by the attacker.
381
382  2. Exim now supports loading some lookup types at run-time, using your
383     platform's dlopen() functionality.  This has limited platform support
384     and the intention is not to support every variant, it's limited to
385     dlopen().  This permits the main Exim binary to not be linked against
386     all the libraries needed for all the lookup types.
387
388
389 Version 4.73
390 ------------
391
392  NOTE: this version is not guaranteed backwards-compatible, please read the
393        items below carefully
394
395  1. A new main configuration option, "openssl_options", is available if Exim
396     is built with SSL support provided by OpenSSL.  The option allows
397     administrators to specify OpenSSL options to be used on connections;
398     typically this is to set bug compatibility features which the OpenSSL
399     developers have not enabled by default.  There may be security
400     consequences for certain options, so these should not be changed
401     frivolously.
402
403  2. A new pipe transport option, "permit_coredumps", may help with problem
404     diagnosis in some scenarios.  Note that Exim is typically installed as
405     a setuid binary, which on most OSes will inhibit coredumps by default,
406     so that safety mechanism would have to be overridden for this option to
407     be able to take effect.
408
409  3. ClamAV 0.95 is now required for ClamAV support in Exim, unless
410     Local/Makefile sets: WITH_OLD_CLAMAV_STREAM=yes
411     Note that this switches Exim to use a new API ("INSTREAM") and a future
412     release of ClamAV will remove support for the old API ("STREAM").
413
414     The av_scanner option, when set to "clamd", now takes an optional third
415     part, "local", which causes Exim to pass a filename to ClamAV instead of
416     the file content.  This is the same behaviour as when clamd is pointed at
417     a Unix-domain socket.  For example:
418
419       av_scanner = clamd:192.0.2.3 1234:local
420
421     ClamAV's ExtendedDetectionInfo response format is now handled.
422
423  4. There is now a -bmalware option, restricted to admin users.  This option
424     takes one parameter, a filename, and scans that file with Exim's
425     malware-scanning framework.  This is intended purely as a debugging aid
426     to ensure that Exim's scanning is working, not to replace other tools.
427     Note that the ACL framework is not invoked, so if av_scanner references
428     ACL variables without a fallback then this will fail.
429
430  5. There is a new expansion operator, "reverse_ip", which will reverse IP
431     addresses; IPv4 into dotted quad, IPv6 into dotted nibble.  Examples:
432
433       ${reverse_ip:192.0.2.4}
434        -> 4.2.0.192
435       ${reverse_ip:2001:0db8:c42:9:1:abcd:192.0.2.3}
436        -> 3.0.2.0.0.0.0.c.d.c.b.a.1.0.0.0.9.0.0.0.2.4.c.0.8.b.d.0.1.0.0.2
437
438  6. There is a new ACL control called "debug", to enable debug logging.
439     This allows selective logging of certain incoming transactions within
440     production environments, with some care.  It takes two options, "tag"
441     and "opts"; "tag" is included in the filename of the log and "opts"
442     is used as per the -d<options> command-line option.  Examples, which
443     don't all make sense in all contexts:
444
445       control = debug
446       control = debug/tag=.$sender_host_address
447       control = debug/opts=+expand+acl
448       control = debug/tag=.$message_exim_id/opts=+expand
449
450  7. It has always been implicit in the design and the documentation that
451     "the Exim user" is not root.  src/EDITME said that using root was
452     "very strongly discouraged".  This is not enough to keep people from
453     shooting themselves in the foot in days when many don't configure Exim
454     themselves but via package build managers.  The security consequences of
455     running various bits of network code are severe if there should be bugs in
456     them.  As such, the Exim user may no longer be root.  If configured
457     statically, Exim will refuse to build.  If configured as ref:user then Exim
458     will exit shortly after start-up.  If you must shoot yourself in the foot,
459     then henceforth you will have to maintain your own local patches to strip
460     the safeties off.
461
462  8. There is a new expansion condition, bool_lax{}.  Where bool{} uses the ACL
463     condition logic to determine truth/failure and will fail to expand many
464     strings, bool_lax{} uses the router condition logic, where most strings
465     do evaluate true.
466     Note: bool{00} is false, bool_lax{00} is true.
467
468  9. Routers now support multiple "condition" tests.
469
470 10. There is now a runtime configuration option "tcp_wrappers_daemon_name".
471     Setting this allows an admin to define which entry in the tcpwrappers
472     config file will be used to control access to the daemon.  This option
473     is only available when Exim is built with USE_TCP_WRAPPERS.  The
474     default value is set at build time using the TCP_WRAPPERS_DAEMON_NAME
475     build option.
476
477 11. [POSSIBLE CONFIG BREAKAGE] The default value for system_filter_user is now
478     the Exim run-time user, instead of root.
479
480 12. [POSSIBLE CONFIG BREAKAGE] ALT_CONFIG_ROOT_ONLY is no longer optional and
481     is forced on.  This is mitigated by the new build option
482     TRUSTED_CONFIG_LIST which defines a list of configuration files which
483     are trusted; one per line. If a config file is owned by root and matches
484     a pathname in the list, then it may be invoked by the Exim build-time
485     user without Exim relinquishing root privileges.
486
487 13. [POSSIBLE CONFIG BREAKAGE] The Exim user is no longer automatically
488     trusted to supply -D<Macro[=Value]> overrides on the command-line.  Going
489     forward, we recommend using TRUSTED_CONFIG_LIST with shim configs that
490     include the main config.  As a transition mechanism, we are temporarily
491     providing a work-around: the new build option WHITELIST_D_MACROS provides
492     a colon-separated list of macro names which may be overridden by the Exim
493     run-time user.  The values of these macros are constrained to the regex
494     ^[A-Za-z0-9_/.-]*$ (which explicitly does allow for empty values).
495
496
497 Version 4.72
498 ------------
499
500  1. TWO SECURITY FIXES: one relating to mail-spools which are globally
501     writable, the other to locking of MBX folders (not mbox).
502
503  2. MySQL stored procedures are now supported.
504
505  3. The dkim_domain transport option is now a list, not a single string, and
506     messages will be signed for each element in the list (discarding
507     duplicates).
508
509  4. The 4.70 release unexpectedly changed the behaviour of dnsdb TXT lookups
510     in the presence of multiple character strings within the RR. Prior to 4.70,
511     only the first string would be returned.  The dnsdb lookup now, by default,
512     preserves the pre-4.70 semantics, but also now takes an extended output
513     separator specification.  The separator can be followed by a semicolon, to
514     concatenate the individual text strings together with no join character,
515     or by a comma and a second separator character, in which case the text
516     strings within a TXT record are joined on that second character.
517     Administrators are reminded that DNS provides no ordering guarantees
518     between multiple records in an RRset.  For example:
519
520       foo.example.  IN TXT "a" "b" "c"
521       foo.example.  IN TXT "d" "e" "f"
522
523       ${lookup dnsdb{>/ txt=foo.example}}   -> "a/d"
524       ${lookup dnsdb{>/; txt=foo.example}}  -> "def/abc"
525       ${lookup dnsdb{>/,+ txt=foo.example}} -> "a+b+c/d+e+f"
526
527
528 Version 4.70 / 4.71
529 -------------------
530
531  1. Native DKIM support without an external library.
532     (Note that if no action to prevent it is taken, a straight upgrade will
533     result in DKIM verification of all signed incoming emails.  See spec
534     for details on conditionally disabling)
535
536  2. Experimental DCC support via dccifd (contributed by Wolfgang Breyha).
537
538  3. There is now a bool{} expansion condition which maps certain strings to
539     true/false condition values (most likely of use in conjunction with the
540     and{} expansion operator).
541
542  4. The $spam_score, $spam_bar and $spam_report variables are now available
543     at delivery time.
544
545  5. exim -bP now supports "macros", "macro_list" or "macro MACRO_NAME" as
546     options, provided that Exim is invoked by an admin_user.
547
548  6. There is a new option gnutls_compat_mode, when linked against GnuTLS,
549     which increases compatibility with older clients at the cost of decreased
550     security.  Don't set this unless you need to support such clients.
551
552  7. There is a new expansion operator, ${randint:...} which will produce a
553     "random" number less than the supplied integer.  This randomness is
554     not guaranteed to be cryptographically strong, but depending upon how
555     Exim was built may be better than the most naive schemes.
556
557  8. Exim now explicitly ensures that SHA256 is available when linked against
558     OpenSSL.
559
560  9. The transport_filter_timeout option now applies to SMTP transports too.
561
562
563 Version 4.69
564 ------------
565
566  1. Preliminary DKIM support in Experimental.
567
568
569 Version 4.68
570 ------------
571
572  1. The body_linecount and body_zerocount C variables are now exported in the
573     local_scan API.
574
575  2. When a dnslists lookup succeeds, the key that was looked up is now placed
576     in $dnslist_matched. When the key is an IP address, it is not reversed in
577     this variable (though it is, of course, in the actual lookup). In simple
578     cases, for example:
579
580       deny dnslists = spamhaus.example
581
582     the key is also available in another variable (in this case,
583     $sender_host_address). In more complicated cases, however, this is not
584     true. For example, using a data lookup might generate a dnslists lookup
585     like this:
586
587       deny dnslists = spamhaus.example/<|192.168.1.2|192.168.6.7|...
588
589     If this condition succeeds, the value in $dnslist_matched might be
590     192.168.6.7 (for example).
591
592  3. Authenticators now have a client_condition option. When Exim is running as
593     a client, it skips an authenticator whose client_condition expansion yields
594     "0", "no", or "false". This can be used, for example, to skip plain text
595     authenticators when the connection is not encrypted by a setting such as:
596
597       client_condition = ${if !eq{$tls_cipher}{}}
598
599     Note that the 4.67 documentation states that $tls_cipher contains the
600     cipher used for incoming messages. In fact, during SMTP delivery, it
601     contains the cipher used for the delivery. The same is true for
602     $tls_peerdn.
603
604  4. There is now a -Mvc <message-id> option, which outputs a copy of the
605     message to the standard output, in RFC 2822 format. The option can be used
606     only by an admin user.
607
608  5. There is now a /noupdate option for the ratelimit ACL condition. It
609     computes the rate and checks the limit as normal, but it does not update
610     the saved data. This means that, in relevant ACLs, it is possible to lookup
611     the existence of a specified (or auto-generated) ratelimit key without
612     incrementing the ratelimit counter for that key.
613
614     In order for this to be useful, another ACL entry must set the rate
615     for the same key somewhere (otherwise it will always be zero).
616
617     Example:
618
619     acl_check_connect:
620       # Read the rate; if it doesn't exist or is below the maximum
621       # we update it below
622       deny ratelimit = 100 / 5m / strict / noupdate
623            log_message = RATE: $sender_rate / $sender_rate_period \
624                          (max $sender_rate_limit)
625
626       [... some other logic and tests...]
627
628       warn ratelimit = 100 / 5m / strict / per_cmd
629            log_message = RATE UPDATE: $sender_rate / $sender_rate_period \
630                          (max $sender_rate_limit)
631            condition = ${if le{$sender_rate}{$sender_rate_limit}}
632
633       accept
634
635  6. The variable $max_received_linelength contains the number of bytes in the
636     longest line that was received as part of the message, not counting the
637     line termination character(s).
638
639  7. Host lists can now include +ignore_defer and +include_defer, analagous to
640     +ignore_unknown and +include_unknown. These options should be used with
641     care, probably only in non-critical host lists such as whitelists.
642
643  8. There's a new option called queue_only_load_latch, which defaults true.
644     If set false when queue_only_load is greater than zero, Exim re-evaluates
645     the load for each incoming message in an SMTP session. Otherwise, once one
646     message is queued, the remainder are also.
647
648  9. There is a new ACL, specified by acl_smtp_notquit, which is run in most
649     cases when an SMTP session ends without sending QUIT. However, when Exim
650     itself is is bad trouble, such as being unable to write to its log files,
651     this ACL is not run, because it might try to do things (such as write to
652     log files) that make the situation even worse.
653
654     Like the QUIT ACL, this new ACL is provided to make it possible to gather
655     statistics. Whatever it returns (accept or deny) is immaterial. The "delay"
656     modifier is forbidden in this ACL.
657
658     When the NOTQUIT ACL is running, the variable $smtp_notquit_reason is set
659     to a string that indicates the reason for the termination of the SMTP
660     connection. The possible values are:
661
662       acl-drop                 Another ACL issued a "drop" command
663       bad-commands             Too many unknown or non-mail commands
664       command-timeout          Timeout while reading SMTP commands
665       connection-lost          The SMTP connection has been lost
666       data-timeout             Timeout while reading message data
667       local-scan-error         The local_scan() function crashed
668       local-scan-timeout       The local_scan() function timed out
669       signal-exit              SIGTERM or SIGINT
670       synchronization-error    SMTP synchronization error
671       tls-failed               TLS failed to start
672
673     In most cases when an SMTP connection is closed without having received
674     QUIT, Exim sends an SMTP response message before actually closing the
675     connection. With the exception of acl-drop, the default message can be
676     overridden by the "message" modifier in the NOTQUIT ACL. In the case of a
677     "drop" verb in another ACL, it is the message from the other ACL that is
678     used.
679
680 10. For MySQL and PostgreSQL lookups, it is now possible to specify a list of
681     servers with individual queries. This is done by starting the query with
682     "servers=x:y:z;", where each item in the list may take one of two forms:
683
684     (1) If it is just a host name, the appropriate global option (mysql_servers
685         or pgsql_servers) is searched for a host of the same name, and the
686         remaining parameters (database, user, password) are taken from there.
687
688     (2) If it contains any slashes, it is taken as a complete parameter set.
689
690     The list of servers is used in exactly the same was as the global list.
691     Once a connection to a server has happened and a query has been
692     successfully executed, processing of the lookup ceases.
693
694     This feature is intended for use in master/slave situations where updates
695     are occurring, and one wants to update a master rather than a slave. If the
696     masters are in the list for reading, you might have:
697
698       mysql_servers = slave1/db/name/pw:slave2/db/name/pw:master/db/name/pw
699
700     In an updating lookup, you could then write
701
702       ${lookup mysql{servers=master; UPDATE ...}
703
704     If, on the other hand, the master is not to be used for reading lookups:
705
706       pgsql_servers = slave1/db/name/pw:slave2/db/name/pw
707
708     you can still update the master by
709
710       ${lookup pgsql{servers=master/db/name/pw; UPDATE ...}
711
712 11. The message_body_newlines option (default FALSE, for backwards
713     compatibility) can be used to control whether newlines are present in
714     $message_body and $message_body_end. If it is FALSE, they are replaced by
715     spaces.
716
717
718 Version 4.67
719 ------------
720
721  1. There is a new log selector called smtp_no_mail, which is not included in
722     the default setting. When it is set, a line is written to the main log
723     whenever an accepted SMTP connection terminates without having issued a
724     MAIL command.
725
726  2. When an item in a dnslists list is followed by = and & and a list of IP
727     addresses, the behaviour was not clear when the lookup returned more than
728     one IP address. This has been solved by the addition of == and =& for "all"
729     rather than the default "any" matching.
730
731  3. Up till now, the only control over which cipher suites GnuTLS uses has been
732     for the cipher algorithms. New options have been added to allow some of the
733     other parameters to be varied.
734
735  4. There is a new compile-time option called ENABLE_DISABLE_FSYNC. When it is
736     set, Exim compiles a runtime option called disable_fsync.
737
738  5. There is a new variable called $smtp_count_at_connection_start.
739
740  6. There's a new control called no_pipelining.
741
742  7. There are two new variables called $sending_ip_address and $sending_port.
743     These are set whenever an SMTP connection to another host has been set up.
744
745  8. The expansion of the helo_data option in the smtp transport now happens
746     after the connection to the server has been made.
747
748  9. There is a new expansion operator ${rfc2047d: that decodes strings that
749     are encoded as per RFC 2047.
750
751 10. There is a new log selector called "pid", which causes the current process
752     id to be added to every log line, in square brackets, immediately after the
753     time and date.
754
755 11. Exim has been modified so that it flushes SMTP output before implementing
756     a delay in an ACL. It also flushes the output before performing a callout,
757     as this can take a substantial time. These behaviours can be disabled by
758     obeying control = no_delay_flush or control = no_callout_flush,
759     respectively, at some earlier stage of the connection.
760
761 12. There are two new expansion conditions that iterate over a list. They are
762     called forany and forall.
763
764 13. There's a new global option called dsn_from that can be used to vary the
765     contents of From: lines in bounces and other automatically generated
766     messages ("delivery status notifications" - hence the name of the option).
767
768 14. The smtp transport has a new option called hosts_avoid_pipelining.
769
770 15. By default, exigrep does case-insensitive matches. There is now a -I option
771     that makes it case-sensitive.
772
773 16. A number of new features ("addresses", "map", "filter", and "reduce") have
774     been added to string expansions to make it easier to process lists of
775     items, typically addresses.
776
777 17. There's a new ACL modifier called "continue". It does nothing of itself,
778     and processing of the ACL always continues with the next condition or
779     modifier. It is provided so that the side effects of expanding its argument
780     can be used.
781
782 18. It is now possible to use newline and other control characters (those with
783     values less than 32, plus DEL) as separators in lists.
784
785 19. The exigrep utility now has a -v option, which inverts the matching
786     condition.
787
788 20. The host_find_failed option in the manualroute router can now be set to
789     "ignore".
790
791
792 Version 4.66
793 ------------
794
795 No new features were added to 4.66.
796
797
798 Version 4.65
799 ------------
800
801 No new features were added to 4.65.
802
803
804 Version 4.64
805 ------------
806
807  1. ACL variables can now be given arbitrary names, as long as they start with
808     "acl_c" or "acl_m" (for connection variables and message variables), are at
809     least six characters long, with the sixth character being either a digit or
810     an underscore.
811
812  2. There is a new ACL modifier called log_reject_target. It makes it possible
813     to specify which logs are used for messages about ACL rejections.
814
815  3. There is a new authenticator called "dovecot". This is an interface to the
816     authentication facility of the Dovecot POP/IMAP server, which can support a
817     number of authentication methods.
818
819  4. The variable $message_headers_raw provides a concatenation of all the
820     messages's headers without any decoding. This is in contrast to
821     $message_headers, which does RFC2047 decoding on the header contents.
822
823  5. In a DNS black list, if two domain names, comma-separated, are given, the
824     second is used first to do an initial check, making use of any IP value
825     restrictions that are set. If there is a match, the first domain is used,
826     without any IP value restrictions, to get the TXT record.
827
828  6. All authenticators now have a server_condition option.
829
830  7. There is a new command-line option called -Mset. It is useful only in
831     conjunction with -be (that is, when testing string expansions). It must be
832     followed by a message id; Exim loads the given message from its spool
833     before doing the expansions.
834
835  8. Another similar new command-line option is called -bem. It operates like
836     -be except that it must be followed by the name of a file that contains a
837     message.
838
839  9. When an address is delayed because of a 4xx response to a RCPT command, it
840     is now the combination of sender and recipient that is delayed in
841     subsequent queue runs until its retry time is reached.
842
843 10. Unary negation and the bitwise logical operators and, or, xor, not, and
844     shift, have been added to the eval: and eval10: expansion items.
845
846 11. The variables $interface_address and $interface_port have been renamed
847     as $received_ip_address and $received_port, to make it clear that they
848     relate to message reception rather than delivery. (The old names remain
849     available for compatibility.)
850
851 12. The "message" modifier can now be used on "accept" and "discard" acl verbs
852     to vary the message that is sent when an SMTP command is accepted.
853
854
855 Version 4.63
856 ------------
857
858 1. There is a new Boolean option called filter_prepend_home for the redirect
859    router.
860
861 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
862    start of receiving a non-SMTP message, before any of the message has been
863    read.
864
865 3. When an SMTP error message is specified in a "message" modifier in an ACL,
866    or in a :fail: or :defer: message in a redirect router, Exim now checks the
867    start of the message for an SMTP error code.
868
869 4. There is a new parameter for LDAP lookups called "referrals", which takes
870    one of the settings "follow" (the default) or "nofollow".
871
872 5. Version 20070721.2 of exipick now included, offering these new options:
873     --reverse
874         After all other sorting options have bee processed, reverse order
875         before displaying messages (-R is synonym).
876     --random
877         Randomize order of matching messages before displaying.
878     --size
879         Instead of displaying the matching messages, display the sum
880         of their sizes.
881     --sort <variable>[,<variable>...]
882         Before displaying matching messages, sort the messages according to
883         each messages value for each variable.
884     --not
885         Negate the value for every test (returns inverse output from the
886         same criteria without --not).
887
888
889 Version 4.62
890 ------------
891
892 1. The ${readsocket expansion item now supports Internet domain sockets as well
893    as Unix domain sockets. If the first argument begins "inet:", it must be of
894    the form "inet:host:port". The port is mandatory; it may be a number or the
895    name of a TCP port in /etc/services. The host may be a name, or it may be an
896    IP address. An ip address may optionally be enclosed in square brackets.
897    This is best for IPv6 addresses. For example:
898
899      ${readsocket{inet:[::1]:1234}{<request data>}...
900
901    Only a single host name may be given, but if looking it up yield more than
902    one IP address, they are each tried in turn until a connection is made. Once
903    a connection has been made, the behaviour is as for ${readsocket with a Unix
904    domain socket.
905
906 2. If a redirect router sets up file or pipe deliveries for more than one
907    incoming address, and the relevant transport has batch_max set greater than
908    one, a batch delivery now occurs.
909
910 3. The appendfile transport has a new option called maildirfolder_create_regex.
911    Its value is a regular expression. For a maildir delivery, this is matched
912    against the maildir directory; if it matches, Exim ensures that a
913    maildirfolder file is created alongside the new, cur, and tmp directories.
914
915
916 Version 4.61
917 ------------
918
919 The documentation is up-to-date for the 4.61 release. Major new features since
920 the 4.60 release are:
921
922 . An option called disable_ipv6, to disable the use of IPv6 completely.
923
924 . An increase in the number of ACL variables to 20 of each type.
925
926 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
927   $2, $3, (though those are still set) because the numeric variables get used
928   for other things in complicated expansions.
929
930 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
931
932 . It is possible to use setclassresources() on some BSD OS to control the
933   resources used in pipe deliveries.
934
935 . A new ACL modifier called add_header, which can be used with any verb.
936
937 . More errors are detectable in retry rules.
938
939 There are a number of other additions too.
940
941
942 Version 4.60
943 ------------
944
945 The documentation is up-to-date for the 4.60 release. Major new features since
946 the 4.50 release are:
947
948 . Support for SQLite.
949
950 . Support for IGNOREQUOTA in LMTP.
951
952 . Extensions to the "submission mode" features.
953
954 . Support for Client SMTP Authorization (CSA).
955
956 . Support for ratelimiting hosts and users.
957
958 . New expansion items to help with the BATV "prvs" scheme.
959
960 . A "match_ip" condition, that matches an IP address against a list.
961
962 There are many more minor changes.
963
964 ****