Documentation: replace http by https where possible
[users/heiko/exim.git] / doc / doc-txt / NewStuff
1 New Features in Exim
2 --------------------
3
4 This file contains descriptions of new features that have been added to Exim.
5 Before a formal release, there may be quite a lot of detail so that people can
6 test from the snapshots or the Git before the documentation is updated. Once
7 the documentation is updated, this file is reduced to a short list.
8
9 Version 4.90
10 ------------
11
12  1. PKG_CONFIG_PATH can now be set in Local/Makefile;
13     wildcards will be expanded, values are collapsed.
14
15  2. The ${readsocket } expansion now takes an option to not shutdown the
16     connection after sending the query string.  The default remains to do so.
17
18  3. An smtp transport option "hosts_noproxy_tls" to control whether multiple
19     deliveries on a single TCP connection can maintain a TLS connection
20     open.  By default disabled for all hosts, doing so saves the cost of
21     making new TLS sessions, at the cost of having to proxy the data via
22     another process.  Logging is also affected.
23
24  4. A malware connection type for the FPSCAND protocol.
25
26  5. An option for recipient verify callouts to hold the connection open for
27     further recipients and for delivery.
28
29
30 Version 4.89
31 ------------
32
33  1. Allow relative config file names for ".include"
34
35  2. A main-section config option "debug_store" to control the checks on
36     variable locations during store-reset.  Normally false but can be enabled
37     when a memory corrution issue is suspected on a production system.
38
39
40 Version 4.88
41 ------------
42
43  1. The new perl_taintmode option allows to run the embedded perl
44     interpreter in taint mode.
45
46  2. New log_selector: dnssec, adds a "DS" tag to acceptance and delivery lines.
47
48  3. Speculative debugging, via a "kill" option to the "control=debug" ACL
49     modifier.
50
51  4. New expansion item ${sha3:<string>} / ${sha3_<N>:<string>}.
52     N can be 224, 256 (default), 384, 512.
53     With GnuTLS 3.5.0 or later, only.
54
55  5. Facility for named queues:  A command-line argument can specify
56     the queue name for a queue operation, and an ACL modifier can set
57     the queue to be used for a message.  A $queue_name variable gives
58     visibility.
59
60  6. New expansion operators base32/base32d.
61
62  7. The CHUNKING ESMTP extension from RFC 3030.  May give some slight
63     performance increase and network load decrease.  Main config option
64     chunking_advertise_hosts, and smtp transport option hosts_try_chunking
65     for control.
66
67  8. LMDB lookup support, as Experimental. Patch supplied by Andrew Colin Kissa.
68
69  9. Expansion operator escape8bit, like escape but not touching newline etc..
70
71 10. Feature macros, generated from compile options.  All start with "_HAVE_"
72     and go on with some roughly recognisable name.  Driver macros, for
73     router, transport and authentication drivers; names starting with "_DRIVER_".
74     Option macros, for each configuration-file option; all start with "_OPT_".
75     Use the "-bP macros" command-line option to see what is present.
76
77 11. Integer values for options can take a "G" multiplier.
78
79 12. defer=pass option for the ACL control cutthrough_delivery, to reflect 4xx
80     returns from the target back to the initiator, rather than spooling the
81     message.
82
83 13. New built-in constants available for tls_dhparam and default changed.
84
85 14. If built with EXPERIMENTAL_QUEUEFILE, a queuefile transport, for writing
86     out copies of the message spool files for use by 3rd-party scanners.
87
88 15. A new option on the smtp transport, hosts_try_fastopen.  If the system
89     supports it (on Linux it must be enabled in the kernel by the sysadmin)
90     try to use RFC 7413 "TCP Fast Open".  No data is sent on the SYN segment
91     but it permits a peer that also supports the facility to send its SMTP
92     banner immediately after the SYN,ACK segment rather then waiting for
93     another ACK - so saving up to one roundtrip time.  Because it requires
94     previous communication with the peer (we save a cookie from it) this
95     will only become active on frequently-contacted destinations.
96
97 16. A new syslog_pid option to suppress PID duplication in syslog lines.
98
99
100 Version 4.87
101 ------------
102
103  1. The ACL conditions regex and mime_regex now capture substrings
104     into numeric variables $regex1 to 9, like the "match" expansion condition.
105
106  2. New $callout_address variable records the address used for a spam=,
107     malware= or verify= callout.
108
109  3. Transports now take a "max_parallel" option, to limit concurrency.
110
111  4. Expansion operators ${ipv6norm:<string>} and ${ipv6denorm:<string>}.
112     The latter expands to a 8-element colon-sep set of hex digits including
113     leading zeroes. A trailing ipv4-style dotted-decimal set is converted
114     to hex.  Pure ipv4 addresses are converted to IPv4-mapped IPv6.
115     The former operator strips leading zeroes and collapses the longest
116     set of 0-groups to a double-colon.
117
118  5. New "-bP config" support, to dump the effective configuration.
119
120  6. New $dkim_key_length variable.
121
122  7. New base64d and base64 expansion items (the existing str2b64 being a
123     synonym of the latter).  Add support in base64 for certificates.
124
125  8. New main configuration option "bounce_return_linesize_limit" to
126     avoid oversize bodies in bounces. The default value matches RFC
127     limits.
128
129  9. New $initial_cwd expansion variable.
130
131
132 Version 4.86
133 ------------
134
135  1. Support for using the system standard CA bundle.
136
137  2. New expansion items $config_file, $config_dir, containing the file
138     and directory name of the main configuration file. Also $exim_version.
139
140  3. New "malware=" support for Avast.
141
142  4. New "spam=" variant option for Rspamd.
143
144  5. Assorted options on malware= and spam= scanners.
145
146  6. A command-line option to write a comment into the logfile.
147
148  7. If built with EXPERIMENTAL_SOCKS feature enabled, the smtp transport can
149     be configured to make connections via socks5 proxies.
150
151  8. If built with EXPERIMENTAL_INTERNATIONAL, support is included for
152     the transmission of UTF-8 envelope addresses.
153
154  9. If built with EXPERIMENTAL_INTERNATIONAL, an expansion item for a commonly
155     used encoding of Maildir folder names.
156
157 10. A logging option for slow DNS lookups.
158
159 11. New ${env {<variable>}} expansion.
160
161 12. A non-SMTP authenticator using information from TLS client certificates.
162
163 13. Main option "tls_eccurve" for selecting an Elliptic Curve for TLS.
164     Patch originally by Wolfgang Breyha.
165
166 14. Main option "dns_trust_aa" for trusting your local nameserver at the
167     same level as DNSSEC.
168
169
170 Version 4.85
171 ------------
172
173  1. If built with EXPERIMENTAL_DANE feature enabled, Exim will follow the
174     DANE SMTP draft to assess a secure chain of trust of the certificate
175     used to establish the TLS connection based on a TLSA record in the
176     domain of the sender.
177
178  2. The EXPERIMENTAL_TPDA feature has been renamed to EXPERIMENTAL_EVENT
179     and several new events have been created. The reason is because it has
180     been expanded beyond just firing events during the transport phase. Any
181     existing TPDA transport options will have to be rewritten to use a new
182     $event_name expansion variable in a condition. Refer to the
183     experimental-spec.txt for details and examples.
184
185  3. The EXPERIMENTAL_CERTNAMES features is an enhancement to verify that
186     server certs used for TLS match the result of the MX lookup. It does
187     not use the same mechanism as DANE.
188
189
190 Version 4.84
191 ------------
192
193
194 Version 4.83
195 ------------
196
197  1. If built with the EXPERIMENTAL_PROXY feature enabled, Exim can be
198     configured to expect an initial header from a proxy that will make the
199     actual external source IP:host be used in exim instead of the IP of the
200     proxy that is connecting to it.
201
202  2. New verify option header_names_ascii, which will check to make sure
203     there are no non-ASCII characters in header names.  Exim itself handles
204     those non-ASCII characters, but downstream apps may not, so Exim can
205     detect and reject if those characters are present.
206
207  3. New expansion operator ${utf8clean:string} to replace malformed UTF8
208     codepoints with valid ones.
209
210  4. New malware type "sock".  Talks over a Unix or TCP socket, sending one
211     command line and matching a regex against the return data for trigger
212     and a second regex to extract malware_name.  The mail spoolfile name can
213     be included in the command line.
214
215  5. The smtp transport now supports options "tls_verify_hosts" and
216     "tls_try_verify_hosts".  If either is set the certificate verification
217     is split from the encryption operation. The default remains that a failed
218     verification cancels the encryption.
219
220  6. New SERVERS override of default ldap server list.  In the ACLs, an ldap
221     lookup can now set a list of servers to use that is different from the
222     default list.
223
224  7. New command-line option -C for exiqgrep to specify alternate exim.conf
225     file when searching the queue.
226
227  8. OCSP now supports GnuTLS also, if you have version 3.1.3 or later of that.
228
229  9. Support for DNSSEC on outbound connections.
230
231 10. New variables "tls_(in,out)_(our,peer)cert" and expansion item
232     "certextract" to extract fields from them. Hash operators md5 and sha1
233     work over them for generating fingerprints, and a new sha256 operator
234     for them added.
235
236 11. PRDR is now supported dy default.
237
238 12. OCSP stapling is now supported by default.
239
240 13. If built with the EXPERIMENTAL_DSN feature enabled, Exim will output
241     Delivery Status Notification messages in MIME format, and negotiate
242     DSN features per RFC 3461.
243
244
245 Version 4.82
246 ------------
247
248  1. New command-line option -bI:sieve will list all supported sieve extensions
249     of this Exim build on standard output, one per line.
250     ManageSieve (RFC 5804) providers managing scripts for use by Exim should
251     query this to establish the correct list to include in the protocol's
252     SIEVE capability line.
253
254  2. If the -n option is combined with the -bP option, then the name of an
255     emitted option is not output, only the value (if visible to you).
256     For instance, "exim -n -bP pid_file_path" should just emit a pathname
257     followed by a newline, and no other text.
258
259  3. When built with SUPPORT_TLS and USE_GNUTLS, the SMTP transport driver now
260     has a "tls_dh_min_bits" option, to set the minimum acceptable number of
261     bits in the Diffie-Hellman prime offered by a server (in DH ciphersuites)
262     acceptable for security.  (Option accepted but ignored if using OpenSSL).
263     Defaults to 1024, the old value.  May be lowered only to 512, or raised as
264     far as you like.  Raising this may hinder TLS interoperability with other
265     sites and is not currently recommended.  Lowering this will permit you to
266     establish a TLS session which is not as secure as you might like.
267
268     Unless you really know what you are doing, leave it alone.
269
270  4. If not built with DISABLE_DNSSEC, Exim now has the main option
271     dns_dnssec_ok; if set to 1 then Exim will initialise the resolver library
272     to send the DO flag to your recursive resolver.  If you have a recursive
273     resolver, which can set the Authenticated Data (AD) flag in results, Exim
274     can now detect this.  Exim does not perform validation itself, instead
275     relying upon a trusted path to the resolver.
276
277     Current status: work-in-progress; $sender_host_dnssec variable added.
278
279  5. DSCP support for outbound connections: on a transport using the smtp driver,
280     set "dscp = ef", for instance, to cause the connections to have the relevant
281     DSCP (IPv4 TOS or IPv6 TCLASS) value in the header.
282
283     Similarly for inbound connections, there is a new control modifier, dscp,
284     so "warn control = dscp/ef" in the connect ACL, or after authentication.
285
286     Supported values depend upon system libraries.  "exim -bI:dscp" to list the
287     ones Exim knows of.  You can also set a raw number 0..0x3F.
288
289  6. The -G command-line flag is no longer ignored; it is now equivalent to an
290     ACL setting "control = suppress_local_fixups".  The -L command-line flag
291     is now accepted and forces use of syslog, with the provided tag as the
292     process name.  A few other flags used by Sendmail are now accepted and
293     ignored.
294
295  7. New cutthrough routing feature.  Requested by a "control = cutthrough_delivery"
296     ACL modifier; works for single-recipient mails which are received on and
297     deliverable via SMTP.  Using the connection made for a recipient verify,
298     if requested before the verify, or a new one made for the purpose while
299     the inbound connection is still active.  The bulk of the mail item is copied
300     direct from the inbound socket to the outbound (as well as the spool file).
301     When the source notifies the end of data, the data acceptance by the destination
302     is negotiated before the acceptance is sent to the source.  If the destination
303     does not accept the mail item, for example due to content-scanning, the item
304     is not accepted from the source and therefore there is no need to generate
305     a bounce mail.  This is of benefit when providing a secondary-MX service.
306     The downside is that delays are under the control of the ultimate destination
307     system not your own.
308
309     The Received-by: header on items delivered by cutthrough is generated
310     early in reception rather than at the end; this will affect any timestamp
311     included.  The log line showing delivery is recorded before that showing
312     reception; it uses a new ">>" tag instead of "=>".
313
314     To support the feature, verify-callout connections can now use ESMTP and TLS.
315     The usual smtp transport options are honoured, plus a (new, default everything)
316     hosts_verify_avoid_tls.
317
318     New variable families named tls_in_cipher, tls_out_cipher etc. are introduced
319     for specific access to the information for each connection.  The old names
320     are present for now but deprecated.
321
322     Not yet supported: IGNOREQUOTA, SIZE, PIPELINING.
323
324  8. New expansion operators ${listnamed:name} to get the content of a named list
325     and ${listcount:string} to count the items in a list.
326
327  9. New global option "gnutls_allow_auto_pkcs11", defaults false.  The GnuTLS
328     rewrite in 4.80 combines with GnuTLS 2.12.0 or later, to autoload PKCS11
329     modules.  For some situations this is desirable, but we expect admin in
330     those situations to know they want the feature.  More commonly, it means
331     that GUI user modules get loaded and are broken by the setuid Exim being
332     unable to access files specified in environment variables and passed
333     through, thus breakage.  So we explicitly inhibit the PKCS11 initialisation
334     unless this new option is set.
335
336     Some older OS's with earlier versions of GnuTLS might not have pkcs11 ability,
337     so have also added a build option which can be used to build Exim with GnuTLS
338     but without trying to use any kind of PKCS11 support.  Uncomment this in the
339     Local/Makefile:
340
341     AVOID_GNUTLS_PKCS11=yes
342
343 10. The "acl = name" condition on an ACL now supports optional arguments.
344     New expansion item "${acl {name}{arg}...}" and expansion condition
345     "acl {{name}{arg}...}" are added.  In all cases up to nine arguments
346     can be used, appearing in $acl_arg1 to $acl_arg9 for the called ACL.
347     Variable $acl_narg contains the number of arguments.  If the ACL sets
348     a "message =" value this becomes the result of the expansion item,
349     or the value of $value for the expansion condition.  If the ACL returns
350     accept the expansion condition is true; if reject, false.  A defer
351     return results in a forced fail.
352
353 11. Routers and transports can now have multiple headers_add and headers_remove
354     option lines.  The concatenated list is used.
355
356 12. New ACL modifier "remove_header" can remove headers before message gets
357     handled by routers/transports.
358
359 13. New dnsdb lookup pseudo-type "a+".  A sequence of "a6" (if configured),
360     "aaaa" and "a" lookups is done and the full set of results returned.
361
362 14. New expansion variable $headers_added with content from ACL add_header
363     modifier (but not yet added to message).
364
365 15. New 8bitmime status logging option for received messages.  Log field "M8S".
366
367 16. New authenticated_sender logging option, adding to log field "A".
368
369 17. New expansion variables $router_name and $transport_name.  Useful
370     particularly for debug_print as -bt command-line option does not
371     require privilege whereas -d does.
372
373 18. If built with EXPERIMENTAL_PRDR, per-recipient data responses per a
374     proposed extension to SMTP from Eric Hall.
375
376 19. The pipe transport has gained the force_command option, to allow
377     decorating commands from user .forward pipe aliases with prefix
378     wrappers, for instance.
379
380 20. Callout connections can now AUTH; the same controls as normal delivery
381     connections apply.
382
383 21. Support for DMARC, using opendmarc libs, can be enabled. It adds new
384     options: dmarc_forensic_sender, dmarc_history_file, and dmarc_tld_file.
385     It adds new expansion variables $dmarc_ar_header, $dmarc_status,
386     $dmarc_status_text, and $dmarc_used_domain.  It adds a new acl modifier
387     dmarc_status.  It adds new control flags dmarc_disable_verify and
388     dmarc_enable_forensic.
389
390 22. Add expansion variable $authenticated_fail_id, which is the username
391     provided to the authentication method which failed.  It is available
392     for use in subsequent ACL processing (typically quit or notquit ACLs).
393
394 23. New ACL modifier "udpsend" can construct a UDP packet to send to a given
395     UDP host and port.
396
397 24. New ${hexquote:..string..} expansion operator converts non-printable
398     characters in the string to \xNN form.
399
400 25. Experimental TPDA (Transport Post Delivery Action) function added.
401     Patch provided by Axel Rau.
402
403 26. Experimental Redis lookup added. Patch provided by Warren Baker.
404
405
406 Version 4.80
407 ------------
408
409  1. New authenticator driver, "gsasl".  Server-only (at present).
410     This is a SASL interface, licensed under GPL, which can be found at
411     http://www.gnu.org/software/gsasl/.
412     This system does not provide sources of data for authentication, so
413     careful use needs to be made of the conditions in Exim.
414
415  2. New authenticator driver, "heimdal_gssapi".  Server-only.
416     A replacement for using cyrus_sasl with Heimdal, now that $KRB5_KTNAME
417     is no longer honoured for setuid programs by Heimdal.  Use the
418     "server_keytab" option to point to the keytab.
419
420  3. The "pkg-config" system can now be used when building Exim to reference
421     cflags and library information for lookups and authenticators, rather
422     than having to update "CFLAGS", "AUTH_LIBS", "LOOKUP_INCLUDE" and
423     "LOOKUP_LIBS" directly.  Similarly for handling the TLS library support
424     without adjusting "TLS_INCLUDE" and "TLS_LIBS".
425
426     In addition, setting PCRE_CONFIG=yes will query the pcre-config tool to
427     find the headers and libraries for PCRE.
428
429  4. New expansion variable $tls_bits.
430
431  5. New lookup type, "dbmjz".  Key is an Exim list, the elements of which will
432     be joined together with ASCII NUL characters to construct the key to pass
433     into the DBM library.  Can be used with gsasl to access sasldb2 files as
434     used by Cyrus SASL.
435
436  6. OpenSSL now supports TLS1.1 and TLS1.2 with OpenSSL 1.0.1.
437
438     Avoid release 1.0.1a if you can.  Note that the default value of
439     "openssl_options" is no longer "+dont_insert_empty_fragments", as that
440     increased susceptibility to attack.  This may still have interoperability
441     implications for very old clients (see version 4.31 change 37) but
442     administrators can choose to make the trade-off themselves and restore
443     compatibility at the cost of session security.
444
445  7. Use of the new expansion variable $tls_sni in the main configuration option
446     tls_certificate will cause Exim to re-expand the option, if the client
447     sends the TLS Server Name Indication extension, to permit choosing a
448     different certificate; tls_privatekey will also be re-expanded.  You must
449     still set these options to expand to valid files when $tls_sni is not set.
450
451     The SMTP Transport has gained the option tls_sni, which will set a hostname
452     for outbound TLS sessions, and set $tls_sni too.
453
454     A new log_selector, +tls_sni, has been added, to log received SNI values
455     for Exim as a server.
456
457  8. The existing "accept_8bitmime" option now defaults to true.  This means
458     that Exim is deliberately not strictly RFC compliant.  We're following
459     Dan Bernstein's advice in http://cr.yp.to/smtp/8bitmime.html by default.
460     Those who disagree, or know that they are talking to mail servers that,
461     even today, are not 8-bit clean, need to turn off this option.
462
463  9. Exim can now be started with -bw (with an optional timeout, given as
464     -bw<timespec>).  With this, stdin at startup is a socket that is
465     already listening for connections.  This has a more modern name of
466     "socket activation", but forcing the activated socket to fd 0.  We're
467     interested in adding more support for modern variants.
468
469 10. ${eval } now uses 64-bit values on supporting platforms.  A new "G" suffix
470     for numbers indicates multiplication by 1024^3.
471
472 11. The GnuTLS support has been revamped; the three options gnutls_require_kx,
473     gnutls_require_mac & gnutls_require_protocols are no longer supported.
474     tls_require_ciphers is now parsed by gnutls_priority_init(3) as a priority
475     string, documentation for which is at:
476     http://www.gnutls.org/manual/html_node/Priority-Strings.html
477
478     SNI support has been added to Exim's GnuTLS integration too.
479
480     For sufficiently recent GnuTLS libraries, ${randint:..} will now use
481     gnutls_rnd(), asking for GNUTLS_RND_NONCE level randomness.
482
483 12. With OpenSSL, if built with EXPERIMENTAL_OCSP, a new option tls_ocsp_file
484     is now available.  If the contents of the file are valid, then Exim will
485     send that back in response to a TLS status request; this is OCSP Stapling.
486     Exim will not maintain the contents of the file in any way: administrators
487     are responsible for ensuring that it is up-to-date.
488
489     See "experimental-spec.txt" for more details.
490
491 13. ${lookup dnsdb{ }} supports now SPF record types. They are handled
492     identically to TXT record lookups.
493
494 14. New expansion variable $tod_epoch_l for higher-precision time.
495
496 15. New global option tls_dh_max_bits, defaulting to current value of NSS
497     hard-coded limit of DH ephemeral bits, to fix interop problems caused by
498     GnuTLS 2.12 library recommending a bit count higher than NSS supports.
499
500 16. tls_dhparam now used by both OpenSSL and GnuTLS, can be path or identifier.
501     Option can now be a path or an identifier for a standard prime.
502     If unset, we use the DH prime from section 2.2 of RFC 5114, "ike23".
503     Set to "historic" to get the old GnuTLS behaviour of auto-generated DH
504     primes.
505
506 17. SSLv2 now disabled by default in OpenSSL.  (Never supported by GnuTLS).
507     Use "openssl_options -no_sslv2" to re-enable support, if your OpenSSL
508     install was not built with OPENSSL_NO_SSL2 ("no-ssl2").
509
510
511 Version 4.77
512 ------------
513
514  1. New options for the ratelimit ACL condition: /count= and /unique=.
515     The /noupdate option has been replaced by a /readonly option.
516
517  2. The SMTP transport's protocol option may now be set to "smtps", to
518     use SSL-on-connect outbound.
519
520  3. New variable $av_failed, set true if the AV scanner deferred; ie, when
521     there is a problem talking to the AV scanner, or the AV scanner running.
522
523  4. New expansion conditions, "inlist" and "inlisti", which take simple lists
524     and check if the search item is a member of the list.  This does not
525     support named lists, but does subject the list part to string expansion.
526
527  5. Unless the new EXPAND_LISTMATCH_RHS build option is set when Exim was
528     built, Exim no longer performs string expansion on the second string of
529     the match_* expansion conditions: "match_address", "match_domain",
530     "match_ip" & "match_local_part".  Named lists can still be used.
531
532
533 Version 4.76
534 ------------
535
536  1. The global option "dns_use_edns0" may be set to coerce EDNS0 usage on
537     or off in the resolver library.
538
539
540 Version 4.75
541 ------------
542
543  1. In addition to the existing LDAP and LDAP/SSL ("ldaps") support, there
544     is now LDAP/TLS support, given sufficiently modern OpenLDAP client
545     libraries.  The following global options have been added in support of
546     this: ldap_ca_cert_dir, ldap_ca_cert_file, ldap_cert_file, ldap_cert_key,
547     ldap_cipher_suite, ldap_require_cert, ldap_start_tls.
548
549  2. The pipe transport now takes a boolean option, "freeze_signal", default
550     false.  When true, if the external delivery command exits on a signal then
551     Exim will freeze the message in the queue, instead of generating a bounce.
552
553  3. Log filenames may now use %M as an escape, instead of %D (still available).
554     The %M pattern expands to yyyymm, providing month-level resolution.
555
556  4. The $message_linecount variable is now updated for the maildir_tag option,
557     in the same way as $message_size, to reflect the real number of lines,
558     including any header additions or removals from transport.
559
560  5. When contacting a pool of SpamAssassin servers configured in spamd_address,
561     Exim now selects entries randomly, to better scale in a cluster setup.
562
563
564 Version 4.74
565 ------------
566
567  1. SECURITY FIX: privilege escalation flaw fixed. On Linux (and only Linux)
568     the flaw permitted the Exim run-time user to cause root to append to
569     arbitrary files of the attacker's choosing, with the content based
570     on content supplied by the attacker.
571
572  2. Exim now supports loading some lookup types at run-time, using your
573     platform's dlopen() functionality.  This has limited platform support
574     and the intention is not to support every variant, it's limited to
575     dlopen().  This permits the main Exim binary to not be linked against
576     all the libraries needed for all the lookup types.
577
578
579 Version 4.73
580 ------------
581
582  NOTE: this version is not guaranteed backwards-compatible, please read the
583        items below carefully
584
585  1. A new main configuration option, "openssl_options", is available if Exim
586     is built with SSL support provided by OpenSSL.  The option allows
587     administrators to specify OpenSSL options to be used on connections;
588     typically this is to set bug compatibility features which the OpenSSL
589     developers have not enabled by default.  There may be security
590     consequences for certain options, so these should not be changed
591     frivolously.
592
593  2. A new pipe transport option, "permit_coredumps", may help with problem
594     diagnosis in some scenarios.  Note that Exim is typically installed as
595     a setuid binary, which on most OSes will inhibit coredumps by default,
596     so that safety mechanism would have to be overridden for this option to
597     be able to take effect.
598
599  3. ClamAV 0.95 is now required for ClamAV support in Exim, unless
600     Local/Makefile sets: WITH_OLD_CLAMAV_STREAM=yes
601     Note that this switches Exim to use a new API ("INSTREAM") and a future
602     release of ClamAV will remove support for the old API ("STREAM").
603
604     The av_scanner option, when set to "clamd", now takes an optional third
605     part, "local", which causes Exim to pass a filename to ClamAV instead of
606     the file content.  This is the same behaviour as when clamd is pointed at
607     a Unix-domain socket.  For example:
608
609       av_scanner = clamd:192.0.2.3 1234:local
610
611     ClamAV's ExtendedDetectionInfo response format is now handled.
612
613  4. There is now a -bmalware option, restricted to admin users.  This option
614     takes one parameter, a filename, and scans that file with Exim's
615     malware-scanning framework.  This is intended purely as a debugging aid
616     to ensure that Exim's scanning is working, not to replace other tools.
617     Note that the ACL framework is not invoked, so if av_scanner references
618     ACL variables without a fallback then this will fail.
619
620  5. There is a new expansion operator, "reverse_ip", which will reverse IP
621     addresses; IPv4 into dotted quad, IPv6 into dotted nibble.  Examples:
622
623       ${reverse_ip:192.0.2.4}
624        -> 4.2.0.192
625       ${reverse_ip:2001:0db8:c42:9:1:abcd:192.0.2.3}
626        -> 3.0.2.0.0.0.0.c.d.c.b.a.1.0.0.0.9.0.0.0.2.4.c.0.8.b.d.0.1.0.0.2
627
628  6. There is a new ACL control called "debug", to enable debug logging.
629     This allows selective logging of certain incoming transactions within
630     production environments, with some care.  It takes two options, "tag"
631     and "opts"; "tag" is included in the filename of the log and "opts"
632     is used as per the -d<options> command-line option.  Examples, which
633     don't all make sense in all contexts:
634
635       control = debug
636       control = debug/tag=.$sender_host_address
637       control = debug/opts=+expand+acl
638       control = debug/tag=.$message_exim_id/opts=+expand
639
640  7. It has always been implicit in the design and the documentation that
641     "the Exim user" is not root.  src/EDITME said that using root was
642     "very strongly discouraged".  This is not enough to keep people from
643     shooting themselves in the foot in days when many don't configure Exim
644     themselves but via package build managers.  The security consequences of
645     running various bits of network code are severe if there should be bugs in
646     them.  As such, the Exim user may no longer be root.  If configured
647     statically, Exim will refuse to build.  If configured as ref:user then Exim
648     will exit shortly after start-up.  If you must shoot yourself in the foot,
649     then henceforth you will have to maintain your own local patches to strip
650     the safeties off.
651
652  8. There is a new expansion condition, bool_lax{}.  Where bool{} uses the ACL
653     condition logic to determine truth/failure and will fail to expand many
654     strings, bool_lax{} uses the router condition logic, where most strings
655     do evaluate true.
656     Note: bool{00} is false, bool_lax{00} is true.
657
658  9. Routers now support multiple "condition" tests.
659
660 10. There is now a runtime configuration option "tcp_wrappers_daemon_name".
661     Setting this allows an admin to define which entry in the tcpwrappers
662     config file will be used to control access to the daemon.  This option
663     is only available when Exim is built with USE_TCP_WRAPPERS.  The
664     default value is set at build time using the TCP_WRAPPERS_DAEMON_NAME
665     build option.
666
667 11. [POSSIBLE CONFIG BREAKAGE] The default value for system_filter_user is now
668     the Exim run-time user, instead of root.
669
670 12. [POSSIBLE CONFIG BREAKAGE] ALT_CONFIG_ROOT_ONLY is no longer optional and
671     is forced on.  This is mitigated by the new build option
672     TRUSTED_CONFIG_LIST which defines a list of configuration files which
673     are trusted; one per line. If a config file is owned by root and matches
674     a pathname in the list, then it may be invoked by the Exim build-time
675     user without Exim relinquishing root privileges.
676
677 13. [POSSIBLE CONFIG BREAKAGE] The Exim user is no longer automatically
678     trusted to supply -D<Macro[=Value]> overrides on the command-line.  Going
679     forward, we recommend using TRUSTED_CONFIG_LIST with shim configs that
680     include the main config.  As a transition mechanism, we are temporarily
681     providing a work-around: the new build option WHITELIST_D_MACROS provides
682     a colon-separated list of macro names which may be overridden by the Exim
683     run-time user.  The values of these macros are constrained to the regex
684     ^[A-Za-z0-9_/.-]*$ (which explicitly does allow for empty values).
685
686
687 Version 4.72
688 ------------
689
690  1. TWO SECURITY FIXES: one relating to mail-spools which are globally
691     writable, the other to locking of MBX folders (not mbox).
692
693  2. MySQL stored procedures are now supported.
694
695  3. The dkim_domain transport option is now a list, not a single string, and
696     messages will be signed for each element in the list (discarding
697     duplicates).
698
699  4. The 4.70 release unexpectedly changed the behaviour of dnsdb TXT lookups
700     in the presence of multiple character strings within the RR. Prior to 4.70,
701     only the first string would be returned.  The dnsdb lookup now, by default,
702     preserves the pre-4.70 semantics, but also now takes an extended output
703     separator specification.  The separator can be followed by a semicolon, to
704     concatenate the individual text strings together with no join character,
705     or by a comma and a second separator character, in which case the text
706     strings within a TXT record are joined on that second character.
707     Administrators are reminded that DNS provides no ordering guarantees
708     between multiple records in an RRset.  For example:
709
710       foo.example.  IN TXT "a" "b" "c"
711       foo.example.  IN TXT "d" "e" "f"
712
713       ${lookup dnsdb{>/ txt=foo.example}}   -> "a/d"
714       ${lookup dnsdb{>/; txt=foo.example}}  -> "def/abc"
715       ${lookup dnsdb{>/,+ txt=foo.example}} -> "a+b+c/d+e+f"
716
717
718 Version 4.70 / 4.71
719 -------------------
720
721  1. Native DKIM support without an external library.
722     (Note that if no action to prevent it is taken, a straight upgrade will
723     result in DKIM verification of all signed incoming emails.  See spec
724     for details on conditionally disabling)
725
726  2. Experimental DCC support via dccifd (contributed by Wolfgang Breyha).
727
728  3. There is now a bool{} expansion condition which maps certain strings to
729     true/false condition values (most likely of use in conjunction with the
730     and{} expansion operator).
731
732  4. The $spam_score, $spam_bar and $spam_report variables are now available
733     at delivery time.
734
735  5. exim -bP now supports "macros", "macro_list" or "macro MACRO_NAME" as
736     options, provided that Exim is invoked by an admin_user.
737
738  6. There is a new option gnutls_compat_mode, when linked against GnuTLS,
739     which increases compatibility with older clients at the cost of decreased
740     security.  Don't set this unless you need to support such clients.
741
742  7. There is a new expansion operator, ${randint:...} which will produce a
743     "random" number less than the supplied integer.  This randomness is
744     not guaranteed to be cryptographically strong, but depending upon how
745     Exim was built may be better than the most naive schemes.
746
747  8. Exim now explicitly ensures that SHA256 is available when linked against
748     OpenSSL.
749
750  9. The transport_filter_timeout option now applies to SMTP transports too.
751
752
753 Version 4.69
754 ------------
755
756  1. Preliminary DKIM support in Experimental.
757
758
759 Version 4.68
760 ------------
761
762  1. The body_linecount and body_zerocount C variables are now exported in the
763     local_scan API.
764
765  2. When a dnslists lookup succeeds, the key that was looked up is now placed
766     in $dnslist_matched. When the key is an IP address, it is not reversed in
767     this variable (though it is, of course, in the actual lookup). In simple
768     cases, for example:
769
770       deny dnslists = spamhaus.example
771
772     the key is also available in another variable (in this case,
773     $sender_host_address). In more complicated cases, however, this is not
774     true. For example, using a data lookup might generate a dnslists lookup
775     like this:
776
777       deny dnslists = spamhaus.example/<|192.168.1.2|192.168.6.7|...
778
779     If this condition succeeds, the value in $dnslist_matched might be
780     192.168.6.7 (for example).
781
782  3. Authenticators now have a client_condition option. When Exim is running as
783     a client, it skips an authenticator whose client_condition expansion yields
784     "0", "no", or "false". This can be used, for example, to skip plain text
785     authenticators when the connection is not encrypted by a setting such as:
786
787       client_condition = ${if !eq{$tls_cipher}{}}
788
789     Note that the 4.67 documentation states that $tls_cipher contains the
790     cipher used for incoming messages. In fact, during SMTP delivery, it
791     contains the cipher used for the delivery. The same is true for
792     $tls_peerdn.
793
794  4. There is now a -Mvc <message-id> option, which outputs a copy of the
795     message to the standard output, in RFC 2822 format. The option can be used
796     only by an admin user.
797
798  5. There is now a /noupdate option for the ratelimit ACL condition. It
799     computes the rate and checks the limit as normal, but it does not update
800     the saved data. This means that, in relevant ACLs, it is possible to lookup
801     the existence of a specified (or auto-generated) ratelimit key without
802     incrementing the ratelimit counter for that key.
803
804     In order for this to be useful, another ACL entry must set the rate
805     for the same key somewhere (otherwise it will always be zero).
806
807     Example:
808
809     acl_check_connect:
810       # Read the rate; if it doesn't exist or is below the maximum
811       # we update it below
812       deny ratelimit = 100 / 5m / strict / noupdate
813            log_message = RATE: $sender_rate / $sender_rate_period \
814                          (max $sender_rate_limit)
815
816       [... some other logic and tests...]
817
818       warn ratelimit = 100 / 5m / strict / per_cmd
819            log_message = RATE UPDATE: $sender_rate / $sender_rate_period \
820                          (max $sender_rate_limit)
821            condition = ${if le{$sender_rate}{$sender_rate_limit}}
822
823       accept
824
825  6. The variable $max_received_linelength contains the number of bytes in the
826     longest line that was received as part of the message, not counting the
827     line termination character(s).
828
829  7. Host lists can now include +ignore_defer and +include_defer, analagous to
830     +ignore_unknown and +include_unknown. These options should be used with
831     care, probably only in non-critical host lists such as whitelists.
832
833  8. There's a new option called queue_only_load_latch, which defaults true.
834     If set false when queue_only_load is greater than zero, Exim re-evaluates
835     the load for each incoming message in an SMTP session. Otherwise, once one
836     message is queued, the remainder are also.
837
838  9. There is a new ACL, specified by acl_smtp_notquit, which is run in most
839     cases when an SMTP session ends without sending QUIT. However, when Exim
840     itself is is bad trouble, such as being unable to write to its log files,
841     this ACL is not run, because it might try to do things (such as write to
842     log files) that make the situation even worse.
843
844     Like the QUIT ACL, this new ACL is provided to make it possible to gather
845     statistics. Whatever it returns (accept or deny) is immaterial. The "delay"
846     modifier is forbidden in this ACL.
847
848     When the NOTQUIT ACL is running, the variable $smtp_notquit_reason is set
849     to a string that indicates the reason for the termination of the SMTP
850     connection. The possible values are:
851
852       acl-drop                 Another ACL issued a "drop" command
853       bad-commands             Too many unknown or non-mail commands
854       command-timeout          Timeout while reading SMTP commands
855       connection-lost          The SMTP connection has been lost
856       data-timeout             Timeout while reading message data
857       local-scan-error         The local_scan() function crashed
858       local-scan-timeout       The local_scan() function timed out
859       signal-exit              SIGTERM or SIGINT
860       synchronization-error    SMTP synchronization error
861       tls-failed               TLS failed to start
862
863     In most cases when an SMTP connection is closed without having received
864     QUIT, Exim sends an SMTP response message before actually closing the
865     connection. With the exception of acl-drop, the default message can be
866     overridden by the "message" modifier in the NOTQUIT ACL. In the case of a
867     "drop" verb in another ACL, it is the message from the other ACL that is
868     used.
869
870 10. For MySQL and PostgreSQL lookups, it is now possible to specify a list of
871     servers with individual queries. This is done by starting the query with
872     "servers=x:y:z;", where each item in the list may take one of two forms:
873
874     (1) If it is just a host name, the appropriate global option (mysql_servers
875         or pgsql_servers) is searched for a host of the same name, and the
876         remaining parameters (database, user, password) are taken from there.
877
878     (2) If it contains any slashes, it is taken as a complete parameter set.
879
880     The list of servers is used in exactly the same was as the global list.
881     Once a connection to a server has happened and a query has been
882     successfully executed, processing of the lookup ceases.
883
884     This feature is intended for use in master/slave situations where updates
885     are occurring, and one wants to update a master rather than a slave. If the
886     masters are in the list for reading, you might have:
887
888       mysql_servers = slave1/db/name/pw:slave2/db/name/pw:master/db/name/pw
889
890     In an updating lookup, you could then write
891
892       ${lookup mysql{servers=master; UPDATE ...}
893
894     If, on the other hand, the master is not to be used for reading lookups:
895
896       pgsql_servers = slave1/db/name/pw:slave2/db/name/pw
897
898     you can still update the master by
899
900       ${lookup pgsql{servers=master/db/name/pw; UPDATE ...}
901
902 11. The message_body_newlines option (default FALSE, for backwards
903     compatibility) can be used to control whether newlines are present in
904     $message_body and $message_body_end. If it is FALSE, they are replaced by
905     spaces.
906
907
908 Version 4.67
909 ------------
910
911  1. There is a new log selector called smtp_no_mail, which is not included in
912     the default setting. When it is set, a line is written to the main log
913     whenever an accepted SMTP connection terminates without having issued a
914     MAIL command.
915
916  2. When an item in a dnslists list is followed by = and & and a list of IP
917     addresses, the behaviour was not clear when the lookup returned more than
918     one IP address. This has been solved by the addition of == and =& for "all"
919     rather than the default "any" matching.
920
921  3. Up till now, the only control over which cipher suites GnuTLS uses has been
922     for the cipher algorithms. New options have been added to allow some of the
923     other parameters to be varied.
924
925  4. There is a new compile-time option called ENABLE_DISABLE_FSYNC. When it is
926     set, Exim compiles a runtime option called disable_fsync.
927
928  5. There is a new variable called $smtp_count_at_connection_start.
929
930  6. There's a new control called no_pipelining.
931
932  7. There are two new variables called $sending_ip_address and $sending_port.
933     These are set whenever an SMTP connection to another host has been set up.
934
935  8. The expansion of the helo_data option in the smtp transport now happens
936     after the connection to the server has been made.
937
938  9. There is a new expansion operator ${rfc2047d: that decodes strings that
939     are encoded as per RFC 2047.
940
941 10. There is a new log selector called "pid", which causes the current process
942     id to be added to every log line, in square brackets, immediately after the
943     time and date.
944
945 11. Exim has been modified so that it flushes SMTP output before implementing
946     a delay in an ACL. It also flushes the output before performing a callout,
947     as this can take a substantial time. These behaviours can be disabled by
948     obeying control = no_delay_flush or control = no_callout_flush,
949     respectively, at some earlier stage of the connection.
950
951 12. There are two new expansion conditions that iterate over a list. They are
952     called forany and forall.
953
954 13. There's a new global option called dsn_from that can be used to vary the
955     contents of From: lines in bounces and other automatically generated
956     messages ("delivery status notifications" - hence the name of the option).
957
958 14. The smtp transport has a new option called hosts_avoid_pipelining.
959
960 15. By default, exigrep does case-insensitive matches. There is now a -I option
961     that makes it case-sensitive.
962
963 16. A number of new features ("addresses", "map", "filter", and "reduce") have
964     been added to string expansions to make it easier to process lists of
965     items, typically addresses.
966
967 17. There's a new ACL modifier called "continue". It does nothing of itself,
968     and processing of the ACL always continues with the next condition or
969     modifier. It is provided so that the side effects of expanding its argument
970     can be used.
971
972 18. It is now possible to use newline and other control characters (those with
973     values less than 32, plus DEL) as separators in lists.
974
975 19. The exigrep utility now has a -v option, which inverts the matching
976     condition.
977
978 20. The host_find_failed option in the manualroute router can now be set to
979     "ignore".
980
981
982 Version 4.66
983 ------------
984
985 No new features were added to 4.66.
986
987
988 Version 4.65
989 ------------
990
991 No new features were added to 4.65.
992
993
994 Version 4.64
995 ------------
996
997  1. ACL variables can now be given arbitrary names, as long as they start with
998     "acl_c" or "acl_m" (for connection variables and message variables), are at
999     least six characters long, with the sixth character being either a digit or
1000     an underscore.
1001
1002  2. There is a new ACL modifier called log_reject_target. It makes it possible
1003     to specify which logs are used for messages about ACL rejections.
1004
1005  3. There is a new authenticator called "dovecot". This is an interface to the
1006     authentication facility of the Dovecot POP/IMAP server, which can support a
1007     number of authentication methods.
1008
1009  4. The variable $message_headers_raw provides a concatenation of all the
1010     messages's headers without any decoding. This is in contrast to
1011     $message_headers, which does RFC2047 decoding on the header contents.
1012
1013  5. In a DNS black list, if two domain names, comma-separated, are given, the
1014     second is used first to do an initial check, making use of any IP value
1015     restrictions that are set. If there is a match, the first domain is used,
1016     without any IP value restrictions, to get the TXT record.
1017
1018  6. All authenticators now have a server_condition option.
1019
1020  7. There is a new command-line option called -Mset. It is useful only in
1021     conjunction with -be (that is, when testing string expansions). It must be
1022     followed by a message id; Exim loads the given message from its spool
1023     before doing the expansions.
1024
1025  8. Another similar new command-line option is called -bem. It operates like
1026     -be except that it must be followed by the name of a file that contains a
1027     message.
1028
1029  9. When an address is delayed because of a 4xx response to a RCPT command, it
1030     is now the combination of sender and recipient that is delayed in
1031     subsequent queue runs until its retry time is reached.
1032
1033 10. Unary negation and the bitwise logical operators and, or, xor, not, and
1034     shift, have been added to the eval: and eval10: expansion items.
1035
1036 11. The variables $interface_address and $interface_port have been renamed
1037     as $received_ip_address and $received_port, to make it clear that they
1038     relate to message reception rather than delivery. (The old names remain
1039     available for compatibility.)
1040
1041 12. The "message" modifier can now be used on "accept" and "discard" acl verbs
1042     to vary the message that is sent when an SMTP command is accepted.
1043
1044
1045 Version 4.63
1046 ------------
1047
1048 1. There is a new Boolean option called filter_prepend_home for the redirect
1049    router.
1050
1051 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
1052    start of receiving a non-SMTP message, before any of the message has been
1053    read.
1054
1055 3. When an SMTP error message is specified in a "message" modifier in an ACL,
1056    or in a :fail: or :defer: message in a redirect router, Exim now checks the
1057    start of the message for an SMTP error code.
1058
1059 4. There is a new parameter for LDAP lookups called "referrals", which takes
1060    one of the settings "follow" (the default) or "nofollow".
1061
1062 5. Version 20070721.2 of exipick now included, offering these new options:
1063     --reverse
1064         After all other sorting options have bee processed, reverse order
1065         before displaying messages (-R is synonym).
1066     --random
1067         Randomize order of matching messages before displaying.
1068     --size
1069         Instead of displaying the matching messages, display the sum
1070         of their sizes.
1071     --sort <variable>[,<variable>...]
1072         Before displaying matching messages, sort the messages according to
1073         each messages value for each variable.
1074     --not
1075         Negate the value for every test (returns inverse output from the
1076         same criteria without --not).
1077
1078
1079 Version 4.62
1080 ------------
1081
1082 1. The ${readsocket expansion item now supports Internet domain sockets as well
1083    as Unix domain sockets. If the first argument begins "inet:", it must be of
1084    the form "inet:host:port". The port is mandatory; it may be a number or the
1085    name of a TCP port in /etc/services. The host may be a name, or it may be an
1086    IP address. An ip address may optionally be enclosed in square brackets.
1087    This is best for IPv6 addresses. For example:
1088
1089      ${readsocket{inet:[::1]:1234}{<request data>}...
1090
1091    Only a single host name may be given, but if looking it up yield more than
1092    one IP address, they are each tried in turn until a connection is made. Once
1093    a connection has been made, the behaviour is as for ${readsocket with a Unix
1094    domain socket.
1095
1096 2. If a redirect router sets up file or pipe deliveries for more than one
1097    incoming address, and the relevant transport has batch_max set greater than
1098    one, a batch delivery now occurs.
1099
1100 3. The appendfile transport has a new option called maildirfolder_create_regex.
1101    Its value is a regular expression. For a maildir delivery, this is matched
1102    against the maildir directory; if it matches, Exim ensures that a
1103    maildirfolder file is created alongside the new, cur, and tmp directories.
1104
1105
1106 Version 4.61
1107 ------------
1108
1109 The documentation is up-to-date for the 4.61 release. Major new features since
1110 the 4.60 release are:
1111
1112 . An option called disable_ipv6, to disable the use of IPv6 completely.
1113
1114 . An increase in the number of ACL variables to 20 of each type.
1115
1116 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
1117   $2, $3, (though those are still set) because the numeric variables get used
1118   for other things in complicated expansions.
1119
1120 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
1121
1122 . It is possible to use setclassresources() on some BSD OS to control the
1123   resources used in pipe deliveries.
1124
1125 . A new ACL modifier called add_header, which can be used with any verb.
1126
1127 . More errors are detectable in retry rules.
1128
1129 There are a number of other additions too.
1130
1131
1132 Version 4.60
1133 ------------
1134
1135 The documentation is up-to-date for the 4.60 release. Major new features since
1136 the 4.50 release are:
1137
1138 . Support for SQLite.
1139
1140 . Support for IGNOREQUOTA in LMTP.
1141
1142 . Extensions to the "submission mode" features.
1143
1144 . Support for Client SMTP Authorization (CSA).
1145
1146 . Support for ratelimiting hosts and users.
1147
1148 . New expansion items to help with the BATV "prvs" scheme.
1149
1150 . A "match_ip" condition, that matches an IP address against a list.
1151
1152 There are many more minor changes.
1153
1154 ****