No longer permit the exim user to be root. Fixes: #752
[users/jgh/exim.git] / doc / doc-txt / NewStuff
1 $Cambridge: exim/doc/doc-txt/NewStuff,v 1.172 2010/06/06 02:46:13 pdp Exp $
2
3 New Features in Exim
4 --------------------
5
6 This file contains descriptions of new features that have been added to Exim.
7 Before a formal release, there may be quite a lot of detail so that people can
8 test from the snapshots or the CVS before the documentation is updated. Once
9 the documentation is updated, this file is reduced to a short list.
10
11
12 Version 4.73
13 ------------
14
15  1. A new main configuration option, "openssl_options", is available if Exim
16     is built with SSL support provided by OpenSSL.  The option allows
17     administrators to specify OpenSSL options to be used on connections;
18     typically this is to set bug compatibility features which the OpenSSL
19     developers have not enabled by default.  There may be security
20     consequences for certain options, so these should not be changed
21     frivolously.
22
23  2. A new pipe transport option, "permit_coredumps", may help with problem
24     diagnosis in some scenarios.  Note that Exim is typically installed as
25     a setuid binary, which on most OSes will inhibit coredumps by default,
26     so that safety mechanism would have to be overriden for this option to
27     be able to take effect.
28
29  3. ClamAV 0.95 is now required for ClamAV support in Exim, unless
30     Local/Makefile sets: WITH_OLD_CLAMAV_STREAM=yes
31     Note that this switches Exim to use a new API ("INSTREAM") and a future
32     release of ClamAV will remove support for the old API ("STREAM").
33
34     The av_scanner option, when set to "clamd", now takes an optional third
35     part, "local", which causes Exim to pass a filename to ClamAV instead of
36     the file content.  This is the same behaviour as when clamd is pointed at
37     a Unix-domain socket.  For example:
38
39       av_scanner = clamd:192.0.2.3 1234:local
40
41  4. There is now a -bmalware option, restricted to admin users.  This option
42     takes one parameter, a filename, and scans that file with Exim's
43     malware-scanning framework.  This is intended purely as a debugging aid
44     to ensure that Exim's scanning is working, not to replace other tools.
45
46  5. There is a new expansion operator, "reverse_ip", which will reverse IP
47     addresses; IPv4 into dotted quad, IPv6 into dotted nibble.  Examples:
48
49       ${reverse_ip:192.0.2.4}
50        -> 4.2.0.192
51       ${reverse_ip:2001:0db8:c42:9:1:abcd:192.0.2.3}
52        -> 3.0.2.0.0.0.0.c.d.c.b.a.1.0.0.0.9.0.0.0.2.4.c.0.8.b.d.0.1.0.0.2
53
54  6. There is a new ACL control called "debug", to enable debug logging.
55     This allows selective logging of certain incoming transactions within
56     production environments, with some care.  It takes two options, "tag"
57     and "opts"; "tag" is included in the filename of the log and "opts"
58     is used as per the -d<options> command-line option.  Examples, which
59     don't all make sense in all contexts:
60
61       control = debug
62       control = debug/tag=.$sender_host_address
63       control = debug/opts=+expand+acl
64       control = debug/tag=.$message_exim_id/opts=+expand
65
66  7. It has always been implicit in the design and the documentation that
67     "the Exim user" is not root.  src/EDITME said that using root was
68     "very strongly discouraged".  This is not enough to keep people from
69     shooting themselves in the foot in days when many don't configure Exim
70     themselves but via package build managers.  The security consequences of
71     running various bits of network code are severe if there should be bugs in
72     them.  As such, the Exim user may no longer be root.  If configured
73     statically, Exim will refuse to build.  If configured as ref:user then Exim
74     will exit shortly after start-up.  If you must shoot yourself in the foot,
75     then henceforth you will have to maintain your own local patches to strip
76     the safeties off.
77
78
79 Version 4.72
80 ------------
81
82  1. TWO SECURITY FIXES: one relating to mail-spools which are globally
83     writable, the other to locking of MBX folders (not mbox).
84
85  2. MySQL stored procedures are now supported.
86
87  3. The dkim_domain transport option is now a list, not a single string, and
88     messages will be signed for each element in the list (discarding
89     duplicates).
90
91  4. The 4.70 release unexpectedly changed the behaviour of dnsdb TXT lookups
92     in the presence of multiple character strings within the RR. Prior to 4.70,
93     only the first string would be returned.  The dnsdb lookup now, by default,
94     preserves the pre-4.70 semantics, but also now takes an extended output
95     separator specification.  The separator can be followed by a semicolon, to
96     concatenate the individual text strings together with no join character,
97     or by a comma and a second separator character, in which case the text
98     strings within a TXT record are joined on that second character.
99     Administrators are reminded that DNS provides no ordering guarantees
100     between multiple records in an RRset.  For example:
101
102       foo.example.  IN TXT "a" "b" "c"
103       foo.example.  IN TXT "d" "e" "f"
104
105       ${lookup dnsdb{>/ txt=foo.example}}   -> "a/d"
106       ${lookup dnsdb{>/; txt=foo.example}}  -> "def/abc"
107       ${lookup dnsdb{>/,+ txt=foo.example}} -> "a+b+c/d+e+f"
108
109
110 Version 4.70 / 4.71
111 -------------------
112
113  1. Native DKIM support without an external library.
114     (Note that if no action to prevent it is taken, a straight upgrade will
115     result in DKIM verification of all signed incoming emails.  See spec
116     for details on conditionally disabling)
117
118  2. Experimental DCC support via dccifd (contributed by Wolfgang Breyha).
119
120  3. There is now a bool{} expansion condition which maps certain strings to
121     true/false condition values (most likely of use in conjunction with the
122     and{} expansion operator).
123
124  4. The $spam_score, $spam_bar and $spam_report variables are now available
125     at delivery time.
126
127  5. exim -bP now supports "macros", "macro_list" or "macro MACRO_NAME" as
128     options, provided that Exim is invoked by an admin_user.
129
130  6. There is a new option gnutls_compat_mode, when linked against GnuTLS,
131     which increases compatibility with older clients at the cost of decreased
132     security.  Don't set this unless you need to support such clients.
133
134  7. There is a new expansion operator, ${randint:...} which will produce a
135     "random" number less than the supplied integer.  This randomness is
136     not guaranteed to be cryptographically strong, but depending upon how
137     Exim was built may be better than the most naive schemes.
138
139  8. Exim now explicitly ensures that SHA256 is available when linked against
140     OpenSSL.
141
142  9. The transport_filter_timeout option now applies to SMTP transports too.
143
144
145 Version 4.69
146 ------------
147
148  1. Preliminary DKIM support in Experimental.
149
150
151 Version 4.68
152 ------------
153
154  1. The body_linecount and body_zerocount C variables are now exported in the
155     local_scan API.
156
157  2. When a dnslists lookup succeeds, the key that was looked up is now placed
158     in $dnslist_matched. When the key is an IP address, it is not reversed in
159     this variable (though it is, of course, in the actual lookup). In simple
160     cases, for example:
161
162       deny dnslists = spamhaus.example
163
164     the key is also available in another variable (in this case,
165     $sender_host_address). In more complicated cases, however, this is not
166     true. For example, using a data lookup might generate a dnslists lookup
167     like this:
168
169       deny dnslists = spamhaus.example/<|192.168.1.2|192.168.6.7|...
170
171     If this condition succeeds, the value in $dnslist_matched might be
172     192.168.6.7 (for example).
173
174  3. Authenticators now have a client_condition option. When Exim is running as
175     a client, it skips an authenticator whose client_condition expansion yields
176     "0", "no", or "false". This can be used, for example, to skip plain text
177     authenticators when the connection is not encrypted by a setting such as:
178
179       client_condition = ${if !eq{$tls_cipher}{}}
180
181     Note that the 4.67 documentation states that $tls_cipher contains the
182     cipher used for incoming messages. In fact, during SMTP delivery, it
183     contains the cipher used for the delivery. The same is true for
184     $tls_peerdn.
185
186  4. There is now a -Mvc <message-id> option, which outputs a copy of the
187     message to the standard output, in RFC 2822 format. The option can be used
188     only by an admin user.
189
190  5. There is now a /noupdate option for the ratelimit ACL condition. It
191     computes the rate and checks the limit as normal, but it does not update
192     the saved data. This means that, in relevant ACLs, it is possible to lookup
193     the existence of a specified (or auto-generated) ratelimit key without
194     incrementing the ratelimit counter for that key.
195
196     In order for this to be useful, another ACL entry must set the rate
197     for the same key somewhere (otherwise it will always be zero).
198
199     Example:
200
201     acl_check_connect:
202       # Read the rate; if it doesn't exist or is below the maximum
203       # we update it below
204       deny ratelimit = 100 / 5m / strict / noupdate
205            log_message = RATE: $sender_rate / $sender_rate_period \
206                          (max $sender_rate_limit)
207
208       [... some other logic and tests...]
209
210       warn ratelimit = 100 / 5m / strict / per_cmd
211            log_message = RATE UPDATE: $sender_rate / $sender_rate_period \
212                          (max $sender_rate_limit)
213            condition = ${if le{$sender_rate}{$sender_rate_limit}}
214
215       accept
216
217  6. The variable $max_received_linelength contains the number of bytes in the
218     longest line that was received as part of the message, not counting the
219     line termination character(s).
220
221  7. Host lists can now include +ignore_defer and +include_defer, analagous to
222     +ignore_unknown and +include_unknown. These options should be used with
223     care, probably only in non-critical host lists such as whitelists.
224
225  8. There's a new option called queue_only_load_latch, which defaults true.
226     If set false when queue_only_load is greater than zero, Exim re-evaluates
227     the load for each incoming message in an SMTP session. Otherwise, once one
228     message is queued, the remainder are also.
229
230  9. There is a new ACL, specified by acl_smtp_notquit, which is run in most
231     cases when an SMTP session ends without sending QUIT. However, when Exim
232     itself is is bad trouble, such as being unable to write to its log files,
233     this ACL is not run, because it might try to do things (such as write to
234     log files) that make the situation even worse.
235
236     Like the QUIT ACL, this new ACL is provided to make it possible to gather
237     statistics. Whatever it returns (accept or deny) is immaterial. The "delay"
238     modifier is forbidden in this ACL.
239
240     When the NOTQUIT ACL is running, the variable $smtp_notquit_reason is set
241     to a string that indicates the reason for the termination of the SMTP
242     connection. The possible values are:
243
244       acl-drop                 Another ACL issued a "drop" command
245       bad-commands             Too many unknown or non-mail commands
246       command-timeout          Timeout while reading SMTP commands
247       connection-lost          The SMTP connection has been lost
248       data-timeout             Timeout while reading message data
249       local-scan-error         The local_scan() function crashed
250       local-scan-timeout       The local_scan() function timed out
251       signal-exit              SIGTERM or SIGINT
252       synchronization-error    SMTP synchronization error
253       tls-failed               TLS failed to start
254
255     In most cases when an SMTP connection is closed without having received
256     QUIT, Exim sends an SMTP response message before actually closing the
257     connection. With the exception of acl-drop, the default message can be
258     overridden by the "message" modifier in the NOTQUIT ACL. In the case of a
259     "drop" verb in another ACL, it is the message from the other ACL that is
260     used.
261
262 10. For MySQL and PostgreSQL lookups, it is now possible to specify a list of
263     servers with individual queries. This is done by starting the query with
264     "servers=x:y:z;", where each item in the list may take one of two forms:
265
266     (1) If it is just a host name, the appropriate global option (mysql_servers
267         or pgsql_servers) is searched for a host of the same name, and the
268         remaining parameters (database, user, password) are taken from there.
269
270     (2) If it contains any slashes, it is taken as a complete parameter set.
271
272     The list of servers is used in exactly the same was as the global list.
273     Once a connection to a server has happened and a query has been
274     successfully executed, processing of the lookup ceases.
275
276     This feature is intended for use in master/slave situations where updates
277     are occurring, and one wants to update a master rather than a slave. If the
278     masters are in the list for reading, you might have:
279
280       mysql_servers = slave1/db/name/pw:slave2/db/name/pw:master/db/name/pw
281
282     In an updating lookup, you could then write
283
284       ${lookup mysql{servers=master; UPDATE ...}
285
286     If, on the other hand, the master is not to be used for reading lookups:
287
288       pgsql_servers = slave1/db/name/pw:slave2/db/name/pw
289
290     you can still update the master by
291
292       ${lookup pgsql{servers=master/db/name/pw; UPDATE ...}
293
294 11. The message_body_newlines option (default FALSE, for backwards
295     compatibility) can be used to control whether newlines are present in
296     $message_body and $message_body_end. If it is FALSE, they are replaced by
297     spaces.
298
299
300 Version 4.67
301 ------------
302
303  1. There is a new log selector called smtp_no_mail, which is not included in
304     the default setting. When it is set, a line is written to the main log
305     whenever an accepted SMTP connection terminates without having issued a
306     MAIL command.
307
308  2. When an item in a dnslists list is followed by = and & and a list of IP
309     addresses, the behaviour was not clear when the lookup returned more than
310     one IP address. This has been solved by the addition of == and =& for "all"
311     rather than the default "any" matching.
312
313  3. Up till now, the only control over which cipher suites GnuTLS uses has been
314     for the cipher algorithms. New options have been added to allow some of the
315     other parameters to be varied.
316
317  4. There is a new compile-time option called ENABLE_DISABLE_FSYNC. When it is
318     set, Exim compiles a runtime option called disable_fsync.
319
320  5. There is a new variable called $smtp_count_at_connection_start.
321
322  6. There's a new control called no_pipelining.
323
324  7. There are two new variables called $sending_ip_address and $sending_port.
325     These are set whenever an SMTP connection to another host has been set up.
326
327  8. The expansion of the helo_data option in the smtp transport now happens
328     after the connection to the server has been made.
329
330  9. There is a new expansion operator ${rfc2047d: that decodes strings that
331     are encoded as per RFC 2047.
332
333 10. There is a new log selector called "pid", which causes the current process
334     id to be added to every log line, in square brackets, immediately after the
335     time and date.
336
337 11. Exim has been modified so that it flushes SMTP output before implementing
338     a delay in an ACL. It also flushes the output before performing a callout,
339     as this can take a substantial time. These behaviours can be disabled by
340     obeying control = no_delay_flush or control = no_callout_flush,
341     respectively, at some earlier stage of the connection.
342
343 12. There are two new expansion conditions that iterate over a list. They are
344     called forany and forall.
345
346 13. There's a new global option called dsn_from that can be used to vary the
347     contents of From: lines in bounces and other automatically generated
348     messages ("delivery status notifications" - hence the name of the option).
349
350 14. The smtp transport has a new option called hosts_avoid_pipelining.
351
352 15. By default, exigrep does case-insensitive matches. There is now a -I option
353     that makes it case-sensitive.
354
355 16. A number of new features ("addresses", "map", "filter", and "reduce") have
356     been added to string expansions to make it easier to process lists of
357     items, typically addresses.
358
359 17. There's a new ACL modifier called "continue". It does nothing of itself,
360     and processing of the ACL always continues with the next condition or
361     modifier. It is provided so that the side effects of expanding its argument
362     can be used.
363
364 18. It is now possible to use newline and other control characters (those with
365     values less than 32, plus DEL) as separators in lists.
366
367 19. The exigrep utility now has a -v option, which inverts the matching
368     condition.
369
370 20. The host_find_failed option in the manualroute router can now be set to
371     "ignore".
372
373
374 Version 4.66
375 ------------
376
377 No new features were added to 4.66.
378
379
380 Version 4.65
381 ------------
382
383 No new features were added to 4.65.
384
385
386 Version 4.64
387 ------------
388
389  1. ACL variables can now be given arbitrary names, as long as they start with
390     "acl_c" or "acl_m" (for connection variables and message variables), are at
391     least six characters long, with the sixth character being either a digit or
392     an underscore.
393
394  2. There is a new ACL modifier called log_reject_target. It makes it possible
395     to specify which logs are used for messages about ACL rejections.
396
397  3. There is a new authenticator called "dovecot". This is an interface to the
398     authentication facility of the Dovecot POP/IMAP server, which can support a
399     number of authentication methods.
400
401  4. The variable $message_headers_raw provides a concatenation of all the
402     messages's headers without any decoding. This is in contrast to
403     $message_headers, which does RFC2047 decoding on the header contents.
404
405  5. In a DNS black list, if two domain names, comma-separated, are given, the
406     second is used first to do an initial check, making use of any IP value
407     restrictions that are set. If there is a match, the first domain is used,
408     without any IP value restrictions, to get the TXT record.
409
410  6. All authenticators now have a server_condition option.
411
412  7. There is a new command-line option called -Mset. It is useful only in
413     conjunction with -be (that is, when testing string expansions). It must be
414     followed by a message id; Exim loads the given message from its spool
415     before doing the expansions.
416
417  8. Another similar new command-line option is called -bem. It operates like
418     -be except that it must be followed by the name of a file that contains a
419     message.
420
421  9. When an address is delayed because of a 4xx response to a RCPT command, it
422     is now the combination of sender and recipient that is delayed in
423     subsequent queue runs until its retry time is reached.
424
425 10. Unary negation and the bitwise logical operators and, or, xor, not, and
426     shift, have been added to the eval: and eval10: expansion items.
427
428 11. The variables $interface_address and $interface_port have been renamed
429     as $received_ip_address and $received_port, to make it clear that they
430     relate to message reception rather than delivery. (The old names remain
431     available for compatibility.)
432
433 12. The "message" modifier can now be used on "accept" and "discard" acl verbs
434     to vary the message that is sent when an SMTP command is accepted.
435
436
437 Version 4.63
438 ------------
439
440 1. There is a new Boolean option called filter_prepend_home for the redirect
441    router.
442
443 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
444    start of receiving a non-SMTP message, before any of the message has been
445    read.
446
447 3. When an SMTP error message is specified in a "message" modifier in an ACL,
448    or in a :fail: or :defer: message in a redirect router, Exim now checks the
449    start of the message for an SMTP error code.
450
451 4. There is a new parameter for LDAP lookups called "referrals", which takes
452    one of the settings "follow" (the default) or "nofollow".
453
454 5. Version 20070721.2 of exipick now included, offering these new options:
455     --reverse
456         After all other sorting options have bee processed, reverse order
457         before displaying messages (-R is synonym).
458     --random
459         Randomize order of matching messages before displaying.
460     --size
461         Instead of displaying the matching messages, display the sum
462         of their sizes.
463     --sort <variable>[,<variable>...]
464         Before displaying matching messages, sort the messages according to
465         each messages value for each variable.
466     --not
467         Negate the value for every test (returns inverse output from the
468         same criteria without --not).
469
470
471 Version 4.62
472 ------------
473
474 1. The ${readsocket expansion item now supports Internet domain sockets as well
475    as Unix domain sockets. If the first argument begins "inet:", it must be of
476    the form "inet:host:port". The port is mandatory; it may be a number or the
477    name of a TCP port in /etc/services. The host may be a name, or it may be an
478    IP address. An ip address may optionally be enclosed in square brackets.
479    This is best for IPv6 addresses. For example:
480
481      ${readsocket{inet:[::1]:1234}{<request data>}...
482
483    Only a single host name may be given, but if looking it up yield more than
484    one IP address, they are each tried in turn until a connection is made. Once
485    a connection has been made, the behaviour is as for ${readsocket with a Unix
486    domain socket.
487
488 2. If a redirect router sets up file or pipe deliveries for more than one
489    incoming address, and the relevant transport has batch_max set greater than
490    one, a batch delivery now occurs.
491
492 3. The appendfile transport has a new option called maildirfolder_create_regex.
493    Its value is a regular expression. For a maildir delivery, this is matched
494    against the maildir directory; if it matches, Exim ensures that a
495    maildirfolder file is created alongside the new, cur, and tmp directories.
496
497
498 Version 4.61
499 ------------
500
501 The documentation is up-to-date for the 4.61 release. Major new features since
502 the 4.60 release are:
503
504 . An option called disable_ipv6, to disable the use of IPv6 completely.
505
506 . An increase in the number of ACL variables to 20 of each type.
507
508 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
509   $2, $3, (though those are still set) because the numeric variables get used
510   for other things in complicated expansions.
511
512 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
513
514 . It is possible to use setclassresources() on some BSD OS to control the
515   resources used in pipe deliveries.
516
517 . A new ACL modifier called add_header, which can be used with any verb.
518
519 . More errors are detectable in retry rules.
520
521 There are a number of other additions too.
522
523
524 Version 4.60
525 ------------
526
527 The documentation is up-to-date for the 4.60 release. Major new features since
528 the 4.50 release are:
529
530 . Support for SQLite.
531
532 . Support for IGNOREQUOTA in LMTP.
533
534 . Extensions to the "submission mode" features.
535
536 . Support for Client SMTP Authorization (CSA).
537
538 . Support for ratelimiting hosts and users.
539
540 . New expansion items to help with the BATV "prvs" scheme.
541
542 . A "match_ip" condition, that matches an IP address against a list.
543
544 There are many more minor changes.
545
546 ****