Fix too-often retry bug after 4xx with more hosts than hosts_max_retry.
[users/jgh/exim.git] / doc / doc-txt / NewStuff
1 $Cambridge: exim/doc/doc-txt/NewStuff,v 1.119 2006/10/24 12:56:06 ph10 Exp $
2
3 New Features in Exim
4 --------------------
5
6 This file contains descriptions of new features that have been added to Exim.
7 Before a formal release, there may be quite a lot of detail so that people can
8 test from the snapshots or the CVS before the documentation is updated. Once
9 the documentation is updated, this file is reduced to a short list.
10
11
12 Version 4.64
13 ------------
14
15 1. ACL variables can now be given arbitrary names, as long as they start with
16    "acl_c" or "acl_m" (for connection variables and message variables), are
17    at least six characters long, with the sixth character being either a digit
18    or an underscore. The rest of the name can contain alphanumeric characters
19    and underscores. This is a compatible change because the old set of
20    variables such as acl_m12 are a subset of the allowed names. There may now
21    be any number of ACL variables. For example:
22
23      set acl_c13   = value for original ACL variable
24      set acl_c13b  = whatever
25      set acl_m_foo = something
26
27    What happens if a syntactically valid but undefined ACL variable is
28    referenced depends on the setting of the strict_acl_vars option. If it is
29    false (the default), an empty string is substituted; if it is true, an error
30    is generated. This affects all ACL variables, including the "old" ones such
31    as acl_c4. (Previously there wasn't the concept of an undefined ACL
32    variable.)
33
34    The implementation has been done in such a way that spool files containing
35    ACL variable settings written by previous releases of Exim are compatible
36    and can be read by the new release. If only the original numeric names are
37    used, spool files written by the new release can be read by earlier
38    releases.
39
40 2. There is a new ACL modifier called log_reject_target. It makes it possible
41    to specify which logs are used for messages about ACL rejections. Its
42    argument is a list of words which can be "main", "reject", or "panic". The
43    default is "main:reject". The list may be empty, in which case a rejection
44    is not logged at all. For example, this ACL fragment writes no logging
45    information when access is denied:
46
47      deny <some conditions>
48           log_reject_target =
49
50    The modifier can be used in SMTP and non-SMTP ACLs. It applies to both
51    permanent and temporary rejections.
52
53 3. There is a new authenticator called "dovecot". This is an interface to the
54    authentication facility of the Dovecot POP/IMAP server, which can support a
55    number of authentication methods. If you are using Dovecot to authenticate
56    POP/IMAP clients, it might be helpful to use the same mechanisms for SMTP
57    authentication. This is a server authenticator only. The only option is
58    server_socket, which must specify the socket which is the interface to
59    Dovecot authentication. The public_name option must specify an
60    authentication mechanism that Dovecot is configured to support. You can have
61    several authenticators for different mechanisms. For example:
62
63      dovecot_plain:
64        driver = dovecot
65        public_name = PLAIN
66        server_name = /var/run/dovecot/auth-client
67        server_setid = $auth1
68
69      dovecot_ntlm:
70        driver = dovecot
71        public_name = NTLM
72        server_name = /var/run/dovecot/auth-client
73        server_setid = $auth1
74
75    If the SMTP connection is encrypted, or if $sender_host_address is equal to
76    $interface_address (that is, the connection is local), the "secured" option
77    is passed in the Dovecot authentication command. If, for a TLS connection, a
78    client certificate has been verified, the "valid-client-cert" option is
79    passed.
80
81 4. The variable $message_headers_raw provides a concatenation of all the
82    messages's headers without any decoding. This is in contrast to
83    $message_headers, which does RFC2047 decoding on the header contents.
84
85 5. In a DNS black list, when the facility for restricting the matching IP
86    values is used, the text from the TXT record that is set in $dnslist_text
87    may not reflect the true reason for rejection. This happens when lists are
88    merged and the IP address in the A record is used to distinguish them;
89    unfortunately there is only one TXT record. One way round this is not to use
90    merged lists, but that can be inefficient because it requires multiple DNS
91    lookups where one would do in the vast majority of cases when the host of
92    interest is not on any of the lists.
93
94    A less inefficient way of solving this problem has now been implemented. If
95    two domain names, comma-separated, are given, the second is used first to do
96    an initial check, making use of any IP value restrictions that are set. If
97    there is a match, the first domain is used, without any IP value
98    restrictions, to get the TXT record. As a byproduct of this, there is also a
99    check that the IP being tested is indeed on the first list. The first domain
100    is the one that is put in $dnslist_domain. For example:
101
102      reject message  = rejected because $sender_ip_address is blacklisted \
103                        at $dnslist_domain\n$dnslist_text
104             dnslists = sbl.spamhaus.org,sbl-xbl.spamhaus.org=127.0.0.2 : \
105                        dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
106
107    For the first blacklist item, this starts by doing a lookup in
108    sbl-xbl.spamhaus.org and testing for a 127.0.0.2 return. If there is a
109    match, it then looks in sbl.spamhaus.org, without checking the return value,
110    and as long as something is found, it looks for the corresponding TXT
111    record. If there is no match in sbl-xbl.spamhaus.org, nothing more is done.
112    The second blacklist item is processed similarly.
113
114    If you are interested in more than one merged list, the same list must be
115    given several times, but because the results of the DNS lookups are cached,
116    the DNS calls themselves are not repeated. For example:
117
118      reject dnslists = http.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.2 : \
119                       socks.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.3 : \
120                        misc.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.4 : \
121                         dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
122
123    In this case there is a lookup in dnsbl.sorbs.net, and if none of the IP
124    values matches (or if no record is found), this is the only lookup that is
125    done. Only if there is a match is one of the more specific lists consulted.
126
127 6. All authenticators now have a server_condition option. Previously, only
128    plaintext had this, and this has not changed: it must be set to the
129    authenticator as a server. For the others, if server_condition is set, it is
130    expanded if authentication is successful, and treated exactly as it is in
131    plaintext. This can serve as a means of adding authorization to an
132    authenticator.
133
134 7. There is a new command-line option called -Mset. It is useful only in
135    conjunction with -be (that is, when testing string expansions). It must be
136    followed by a message id; Exim loads the given message from its spool before
137    doing the expansions, thus setting message-specific variables such as
138    $message_size and the header variables. The $recipients variable is
139    available. This feature is provided to make it easier to test expansions
140    that make use of these variables. However, Exim must be called by an admin
141    user when -Mset is used.
142
143 8. Another similar new command-line option is called -bem. It operates like -be
144    except that it must be followed by the name of a file. For example:
145
146      exim -bem /tmp/testmessage
147
148    The file is read as a message (as if receiving a locally-submitted non-SMTP
149    message) before any of the test expansions are done. Thus, message-specific
150    variables such as $message_size and $h_from: are available. However, no
151    Received: header is added to the message. If the -t option is set,
152    recipients are read from the headers in the normal way, and are shown in the
153    $recipients variable. Note that recipients cannot be given on the command
154    line, because further arguments are taken as strings to expand (just like
155    -be).
156
157
158 Version 4.63
159 ------------
160
161 1. There is a new Boolean option called filter_prepend_home for the redirect
162    router.
163
164 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
165    start of receiving a non-SMTP message, before any of the message has been
166    read.
167
168 3. When an SMTP error message is specified in a "message" modifier in an ACL,
169    or in a :fail: or :defer: message in a redirect router, Exim now checks the
170    start of the message for an SMTP error code.
171
172 4. There is a new parameter for LDAP lookups called "referrals", which takes
173    one of the settings "follow" (the default) or "nofollow".
174
175 5. Version 20070721.2 of exipick now included, offering these new options:
176     --reverse
177         After all other sorting options have bee processed, reverse order
178         before displaying messages (-R is synonym).
179     --random
180         Randomize order of matching messages before displaying.
181     --size
182         Instead of displaying the matching messages, display the sum
183         of their sizes.
184     --sort <variable>[,<variable>...]
185         Before displaying matching messages, sort the messages according to
186         each messages value for each variable.
187     --not
188         Negate the value for every test (returns inverse output from the
189         same criteria without --not).
190
191
192 Version 4.62
193 ------------
194
195 1. The ${readsocket expansion item now supports Internet domain sockets as well
196    as Unix domain sockets. If the first argument begins "inet:", it must be of
197    the form "inet:host:port". The port is mandatory; it may be a number or the
198    name of a TCP port in /etc/services. The host may be a name, or it may be an
199    IP address. An ip address may optionally be enclosed in square brackets.
200    This is best for IPv6 addresses. For example:
201
202      ${readsocket{inet:[::1]:1234}{<request data>}...
203
204    Only a single host name may be given, but if looking it up yield more than
205    one IP address, they are each tried in turn until a connection is made. Once
206    a connection has been made, the behaviour is as for ${readsocket with a Unix
207    domain socket.
208
209 2. If a redirect router sets up file or pipe deliveries for more than one
210    incoming address, and the relevant transport has batch_max set greater than
211    one, a batch delivery now occurs.
212
213 3. The appendfile transport has a new option called maildirfolder_create_regex.
214    Its value is a regular expression. For a maildir delivery, this is matched
215    against the maildir directory; if it matches, Exim ensures that a
216    maildirfolder file is created alongside the new, cur, and tmp directories.
217
218
219 Version 4.61
220 ------------
221
222 The documentation is up-to-date for the 4.61 release. Major new features since
223 the 4.60 release are:
224
225 . An option called disable_ipv6, to disable the use of IPv6 completely.
226
227 . An increase in the number of ACL variables to 20 of each type.
228
229 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
230   $2, $3, (though those are still set) because the numeric variables get used
231   for other things in complicated expansions.
232
233 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
234
235 . It is possible to use setclassresources() on some BSD OS to control the
236   resources used in pipe deliveries.
237
238 . A new ACL modifier called add_header, which can be used with any verb.
239
240 . More errors are detectable in retry rules.
241
242 There are a number of other additions too.
243
244
245 Version 4.60
246 ------------
247
248 The documentation is up-to-date for the 4.60 release. Major new features since
249 the 4.50 release are:
250
251 . Support for SQLite.
252
253 . Support for IGNOREQUOTA in LMTP.
254
255 . Extensions to the "submission mode" features.
256
257 . Support for Client SMTP Authorization (CSA).
258
259 . Support for ratelimiting hosts and users.
260
261 . New expansion items to help with the BATV "prvs" scheme.
262
263 . A "match_ip" condition, that matches an IP address against a list.
264
265 There are many more minor changes.
266
267 ****