John Jetmore's -Mset patch.
[users/jgh/exim.git] / doc / doc-txt / NewStuff
1 $Cambridge: exim/doc/doc-txt/NewStuff,v 1.118 2006/10/23 13:24:21 ph10 Exp $
2
3 New Features in Exim
4 --------------------
5
6 This file contains descriptions of new features that have been added to Exim.
7 Before a formal release, there may be quite a lot of detail so that people can
8 test from the snapshots or the CVS before the documentation is updated. Once
9 the documentation is updated, this file is reduced to a short list.
10
11
12 Version 4.64
13 ------------
14
15 1. ACL variables can now be given arbitrary names, as long as they start with
16    "acl_c" or "acl_m" (for connection variables and message variables), are
17    at least six characters long, with the sixth character being either a digit
18    or an underscore. The rest of the name can contain alphanumeric characters
19    and underscores. This is a compatible change because the old set of
20    variables such as acl_m12 are a subset of the allowed names. There may now
21    be any number of ACL variables. For example:
22
23      set acl_c13   = value for original ACL variable
24      set acl_c13b  = whatever
25      set acl_m_foo = something
26
27    What happens if a syntactically valid but undefined ACL variable is
28    referenced depends on the setting of the strict_acl_vars option. If it is
29    false (the default), an empty string is substituted; if it is true, an error
30    is generated. This affects all ACL variables, including the "old" ones such
31    as acl_c4. (Previously there wasn't the concept of an undefined ACL
32    variable.)
33
34    The implementation has been done in such a way that spool files containing
35    ACL variable settings written by previous releases of Exim are compatible
36    and can be read by the new release. If only the original numeric names are
37    used, spool files written by the new release can be read by earlier
38    releases.
39
40 2. There is a new ACL modifier called log_reject_target. It makes it possible
41    to specify which logs are used for messages about ACL rejections. Its
42    argument is a list of words which can be "main", "reject", or "panic". The
43    default is "main:reject". The list may be empty, in which case a rejection
44    is not logged at all. For example, this ACL fragment writes no logging
45    information when access is denied:
46
47      deny <some conditions>
48           log_reject_target =
49
50    The modifier can be used in SMTP and non-SMTP ACLs. It applies to both
51    permanent and temporary rejections.
52
53 3. There is a new authenticator called "dovecot". This is an interface to the
54    authentication facility of the Dovecot POP/IMAP server, which can support a
55    number of authentication methods. If you are using Dovecot to authenticate
56    POP/IMAP clients, it might be helpful to use the same mechanisms for SMTP
57    authentication. This is a server authenticator only. The only option is
58    server_socket, which must specify the socket which is the interface to
59    Dovecot authentication. The public_name option must specify an
60    authentication mechanism that Dovecot is configured to support. You can have
61    several authenticators for different mechanisms. For example:
62
63      dovecot_plain:
64        driver = dovecot
65        public_name = PLAIN
66        server_name = /var/run/dovecot/auth-client
67        server_setid = $auth1
68
69      dovecot_ntlm:
70        driver = dovecot
71        public_name = NTLM
72        server_name = /var/run/dovecot/auth-client
73        server_setid = $auth1
74
75    If the SMTP connection is encrypted, or if $sender_host_address is equal to
76    $interface_address (that is, the connection is local), the "secured" option
77    is passed in the Dovecot authentication command. If, for a TLS connection, a
78    client certificate has been verified, the "valid-client-cert" option is
79    passed.
80
81 4. The variable $message_headers_raw provides a concatenation of all the
82    messages's headers without any decoding. This is in contrast to
83    $message_headers, which does RFC2047 decoding on the header contents.
84
85 5. In a DNS black list, when the facility for restricting the matching IP
86    values is used, the text from the TXT record that is set in $dnslist_text
87    may not reflect the true reason for rejection. This happens when lists are
88    merged and the IP address in the A record is used to distinguish them;
89    unfortunately there is only one TXT record. One way round this is not to use
90    merged lists, but that can be inefficient because it requires multiple DNS
91    lookups where one would do in the vast majority of cases when the host of
92    interest is not on any of the lists.
93
94    A less inefficient way of solving this problem has now been implemented. If
95    two domain names, comma-separated, are given, the second is used first to do
96    an initial check, making use of any IP value restrictions that are set. If
97    there is a match, the first domain is used, without any IP value
98    restrictions, to get the TXT record. As a byproduct of this, there is also a
99    check that the IP being tested is indeed on the first list. The first domain
100    is the one that is put in $dnslist_domain. For example:
101
102      reject message  = rejected because $sender_ip_address is blacklisted \
103                        at $dnslist_domain\n$dnslist_text
104             dnslists = sbl.spamhaus.org,sbl-xbl.spamhaus.org=127.0.0.2 : \
105                        dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
106
107    For the first blacklist item, this starts by doing a lookup in
108    sbl-xbl.spamhaus.org and testing for a 127.0.0.2 return. If there is a
109    match, it then looks in sbl.spamhaus.org, without checking the return value,
110    and as long as something is found, it looks for the corresponding TXT
111    record. If there is no match in sbl-xbl.spamhaus.org, nothing more is done.
112    The second blacklist item is processed similarly.
113
114    If you are interested in more than one merged list, the same list must be
115    given several times, but because the results of the DNS lookups are cached,
116    the DNS calls themselves are not repeated. For example:
117
118      reject dnslists = http.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.2 : \
119                       socks.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.3 : \
120                        misc.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.4 : \
121                         dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
122
123    In this case there is a lookup in dnsbl.sorbs.net, and if none of the IP
124    values matches (or if no record is found), this is the only lookup that is
125    done. Only if there is a match is one of the more specific lists consulted.
126
127 6. All authenticators now have a server_condition option. Previously, only
128    plaintext had this, and this has not changed: it must be set to the
129    authenticator as a server. For the others, if server_condition is set, it is
130    expanded if authentication is successful, and treated exactly as it is in
131    plaintext. This can serve as a means of adding authorization to an
132    authenticator.
133
134 7. There is a new command-line option called -Mset. It is useful only in
135    conjunction with -be (that is, when testing string expansions). It must be
136    followed by a message id; Exim loads the given message before doing the
137    expansions, thus setting message-specific variables such as $message_size
138    and the header variables. This feature is provided to make it easier to test
139    expansions that make use of these variables. However, Exim must be called by
140    an admin user when -Mset is used.
141
142
143 Version 4.63
144 ------------
145
146 1. There is a new Boolean option called filter_prepend_home for the redirect
147    router.
148
149 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
150    start of receiving a non-SMTP message, before any of the message has been
151    read.
152
153 3. When an SMTP error message is specified in a "message" modifier in an ACL,
154    or in a :fail: or :defer: message in a redirect router, Exim now checks the
155    start of the message for an SMTP error code.
156
157 4. There is a new parameter for LDAP lookups called "referrals", which takes
158    one of the settings "follow" (the default) or "nofollow".
159
160 5. Version 20070721.2 of exipick now included, offering these new options:
161     --reverse
162         After all other sorting options have bee processed, reverse order
163         before displaying messages (-R is synonym).
164     --random
165         Randomize order of matching messages before displaying.
166     --size
167         Instead of displaying the matching messages, display the sum
168         of their sizes.
169     --sort <variable>[,<variable>...]
170         Before displaying matching messages, sort the messages according to
171         each messages value for each variable.
172     --not
173         Negate the value for every test (returns inverse output from the
174         same criteria without --not).
175
176
177 Version 4.62
178 ------------
179
180 1. The ${readsocket expansion item now supports Internet domain sockets as well
181    as Unix domain sockets. If the first argument begins "inet:", it must be of
182    the form "inet:host:port". The port is mandatory; it may be a number or the
183    name of a TCP port in /etc/services. The host may be a name, or it may be an
184    IP address. An ip address may optionally be enclosed in square brackets.
185    This is best for IPv6 addresses. For example:
186
187      ${readsocket{inet:[::1]:1234}{<request data>}...
188
189    Only a single host name may be given, but if looking it up yield more than
190    one IP address, they are each tried in turn until a connection is made. Once
191    a connection has been made, the behaviour is as for ${readsocket with a Unix
192    domain socket.
193
194 2. If a redirect router sets up file or pipe deliveries for more than one
195    incoming address, and the relevant transport has batch_max set greater than
196    one, a batch delivery now occurs.
197
198 3. The appendfile transport has a new option called maildirfolder_create_regex.
199    Its value is a regular expression. For a maildir delivery, this is matched
200    against the maildir directory; if it matches, Exim ensures that a
201    maildirfolder file is created alongside the new, cur, and tmp directories.
202
203
204 Version 4.61
205 ------------
206
207 The documentation is up-to-date for the 4.61 release. Major new features since
208 the 4.60 release are:
209
210 . An option called disable_ipv6, to disable the use of IPv6 completely.
211
212 . An increase in the number of ACL variables to 20 of each type.
213
214 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
215   $2, $3, (though those are still set) because the numeric variables get used
216   for other things in complicated expansions.
217
218 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
219
220 . It is possible to use setclassresources() on some BSD OS to control the
221   resources used in pipe deliveries.
222
223 . A new ACL modifier called add_header, which can be used with any verb.
224
225 . More errors are detectable in retry rules.
226
227 There are a number of other additions too.
228
229
230 Version 4.60
231 ------------
232
233 The documentation is up-to-date for the 4.60 release. Major new features since
234 the 4.50 release are:
235
236 . Support for SQLite.
237
238 . Support for IGNOREQUOTA in LMTP.
239
240 . Extensions to the "submission mode" features.
241
242 . Support for Client SMTP Authorization (CSA).
243
244 . Support for ratelimiting hosts and users.
245
246 . New expansion items to help with the BATV "prvs" scheme.
247
248 . A "match_ip" condition, that matches an IP address against a list.
249
250 There are many more minor changes.
251
252 ****