Michael Deutschmann's patch for getting TXT from a specific list when
[exim.git] / doc / doc-txt / NewStuff
1 $Cambridge: exim/doc/doc-txt/NewStuff,v 1.115 2006/10/03 15:11:22 ph10 Exp $
2
3 New Features in Exim
4 --------------------
5
6 This file contains descriptions of new features that have been added to Exim.
7 Before a formal release, there may be quite a lot of detail so that people can
8 test from the snapshots or the CVS before the documentation is updated. Once
9 the documentation is updated, this file is reduced to a short list.
10
11
12 Version 4.64
13 ------------
14
15 1. ACL variables can now be given arbitrary names, as long as they start with
16    "acl_c" or "acl_m" (for connection variables and message variables), are
17    at least six characters long, with the sixth character being either a digit
18    or an underscore. The rest of the name can contain alphanumeric characters
19    and underscores. This is a compatible change because the old set of
20    variables such as acl_m12 are a subset of the allowed names. There may now
21    be any number of ACL variables. For example:
22
23      set acl_c13   = value for original ACL variable
24      set acl_c13b  = whatever
25      set acl_m_foo = something
26
27    What happens if a syntactically valid but undefined ACL variable is
28    referenced depends on the setting of the strict_acl_vars option. If it is
29    false (the default), an empty string is substituted; if it is true, an error
30    is generated. This affects all ACL variables, including the "old" ones such
31    as acl_c4. (Previously there wasn't the concept of an undefined ACL
32    variable.)
33
34    The implementation has been done in such a way that spool files containing
35    ACL variable settings written by previous releases of Exim are compatible
36    and can be read by the new release. If only the original numeric names are
37    used, spool files written by the new release can be read by earlier
38    releases.
39
40 2. There is a new ACL modifier called log_reject_target. It makes it possible
41    to specify which logs are used for messages about ACL rejections. Its
42    argument is a list of words which can be "main", "reject", or "panic". The
43    default is "main:reject". The list may be empty, in which case a rejection
44    is not logged at all. For example, this ACL fragment writes no logging
45    information when access is denied:
46
47      deny <some conditions>
48           log_reject_target =
49
50    The modifier can be used in SMTP and non-SMTP ACLs. It applies to both
51    permanent and temporary rejections.
52
53 3. There is a new authenticator called "dovecot". This is an interface to the
54    authentication facility of the Dovecot POP/IMAP server, which can support a
55    number of authentication methods. If you are using Dovecot to authenticate
56    POP/IMAP clients, it might be helpful to use the same mechanisms for SMTP
57    authentication. This is a server authenticator only. The only option is
58    server_socket, which must specify the socket which is the interface to
59    Dovecot authentication. The public_name option must specify an
60    authentication mechanism that Dovecot is configured to support. You can have
61    several authenticators for different mechanisms. For example:
62
63      dovecot_plain:
64        driver = dovecot
65        public_name = PLAIN
66        server_name = /var/run/dovecot/auth-client
67        server_setid = $auth1
68
69      dovecot_ntlm:
70        driver = dovecot
71        public_name = NTLM
72        server_name = /var/run/dovecot/auth-client
73        server_setid = $auth1
74
75 4. The variable $message_headers_raw provides a concatenation of all the
76    messages's headers without any decoding. This is in contrast to
77    $message_headers, which does RFC2047 decoding on the header contents.
78
79 5. In a DNS black list, when the facility for restricting the matching IP
80    values is used, the text from the TXT record that is set in $dnslist_text
81    may not reflect the true reason for rejection. This happens when lists are
82    merged and the IP address in the A record is used to distinguish them;
83    unfortunately there is only one TXT record. One way round this is not to use
84    merged lists, but that can be inefficient because it requires multiple DNS
85    lookups where one would do in the vast majority of cases when the host of
86    interest is not on any of the lists.
87
88    A less inefficient way of solving this problem has now been implemented. If
89    two domain names, comma-separated, are given, the second is used first to do
90    an initial check, making use of any IP value restrictions that are set. If
91    there is a match, the first domain is used, without any IP value
92    restrictions, to get the TXT record. As a byproduct of this, there is also a
93    check that the IP being tested is indeed on the first list. The first domain
94    is the one that is put in $dnslist_domain. For example:
95
96      reject message  = rejected because $sender_ip_address is blacklisted \
97                        at $dnslist_domain\n$dnslist_text
98             dnslists = sbl.spamhaus.org,sbl-xbl.spamhaus.org=127.0.0.2 : \
99                        dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
100
101    For the first blacklist item, this starts by doing a lookup in
102    sbl-xbl.spamhaus.org and testing for a 127.0.0.2 return. If there is a
103    match, it then looks in sbl.spamhaus.org, without checking the return value,
104    and as long as something is found, it looks for the corresponding TXT
105    record. If there is no match in sbl-xbl.spamhaus.org, nothing more is done.
106    The second blacklist item is processed similarly.
107
108    If you are interested in more than one merged list, the same list must be
109    given several times, but because the results of the DNS lookups are cached,
110    the DNS calls themselves are not repeated. For example:
111
112      reject dnslists = http.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.2 : \
113                       socks.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.3 : \
114                        misc.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.4 : \
115                         dul.dnsbl.sorbs.net,dnsbl.sorbs.net=127.0.0.10
116
117    In this case there is a lookup in dnsbl.sorbs.net, and if none of the IP
118    values matches (or if no record is found), this is the only lookup that is
119    done. Only if there is a match is one of the more specific lists consulted.
120
121
122 Version 4.63
123 ------------
124
125 1. There is a new Boolean option called filter_prepend_home for the redirect
126    router.
127
128 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
129    start of receiving a non-SMTP message, before any of the message has been
130    read.
131
132 3. When an SMTP error message is specified in a "message" modifier in an ACL,
133    or in a :fail: or :defer: message in a redirect router, Exim now checks the
134    start of the message for an SMTP error code.
135
136 4. There is a new parameter for LDAP lookups called "referrals", which takes
137    one of the settings "follow" (the default) or "nofollow".
138
139 5. Version 20070721.2 of exipick now included, offering these new options:
140     --reverse
141         After all other sorting options have bee processed, reverse order
142         before displaying messages (-R is synonym).
143     --random
144         Randomize order of matching messages before displaying.
145     --size
146         Instead of displaying the matching messages, display the sum
147         of their sizes.
148     --sort <variable>[,<variable>...]
149         Before displaying matching messages, sort the messages according to
150         each messages value for each variable.
151     --not
152         Negate the value for every test (returns inverse output from the
153         same criteria without --not).
154
155
156 Version 4.62
157 ------------
158
159 1. The ${readsocket expansion item now supports Internet domain sockets as well
160    as Unix domain sockets. If the first argument begins "inet:", it must be of
161    the form "inet:host:port". The port is mandatory; it may be a number or the
162    name of a TCP port in /etc/services. The host may be a name, or it may be an
163    IP address. An ip address may optionally be enclosed in square brackets.
164    This is best for IPv6 addresses. For example:
165
166      ${readsocket{inet:[::1]:1234}{<request data>}...
167
168    Only a single host name may be given, but if looking it up yield more than
169    one IP address, they are each tried in turn until a connection is made. Once
170    a connection has been made, the behaviour is as for ${readsocket with a Unix
171    domain socket.
172
173 2. If a redirect router sets up file or pipe deliveries for more than one
174    incoming address, and the relevant transport has batch_max set greater than
175    one, a batch delivery now occurs.
176
177 3. The appendfile transport has a new option called maildirfolder_create_regex.
178    Its value is a regular expression. For a maildir delivery, this is matched
179    against the maildir directory; if it matches, Exim ensures that a
180    maildirfolder file is created alongside the new, cur, and tmp directories.
181
182
183 Version 4.61
184 ------------
185
186 The documentation is up-to-date for the 4.61 release. Major new features since
187 the 4.60 release are:
188
189 . An option called disable_ipv6, to disable the use of IPv6 completely.
190
191 . An increase in the number of ACL variables to 20 of each type.
192
193 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
194   $2, $3, (though those are still set) because the numeric variables get used
195   for other things in complicated expansions.
196
197 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
198
199 . It is possible to use setclassresources() on some BSD OS to control the
200   resources used in pipe deliveries.
201
202 . A new ACL modifier called add_header, which can be used with any verb.
203
204 . More errors are detectable in retry rules.
205
206 There are a number of other additions too.
207
208
209 Version 4.60
210 ------------
211
212 The documentation is up-to-date for the 4.60 release. Major new features since
213 the 4.50 release are:
214
215 . Support for SQLite.
216
217 . Support for IGNOREQUOTA in LMTP.
218
219 . Extensions to the "submission mode" features.
220
221 . Support for Client SMTP Authorization (CSA).
222
223 . Support for ratelimiting hosts and users.
224
225 . New expansion items to help with the BATV "prvs" scheme.
226
227 . A "match_ip" condition, that matches an IP address against a list.
228
229 There are many more minor changes.
230
231 ****