Add +ignore_defer and +include_defer to host lists.
[exim.git] / doc / doc-txt / NewStuff
1 $Cambridge: exim/doc/doc-txt/NewStuff,v 1.153 2007/06/26 09:23:34 ph10 Exp $
2
3 New Features in Exim
4 --------------------
5
6 This file contains descriptions of new features that have been added to Exim.
7 Before a formal release, there may be quite a lot of detail so that people can
8 test from the snapshots or the CVS before the documentation is updated. Once
9 the documentation is updated, this file is reduced to a short list.
10
11 Version 4.68
12 ------------
13
14  1. The body_linecount and body_zerocount C variables are now exported in the
15     local_scan API.
16
17  2. When a dnslists lookup succeeds, the key that was looked up is now placed
18     in $dnslist_matched. When the key is an IP address, it is not reversed in
19     this variable (though it is, of course, in the actual lookup). In simple
20     cases, for example:
21
22       deny dnslists = spamhaus.example
23
24     the key is also available in another variable (in this case,
25     $sender_host_address). In more complicated cases, however, this is not
26     true. For example, using a data lookup might generate a dnslists lookup
27     like this:
28
29       deny dnslists = spamhaus.example/<|192.168.1.2|192.168.6.7|...
30
31     If this condition succeeds, the value in $dnslist_matched might be
32     192.168.6.7 (for example).
33
34  3. Authenticators now have a client_condition option. When Exim is running as
35     a client, it skips an authenticator whose client_condition expansion yields
36     "0", "no", or "false". This can be used, for example, to skip plain text
37     authenticators when the connection is not encrypted by a setting such as:
38
39       client_condition = ${if !eq{$tls_cipher}{}}
40
41     Note that the 4.67 documentation states that $tls_cipher contains the
42     cipher used for incoming messages. In fact, during SMTP delivery, it
43     contains the cipher used for the delivery. The same is true for
44     $tls_peerdn.
45
46  4. There is now a -Mvc <message-id> option, which outputs a copy of the
47     message to the standard output, in RFC 2822 format. The option can be used
48     only by an admin user.
49
50  5. There is now a /noupdate option for the ratelimit ACL condition. It
51     computes the rate and checks the limit as normal, but it does not update
52     the saved data. This means that, in relevant ACLs, it is possible to lookup
53     the existence of a specified (or auto-generated) ratelimit key without
54     incrementing the ratelimit counter for that key.
55
56     In order for this to be useful, another ACL entry must set the rate
57     for the same key somewhere (otherwise it will always be zero).
58
59     Example:
60
61     acl_check_connect:
62       # Read the rate; if it doesn't exist or is below the maximum
63       # we update it below
64       deny ratelimit = 100 / 5m / strict / noupdate
65            log_message = RATE: $sender_rate / $sender_rate_period \
66                          (max $sender_rate_limit)
67
68       [... some other logic and tests...]
69
70       warn ratelimit = 100 / 5m / strict / per_cmd
71            log_message = RATE UPDATE: $sender_rate / $sender_rate_period \
72                          (max $sender_rate_limit)
73            condition = ${if le{$sender_rate}{$sender_rate_limit}}
74
75       accept
76
77  6. The variable $max_received_linelength contains the number of bytes in the
78     longest line that was received as part of the message, not counting the
79     line termination character(s).
80
81  7. Host lists can now include +ignore_defer and +include_defer, analagous to
82     +ignore_unknown and +include_unknown. These options should be used with
83     care, probably only in non-critical host lists such as whitelists.
84
85
86 Version 4.67
87 ------------
88
89  1. There is a new log selector called smtp_no_mail, which is not included in
90     the default setting. When it is set, a line is written to the main log
91     whenever an accepted SMTP connection terminates without having issued a
92     MAIL command.
93
94  2. When an item in a dnslists list is followed by = and & and a list of IP
95     addresses, the behaviour was not clear when the lookup returned more than
96     one IP address. This has been solved by the addition of == and =& for "all"
97     rather than the default "any" matching.
98
99  3. Up till now, the only control over which cipher suites GnuTLS uses has been
100     for the cipher algorithms. New options have been added to allow some of the
101     other parameters to be varied.
102
103  4. There is a new compile-time option called ENABLE_DISABLE_FSYNC. When it is
104     set, Exim compiles a runtime option called disable_fsync.
105
106  5. There is a new variable called $smtp_count_at_connection_start.
107
108  6. There's a new control called no_pipelining.
109
110  7. There are two new variables called $sending_ip_address and $sending_port.
111     These are set whenever an SMTP connection to another host has been set up.
112
113  8. The expansion of the helo_data option in the smtp transport now happens
114     after the connection to the server has been made.
115
116  9. There is a new expansion operator ${rfc2047d: that decodes strings that
117     are encoded as per RFC 2047.
118
119 10. There is a new log selector called "pid", which causes the current process
120     id to be added to every log line, in square brackets, immediately after the
121     time and date.
122
123 11. Exim has been modified so that it flushes SMTP output before implementing
124     a delay in an ACL. It also flushes the output before performing a callout,
125     as this can take a substantial time. These behaviours can be disabled by
126     obeying control = no_delay_flush or control = no_callout_flush,
127     respectively, at some earlier stage of the connection.
128
129 12. There are two new expansion conditions that iterate over a list. They are
130     called forany and forall.
131
132 13. There's a new global option called dsn_from that can be used to vary the
133     contents of From: lines in bounces and other automatically generated
134     messages ("delivery status notifications" - hence the name of the option).
135
136 14. The smtp transport has a new option called hosts_avoid_pipelining.
137
138 15. By default, exigrep does case-insensitive matches. There is now a -I option
139     that makes it case-sensitive.
140
141 16. A number of new features ("addresses", "map", "filter", and "reduce") have
142     been added to string expansions to make it easier to process lists of
143     items, typically addresses.
144
145 17. There's a new ACL modifier called "continue". It does nothing of itself,
146     and processing of the ACL always continues with the next condition or
147     modifier. It is provided so that the side effects of expanding its argument
148     can be used.
149
150 18. It is now possible to use newline and other control characters (those with
151     values less than 32, plus DEL) as separators in lists.
152
153 19. The exigrep utility now has a -v option, which inverts the matching
154     condition.
155
156 20. The host_find_failed option in the manualroute router can now be set to
157     "ignore".
158
159
160 Version 4.66
161 ------------
162
163 No new features were added to 4.66.
164
165
166 Version 4.65
167 ------------
168
169 No new features were added to 4.65.
170
171
172 Version 4.64
173 ------------
174
175  1. ACL variables can now be given arbitrary names, as long as they start with
176     "acl_c" or "acl_m" (for connection variables and message variables), are at
177     least six characters long, with the sixth character being either a digit or
178     an underscore.
179
180  2. There is a new ACL modifier called log_reject_target. It makes it possible
181     to specify which logs are used for messages about ACL rejections.
182
183  3. There is a new authenticator called "dovecot". This is an interface to the
184     authentication facility of the Dovecot POP/IMAP server, which can support a
185     number of authentication methods.
186
187  4. The variable $message_headers_raw provides a concatenation of all the
188     messages's headers without any decoding. This is in contrast to
189     $message_headers, which does RFC2047 decoding on the header contents.
190
191  5. In a DNS black list, if two domain names, comma-separated, are given, the
192     second is used first to do an initial check, making use of any IP value
193     restrictions that are set. If there is a match, the first domain is used,
194     without any IP value restrictions, to get the TXT record.
195
196  6. All authenticators now have a server_condition option.
197
198  7. There is a new command-line option called -Mset. It is useful only in
199     conjunction with -be (that is, when testing string expansions). It must be
200     followed by a message id; Exim loads the given message from its spool
201     before doing the expansions.
202
203  8. Another similar new command-line option is called -bem. It operates like
204     -be except that it must be followed by the name of a file that contains a
205     message.
206
207  9. When an address is delayed because of a 4xx response to a RCPT command, it
208     is now the combination of sender and recipient that is delayed in
209     subsequent queue runs until its retry time is reached.
210
211 10. Unary negation and the bitwise logical operators and, or, xor, not, and
212     shift, have been added to the eval: and eval10: expansion items.
213
214 11. The variables $interface_address and $interface_port have been renamed
215     as $received_ip_address and $received_port, to make it clear that they
216     relate to message reception rather than delivery. (The old names remain
217     available for compatibility.)
218
219 12. The "message" modifier can now be used on "accept" and "discard" acl verbs
220     to vary the message that is sent when an SMTP command is accepted.
221
222
223 Version 4.63
224 ------------
225
226 1. There is a new Boolean option called filter_prepend_home for the redirect
227    router.
228
229 2. There is a new acl, set by acl_not_smtp_start, which is run right at the
230    start of receiving a non-SMTP message, before any of the message has been
231    read.
232
233 3. When an SMTP error message is specified in a "message" modifier in an ACL,
234    or in a :fail: or :defer: message in a redirect router, Exim now checks the
235    start of the message for an SMTP error code.
236
237 4. There is a new parameter for LDAP lookups called "referrals", which takes
238    one of the settings "follow" (the default) or "nofollow".
239
240 5. Version 20070721.2 of exipick now included, offering these new options:
241     --reverse
242         After all other sorting options have bee processed, reverse order
243         before displaying messages (-R is synonym).
244     --random
245         Randomize order of matching messages before displaying.
246     --size
247         Instead of displaying the matching messages, display the sum
248         of their sizes.
249     --sort <variable>[,<variable>...]
250         Before displaying matching messages, sort the messages according to
251         each messages value for each variable.
252     --not
253         Negate the value for every test (returns inverse output from the
254         same criteria without --not).
255
256
257 Version 4.62
258 ------------
259
260 1. The ${readsocket expansion item now supports Internet domain sockets as well
261    as Unix domain sockets. If the first argument begins "inet:", it must be of
262    the form "inet:host:port". The port is mandatory; it may be a number or the
263    name of a TCP port in /etc/services. The host may be a name, or it may be an
264    IP address. An ip address may optionally be enclosed in square brackets.
265    This is best for IPv6 addresses. For example:
266
267      ${readsocket{inet:[::1]:1234}{<request data>}...
268
269    Only a single host name may be given, but if looking it up yield more than
270    one IP address, they are each tried in turn until a connection is made. Once
271    a connection has been made, the behaviour is as for ${readsocket with a Unix
272    domain socket.
273
274 2. If a redirect router sets up file or pipe deliveries for more than one
275    incoming address, and the relevant transport has batch_max set greater than
276    one, a batch delivery now occurs.
277
278 3. The appendfile transport has a new option called maildirfolder_create_regex.
279    Its value is a regular expression. For a maildir delivery, this is matched
280    against the maildir directory; if it matches, Exim ensures that a
281    maildirfolder file is created alongside the new, cur, and tmp directories.
282
283
284 Version 4.61
285 ------------
286
287 The documentation is up-to-date for the 4.61 release. Major new features since
288 the 4.60 release are:
289
290 . An option called disable_ipv6, to disable the use of IPv6 completely.
291
292 . An increase in the number of ACL variables to 20 of each type.
293
294 . A change to use $auth1, $auth2, and $auth3 in authenticators instead of $1,
295   $2, $3, (though those are still set) because the numeric variables get used
296   for other things in complicated expansions.
297
298 . The default for rfc1413_query_timeout has been changed from 30s to 5s.
299
300 . It is possible to use setclassresources() on some BSD OS to control the
301   resources used in pipe deliveries.
302
303 . A new ACL modifier called add_header, which can be used with any verb.
304
305 . More errors are detectable in retry rules.
306
307 There are a number of other additions too.
308
309
310 Version 4.60
311 ------------
312
313 The documentation is up-to-date for the 4.60 release. Major new features since
314 the 4.50 release are:
315
316 . Support for SQLite.
317
318 . Support for IGNOREQUOTA in LMTP.
319
320 . Extensions to the "submission mode" features.
321
322 . Support for Client SMTP Authorization (CSA).
323
324 . Support for ratelimiting hosts and users.
325
326 . New expansion items to help with the BATV "prvs" scheme.
327
328 . A "match_ip" condition, that matches an IP address against a list.
329
330 There are many more minor changes.
331
332 ****