Merge branch 'master' of ssh://git.exim.org/home/git/exim

[users/heiko/exim.git] / doc / doc-docbook / spec.xfpt
diff --git a/doc/doc-docbook/spec.xfpt b/doc/doc-docbook/spec.xfpt

index 4b9f53ed14073603c012951509783ef90b0abbae..afc15d4330c9c0f40cc84e8b1a867e2f4862f1fc 100644 (file)
--- a/doc/doc-docbook/spec.xfpt
+++ b/doc/doc-docbook/spec.xfpt
@@ -52,7 +52,7 @@
  .set I   "&nbsp;&nbsp;&nbsp;&nbsp;"
  
  .macro copyyear
  .set I   "&nbsp;&nbsp;&nbsp;&nbsp;"
  
  .macro copyyear
-2013
+2014
  .endmacro
  
  . /////////////////////////////////////////////////////////////////////////////
  .endmacro
  
  . /////////////////////////////////////////////////////////////////////////////
@@ -4221,6 +4221,20 @@ option sets the IP interface address value. A port number may be included,
  using the same syntax as for &%-oMa%&. The interface address is placed in
  &$received_ip_address$& and the port number, if present, in &$received_port$&.
  
  using the same syntax as for &%-oMa%&. The interface address is placed in
  &$received_ip_address$& and the port number, if present, in &$received_port$&.
  
+.vitem &%-oMm%&&~<&'message&~reference'&>
+.oindex "&%-oMm%&"
+.cindex "message reference" "message reference, specifying for local message"
+See &%-oMa%& above for general remarks about the &%-oM%& options. The &%-oMm%&
+option sets the message reference, e.g. message-id, and is logged during
+delivery. This is useful when some kind of audit trail is required to tie
+messages together. The format of the message reference is checked and will
+abort if the format is invalid. The option will only be accepted if exim is
+running in trusted mode, not as any regular user.
+
+The best example of a message reference is when Exim sends a bounce message.
+The message reference is the message-id of the original message for which Exim
+is sending the bounce.
+
  .vitem &%-oMr%&&~<&'protocol&~name'&>
  .oindex "&%-oMr%&"
  .cindex "protocol, specifying for local message"
  .vitem &%-oMr%&&~<&'protocol&~name'&>
  .oindex "&%-oMr%&"
  .cindex "protocol, specifying for local message"
@@ -6840,7 +6854,7 @@ is used on its own as the result. If the lookup does not succeed, the
  &`fail`& keyword causes a &'forced expansion failure'& &-- see section
  &<<SECTforexpfai>>& for an explanation of what this means.
  
  &`fail`& keyword causes a &'forced expansion failure'& &-- see section
  &<<SECTforexpfai>>& for an explanation of what this means.
  
-The supported DNS record types are A, CNAME, MX, NS, PTR, SPF, SRV, and TXT,
+The supported DNS record types are A, CNAME, MX, NS, PTR, SPF, SRV, TLSA and TXT,
  and, when Exim is compiled with IPv6 support, AAAA (and A6 if that is also
  configured). If no type is given, TXT is assumed. When the type is PTR,
  the data can be an IP address, written as normal; inversion and the addition of
  and, when Exim is compiled with IPv6 support, AAAA (and A6 if that is also
  configured). If no type is given, TXT is assumed. When the type is PTR,
  the data can be an IP address, written as normal; inversion and the addition of
@@ -6959,11 +6973,16 @@ The data from each lookup is concatenated, with newline separators by default,
  in the same way that multiple DNS records for a single item are handled. A
  different separator can be specified, as described above.
  
  in the same way that multiple DNS records for a single item are handled. A
  different separator can be specified, as described above.
  
+Modifiers for &(dnsdb)& lookups are givien by optional keywords,
+each followed by a comma,
+that may appear before the record type.
+
  The &(dnsdb)& lookup fails only if all the DNS lookups fail. If there is a
  temporary DNS error for any of them, the behaviour is controlled by
  The &(dnsdb)& lookup fails only if all the DNS lookups fail. If there is a
  temporary DNS error for any of them, the behaviour is controlled by
-an optional keyword followed by a comma that may appear before the record
-type. The possible keywords are &"defer_strict"&, &"defer_never"&, and
-&"defer_lax"&. With &"strict"& behaviour, any temporary DNS error causes the
+a defer-option modifier.
+The possible keywords are
+&"defer_strict"&, &"defer_never"&, and &"defer_lax"&.
+With &"strict"& behaviour, any temporary DNS error causes the
  whole lookup to defer. With &"never"& behaviour, a temporary DNS error is
  ignored, and the behaviour is as if the DNS lookup failed to find anything.
  With &"lax"& behaviour, all the queries are attempted, but a temporary DNS
  whole lookup to defer. With &"never"& behaviour, a temporary DNS error is
  ignored, and the behaviour is as if the DNS lookup failed to find anything.
  With &"lax"& behaviour, all the queries are attempted, but a temporary DNS
@@ -6976,6 +6995,21 @@ ${lookup dnsdb{a=one.host.com:two.host.com}}
  Thus, in the default case, as long as at least one of the DNS lookups
  yields some data, the lookup succeeds.
  
  Thus, in the default case, as long as at least one of the DNS lookups
  yields some data, the lookup succeeds.
  
+.new
+.cindex "DNSSEC" "dns lookup"
+Use of &(DNSSEC)& is controlled by a dnssec modifier.
+The possible keywords are
+&"dnssec_strict"&, &"dnssec_lax"&, and &"dnssec_never"&.
+With &"strict"& or &"lax"& DNSSEC information is requested
+with the lookup.
+With &"strict"& a response from the DNS resolver that
+is not labelled as authenticated data
+is treated as equivalent to a temporary DNS error.
+The default is &"never"&.
+
+See also the &$lookup_dnssec_authenticated$& variable.
+.wen
+
  
  
  
  
  
  
@@ -7040,6 +7074,18 @@ With sufficiently modern LDAP libraries, Exim supports forcing TLS over regular
  LDAP connections, rather than the SSL-on-connect &`ldaps`&.
  See the &%ldap_start_tls%& option.
  
  LDAP connections, rather than the SSL-on-connect &`ldaps`&.
  See the &%ldap_start_tls%& option.
  
+.new
+Starting with Exim 4.83, the initialization of LDAP with TLS is more tightly
+controlled. Every part of the TLS configuration can be configured by settings in
+&_exim.conf_&. Depending on the version of the client libraries installed on
+your system, some of the initialization may have required setting options in
+&_/etc/ldap.conf_& or &_~/.ldaprc_& to get TLS working with self-signed
+certificates. This revealed a nuance where the current UID that exim was
+running as could affect which config files it read. With Exim 4.83, these
+methods become optional, only taking effect if not specifically set in
+&_exim.conf_&.
+.wen
+
  
  .section "LDAP quoting" "SECID68"
  .cindex "LDAP" "quoting"
  
  .section "LDAP quoting" "SECID68"
  .cindex "LDAP" "quoting"
@@ -7186,6 +7232,9 @@ them. The following names are recognized:
  &`USER       `&  set the DN, for authenticating the LDAP bind
  &`PASS       `&  set the password, likewise
  &`REFERRALS  `&  set the referrals parameter
  &`USER       `&  set the DN, for authenticating the LDAP bind
  &`PASS       `&  set the password, likewise
  &`REFERRALS  `&  set the referrals parameter
+.new
+&`SERVERS    `&  set alternate server list for this query only
+.wen
  &`SIZE       `&  set the limit for the number of entries returned
  &`TIME       `&  set the maximum waiting time for a query
  .endd
  &`SIZE       `&  set the limit for the number of entries returned
  &`TIME       `&  set the maximum waiting time for a query
  .endd
@@ -7207,6 +7256,15 @@ Netscape SDK; for OpenLDAP no action is taken.
  The TIME parameter (also a number of seconds) is passed to the server to
  set a server-side limit on the time taken to complete a search.
  
  The TIME parameter (also a number of seconds) is passed to the server to
  set a server-side limit on the time taken to complete a search.
  
+.new
+The SERVERS parameter allows you to specify an alternate list of ldap servers
+to use for an individual lookup.  The global ldap_servers option provides a
+default list of ldap servers, and a single lookup can specify a single ldap
+server to use.  But when you need to do a lookup with a list of servers that is
+different than the default list (maybe different order, maybe a completely
+different set of servers), the SERVERS parameter allows you to specify this
+alternate list.
+.wen
  
  Here is an example of an LDAP query in an Exim lookup that uses some of these
  values. This is a single line, folded to fit on the page:
  
  Here is an example of an LDAP query in an Exim lookup that uses some of these
  values. This is a single line, folded to fit on the page:
@@ -8286,7 +8344,14 @@ Both &`+include_unknown`& and &`+ignore_unknown`& may appear in the same
  list. The effect of each one lasts until the next, or until the end of the
  list.
  
  list. The effect of each one lasts until the next, or until the end of the
  list.
  
-To explain the host/ip processing logic a different way for the same ACL:
+.new
+.section "Mixing wildcarded host names and addresses in host lists" &&&
+         "SECTmixwilhos"
+.cindex "host list" "mixing names and addresses in"
+
+This section explains the host/ip processing logic with the same concepts
+as the previous section, but specifically addresses what happens when a
+wildcarded hostname is one of the items in the hostlist.
  
  .ilist
  If you have name lookups or wildcarded host names and
  
  .ilist
  If you have name lookups or wildcarded host names and
@@ -8315,7 +8380,7 @@ If the first &%accept%& fails, Exim goes on to try the second one. See chapter
  &`+ignore_unknown`&, which was discussed in depth in the first example in
  this section.
  .endlist
  &`+ignore_unknown`&, which was discussed in depth in the first example in
  this section.
  .endlist
-
+.wen
  
  
  .section "Temporary DNS errors when looking up host information" &&&
  
  
  .section "Temporary DNS errors when looking up host information" &&&
@@ -8387,33 +8452,6 @@ See section &<<SECThoslispatsikey>>&.)
  
  
  
  
  
  
-.section "Mixing wildcarded host names and addresses in host lists" &&&
-         "SECTmixwilhos"
-.cindex "host list" "mixing names and addresses in"
-If you have name lookups or wildcarded host names and IP addresses in the same
-host list, you should normally put the IP addresses first. For example, in an
-ACL you could have:
-.code
-accept hosts = 10.9.8.7 : *.friend.example
-.endd
-The reason for this lies in the left-to-right way that Exim processes lists.
-It can test IP addresses without doing any DNS lookups, but when it reaches an
-item that requires a host name, it fails if it cannot find a host name to
-compare with the pattern. If the above list is given in the opposite order, the
-&%accept%& statement fails for a host whose name cannot be found, even if its
-IP address is 10.9.8.7.
-
-If you really do want to do the name check first, and still recognize the IP
-address, you can rewrite the ACL like this:
-.code
-accept hosts = *.friend.example
-accept hosts = 10.9.8.7
-.endd
-If the first &%accept%& fails, Exim goes on to try the second one. See chapter
-&<<CHAPACL>>& for details of ACLs.
-
-
-
  
  
  .section "Address lists" "SECTaddresslist"
  
  
  .section "Address lists" "SECTaddresslist"
@@ -9169,6 +9207,44 @@ of <&'string2'&>, whichever is the shorter. Do not confuse &%length%& with
  &%strlen%&, which gives the length of a string.
  
  
  &%strlen%&, which gives the length of a string.
  
  
+.vitem "&*${listextract{*&<&'number'&>&*}&&&
+        {*&<&'string1'&>&*}{*&<&'string2'&>&*}{*&<&'string3'&>&*}}*&"
+.cindex "expansion" "extracting list elements by number"
+.cindex "&%listextract%&" "extract list elements by number"
+.cindex "list" "extracting elements by number"
+The <&'number'&> argument must consist entirely of decimal digits,
+apart from an optional leading minus,
+and leading and trailing white space (which is ignored).
+
+After expansion, <&'string1'&> is interpreted as a list, colon-separated by
+default, but the separator can be changed in the usual way.
+
+The first field of the list is numbered one.
+If the number is negative, the fields are
+counted from the end of the list, with the rightmost one numbered -1.
+The numbered element of the list is extracted and placed in &$value$&,
+then <&'string2'&> is expanded as the result.
+
+If the modulus of the
+number is zero or greater than the number of fields in the string,
+the result is the expansion of <&'string3'&>.
+
+For example:
+.code
+${listextract{2}{x:42:99}}
+.endd
+yields &"42"&, and
+.code
+${listextract{-3}{<, x,42,99,& Mailer,,/bin/bash}{result: $value}}
+.endd
+yields &"result: 99"&.
+
+If {<&'string3'&>} is omitted, an empty string is used for string3.
+If {<&'string2'&>} is also omitted, the value that was
+extracted is used.
+You can use &`fail`& instead of {<&'string3'&>} as in a string extract.
+
+
  .vitem "&*${lookup{*&<&'key'&>&*}&~*&<&'search&~type'&>&*&~&&&
          {*&<&'file'&>&*}&~{*&<&'string1'&>&*}&~{*&<&'string2'&>&*}}*&"
  This is the first of one of two different types of lookup item, which are both
  .vitem "&*${lookup{*&<&'key'&>&*}&~*&<&'search&~type'&>&*&~&&&
          {*&<&'file'&>&*}&~{*&<&'string1'&>&*}&~{*&<&'string2'&>&*}}*&"
  This is the first of one of two different types of lookup item, which are both
@@ -10121,6 +10197,14 @@ number of larger units and output in Exim's normal time format, for example,
  .cindex "expansion" "case forcing"
  .cindex "&%uc%& expansion item"
  This forces the letters in the string into upper-case.
  .cindex "expansion" "case forcing"
  .cindex "&%uc%& expansion item"
  This forces the letters in the string into upper-case.
+
+.vitem &*${utf8clean:*&<&'string'&>&*}*&
+.cindex "correction of invalid utf-8 sequences in strings"
+.cindex "utf-8" "utf-8 sequences"
+.cindex "incorrect utf-8"
+.cindex "expansion" "utf-8 forcing"
+.cindex "&%utf8clean%& expansion item"
+This replaces any invalid utf-8 sequence in the string by the character &`?`&.
  .endlist
  
  
  .endlist
  
  
@@ -10189,7 +10273,7 @@ If the ACL returns defer the result is a forced-fail.
  .cindex "&%bool%& expansion condition"
  This condition turns a string holding a true or false representation into
  a boolean state.  It parses &"true"&, &"false"&, &"yes"& and &"no"&
  .cindex "&%bool%& expansion condition"
  This condition turns a string holding a true or false representation into
  a boolean state.  It parses &"true"&, &"false"&, &"yes"& and &"no"&
-(case-insensitively); also positive integer numbers map to true if non-zero,
+(case-insensitively); also integer numbers map to true if non-zero,
  false if zero.
  An empty string is treated as false.
  Leading and trailing whitespace is ignored;
  false if zero.
  An empty string is treated as false.
  Leading and trailing whitespace is ignored;
@@ -11383,6 +11467,16 @@ ability to find the amount of free space (only true for experimental systems),
  the space value is -1. See also the &%check_log_space%& option.
  
  
  the space value is -1. See also the &%check_log_space%& option.
  
  
+.new
+.vitem &$lookup_dnssec_authenticated$&
+.vindex "&$lookup_dnssec_authenticated$&"
+This variable is set after a DNS lookup done by
+a dnsdb lookup expansion, dnslookup router or smtp transport.
+It will be empty if &(DNSSEC)& was not requested,
+&"no"& if the result was not labelled as authenticated data
+and &"yes"& if it was.
+.wen
+
  .vitem &$mailstore_basename$&
  .vindex "&$mailstore_basename$&"
  This variable is set only when doing deliveries in &"mailstore"& format in the
  .vitem &$mailstore_basename$&
  .vindex "&$mailstore_basename$&"
  This variable is set only when doing deliveries in &"mailstore"& format in the
@@ -11928,7 +12022,7 @@ other times, this variable is false.
  It is likely that you will need to coerce DNSSEC support on in the resolver
  library, by setting:
  .code
  It is likely that you will need to coerce DNSSEC support on in the resolver
  library, by setting:
  .code
-dns_use_dnssec = 1
+dns_dnssec_ok = 1
  .endd
  
  Exim does not perform DNSSEC validation itself, instead leaving that to a
  .endd
  
  Exim does not perform DNSSEC validation itself, instead leaving that to a
@@ -13140,10 +13234,10 @@ See also the &'Policy controls'& section above.
  .row &%disable_ipv6%&                "do no IPv6 processing"
  .row &%dns_again_means_nonexist%&    "for broken domains"
  .row &%dns_check_names_pattern%&     "pre-DNS syntax check"
  .row &%disable_ipv6%&                "do no IPv6 processing"
  .row &%dns_again_means_nonexist%&    "for broken domains"
  .row &%dns_check_names_pattern%&     "pre-DNS syntax check"
+.row &%dns_dnssec_ok%&               "parameter for resolver"
  .row &%dns_ipv4_lookup%&             "only v4 lookup for these domains"
  .row &%dns_retrans%&                 "parameter for resolver"
  .row &%dns_retry%&                   "parameter for resolver"
  .row &%dns_ipv4_lookup%&             "only v4 lookup for these domains"
  .row &%dns_retrans%&                 "parameter for resolver"
  .row &%dns_retry%&                   "parameter for resolver"
-.row &%dns_use_dnssec%&              "parameter for resolver"
  .row &%dns_use_edns0%&               "parameter for resolver"
  .row &%hold_domains%&                "hold delivery for these domains"
  .row &%local_interfaces%&            "for routing checks"
  .row &%dns_use_edns0%&               "parameter for resolver"
  .row &%hold_domains%&                "hold delivery for these domains"
  .row &%local_interfaces%&            "for routing checks"
@@ -13640,6 +13734,9 @@ a very large time at the end of the list. For example:
  .code
  delay_warning = 2h:12h:99d
  .endd
  .code
  delay_warning = 2h:12h:99d
  .endd
+Note that the option is only evaluated at the time a delivery attempt fails,
+which depends on retry and queue-runner configuration.
+Typically retries will be configured more frequently than warning messages.
  
  .option delay_warning_condition main string&!! "see below"
  .vindex "&$domain$&"
  
  .option delay_warning_condition main string&!! "see below"
  .vindex "&$domain$&"
@@ -13761,6 +13858,17 @@ This option controls whether or not an IP address, given as a CSA domain, is
  reversed and looked up in the reverse DNS, as described in more detail in
  section &<<SECTverifyCSA>>&.
  
  reversed and looked up in the reverse DNS, as described in more detail in
  section &<<SECTverifyCSA>>&.
  
+
+.option dns_dnssec_ok main integer -1
+.cindex "DNS" "resolver options"
+.cindex "DNS" "DNSSEC"
+If this option is set to a non-negative number then Exim will initialise the
+DNS resolver library to either use or not use DNSSEC, overriding the system
+default. A value of 0 coerces DNSSEC off, a value of 1 coerces DNSSEC on.
+
+If the resolver library does not support DNSSEC then this option has no effect.
+
+
  .option dns_ipv4_lookup main "domain list&!!" unset
  .cindex "IPv6" "DNS lookup for AAAA records"
  .cindex "DNS" "IPv6 lookup for AAAA records"
  .option dns_ipv4_lookup main "domain list&!!" unset
  .cindex "IPv6" "DNS lookup for AAAA records"
  .cindex "DNS" "IPv6 lookup for AAAA records"
@@ -13791,16 +13899,6 @@ to set in them.
  See &%dns_retrans%& above.
  
  
  See &%dns_retrans%& above.
  
  
-.option dns_use_dnssec main integer -1
-.cindex "DNS" "resolver options"
-.cindex "DNS" "DNSSEC"
-If this option is set to a non-negative number then Exim will initialise the
-DNS resolver library to either use or not use DNSSEC, overriding the system
-default. A value of 0 coerces DNSSEC off, a value of 1 coerces DNSSEC on.
-
-If the resolver library does not support DNSSEC then this option has no effect.
-
-
  .option dns_use_edns0 main integer -1
  .cindex "DNS" "resolver options"
  .cindex "DNS" "EDNS0"
  .option dns_use_edns0 main integer -1
  .cindex "DNS" "resolver options"
  .cindex "DNS" "EDNS0"
@@ -16685,11 +16783,12 @@ and the discussion in chapter &<<CHAPenvironment>>&.
  
  
  
  
  
  
-.option headers_add routers string&!! unset
+.option headers_add routers list&!! unset
  .cindex "header lines" "adding"
  .cindex "router" "adding header lines"
  .cindex "header lines" "adding"
  .cindex "router" "adding header lines"
-This option specifies a string of text that is expanded at routing time, and
-associated with any addresses that are accepted by the router. However, this
+This option specifies a list of text headers, newline-separated,
+that is associated with any addresses that are accepted by the router.
+Each item is separately expanded, at routing time.  However, this
  option has no effect when an address is just being verified. The way in which
  the text is used to add header lines at transport time is described in section
  &<<SECTheadersaddrem>>&. New header lines are not actually added until the
  option has no effect when an address is just being verified. The way in which
  the text is used to add header lines at transport time is described in section
  &<<SECTheadersaddrem>>&. New header lines are not actually added until the
@@ -16698,8 +16797,8 @@ header lines in string expansions in the transport's configuration do not
  &"see"& the added header lines.
  
  The &%headers_add%& option is expanded after &%errors_to%&, but before
  &"see"& the added header lines.
  
  The &%headers_add%& option is expanded after &%errors_to%&, but before
-&%headers_remove%& and &%transport%&. If the expanded string is empty, or if
-the expansion is forced to fail, the option has no effect. Other expansion
+&%headers_remove%& and &%transport%&. If an item is empty, or if
+an item expansion is forced to fail, the item has no effect. Other expansion
  failures are treated as configuration errors.
  
  Unlike most options, &%headers_add%& can be specified multiple times
  failures are treated as configuration errors.
  
  Unlike most options, &%headers_add%& can be specified multiple times
@@ -16721,11 +16820,12 @@ avoided. The &%repeat_use%& option of the &%redirect%& router may be of help.
  
  
  
  
  
  
-.option headers_remove routers string&!! unset
+.option headers_remove routers list&!! unset
  .cindex "header lines" "removing"
  .cindex "router" "removing header lines"
  .cindex "header lines" "removing"
  .cindex "router" "removing header lines"
-This option specifies a string of text that is expanded at routing time, and
-associated with any addresses that are accepted by the router. However, this
+This option specifies a list of text headers, colon-separated,
+that is associated with any addresses that are accepted by the router.
+Each item is separately expanded, at routing time.  However, this
  option has no effect when an address is just being verified. The way in which
  the text is used to remove header lines at transport time is described in
  section &<<SECTheadersaddrem>>&. Header lines are not actually removed until
  option has no effect when an address is just being verified. The way in which
  the text is used to remove header lines at transport time is described in
  section &<<SECTheadersaddrem>>&. Header lines are not actually removed until
@@ -16734,8 +16834,8 @@ to header lines in string expansions in the transport's configuration still
  &"see"& the original header lines.
  
  The &%headers_remove%& option is expanded after &%errors_to%& and
  &"see"& the original header lines.
  
  The &%headers_remove%& option is expanded after &%errors_to%& and
-&%headers_add%&, but before &%transport%&. If the expansion is forced to fail,
-the option has no effect. Other expansion failures are treated as configuration
+&%headers_add%&, but before &%transport%&. If an item expansion is forced to fail,
+the item has no effect. Other expansion failures are treated as configuration
  errors.
  
  Unlike most options, &%headers_remove%& can be specified multiple times
  errors.
  
  Unlike most options, &%headers_remove%& can be specified multiple times
@@ -17578,6 +17678,33 @@ when there is a DNS lookup error.
  
  
  
  
  
  
+.new
+.option dnssec_request_domains dnslookup "domain list&!!" unset
+.cindex "MX record" "security"
+.cindex "DNSSEC" "MX lookup"
+.cindex "security" "MX lookup"
+.cindex "DNS" "DNSSEC"
+DNS lookups for domains matching &%dnssec_request_domains%& will be done with
+the dnssec request bit set.
+This applies to all of the SRV, MX A6, AAAA, A lookup sequence.
+.wen
+
+
+
+.new
+.option dnssec_require_domains dnslookup "domain list&!!" unset
+.cindex "MX record" "security"
+.cindex "DNSSEC" "MX lookup"
+.cindex "security" "MX lookup"
+.cindex "DNS" "DNSSEC"
+DNS lookups for domains matching &%dnssec_request_domains%& will be done with
+the dnssec request bit set.  Any returns not having the Authenticated Data bit
+(AD bit) set wil be ignored and logged as a host-lookup failure.
+This applies to all of the SRV, MX A6, AAAA, A lookup sequence.
+.wen
+
+
+
  .option mx_domains dnslookup "domain list&!!" unset
  .cindex "MX record" "required to exist"
  .cindex "SRV record" "required to exist"
  .option mx_domains dnslookup "domain list&!!" unset
  .cindex "MX record" "required to exist"
  .cindex "SRV record" "required to exist"
@@ -19735,10 +19862,11 @@ value that the router supplies, and also overriding any value associated with
  &%user%& (see below).
  
  
  &%user%& (see below).
  
  
-.option headers_add transports string&!! unset
+.option headers_add transports list&!! unset
  .cindex "header lines" "adding in transport"
  .cindex "transport" "header lines; adding"
  .cindex "header lines" "adding in transport"
  .cindex "transport" "header lines; adding"
-This option specifies a string of text that is expanded and added to the header
+This option specifies a list of text headers, newline-separated,
+which are (separately) expanded and added to the header
  portion of a message as it is transported, as described in section
  &<<SECTheadersaddrem>>&. Additional header lines can also be specified by
  routers. If the result of the expansion is an empty string, or if the expansion
  portion of a message as it is transported, as described in section
  &<<SECTheadersaddrem>>&. Additional header lines can also be specified by
  routers. If the result of the expansion is an empty string, or if the expansion
@@ -19759,18 +19887,20 @@ transports, the settings of &%message_prefix%& and &%message_suffix%& should be
  checked, since this option does not automatically suppress them.
  
  
  checked, since this option does not automatically suppress them.
  
  
-.option headers_remove transports string&!! unset
+.option headers_remove transports list&!! unset
  .cindex "header lines" "removing"
  .cindex "transport" "header lines; removing"
  .cindex "header lines" "removing"
  .cindex "transport" "header lines; removing"
-This option specifies a string that is expanded into a list of header names;
+This option specifies a list of header names, colon-separated;
  these headers are omitted from the message as it is transported, as described
  in section &<<SECTheadersaddrem>>&. Header removal can also be specified by
  these headers are omitted from the message as it is transported, as described
  in section &<<SECTheadersaddrem>>&. Header removal can also be specified by
-routers. If the result of the expansion is an empty string, or if the expansion
+routers.
+Each list item is separately expanded.
+If the result of the expansion is an empty string, or if the expansion
  is forced to fail, no action is taken. Other expansion failures are treated as
  errors and cause the delivery to be deferred.
  
  Unlike most options, &%headers_remove%& can be specified multiple times
  is forced to fail, no action is taken. Other expansion failures are treated as
  errors and cause the delivery to be deferred.
  
  Unlike most options, &%headers_remove%& can be specified multiple times
-for a router; all listed headers are added.
+for a router; all listed headers are removed.
  
  
  
  
  
  
@@ -22478,6 +22608,33 @@ See the &%search_parents%& option in chapter &<<CHAPdnslookup>>& for more
  details.
  
  
  details.
  
  
+.new
+.option dnssec_request_domains smtp "domain list&!!" unset
+.cindex "MX record" "security"
+.cindex "DNSSEC" "MX lookup"
+.cindex "security" "MX lookup"
+.cindex "DNS" "DNSSEC"
+DNS lookups for domains matching &%dnssec_request_domains%& will be done with
+the dnssec request bit set.
+This applies to all of the SRV, MX A6, AAAA, A lookup sequence.
+.wen
+
+
+
+.new
+.option dnssec_require_domains smtp "domain list&!!" unset
+.cindex "MX record" "security"
+.cindex "DNSSEC" "MX lookup"
+.cindex "security" "MX lookup"
+.cindex "DNS" "DNSSEC"
+DNS lookups for domains matching &%dnssec_request_domains%& will be done with
+the dnssec request bit set.  Any returns not having the Authenticated Data bit
+(AD bit) set wil be ignored and logged as a host-lookup failure.
+This applies to all of the SRV, MX A6, AAAA, A lookup sequence.
+.wen
+
+
+
  .option dscp smtp string&!! unset
  .cindex "DCSP" "outbound"
  This option causes the DSCP value associated with a socket to be set to one
  .option dscp smtp string&!! unset
  .cindex "DCSP" "outbound"
  This option causes the DSCP value associated with a socket to be set to one
@@ -22965,6 +23122,14 @@ unknown state), opens a new one to the same host, and then tries the delivery
  in clear.
  
  
  in clear.
  
  
+.option tls_try_verify_hosts smtp "host list&!! unset
+.cindex "TLS" "server certificate verification"
+.cindex "certificate" "verification of server"
+This option gives a list of hosts for which, on encrypted connections,
+certificate verification will be tried but need not succeed.
+The &%tls_verify_certificates%& option must also be set.
+
+
  .option tls_verify_certificates smtp string&!! unset
  .cindex "TLS" "server certificate verification"
  .cindex "certificate" "verification of server"
  .option tls_verify_certificates smtp string&!! unset
  .cindex "TLS" "server certificate verification"
  .cindex "certificate" "verification of server"
@@ -22979,6 +23144,20 @@ single file if you are using GnuTLS. The values of &$host$& and
  &$host_address$& are set to the name and address of the server during the
  expansion of this option. See chapter &<<CHAPTLS>>& for details of TLS.
  
  &$host_address$& are set to the name and address of the server during the
  expansion of this option. See chapter &<<CHAPTLS>>& for details of TLS.
  
+For back-compatability,
+if neither tls_verify_hosts nor tls_try_verify_hosts are set
+and certificate verification fails the TLS connection is closed.
+
+
+.option tls_verify_hosts smtp "host list&!! unset
+.cindex "TLS" "server certificate verification"
+.cindex "certificate" "verification of server"
+This option gives a list of hosts for which. on encrypted connections,
+certificate verification must succeed.
+The &%tls_verify_certificates%& option must also be set.
+If both this option and &%tls_try_verify_hosts%& are unset
+operation is as if this option selected all hosts.
+
  
  
  
  
  
  
@@ -25880,6 +26059,12 @@ for OpenSSL only (not GnuTLS), a directory, that contains a collection of
  expected server certificates. The client verifies the server's certificate
  against this collection, taking into account any revoked certificates that are
  in the list defined by &%tls_crl%&.
  expected server certificates. The client verifies the server's certificate
  against this collection, taking into account any revoked certificates that are
  in the list defined by &%tls_crl%&.
+Failure to verify fails the TLS connection unless either of the
+&%tls_verify_hosts%& or &%tls_try_verify_hosts%& options are set.
+
+The &%tls_verify_hosts%& and &%tls_try_verify_hosts%& options restrict
+certificate verification to the listed servers.  Verification either must
+or need not succeed respectively.
  
  If
  &%tls_require_ciphers%& is set on the &(smtp)& transport, it must contain a
  
  If
  &%tls_require_ciphers%& is set on the &(smtp)& transport, it must contain a
@@ -27239,7 +27424,16 @@ It is usable in the RCPT ACL and valid only for single-recipient mails forwarded
  from one SMTP connection to another.  If a recipient-verify callout connection is
  requested in the same ACL it is held open and used for the data, otherwise one is made
  after the ACL completes.
  from one SMTP connection to another.  If a recipient-verify callout connection is
  requested in the same ACL it is held open and used for the data, otherwise one is made
  after the ACL completes.
-Note that routers are used in verify mode.
+
+Note that routers are used in verify mode,
+and cannot depend on content of received headers.
+Note also that headers cannot be
+modified by any of the post-data ACLs (DATA, MIME and DKIM).
+Headers may be modified by routers (subject to the above) and transports.
+
+Cutthrough delivery is not supported via transport-filters or when DKIM signing
+of outgoing messages is done, because it sends data to the ultimate destination
+before the entire message has been received from the source.
  
  Should the ultimate destination system positively accept or reject the mail,
  a corresponding indication is given to the source system and nothing is queued.
  
  Should the ultimate destination system positively accept or reject the mail,
  a corresponding indication is given to the source system and nothing is queued.
@@ -27493,12 +27687,15 @@ warn dnslists = sbl.spamhaus.org : \
       add_header = X-blacklisted-at: $dnslist_domain
  .endd
  The &%add_header%& modifier is permitted in the MAIL, RCPT, PREDATA, DATA,
       add_header = X-blacklisted-at: $dnslist_domain
  .endd
  The &%add_header%& modifier is permitted in the MAIL, RCPT, PREDATA, DATA,
-MIME, and non-SMTP ACLs (in other words, those that are concerned with
+MIME, DKIM, and non-SMTP ACLs (in other words, those that are concerned with
  receiving a message). The message must ultimately be accepted for
  &%add_header%& to have any significant effect. You can use &%add_header%& with
  any ACL verb, including &%deny%& (though this is potentially useful only in a
  RCPT ACL).
  
  receiving a message). The message must ultimately be accepted for
  &%add_header%& to have any significant effect. You can use &%add_header%& with
  any ACL verb, including &%deny%& (though this is potentially useful only in a
  RCPT ACL).
  
+Headers will not be added to the message if the modifier is used in
+DATA, MIME or DKIM ACLs for messages delivered by cutthrough routing.
+
  Leading and trailing newlines are removed from
  the data for the &%add_header%& modifier; if it then
  contains one or more newlines that
  Leading and trailing newlines are removed from
  the data for the &%add_header%& modifier; if it then
  contains one or more newlines that
@@ -27592,12 +27789,15 @@ warn   message        = Remove internal headers
         remove_header  = x-route-mail1 : x-route-mail2
  .endd
  The &%remove_header%& modifier is permitted in the MAIL, RCPT, PREDATA, DATA,
         remove_header  = x-route-mail1 : x-route-mail2
  .endd
  The &%remove_header%& modifier is permitted in the MAIL, RCPT, PREDATA, DATA,
-MIME, and non-SMTP ACLs (in other words, those that are concerned with
+MIME, DKIM, and non-SMTP ACLs (in other words, those that are concerned with
  receiving a message). The message must ultimately be accepted for
  &%remove_header%& to have any significant effect. You can use &%remove_header%&
  with any ACL verb, including &%deny%&, though this is really not useful for
  any verb that doesn't result in a delivered message.
  
  receiving a message). The message must ultimately be accepted for
  &%remove_header%& to have any significant effect. You can use &%remove_header%&
  with any ACL verb, including &%deny%&, though this is really not useful for
  any verb that doesn't result in a delivered message.
  
+Headers will not be removed to the message if the modifier is used in
+DATA, MIME or DKIM ACLs for messages delivered by cutthrough routing.
+
  More than one header can be removed at the same time by using a colon separated
  list of header names. The header matching is case insensitive. Wildcards are
  not permitted, nor is list expansion performed, so you cannot use hostlists to
  More than one header can be removed at the same time by using a colon separated
  list of header names. The header matching is case insensitive. Wildcards are
  not permitted, nor is list expansion performed, so you cannot use hostlists to
@@ -27918,6 +28118,23 @@ This condition checks whether the sending host (the client) is authorized to
  send email. Details of how this works are given in section
  &<<SECTverifyCSA>>&.
  
  send email. Details of how this works are given in section
  &<<SECTverifyCSA>>&.
  
+.new
+.vitem &*verify&~=&~header_names_ascii*&
+.cindex "&%verify%& ACL condition"
+.cindex "&ACL;" "verifying header names only ASCII"
+.cindex "header lines" "verifying header names only ASCII"
+.cindex "verifying" "header names only ASCII"
+This condition is relevant only in an ACL that is run after a message has been
+received, that is, in an ACL specified by &%acl_smtp_data%& or
+&%acl_not_smtp%&.  It checks all header names (not the content) to make sure
+there are no non-ASCII characters, also excluding control characters.  The
+allowable characters are decimal ASCII values 33 through 126.
+
+Exim itself will handle headers with non-ASCII characters, but it can cause
+problems for downstream applications, so this option will allow their
+detection and rejection in the DATA ACL's.
+.wen
+
  .vitem &*verify&~=&~header_sender/*&<&'options'&>
  .cindex "&%verify%& ACL condition"
  .cindex "&ACL;" "verifying sender in the header"
  .vitem &*verify&~=&~header_sender/*&<&'options'&>
  .cindex "&%verify%& ACL condition"
  .cindex "&ACL;" "verifying sender in the header"
@@ -28529,6 +28746,13 @@ deny   condition = ${if isip4{$sender_host_address}}
         dnslists  = some.list.example
  .endd
  
         dnslists  = some.list.example
  .endd
  
+If an explicit key is being used for a DNS lookup and it may be an IPv6
+address you should specify alternate list separators for both the outer
+(DNS list name) list and inner (lookup keys) list:
+.code
+       dnslists = <; dnsbl.example.com/<|$acl_m_addrslist
+.endd
+
  .section "Rate limiting incoming messages" "SECTratelimiting"
  .cindex "rate limiting" "client sending"
  .cindex "limiting client sending rates"
  .section "Rate limiting incoming messages" "SECTratelimiting"
  .cindex "rate limiting" "client sending"
  .cindex "limiting client sending rates"
@@ -28910,6 +29134,7 @@ router that does not set up hosts routes to an &(smtp)& transport with a
  &%hosts%& setting, the transport's hosts are used. If an &(smtp)& transport has
  &%hosts_override%& set, its hosts are always used, whether or not the router
  supplies a host list.
  &%hosts%& setting, the transport's hosts are used. If an &(smtp)& transport has
  &%hosts_override%& set, its hosts are always used, whether or not the router
  supplies a host list.
+Callouts are only supported on &(smtp)& transports.
  
  The port that is used is taken from the transport, if it is specified and is a
  remote transport. (For routers that do verification only, no transport need be
  
  The port that is used is taken from the transport, if it is specified and is a
  remote transport. (For routers that do verification only, no transport need be
@@ -29713,6 +29938,24 @@ av_scanner = mksd:2
  .endd
  You can safely omit this option (the default value is 1).
  
  .endd
  You can safely omit this option (the default value is 1).
  
+.vitem &%sock%&
+.cindex "virus scanners" "simple socket-connected"
+This is a general-purpose way of talking to simple scanner daemons
+running on the local machine.
+There are four options:
+an address (which may be an IP addres and port, or the path of a Unix socket),
+a commandline to send (may include a single %s which will be replaced with
+the path to the mail file to be scanned),
+an RE to trigger on from the returned data,
+an RE to extract malware_name from the returned data.
+For example:
+.code
+av_scanner = sock:127.0.0.1 6001:%s:(SPAM|VIRUS):(.*)\$
+.endd
+Default for the socket specifier is &_/tmp/malware.sock_&.
+Default for the commandline is &_%s\n_&.
+Both regular-expressions are required.
+
  .vitem &%sophie%&
  .cindex "virus scanners" "Sophos and Sophie"
  Sophie is a daemon that uses Sophos' &%libsavi%& library to scan for viruses.
  .vitem &%sophie%&
  .cindex "virus scanners" "Sophos and Sophie"
  Sophie is a daemon that uses Sophos' &%libsavi%& library to scan for viruses.
@@ -31835,7 +32078,7 @@ they do not affect the values of the variables that refer to header lines.
  the transport cannot refer to the modified header lines, because such
  expansions all occur before the message is actually transported.
  
  the transport cannot refer to the modified header lines, because such
  expansions all occur before the message is actually transported.
  
-For both routers and transports, the result of expanding a &%headers_add%&
+For both routers and transports, the argument of a &%headers_add%&
  option must be in the form of one or more RFC 2822 header lines, separated by
  newlines (coded as &"\n"&). For example:
  .code
  option must be in the form of one or more RFC 2822 header lines, separated by
  newlines (coded as &"\n"&). For example:
  .code
@@ -31845,10 +32088,10 @@ headers_add = X-added-header: added by $primary_hostname\n\
  Exim does not check the syntax of these added header lines.
  
  Multiple &%headers_add%& options for a single router or transport can be
  Exim does not check the syntax of these added header lines.
  
  Multiple &%headers_add%& options for a single router or transport can be
-specified; the values will be concatenated (with a separating newline
-added) before expansion.
+specified; the values will append to a single list of header lines.
+Each header-line is separately expanded.
  
  
-The result of expanding &%headers_remove%& must consist of a colon-separated
+The argument of a &%headers_remove%& option must consist of a colon-separated
  list of header names. This is confusing, because header names themselves are
  often terminated by colons. In this case, the colons are the list separators,
  not part of the names. For example:
  list of header names. This is confusing, because header names themselves are
  often terminated by colons. In this case, the colons are the list separators,
  not part of the names. For example:
@@ -31857,11 +32100,12 @@ headers_remove = return-receipt-to:acknowledge-to
  .endd
  
  Multiple &%headers_remove%& options for a single router or transport can be
  .endd
  
  Multiple &%headers_remove%& options for a single router or transport can be
-specified; the values will be concatenated (with a separating colon
-added) before expansion.
+specified; the arguments will append to a single header-names list.
+Each item is separately expanded.
  
  
-When &%headers_add%& or &%headers_remove%& is specified on a router, its value
-is expanded at routing time, and then associated with all addresses that are
+When &%headers_add%& or &%headers_remove%& is specified on a router,
+items are expanded at routing time,
+and then associated with all addresses that are
  accepted by that router, and also with any new addresses that it generates. If
  an address passes through several routers as a result of aliasing or
  forwarding, the changes are cumulative.
  accepted by that router, and also with any new addresses that it generates. If
  an address passes through several routers as a result of aliasing or
  forwarding, the changes are cumulative.
@@ -33959,6 +34203,7 @@ the following table:
  &`R   `&        on &`<=`& lines: reference for local bounce
  &`    `&        on &`=>`&  &`**`& and &`==`& lines: router name
  &`S   `&        size of message
  &`R   `&        on &`<=`& lines: reference for local bounce
  &`    `&        on &`=>`&  &`**`& and &`==`& lines: router name
  &`S   `&        size of message
+&`SNI `&        server name indication from TLS client hello
  &`ST  `&        shadow transport name
  &`T   `&        on &`<=`& lines: message subject (topic)
  &`    `&        on &`=>`& &`**`& and &`==`& lines: transport name
  &`ST  `&        shadow transport name
  &`T   `&        on &`<=`& lines: message subject (topic)
  &`    `&        on &`=>`& &`**`& and &`==`& lines: transport name
@@ -34268,7 +34513,8 @@ The message that is written is &"spool file is locked"&.
  .next
  .cindex "log" "smtp confirmation"
  .cindex "SMTP" "logging confirmation"
  .next
  .cindex "log" "smtp confirmation"
  .cindex "SMTP" "logging confirmation"
-&%smtp_confirmation%&: The response to the final &"."& in the SMTP dialogue for
+.cindex "LMTP" "logging confirmation"
+&%smtp_confirmation%&: The response to the final &"."& in the SMTP or LMTP dialogue for
  outgoing messages is added to delivery log lines in the form &`C=`&<&'text'&>.
  A number of MTAs (including Exim) return an identifying string in this
  response.
  outgoing messages is added to delivery log lines in the form &`C=`&<&'text'&>.
  A number of MTAs (including Exim) return an identifying string in this
  response.
@@ -34497,9 +34743,17 @@ This utility is a Perl script contributed by Matt Hubbard. It runs
  .code
  exim -bpu
  .endd
  .code
  exim -bpu
  .endd
-to obtain a queue listing with undelivered recipients only, and then greps the
-output to select messages that match given criteria. The following selection
-options are available:
+or (in case &*-a*& switch is specified)
+.code
+exim -bp
+.endd
+.new
+The &*-C*& option is used to specify an alternate &_exim.conf_& which might
+contain alternate exim configuration the queue management might be using.
+.wen
+
+to obtain a queue listing, and then greps the output to select messages 
+that match given criteria. The following selection options are available:
  
  .vlist
  .vitem &*-f*&&~<&'regex'&>
  
  .vlist
  .vitem &*-f*&&~<&'regex'&>
@@ -34546,6 +34800,9 @@ Brief format &-- one line per message.
  
  .vitem &*-R*&
  Display messages in reverse order.
  
  .vitem &*-R*&
  Display messages in reverse order.
+
+.vitem &*-a*&
+Include delivered recipients in queue listing.
  .endlist
  
  There is one more option, &%-h%&, which outputs a list of options.
  .endlist
  
  There is one more option, &%-h%&, which outputs a list of options.
@@ -36285,7 +36542,9 @@ disabled by setting DISABLE_DKIM=yes in Local/Makefile.
  Exim's DKIM implementation allows to
  .olist
  Sign outgoing messages: This function is implemented in the SMTP transport.
  Exim's DKIM implementation allows to
  .olist
  Sign outgoing messages: This function is implemented in the SMTP transport.
-It can co-exist with all other Exim features, including transport filters.
+It can co-exist with all other Exim features
+(including transport filters)
+except cutthrough delivery.
  .next
  Verify signatures in incoming messages: This is implemented by an additional
  ACL (acl_smtp_dkim), which can be called several times per message, with
  .next
  Verify signatures in incoming messages: This is implemented by an additional
  ACL (acl_smtp_dkim), which can be called several times per message, with
@@ -36376,6 +36635,10 @@ used.
  Verification of DKIM signatures in incoming email is implemented via the
  &%acl_smtp_dkim%& ACL. By default, this ACL is called once for each
  syntactically(!) correct signature in the incoming message.
  Verification of DKIM signatures in incoming email is implemented via the
  &%acl_smtp_dkim%& ACL. By default, this ACL is called once for each
  syntactically(!) correct signature in the incoming message.
+A missing ACL definition defaults to accept.
+If any ACL call does not acccept, the message is not accepted.
+If a cutthrough delivery was in progress for the message it is
+summarily dropped (having wasted the transmission effort).
  
  To evaluate the signature in the ACL a large number of expansion variables
  containing the signature status and its details are set up during the
  
  To evaluate the signature in the ACL a large number of expansion variables
  containing the signature status and its details are set up during the