When trying spooled messages, account for the local-interface in grouping for a conne...
[exim.git] / src / src / transports / smtp.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2014 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 #include "../exim.h"
9 #include "smtp.h"
10
11 #define PENDING          256
12 #define PENDING_DEFER   (PENDING + DEFER)
13 #define PENDING_OK      (PENDING + OK)
14
15
16 /* Options specific to the smtp transport. This transport also supports LMTP
17 over TCP/IP. The options must be in alphabetic order (note that "_" comes
18 before the lower case letters). Some live in the transport_instance block so as
19 to be publicly visible; these are flagged with opt_public. */
20
21 optionlist smtp_transport_options[] = {
22   { "*expand_multi_domain",             opt_stringptr | opt_hidden | opt_public,
23       (void *)offsetof(transport_instance, expand_multi_domain) },
24   { "*expand_retry_include_ip_address", opt_stringptr | opt_hidden,
25        (void *)(offsetof(smtp_transport_options_block, expand_retry_include_ip_address)) },
26
27   { "address_retry_include_sender", opt_bool,
28       (void *)offsetof(smtp_transport_options_block, address_retry_include_sender) },
29   { "allow_localhost",      opt_bool,
30       (void *)offsetof(smtp_transport_options_block, allow_localhost) },
31   { "authenticated_sender", opt_stringptr,
32       (void *)offsetof(smtp_transport_options_block, authenticated_sender) },
33   { "authenticated_sender_force", opt_bool,
34       (void *)offsetof(smtp_transport_options_block, authenticated_sender_force) },
35   { "command_timeout",      opt_time,
36       (void *)offsetof(smtp_transport_options_block, command_timeout) },
37   { "connect_timeout",      opt_time,
38       (void *)offsetof(smtp_transport_options_block, connect_timeout) },
39   { "connection_max_messages", opt_int | opt_public,
40       (void *)offsetof(transport_instance, connection_max_messages) },
41   { "data_timeout",         opt_time,
42       (void *)offsetof(smtp_transport_options_block, data_timeout) },
43   { "delay_after_cutoff", opt_bool,
44       (void *)offsetof(smtp_transport_options_block, delay_after_cutoff) },
45 #ifndef DISABLE_DKIM
46   { "dkim_canon", opt_stringptr,
47       (void *)offsetof(smtp_transport_options_block, dkim_canon) },
48   { "dkim_domain", opt_stringptr,
49       (void *)offsetof(smtp_transport_options_block, dkim_domain) },
50   { "dkim_private_key", opt_stringptr,
51       (void *)offsetof(smtp_transport_options_block, dkim_private_key) },
52   { "dkim_selector", opt_stringptr,
53       (void *)offsetof(smtp_transport_options_block, dkim_selector) },
54   { "dkim_sign_headers", opt_stringptr,
55       (void *)offsetof(smtp_transport_options_block, dkim_sign_headers) },
56   { "dkim_strict", opt_stringptr,
57       (void *)offsetof(smtp_transport_options_block, dkim_strict) },
58 #endif
59   { "dns_qualify_single",   opt_bool,
60       (void *)offsetof(smtp_transport_options_block, dns_qualify_single) },
61   { "dns_search_parents",   opt_bool,
62       (void *)offsetof(smtp_transport_options_block, dns_search_parents) },
63   { "dnssec_request_domains", opt_stringptr,
64       (void *)offsetof(smtp_transport_options_block, dnssec_request_domains) },
65   { "dnssec_require_domains", opt_stringptr,
66       (void *)offsetof(smtp_transport_options_block, dnssec_require_domains) },
67   { "dscp",                 opt_stringptr,
68       (void *)offsetof(smtp_transport_options_block, dscp) },
69   { "fallback_hosts",       opt_stringptr,
70       (void *)offsetof(smtp_transport_options_block, fallback_hosts) },
71   { "final_timeout",        opt_time,
72       (void *)offsetof(smtp_transport_options_block, final_timeout) },
73   { "gethostbyname",        opt_bool,
74       (void *)offsetof(smtp_transport_options_block, gethostbyname) },
75 #ifdef SUPPORT_TLS
76   /* These are no longer honoured, as of Exim 4.80; for now, we silently
77   ignore; 4.83 will warn, and a later-still release will remove
78   these options, so that using them becomes an error. */
79   { "gnutls_require_kx",    opt_stringptr,
80       (void *)offsetof(smtp_transport_options_block, gnutls_require_kx) },
81   { "gnutls_require_mac",   opt_stringptr,
82       (void *)offsetof(smtp_transport_options_block, gnutls_require_mac) },
83   { "gnutls_require_protocols", opt_stringptr,
84       (void *)offsetof(smtp_transport_options_block, gnutls_require_proto) },
85 #endif
86   { "helo_data",            opt_stringptr,
87       (void *)offsetof(smtp_transport_options_block, helo_data) },
88   { "hosts",                opt_stringptr,
89       (void *)offsetof(smtp_transport_options_block, hosts) },
90   { "hosts_avoid_esmtp",    opt_stringptr,
91       (void *)offsetof(smtp_transport_options_block, hosts_avoid_esmtp) },
92   { "hosts_avoid_pipelining", opt_stringptr,
93       (void *)offsetof(smtp_transport_options_block, hosts_avoid_pipelining) },
94 #ifdef SUPPORT_TLS
95   { "hosts_avoid_tls",      opt_stringptr,
96       (void *)offsetof(smtp_transport_options_block, hosts_avoid_tls) },
97 #endif
98   { "hosts_max_try",        opt_int,
99       (void *)offsetof(smtp_transport_options_block, hosts_max_try) },
100   { "hosts_max_try_hardlimit", opt_int,
101       (void *)offsetof(smtp_transport_options_block, hosts_max_try_hardlimit) },
102 #ifdef SUPPORT_TLS
103   { "hosts_nopass_tls",     opt_stringptr,
104       (void *)offsetof(smtp_transport_options_block, hosts_nopass_tls) },
105 #endif
106   { "hosts_override",       opt_bool,
107       (void *)offsetof(smtp_transport_options_block, hosts_override) },
108   { "hosts_randomize",      opt_bool,
109       (void *)offsetof(smtp_transport_options_block, hosts_randomize) },
110 #if defined(SUPPORT_TLS) && !defined(DISABLE_OCSP)
111   { "hosts_request_ocsp",   opt_stringptr,
112       (void *)offsetof(smtp_transport_options_block, hosts_request_ocsp) },
113 #endif
114   { "hosts_require_auth",   opt_stringptr,
115       (void *)offsetof(smtp_transport_options_block, hosts_require_auth) },
116 #ifdef SUPPORT_TLS
117 # ifdef EXPERIMENTAL_DANE
118   { "hosts_require_dane",   opt_stringptr,
119       (void *)offsetof(smtp_transport_options_block, hosts_require_dane) },
120 # endif
121 # ifndef DISABLE_OCSP
122   { "hosts_require_ocsp",   opt_stringptr,
123       (void *)offsetof(smtp_transport_options_block, hosts_require_ocsp) },
124 # endif
125   { "hosts_require_tls",    opt_stringptr,
126       (void *)offsetof(smtp_transport_options_block, hosts_require_tls) },
127 #endif
128   { "hosts_try_auth",       opt_stringptr,
129       (void *)offsetof(smtp_transport_options_block, hosts_try_auth) },
130 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_DANE)
131   { "hosts_try_dane",       opt_stringptr,
132       (void *)offsetof(smtp_transport_options_block, hosts_try_dane) },
133 #endif
134 #ifndef DISABLE_PRDR
135   { "hosts_try_prdr",       opt_stringptr,
136       (void *)offsetof(smtp_transport_options_block, hosts_try_prdr) },
137 #endif
138 #ifdef SUPPORT_TLS
139   { "hosts_verify_avoid_tls", opt_stringptr,
140       (void *)offsetof(smtp_transport_options_block, hosts_verify_avoid_tls) },
141 #endif
142   { "interface",            opt_stringptr,
143       (void *)offsetof(smtp_transport_options_block, interface) },
144   { "keepalive",            opt_bool,
145       (void *)offsetof(smtp_transport_options_block, keepalive) },
146   { "lmtp_ignore_quota",    opt_bool,
147       (void *)offsetof(smtp_transport_options_block, lmtp_ignore_quota) },
148   { "max_rcpt",             opt_int | opt_public,
149       (void *)offsetof(transport_instance, max_addresses) },
150   { "multi_domain",         opt_expand_bool | opt_public,
151       (void *)offsetof(transport_instance, multi_domain) },
152   { "port",                 opt_stringptr,
153       (void *)offsetof(smtp_transport_options_block, port) },
154   { "protocol",             opt_stringptr,
155       (void *)offsetof(smtp_transport_options_block, protocol) },
156   { "retry_include_ip_address", opt_expand_bool,
157       (void *)offsetof(smtp_transport_options_block, retry_include_ip_address) },
158   { "serialize_hosts",      opt_stringptr,
159       (void *)offsetof(smtp_transport_options_block, serialize_hosts) },
160   { "size_addition",        opt_int,
161       (void *)offsetof(smtp_transport_options_block, size_addition) }
162 #ifdef EXPERIMENTAL_SOCKS
163  ,{ "socks_proxy",          opt_stringptr,
164       (void *)offsetof(smtp_transport_options_block, socks_proxy) }
165 #endif
166 #ifdef SUPPORT_TLS
167  ,{ "tls_certificate",      opt_stringptr,
168       (void *)offsetof(smtp_transport_options_block, tls_certificate) },
169   { "tls_crl",              opt_stringptr,
170       (void *)offsetof(smtp_transport_options_block, tls_crl) },
171   { "tls_dh_min_bits",      opt_int,
172       (void *)offsetof(smtp_transport_options_block, tls_dh_min_bits) },
173   { "tls_privatekey",       opt_stringptr,
174       (void *)offsetof(smtp_transport_options_block, tls_privatekey) },
175   { "tls_require_ciphers",  opt_stringptr,
176       (void *)offsetof(smtp_transport_options_block, tls_require_ciphers) },
177   { "tls_sni",              opt_stringptr,
178       (void *)offsetof(smtp_transport_options_block, tls_sni) },
179   { "tls_tempfail_tryclear", opt_bool,
180       (void *)offsetof(smtp_transport_options_block, tls_tempfail_tryclear) },
181   { "tls_try_verify_hosts", opt_stringptr,
182       (void *)offsetof(smtp_transport_options_block, tls_try_verify_hosts) },
183   { "tls_verify_cert_hostnames", opt_stringptr,
184       (void *)offsetof(smtp_transport_options_block,tls_verify_cert_hostnames)},
185   { "tls_verify_certificates", opt_stringptr,
186       (void *)offsetof(smtp_transport_options_block, tls_verify_certificates) },
187   { "tls_verify_hosts",     opt_stringptr,
188       (void *)offsetof(smtp_transport_options_block, tls_verify_hosts) }
189 #endif
190 };
191
192 /* Size of the options list. An extern variable has to be used so that its
193 address can appear in the tables drtables.c. */
194
195 int smtp_transport_options_count =
196   sizeof(smtp_transport_options)/sizeof(optionlist);
197
198 /* Default private options block for the smtp transport. */
199
200 smtp_transport_options_block smtp_transport_option_defaults = {
201   NULL,                /* hosts */
202   NULL,                /* fallback_hosts */
203   NULL,                /* hostlist */
204   NULL,                /* fallback_hostlist */
205   NULL,                /* authenticated_sender */
206   US"$primary_hostname", /* helo_data */
207   NULL,                /* interface */
208   NULL,                /* port */
209   US"smtp",            /* protocol */
210   NULL,                /* DSCP */
211   NULL,                /* serialize_hosts */
212   NULL,                /* hosts_try_auth */
213   NULL,                /* hosts_require_auth */
214 #ifdef EXPERIMENTAL_DANE
215   NULL,                /* hosts_try_dane */
216   NULL,                /* hosts_require_dane */
217 #endif
218 #ifndef DISABLE_PRDR
219   US"*",                /* hosts_try_prdr */
220 #endif
221 #ifndef DISABLE_OCSP
222   US"*",               /* hosts_request_ocsp (except under DANE; tls_client_start()) */
223   NULL,                /* hosts_require_ocsp */
224 #endif
225   NULL,                /* hosts_require_tls */
226   NULL,                /* hosts_avoid_tls */
227   US"*",               /* hosts_verify_avoid_tls */
228   NULL,                /* hosts_avoid_pipelining */
229   NULL,                /* hosts_avoid_esmtp */
230   NULL,                /* hosts_nopass_tls */
231   5*60,                /* command_timeout */
232   5*60,                /* connect_timeout; shorter system default overrides */
233   5*60,                /* data timeout */
234   10*60,               /* final timeout */
235   1024,                /* size_addition */
236   5,                   /* hosts_max_try */
237   50,                  /* hosts_max_try_hardlimit */
238   TRUE,                /* address_retry_include_sender */
239   FALSE,               /* allow_localhost */
240   FALSE,               /* authenticated_sender_force */
241   FALSE,               /* gethostbyname */
242   TRUE,                /* dns_qualify_single */
243   FALSE,               /* dns_search_parents */
244   NULL,                /* dnssec_request_domains */
245   NULL,                /* dnssec_require_domains */
246   TRUE,                /* delay_after_cutoff */
247   FALSE,               /* hosts_override */
248   FALSE,               /* hosts_randomize */
249   TRUE,                /* keepalive */
250   FALSE,               /* lmtp_ignore_quota */
251   NULL,                /* expand_retry_include_ip_address */
252   TRUE                 /* retry_include_ip_address */
253 #ifdef EXPERIMENTAL_SOCKS
254 #endif
255  ,NULL                 /* socks_proxy */
256 #ifdef SUPPORT_TLS
257  ,NULL,                /* tls_certificate */
258   NULL,                /* tls_crl */
259   NULL,                /* tls_privatekey */
260   NULL,                /* tls_require_ciphers */
261   NULL,                /* gnutls_require_kx */
262   NULL,                /* gnutls_require_mac */
263   NULL,                /* gnutls_require_proto */
264   NULL,                /* tls_sni */
265   US"system",          /* tls_verify_certificates */
266   EXIM_CLIENT_DH_DEFAULT_MIN_BITS,
267                        /* tls_dh_min_bits */
268   TRUE,                /* tls_tempfail_tryclear */
269   NULL,                /* tls_verify_hosts */
270   US"*",               /* tls_try_verify_hosts */
271   US"*"                /* tls_verify_cert_hostnames */
272 #endif
273 #ifndef DISABLE_DKIM
274  ,NULL,                /* dkim_canon */
275   NULL,                /* dkim_domain */
276   NULL,                /* dkim_private_key */
277   NULL,                /* dkim_selector */
278   NULL,                /* dkim_sign_headers */
279   NULL                 /* dkim_strict */
280 #endif
281 };
282
283 /* some DSN flags for use later */
284
285 static int     rf_list[] = {rf_notify_never, rf_notify_success,
286                             rf_notify_failure, rf_notify_delay };
287
288 static uschar *rf_names[] = { US"NEVER", US"SUCCESS", US"FAILURE", US"DELAY" };
289
290
291
292 /* Local statics */
293
294 static uschar *smtp_command;   /* Points to last cmd for error messages */
295 static uschar *mail_command;   /* Points to MAIL cmd for error messages */
296 static BOOL    update_waiting; /* TRUE to update the "wait" database */
297
298
299 /*************************************************
300 *             Setup entry point                  *
301 *************************************************/
302
303 /* This function is called when the transport is about to be used,
304 but before running it in a sub-process. It is used for two things:
305
306   (1) To set the fallback host list in addresses, when delivering.
307   (2) To pass back the interface, port, protocol, and other options, for use
308       during callout verification.
309
310 Arguments:
311   tblock    pointer to the transport instance block
312   addrlist  list of addresses about to be transported
313   tf        if not NULL, pointer to block in which to return options
314   uid       the uid that will be set (not used)
315   gid       the gid that will be set (not used)
316   errmsg    place for error message (not used)
317
318 Returns:  OK always (FAIL, DEFER not used)
319 */
320
321 static int
322 smtp_transport_setup(transport_instance *tblock, address_item *addrlist,
323   transport_feedback *tf, uid_t uid, gid_t gid, uschar **errmsg)
324 {
325 smtp_transport_options_block *ob =
326   (smtp_transport_options_block *)(tblock->options_block);
327
328 errmsg = errmsg;    /* Keep picky compilers happy */
329 uid = uid;
330 gid = gid;
331
332 /* Pass back options if required. This interface is getting very messy. */
333
334 if (tf != NULL)
335   {
336   tf->interface = ob->interface;
337   tf->port = ob->port;
338   tf->protocol = ob->protocol;
339   tf->hosts = ob->hosts;
340   tf->hosts_override = ob->hosts_override;
341   tf->hosts_randomize = ob->hosts_randomize;
342   tf->gethostbyname = ob->gethostbyname;
343   tf->qualify_single = ob->dns_qualify_single;
344   tf->search_parents = ob->dns_search_parents;
345   tf->helo_data = ob->helo_data;
346   }
347
348 /* Set the fallback host list for all the addresses that don't have fallback
349 host lists, provided that the local host wasn't present in the original host
350 list. */
351
352 if (!testflag(addrlist, af_local_host_removed))
353   {
354   for (; addrlist != NULL; addrlist = addrlist->next)
355     if (addrlist->fallback_hosts == NULL)
356       addrlist->fallback_hosts = ob->fallback_hostlist;
357   }
358
359 return OK;
360 }
361
362
363
364 /*************************************************
365 *          Initialization entry point            *
366 *************************************************/
367
368 /* Called for each instance, after its options have been read, to
369 enable consistency checks to be done, or anything else that needs
370 to be set up.
371
372 Argument:   pointer to the transport instance block
373 Returns:    nothing
374 */
375
376 void
377 smtp_transport_init(transport_instance *tblock)
378 {
379 smtp_transport_options_block *ob =
380   (smtp_transport_options_block *)(tblock->options_block);
381
382 /* Retry_use_local_part defaults FALSE if unset */
383
384 if (tblock->retry_use_local_part == TRUE_UNSET)
385   tblock->retry_use_local_part = FALSE;
386
387 /* Set the default port according to the protocol */
388
389 if (ob->port == NULL)
390   ob->port = (strcmpic(ob->protocol, US"lmtp") == 0)? US"lmtp" :
391     (strcmpic(ob->protocol, US"smtps") == 0)? US"smtps" : US"smtp";
392
393 /* Set up the setup entry point, to be called before subprocesses for this
394 transport. */
395
396 tblock->setup = smtp_transport_setup;
397
398 /* Complain if any of the timeouts are zero. */
399
400 if (ob->command_timeout <= 0 || ob->data_timeout <= 0 ||
401     ob->final_timeout <= 0)
402   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
403     "command, data, or final timeout value is zero for %s transport",
404       tblock->name);
405
406 /* If hosts_override is set and there are local hosts, set the global
407 flag that stops verify from showing router hosts. */
408
409 if (ob->hosts_override && ob->hosts != NULL) tblock->overrides_hosts = TRUE;
410
411 /* If there are any fallback hosts listed, build a chain of host items
412 for them, but do not do any lookups at this time. */
413
414 host_build_hostlist(&(ob->fallback_hostlist), ob->fallback_hosts, FALSE);
415
416 #ifdef SUPPORT_TLS
417 if (  ob->gnutls_require_kx
418    || ob->gnutls_require_mac
419    || ob->gnutls_require_proto)
420   log_write(0, LOG_MAIN, "WARNING: smtp transport options"
421     " gnutls_require_kx, gnutls_require_mac and gnutls_require_protocols"
422     " are obsolete\n");
423 #endif
424 }
425
426
427
428
429
430 /*************************************************
431 *   Set delivery info into all active addresses  *
432 *************************************************/
433
434 /* Only addresses whose status is >= PENDING are relevant. A lesser
435 status means that an address is not currently being processed.
436
437 Arguments:
438   addrlist       points to a chain of addresses
439   errno_value    to put in each address's errno field
440   msg            to put in each address's message field
441   rc             to put in each address's transport_return field
442   pass_message   if TRUE, set the "pass message" flag in the address
443   host           if set, mark addrs as having used this host
444
445 If errno_value has the special value ERRNO_CONNECTTIMEOUT, ETIMEDOUT is put in
446 the errno field, and RTEF_CTOUT is ORed into the more_errno field, to indicate
447 this particular type of timeout.
448
449 Returns:       nothing
450 */
451
452 static void
453 set_errno(address_item *addrlist, int errno_value, uschar *msg, int rc,
454   BOOL pass_message, host_item * host)
455 {
456 address_item *addr;
457 int orvalue = 0;
458 if (errno_value == ERRNO_CONNECTTIMEOUT)
459   {
460   errno_value = ETIMEDOUT;
461   orvalue = RTEF_CTOUT;
462   }
463 for (addr = addrlist; addr != NULL; addr = addr->next)
464   if (addr->transport_return >= PENDING)
465     {
466     addr->basic_errno = errno_value;
467     addr->more_errno |= orvalue;
468     if (msg != NULL)
469       {
470       addr->message = msg;
471       if (pass_message) setflag(addr, af_pass_message);
472       }
473     addr->transport_return = rc;
474     if (host)
475       addr->host_used = host;
476     }
477 }
478
479
480
481 /*************************************************
482 *          Check an SMTP response                *
483 *************************************************/
484
485 /* This function is given an errno code and the SMTP response buffer
486 to analyse, together with the host identification for generating messages. It
487 sets an appropriate message and puts the first digit of the response code into
488 the yield variable. If no response was actually read, a suitable digit is
489 chosen.
490
491 Arguments:
492   host           the current host, to get its name for messages
493   errno_value    pointer to the errno value
494   more_errno     from the top address for use with ERRNO_FILTER_FAIL
495   buffer         the SMTP response buffer
496   yield          where to put a one-digit SMTP response code
497   message        where to put an errror message
498   pass_message   set TRUE if message is an SMTP response
499
500 Returns:         TRUE if an SMTP "QUIT" command should be sent, else FALSE
501 */
502
503 static BOOL
504 check_response(host_item *host, int *errno_value, int more_errno,
505   uschar *buffer, int *yield, uschar **message, BOOL *pass_message)
506 {
507 uschar *pl = US"";
508
509 if (smtp_use_pipelining &&
510     (Ustrcmp(smtp_command, "MAIL") == 0 ||
511      Ustrcmp(smtp_command, "RCPT") == 0 ||
512      Ustrcmp(smtp_command, "DATA") == 0))
513   pl = US"pipelined ";
514
515 *yield = '4';    /* Default setting is to give a temporary error */
516
517 /* Handle response timeout */
518
519 if (*errno_value == ETIMEDOUT)
520   {
521   *message = US string_sprintf("SMTP timeout after %s%s",
522       pl, smtp_command);
523   if (transport_count > 0)
524     *message = US string_sprintf("%s (%d bytes written)", *message,
525       transport_count);
526   return FALSE;
527   }
528
529 /* Handle malformed SMTP response */
530
531 if (*errno_value == ERRNO_SMTPFORMAT)
532   {
533   const uschar *malfresp = string_printing(buffer);
534   while (isspace(*malfresp)) malfresp++;
535   *message = *malfresp == 0
536     ? string_sprintf("Malformed SMTP reply (an empty line) "
537         "in response to %s%s", pl, smtp_command)
538     : string_sprintf("Malformed SMTP reply in response to %s%s: %s",
539         pl, smtp_command, malfresp);
540   return FALSE;
541   }
542
543 /* Handle a failed filter process error; can't send QUIT as we mustn't
544 end the DATA. */
545
546 if (*errno_value == ERRNO_FILTER_FAIL)
547   {
548   *message = US string_sprintf("transport filter process failed (%d)%s",
549     more_errno,
550     (more_errno == EX_EXECFAILED)? ": unable to execute command" : "");
551   return FALSE;
552   }
553
554 /* Handle a failed add_headers expansion; can't send QUIT as we mustn't
555 end the DATA. */
556
557 if (*errno_value == ERRNO_CHHEADER_FAIL)
558   {
559   *message =
560     US string_sprintf("failed to expand headers_add or headers_remove: %s",
561       expand_string_message);
562   return FALSE;
563   }
564
565 /* Handle failure to write a complete data block */
566
567 if (*errno_value == ERRNO_WRITEINCOMPLETE)
568   {
569   *message = US string_sprintf("failed to write a data block");
570   return FALSE;
571   }
572
573 /* Handle error responses from the remote mailer. */
574
575 if (buffer[0] != 0)
576   {
577   const uschar *s = string_printing(buffer);
578   *message = US string_sprintf("SMTP error from remote mail server after %s%s: "
579     "%s", pl, smtp_command, s);
580   *pass_message = TRUE;
581   *yield = buffer[0];
582   return TRUE;
583   }
584
585 /* No data was read. If there is no errno, this must be the EOF (i.e.
586 connection closed) case, which causes deferral. An explicit connection reset
587 error has the same effect. Otherwise, put the host's identity in the message,
588 leaving the errno value to be interpreted as well. In all cases, we have to
589 assume the connection is now dead. */
590
591 if (*errno_value == 0 || *errno_value == ECONNRESET)
592   {
593   *errno_value = ERRNO_SMTPCLOSED;
594   *message = US string_sprintf("Remote host closed connection "
595     "in response to %s%s",  pl, smtp_command);
596   }
597 else *message = US string_sprintf("%s [%s]", host->name, host->address);
598
599 return FALSE;
600 }
601
602
603
604 /*************************************************
605 *          Write error message to logs           *
606 *************************************************/
607
608 /* This writes to the main log and to the message log.
609
610 Arguments:
611   addr     the address item containing error information
612   host     the current host
613
614 Returns:   nothing
615 */
616
617 static void
618 write_logs(address_item *addr, host_item *host)
619 {
620 uschar * message = string_sprintf("H=%s [%s]", host->name, host->address);
621
622 if (addr->message)
623   {
624   message = string_sprintf("%s: %s", message, addr->message);
625   if (addr->basic_errno > 0)
626     message = string_sprintf("%s: %s", message, strerror(addr->basic_errno));
627   log_write(0, LOG_MAIN, "%s", message);
628   deliver_msglog("%s %s\n", tod_stamp(tod_log), message);
629   }
630 else
631   {
632   if (log_extra_selector & LX_outgoing_port)
633     message = string_sprintf("%s:%d", message,
634                 host->port == PORT_NONE ? 25 : host->port);
635   log_write(0, LOG_MAIN, "%s %s", message, strerror(addr->basic_errno));
636   deliver_msglog("%s %s %s\n", tod_stamp(tod_log), message,
637                 strerror(addr->basic_errno));
638   }
639 }
640
641 static void
642 msglog_line(host_item * host, uschar * message)
643 {
644   deliver_msglog("%s H=%s [%s] %s\n", tod_stamp(tod_log),
645     host->name, host->address, message);
646 }
647
648
649
650 #ifdef EXPERIMENTAL_EVENT
651 /*************************************************
652 *   Post-defer action                            *
653 *************************************************/
654
655 /* This expands an arbitrary per-transport string.
656    It might, for example, be used to write to the database log.
657
658 Arguments:
659   addr                  the address item containing error information
660   host                  the current host
661
662 Returns:   nothing
663 */
664
665 static void
666 deferred_event_raise(address_item *addr, host_item *host)
667 {
668 uschar * action = addr->transport->event_action;
669 const uschar * save_domain;
670 uschar * save_local;
671
672 if (!action)
673   return;
674
675 save_domain = deliver_domain;
676 save_local = deliver_localpart;
677
678 /*XXX would ip & port already be set up? */
679 deliver_host_address = string_copy(host->address);
680 deliver_host_port =    host->port == PORT_NONE ? 25 : host->port;
681 event_defer_errno =    addr->basic_errno;
682
683 router_name =    addr->router->name;
684 transport_name = addr->transport->name;
685 deliver_domain = addr->domain;
686 deliver_localpart = addr->local_part;
687
688 (void) event_raise(action, US"msg:host:defer",
689     addr->message
690       ? addr->basic_errno > 0
691         ? string_sprintf("%s: %s", addr->message, strerror(addr->basic_errno))
692         : string_copy(addr->message)
693       : addr->basic_errno > 0
694         ? string_copy(US strerror(addr->basic_errno))
695         : NULL);
696
697 deliver_localpart = save_local;
698 deliver_domain =    save_domain;
699 router_name = transport_name = NULL;
700 }
701 #endif
702
703 /*************************************************
704 *           Synchronize SMTP responses           *
705 *************************************************/
706
707 /* This function is called from smtp_deliver() to receive SMTP responses from
708 the server, and match them up with the commands to which they relate. When
709 PIPELINING is not in use, this function is called after every command, and is
710 therefore somewhat over-engineered, but it is simpler to use a single scheme
711 that works both with and without PIPELINING instead of having two separate sets
712 of code.
713
714 The set of commands that are buffered up with pipelining may start with MAIL
715 and may end with DATA; in between are RCPT commands that correspond to the
716 addresses whose status is PENDING_DEFER. All other commands (STARTTLS, AUTH,
717 etc.) are never buffered.
718
719 Errors after MAIL or DATA abort the whole process leaving the response in the
720 buffer. After MAIL, pending responses are flushed, and the original command is
721 re-instated in big_buffer for error messages. For RCPT commands, the remote is
722 permitted to reject some recipient addresses while accepting others. However
723 certain errors clearly abort the whole process. Set the value in
724 transport_return to PENDING_OK if the address is accepted. If there is a
725 subsequent general error, it will get reset accordingly. If not, it will get
726 converted to OK at the end.
727
728 Arguments:
729   addrlist          the complete address list
730   include_affixes   TRUE if affixes include in RCPT
731   sync_addr         ptr to the ptr of the one to start scanning at (updated)
732   host              the host we are connected to
733   count             the number of responses to read
734   address_retry_
735     include_sender  true if 4xx retry is to include the sender it its key
736   pending_MAIL      true if the first response is for MAIL
737   pending_DATA      0 if last command sent was not DATA
738                    +1 if previously had a good recipient
739                    -1 if not previously had a good recipient
740   inblock           incoming SMTP block
741   timeout           timeout value
742   buffer            buffer for reading response
743   buffsize          size of buffer
744
745 Returns:      3 if at least one address had 2xx and one had 5xx
746               2 if at least one address had 5xx but none had 2xx
747               1 if at least one host had a 2xx response, but none had 5xx
748               0 no address had 2xx or 5xx but no errors (all 4xx, or just DATA)
749              -1 timeout while reading RCPT response
750              -2 I/O or other non-response error for RCPT
751              -3 DATA or MAIL failed - errno and buffer set
752 */
753
754 static int
755 sync_responses(address_item *addrlist, BOOL include_affixes,
756   address_item **sync_addr, host_item *host, int count,
757   BOOL address_retry_include_sender, BOOL pending_MAIL,
758   int pending_DATA, smtp_inblock *inblock, int timeout, uschar *buffer,
759   int buffsize)
760 {
761 address_item *addr = *sync_addr;
762 int yield = 0;
763
764 /* Handle the response for a MAIL command. On error, reinstate the original
765 command in big_buffer for error message use, and flush any further pending
766 responses before returning, except after I/O errors and timeouts. */
767
768 if (pending_MAIL)
769   {
770   count--;
771   if (!smtp_read_response(inblock, buffer, buffsize, '2', timeout))
772     {
773     Ustrcpy(big_buffer, mail_command);  /* Fits, because it came from there! */
774     if (errno == 0 && buffer[0] != 0)
775       {
776       uschar flushbuffer[4096];
777       int save_errno = 0;
778       if (buffer[0] == '4')
779         {
780         save_errno = ERRNO_MAIL4XX;
781         addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
782         }
783       while (count-- > 0)
784         {
785         if (!smtp_read_response(inblock, flushbuffer, sizeof(flushbuffer),
786                    '2', timeout)
787             && (errno != 0 || flushbuffer[0] == 0))
788           break;
789         }
790       errno = save_errno;
791       }
792
793     if (pending_DATA) count--;  /* Number of RCPT responses to come */
794     while (count-- > 0)         /* Mark any pending addrs with the host used */
795       {
796       while (addr->transport_return != PENDING_DEFER) addr = addr->next;
797       addr->host_used = host;
798       addr = addr->next;
799       }
800     return -3;
801     }
802   }
803
804 if (pending_DATA) count--;  /* Number of RCPT responses to come */
805
806 /* Read and handle the required number of RCPT responses, matching each one up
807 with an address by scanning for the next address whose status is PENDING_DEFER.
808 */
809
810 while (count-- > 0)
811   {
812   while (addr->transport_return != PENDING_DEFER) addr = addr->next;
813
814   /* The address was accepted */
815   addr->host_used = host;
816
817   if (smtp_read_response(inblock, buffer, buffsize, '2', timeout))
818     {
819     yield |= 1;
820     addr->transport_return = PENDING_OK;
821
822     /* If af_dr_retry_exists is set, there was a routing delay on this address;
823     ensure that any address-specific retry record is expunged. We do this both
824     for the basic key and for the version that also includes the sender. */
825
826     if (testflag(addr, af_dr_retry_exists))
827       {
828       uschar *altkey = string_sprintf("%s:<%s>", addr->address_retry_key,
829         sender_address);
830       retry_add_item(addr, altkey, rf_delete);
831       retry_add_item(addr, addr->address_retry_key, rf_delete);
832       }
833     }
834
835   /* Timeout while reading the response */
836
837   else if (errno == ETIMEDOUT)
838     {
839     uschar *message = string_sprintf("SMTP timeout after RCPT TO:<%s>",
840                           transport_rcpt_address(addr, include_affixes));
841     set_errno(addrlist, ETIMEDOUT, message, DEFER, FALSE, NULL);
842     retry_add_item(addr, addr->address_retry_key, 0);
843     update_waiting = FALSE;
844     return -1;
845     }
846
847   /* Handle other errors in obtaining an SMTP response by returning -1. This
848   will cause all the addresses to be deferred. Restore the SMTP command in
849   big_buffer for which we are checking the response, so the error message
850   makes sense. */
851
852   else if (errno != 0 || buffer[0] == 0)
853     {
854     string_format(big_buffer, big_buffer_size, "RCPT TO:<%s>",
855       transport_rcpt_address(addr, include_affixes));
856     return -2;
857     }
858
859   /* Handle SMTP permanent and temporary response codes. */
860
861   else
862     {
863     addr->message =
864       string_sprintf("SMTP error from remote mail server after RCPT TO:<%s>: "
865         "%s", transport_rcpt_address(addr, include_affixes),
866         string_printing(buffer));
867     setflag(addr, af_pass_message);
868     msglog_line(host, addr->message);
869
870     /* The response was 5xx */
871
872     if (buffer[0] == '5')
873       {
874       addr->transport_return = FAIL;
875       yield |= 2;
876       }
877
878     /* The response was 4xx */
879
880     else
881       {
882       addr->transport_return = DEFER;
883       addr->basic_errno = ERRNO_RCPT4XX;
884       addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
885
886       /* Log temporary errors if there are more hosts to be tried.
887       If not, log this last one in the == line. */
888
889       if (host->next)
890         log_write(0, LOG_MAIN, "H=%s [%s]: %s", host->name, host->address, addr->message);
891
892       /* Do not put this message on the list of those waiting for specific
893       hosts, as otherwise it is likely to be tried too often. */
894
895       update_waiting = FALSE;
896
897       /* Add a retry item for the address so that it doesn't get tried again
898       too soon. If address_retry_include_sender is true, add the sender address
899       to the retry key. */
900
901       if (address_retry_include_sender)
902         {
903         uschar *altkey = string_sprintf("%s:<%s>", addr->address_retry_key,
904           sender_address);
905         retry_add_item(addr, altkey, 0);
906         }
907       else retry_add_item(addr, addr->address_retry_key, 0);
908       }
909     }
910   }       /* Loop for next RCPT response */
911
912 /* Update where to start at for the next block of responses, unless we
913 have already handled all the addresses. */
914
915 if (addr != NULL) *sync_addr = addr->next;
916
917 /* Handle a response to DATA. If we have not had any good recipients, either
918 previously or in this block, the response is ignored. */
919
920 if (pending_DATA != 0 &&
921     !smtp_read_response(inblock, buffer, buffsize, '3', timeout))
922   {
923   int code;
924   uschar *msg;
925   BOOL pass_message;
926   if (pending_DATA > 0 || (yield & 1) != 0)
927     {
928     if (errno == 0 && buffer[0] == '4')
929       {
930       errno = ERRNO_DATA4XX;
931       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
932       }
933     return -3;
934     }
935   (void)check_response(host, &errno, 0, buffer, &code, &msg, &pass_message);
936   DEBUG(D_transport) debug_printf("%s\nerror for DATA ignored: pipelining "
937     "is in use and there were no good recipients\n", msg);
938   }
939
940 /* All responses read and handled; MAIL (if present) received 2xx and DATA (if
941 present) received 3xx. If any RCPTs were handled and yielded anything other
942 than 4xx, yield will be set non-zero. */
943
944 return yield;
945 }
946
947
948
949 /* Do the client side of smtp-level authentication */
950 /*
951 Arguments:
952   buffer        EHLO response from server (gets overwritten)
953   addrlist      chain of potential addresses to deliver
954   host          host to deliver to
955   ob            transport options
956   ibp, obp      comms channel control blocks
957
958 Returns:
959   OK                    Success, or failed (but not required): global "smtp_authenticated" set
960   DEFER                 Failed authentication (and was required)
961   ERROR                 Internal problem
962
963   FAIL_SEND             Failed communications - transmit
964   FAIL                  - response
965 */
966
967 int
968 smtp_auth(uschar *buffer, unsigned bufsize, address_item *addrlist, host_item *host,
969     smtp_transport_options_block *ob, BOOL is_esmtp,
970     smtp_inblock *ibp, smtp_outblock *obp)
971 {
972 int require_auth;
973 uschar *fail_reason = US"server did not advertise AUTH support";
974
975 smtp_authenticated = FALSE;
976 client_authenticator = client_authenticated_id = client_authenticated_sender = NULL;
977 require_auth = verify_check_given_host(&ob->hosts_require_auth, host);
978
979 if (is_esmtp && !regex_AUTH) regex_AUTH =
980     regex_must_compile(US"\\n250[\\s\\-]AUTH\\s+([\\-\\w\\s]+)(?:\\n|$)",
981           FALSE, TRUE);
982
983 if (is_esmtp && regex_match_and_setup(regex_AUTH, buffer, 0, -1))
984   {
985   uschar *names = string_copyn(expand_nstring[1], expand_nlength[1]);
986   expand_nmax = -1;                          /* reset */
987
988   /* Must not do this check until after we have saved the result of the
989   regex match above. */
990
991   if (require_auth == OK ||
992       verify_check_given_host(&ob->hosts_try_auth, host) == OK)
993     {
994     auth_instance *au;
995     fail_reason = US"no common mechanisms were found";
996
997     DEBUG(D_transport) debug_printf("scanning authentication mechanisms\n");
998
999     /* Scan the configured authenticators looking for one which is configured
1000     for use as a client, which is not suppressed by client_condition, and
1001     whose name matches an authentication mechanism supported by the server.
1002     If one is found, attempt to authenticate by calling its client function.
1003     */
1004
1005     for (au = auths; !smtp_authenticated && au != NULL; au = au->next)
1006       {
1007       uschar *p = names;
1008       if (!au->client ||
1009           (au->client_condition != NULL &&
1010            !expand_check_condition(au->client_condition, au->name,
1011              US"client authenticator")))
1012         {
1013         DEBUG(D_transport) debug_printf("skipping %s authenticator: %s\n",
1014           au->name,
1015           (au->client)? "client_condition is false" :
1016                         "not configured as a client");
1017         continue;
1018         }
1019
1020       /* Loop to scan supported server mechanisms */
1021
1022       while (*p != 0)
1023         {
1024         int rc;
1025         int len = Ustrlen(au->public_name);
1026         while (isspace(*p)) p++;
1027
1028         if (strncmpic(au->public_name, p, len) != 0 ||
1029             (p[len] != 0 && !isspace(p[len])))
1030           {
1031           while (*p != 0 && !isspace(*p)) p++;
1032           continue;
1033           }
1034
1035         /* Found data for a listed mechanism. Call its client entry. Set
1036         a flag in the outblock so that data is overwritten after sending so
1037         that reflections don't show it. */
1038
1039         fail_reason = US"authentication attempt(s) failed";
1040         obp->authenticating = TRUE;
1041         rc = (au->info->clientcode)(au, ibp, obp,
1042           ob->command_timeout, buffer, bufsize);
1043         obp->authenticating = FALSE;
1044         DEBUG(D_transport) debug_printf("%s authenticator yielded %d\n",
1045           au->name, rc);
1046
1047         /* A temporary authentication failure must hold up delivery to
1048         this host. After a permanent authentication failure, we carry on
1049         to try other authentication methods. If all fail hard, try to
1050         deliver the message unauthenticated unless require_auth was set. */
1051
1052         switch(rc)
1053           {
1054           case OK:
1055           smtp_authenticated = TRUE;   /* stops the outer loop */
1056           client_authenticator = au->name;
1057           if (au->set_client_id != NULL)
1058             client_authenticated_id = expand_string(au->set_client_id);
1059           break;
1060
1061           /* Failure after writing a command */
1062
1063           case FAIL_SEND:
1064           return FAIL_SEND;
1065
1066           /* Failure after reading a response */
1067
1068           case FAIL:
1069           if (errno != 0 || buffer[0] != '5') return FAIL;
1070           log_write(0, LOG_MAIN, "%s authenticator failed H=%s [%s] %s",
1071             au->name, host->name, host->address, buffer);
1072           break;
1073
1074           /* Failure by some other means. In effect, the authenticator
1075           decided it wasn't prepared to handle this case. Typically this
1076           is the result of "fail" in an expansion string. Do we need to
1077           log anything here? Feb 2006: a message is now put in the buffer
1078           if logging is required. */
1079
1080           case CANCELLED:
1081           if (*buffer != 0)
1082             log_write(0, LOG_MAIN, "%s authenticator cancelled "
1083               "authentication H=%s [%s] %s", au->name, host->name,
1084               host->address, buffer);
1085           break;
1086
1087           /* Internal problem, message in buffer. */
1088
1089           case ERROR:
1090           set_errno(addrlist, ERRNO_AUTHPROB, string_copy(buffer),
1091                     DEFER, FALSE, NULL);
1092           return ERROR;
1093           }
1094
1095         break;  /* If not authenticated, try next authenticator */
1096         }       /* Loop for scanning supported server mechanisms */
1097       }         /* Loop for further authenticators */
1098     }
1099   }
1100
1101 /* If we haven't authenticated, but are required to, give up. */
1102
1103 if (require_auth == OK && !smtp_authenticated)
1104   {
1105   set_errno(addrlist, ERRNO_AUTHFAIL,
1106     string_sprintf("authentication required but %s", fail_reason), DEFER,
1107     FALSE, NULL);
1108   return DEFER;
1109   }
1110
1111 return OK;
1112 }
1113
1114
1115 /* Construct AUTH appendix string for MAIL TO */
1116 /*
1117 Arguments
1118   buffer        to build string
1119   addrlist      chain of potential addresses to deliver
1120   ob            transport options
1121
1122 Globals         smtp_authenticated
1123                 client_authenticated_sender
1124 Return  True on error, otherwise buffer has (possibly empty) terminated string
1125 */
1126
1127 BOOL
1128 smtp_mail_auth_str(uschar *buffer, unsigned bufsize, address_item *addrlist,
1129                     smtp_transport_options_block *ob)
1130 {
1131 uschar *local_authenticated_sender = authenticated_sender;
1132
1133 #ifdef notdef
1134   debug_printf("smtp_mail_auth_str: as<%s> os<%s> SA<%s>\n", authenticated_sender, ob->authenticated_sender, smtp_authenticated?"Y":"N");
1135 #endif
1136
1137 if (ob->authenticated_sender != NULL)
1138   {
1139   uschar *new = expand_string(ob->authenticated_sender);
1140   if (new == NULL)
1141     {
1142     if (!expand_string_forcedfail)
1143       {
1144       uschar *message = string_sprintf("failed to expand "
1145         "authenticated_sender: %s", expand_string_message);
1146       set_errno(addrlist, ERRNO_EXPANDFAIL, message, DEFER, FALSE, NULL);
1147       return TRUE;
1148       }
1149     }
1150   else if (new[0] != 0) local_authenticated_sender = new;
1151   }
1152
1153 /* Add the authenticated sender address if present */
1154
1155 if ((smtp_authenticated || ob->authenticated_sender_force) &&
1156     local_authenticated_sender != NULL)
1157   {
1158   string_format(buffer, bufsize, " AUTH=%s",
1159     auth_xtextencode(local_authenticated_sender,
1160     Ustrlen(local_authenticated_sender)));
1161   client_authenticated_sender = string_copy(local_authenticated_sender);
1162   }
1163 else
1164   *buffer= 0;
1165
1166 return FALSE;
1167 }
1168
1169
1170
1171 #ifdef EXPERIMENTAL_DANE
1172 int
1173 tlsa_lookup(const host_item * host, dns_answer * dnsa,
1174   BOOL dane_required, BOOL * dane)
1175 {
1176 /* move this out to host.c given the similarity to dns_lookup() ? */
1177 uschar buffer[300];
1178 const uschar * fullname = buffer;
1179
1180 /* TLSA lookup string */
1181 (void)sprintf(CS buffer, "_%d._tcp.%.256s", host->port, host->name);
1182
1183 switch (dns_lookup(dnsa, buffer, T_TLSA, &fullname))
1184   {
1185   case DNS_AGAIN:
1186     return DEFER; /* just defer this TLS'd conn */
1187
1188   default:
1189   case DNS_FAIL:
1190     if (dane_required)
1191       {
1192       log_write(0, LOG_MAIN, "DANE error: TLSA lookup failed");
1193       return FAIL;
1194       }
1195     break;
1196
1197   case DNS_SUCCEED:
1198     if (!dns_is_secure(dnsa))
1199       {
1200       log_write(0, LOG_MAIN, "DANE error: TLSA lookup not DNSSEC");
1201       return DEFER;
1202       }
1203     *dane = TRUE;
1204     break;
1205   }
1206 return OK;
1207 }
1208 #endif
1209
1210
1211
1212 typedef struct smtp_compare_s
1213 {
1214     uschar                          *current_sender_address;
1215     struct transport_instance       *tblock;
1216 } smtp_compare_t;
1217
1218 /*
1219 Create a unique string that identifies this message, it is based on
1220 sender_address, helo_data and tls_certificate if enabled.  */
1221
1222 static uschar *
1223 smtp_local_identity(uschar * sender, struct transport_instance * tblock)
1224 {
1225 address_item * addr1;
1226 uschar * if1 = US"";
1227 uschar * helo1 = US"";
1228 #ifdef SUPPORT_TLS
1229 uschar * tlsc1 = US"";
1230 #endif
1231 uschar * save_sender_address = sender_address;
1232 uschar * local_identity = NULL;
1233 smtp_transport_options_block * ob =
1234   (smtp_transport_options_block *)tblock->options_block;
1235
1236 sender_address = sender;
1237
1238 addr1 = deliver_make_addr (sender, TRUE);
1239 deliver_set_expansions(addr1);
1240
1241 if (ob->interface)
1242   if1 = expand_string(ob->interface);
1243
1244 if (ob->helo_data)
1245   helo1 = expand_string(ob->helo_data);
1246
1247 #ifdef SUPPORT_TLS
1248 if (ob->tls_certificate)
1249   tlsc1 = expand_string(ob->tls_certificate);
1250 local_identity = string_sprintf ("%s^%s^%s", if1, helo1, tlsc1);
1251 #else
1252 local_identity = string_sprintf ("%s^%s", if1, helo1);
1253 #endif
1254
1255 deliver_set_expansions(NULL);
1256 sender_address = save_sender_address;
1257
1258 return local_identity;
1259 }
1260
1261
1262
1263 /* This routine is a callback that is called from transport_check_waiting.
1264 This function will evaluate the incoming message versus the previous
1265 message.  If the incoming message is using a different local identity then
1266 we will veto this new message.  */
1267
1268 static BOOL
1269 smtp_are_same_identities(uschar * message_id, smtp_compare_t * s_compare)
1270 {
1271 uschar * save_sender_address = sender_address;
1272 uschar * current_local_identity =
1273   smtp_local_identity(s_compare->current_sender_address, s_compare->tblock);
1274 uschar * new_sender_address = deliver_get_sender_address(message_id);
1275 uschar * message_local_identity =
1276   smtp_local_identity(new_sender_address, s_compare->tblock);
1277
1278 sender_address = save_sender_address;
1279
1280 return Ustrcmp(current_local_identity, message_local_identity) == 0;
1281 }
1282
1283
1284
1285 /*************************************************
1286 *       Deliver address list to given host       *
1287 *************************************************/
1288
1289 /* If continue_hostname is not null, we get here only when continuing to
1290 deliver down an existing channel. The channel was passed as the standard
1291 input. TLS is never active on a passed channel; the previous process always
1292 closes it down before passing the connection on.
1293
1294 Otherwise, we have to make a connection to the remote host, and do the
1295 initial protocol exchange.
1296
1297 When running as an MUA wrapper, if the sender or any recipient is rejected,
1298 temporarily or permanently, we force failure for all recipients.
1299
1300 Arguments:
1301   addrlist        chain of potential addresses to deliver; only those whose
1302                   transport_return field is set to PENDING_DEFER are currently
1303                   being processed; others should be skipped - they have either
1304                   been delivered to an earlier host or IP address, or been
1305                   failed by one of them.
1306   host            host to deliver to
1307   host_af         AF_INET or AF_INET6
1308   port            default TCP/IP port to use, in host byte order
1309   interface       interface to bind to, or NULL
1310   tblock          transport instance block
1311   message_defer   set TRUE if yield is OK, but all addresses were deferred
1312                     because of a non-recipient, non-host failure, that is, a
1313                     4xx response to MAIL FROM, DATA, or ".". This is a defer
1314                     that is specific to the message.
1315   suppress_tls    if TRUE, don't attempt a TLS connection - this is set for
1316                     a second attempt after TLS initialization fails
1317
1318 Returns:          OK    - the connection was made and the delivery attempted;
1319                           the result for each address is in its data block.
1320                   DEFER - the connection could not be made, or something failed
1321                           while setting up the SMTP session, or there was a
1322                           non-message-specific error, such as a timeout.
1323                   ERROR - a filter command is specified for this transport,
1324                           and there was a problem setting it up; OR helo_data
1325                           or add_headers or authenticated_sender is specified
1326                           for this transport, and the string failed to expand
1327 */
1328
1329 static int
1330 smtp_deliver(address_item *addrlist, host_item *host, int host_af, int port,
1331   uschar *interface, transport_instance *tblock,
1332   BOOL *message_defer, BOOL suppress_tls)
1333 {
1334 address_item *addr;
1335 address_item *sync_addr;
1336 address_item *first_addr = addrlist;
1337 int yield = OK;
1338 int address_count;
1339 int save_errno;
1340 int rc;
1341 time_t start_delivery_time = time(NULL);
1342 smtp_transport_options_block *ob =
1343   (smtp_transport_options_block *)(tblock->options_block);
1344 BOOL lmtp = strcmpic(ob->protocol, US"lmtp") == 0;
1345 BOOL smtps = strcmpic(ob->protocol, US"smtps") == 0;
1346 BOOL ok = FALSE;
1347 BOOL send_rset = TRUE;
1348 BOOL send_quit = TRUE;
1349 BOOL setting_up = TRUE;
1350 BOOL completed_address = FALSE;
1351 BOOL esmtp = TRUE;
1352 BOOL pending_MAIL;
1353 BOOL pass_message = FALSE;
1354 #ifndef DISABLE_PRDR
1355 BOOL prdr_offered = FALSE;
1356 BOOL prdr_active;
1357 #endif
1358 BOOL dsn_all_lasthop = TRUE;
1359 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_DANE)
1360 BOOL dane = FALSE;
1361 BOOL dane_required;
1362 dns_answer tlsa_dnsa;
1363 #endif
1364 smtp_inblock inblock;
1365 smtp_outblock outblock;
1366 int max_rcpt = tblock->max_addresses;
1367 uschar *igquotstr = US"";
1368
1369 uschar *helo_data = NULL;
1370
1371 uschar *message = NULL;
1372 uschar new_message_id[MESSAGE_ID_LENGTH + 1];
1373 uschar *p;
1374 uschar buffer[4096];
1375 uschar inbuffer[4096];
1376 uschar outbuffer[4096];
1377 address_item * current_address;
1378
1379 suppress_tls = suppress_tls;  /* stop compiler warning when no TLS support */
1380
1381 *message_defer = FALSE;
1382 smtp_command = US"initial connection";
1383 if (max_rcpt == 0) max_rcpt = 999999;
1384
1385 /* Set up the buffer for reading SMTP response packets. */
1386
1387 inblock.buffer = inbuffer;
1388 inblock.buffersize = sizeof(inbuffer);
1389 inblock.ptr = inbuffer;
1390 inblock.ptrend = inbuffer;
1391
1392 /* Set up the buffer for holding SMTP commands while pipelining */
1393
1394 outblock.buffer = outbuffer;
1395 outblock.buffersize = sizeof(outbuffer);
1396 outblock.ptr = outbuffer;
1397 outblock.cmd_count = 0;
1398 outblock.authenticating = FALSE;
1399
1400 /* Reset the parameters of a TLS session. */
1401
1402 tls_out.bits = 0;
1403 tls_out.cipher = NULL;  /* the one we may use for this transport */
1404 tls_out.ourcert = NULL;
1405 tls_out.peercert = NULL;
1406 tls_out.peerdn = NULL;
1407 #if defined(SUPPORT_TLS) && !defined(USE_GNUTLS)
1408 tls_out.sni = NULL;
1409 #endif
1410 tls_out.ocsp = OCSP_NOT_REQ;
1411
1412 /* Flip the legacy TLS-related variables over to the outbound set in case
1413 they're used in the context of the transport.  Don't bother resetting
1414 afterward as we're in a subprocess. */
1415
1416 tls_modify_variables(&tls_out);
1417
1418 #ifndef SUPPORT_TLS
1419 if (smtps)
1420   {
1421   set_errno(addrlist, ERRNO_TLSFAILURE, US"TLS support not available",
1422             DEFER, FALSE, NULL);
1423   return ERROR;
1424   }
1425 #endif
1426
1427 /* Make a connection to the host if this isn't a continued delivery, and handle
1428 the initial interaction and HELO/EHLO/LHLO. Connect timeout errors are handled
1429 specially so they can be identified for retries. */
1430
1431 if (continue_hostname == NULL)
1432   {
1433   /* This puts port into host->port */
1434   inblock.sock = outblock.sock =
1435     smtp_connect(host, host_af, port, interface, ob->connect_timeout, tblock);
1436
1437   if (inblock.sock < 0)
1438     {
1439     set_errno(addrlist, (errno == ETIMEDOUT)? ERRNO_CONNECTTIMEOUT : errno,
1440       NULL, DEFER, FALSE, NULL);
1441     return DEFER;
1442     }
1443
1444 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_DANE)
1445     {
1446     tls_out.dane_verified = FALSE;
1447     tls_out.tlsa_usage = 0;
1448
1449     dane_required = verify_check_given_host(&ob->hosts_require_dane, host) == OK;
1450
1451     if (host->dnssec == DS_YES)
1452       {
1453       if(  dane_required
1454         || verify_check_given_host(&ob->hosts_try_dane, host) == OK
1455         )
1456         if ((rc = tlsa_lookup(host, &tlsa_dnsa, dane_required, &dane)) != OK)
1457           return rc;
1458       }
1459     else if (dane_required)
1460       {
1461       log_write(0, LOG_MAIN, "DANE error: %s lookup not DNSSEC", host->name);
1462       return FAIL;
1463       }
1464
1465     if (dane)
1466       ob->tls_tempfail_tryclear = FALSE;
1467     }
1468 #endif  /*DANE*/
1469
1470   /* Expand the greeting message while waiting for the initial response. (Makes
1471   sense if helo_data contains ${lookup dnsdb ...} stuff). The expansion is
1472   delayed till here so that $sending_interface and $sending_port are set. */
1473
1474   helo_data = expand_string(ob->helo_data);
1475
1476   /* The first thing is to wait for an initial OK response. The dreaded "goto"
1477   is nevertheless a reasonably clean way of programming this kind of logic,
1478   where you want to escape on any error. */
1479
1480   if (!smtps)
1481     {
1482     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1483       ob->command_timeout)) goto RESPONSE_FAILED;
1484
1485 #ifdef EXPERIMENTAL_EVENT
1486       {
1487       uschar * s;
1488       lookup_dnssec_authenticated = host->dnssec==DS_YES ? US"yes"
1489         : host->dnssec==DS_NO ? US"no" : NULL;
1490       s = event_raise(tblock->event_action, US"smtp:connect", buffer);
1491       if (s)
1492         {
1493         set_errno(addrlist, ERRNO_EXPANDFAIL,
1494           string_sprintf("deferred by smtp:connect event expansion: %s", s),
1495           DEFER, FALSE, NULL);
1496         yield = DEFER;
1497         goto SEND_QUIT;
1498         }
1499       }
1500 #endif
1501
1502     /* Now check if the helo_data expansion went well, and sign off cleanly if
1503     it didn't. */
1504
1505     if (helo_data == NULL)
1506       {
1507       uschar *message = string_sprintf("failed to expand helo_data: %s",
1508         expand_string_message);
1509       set_errno(addrlist, ERRNO_EXPANDFAIL, message, DEFER, FALSE, NULL);
1510       yield = DEFER;
1511       goto SEND_QUIT;
1512       }
1513     }
1514
1515 /** Debugging without sending a message
1516 addrlist->transport_return = DEFER;
1517 goto SEND_QUIT;
1518 **/
1519
1520   /* Errors that occur after this point follow an SMTP command, which is
1521   left in big_buffer by smtp_write_command() for use in error messages. */
1522
1523   smtp_command = big_buffer;
1524
1525   /* Tell the remote who we are...
1526
1527   February 1998: A convention has evolved that ESMTP-speaking MTAs include the
1528   string "ESMTP" in their greeting lines, so make Exim send EHLO if the
1529   greeting is of this form. The assumption was that the far end supports it
1530   properly... but experience shows that there are some that give 5xx responses,
1531   even though the banner includes "ESMTP" (there's a bloody-minded one that
1532   says "ESMTP not spoken here"). Cope with that case.
1533
1534   September 2000: Time has passed, and it seems reasonable now to always send
1535   EHLO at the start. It is also convenient to make the change while installing
1536   the TLS stuff.
1537
1538   July 2003: Joachim Wieland met a broken server that advertises "PIPELINING"
1539   but times out after sending MAIL FROM, RCPT TO and DATA all together. There
1540   would be no way to send out the mails, so there is now a host list
1541   "hosts_avoid_esmtp" that disables ESMTP for special hosts and solves the
1542   PIPELINING problem as well. Maybe it can also be useful to cure other
1543   problems with broken servers.
1544
1545   Exim originally sent "Helo" at this point and ran for nearly a year that way.
1546   Then somebody tried it with a Microsoft mailer... It seems that all other
1547   mailers use upper case for some reason (the RFC is quite clear about case
1548   independence) so, for peace of mind, I gave in. */
1549
1550   esmtp = verify_check_given_host(&ob->hosts_avoid_esmtp, host) != OK;
1551
1552   /* Alas; be careful, since this goto is not an error-out, so conceivably
1553   we might set data between here and the target which we assume to exist
1554   and be usable.  I can see this coming back to bite us. */
1555 #ifdef SUPPORT_TLS
1556   if (smtps)
1557     {
1558     tls_offered = TRUE;
1559     suppress_tls = FALSE;
1560     ob->tls_tempfail_tryclear = FALSE;
1561     smtp_command = US"SSL-on-connect";
1562     goto TLS_NEGOTIATE;
1563     }
1564 #endif
1565
1566   if (esmtp)
1567     {
1568     if (smtp_write_command(&outblock, FALSE, "%s %s\r\n",
1569          lmtp? "LHLO" : "EHLO", helo_data) < 0)
1570       goto SEND_FAILED;
1571     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1572            ob->command_timeout))
1573       {
1574       if (errno != 0 || buffer[0] == 0 || lmtp) goto RESPONSE_FAILED;
1575       esmtp = FALSE;
1576       }
1577     }
1578   else
1579     {
1580     DEBUG(D_transport)
1581       debug_printf("not sending EHLO (host matches hosts_avoid_esmtp)\n");
1582     }
1583
1584   if (!esmtp)
1585     {
1586     if (smtp_write_command(&outblock, FALSE, "HELO %s\r\n", helo_data) < 0)
1587       goto SEND_FAILED;
1588     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1589       ob->command_timeout)) goto RESPONSE_FAILED;
1590     }
1591
1592   /* Set IGNOREQUOTA if the response to LHLO specifies support and the
1593   lmtp_ignore_quota option was set. */
1594
1595   igquotstr = (lmtp && ob->lmtp_ignore_quota &&
1596     pcre_exec(regex_IGNOREQUOTA, NULL, CS buffer, Ustrlen(CS buffer), 0,
1597       PCRE_EOPT, NULL, 0) >= 0)? US" IGNOREQUOTA" : US"";
1598
1599   /* Set tls_offered if the response to EHLO specifies support for STARTTLS. */
1600
1601 #ifdef SUPPORT_TLS
1602   tls_offered = esmtp &&
1603     pcre_exec(regex_STARTTLS, NULL, CS buffer, Ustrlen(buffer), 0,
1604       PCRE_EOPT, NULL, 0) >= 0;
1605 #endif
1606
1607 #ifndef DISABLE_PRDR
1608   prdr_offered = esmtp
1609     && pcre_exec(regex_PRDR, NULL, CS buffer, Ustrlen(buffer), 0,
1610                   PCRE_EOPT, NULL, 0) >= 0
1611     && verify_check_given_host(&ob->hosts_try_prdr, host) == OK;
1612
1613   if (prdr_offered)
1614     {DEBUG(D_transport) debug_printf("PRDR usable\n");}
1615 #endif
1616   }
1617
1618 /* For continuing deliveries down the same channel, the socket is the standard
1619 input, and we don't need to redo EHLO here (but may need to do so for TLS - see
1620 below). Set up the pointer to where subsequent commands will be left, for
1621 error messages. Note that smtp_use_size and smtp_use_pipelining will have been
1622 set from the command line if they were set in the process that passed the
1623 connection on. */
1624
1625 else
1626   {
1627   inblock.sock = outblock.sock = fileno(stdin);
1628   smtp_command = big_buffer;
1629   host->port = port;    /* Record the port that was used */
1630   }
1631
1632 /* If TLS is available on this connection, whether continued or not, attempt to
1633 start up a TLS session, unless the host is in hosts_avoid_tls. If successful,
1634 send another EHLO - the server may give a different answer in secure mode. We
1635 use a separate buffer for reading the response to STARTTLS so that if it is
1636 negative, the original EHLO data is available for subsequent analysis, should
1637 the client not be required to use TLS. If the response is bad, copy the buffer
1638 for error analysis. */
1639
1640 #ifdef SUPPORT_TLS
1641 if (  tls_offered
1642    && !suppress_tls
1643    && verify_check_given_host(&ob->hosts_avoid_tls, host) != OK)
1644   {
1645   uschar buffer2[4096];
1646   if (smtp_write_command(&outblock, FALSE, "STARTTLS\r\n") < 0)
1647     goto SEND_FAILED;
1648
1649   /* If there is an I/O error, transmission of this message is deferred. If
1650   there is a temporary rejection of STARRTLS and tls_tempfail_tryclear is
1651   false, we also defer. However, if there is a temporary rejection of STARTTLS
1652   and tls_tempfail_tryclear is true, or if there is an outright rejection of
1653   STARTTLS, we carry on. This means we will try to send the message in clear,
1654   unless the host is in hosts_require_tls (tested below). */
1655
1656   if (!smtp_read_response(&inblock, buffer2, sizeof(buffer2), '2',
1657       ob->command_timeout))
1658     {
1659     if (errno != 0 || buffer2[0] == 0 ||
1660          (buffer2[0] == '4' && !ob->tls_tempfail_tryclear))
1661       {
1662       Ustrncpy(buffer, buffer2, sizeof(buffer));
1663       goto RESPONSE_FAILED;
1664       }
1665     }
1666
1667   /* STARTTLS accepted: try to negotiate a TLS session. */
1668
1669   else
1670   TLS_NEGOTIATE:
1671     {
1672     int rc = tls_client_start(inblock.sock, host, addrlist, tblock
1673 # ifdef EXPERIMENTAL_DANE
1674                              , dane ? &tlsa_dnsa : NULL
1675 # endif
1676                              );
1677
1678     /* TLS negotiation failed; give an error. From outside, this function may
1679     be called again to try in clear on a new connection, if the options permit
1680     it for this host. */
1681
1682     if (rc != OK)
1683       {
1684 # ifdef EXPERIMENTAL_DANE
1685       if (rc == DEFER && dane && !dane_required)
1686         {
1687         log_write(0, LOG_MAIN, "DANE attempt failed;"
1688           " trying CA-root TLS to %s [%s] (not in hosts_require_dane)",
1689           host->name, host->address);
1690         dane = FALSE;
1691         goto TLS_NEGOTIATE;
1692         }
1693 # endif
1694
1695       save_errno = ERRNO_TLSFAILURE;
1696       message = US"failure while setting up TLS session";
1697       send_quit = FALSE;
1698       goto TLS_FAILED;
1699       }
1700
1701     /* TLS session is set up */
1702
1703     for (addr = addrlist; addr != NULL; addr = addr->next)
1704       if (addr->transport_return == PENDING_DEFER)
1705         {
1706         addr->cipher = tls_out.cipher;
1707         addr->ourcert = tls_out.ourcert;
1708         addr->peercert = tls_out.peercert;
1709         addr->peerdn = tls_out.peerdn;
1710         addr->ocsp = tls_out.ocsp;
1711         }
1712     }
1713   }
1714
1715 /* if smtps, we'll have smtp_command set to something else; always safe to
1716 reset it here. */
1717 smtp_command = big_buffer;
1718
1719 /* If we started TLS, redo the EHLO/LHLO exchange over the secure channel. If
1720 helo_data is null, we are dealing with a connection that was passed from
1721 another process, and so we won't have expanded helo_data above. We have to
1722 expand it here. $sending_ip_address and $sending_port are set up right at the
1723 start of the Exim process (in exim.c). */
1724
1725 if (tls_out.active >= 0)
1726   {
1727   char *greeting_cmd;
1728   if (helo_data == NULL)
1729     {
1730     helo_data = expand_string(ob->helo_data);
1731     if (helo_data == NULL)
1732       {
1733       uschar *message = string_sprintf("failed to expand helo_data: %s",
1734         expand_string_message);
1735       set_errno(addrlist, ERRNO_EXPANDFAIL, message, DEFER, FALSE, NULL);
1736       yield = DEFER;
1737       goto SEND_QUIT;
1738       }
1739     }
1740
1741   /* For SMTPS we need to wait for the initial OK response. */
1742   if (smtps)
1743     {
1744     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1745       ob->command_timeout)) goto RESPONSE_FAILED;
1746     }
1747
1748   if (esmtp)
1749     greeting_cmd = "EHLO";
1750   else
1751     {
1752     greeting_cmd = "HELO";
1753     DEBUG(D_transport)
1754       debug_printf("not sending EHLO (host matches hosts_avoid_esmtp)\n");
1755     }
1756
1757   if (smtp_write_command(&outblock, FALSE, "%s %s\r\n",
1758         lmtp? "LHLO" : greeting_cmd, helo_data) < 0)
1759     goto SEND_FAILED;
1760   if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1761        ob->command_timeout))
1762     goto RESPONSE_FAILED;
1763   }
1764
1765 /* If the host is required to use a secure channel, ensure that we
1766 have one. */
1767
1768 else if (
1769 # ifdef EXPERIMENTAL_DANE
1770         dane ||
1771 # endif
1772         verify_check_given_host(&ob->hosts_require_tls, host) == OK
1773         )
1774   {
1775   save_errno = ERRNO_TLSREQUIRED;
1776   message = string_sprintf("a TLS session is required, but %s",
1777     tls_offered? "an attempt to start TLS failed" :
1778                  "the server did not offer TLS support");
1779   goto TLS_FAILED;
1780   }
1781 #endif  /*SUPPORT_TLS*/
1782
1783 /* If TLS is active, we have just started it up and re-done the EHLO command,
1784 so its response needs to be analyzed. If TLS is not active and this is a
1785 continued session down a previously-used socket, we haven't just done EHLO, so
1786 we skip this. */
1787
1788 if (continue_hostname == NULL
1789 #ifdef SUPPORT_TLS
1790     || tls_out.active >= 0
1791 #endif
1792     )
1793   {
1794   /* Set for IGNOREQUOTA if the response to LHLO specifies support and the
1795   lmtp_ignore_quota option was set. */
1796
1797   igquotstr = (lmtp && ob->lmtp_ignore_quota &&
1798     pcre_exec(regex_IGNOREQUOTA, NULL, CS buffer, Ustrlen(CS buffer), 0,
1799       PCRE_EOPT, NULL, 0) >= 0)? US" IGNOREQUOTA" : US"";
1800
1801   /* If the response to EHLO specified support for the SIZE parameter, note
1802   this, provided size_addition is non-negative. */
1803
1804   smtp_use_size = esmtp && ob->size_addition >= 0 &&
1805     pcre_exec(regex_SIZE, NULL, CS buffer, Ustrlen(CS buffer), 0,
1806       PCRE_EOPT, NULL, 0) >= 0;
1807
1808   /* Note whether the server supports PIPELINING. If hosts_avoid_esmtp matched
1809   the current host, esmtp will be false, so PIPELINING can never be used. If
1810   the current host matches hosts_avoid_pipelining, don't do it. */
1811
1812   smtp_use_pipelining = esmtp
1813     && verify_check_given_host(&ob->hosts_avoid_pipelining, host) != OK
1814     && pcre_exec(regex_PIPELINING, NULL, CS buffer, Ustrlen(CS buffer), 0,
1815                   PCRE_EOPT, NULL, 0) >= 0;
1816
1817   DEBUG(D_transport) debug_printf("%susing PIPELINING\n",
1818     smtp_use_pipelining? "" : "not ");
1819
1820 #ifndef DISABLE_PRDR
1821   prdr_offered = esmtp
1822     && pcre_exec(regex_PRDR, NULL, CS buffer, Ustrlen(CS buffer), 0,
1823       PCRE_EOPT, NULL, 0) >= 0
1824     && verify_check_given_host(&ob->hosts_try_prdr, host) == OK;
1825
1826   if (prdr_offered)
1827     {DEBUG(D_transport) debug_printf("PRDR usable\n");}
1828 #endif
1829
1830   /* Note if the server supports DSN */
1831   smtp_use_dsn = esmtp && pcre_exec(regex_DSN, NULL, CS buffer, (int)Ustrlen(CS buffer), 0,
1832        PCRE_EOPT, NULL, 0) >= 0;
1833   DEBUG(D_transport) debug_printf("use_dsn=%d\n", smtp_use_dsn);
1834
1835   /* Note if the response to EHLO specifies support for the AUTH extension.
1836   If it has, check that this host is one we want to authenticate to, and do
1837   the business. The host name and address must be available when the
1838   authenticator's client driver is running. */
1839
1840   switch (yield = smtp_auth(buffer, sizeof(buffer), addrlist, host,
1841                             ob, esmtp, &inblock, &outblock))
1842     {
1843     default:            goto SEND_QUIT;
1844     case OK:            break;
1845     case FAIL_SEND:     goto SEND_FAILED;
1846     case FAIL:          goto RESPONSE_FAILED;
1847     }
1848   }
1849
1850 /* The setting up of the SMTP call is now complete. Any subsequent errors are
1851 message-specific. */
1852
1853 setting_up = FALSE;
1854
1855 /* If there is a filter command specified for this transport, we can now
1856 set it up. This cannot be done until the identify of the host is known. */
1857
1858 if (tblock->filter_command != NULL)
1859   {
1860   BOOL rc;
1861   uschar buffer[64];
1862   sprintf(CS buffer, "%.50s transport", tblock->name);
1863   rc = transport_set_up_command(&transport_filter_argv, tblock->filter_command,
1864     TRUE, DEFER, addrlist, buffer, NULL);
1865   transport_filter_timeout = tblock->filter_timeout;
1866
1867   /* On failure, copy the error to all addresses, abandon the SMTP call, and
1868   yield ERROR. */
1869
1870   if (!rc)
1871     {
1872     set_errno(addrlist->next, addrlist->basic_errno, addrlist->message, DEFER,
1873       FALSE, NULL);
1874     yield = ERROR;
1875     goto SEND_QUIT;
1876     }
1877   }
1878
1879
1880 /* For messages that have more than the maximum number of envelope recipients,
1881 we want to send several transactions down the same SMTP connection. (See
1882 comments in deliver.c as to how this reconciles, heuristically, with
1883 remote_max_parallel.) This optimization was added to Exim after the following
1884 code was already working. The simplest way to put it in without disturbing the
1885 code was to use a goto to jump back to this point when there is another
1886 transaction to handle. */
1887
1888 SEND_MESSAGE:
1889 sync_addr = first_addr;
1890 address_count = 0;
1891 ok = FALSE;
1892 send_rset = TRUE;
1893 completed_address = FALSE;
1894
1895
1896 /* Initiate a message transfer. If we know the receiving MTA supports the SIZE
1897 qualification, send it, adding something to the message size to allow for
1898 imprecision and things that get added en route. Exim keeps the number of lines
1899 in a message, so we can give an accurate value for the original message, but we
1900 need some additional to handle added headers. (Double "." characters don't get
1901 included in the count.) */
1902
1903 p = buffer;
1904 *p = 0;
1905
1906 if (smtp_use_size)
1907   {
1908   sprintf(CS p, " SIZE=%d", message_size+message_linecount+ob->size_addition);
1909   while (*p) p++;
1910   }
1911
1912 #ifndef DISABLE_PRDR
1913 prdr_active = FALSE;
1914 if (prdr_offered)
1915   {
1916   for (addr = first_addr; addr; addr = addr->next)
1917     if (addr->transport_return == PENDING_DEFER)
1918       {
1919       for (addr = addr->next; addr; addr = addr->next)
1920         if (addr->transport_return == PENDING_DEFER)
1921           {                     /* at least two recipients to send */
1922           prdr_active = TRUE;
1923           sprintf(CS p, " PRDR"); p += 5;
1924           break;
1925           }
1926       break;
1927       }
1928   }
1929 #endif
1930
1931 /* check if all addresses have lasthop flag */
1932 /* do not send RET and ENVID if true */
1933 dsn_all_lasthop = TRUE;
1934 for (addr = first_addr;
1935      address_count < max_rcpt && addr != NULL;
1936      addr = addr->next)
1937   if ((addr->dsn_flags & rf_dsnlasthop) != 1)
1938     dsn_all_lasthop = FALSE;
1939
1940 /* Add any DSN flags to the mail command */
1941
1942 if ((smtp_use_dsn) && (dsn_all_lasthop == FALSE))
1943   {
1944   if (dsn_ret == dsn_ret_hdrs)
1945     {
1946     Ustrcpy(p, " RET=HDRS");
1947     while (*p) p++;
1948     }
1949   else if (dsn_ret == dsn_ret_full)
1950     {
1951     Ustrcpy(p, " RET=FULL");
1952     while (*p) p++;
1953     }
1954   if (dsn_envid != NULL)
1955     {
1956     string_format(p, sizeof(buffer) - (p-buffer), " ENVID=%s", dsn_envid);
1957     while (*p) p++;
1958     }
1959   }
1960
1961 /* If an authenticated_sender override has been specified for this transport
1962 instance, expand it. If the expansion is forced to fail, and there was already
1963 an authenticated_sender for this message, the original value will be used.
1964 Other expansion failures are serious. An empty result is ignored, but there is
1965 otherwise no check - this feature is expected to be used with LMTP and other
1966 cases where non-standard addresses (e.g. without domains) might be required. */
1967
1968 if (smtp_mail_auth_str(p, sizeof(buffer) - (p-buffer), addrlist, ob))
1969   {
1970   yield = ERROR;
1971   goto SEND_QUIT;
1972   }
1973
1974 /* From here until we send the DATA command, we can make use of PIPELINING
1975 if the server host supports it. The code has to be able to check the responses
1976 at any point, for when the buffer fills up, so we write it totally generally.
1977 When PIPELINING is off, each command written reports that it has flushed the
1978 buffer. */
1979
1980 pending_MAIL = TRUE;     /* The block starts with MAIL */
1981
1982 rc = smtp_write_command(&outblock, smtp_use_pipelining,
1983        "MAIL FROM:<%s>%s\r\n", return_path, buffer);
1984 mail_command = string_copy(big_buffer);  /* Save for later error message */
1985
1986 switch(rc)
1987   {
1988   case -1:                /* Transmission error */
1989   goto SEND_FAILED;
1990
1991   case +1:                /* Block was sent */
1992   if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1993        ob->command_timeout))
1994     {
1995     if (errno == 0 && buffer[0] == '4')
1996       {
1997       errno = ERRNO_MAIL4XX;
1998       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
1999       }
2000     goto RESPONSE_FAILED;
2001     }
2002   pending_MAIL = FALSE;
2003   break;
2004   }
2005
2006 /* Pass over all the relevant recipient addresses for this host, which are the
2007 ones that have status PENDING_DEFER. If we are using PIPELINING, we can send
2008 several before we have to read the responses for those seen so far. This
2009 checking is done by a subroutine because it also needs to be done at the end.
2010 Send only up to max_rcpt addresses at a time, leaving first_addr pointing to
2011 the next one if not all are sent.
2012
2013 In the MUA wrapper situation, we want to flush the PIPELINING buffer for the
2014 last address because we want to abort if any recipients have any kind of
2015 problem, temporary or permanent. We know that all recipient addresses will have
2016 the PENDING_DEFER status, because only one attempt is ever made, and we know
2017 that max_rcpt will be large, so all addresses will be done at once. */
2018
2019 for (addr = first_addr;
2020      address_count < max_rcpt && addr != NULL;
2021      addr = addr->next)
2022   {
2023   int count;
2024   BOOL no_flush;
2025
2026   addr->dsn_aware = smtp_use_dsn ? dsn_support_yes : dsn_support_no;
2027
2028   if (addr->transport_return != PENDING_DEFER) continue;
2029
2030   address_count++;
2031   no_flush = smtp_use_pipelining && (!mua_wrapper || addr->next != NULL);
2032
2033   /* Add any DSN flags to the rcpt command and add to the sent string */
2034
2035   p = buffer;
2036   *p = 0;
2037
2038   if (smtp_use_dsn && (addr->dsn_flags & rf_dsnlasthop) != 1)
2039     {
2040     if ((addr->dsn_flags & rf_dsnflags) != 0)
2041       {
2042       int i;
2043       BOOL first = TRUE;
2044       Ustrcpy(p, " NOTIFY=");
2045       while (*p) p++;
2046       for (i = 0; i < 4; i++)
2047         if ((addr->dsn_flags & rf_list[i]) != 0)
2048           {
2049           if (!first) *p++ = ',';
2050           first = FALSE;
2051           Ustrcpy(p, rf_names[i]);
2052           while (*p) p++;
2053           }
2054       }
2055
2056     if (addr->dsn_orcpt != NULL)
2057       {
2058       string_format(p, sizeof(buffer) - (p-buffer), " ORCPT=%s",
2059         addr->dsn_orcpt);
2060       while (*p) p++;
2061       }
2062     }
2063
2064   /* Now send the RCPT command, and process outstanding responses when
2065   necessary. After a timeout on RCPT, we just end the function, leaving the
2066   yield as OK, because this error can often mean that there is a problem with
2067   just one address, so we don't want to delay the host. */
2068
2069   count = smtp_write_command(&outblock, no_flush, "RCPT TO:<%s>%s%s\r\n",
2070     transport_rcpt_address(addr, tblock->rcpt_include_affixes), igquotstr, buffer);
2071
2072   if (count < 0) goto SEND_FAILED;
2073   if (count > 0)
2074     {
2075     switch(sync_responses(first_addr, tblock->rcpt_include_affixes,
2076              &sync_addr, host, count, ob->address_retry_include_sender,
2077              pending_MAIL, 0, &inblock, ob->command_timeout, buffer,
2078              sizeof(buffer)))
2079       {
2080       case 3: ok = TRUE;                   /* 2xx & 5xx => OK & progress made */
2081       case 2: completed_address = TRUE;    /* 5xx (only) => progress made */
2082       break;
2083
2084       case 1: ok = TRUE;                   /* 2xx (only) => OK, but if LMTP, */
2085       if (!lmtp) completed_address = TRUE; /* can't tell about progress yet */
2086       case 0:                              /* No 2xx or 5xx, but no probs */
2087       break;
2088
2089       case -1: goto END_OFF;               /* Timeout on RCPT */
2090       default: goto RESPONSE_FAILED;       /* I/O error, or any MAIL error */
2091       }
2092     pending_MAIL = FALSE;                  /* Dealt with MAIL */
2093     }
2094   }      /* Loop for next address */
2095
2096 /* If we are an MUA wrapper, abort if any RCPTs were rejected, either
2097 permanently or temporarily. We should have flushed and synced after the last
2098 RCPT. */
2099
2100 if (mua_wrapper)
2101   {
2102   address_item *badaddr;
2103   for (badaddr = first_addr; badaddr; badaddr = badaddr->next)
2104     if (badaddr->transport_return != PENDING_OK)
2105       {
2106       /*XXX could we find a better errno than 0 here? */
2107       set_errno(addrlist, 0, badaddr->message, FAIL,
2108         testflag(badaddr, af_pass_message), NULL);
2109       ok = FALSE;
2110       break;
2111       }
2112   }
2113
2114 /* If ok is TRUE, we know we have got at least one good recipient, and must now
2115 send DATA, but if it is FALSE (in the normal, non-wrapper case), we may still
2116 have a good recipient buffered up if we are pipelining. We don't want to waste
2117 time sending DATA needlessly, so we only send it if either ok is TRUE or if we
2118 are pipelining. The responses are all handled by sync_responses(). */
2119
2120 if (ok || (smtp_use_pipelining && !mua_wrapper))
2121   {
2122   int count = smtp_write_command(&outblock, FALSE, "DATA\r\n");
2123   if (count < 0) goto SEND_FAILED;
2124   switch(sync_responses(first_addr, tblock->rcpt_include_affixes, &sync_addr,
2125            host, count, ob->address_retry_include_sender, pending_MAIL,
2126            ok? +1 : -1, &inblock, ob->command_timeout, buffer, sizeof(buffer)))
2127     {
2128     case 3: ok = TRUE;                   /* 2xx & 5xx => OK & progress made */
2129     case 2: completed_address = TRUE;    /* 5xx (only) => progress made */
2130     break;
2131
2132     case 1: ok = TRUE;                   /* 2xx (only) => OK, but if LMTP, */
2133     if (!lmtp) completed_address = TRUE; /* can't tell about progress yet */
2134     case 0: break;                       /* No 2xx or 5xx, but no probs */
2135
2136     case -1: goto END_OFF;               /* Timeout on RCPT */
2137     default: goto RESPONSE_FAILED;       /* I/O error, or any MAIL/DATA error */
2138     }
2139   }
2140
2141 /* Save the first address of the next batch. */
2142
2143 first_addr = addr;
2144
2145 /* If there were no good recipients (but otherwise there have been no
2146 problems), just set ok TRUE, since we have handled address-specific errors
2147 already. Otherwise, it's OK to send the message. Use the check/escape mechanism
2148 for handling the SMTP dot-handling protocol, flagging to apply to headers as
2149 well as body. Set the appropriate timeout value to be used for each chunk.
2150 (Haven't been able to make it work using select() for writing yet.) */
2151
2152 if (!ok) ok = TRUE; else
2153   {
2154   sigalrm_seen = FALSE;
2155   transport_write_timeout = ob->data_timeout;
2156   smtp_command = US"sending data block";   /* For error messages */
2157   DEBUG(D_transport|D_v)
2158     debug_printf("  SMTP>> writing message and terminating \".\"\n");
2159   transport_count = 0;
2160
2161 #ifndef DISABLE_DKIM
2162   ok = dkim_transport_write_message(addrlist, inblock.sock,
2163     topt_use_crlf | topt_end_dot | topt_escape_headers |
2164       (tblock->body_only? topt_no_headers : 0) |
2165       (tblock->headers_only? topt_no_body : 0) |
2166       (tblock->return_path_add? topt_add_return_path : 0) |
2167       (tblock->delivery_date_add? topt_add_delivery_date : 0) |
2168       (tblock->envelope_to_add? topt_add_envelope_to : 0),
2169     0,            /* No size limit */
2170     tblock->add_headers, tblock->remove_headers,
2171     US".", US"..",    /* Escaping strings */
2172     tblock->rewrite_rules, tblock->rewrite_existflags,
2173     ob->dkim_private_key, ob->dkim_domain, ob->dkim_selector,
2174     ob->dkim_canon, ob->dkim_strict, ob->dkim_sign_headers
2175     );
2176 #else
2177   ok = transport_write_message(addrlist, inblock.sock,
2178     topt_use_crlf | topt_end_dot | topt_escape_headers |
2179       (tblock->body_only? topt_no_headers : 0) |
2180       (tblock->headers_only? topt_no_body : 0) |
2181       (tblock->return_path_add? topt_add_return_path : 0) |
2182       (tblock->delivery_date_add? topt_add_delivery_date : 0) |
2183       (tblock->envelope_to_add? topt_add_envelope_to : 0),
2184     0,            /* No size limit */
2185     tblock->add_headers, tblock->remove_headers,
2186     US".", US"..",    /* Escaping strings */
2187     tblock->rewrite_rules, tblock->rewrite_existflags);
2188 #endif
2189
2190   /* transport_write_message() uses write() because it is called from other
2191   places to write to non-sockets. This means that under some OS (e.g. Solaris)
2192   it can exit with "Broken pipe" as its error. This really means that the
2193   socket got closed at the far end. */
2194
2195   transport_write_timeout = 0;   /* for subsequent transports */
2196
2197   /* Failure can either be some kind of I/O disaster (including timeout),
2198   or the failure of a transport filter or the expansion of added headers. */
2199
2200   if (!ok)
2201     {
2202     buffer[0] = 0;              /* There hasn't been a response */
2203     goto RESPONSE_FAILED;
2204     }
2205
2206   /* We used to send the terminating "." explicitly here, but because of
2207   buffering effects at both ends of TCP/IP connections, you don't gain
2208   anything by keeping it separate, so it might as well go in the final
2209   data buffer for efficiency. This is now done by setting the topt_end_dot
2210   flag above. */
2211
2212   smtp_command = US"end of data";
2213
2214 #ifndef DISABLE_PRDR
2215   /* For PRDR we optionally get a partial-responses warning
2216    * followed by the individual responses, before going on with
2217    * the overall response.  If we don't get the warning then deal
2218    * with per non-PRDR. */
2219   if(prdr_active)
2220     {
2221     ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '3',
2222       ob->final_timeout);
2223     if (!ok && errno == 0)
2224       switch(buffer[0])
2225         {
2226         case '2': prdr_active = FALSE;
2227                   ok = TRUE;
2228                   break;
2229         case '4': errno = ERRNO_DATA4XX;
2230                   addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
2231                   break;
2232         }
2233     }
2234   else
2235 #endif
2236
2237   /* For non-PRDR SMTP, we now read a single response that applies to the
2238   whole message.  If it is OK, then all the addresses have been delivered. */
2239
2240   if (!lmtp)
2241     {
2242     ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2243       ob->final_timeout);
2244     if (!ok && errno == 0 && buffer[0] == '4')
2245       {
2246       errno = ERRNO_DATA4XX;
2247       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
2248       }
2249     }
2250
2251   /* For LMTP, we get back a response for every RCPT command that we sent;
2252   some may be accepted and some rejected. For those that get a response, their
2253   status is fixed; any that are accepted have been handed over, even if later
2254   responses crash - at least, that's how I read RFC 2033.
2255
2256   If all went well, mark the recipient addresses as completed, record which
2257   host/IPaddress they were delivered to, and cut out RSET when sending another
2258   message down the same channel. Write the completed addresses to the journal
2259   now so that they are recorded in case there is a crash of hardware or
2260   software before the spool gets updated. Also record the final SMTP
2261   confirmation if needed (for SMTP only). */
2262
2263   if (ok)
2264     {
2265     int flag = '=';
2266     int delivery_time = (int)(time(NULL) - start_delivery_time);
2267     int len;
2268     uschar *conf = NULL;
2269     send_rset = FALSE;
2270
2271     /* Set up confirmation if needed - applies only to SMTP */
2272
2273     if (
2274 #ifndef EXPERIMENTAL_EVENT
2275           (log_extra_selector & LX_smtp_confirmation) != 0 &&
2276 #endif
2277           !lmtp
2278        )
2279       {
2280       const uschar *s = string_printing(buffer);
2281       /* deconst cast ok here as string_printing was checked to have alloc'n'copied */
2282       conf = (s == buffer)? (uschar *)string_copy(s) : US s;
2283       }
2284
2285     /* Process all transported addresses - for LMTP or PRDR, read a status for
2286     each one. */
2287
2288     for (addr = addrlist; addr != first_addr; addr = addr->next)
2289       {
2290       if (addr->transport_return != PENDING_OK) continue;
2291
2292       /* LMTP - if the response fails badly (e.g. timeout), use it for all the
2293       remaining addresses. Otherwise, it's a return code for just the one
2294       address. For temporary errors, add a retry item for the address so that
2295       it doesn't get tried again too soon. */
2296
2297 #ifndef DISABLE_PRDR
2298       if (lmtp || prdr_active)
2299 #else
2300       if (lmtp)
2301 #endif
2302         {
2303         if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2304             ob->final_timeout))
2305           {
2306           if (errno != 0 || buffer[0] == 0) goto RESPONSE_FAILED;
2307           addr->message = string_sprintf(
2308 #ifndef DISABLE_PRDR
2309             "%s error after %s: %s", prdr_active ? "PRDR":"LMTP",
2310 #else
2311             "LMTP error after %s: %s",
2312 #endif
2313             big_buffer, string_printing(buffer));
2314           setflag(addr, af_pass_message);   /* Allow message to go to user */
2315           if (buffer[0] == '5')
2316             addr->transport_return = FAIL;
2317           else
2318             {
2319             errno = ERRNO_DATA4XX;
2320             addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
2321             addr->transport_return = DEFER;
2322 #ifndef DISABLE_PRDR
2323             if (!prdr_active)
2324 #endif
2325               retry_add_item(addr, addr->address_retry_key, 0);
2326             }
2327           continue;
2328           }
2329         completed_address = TRUE;   /* NOW we can set this flag */
2330         if ((log_extra_selector & LX_smtp_confirmation) != 0)
2331           {
2332           const uschar *s = string_printing(buffer);
2333           /* deconst cast ok here as string_printing was checked to have alloc'n'copied */
2334           conf = (s == buffer)? (uschar *)string_copy(s) : US s;
2335           }
2336         }
2337
2338       /* SMTP, or success return from LMTP for this address. Pass back the
2339       actual host that was used. */
2340
2341       addr->transport_return = OK;
2342       addr->more_errno = delivery_time;
2343       addr->host_used = host;
2344       addr->special_action = flag;
2345       addr->message = conf;
2346 #ifndef DISABLE_PRDR
2347       if (prdr_active) addr->flags |= af_prdr_used;
2348 #endif
2349       flag = '-';
2350
2351 #ifndef DISABLE_PRDR
2352       if (!prdr_active)
2353 #endif
2354         {
2355         /* Update the journal. For homonymic addresses, use the base address plus
2356         the transport name. See lots of comments in deliver.c about the reasons
2357         for the complications when homonyms are involved. Just carry on after
2358         write error, as it may prove possible to update the spool file later. */
2359
2360         if (testflag(addr, af_homonym))
2361           sprintf(CS buffer, "%.500s/%s\n", addr->unique + 3, tblock->name);
2362         else
2363           sprintf(CS buffer, "%.500s\n", addr->unique);
2364
2365         DEBUG(D_deliver) debug_printf("journalling %s", buffer);
2366         len = Ustrlen(CS buffer);
2367         if (write(journal_fd, buffer, len) != len)
2368           log_write(0, LOG_MAIN|LOG_PANIC, "failed to write journal for "
2369             "%s: %s", buffer, strerror(errno));
2370         }
2371       }
2372
2373 #ifndef DISABLE_PRDR
2374       if (prdr_active)
2375         {
2376         /* PRDR - get the final, overall response.  For any non-success
2377         upgrade all the address statuses. */
2378         ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2379           ob->final_timeout);
2380         if (!ok)
2381           {
2382           if(errno == 0 && buffer[0] == '4')
2383             {
2384             errno = ERRNO_DATA4XX;
2385             addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
2386             }
2387           for (addr = addrlist; addr != first_addr; addr = addr->next)
2388             if (buffer[0] == '5' || addr->transport_return == OK)
2389               addr->transport_return = PENDING_OK; /* allow set_errno action */
2390           goto RESPONSE_FAILED;
2391           }
2392
2393         /* Update the journal, or setup retry. */
2394         for (addr = addrlist; addr != first_addr; addr = addr->next)
2395           if (addr->transport_return == OK)
2396           {
2397           if (testflag(addr, af_homonym))
2398             sprintf(CS buffer, "%.500s/%s\n", addr->unique + 3, tblock->name);
2399           else
2400             sprintf(CS buffer, "%.500s\n", addr->unique);
2401
2402           DEBUG(D_deliver) debug_printf("journalling(PRDR) %s", buffer);
2403           len = Ustrlen(CS buffer);
2404           if (write(journal_fd, buffer, len) != len)
2405             log_write(0, LOG_MAIN|LOG_PANIC, "failed to write journal for "
2406               "%s: %s", buffer, strerror(errno));
2407           }
2408         else if (addr->transport_return == DEFER)
2409           retry_add_item(addr, addr->address_retry_key, -2);
2410         }
2411 #endif
2412
2413     /* Ensure the journal file is pushed out to disk. */
2414
2415     if (EXIMfsync(journal_fd) < 0)
2416       log_write(0, LOG_MAIN|LOG_PANIC, "failed to fsync journal: %s",
2417         strerror(errno));
2418     }
2419   }
2420
2421
2422 /* Handle general (not specific to one address) failures here. The value of ok
2423 is used to skip over this code on the falling through case. A timeout causes a
2424 deferral. Other errors may defer or fail according to the response code, and
2425 may set up a special errno value, e.g. after connection chopped, which is
2426 assumed if errno == 0 and there is no text in the buffer. If control reaches
2427 here during the setting up phase (i.e. before MAIL FROM) then always defer, as
2428 the problem is not related to this specific message. */
2429
2430 if (!ok)
2431   {
2432   int code;
2433
2434   RESPONSE_FAILED:
2435   save_errno = errno;
2436   message = NULL;
2437   send_quit = check_response(host, &save_errno, addrlist->more_errno,
2438     buffer, &code, &message, &pass_message);
2439   goto FAILED;
2440
2441   SEND_FAILED:
2442   save_errno = errno;
2443   code = '4';
2444   message = US string_sprintf("send() to %s [%s] failed: %s",
2445     host->name, host->address, strerror(save_errno));
2446   send_quit = FALSE;
2447   goto FAILED;
2448
2449   /* This label is jumped to directly when a TLS negotiation has failed,
2450   or was not done for a host for which it is required. Values will be set
2451   in message and save_errno, and setting_up will always be true. Treat as
2452   a temporary error. */
2453
2454 #ifdef SUPPORT_TLS
2455   TLS_FAILED:
2456   code = '4';
2457 #endif
2458
2459   /* If the failure happened while setting up the call, see if the failure was
2460   a 5xx response (this will either be on connection, or following HELO - a 5xx
2461   after EHLO causes it to try HELO). If so, fail all addresses, as this host is
2462   never going to accept them. For other errors during setting up (timeouts or
2463   whatever), defer all addresses, and yield DEFER, so that the host is not
2464   tried again for a while. */
2465
2466   FAILED:
2467   ok = FALSE;                /* For when reached by GOTO */
2468
2469   if (setting_up)
2470     {
2471     if (code == '5')
2472       set_errno(addrlist, save_errno, message, FAIL, pass_message, host);
2473     else
2474       {
2475       set_errno(addrlist, save_errno, message, DEFER, pass_message, host);
2476       yield = DEFER;
2477       }
2478     }
2479
2480   /* We want to handle timeouts after MAIL or "." and loss of connection after
2481   "." specially. They can indicate a problem with the sender address or with
2482   the contents of the message rather than a real error on the connection. These
2483   cases are treated in the same way as a 4xx response. This next bit of code
2484   does the classification. */
2485
2486   else
2487     {
2488     BOOL message_error;
2489
2490     switch(save_errno)
2491       {
2492       case 0:
2493       case ERRNO_MAIL4XX:
2494       case ERRNO_DATA4XX:
2495       message_error = TRUE;
2496       break;
2497
2498       case ETIMEDOUT:
2499       message_error = Ustrncmp(smtp_command,"MAIL",4) == 0 ||
2500                       Ustrncmp(smtp_command,"end ",4) == 0;
2501       break;
2502
2503       case ERRNO_SMTPCLOSED:
2504       message_error = Ustrncmp(smtp_command,"end ",4) == 0;
2505       break;
2506
2507       default:
2508       message_error = FALSE;
2509       break;
2510       }
2511
2512     /* Handle the cases that are treated as message errors. These are:
2513
2514       (a) negative response or timeout after MAIL
2515       (b) negative response after DATA
2516       (c) negative response or timeout or dropped connection after "."
2517
2518     It won't be a negative response or timeout after RCPT, as that is dealt
2519     with separately above. The action in all cases is to set an appropriate
2520     error code for all the addresses, but to leave yield set to OK because the
2521     host itself has not failed. Of course, it might in practice have failed
2522     when we've had a timeout, but if so, we'll discover that at the next
2523     delivery attempt. For a temporary error, set the message_defer flag, and
2524     write to the logs for information if this is not the last host. The error
2525     for the last host will be logged as part of the address's log line. */
2526
2527     if (message_error)
2528       {
2529       if (mua_wrapper) code = '5';  /* Force hard failure in wrapper mode */
2530       set_errno(addrlist, save_errno, message, (code == '5')? FAIL : DEFER,
2531         pass_message, host);
2532
2533       /* If there's an errno, the message contains just the identity of
2534       the host. */
2535
2536       if (code != '5')     /* Anything other than 5 is treated as temporary */
2537         {
2538         if (save_errno > 0)
2539           message = US string_sprintf("%s: %s", message, strerror(save_errno));
2540         if (host->next != NULL) log_write(0, LOG_MAIN, "%s", message);
2541         msglog_line(host, message);
2542         *message_defer = TRUE;
2543         }
2544       }
2545
2546     /* Otherwise, we have an I/O error or a timeout other than after MAIL or
2547     ".", or some other transportation error. We defer all addresses and yield
2548     DEFER, except for the case of failed add_headers expansion, or a transport
2549     filter failure, when the yield should be ERROR, to stop it trying other
2550     hosts. */
2551
2552     else
2553       {
2554       yield = (save_errno == ERRNO_CHHEADER_FAIL ||
2555                save_errno == ERRNO_FILTER_FAIL)? ERROR : DEFER;
2556       set_errno(addrlist, save_errno, message, DEFER, pass_message, host);
2557       }
2558     }
2559   }
2560
2561
2562 /* If all has gone well, send_quit will be set TRUE, implying we can end the
2563 SMTP session tidily. However, if there were too many addresses to send in one
2564 message (indicated by first_addr being non-NULL) we want to carry on with the
2565 rest of them. Also, it is desirable to send more than one message down the SMTP
2566 connection if there are several waiting, provided we haven't already sent so
2567 many as to hit the configured limit. The function transport_check_waiting looks
2568 for a waiting message and returns its id. Then transport_pass_socket tries to
2569 set up a continued delivery by passing the socket on to another process. The
2570 variable send_rset is FALSE if a message has just been successfully transfered.
2571
2572 If we are already sending down a continued channel, there may be further
2573 addresses not yet delivered that are aimed at the same host, but which have not
2574 been passed in this run of the transport. In this case, continue_more will be
2575 true, and all we should do is send RSET if necessary, and return, leaving the
2576 channel open.
2577
2578 However, if no address was disposed of, i.e. all addresses got 4xx errors, we
2579 do not want to continue with other messages down the same channel, because that
2580 can lead to looping between two or more messages, all with the same,
2581 temporarily failing address(es). [The retry information isn't updated yet, so
2582 new processes keep on trying.] We probably also don't want to try more of this
2583 message's addresses either.
2584
2585 If we have started a TLS session, we have to end it before passing the
2586 connection to a new process. However, not all servers can handle this (Exim
2587 can), so we do not pass such a connection on if the host matches
2588 hosts_nopass_tls. */
2589
2590 DEBUG(D_transport)
2591   debug_printf("ok=%d send_quit=%d send_rset=%d continue_more=%d "
2592     "yield=%d first_address is %sNULL\n", ok, send_quit, send_rset,
2593     continue_more, yield, (first_addr == NULL)? "":"not ");
2594
2595 if (completed_address && ok && send_quit)
2596   {
2597   BOOL more;
2598   smtp_compare_t t_compare;
2599
2600   t_compare.tblock = tblock;
2601   t_compare.current_sender_address = sender_address;
2602
2603   if (  first_addr != NULL
2604      || continue_more
2605      || (  (  tls_out.active < 0
2606            || verify_check_given_host(&ob->hosts_nopass_tls, host) != OK
2607            )
2608         &&
2609            transport_check_waiting(tblock->name, host->name,
2610              tblock->connection_max_messages, new_message_id, &more,
2611              (oicf)smtp_are_same_identities, (void*)&t_compare)
2612      )  )
2613     {
2614     uschar *msg;
2615     BOOL pass_message;
2616
2617     if (send_rset)
2618       {
2619       if (! (ok = smtp_write_command(&outblock, FALSE, "RSET\r\n") >= 0))
2620         {
2621         msg = US string_sprintf("send() to %s [%s] failed: %s", host->name,
2622           host->address, strerror(save_errno));
2623         send_quit = FALSE;
2624         }
2625       else if (! (ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2626                   ob->command_timeout)))
2627         {
2628         int code;
2629         send_quit = check_response(host, &errno, 0, buffer, &code, &msg,
2630           &pass_message);
2631         if (!send_quit)
2632           {
2633           DEBUG(D_transport) debug_printf("H=%s [%s] %s\n",
2634             host->name, host->address, msg);
2635           }
2636         }
2637       }
2638
2639     /* Either RSET was not needed, or it succeeded */
2640
2641     if (ok)
2642       {
2643       if (first_addr != NULL)            /* More addresses still to be sent */
2644         {                                /*   in this run of the transport */
2645         continue_sequence++;             /* Causes * in logging */
2646         goto SEND_MESSAGE;
2647         }
2648       if (continue_more) return yield;   /* More addresses for another run */
2649
2650       /* Pass the socket to a new Exim process. Before doing so, we must shut
2651       down TLS. Not all MTAs allow for the continuation of the SMTP session
2652       when TLS is shut down. We test for this by sending a new EHLO. If we
2653       don't get a good response, we don't attempt to pass the socket on. */
2654
2655 #ifdef SUPPORT_TLS
2656       if (tls_out.active >= 0)
2657         {
2658         tls_close(FALSE, TRUE);
2659         if (smtps)
2660           ok = FALSE;
2661         else
2662           ok = smtp_write_command(&outblock,FALSE,"EHLO %s\r\n",helo_data) >= 0 &&
2663                smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2664                  ob->command_timeout);
2665         }
2666 #endif
2667
2668       /* If the socket is successfully passed, we musn't send QUIT (or
2669       indeed anything!) from here. */
2670
2671       if (ok && transport_pass_socket(tblock->name, host->name, host->address,
2672             new_message_id, inblock.sock))
2673         {
2674         send_quit = FALSE;
2675         }
2676       }
2677
2678     /* If RSET failed and there are addresses left, they get deferred. */
2679
2680     else set_errno(first_addr, errno, msg, DEFER, FALSE, host);
2681     }
2682   }
2683
2684 /* End off tidily with QUIT unless the connection has died or the socket has
2685 been passed to another process. There has been discussion on the net about what
2686 to do after sending QUIT. The wording of the RFC suggests that it is necessary
2687 to wait for a response, but on the other hand, there isn't anything one can do
2688 with an error response, other than log it. Exim used to do that. However,
2689 further discussion suggested that it is positively advantageous not to wait for
2690 the response, but to close the session immediately. This is supposed to move
2691 the TCP/IP TIME_WAIT state from the server to the client, thereby removing some
2692 load from the server. (Hosts that are both servers and clients may not see much
2693 difference, of course.) Further discussion indicated that this was safe to do
2694 on Unix systems which have decent implementations of TCP/IP that leave the
2695 connection around for a while (TIME_WAIT) after the application has gone away.
2696 This enables the response sent by the server to be properly ACKed rather than
2697 timed out, as can happen on broken TCP/IP implementations on other OS.
2698
2699 This change is being made on 31-Jul-98. After over a year of trouble-free
2700 operation, the old commented-out code was removed on 17-Sep-99. */
2701
2702 SEND_QUIT:
2703 if (send_quit) (void)smtp_write_command(&outblock, FALSE, "QUIT\r\n");
2704
2705 END_OFF:
2706
2707 #ifdef SUPPORT_TLS
2708 tls_close(FALSE, TRUE);
2709 #endif
2710
2711 /* Close the socket, and return the appropriate value, first setting
2712 works because the NULL setting is passed back to the calling process, and
2713 remote_max_parallel is forced to 1 when delivering over an existing connection,
2714
2715 If all went well and continue_more is set, we shouldn't actually get here if
2716 there are further addresses, as the return above will be taken. However,
2717 writing RSET might have failed, or there may be other addresses whose hosts are
2718 specified in the transports, and therefore not visible at top level, in which
2719 case continue_more won't get set. */
2720
2721 (void)close(inblock.sock);
2722
2723 #ifdef EXPERIMENTAL_EVENT
2724 (void) event_raise(tblock->event_action, US"tcp:close", NULL);
2725 #endif
2726
2727 continue_transport = NULL;
2728 continue_hostname = NULL;
2729 return yield;
2730 }
2731
2732
2733
2734
2735 /*************************************************
2736 *              Closedown entry point             *
2737 *************************************************/
2738
2739 /* This function is called when exim is passed an open smtp channel
2740 from another incarnation, but the message which it has been asked
2741 to deliver no longer exists. The channel is on stdin.
2742
2743 We might do fancy things like looking for another message to send down
2744 the channel, but if the one we sought has gone, it has probably been
2745 delivered by some other process that itself will seek further messages,
2746 so just close down our connection.
2747
2748 Argument:   pointer to the transport instance block
2749 Returns:    nothing
2750 */
2751
2752 void
2753 smtp_transport_closedown(transport_instance *tblock)
2754 {
2755 smtp_transport_options_block *ob =
2756   (smtp_transport_options_block *)(tblock->options_block);
2757 smtp_inblock inblock;
2758 smtp_outblock outblock;
2759 uschar buffer[256];
2760 uschar inbuffer[4096];
2761 uschar outbuffer[16];
2762
2763 inblock.sock = fileno(stdin);
2764 inblock.buffer = inbuffer;
2765 inblock.buffersize = sizeof(inbuffer);
2766 inblock.ptr = inbuffer;
2767 inblock.ptrend = inbuffer;
2768
2769 outblock.sock = inblock.sock;
2770 outblock.buffersize = sizeof(outbuffer);
2771 outblock.buffer = outbuffer;
2772 outblock.ptr = outbuffer;
2773 outblock.cmd_count = 0;
2774 outblock.authenticating = FALSE;
2775
2776 (void)smtp_write_command(&outblock, FALSE, "QUIT\r\n");
2777 (void)smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2778   ob->command_timeout);
2779 (void)close(inblock.sock);
2780 }
2781
2782
2783
2784 /*************************************************
2785 *            Prepare addresses for delivery      *
2786 *************************************************/
2787
2788 /* This function is called to flush out error settings from previous delivery
2789 attempts to other hosts. It also records whether we got here via an MX record
2790 or not in the more_errno field of the address. We are interested only in
2791 addresses that are still marked DEFER - others may have got delivered to a
2792 previously considered IP address. Set their status to PENDING_DEFER to indicate
2793 which ones are relevant this time.
2794
2795 Arguments:
2796   addrlist     the list of addresses
2797   host         the host we are delivering to
2798
2799 Returns:       the first address for this delivery
2800 */
2801
2802 static address_item *
2803 prepare_addresses(address_item *addrlist, host_item *host)
2804 {
2805 address_item *first_addr = NULL;
2806 address_item *addr;
2807 for (addr = addrlist; addr != NULL; addr = addr->next)
2808   if (addr->transport_return == DEFER)
2809     {
2810     if (first_addr == NULL) first_addr = addr;
2811     addr->transport_return = PENDING_DEFER;
2812     addr->basic_errno = 0;
2813     addr->more_errno = (host->mx >= 0)? 'M' : 'A';
2814     addr->message = NULL;
2815 #ifdef SUPPORT_TLS
2816     addr->cipher = NULL;
2817     addr->ourcert = NULL;
2818     addr->peercert = NULL;
2819     addr->peerdn = NULL;
2820     addr->ocsp = OCSP_NOT_REQ;
2821 #endif
2822     }
2823 return first_addr;
2824 }
2825
2826
2827
2828 /*************************************************
2829 *              Main entry point                  *
2830 *************************************************/
2831
2832 /* See local README for interface details. As this is a remote transport, it is
2833 given a chain of addresses to be delivered in one connection, if possible. It
2834 always returns TRUE, indicating that each address has its own independent
2835 status set, except if there is a setting up problem, in which case it returns
2836 FALSE. */
2837
2838 BOOL
2839 smtp_transport_entry(
2840   transport_instance *tblock,      /* data for this instantiation */
2841   address_item *addrlist)          /* addresses we are working on */
2842 {
2843 int cutoff_retry;
2844 int port;
2845 int hosts_defer = 0;
2846 int hosts_fail  = 0;
2847 int hosts_looked_up = 0;
2848 int hosts_retry = 0;
2849 int hosts_serial = 0;
2850 int hosts_total = 0;
2851 int total_hosts_tried = 0;
2852 address_item *addr;
2853 BOOL expired = TRUE;
2854 BOOL continuing = continue_hostname != NULL;
2855 uschar *expanded_hosts = NULL;
2856 uschar *pistring;
2857 uschar *tid = string_sprintf("%s transport", tblock->name);
2858 smtp_transport_options_block *ob =
2859   (smtp_transport_options_block *)(tblock->options_block);
2860 host_item *hostlist = addrlist->host_list;
2861 host_item *host = NULL;
2862
2863 DEBUG(D_transport)
2864   {
2865   debug_printf("%s transport entered\n", tblock->name);
2866   for (addr = addrlist; addr != NULL; addr = addr->next)
2867     debug_printf("  %s\n", addr->address);
2868   if (continuing) debug_printf("already connected to %s [%s]\n",
2869       continue_hostname, continue_host_address);
2870   }
2871
2872 /* Set the flag requesting that these hosts be added to the waiting
2873 database if the delivery fails temporarily or if we are running with
2874 queue_smtp or a 2-stage queue run. This gets unset for certain
2875 kinds of error, typically those that are specific to the message. */
2876
2877 update_waiting =  TRUE;
2878
2879 /* If a host list is not defined for the addresses - they must all have the
2880 same one in order to be passed to a single transport - or if the transport has
2881 a host list with hosts_override set, use the host list supplied with the
2882 transport. It is an error for this not to exist. */
2883
2884 if (hostlist == NULL || (ob->hosts_override && ob->hosts != NULL))
2885   {
2886   if (ob->hosts == NULL)
2887     {
2888     addrlist->message = string_sprintf("%s transport called with no hosts set",
2889       tblock->name);
2890     addrlist->transport_return = PANIC;
2891     return FALSE;   /* Only top address has status */
2892     }
2893
2894   DEBUG(D_transport) debug_printf("using the transport's hosts: %s\n",
2895     ob->hosts);
2896
2897   /* If the transport's host list contains no '$' characters, and we are not
2898   randomizing, it is fixed and therefore a chain of hosts can be built once
2899   and for all, and remembered for subsequent use by other calls to this
2900   transport. If, on the other hand, the host list does contain '$', or we are
2901   randomizing its order, we have to rebuild it each time. In the fixed case,
2902   as the hosts string will never be used again, it doesn't matter that we
2903   replace all the : characters with zeros. */
2904
2905   if (ob->hostlist == NULL)
2906     {
2907     uschar *s = ob->hosts;
2908
2909     if (Ustrchr(s, '$') != NULL)
2910       {
2911       if (!(expanded_hosts = expand_string(s)))
2912         {
2913         addrlist->message = string_sprintf("failed to expand list of hosts "
2914           "\"%s\" in %s transport: %s", s, tblock->name, expand_string_message);
2915         addrlist->transport_return = search_find_defer? DEFER : PANIC;
2916         return FALSE;     /* Only top address has status */
2917         }
2918       DEBUG(D_transport) debug_printf("expanded list of hosts \"%s\" to "
2919         "\"%s\"\n", s, expanded_hosts);
2920       s = expanded_hosts;
2921       }
2922     else
2923       if (ob->hosts_randomize) s = expanded_hosts = string_copy(s);
2924
2925     host_build_hostlist(&hostlist, s, ob->hosts_randomize);
2926
2927     /* Check that the expansion yielded something useful. */
2928     if (hostlist == NULL)
2929       {
2930       addrlist->message =
2931         string_sprintf("%s transport has empty hosts setting", tblock->name);
2932       addrlist->transport_return = PANIC;
2933       return FALSE;   /* Only top address has status */
2934       }
2935
2936     /* If there was no expansion of hosts, save the host list for
2937     next time. */
2938
2939     if (!expanded_hosts) ob->hostlist = hostlist;
2940     }
2941
2942   /* This is not the first time this transport has been run in this delivery;
2943   the host list was built previously. */
2944
2945   else
2946     hostlist = ob->hostlist;
2947   }
2948
2949 /* The host list was supplied with the address. If hosts_randomize is set, we
2950 must sort it into a random order if it did not come from MX records and has not
2951 already been randomized (but don't bother if continuing down an existing
2952 connection). */
2953
2954 else if (ob->hosts_randomize && hostlist->mx == MX_NONE && !continuing)
2955   {
2956   host_item *newlist = NULL;
2957   while (hostlist != NULL)
2958     {
2959     host_item *h = hostlist;
2960     hostlist = hostlist->next;
2961
2962     h->sort_key = random_number(100);
2963
2964     if (newlist == NULL)
2965       {
2966       h->next = NULL;
2967       newlist = h;
2968       }
2969     else if (h->sort_key < newlist->sort_key)
2970       {
2971       h->next = newlist;
2972       newlist = h;
2973       }
2974     else
2975       {
2976       host_item *hh = newlist;
2977       while (hh->next != NULL)
2978         {
2979         if (h->sort_key < hh->next->sort_key) break;
2980         hh = hh->next;
2981         }
2982       h->next = hh->next;
2983       hh->next = h;
2984       }
2985     }
2986
2987   hostlist = addrlist->host_list = newlist;
2988   }
2989
2990 /* Sort out the default port.  */
2991
2992 if (!smtp_get_port(ob->port, addrlist, &port, tid)) return FALSE;
2993
2994 /* For each host-plus-IP-address on the list:
2995
2996 .  If this is a continued delivery and the host isn't the one with the
2997    current connection, skip.
2998
2999 .  If the status is unusable (i.e. previously failed or retry checked), skip.
3000
3001 .  If no IP address set, get the address, either by turning the name into
3002    an address, calling gethostbyname if gethostbyname is on, or by calling
3003    the DNS. The DNS may yield multiple addresses, in which case insert the
3004    extra ones into the list.
3005
3006 .  Get the retry data if not previously obtained for this address and set the
3007    field which remembers the state of this address. Skip if the retry time is
3008    not reached. If not, remember whether retry data was found. The retry string
3009    contains both the name and the IP address.
3010
3011 .  Scan the list of addresses and mark those whose status is DEFER as
3012    PENDING_DEFER. These are the only ones that will be processed in this cycle
3013    of the hosts loop.
3014
3015 .  Make a delivery attempt - addresses marked PENDING_DEFER will be tried.
3016    Some addresses may be successfully delivered, others may fail, and yet
3017    others may get temporary errors and so get marked DEFER.
3018
3019 .  The return from the delivery attempt is OK if a connection was made and a
3020    valid SMTP dialogue was completed. Otherwise it is DEFER.
3021
3022 .  If OK, add a "remove" retry item for this host/IPaddress, if any.
3023
3024 .  If fail to connect, or other defer state, add a retry item.
3025
3026 .  If there are any addresses whose status is still DEFER, carry on to the
3027    next host/IPaddress, unless we have tried the number of hosts given
3028    by hosts_max_try or hosts_max_try_hardlimit; otherwise return. Note that
3029    there is some fancy logic for hosts_max_try that means its limit can be
3030    overstepped in some circumstances.
3031
3032 If we get to the end of the list, all hosts have deferred at least one address,
3033 or not reached their retry times. If delay_after_cutoff is unset, it requests a
3034 delivery attempt to those hosts whose last try was before the arrival time of
3035 the current message. To cope with this, we have to go round the loop a second
3036 time. After that, set the status and error data for any addresses that haven't
3037 had it set already. */
3038
3039 for (cutoff_retry = 0; expired &&
3040      cutoff_retry < ((ob->delay_after_cutoff)? 1 : 2);
3041      cutoff_retry++)
3042   {
3043   host_item *nexthost = NULL;
3044   int unexpired_hosts_tried = 0;
3045
3046   for (host = hostlist;
3047        host != NULL &&
3048          unexpired_hosts_tried < ob->hosts_max_try &&
3049          total_hosts_tried < ob->hosts_max_try_hardlimit;
3050        host = nexthost)
3051     {
3052     int rc;
3053     int host_af;
3054     uschar *rs;
3055     BOOL serialized = FALSE;
3056     BOOL host_is_expired = FALSE;
3057     BOOL message_defer = FALSE;
3058     BOOL ifchanges = FALSE;
3059     BOOL some_deferred = FALSE;
3060     address_item *first_addr = NULL;
3061     uschar *interface = NULL;
3062     uschar *retry_host_key = NULL;
3063     uschar *retry_message_key = NULL;
3064     uschar *serialize_key = NULL;
3065
3066     /* Default next host is next host. :-) But this can vary if the
3067     hosts_max_try limit is hit (see below). It may also be reset if a host
3068     address is looked up here (in case the host was multihomed). */
3069
3070     nexthost = host->next;
3071
3072     /* If the address hasn't yet been obtained from the host name, look it up
3073     now, unless the host is already marked as unusable. If it is marked as
3074     unusable, it means that the router was unable to find its IP address (in
3075     the DNS or wherever) OR we are in the 2nd time round the cutoff loop, and
3076     the lookup failed last time. We don't get this far if *all* MX records
3077     point to non-existent hosts; that is treated as a hard error.
3078
3079     We can just skip this host entirely. When the hosts came from the router,
3080     the address will timeout based on the other host(s); when the address is
3081     looked up below, there is an explicit retry record added.
3082
3083     Note that we mustn't skip unusable hosts if the address is not unset; they
3084     may be needed as expired hosts on the 2nd time round the cutoff loop. */
3085
3086     if (host->address == NULL)
3087       {
3088       int new_port, flags;
3089       host_item *hh;
3090
3091       if (host->status >= hstatus_unusable)
3092         {
3093         DEBUG(D_transport) debug_printf("%s has no address and is unusable - skipping\n",
3094           host->name);
3095         continue;
3096         }
3097
3098       DEBUG(D_transport) debug_printf("getting address for %s\n", host->name);
3099
3100       /* The host name is permitted to have an attached port. Find it, and
3101       strip it from the name. Just remember it for now. */
3102
3103       new_port = host_item_get_port(host);
3104
3105       /* Count hosts looked up */
3106
3107       hosts_looked_up++;
3108
3109       /* Find by name if so configured, or if it's an IP address. We don't
3110       just copy the IP address, because we need the test-for-local to happen. */
3111
3112       flags = HOST_FIND_BY_A;
3113       if (ob->dns_qualify_single) flags |= HOST_FIND_QUALIFY_SINGLE;
3114       if (ob->dns_search_parents) flags |= HOST_FIND_SEARCH_PARENTS;
3115
3116       if (ob->gethostbyname || string_is_ip_address(host->name, NULL) != 0)
3117         rc = host_find_byname(host, NULL, flags, NULL, TRUE);
3118       else
3119         rc = host_find_bydns(host, NULL, flags, NULL, NULL, NULL,
3120           ob->dnssec_request_domains, ob->dnssec_require_domains,
3121           NULL, NULL);
3122
3123       /* Update the host (and any additional blocks, resulting from
3124       multihoming) with a host-specific port, if any. */
3125
3126       for (hh = host; hh != nexthost; hh = hh->next) hh->port = new_port;
3127
3128       /* Failure to find the host at this time (usually DNS temporary failure)
3129       is really a kind of routing failure rather than a transport failure.
3130       Therefore we add a retry item of the routing kind, not to stop us trying
3131       to look this name up here again, but to ensure the address gets timed
3132       out if the failures go on long enough. A complete failure at this point
3133       commonly points to a configuration error, but the best action is still
3134       to carry on for the next host. */
3135
3136       if (rc == HOST_FIND_AGAIN || rc == HOST_FIND_FAILED)
3137         {
3138         retry_add_item(addrlist, string_sprintf("R:%s", host->name), 0);
3139         expired = FALSE;
3140         if (rc == HOST_FIND_AGAIN) hosts_defer++; else hosts_fail++;
3141         DEBUG(D_transport) debug_printf("rc = %s for %s\n", (rc == HOST_FIND_AGAIN)?
3142           "HOST_FIND_AGAIN" : "HOST_FIND_FAILED", host->name);
3143         host->status = hstatus_unusable;
3144
3145         for (addr = addrlist; addr != NULL; addr = addr->next)
3146           {
3147           if (addr->transport_return != DEFER) continue;
3148           addr->basic_errno = ERRNO_UNKNOWNHOST;
3149           addr->message =
3150             string_sprintf("failed to lookup IP address for %s", host->name);
3151           }
3152         continue;
3153         }
3154
3155       /* If the host is actually the local host, we may have a problem, or
3156       there may be some cunning configuration going on. In the problem case,
3157       log things and give up. The default transport status is already DEFER. */
3158
3159       if (rc == HOST_FOUND_LOCAL && !ob->allow_localhost)
3160         {
3161         for (addr = addrlist; addr != NULL; addr = addr->next)
3162           {
3163           addr->basic_errno = 0;
3164           addr->message = string_sprintf("%s transport found host %s to be "
3165             "local", tblock->name, host->name);
3166           }
3167         goto END_TRANSPORT;
3168         }
3169       }   /* End of block for IP address lookup */
3170
3171     /* If this is a continued delivery, we are interested only in the host
3172     which matches the name of the existing open channel. The check is put
3173     here after the local host lookup, in case the name gets expanded as a
3174     result of the lookup. Set expired FALSE, to save the outer loop executing
3175     twice. */
3176
3177     if (continuing && (Ustrcmp(continue_hostname, host->name) != 0 ||
3178                        Ustrcmp(continue_host_address, host->address) != 0))
3179       {
3180       expired = FALSE;
3181       continue;      /* With next host */
3182       }
3183
3184     /* Reset the default next host in case a multihomed host whose addresses
3185     are not looked up till just above added to the host list. */
3186
3187     nexthost = host->next;
3188
3189     /* If queue_smtp is set (-odqs or the first part of a 2-stage run), or the
3190     domain is in queue_smtp_domains, we don't actually want to attempt any
3191     deliveries. When doing a queue run, queue_smtp_domains is always unset. If
3192     there is a lookup defer in queue_smtp_domains, proceed as if the domain
3193     were not in it. We don't want to hold up all SMTP deliveries! Except when
3194     doing a two-stage queue run, don't do this if forcing. */
3195
3196     if ((!deliver_force || queue_2stage) && (queue_smtp ||
3197         match_isinlist(addrlist->domain,
3198           (const uschar **)&queue_smtp_domains, 0,
3199           &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK))
3200       {
3201       expired = FALSE;
3202       for (addr = addrlist; addr != NULL; addr = addr->next)
3203         {
3204         if (addr->transport_return != DEFER) continue;
3205         addr->message = US"domain matches queue_smtp_domains, or -odqs set";
3206         }
3207       continue;      /* With next host */
3208       }
3209
3210     /* Count hosts being considered - purely for an intelligent comment
3211     if none are usable. */
3212
3213     hosts_total++;
3214
3215     /* Set $host and $host address now in case they are needed for the
3216     interface expansion or the serialize_hosts check; they remain set if an
3217     actual delivery happens. */
3218
3219     deliver_host = host->name;
3220     deliver_host_address = host->address;
3221     lookup_dnssec_authenticated = host->dnssec == DS_YES ? US"yes"
3222                                 : host->dnssec == DS_NO ? US"no"
3223                                 : US"";
3224
3225     /* Set up a string for adding to the retry key if the port number is not
3226     the standard SMTP port. A host may have its own port setting that overrides
3227     the default. */
3228
3229     pistring = string_sprintf(":%d", (host->port == PORT_NONE)?
3230       port : host->port);
3231     if (Ustrcmp(pistring, ":25") == 0) pistring = US"";
3232
3233     /* Select IPv4 or IPv6, and choose an outgoing interface. If the interface
3234     string changes upon expansion, we must add it to the key that is used for
3235     retries, because connections to the same host from a different interface
3236     should be treated separately. */
3237
3238     host_af = (Ustrchr(host->address, ':') == NULL)? AF_INET : AF_INET6;
3239     if (!smtp_get_interface(ob->interface, host_af, addrlist, &ifchanges,
3240          &interface, tid))
3241       return FALSE;
3242     if (ifchanges) pistring = string_sprintf("%s/%s", pistring, interface);
3243
3244     /* The first time round the outer loop, check the status of the host by
3245     inspecting the retry data. The second time round, we are interested only
3246     in expired hosts that haven't been tried since this message arrived. */
3247
3248     if (cutoff_retry == 0)
3249       {
3250       BOOL incl_ip;
3251       /* Ensure the status of the address is set by checking retry data if
3252       necessary. There may be host-specific retry data (applicable to all
3253       messages) and also data for retries of a specific message at this host.
3254       If either of these retry records are actually read, the keys used are
3255       returned to save recomputing them later. */
3256
3257       if (exp_bool(addrlist, US"transport", tblock->name, D_transport,
3258                 US"retry_include_ip_address", ob->retry_include_ip_address,
3259                 ob->expand_retry_include_ip_address, &incl_ip) != OK)
3260         continue;       /* with next host */
3261
3262       host_is_expired = retry_check_address(addrlist->domain, host, pistring,
3263         incl_ip, &retry_host_key, &retry_message_key);
3264
3265       DEBUG(D_transport) debug_printf("%s [%s]%s status = %s\n", host->name,
3266         (host->address == NULL)? US"" : host->address, pistring,
3267         (host->status == hstatus_usable)? "usable" :
3268         (host->status == hstatus_unusable)? "unusable" :
3269         (host->status == hstatus_unusable_expired)? "unusable (expired)" : "?");
3270
3271       /* Skip this address if not usable at this time, noting if it wasn't
3272       actually expired, both locally and in the address. */
3273
3274       switch (host->status)
3275         {
3276         case hstatus_unusable:
3277         expired = FALSE;
3278         setflag(addrlist, af_retry_skipped);
3279         /* Fall through */
3280
3281         case hstatus_unusable_expired:
3282         switch (host->why)
3283           {
3284           case hwhy_retry: hosts_retry++; break;
3285           case hwhy_failed:  hosts_fail++; break;
3286           case hwhy_deferred: hosts_defer++; break;
3287           }
3288
3289         /* If there was a retry message key, implying that previously there
3290         was a message-specific defer, we don't want to update the list of
3291         messages waiting for these hosts. */
3292
3293         if (retry_message_key != NULL) update_waiting = FALSE;
3294         continue;   /* With the next host or IP address */
3295         }
3296       }
3297
3298     /* Second time round the loop: if the address is set but expired, and
3299     the message is newer than the last try, let it through. */
3300
3301     else
3302       {
3303       if (host->address == NULL ||
3304           host->status != hstatus_unusable_expired ||
3305           host->last_try > received_time)
3306         continue;
3307       DEBUG(D_transport)
3308         debug_printf("trying expired host %s [%s]%s\n",
3309           host->name, host->address, pistring);
3310       host_is_expired = TRUE;
3311       }
3312
3313     /* Setting "expired=FALSE" doesn't actually mean not all hosts are expired;
3314     it remains TRUE only if all hosts are expired and none are actually tried.
3315     */
3316
3317     expired = FALSE;
3318
3319     /* If this host is listed as one to which access must be serialized,
3320     see if another Exim process has a connection to it, and if so, skip
3321     this host. If not, update the database to record our connection to it
3322     and remember this for later deletion. Do not do any of this if we are
3323     sending the message down a pre-existing connection. */
3324
3325     if (!continuing &&
3326         verify_check_given_host(&ob->serialize_hosts, host) == OK)
3327       {
3328       serialize_key = string_sprintf("host-serialize-%s", host->name);
3329       if (!enq_start(serialize_key))
3330         {
3331         DEBUG(D_transport)
3332           debug_printf("skipping host %s because another Exim process "
3333             "is connected to it\n", host->name);
3334         hosts_serial++;
3335         continue;
3336         }
3337       serialized = TRUE;
3338       }
3339
3340     /* OK, we have an IP address that is not waiting for its retry time to
3341     arrive (it might be expired) OR (second time round the loop) we have an
3342     expired host that hasn't been tried since the message arrived. Have a go
3343     at delivering the message to it. First prepare the addresses by flushing
3344     out the result of previous attempts, and finding the first address that
3345     is still to be delivered. */
3346
3347     first_addr = prepare_addresses(addrlist, host);
3348
3349     DEBUG(D_transport) debug_printf("delivering %s to %s [%s] (%s%s)\n",
3350       message_id, host->name, host->address, addrlist->address,
3351       (addrlist->next == NULL)? "" : ", ...");
3352
3353     set_process_info("delivering %s to %s [%s] (%s%s)",
3354       message_id, host->name, host->address, addrlist->address,
3355       (addrlist->next == NULL)? "" : ", ...");
3356
3357     /* This is not for real; don't do the delivery. If there are
3358     any remaining hosts, list them. */
3359
3360     if (dont_deliver)
3361       {
3362       host_item *host2;
3363       set_errno(addrlist, 0, NULL, OK, FALSE, NULL);
3364       for (addr = addrlist; addr != NULL; addr = addr->next)
3365         {
3366         addr->host_used = host;
3367         addr->special_action = '*';
3368         addr->message = US"delivery bypassed by -N option";
3369         }
3370       DEBUG(D_transport)
3371         {
3372         debug_printf("*** delivery by %s transport bypassed by -N option\n"
3373                      "*** host and remaining hosts:\n", tblock->name);
3374         for (host2 = host; host2 != NULL; host2 = host2->next)
3375           debug_printf("    %s [%s]\n", host2->name,
3376             (host2->address == NULL)? US"unset" : host2->address);
3377         }
3378       rc = OK;
3379       }
3380
3381     /* This is for real. If the host is expired, we don't count it for
3382     hosts_max_retry. This ensures that all hosts must expire before an address
3383     is timed out, unless hosts_max_try_hardlimit (which protects against
3384     lunatic DNS configurations) is reached.
3385
3386     If the host is not expired and we are about to hit the hosts_max_retry
3387     limit, check to see if there is a subsequent hosts with a different MX
3388     value. If so, make that the next host, and don't count this one. This is a
3389     heuristic to make sure that different MXs do get tried. With a normal kind
3390     of retry rule, they would get tried anyway when the earlier hosts were
3391     delayed, but if the domain has a "retry every time" type of rule - as is
3392     often used for the the very large ISPs, that won't happen. */
3393
3394     else
3395       {
3396       host_item * thost;
3397       /* Make a copy of the host if it is local to this invocation
3398        of the transport. */
3399
3400       if (expanded_hosts)
3401         {
3402         thost = store_get(sizeof(host_item));
3403         *thost = *host;
3404         thost->name = string_copy(host->name);
3405         thost->address = string_copy(host->address);
3406         }
3407       else
3408         thost = host;
3409
3410       if (!host_is_expired && ++unexpired_hosts_tried >= ob->hosts_max_try)
3411         {
3412         host_item *h;
3413         DEBUG(D_transport)
3414           debug_printf("hosts_max_try limit reached with this host\n");
3415         for (h = host; h != NULL; h = h->next)
3416           if (h->mx != host->mx) break;
3417         if (h != NULL)
3418           {
3419           nexthost = h;
3420           unexpired_hosts_tried--;
3421           DEBUG(D_transport) debug_printf("however, a higher MX host exists "
3422             "and will be tried\n");
3423           }
3424         }
3425
3426       /* Attempt the delivery. */
3427
3428       total_hosts_tried++;
3429       rc = smtp_deliver(addrlist, thost, host_af, port, interface, tblock,
3430         &message_defer, FALSE);
3431
3432       /* Yield is one of:
3433          OK     => connection made, each address contains its result;
3434                      message_defer is set for message-specific defers (when all
3435                      recipients are marked defer)
3436          DEFER  => there was a non-message-specific delivery problem;
3437          ERROR  => there was a problem setting up the arguments for a filter,
3438                    or there was a problem with expanding added headers
3439       */
3440
3441       /* If the result is not OK, there was a non-message-specific problem.
3442       If the result is DEFER, we need to write to the logs saying what happened
3443       for this particular host, except in the case of authentication and TLS
3444       failures, where the log has already been written. If all hosts defer a
3445       general message is written at the end. */
3446
3447       if (rc == DEFER && first_addr->basic_errno != ERRNO_AUTHFAIL &&
3448                          first_addr->basic_errno != ERRNO_TLSFAILURE)
3449         write_logs(first_addr, host);
3450
3451 #ifdef EXPERIMENTAL_EVENT
3452       if (rc == DEFER)
3453         deferred_event_raise(first_addr, host);
3454 #endif
3455
3456       /* If STARTTLS was accepted, but there was a failure in setting up the
3457       TLS session (usually a certificate screwup), and the host is not in
3458       hosts_require_tls, and tls_tempfail_tryclear is true, try again, with
3459       TLS forcibly turned off. We have to start from scratch with a new SMTP
3460       connection. That's why the retry is done from here, not from within
3461       smtp_deliver(). [Rejections of STARTTLS itself don't screw up the
3462       session, so the in-clear transmission after those errors, if permitted,
3463       happens inside smtp_deliver().] */
3464
3465 #ifdef SUPPORT_TLS
3466       if (  rc == DEFER
3467          && first_addr->basic_errno == ERRNO_TLSFAILURE
3468          && ob->tls_tempfail_tryclear
3469          && verify_check_given_host(&ob->hosts_require_tls, host) != OK
3470          )
3471         {
3472         log_write(0, LOG_MAIN, "TLS session failure: delivering unencrypted "
3473           "to %s [%s] (not in hosts_require_tls)", host->name, host->address);
3474         first_addr = prepare_addresses(addrlist, host);
3475         rc = smtp_deliver(addrlist, thost, host_af, port, interface, tblock,
3476           &message_defer, TRUE);
3477         if (rc == DEFER && first_addr->basic_errno != ERRNO_AUTHFAIL)
3478           write_logs(first_addr, host);
3479 # ifdef EXPERIMENTAL_EVENT
3480         if (rc == DEFER)
3481           deferred_event_raise(first_addr, host);
3482 # endif
3483         }
3484 #endif  /*SUPPORT_TLS*/
3485       }
3486
3487     /* Delivery attempt finished */
3488
3489     rs = (rc == OK)? US"OK" : (rc == DEFER)? US"DEFER" : (rc == ERROR)?
3490       US"ERROR" : US"?";
3491
3492     set_process_info("delivering %s: just tried %s [%s] for %s%s: result %s",
3493       message_id, host->name, host->address, addrlist->address,
3494       (addrlist->next == NULL)? "" : " (& others)", rs);
3495
3496     /* Release serialization if set up */
3497
3498     if (serialized) enq_end(serialize_key);
3499
3500     /* If the result is DEFER, or if a host retry record is known to exist, we
3501     need to add an item to the retry chain for updating the retry database
3502     at the end of delivery. We only need to add the item to the top address,
3503     of course. Also, if DEFER, we mark the IP address unusable so as to skip it
3504     for any other delivery attempts using the same address. (It is copied into
3505     the unusable tree at the outer level, so even if different address blocks
3506     contain the same address, it still won't get tried again.) */
3507
3508     if (rc == DEFER || retry_host_key != NULL)
3509       {
3510       int delete_flag = (rc != DEFER)? rf_delete : 0;
3511       if (retry_host_key == NULL)
3512         {
3513         BOOL incl_ip;
3514         if (exp_bool(addrlist, US"transport", tblock->name, D_transport,
3515                   US"retry_include_ip_address", ob->retry_include_ip_address,
3516                   ob->expand_retry_include_ip_address, &incl_ip) != OK)
3517           incl_ip = TRUE;       /* error; use most-specific retry record */
3518
3519         retry_host_key = incl_ip ?
3520           string_sprintf("T:%S:%s%s", host->name, host->address, pistring) :
3521           string_sprintf("T:%S%s", host->name, pistring);
3522         }
3523
3524       /* If a delivery of another message over an existing SMTP connection
3525       yields DEFER, we do NOT set up retry data for the host. This covers the
3526       case when there are delays in routing the addresses in the second message
3527       that are so long that the server times out. This is alleviated by not
3528       routing addresses that previously had routing defers when handling an
3529       existing connection, but even so, this case may occur (e.g. if a
3530       previously happily routed address starts giving routing defers). If the
3531       host is genuinely down, another non-continued message delivery will
3532       notice it soon enough. */
3533
3534       if (delete_flag != 0 || !continuing)
3535         retry_add_item(first_addr, retry_host_key, rf_host | delete_flag);
3536
3537       /* We may have tried an expired host, if its retry time has come; ensure
3538       the status reflects the expiry for the benefit of any other addresses. */
3539
3540       if (rc == DEFER)
3541         {
3542         host->status = (host_is_expired)?
3543           hstatus_unusable_expired : hstatus_unusable;
3544         host->why = hwhy_deferred;
3545         }
3546       }
3547
3548     /* If message_defer is set (host was OK, but every recipient got deferred
3549     because of some message-specific problem), or if that had happened
3550     previously so that a message retry key exists, add an appropriate item
3551     to the retry chain. Note that if there was a message defer but now there is
3552     a host defer, the message defer record gets deleted. That seems perfectly
3553     reasonable. Also, stop the message from being remembered as waiting
3554     for specific hosts. */
3555
3556     if (message_defer || retry_message_key != NULL)
3557       {
3558       int delete_flag = message_defer? 0 : rf_delete;
3559       if (retry_message_key == NULL)
3560         {
3561         BOOL incl_ip;
3562         if (exp_bool(addrlist, US"transport", tblock->name, D_transport,
3563                   US"retry_include_ip_address", ob->retry_include_ip_address,
3564                   ob->expand_retry_include_ip_address, &incl_ip) != OK)
3565           incl_ip = TRUE;       /* error; use most-specific retry record */
3566
3567         retry_message_key = incl_ip ?
3568           string_sprintf("T:%S:%s%s:%s", host->name, host->address, pistring,
3569             message_id) :
3570           string_sprintf("T:%S%s:%s", host->name, pistring, message_id);
3571         }
3572       retry_add_item(addrlist, retry_message_key,
3573         rf_message | rf_host | delete_flag);
3574       update_waiting = FALSE;
3575       }
3576
3577     /* Any return other than DEFER (that is, OK or ERROR) means that the
3578     addresses have got their final statuses filled in for this host. In the OK
3579     case, see if any of them are deferred. */
3580
3581     if (rc == OK)
3582       {
3583       for (addr = addrlist; addr != NULL; addr = addr->next)
3584         {
3585         if (addr->transport_return == DEFER)
3586           {
3587           some_deferred = TRUE;
3588           break;
3589           }
3590         }
3591       }
3592
3593     /* If no addresses deferred or the result was ERROR, return. We do this for
3594     ERROR because a failing filter set-up or add_headers expansion is likely to
3595     fail for any host we try. */
3596
3597     if (rc == ERROR || (rc == OK && !some_deferred))
3598       {
3599       DEBUG(D_transport) debug_printf("Leaving %s transport\n", tblock->name);
3600       return TRUE;    /* Each address has its status */
3601       }
3602
3603     /* If the result was DEFER or some individual addresses deferred, let
3604     the loop run to try other hosts with the deferred addresses, except for the
3605     case when we were trying to deliver down an existing channel and failed.
3606     Don't try any other hosts in this case. */
3607
3608     if (continuing) break;
3609
3610     /* If the whole delivery, or some individual addresses, were deferred and
3611     there are more hosts that could be tried, do not count this host towards
3612     the hosts_max_try limit if the age of the message is greater than the
3613     maximum retry time for this host. This means we may try try all hosts,
3614     ignoring the limit, when messages have been around for some time. This is
3615     important because if we don't try all hosts, the address will never time
3616     out. NOTE: this does not apply to hosts_max_try_hardlimit. */
3617
3618     if ((rc == DEFER || some_deferred) && nexthost != NULL)
3619       {
3620       BOOL timedout;
3621       retry_config *retry = retry_find_config(host->name, NULL, 0, 0);
3622
3623       if (retry != NULL && retry->rules != NULL)
3624         {
3625         retry_rule *last_rule;
3626         for (last_rule = retry->rules;
3627              last_rule->next != NULL;
3628              last_rule = last_rule->next);
3629         timedout = time(NULL) - received_time > last_rule->timeout;
3630         }
3631       else timedout = TRUE;    /* No rule => timed out */
3632
3633       if (timedout)
3634         {
3635         unexpired_hosts_tried--;
3636         DEBUG(D_transport) debug_printf("temporary delivery error(s) override "
3637           "hosts_max_try (message older than host's retry time)\n");
3638         }
3639       }
3640     }   /* End of loop for trying multiple hosts. */
3641
3642   /* This is the end of the loop that repeats iff expired is TRUE and
3643   ob->delay_after_cutoff is FALSE. The second time round we will
3644   try those hosts that haven't been tried since the message arrived. */
3645
3646   DEBUG(D_transport)
3647     {
3648     debug_printf("all IP addresses skipped or deferred at least one address\n");
3649     if (expired && !ob->delay_after_cutoff && cutoff_retry == 0)
3650       debug_printf("retrying IP addresses not tried since message arrived\n");
3651     }
3652   }
3653
3654
3655 /* Get here if all IP addresses are skipped or defer at least one address. In
3656 MUA wrapper mode, this will happen only for connection or other non-message-
3657 specific failures. Force the delivery status for all addresses to FAIL. */
3658
3659 if (mua_wrapper)
3660   {
3661   for (addr = addrlist; addr != NULL; addr = addr->next)
3662     addr->transport_return = FAIL;
3663   goto END_TRANSPORT;
3664   }
3665
3666 /* In the normal, non-wrapper case, add a standard message to each deferred
3667 address if there hasn't been an error, that is, if it hasn't actually been
3668 tried this time. The variable "expired" will be FALSE if any deliveries were
3669 actually tried, or if there was at least one host that was not expired. That
3670 is, it is TRUE only if no deliveries were tried and all hosts were expired. If
3671 a delivery has been tried, an error code will be set, and the failing of the
3672 message is handled by the retry code later.
3673
3674 If queue_smtp is set, or this transport was called to send a subsequent message
3675 down an existing TCP/IP connection, and something caused the host not to be
3676 found, we end up here, but can detect these cases and handle them specially. */
3677
3678 for (addr = addrlist; addr != NULL; addr = addr->next)
3679   {
3680   /* If host is not NULL, it means that we stopped processing the host list
3681   because of hosts_max_try or hosts_max_try_hardlimit. In the former case, this
3682   means we need to behave as if some hosts were skipped because their retry
3683   time had not come. Specifically, this prevents the address from timing out.
3684   However, if we have hit hosts_max_try_hardlimit, we want to behave as if all
3685   hosts were tried. */
3686
3687   if (host != NULL)
3688     {
3689     if (total_hosts_tried >= ob->hosts_max_try_hardlimit)
3690       {
3691       DEBUG(D_transport)
3692         debug_printf("hosts_max_try_hardlimit reached: behave as if all "
3693           "hosts were tried\n");
3694       }
3695     else
3696       {
3697       DEBUG(D_transport)
3698         debug_printf("hosts_max_try limit caused some hosts to be skipped\n");
3699       setflag(addr, af_retry_skipped);
3700       }
3701     }
3702
3703   if (queue_smtp)    /* no deliveries attempted */
3704     {
3705     addr->transport_return = DEFER;
3706     addr->basic_errno = 0;
3707     addr->message = US"SMTP delivery explicitly queued";
3708     }
3709
3710   else if (addr->transport_return == DEFER &&
3711        (addr->basic_errno == ERRNO_UNKNOWNERROR || addr->basic_errno == 0) &&
3712        addr->message == NULL)
3713     {
3714     addr->basic_errno = ERRNO_HRETRY;
3715     if (continue_hostname != NULL)
3716       {
3717       addr->message = US"no host found for existing SMTP connection";
3718       }
3719     else if (expired)
3720       {
3721       setflag(addr, af_pass_message);   /* This is not a security risk */
3722       addr->message = (ob->delay_after_cutoff)?
3723         US"retry time not reached for any host after a long failure period" :
3724         US"all hosts have been failing for a long time and were last tried "
3725           "after this message arrived";
3726
3727       /* If we are already using fallback hosts, or there are no fallback hosts
3728       defined, convert the result to FAIL to cause a bounce. */
3729
3730       if (addr->host_list == addr->fallback_hosts ||
3731           addr->fallback_hosts == NULL)
3732         addr->transport_return = FAIL;
3733       }
3734     else
3735       {
3736       if (hosts_retry == hosts_total)
3737         addr->message = US"retry time not reached for any host";
3738       else if (hosts_fail == hosts_total)
3739         addr->message = US"all host address lookups failed permanently";
3740       else if (hosts_defer == hosts_total)
3741         addr->message = US"all host address lookups failed temporarily";
3742       else if (hosts_serial == hosts_total)
3743         addr->message = US"connection limit reached for all hosts";
3744       else if (hosts_fail+hosts_defer == hosts_total)
3745         addr->message = US"all host address lookups failed";
3746       else addr->message = US"some host address lookups failed and retry time "
3747         "not reached for other hosts or connection limit reached";
3748       }
3749     }
3750   }
3751
3752 /* Update the database which keeps information about which messages are waiting
3753 for which hosts to become available. For some message-specific errors, the
3754 update_waiting flag is turned off because we don't want follow-on deliveries in
3755 those cases.  If this transport instance is explicitly limited to one message
3756 per connection then follow-on deliveries are not possible and there's no need
3757 to create/update the per-transport wait-<transport_name> database. */
3758
3759 if (update_waiting && tblock->connection_max_messages != 1)
3760   transport_update_waiting(hostlist, tblock->name);
3761
3762 END_TRANSPORT:
3763
3764 DEBUG(D_transport) debug_printf("Leaving %s transport\n", tblock->name);
3765
3766 return TRUE;   /* Each address has its status */
3767 }
3768
3769 /* vi: aw ai sw=2
3770 */
3771 /* End of transport/smtp.c */