Arrange to call dns_init() for host_find_byname() as well as for
[exim.git] / src / src / transports / smtp.c
1 /* $Cambridge: exim/src/src/transports/smtp.c,v 1.27 2006/10/09 14:36:25 ph10 Exp $ */
2
3 /*************************************************
4 *     Exim - an Internet mail transport agent    *
5 *************************************************/
6
7 /* Copyright (c) University of Cambridge 1995 - 2006 */
8 /* See the file NOTICE for conditions of use and distribution. */
9
10 #include "../exim.h"
11 #include "smtp.h"
12
13 #define PENDING          256
14 #define PENDING_DEFER   (PENDING + DEFER)
15 #define PENDING_OK      (PENDING + OK)
16
17
18 /* Options specific to the smtp transport. This transport also supports LMTP
19 over TCP/IP. The options must be in alphabetic order (note that "_" comes
20 before the lower case letters). Some live in the transport_instance block so as
21 to be publicly visible; these are flagged with opt_public. */
22
23 optionlist smtp_transport_options[] = {
24   { "allow_localhost",      opt_bool,
25       (void *)offsetof(smtp_transport_options_block, allow_localhost) },
26   { "authenticated_sender", opt_stringptr,
27       (void *)offsetof(smtp_transport_options_block, authenticated_sender) },
28   { "authenticated_sender_force", opt_bool,
29       (void *)offsetof(smtp_transport_options_block, authenticated_sender_force) },
30   { "command_timeout",      opt_time,
31       (void *)offsetof(smtp_transport_options_block, command_timeout) },
32   { "connect_timeout",      opt_time,
33       (void *)offsetof(smtp_transport_options_block, connect_timeout) },
34   { "connection_max_messages", opt_int | opt_public,
35       (void *)offsetof(transport_instance, connection_max_messages) },
36   { "data_timeout",         opt_time,
37       (void *)offsetof(smtp_transport_options_block, data_timeout) },
38   { "delay_after_cutoff", opt_bool,
39       (void *)offsetof(smtp_transport_options_block, delay_after_cutoff) },
40 #ifdef EXPERIMENTAL_DOMAINKEYS
41   { "dk_canon", opt_stringptr,
42       (void *)offsetof(smtp_transport_options_block, dk_canon) },
43   { "dk_domain", opt_stringptr,
44       (void *)offsetof(smtp_transport_options_block, dk_domain) },
45   { "dk_headers", opt_stringptr,
46       (void *)offsetof(smtp_transport_options_block, dk_headers) },
47   { "dk_private_key", opt_stringptr,
48       (void *)offsetof(smtp_transport_options_block, dk_private_key) },
49   { "dk_selector", opt_stringptr,
50       (void *)offsetof(smtp_transport_options_block, dk_selector) },
51   { "dk_strict", opt_stringptr,
52       (void *)offsetof(smtp_transport_options_block, dk_strict) },
53 #endif
54   { "dns_qualify_single",   opt_bool,
55       (void *)offsetof(smtp_transport_options_block, dns_qualify_single) },
56   { "dns_search_parents",   opt_bool,
57       (void *)offsetof(smtp_transport_options_block, dns_search_parents) },
58   { "fallback_hosts",       opt_stringptr,
59       (void *)offsetof(smtp_transport_options_block, fallback_hosts) },
60   { "final_timeout",        opt_time,
61       (void *)offsetof(smtp_transport_options_block, final_timeout) },
62   { "gethostbyname",        opt_bool,
63       (void *)offsetof(smtp_transport_options_block, gethostbyname) },
64   { "helo_data",            opt_stringptr,
65       (void *)offsetof(smtp_transport_options_block, helo_data) },
66   { "hosts",                opt_stringptr,
67       (void *)offsetof(smtp_transport_options_block, hosts) },
68   { "hosts_avoid_esmtp",    opt_stringptr,
69       (void *)offsetof(smtp_transport_options_block, hosts_avoid_esmtp) },
70   #ifdef SUPPORT_TLS
71   { "hosts_avoid_tls",      opt_stringptr,
72       (void *)offsetof(smtp_transport_options_block, hosts_avoid_tls) },
73   #endif
74   { "hosts_max_try",        opt_int,
75       (void *)offsetof(smtp_transport_options_block, hosts_max_try) },
76   { "hosts_max_try_hardlimit", opt_int,
77       (void *)offsetof(smtp_transport_options_block, hosts_max_try_hardlimit) },
78   #ifdef SUPPORT_TLS
79   { "hosts_nopass_tls",     opt_stringptr,
80       (void *)offsetof(smtp_transport_options_block, hosts_nopass_tls) },
81   #endif
82   { "hosts_override",       opt_bool,
83       (void *)offsetof(smtp_transport_options_block, hosts_override) },
84   { "hosts_randomize",      opt_bool,
85       (void *)offsetof(smtp_transport_options_block, hosts_randomize) },
86   { "hosts_require_auth",   opt_stringptr,
87       (void *)offsetof(smtp_transport_options_block, hosts_require_auth) },
88   #ifdef SUPPORT_TLS
89   { "hosts_require_tls",    opt_stringptr,
90       (void *)offsetof(smtp_transport_options_block, hosts_require_tls) },
91   #endif
92   { "hosts_try_auth",       opt_stringptr,
93       (void *)offsetof(smtp_transport_options_block, hosts_try_auth) },
94   { "interface",            opt_stringptr,
95       (void *)offsetof(smtp_transport_options_block, interface) },
96   { "keepalive",            opt_bool,
97       (void *)offsetof(smtp_transport_options_block, keepalive) },
98   { "lmtp_ignore_quota",    opt_bool,
99       (void *)offsetof(smtp_transport_options_block, lmtp_ignore_quota) },
100   { "max_rcpt",             opt_int | opt_public,
101       (void *)offsetof(transport_instance, max_addresses) },
102   { "multi_domain",         opt_bool | opt_public,
103       (void *)offsetof(transport_instance, multi_domain) },
104   { "port",                 opt_stringptr,
105       (void *)offsetof(smtp_transport_options_block, port) },
106   { "protocol",             opt_stringptr,
107       (void *)offsetof(smtp_transport_options_block, protocol) },
108   { "retry_include_ip_address", opt_bool,
109       (void *)offsetof(smtp_transport_options_block, retry_include_ip_address) },
110   { "serialize_hosts",      opt_stringptr,
111       (void *)offsetof(smtp_transport_options_block, serialize_hosts) },
112   { "size_addition",        opt_int,
113       (void *)offsetof(smtp_transport_options_block, size_addition) }
114   #ifdef SUPPORT_TLS
115  ,{ "tls_certificate",      opt_stringptr,
116       (void *)offsetof(smtp_transport_options_block, tls_certificate) },
117   { "tls_crl",              opt_stringptr,
118       (void *)offsetof(smtp_transport_options_block, tls_crl) },
119   { "tls_privatekey",       opt_stringptr,
120       (void *)offsetof(smtp_transport_options_block, tls_privatekey) },
121   { "tls_require_ciphers",   opt_stringptr,
122       (void *)offsetof(smtp_transport_options_block, tls_require_ciphers) },
123   { "tls_tempfail_tryclear", opt_bool,
124       (void *)offsetof(smtp_transport_options_block, tls_tempfail_tryclear) },
125   { "tls_verify_certificates", opt_stringptr,
126       (void *)offsetof(smtp_transport_options_block, tls_verify_certificates) }
127   #endif
128 };
129
130 /* Size of the options list. An extern variable has to be used so that its
131 address can appear in the tables drtables.c. */
132
133 int smtp_transport_options_count =
134   sizeof(smtp_transport_options)/sizeof(optionlist);
135
136 /* Default private options block for the smtp transport. */
137
138 smtp_transport_options_block smtp_transport_option_defaults = {
139   NULL,                /* hosts */
140   NULL,                /* fallback_hosts */
141   NULL,                /* hostlist */
142   NULL,                /* fallback_hostlist */
143   NULL,                /* authenticated_sender */
144   US"$primary_hostname", /* helo_data */
145   NULL,                /* interface */
146   NULL,                /* port */
147   US"smtp",            /* protocol */
148   NULL,                /* serialize_hosts */
149   NULL,                /* hosts_try_auth */
150   NULL,                /* hosts_require_auth */
151   NULL,                /* hosts_require_tls */
152   NULL,                /* hosts_avoid_tls */
153   NULL,                /* hosts_avoid_esmtp */
154   NULL,                /* hosts_nopass_tls */
155   5*60,                /* command_timeout */
156   5*60,                /* connect_timeout; shorter system default overrides */
157   5*60,                /* data timeout */
158   10*60,               /* final timeout */
159   1024,                /* size_addition */
160   5,                   /* hosts_max_try */
161   50,                  /* hosts_max_try_hardlimit */
162   FALSE,               /* allow_localhost */
163   FALSE,               /* authenticated_sender_force */
164   FALSE,               /* gethostbyname */
165   TRUE,                /* dns_qualify_single */
166   FALSE,               /* dns_search_parents */
167   TRUE,                /* delay_after_cutoff */
168   FALSE,               /* hosts_override */
169   FALSE,               /* hosts_randomize */
170   TRUE,                /* keepalive */
171   FALSE,               /* lmtp_ignore_quota */
172   TRUE                 /* retry_include_ip_address */
173   #ifdef SUPPORT_TLS
174  ,NULL,                /* tls_certificate */
175   NULL,                /* tls_crl */
176   NULL,                /* tls_privatekey */
177   NULL,                /* tls_require_ciphers */
178   NULL,                /* tls_verify_certificates */
179   TRUE                 /* tls_tempfail_tryclear */
180   #endif
181   #ifdef EXPERIMENTAL_DOMAINKEYS
182  ,NULL,                /* dk_canon */
183   NULL,                /* dk_domain */
184   NULL,                /* dk_headers */
185   NULL,                /* dk_private_key */
186   NULL,                /* dk_selector */
187   NULL                 /* dk_strict */
188   #endif
189 };
190
191
192 /* Local statics */
193
194 static uschar *smtp_command;   /* Points to last cmd for error messages */
195 static uschar *mail_command;   /* Points to MAIL cmd for error messages */
196
197
198 /*************************************************
199 *             Setup entry point                  *
200 *************************************************/
201
202 /* This function is called when the transport is about to be used,
203 but before running it in a sub-process. It is used for two things:
204
205   (1) To set the fallback host list in addresses, when delivering.
206   (2) To pass back the interface, port, protocol, and other options, for use
207       during callout verification.
208
209 Arguments:
210   tblock    pointer to the transport instance block
211   addrlist  list of addresses about to be transported
212   tf        if not NULL, pointer to block in which to return options
213   uid       the uid that will be set (not used)
214   gid       the gid that will be set (not used)
215   errmsg    place for error message (not used)
216
217 Returns:  OK always (FAIL, DEFER not used)
218 */
219
220 static int
221 smtp_transport_setup(transport_instance *tblock, address_item *addrlist,
222   transport_feedback *tf, uid_t uid, gid_t gid, uschar **errmsg)
223 {
224 smtp_transport_options_block *ob =
225   (smtp_transport_options_block *)(tblock->options_block);
226
227 errmsg = errmsg;    /* Keep picky compilers happy */
228 uid = uid;
229 gid = gid;
230
231 /* Pass back options if required. This interface is getting very messy. */
232
233 if (tf != NULL)
234   {
235   tf->interface = ob->interface;
236   tf->port = ob->port;
237   tf->protocol = ob->protocol;
238   tf->hosts = ob->hosts;
239   tf->hosts_override = ob->hosts_override;
240   tf->hosts_randomize = ob->hosts_randomize;
241   tf->gethostbyname = ob->gethostbyname;
242   tf->qualify_single = ob->dns_qualify_single;
243   tf->search_parents = ob->dns_search_parents;
244   tf->helo_data = ob->helo_data;
245   }
246
247 /* Set the fallback host list for all the addresses that don't have fallback
248 host lists, provided that the local host wasn't present in the original host
249 list. */
250
251 if (!testflag(addrlist, af_local_host_removed))
252   {
253   for (; addrlist != NULL; addrlist = addrlist->next)
254     if (addrlist->fallback_hosts == NULL)
255       addrlist->fallback_hosts = ob->fallback_hostlist;
256   }
257
258 return OK;
259 }
260
261
262
263 /*************************************************
264 *          Initialization entry point            *
265 *************************************************/
266
267 /* Called for each instance, after its options have been read, to
268 enable consistency checks to be done, or anything else that needs
269 to be set up.
270
271 Argument:   pointer to the transport instance block
272 Returns:    nothing
273 */
274
275 void
276 smtp_transport_init(transport_instance *tblock)
277 {
278 smtp_transport_options_block *ob =
279   (smtp_transport_options_block *)(tblock->options_block);
280
281 /* Retry_use_local_part defaults FALSE if unset */
282
283 if (tblock->retry_use_local_part == TRUE_UNSET)
284   tblock->retry_use_local_part = FALSE;
285
286 /* Set the default port according to the protocol */
287
288 if (ob->port == NULL)
289   ob->port = (strcmpic(ob->protocol, US"lmtp") == 0)? US"lmtp" : US"smtp";
290
291 /* Set up the setup entry point, to be called before subprocesses for this
292 transport. */
293
294 tblock->setup = smtp_transport_setup;
295
296 /* Complain if any of the timeouts are zero. */
297
298 if (ob->command_timeout <= 0 || ob->data_timeout <= 0 ||
299     ob->final_timeout <= 0)
300   log_write(0, LOG_PANIC_DIE|LOG_CONFIG,
301     "command, data, or final timeout value is zero for %s transport",
302       tblock->name);
303
304 /* If hosts_override is set and there are local hosts, set the global
305 flag that stops verify from showing router hosts. */
306
307 if (ob->hosts_override && ob->hosts != NULL) tblock->overrides_hosts = TRUE;
308
309 /* If there are any fallback hosts listed, build a chain of host items
310 for them, but do not do any lookups at this time. */
311
312 host_build_hostlist(&(ob->fallback_hostlist), ob->fallback_hosts, FALSE);
313 }
314
315
316
317
318
319 /*************************************************
320 *   Set delivery info into all active addresses  *
321 *************************************************/
322
323 /* Only addresses whose status is >= PENDING are relevant. A lesser
324 status means that an address is not currently being processed.
325
326 Arguments:
327   addrlist       points to a chain of addresses
328   errno_value    to put in each address's errno field
329   msg            to put in each address's message field
330   rc             to put in each address's transport_return field
331   pass_message   if TRUE, set the "pass message" flag in the address
332
333 If errno_value has the special value ERRNO_CONNECTTIMEOUT, ETIMEDOUT is put in
334 the errno field, and RTEF_CTOUT is ORed into the more_errno field, to indicate
335 this particular type of timeout.
336
337 Returns:       nothing
338 */
339
340 static void
341 set_errno(address_item *addrlist, int errno_value, uschar *msg, int rc,
342   BOOL pass_message)
343 {
344 address_item *addr;
345 int orvalue = 0;
346 if (errno_value == ERRNO_CONNECTTIMEOUT)
347   {
348   errno_value = ETIMEDOUT;
349   orvalue = RTEF_CTOUT;
350   }
351 for (addr = addrlist; addr != NULL; addr = addr->next)
352   {
353   if (addr->transport_return < PENDING) continue;
354   addr->basic_errno = errno_value;
355   addr->more_errno |= orvalue;
356   if (msg != NULL)
357     {
358     addr->message = msg;
359     if (pass_message) setflag(addr, af_pass_message);
360     }
361   addr->transport_return = rc;
362   }
363 }
364
365
366
367 /*************************************************
368 *          Check an SMTP response                *
369 *************************************************/
370
371 /* This function is given an errno code and the SMTP response buffer
372 to analyse, together with the host identification for generating messages. It
373 sets an appropriate message and puts the first digit of the response code into
374 the yield variable. If no response was actually read, a suitable digit is
375 chosen.
376
377 Arguments:
378   host           the current host, to get its name for messages
379   errno_value    pointer to the errno value
380   more_errno     from the top address for use with ERRNO_FILTER_FAIL
381   buffer         the SMTP response buffer
382   yield          where to put a one-digit SMTP response code
383   message        where to put an errror message
384   pass_message   set TRUE if message is an SMTP response
385
386 Returns:         TRUE if an SMTP "QUIT" command should be sent, else FALSE
387 */
388
389 static BOOL check_response(host_item *host, int *errno_value, int more_errno,
390   uschar *buffer, int *yield, uschar **message, BOOL *pass_message)
391 {
392 uschar *pl = US"";
393
394 if (smtp_use_pipelining &&
395     (Ustrcmp(smtp_command, "MAIL") == 0 ||
396      Ustrcmp(smtp_command, "RCPT") == 0 ||
397      Ustrcmp(smtp_command, "DATA") == 0))
398   pl = US"pipelined ";
399
400 *yield = '4';    /* Default setting is to give a temporary error */
401
402 /* Handle response timeout */
403
404 if (*errno_value == ETIMEDOUT)
405   {
406   *message = US string_sprintf("SMTP timeout while connected to %s [%s] "
407     "after %s%s", host->name, host->address, pl, smtp_command);
408   if (transport_count > 0)
409     *message = US string_sprintf("%s (%d bytes written)", *message,
410       transport_count);
411   return FALSE;
412   }
413
414 /* Handle malformed SMTP response */
415
416 if (*errno_value == ERRNO_SMTPFORMAT)
417   {
418   uschar *malfresp = string_printing(buffer);
419   while (isspace(*malfresp)) malfresp++;
420   if (*malfresp == 0)
421     *message = string_sprintf("Malformed SMTP reply (an empty line) from "
422       "%s [%s] in response to %s%s", host->name, host->address, pl,
423       smtp_command);
424   else
425     *message = string_sprintf("Malformed SMTP reply from %s [%s] in response "
426       "to %s%s: %s", host->name, host->address, pl, smtp_command, malfresp);
427   return FALSE;
428   }
429
430 /* Handle a failed filter process error; can't send QUIT as we mustn't
431 end the DATA. */
432
433 if (*errno_value == ERRNO_FILTER_FAIL)
434   {
435   *message = US string_sprintf("transport filter process failed (%d)%s",
436     more_errno,
437     (more_errno == EX_EXECFAILED)? ": unable to execute command" : "");
438   return FALSE;
439   }
440
441 /* Handle a failed add_headers expansion; can't send QUIT as we mustn't
442 end the DATA. */
443
444 if (*errno_value == ERRNO_CHHEADER_FAIL)
445   {
446   *message =
447     US string_sprintf("failed to expand headers_add or headers_remove: %s",
448       expand_string_message);
449   return FALSE;
450   }
451
452 /* Handle failure to write a complete data block */
453
454 if (*errno_value == ERRNO_WRITEINCOMPLETE)
455   {
456   *message = US string_sprintf("failed to write a data block");
457   return FALSE;
458   }
459
460 /* Handle error responses from the remote mailer. */
461
462 if (buffer[0] != 0)
463   {
464   uschar *s = string_printing(buffer);
465   *message = US string_sprintf("SMTP error from remote mail server after %s%s: "
466     "host %s [%s]: %s", pl, smtp_command, host->name, host->address, s);
467   *pass_message = TRUE;
468   *yield = buffer[0];
469   return TRUE;
470   }
471
472 /* No data was read. If there is no errno, this must be the EOF (i.e.
473 connection closed) case, which causes deferral. An explicit connection reset
474 error has the same effect. Otherwise, put the host's identity in the message,
475 leaving the errno value to be interpreted as well. In all cases, we have to
476 assume the connection is now dead. */
477
478 if (*errno_value == 0 || *errno_value == ECONNRESET)
479   {
480   *errno_value = ERRNO_SMTPCLOSED;
481   *message = US string_sprintf("Remote host %s [%s] closed connection "
482     "in response to %s%s", host->name, host->address, pl, smtp_command);
483   }
484 else *message = US string_sprintf("%s [%s]", host->name, host->address);
485
486 return FALSE;
487 }
488
489
490
491 /*************************************************
492 *          Write error message to logs           *
493 *************************************************/
494
495 /* This writes to the main log and to the message log.
496
497 Arguments:
498   addr     the address item containing error information
499   host     the current host
500
501 Returns:   nothing
502 */
503
504 static void
505 write_logs(address_item *addr, host_item *host)
506 {
507 if (addr->message != NULL)
508   {
509   uschar *message = addr->message;
510   if (addr->basic_errno > 0)
511     message = string_sprintf("%s: %s", message, strerror(addr->basic_errno));
512   log_write(0, LOG_MAIN, "%s", message);
513   deliver_msglog("%s %s\n", tod_stamp(tod_log), message);
514   }
515 else
516   {
517   uschar *msg =
518     ((log_extra_selector & LX_outgoing_port) != 0)?
519     string_sprintf("%s [%s]:%d", host->name, host->address,
520       (host->port == PORT_NONE)? 25 : host->port)
521     :
522     string_sprintf("%s [%s]", host->name, host->address);
523   log_write(0, LOG_MAIN, "%s %s", msg, strerror(addr->basic_errno));
524   deliver_msglog("%s %s %s\n", tod_stamp(tod_log), msg,
525     strerror(addr->basic_errno));
526   }
527 }
528
529
530
531 /*************************************************
532 *           Synchronize SMTP responses           *
533 *************************************************/
534
535 /* This function is called from smtp_deliver() to receive SMTP responses from
536 the server, and match them up with the commands to which they relate. When
537 PIPELINING is not in use, this function is called after every command, and is
538 therefore somewhat over-engineered, but it is simpler to use a single scheme
539 that works both with and without PIPELINING instead of having two separate sets
540 of code.
541
542 The set of commands that are buffered up with pipelining may start with MAIL
543 and may end with DATA; in between are RCPT commands that correspond to the
544 addresses whose status is PENDING_DEFER. All other commands (STARTTLS, AUTH,
545 etc.) are never buffered.
546
547 Errors after MAIL or DATA abort the whole process leaving the response in the
548 buffer. After MAIL, pending responses are flushed, and the original command is
549 re-instated in big_buffer for error messages. For RCPT commands, the remote is
550 permitted to reject some recipient addresses while accepting others. However
551 certain errors clearly abort the whole process. Set the value in
552 transport_return to PENDING_OK if the address is accepted. If there is a
553 subsequent general error, it will get reset accordingly. If not, it will get
554 converted to OK at the end.
555
556 Arguments:
557   addrlist         the complete address list
558   include_affixes  TRUE if affixes include in RCPT
559   sync_addr        ptr to the ptr of the one to start scanning at (updated)
560   host             the host we are connected to
561   count            the number of responses to read
562   pending_MAIL     true if the first response is for MAIL
563   pending_DATA     0 if last command sent was not DATA
564                   +1 if previously had a good recipient
565                   -1 if not previously had a good recipient
566   inblock          incoming SMTP block
567   timeout          timeout value
568   buffer           buffer for reading response
569   buffsize         size of buffer
570
571 Returns:      3 if at least one address had 2xx and one had 5xx
572               2 if at least one address had 5xx but none had 2xx
573               1 if at least one host had a 2xx response, but none had 5xx
574               0 no address had 2xx or 5xx but no errors (all 4xx, or just DATA)
575              -1 timeout while reading RCPT response
576              -2 I/O or other non-response error for RCPT
577              -3 DATA or MAIL failed - errno and buffer set
578 */
579
580 static int
581 sync_responses(address_item *addrlist, BOOL include_affixes,
582   address_item **sync_addr, host_item *host, int count, BOOL pending_MAIL,
583   int pending_DATA, smtp_inblock *inblock, int timeout, uschar *buffer,
584   int buffsize)
585 {
586 address_item *addr = *sync_addr;
587 int yield = 0;
588
589 /* Handle the response for a MAIL command. On error, reinstate the original
590 command in big_buffer for error message use, and flush any further pending
591 responses before returning, except after I/O errors and timeouts. */
592
593 if (pending_MAIL)
594   {
595   count--;
596   if (!smtp_read_response(inblock, buffer, buffsize, '2', timeout))
597     {
598     Ustrcpy(big_buffer, mail_command);  /* Fits, because it came from there! */
599     if (errno == 0 && buffer[0] != 0)
600       {
601       uschar flushbuffer[4096];
602       int save_errno = 0;
603       if (buffer[0] == '4')
604         {
605         save_errno = ERRNO_MAIL4XX;
606         addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
607         }
608       while (count-- > 0)
609         {
610         if (!smtp_read_response(inblock, flushbuffer, sizeof(flushbuffer),
611                    '2', timeout)
612             && (errno != 0 || flushbuffer[0] == 0))
613           break;
614         }
615       errno = save_errno;
616       }
617     return -3;
618     }
619   }
620
621 if (pending_DATA) count--;  /* Number of RCPT responses to come */
622
623 /* Read and handle the required number of RCPT responses, matching each one up
624 with an address by scanning for the next address whose status is PENDING_DEFER.
625 */
626
627 while (count-- > 0)
628   {
629   while (addr->transport_return != PENDING_DEFER) addr = addr->next;
630
631   /* The address was accepted */
632
633   if (smtp_read_response(inblock, buffer, buffsize, '2', timeout))
634     {
635     yield |= 1;
636     addr->transport_return = PENDING_OK;
637
638     /* If af_dr_retry_exists is set, there was a routing delay on this address;
639     ensure that any address-specific retry record is expunged. */
640
641     if (testflag(addr, af_dr_retry_exists))
642       retry_add_item(addr, addr->address_retry_key, rf_delete);
643     }
644
645   /* Timeout while reading the response */
646
647   else if (errno == ETIMEDOUT)
648     {
649     int save_errno = errno;
650     uschar *message = string_sprintf("SMTP timeout while connected to %s [%s] "
651       "after RCPT TO:<%s>", host->name, host->address,
652       transport_rcpt_address(addr, include_affixes));
653     set_errno(addrlist, save_errno, message, DEFER, FALSE);
654     retry_add_item(addr, addr->address_retry_key, 0);
655     host->update_waiting = FALSE;
656     return -1;
657     }
658
659   /* Handle other errors in obtaining an SMTP response by returning -1. This
660   will cause all the addresses to be deferred. Restore the SMTP command in
661   big_buffer for which we are checking the response, so the error message
662   makes sense. */
663
664   else if (errno != 0 || buffer[0] == 0)
665     {
666     string_format(big_buffer, big_buffer_size, "RCPT TO:<%s>",
667       transport_rcpt_address(addr, include_affixes));
668     return -2;
669     }
670
671   /* Handle SMTP permanent and temporary response codes. */
672
673   else
674     {
675     addr->message =
676       string_sprintf("SMTP error from remote mail server after RCPT TO:<%s>: "
677         "host %s [%s]: %s", transport_rcpt_address(addr, include_affixes),
678         host->name, host->address, string_printing(buffer));
679     setflag(addr, af_pass_message);
680     deliver_msglog("%s %s\n", tod_stamp(tod_log), addr->message);
681
682     /* The response was 5xx */
683
684     if (buffer[0] == '5')
685       {
686       addr->transport_return = FAIL;
687       yield |= 2;
688       }
689
690     /* The response was 4xx */
691
692     else
693       {
694       addr->transport_return = DEFER;
695       addr->basic_errno = ERRNO_RCPT4XX;
696       addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
697
698       /* Log temporary errors if there are more hosts to be tried. */
699
700       if (host->next != NULL) log_write(0, LOG_MAIN, "%s", addr->message);
701
702       /* Do not put this message on the list of those waiting for this host,
703       as otherwise it is likely to be tried too often. */
704
705       host->update_waiting = FALSE;
706
707       /* Add a retry item for the address so that it doesn't get tried
708       again too soon. */
709
710       retry_add_item(addr, addr->address_retry_key, 0);
711       }
712     }
713   }       /* Loop for next RCPT response */
714
715 /* Update where to start at for the next block of responses, unless we
716 have already handled all the addresses. */
717
718 if (addr != NULL) *sync_addr = addr->next;
719
720 /* Handle a response to DATA. If we have not had any good recipients, either
721 previously or in this block, the response is ignored. */
722
723 if (pending_DATA != 0 &&
724     !smtp_read_response(inblock, buffer, buffsize, '3', timeout))
725   {
726   int code;
727   uschar *msg;
728   BOOL pass_message;
729   if (pending_DATA > 0 || (yield & 1) != 0)
730     {
731     if (errno == 0 && buffer[0] == '4')
732       {
733       errno = ERRNO_DATA4XX;
734       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
735       }
736     return -3;
737     }
738   (void)check_response(host, &errno, 0, buffer, &code, &msg, &pass_message);
739   DEBUG(D_transport) debug_printf("%s\nerror for DATA ignored: pipelining "
740     "is in use and there were no good recipients\n", msg);
741   }
742
743 /* All responses read and handled; MAIL (if present) received 2xx and DATA (if
744 present) received 3xx. If any RCPTs were handled and yielded anything other
745 than 4xx, yield will be set non-zero. */
746
747 return yield;
748 }
749
750
751
752 /*************************************************
753 *       Deliver address list to given host       *
754 *************************************************/
755
756 /* If continue_hostname is not null, we get here only when continuing to
757 deliver down an existing channel. The channel was passed as the standard
758 input.
759
760 Otherwise, we have to make a connection to the remote host, and do the
761 initial protocol exchange.
762
763 When running as an MUA wrapper, if the sender or any recipient is rejected,
764 temporarily or permanently, we force failure for all recipients.
765
766 Arguments:
767   addrlist        chain of potential addresses to deliver; only those whose
768                   transport_return field is set to PENDING_DEFER are currently
769                   being processed; others should be skipped - they have either
770                   been delivered to an earlier host or IP address, or been
771                   failed by one of them.
772   host            host to deliver to
773   host_af         AF_INET or AF_INET6
774   port            default TCP/IP port to use, in host byte order
775   interface       interface to bind to, or NULL
776   tblock          transport instance block
777   copy_host       TRUE if host set in addr->host_used must be copied, because
778                     it is specific to this call of the transport
779   message_defer   set TRUE if yield is OK, but all addresses were deferred
780                     because of a non-recipient, non-host failure, that is, a
781                     4xx response to MAIL FROM, DATA, or ".". This is a defer
782                     that is specific to the message.
783   suppress_tls    if TRUE, don't attempt a TLS connection - this is set for
784                     a second attempt after TLS initialization fails
785
786 Returns:          OK    - the connection was made and the delivery attempted;
787                           the result for each address is in its data block.
788                   DEFER - the connection could not be made, or something failed
789                           while setting up the SMTP session, or there was a
790                           non-message-specific error, such as a timeout.
791                   ERROR - a filter command is specified for this transport,
792                           and there was a problem setting it up; OR helo_data
793                           or add_headers or authenticated_sender is specified
794                           for this transport, and the string failed to expand
795 */
796
797 static int
798 smtp_deliver(address_item *addrlist, host_item *host, int host_af, int port,
799   uschar *interface, transport_instance *tblock, BOOL copy_host,
800   BOOL *message_defer, BOOL suppress_tls)
801 {
802 address_item *addr;
803 address_item *sync_addr;
804 address_item *first_addr = addrlist;
805 int yield = OK;
806 int address_count;
807 int save_errno;
808 int rc;
809 time_t start_delivery_time = time(NULL);
810 smtp_transport_options_block *ob =
811   (smtp_transport_options_block *)(tblock->options_block);
812 BOOL lmtp = strcmpic(ob->protocol, US"lmtp") == 0;
813 BOOL ok = FALSE;
814 BOOL send_rset = TRUE;
815 BOOL send_quit = TRUE;
816 BOOL setting_up = TRUE;
817 BOOL completed_address = FALSE;
818 BOOL esmtp = TRUE;
819 BOOL pending_MAIL;
820 BOOL pass_message = FALSE;
821 smtp_inblock inblock;
822 smtp_outblock outblock;
823 int max_rcpt = tblock->max_addresses;
824 uschar *igquotstr = US"";
825 uschar *local_authenticated_sender = authenticated_sender;
826 uschar *helo_data;
827 uschar *message = NULL;
828 uschar new_message_id[MESSAGE_ID_LENGTH + 1];
829 uschar *p;
830 uschar buffer[4096];
831 uschar inbuffer[4096];
832 uschar outbuffer[1024];
833
834 suppress_tls = suppress_tls;  /* stop compiler warning when no TLS support */
835
836 *message_defer = FALSE;
837 smtp_command = US"initial connection";
838 if (max_rcpt == 0) max_rcpt = 999999;
839
840 /* Set up the buffer for reading SMTP response packets. */
841
842 inblock.buffer = inbuffer;
843 inblock.buffersize = sizeof(inbuffer);
844 inblock.ptr = inbuffer;
845 inblock.ptrend = inbuffer;
846
847 /* Set up the buffer for holding SMTP commands while pipelining */
848
849 outblock.buffer = outbuffer;
850 outblock.buffersize = sizeof(outbuffer);
851 outblock.ptr = outbuffer;
852 outblock.cmd_count = 0;
853 outblock.authenticating = FALSE;
854
855 /* Expand the greeting message */
856
857 helo_data = expand_string(ob->helo_data);
858 if (helo_data == NULL)
859   {
860   uschar *message = string_sprintf("failed to expand helo_data: %s",
861     expand_string_message);
862   set_errno(addrlist, 0, message, DEFER, FALSE);
863   return ERROR;
864   }
865
866 /* If an authenticated_sender override has been specified for this transport
867 instance, expand it. If the expansion is forced to fail, and there was already
868 an authenticated_sender for this message, the original value will be used.
869 Other expansion failures are serious. An empty result is ignored, but there is
870 otherwise no check - this feature is expected to be used with LMTP and other
871 cases where non-standard addresses (e.g. without domains) might be required. */
872
873 if (ob->authenticated_sender != NULL)
874   {
875   uschar *new = expand_string(ob->authenticated_sender);
876   if (new == NULL)
877     {
878     if (!expand_string_forcedfail)
879       {
880       uschar *message = string_sprintf("failed to expand "
881         "authenticated_sender: %s", expand_string_message);
882       set_errno(addrlist, 0, message, DEFER, FALSE);
883       return ERROR;
884       }
885     }
886   else if (new[0] != 0) local_authenticated_sender = new;
887   }
888
889 /* Make a connection to the host if this isn't a continued delivery, and handle
890 the initial interaction and HELO/EHLO/LHLO. Connect timeout errors are handled
891 specially so they can be identified for retries. */
892
893 if (continue_hostname == NULL)
894   {
895   inblock.sock = outblock.sock =
896     smtp_connect(host, host_af, port, interface, ob->connect_timeout,
897       ob->keepalive);
898   if (inblock.sock < 0)
899     {
900     set_errno(addrlist, (errno == ETIMEDOUT)? ERRNO_CONNECTTIMEOUT : errno,
901       NULL, DEFER, FALSE);
902     return DEFER;
903     }
904
905   /* The first thing is to wait for an initial OK response. The dreaded "goto"
906   is nevertheless a reasonably clean way of programming this kind of logic,
907   where you want to escape on any error. */
908
909   if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
910     ob->command_timeout)) goto RESPONSE_FAILED;
911
912 /** Debugging without sending a message
913 addrlist->transport_return = DEFER;
914 goto SEND_QUIT;
915 **/
916
917   /* Errors that occur after this point follow an SMTP command, which is
918   left in big_buffer by smtp_write_command() for use in error messages. */
919
920   smtp_command = big_buffer;
921
922   /* Tell the remote who we are...
923
924   February 1998: A convention has evolved that ESMTP-speaking MTAs include the
925   string "ESMTP" in their greeting lines, so make Exim send EHLO if the
926   greeting is of this form. The assumption was that the far end supports it
927   properly... but experience shows that there are some that give 5xx responses,
928   even though the banner includes "ESMTP" (there's a bloody-minded one that
929   says "ESMTP not spoken here"). Cope with that case.
930
931   September 2000: Time has passed, and it seems reasonable now to always send
932   EHLO at the start. It is also convenient to make the change while installing
933   the TLS stuff.
934
935   July 2003: Joachim Wieland met a broken server that advertises "PIPELINING"
936   but times out after sending MAIL FROM, RCPT TO and DATA all together. There
937   would be no way to send out the mails, so there is now a host list
938   "hosts_avoid_esmtp" that disables ESMTP for special hosts and solves the
939   PIPELINING problem as well. Maybe it can also be useful to cure other
940   problems with broken servers.
941
942   Exim originally sent "Helo" at this point and ran for nearly a year that way.
943   Then somebody tried it with a Microsoft mailer... It seems that all other
944   mailers use upper case for some reason (the RFC is quite clear about case
945   independence) so, for peace of mind, I gave in. */
946
947   esmtp = verify_check_this_host(&(ob->hosts_avoid_esmtp), NULL,
948      host->name, host->address, NULL) != OK;
949
950   if (esmtp)
951     {
952     if (smtp_write_command(&outblock, FALSE, "%s %s\r\n",
953          lmtp? "LHLO" : "EHLO", helo_data) < 0)
954       goto SEND_FAILED;
955     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
956            ob->command_timeout))
957       {
958       if (errno != 0 || buffer[0] == 0 || lmtp) goto RESPONSE_FAILED;
959       esmtp = FALSE;
960       }
961     }
962   else
963     {
964     DEBUG(D_transport)
965       debug_printf("not sending EHLO (host matches hosts_avoid_esmtp)\n");
966     }
967
968   if (!esmtp)
969     {
970     if (smtp_write_command(&outblock, FALSE, "HELO %s\r\n", helo_data) < 0)
971       goto SEND_FAILED;
972     if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
973       ob->command_timeout)) goto RESPONSE_FAILED;
974     }
975
976   /* Set IGNOREQUOTA if the response to LHLO specifies support and the
977   lmtp_ignore_quota option was set. */
978
979   igquotstr = (lmtp && ob->lmtp_ignore_quota &&
980     pcre_exec(regex_IGNOREQUOTA, NULL, CS buffer, Ustrlen(CS buffer), 0,
981       PCRE_EOPT, NULL, 0) >= 0)? US" IGNOREQUOTA" : US"";
982
983   /* Set tls_offered if the response to EHLO specifies support for STARTTLS. */
984
985   #ifdef SUPPORT_TLS
986   tls_offered = esmtp &&
987     pcre_exec(regex_STARTTLS, NULL, CS buffer, Ustrlen(buffer), 0,
988       PCRE_EOPT, NULL, 0) >= 0;
989   #endif
990   }
991
992 /* For continuing deliveries down the same channel, the socket is the standard
993 input, and we don't need to redo EHLO here (but may need to do so for TLS - see
994 below). Set up the pointer to where subsequent commands will be left, for
995 error messages. Note that smtp_use_size and smtp_use_pipelining will have been
996 set from the command line if they were set in the process that passed the
997 connection on. */
998
999 else
1000   {
1001   inblock.sock = outblock.sock = fileno(stdin);
1002   smtp_command = big_buffer;
1003   }
1004
1005 /* If TLS is available on this connection, whether continued or not, attempt to
1006 start up a TLS session, unless the host is in hosts_avoid_tls. If successful,
1007 send another EHLO - the server may give a different answer in secure mode. We
1008 use a separate buffer for reading the response to STARTTLS so that if it is
1009 negative, the original EHLO data is available for subsequent analysis, should
1010 the client not be required to use TLS. If the response is bad, copy the buffer
1011 for error analysis. */
1012
1013 #ifdef SUPPORT_TLS
1014 if (tls_offered && !suppress_tls &&
1015       verify_check_this_host(&(ob->hosts_avoid_tls), NULL, host->name,
1016         host->address, NULL) != OK)
1017   {
1018   uschar buffer2[4096];
1019   if (smtp_write_command(&outblock, FALSE, "STARTTLS\r\n") < 0)
1020     goto SEND_FAILED;
1021
1022   /* If there is an I/O error, transmission of this message is deferred. If
1023   there is a temporary rejection of STARRTLS and tls_tempfail_tryclear is
1024   false, we also defer. However, if there is a temporary rejection of STARTTLS
1025   and tls_tempfail_tryclear is true, or if there is an outright rejection of
1026   STARTTLS, we carry on. This means we will try to send the message in clear,
1027   unless the host is in hosts_require_tls (tested below). */
1028
1029   if (!smtp_read_response(&inblock, buffer2, sizeof(buffer2), '2',
1030       ob->command_timeout))
1031     {
1032     Ustrncpy(buffer, buffer2, sizeof(buffer));
1033     if (errno != 0 || buffer2[0] == 0 ||
1034          (buffer2[0] == '4' && !ob->tls_tempfail_tryclear))
1035       goto RESPONSE_FAILED;
1036     }
1037
1038   /* STARTTLS accepted: try to negotiate a TLS session. */
1039
1040   else
1041     {
1042     int rc = tls_client_start(inblock.sock, host, addrlist,
1043       NULL,                    /* No DH param */
1044       ob->tls_certificate,
1045       ob->tls_privatekey,
1046       ob->tls_verify_certificates,
1047       ob->tls_crl,
1048       ob->tls_require_ciphers,
1049       ob->command_timeout);
1050
1051     /* TLS negotiation failed; give an error. From outside, this function may
1052     be called again to try in clear on a new connection, if the options permit
1053     it for this host. */
1054
1055     if (rc != OK)
1056       {
1057       save_errno = ERRNO_TLSFAILURE;
1058       message = US"failure while setting up TLS session";
1059       send_quit = FALSE;
1060       goto TLS_FAILED;
1061       }
1062
1063     /* TLS session is set up */
1064
1065     for (addr = addrlist; addr != NULL; addr = addr->next)
1066       {
1067       if (addr->transport_return == PENDING_DEFER)
1068         {
1069         addr->cipher = tls_cipher;
1070         addr->peerdn = tls_peerdn;
1071         }
1072       }
1073     }
1074   }
1075
1076 /* If we started TLS, redo the EHLO/LHLO exchange over the secure channel. */
1077
1078 if (tls_active >= 0)
1079   {
1080   if (smtp_write_command(&outblock, FALSE, "%s %s\r\n", lmtp? "LHLO" : "EHLO",
1081         helo_data) < 0)
1082     goto SEND_FAILED;
1083   if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1084        ob->command_timeout))
1085     goto RESPONSE_FAILED;
1086   }
1087
1088 /* If the host is required to use a secure channel, ensure that we
1089 have one. */
1090
1091 else if (verify_check_this_host(&(ob->hosts_require_tls), NULL, host->name,
1092           host->address, NULL) == OK)
1093   {
1094   save_errno = ERRNO_TLSREQUIRED;
1095   message = string_sprintf("a TLS session is required for %s [%s], but %s",
1096     host->name, host->address,
1097     tls_offered? "an attempt to start TLS failed" :
1098                  "the server did not offer TLS support");
1099   goto TLS_FAILED;
1100   }
1101 #endif
1102
1103 /* If TLS is active, we have just started it up and re-done the EHLO command,
1104 so its response needs to be analyzed. If TLS is not active and this is a
1105 continued session down a previously-used socket, we haven't just done EHLO, so
1106 we skip this. */
1107
1108 if (continue_hostname == NULL
1109     #ifdef SUPPORT_TLS
1110     || tls_active >= 0
1111     #endif
1112     )
1113   {
1114   int require_auth;
1115   uschar *fail_reason = US"server did not advertise AUTH support";
1116
1117   /* Set for IGNOREQUOTA if the response to LHLO specifies support and the
1118   lmtp_ignore_quota option was set. */
1119
1120   igquotstr = (lmtp && ob->lmtp_ignore_quota &&
1121     pcre_exec(regex_IGNOREQUOTA, NULL, CS buffer, Ustrlen(CS buffer), 0,
1122       PCRE_EOPT, NULL, 0) >= 0)? US" IGNOREQUOTA" : US"";
1123
1124   /* If the response to EHLO specified support for the SIZE parameter, note
1125   this, provided size_addition is non-negative. */
1126
1127   smtp_use_size = esmtp && ob->size_addition >= 0 &&
1128     pcre_exec(regex_SIZE, NULL, CS buffer, Ustrlen(CS buffer), 0,
1129       PCRE_EOPT, NULL, 0) >= 0;
1130
1131   /* Note whether the server supports PIPELINING. If hosts_avoid_esmtp matched
1132   the current host, esmtp will be false, so PIPELINING can never be used. */
1133
1134   smtp_use_pipelining = esmtp &&
1135     pcre_exec(regex_PIPELINING, NULL, CS buffer, Ustrlen(CS buffer), 0,
1136       PCRE_EOPT, NULL, 0) >= 0;
1137
1138   DEBUG(D_transport) debug_printf("%susing PIPELINING\n",
1139     smtp_use_pipelining? "" : "not ");
1140
1141   /* Note if the response to EHLO specifies support for the AUTH extension.
1142   If it has, check that this host is one we want to authenticate to, and do
1143   the business. The host name and address must be available when the
1144   authenticator's client driver is running. */
1145
1146   smtp_authenticated = FALSE;
1147   require_auth = verify_check_this_host(&(ob->hosts_require_auth), NULL,
1148     host->name, host->address, NULL);
1149
1150   if (esmtp && regex_match_and_setup(regex_AUTH, buffer, 0, -1))
1151     {
1152     uschar *names = string_copyn(expand_nstring[1], expand_nlength[1]);
1153     expand_nmax = -1;                          /* reset */
1154
1155     /* Must not do this check until after we have saved the result of the
1156     regex match above. */
1157
1158     if (require_auth == OK ||
1159         verify_check_this_host(&(ob->hosts_try_auth), NULL, host->name,
1160           host->address, NULL) == OK)
1161       {
1162       auth_instance *au;
1163       fail_reason = US"no common mechanisms were found";
1164
1165       DEBUG(D_transport) debug_printf("scanning authentication mechanisms\n");
1166
1167       /* Scan the configured authenticators looking for one which is configured
1168       for use as a client and whose name matches an authentication mechanism
1169       supported by the server. If one is found, attempt to authenticate by
1170       calling its client function. */
1171
1172       for (au = auths; !smtp_authenticated && au != NULL; au = au->next)
1173         {
1174         uschar *p = names;
1175         if (!au->client) continue;
1176
1177         /* Loop to scan supported server mechanisms */
1178
1179         while (*p != 0)
1180           {
1181           int rc;
1182           int len = Ustrlen(au->public_name);
1183           while (isspace(*p)) p++;
1184
1185           if (strncmpic(au->public_name, p, len) != 0 ||
1186               (p[len] != 0 && !isspace(p[len])))
1187             {
1188             while (*p != 0 && !isspace(*p)) p++;
1189             continue;
1190             }
1191
1192           /* Found data for a listed mechanism. Call its client entry. Set
1193           a flag in the outblock so that data is overwritten after sending so
1194           that reflections don't show it. */
1195
1196           fail_reason = US"authentication attempt(s) failed";
1197           outblock.authenticating = TRUE;
1198           rc = (au->info->clientcode)(au, &inblock, &outblock,
1199             ob->command_timeout, buffer, sizeof(buffer));
1200           outblock.authenticating = FALSE;
1201           DEBUG(D_transport) debug_printf("%s authenticator yielded %d\n",
1202             au->name, rc);
1203
1204           /* A temporary authentication failure must hold up delivery to
1205           this host. After a permanent authentication failure, we carry on
1206           to try other authentication methods. If all fail hard, try to
1207           deliver the message unauthenticated unless require_auth was set. */
1208
1209           switch(rc)
1210             {
1211             case OK:
1212             smtp_authenticated = TRUE;   /* stops the outer loop */
1213             break;
1214
1215             /* Failure after writing a command */
1216
1217             case FAIL_SEND:
1218             goto SEND_FAILED;
1219
1220             /* Failure after reading a response */
1221
1222             case FAIL:
1223             if (errno != 0 || buffer[0] != '5') goto RESPONSE_FAILED;
1224             log_write(0, LOG_MAIN, "%s authenticator failed H=%s [%s] %s",
1225               au->name, host->name, host->address, buffer);
1226             break;
1227
1228             /* Failure by some other means. In effect, the authenticator
1229             decided it wasn't prepared to handle this case. Typically this
1230             is the result of "fail" in an expansion string. Do we need to
1231             log anything here? Feb 2006: a message is now put in the buffer
1232             if logging is required. */
1233
1234             case CANCELLED:
1235             if (*buffer != 0)
1236               log_write(0, LOG_MAIN, "%s authenticator cancelled "
1237                 "authentication H=%s [%s] %s", au->name, host->name,
1238                 host->address, buffer);
1239             break;
1240
1241             /* Internal problem, message in buffer. */
1242
1243             case ERROR:
1244             yield = ERROR;
1245             set_errno(addrlist, 0, string_copy(buffer), DEFER, FALSE);
1246             goto SEND_QUIT;
1247             }
1248
1249           break;  /* If not authenticated, try next authenticator */
1250           }       /* Loop for scanning supported server mechanisms */
1251         }         /* Loop for further authenticators */
1252       }
1253     }
1254
1255   /* If we haven't authenticated, but are required to, give up. */
1256
1257   if (require_auth == OK && !smtp_authenticated)
1258     {
1259     yield = DEFER;
1260     set_errno(addrlist, ERRNO_AUTHFAIL,
1261       string_sprintf("authentication required but %s", fail_reason), DEFER,
1262       FALSE);
1263     goto SEND_QUIT;
1264     }
1265   }
1266
1267 /* The setting up of the SMTP call is now complete. Any subsequent errors are
1268 message-specific. */
1269
1270 setting_up = FALSE;
1271
1272 /* If there is a filter command specified for this transport, we can now
1273 set it up. This cannot be done until the identify of the host is known. */
1274
1275 if (tblock->filter_command != NULL)
1276   {
1277   BOOL rc;
1278   uschar buffer[64];
1279   sprintf(CS buffer, "%.50s transport", tblock->name);
1280   rc = transport_set_up_command(&transport_filter_argv, tblock->filter_command,
1281     TRUE, DEFER, addrlist, buffer, NULL);
1282
1283   /* On failure, copy the error to all addresses, abandon the SMTP call, and
1284   yield ERROR. */
1285
1286   if (!rc)
1287     {
1288     set_errno(addrlist->next, addrlist->basic_errno, addrlist->message, DEFER,
1289       FALSE);
1290     yield = ERROR;
1291     goto SEND_QUIT;
1292     }
1293   }
1294
1295
1296 /* For messages that have more than the maximum number of envelope recipients,
1297 we want to send several transactions down the same SMTP connection. (See
1298 comments in deliver.c as to how this reconciles, heuristically, with
1299 remote_max_parallel.) This optimization was added to Exim after the following
1300 code was already working. The simplest way to put it in without disturbing the
1301 code was to use a goto to jump back to this point when there is another
1302 transaction to handle. */
1303
1304 SEND_MESSAGE:
1305 sync_addr = first_addr;
1306 address_count = 0;
1307 ok = FALSE;
1308 send_rset = TRUE;
1309 completed_address = FALSE;
1310
1311
1312 /* Initiate a message transfer. If we know the receiving MTA supports the SIZE
1313 qualification, send it, adding something to the message size to allow for
1314 imprecision and things that get added en route. Exim keeps the number of lines
1315 in a message, so we can give an accurate value for the original message, but we
1316 need some additional to handle added headers. (Double "." characters don't get
1317 included in the count.) */
1318
1319 p = buffer;
1320 *p = 0;
1321
1322 if (smtp_use_size)
1323   {
1324   sprintf(CS p, " SIZE=%d", message_size+message_linecount+ob->size_addition);
1325   while (*p) p++;
1326   }
1327
1328 /* Add the authenticated sender address if present */
1329
1330 if ((smtp_authenticated || ob->authenticated_sender_force) &&
1331     local_authenticated_sender != NULL)
1332   {
1333   string_format(p, sizeof(buffer) - (p-buffer), " AUTH=%s",
1334     auth_xtextencode(local_authenticated_sender,
1335     Ustrlen(local_authenticated_sender)));
1336   }
1337
1338 /* From here until we send the DATA command, we can make use of PIPELINING
1339 if the server host supports it. The code has to be able to check the responses
1340 at any point, for when the buffer fills up, so we write it totally generally.
1341 When PIPELINING is off, each command written reports that it has flushed the
1342 buffer. */
1343
1344 pending_MAIL = TRUE;     /* The block starts with MAIL */
1345
1346 rc = smtp_write_command(&outblock, smtp_use_pipelining,
1347        "MAIL FROM:<%s>%s\r\n", return_path, buffer);
1348 mail_command = string_copy(big_buffer);  /* Save for later error message */
1349
1350 switch(rc)
1351   {
1352   case -1:                /* Transmission error */
1353   goto SEND_FAILED;
1354
1355   case +1:                /* Block was sent */
1356   if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1357        ob->command_timeout))
1358     {
1359     if (errno == 0 && buffer[0] == '4')
1360       {
1361       errno = ERRNO_MAIL4XX;
1362       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
1363       }
1364     goto RESPONSE_FAILED;
1365     }
1366   pending_MAIL = FALSE;
1367   break;
1368   }
1369
1370 /* Pass over all the relevant recipient addresses for this host, which are the
1371 ones that have status PENDING_DEFER. If we are using PIPELINING, we can send
1372 several before we have to read the responses for those seen so far. This
1373 checking is done by a subroutine because it also needs to be done at the end.
1374 Send only up to max_rcpt addresses at a time, leaving first_addr pointing to
1375 the next one if not all are sent.
1376
1377 In the MUA wrapper situation, we want to flush the PIPELINING buffer for the
1378 last address because we want to abort if any recipients have any kind of
1379 problem, temporary or permanent. We know that all recipient addresses will have
1380 the PENDING_DEFER status, because only one attempt is ever made, and we know
1381 that max_rcpt will be large, so all addresses will be done at once. */
1382
1383 for (addr = first_addr;
1384      address_count < max_rcpt && addr != NULL;
1385      addr = addr->next)
1386   {
1387   int count;
1388   BOOL no_flush;
1389
1390   if (addr->transport_return != PENDING_DEFER) continue;
1391
1392   address_count++;
1393   no_flush = smtp_use_pipelining && (!mua_wrapper || addr->next != NULL);
1394
1395   /* Now send the RCPT command, and process outstanding responses when
1396   necessary. After a timeout on RCPT, we just end the function, leaving the
1397   yield as OK, because this error can often mean that there is a problem with
1398   just one address, so we don't want to delay the host. */
1399
1400   count = smtp_write_command(&outblock, no_flush, "RCPT TO:<%s>%s\r\n",
1401     transport_rcpt_address(addr, tblock->rcpt_include_affixes), igquotstr);
1402   if (count < 0) goto SEND_FAILED;
1403   if (count > 0)
1404     {
1405     switch(sync_responses(first_addr, tblock->rcpt_include_affixes,
1406              &sync_addr, host, count, pending_MAIL, 0, &inblock,
1407              ob->command_timeout, buffer, sizeof(buffer)))
1408       {
1409       case 3: ok = TRUE;                   /* 2xx & 5xx => OK & progress made */
1410       case 2: completed_address = TRUE;    /* 5xx (only) => progress made */
1411       break;
1412
1413       case 1: ok = TRUE;                   /* 2xx (only) => OK, but if LMTP, */
1414       if (!lmtp) completed_address = TRUE; /* can't tell about progress yet */
1415       case 0:                              /* No 2xx or 5xx, but no probs */
1416       break;
1417
1418       case -1: goto END_OFF;               /* Timeout on RCPT */
1419       default: goto RESPONSE_FAILED;       /* I/O error, or any MAIL error */
1420       }
1421     pending_MAIL = FALSE;                  /* Dealt with MAIL */
1422     }
1423   }      /* Loop for next address */
1424
1425 /* If we are an MUA wrapper, abort if any RCPTs were rejected, either
1426 permanently or temporarily. We should have flushed and synced after the last
1427 RCPT. */
1428
1429 if (mua_wrapper)
1430   {
1431   address_item *badaddr;
1432   for (badaddr = first_addr; badaddr != NULL; badaddr = badaddr->next)
1433     {
1434     if (badaddr->transport_return != PENDING_OK) break;
1435     }
1436   if (badaddr != NULL)
1437     {
1438     set_errno(addrlist, 0, badaddr->message, FAIL,
1439       testflag(badaddr, af_pass_message));
1440     ok = FALSE;
1441     }
1442   }
1443
1444 /* If ok is TRUE, we know we have got at least one good recipient, and must now
1445 send DATA, but if it is FALSE (in the normal, non-wrapper case), we may still
1446 have a good recipient buffered up if we are pipelining. We don't want to waste
1447 time sending DATA needlessly, so we only send it if either ok is TRUE or if we
1448 are pipelining. The responses are all handled by sync_responses(). */
1449
1450 if (ok || (smtp_use_pipelining && !mua_wrapper))
1451   {
1452   int count = smtp_write_command(&outblock, FALSE, "DATA\r\n");
1453   if (count < 0) goto SEND_FAILED;
1454   switch(sync_responses(first_addr, tblock->rcpt_include_affixes, &sync_addr,
1455            host, count, pending_MAIL, ok? +1 : -1, &inblock,
1456            ob->command_timeout, buffer, sizeof(buffer)))
1457     {
1458     case 3: ok = TRUE;                   /* 2xx & 5xx => OK & progress made */
1459     case 2: completed_address = TRUE;    /* 5xx (only) => progress made */
1460     break;
1461
1462     case 1: ok = TRUE;                   /* 2xx (only) => OK, but if LMTP, */
1463     if (!lmtp) completed_address = TRUE; /* can't tell about progress yet */
1464     case 0: break;                       /* No 2xx or 5xx, but no probs */
1465
1466     case -1: goto END_OFF;               /* Timeout on RCPT */
1467     default: goto RESPONSE_FAILED;       /* I/O error, or any MAIL/DATA error */
1468     }
1469   }
1470
1471 /* Save the first address of the next batch. */
1472
1473 first_addr = addr;
1474
1475 /* If there were no good recipients (but otherwise there have been no
1476 problems), just set ok TRUE, since we have handled address-specific errors
1477 already. Otherwise, it's OK to send the message. Use the check/escape mechanism
1478 for handling the SMTP dot-handling protocol, flagging to apply to headers as
1479 well as body. Set the appropriate timeout value to be used for each chunk.
1480 (Haven't been able to make it work using select() for writing yet.) */
1481
1482 if (!ok) ok = TRUE; else
1483   {
1484   sigalrm_seen = FALSE;
1485   transport_write_timeout = ob->data_timeout;
1486   smtp_command = US"sending data block";   /* For error messages */
1487   DEBUG(D_transport|D_v)
1488     debug_printf("  SMTP>> writing message and terminating \".\"\n");
1489   transport_count = 0;
1490 #ifdef EXPERIMENTAL_DOMAINKEYS
1491   if ( (ob->dk_private_key != NULL) && (ob->dk_selector != NULL) )
1492     ok = dk_transport_write_message(addrlist, inblock.sock,
1493       topt_use_crlf | topt_end_dot | topt_escape_headers |
1494         (tblock->body_only? topt_no_headers : 0) |
1495         (tblock->headers_only? topt_no_body : 0) |
1496         (tblock->return_path_add? topt_add_return_path : 0) |
1497         (tblock->delivery_date_add? topt_add_delivery_date : 0) |
1498         (tblock->envelope_to_add? topt_add_envelope_to : 0),
1499       0,            /* No size limit */
1500       tblock->add_headers, tblock->remove_headers,
1501       US".", US"..",    /* Escaping strings */
1502       tblock->rewrite_rules, tblock->rewrite_existflags,
1503       ob->dk_private_key, ob->dk_domain, ob->dk_selector,
1504       ob->dk_canon, ob->dk_headers, ob->dk_strict);
1505   else
1506 #endif
1507   ok = transport_write_message(addrlist, inblock.sock,
1508     topt_use_crlf | topt_end_dot | topt_escape_headers |
1509       (tblock->body_only? topt_no_headers : 0) |
1510       (tblock->headers_only? topt_no_body : 0) |
1511       (tblock->return_path_add? topt_add_return_path : 0) |
1512       (tblock->delivery_date_add? topt_add_delivery_date : 0) |
1513       (tblock->envelope_to_add? topt_add_envelope_to : 0),
1514     0,            /* No size limit */
1515     tblock->add_headers, tblock->remove_headers,
1516     US".", US"..",    /* Escaping strings */
1517     tblock->rewrite_rules, tblock->rewrite_existflags);
1518
1519   /* transport_write_message() uses write() because it is called from other
1520   places to write to non-sockets. This means that under some OS (e.g. Solaris)
1521   it can exit with "Broken pipe" as its error. This really means that the
1522   socket got closed at the far end. */
1523
1524   transport_write_timeout = 0;   /* for subsequent transports */
1525
1526   /* Failure can either be some kind of I/O disaster (including timeout),
1527   or the failure of a transport filter or the expansion of added headers. */
1528
1529   if (!ok)
1530     {
1531     buffer[0] = 0;              /* There hasn't been a response */
1532     goto RESPONSE_FAILED;
1533     }
1534
1535   /* We used to send the terminating "." explicitly here, but because of
1536   buffering effects at both ends of TCP/IP connections, you don't gain
1537   anything by keeping it separate, so it might as well go in the final
1538   data buffer for efficiency. This is now done by setting the topt_end_dot
1539   flag above. */
1540
1541   smtp_command = US"end of data";
1542
1543   /* For SMTP, we now read a single response that applies to the whole message.
1544   If it is OK, then all the addresses have been delivered. */
1545
1546   if (!lmtp)
1547     {
1548     ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1549       ob->final_timeout);
1550     if (!ok && errno == 0 && buffer[0] == '4')
1551       {
1552       errno = ERRNO_DATA4XX;
1553       addrlist->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
1554       }
1555     }
1556
1557   /* For LMTP, we get back a response for every RCPT command that we sent;
1558   some may be accepted and some rejected. For those that get a response, their
1559   status is fixed; any that are accepted have been handed over, even if later
1560   responses crash - at least, that's how I read RFC 2033.
1561
1562   If all went well, mark the recipient addresses as completed, record which
1563   host/IPaddress they were delivered to, and cut out RSET when sending another
1564   message down the same channel. Write the completed addresses to the journal
1565   now so that they are recorded in case there is a crash of hardware or
1566   software before the spool gets updated. Also record the final SMTP
1567   confirmation if needed (for SMTP only). */
1568
1569   if (ok)
1570     {
1571     int flag = '=';
1572     int delivery_time = (int)(time(NULL) - start_delivery_time);
1573     int len;
1574     host_item *thost;
1575     uschar *conf = NULL;
1576     send_rset = FALSE;
1577
1578     /* Make a copy of the host if it is local to this invocation
1579     of the transport. */
1580
1581     if (copy_host)
1582       {
1583       thost = store_get(sizeof(host_item));
1584       *thost = *host;
1585       thost->name = string_copy(host->name);
1586       thost->address = string_copy(host->address);
1587       }
1588     else thost = host;
1589
1590     /* Set up confirmation if needed - applies only to SMTP */
1591
1592     if ((log_extra_selector & LX_smtp_confirmation) != 0 && !lmtp)
1593       {
1594       uschar *s = string_printing(buffer);
1595       conf = (s == buffer)? (uschar *)string_copy(s) : s;
1596       }
1597
1598     /* Process all transported addresses - for LMTP, read a status for
1599     each one. */
1600
1601     for (addr = addrlist; addr != first_addr; addr = addr->next)
1602       {
1603       if (addr->transport_return != PENDING_OK) continue;
1604
1605       /* LMTP - if the response fails badly (e.g. timeout), use it for all the
1606       remaining addresses. Otherwise, it's a return code for just the one
1607       address. For temporary errors, add a retry item for the address so that
1608       it doesn't get tried again too soon. */
1609
1610       if (lmtp)
1611         {
1612         if (!smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1613             ob->final_timeout))
1614           {
1615           if (errno != 0 || buffer[0] == 0) goto RESPONSE_FAILED;
1616           addr->message = string_sprintf("LMTP error after %s: %s",
1617             big_buffer, string_printing(buffer));
1618           setflag(addr, af_pass_message);   /* Allow message to go to user */
1619           if (buffer[0] == '5')
1620             addr->transport_return = FAIL;
1621           else
1622             {
1623             errno = ERRNO_DATA4XX;
1624             addr->more_errno |= ((buffer[1] - '0')*10 + buffer[2] - '0') << 8;
1625             addr->transport_return = DEFER;
1626             retry_add_item(addr, addr->address_retry_key, 0);
1627             }
1628           continue;
1629           }
1630         completed_address = TRUE;   /* NOW we can set this flag */
1631         }
1632
1633       /* SMTP, or success return from LMTP for this address. Pass back the
1634       actual host that was used. */
1635
1636       addr->transport_return = OK;
1637       addr->more_errno = delivery_time;
1638       addr->host_used = thost;
1639       addr->special_action = flag;
1640       addr->message = conf;
1641       flag = '-';
1642
1643       /* Update the journal. For homonymic addresses, use the base address plus
1644       the transport name. See lots of comments in deliver.c about the reasons
1645       for the complications when homonyms are involved. Just carry on after
1646       write error, as it may prove possible to update the spool file later. */
1647
1648       if (testflag(addr, af_homonym))
1649         sprintf(CS buffer, "%.500s/%s\n", addr->unique + 3, tblock->name);
1650       else
1651         sprintf(CS buffer, "%.500s\n", addr->unique);
1652
1653       DEBUG(D_deliver) debug_printf("journalling %s", buffer);
1654       len = Ustrlen(CS buffer);
1655       if (write(journal_fd, buffer, len) != len)
1656         log_write(0, LOG_MAIN|LOG_PANIC, "failed to write journal for "
1657           "%s: %s", buffer, strerror(errno));
1658       }
1659
1660     /* Ensure the journal file is pushed out to disk. */
1661
1662     if (fsync(journal_fd) < 0)
1663       log_write(0, LOG_MAIN|LOG_PANIC, "failed to fsync journal: %s",
1664         strerror(errno));
1665     }
1666   }
1667
1668
1669 /* Handle general (not specific to one address) failures here. The value of ok
1670 is used to skip over this code on the falling through case. A timeout causes a
1671 deferral. Other errors may defer or fail according to the response code, and
1672 may set up a special errno value, e.g. after connection chopped, which is
1673 assumed if errno == 0 and there is no text in the buffer. If control reaches
1674 here during the setting up phase (i.e. before MAIL FROM) then always defer, as
1675 the problem is not related to this specific message. */
1676
1677 if (!ok)
1678   {
1679   int code;
1680
1681   RESPONSE_FAILED:
1682   save_errno = errno;
1683   message = NULL;
1684   send_quit = check_response(host, &save_errno, addrlist->more_errno,
1685     buffer, &code, &message, &pass_message);
1686   goto FAILED;
1687
1688   SEND_FAILED:
1689   save_errno = errno;
1690   code = '4';
1691   message = US string_sprintf("send() to %s [%s] failed: %s",
1692     host->name, host->address, strerror(save_errno));
1693   send_quit = FALSE;
1694   goto FAILED;
1695
1696   /* This label is jumped to directly when a TLS negotiation has failed,
1697   or was not done for a host for which it is required. Values will be set
1698   in message and save_errno, and setting_up will always be true. Treat as
1699   a temporary error. */
1700
1701   #ifdef SUPPORT_TLS
1702   TLS_FAILED:
1703   code = '4';
1704   #endif
1705
1706   /* If the failure happened while setting up the call, see if the failure was
1707   a 5xx response (this will either be on connection, or following HELO - a 5xx
1708   after EHLO causes it to try HELO). If so, fail all addresses, as this host is
1709   never going to accept them. For other errors during setting up (timeouts or
1710   whatever), defer all addresses, and yield DEFER, so that the host is not
1711   tried again for a while. */
1712
1713   FAILED:
1714   ok = FALSE;                /* For when reached by GOTO */
1715
1716   if (setting_up)
1717     {
1718     if (code == '5')
1719       {
1720       set_errno(addrlist, save_errno, message, FAIL, pass_message);
1721       }
1722     else
1723       {
1724       set_errno(addrlist, save_errno, message, DEFER, pass_message);
1725       yield = DEFER;
1726       }
1727     }
1728
1729   /* We want to handle timeouts after MAIL or "." and loss of connection after
1730   "." specially. They can indicate a problem with the sender address or with
1731   the contents of the message rather than a real error on the connection. These
1732   cases are treated in the same way as a 4xx response. This next bit of code
1733   does the classification. */
1734
1735   else
1736     {
1737     BOOL message_error;
1738
1739     switch(save_errno)
1740       {
1741       case 0:
1742       case ERRNO_MAIL4XX:
1743       case ERRNO_DATA4XX:
1744       message_error = TRUE;
1745       break;
1746
1747       case ETIMEDOUT:
1748       message_error = Ustrncmp(smtp_command,"MAIL",4) == 0 ||
1749                       Ustrncmp(smtp_command,"end ",4) == 0;
1750       break;
1751
1752       case ERRNO_SMTPCLOSED:
1753       message_error = Ustrncmp(smtp_command,"end ",4) == 0;
1754       break;
1755
1756       default:
1757       message_error = FALSE;
1758       break;
1759       }
1760
1761     /* Handle the cases that are treated as message errors. These are:
1762
1763       (a) negative response or timeout after MAIL
1764       (b) negative response after DATA
1765       (c) negative response or timeout or dropped connection after "."
1766
1767     It won't be a negative response or timeout after RCPT, as that is dealt
1768     with separately above. The action in all cases is to set an appropriate
1769     error code for all the addresses, but to leave yield set to OK because the
1770     host itself has not failed. Of course, it might in practice have failed
1771     when we've had a timeout, but if so, we'll discover that at the next
1772     delivery attempt. For a temporary error, set the message_defer flag, and
1773     write to the logs for information if this is not the last host. The error
1774     for the last host will be logged as part of the address's log line. */
1775
1776     if (message_error)
1777       {
1778       if (mua_wrapper) code = '5';  /* Force hard failure in wrapper mode */
1779       set_errno(addrlist, save_errno, message, (code == '5')? FAIL : DEFER,
1780         pass_message);
1781
1782       /* If there's an errno, the message contains just the identity of
1783       the host. */
1784
1785       if (code != '5')     /* Anything other than 5 is treated as temporary */
1786         {
1787         if (save_errno > 0)
1788           message = US string_sprintf("%s: %s", message, strerror(save_errno));
1789         if (host->next != NULL) log_write(0, LOG_MAIN, "%s", message);
1790         deliver_msglog("%s %s\n", tod_stamp(tod_log), message);
1791         *message_defer = TRUE;
1792         }
1793       }
1794
1795     /* Otherwise, we have an I/O error or a timeout other than after MAIL or
1796     ".", or some other transportation error. We defer all addresses and yield
1797     DEFER, except for the case of failed add_headers expansion, or a transport
1798     filter failure, when the yield should be ERROR, to stop it trying other
1799     hosts. */
1800
1801     else
1802       {
1803       yield = (save_errno == ERRNO_CHHEADER_FAIL ||
1804                save_errno == ERRNO_FILTER_FAIL)? ERROR : DEFER;
1805       set_errno(addrlist, save_errno, message, DEFER, pass_message);
1806       }
1807     }
1808   }
1809
1810
1811 /* If all has gone well, send_quit will be set TRUE, implying we can end the
1812 SMTP session tidily. However, if there were too many addresses to send in one
1813 message (indicated by first_addr being non-NULL) we want to carry on with the
1814 rest of them. Also, it is desirable to send more than one message down the SMTP
1815 connection if there are several waiting, provided we haven't already sent so
1816 many as to hit the configured limit. The function transport_check_waiting looks
1817 for a waiting message and returns its id. Then transport_pass_socket tries to
1818 set up a continued delivery by passing the socket on to another process. The
1819 variable send_rset is FALSE if a message has just been successfully transfered.
1820
1821 If we are already sending down a continued channel, there may be further
1822 addresses not yet delivered that are aimed at the same host, but which have not
1823 been passed in this run of the transport. In this case, continue_more will be
1824 true, and all we should do is send RSET if necessary, and return, leaving the
1825 channel open.
1826
1827 However, if no address was disposed of, i.e. all addresses got 4xx errors, we
1828 do not want to continue with other messages down the same channel, because that
1829 can lead to looping between two or more messages, all with the same,
1830 temporarily failing address(es). [The retry information isn't updated yet, so
1831 new processes keep on trying.] We probably also don't want to try more of this
1832 message's addresses either.
1833
1834 If we have started a TLS session, we have to end it before passing the
1835 connection to a new process. However, not all servers can handle this (Exim
1836 can), so we do not pass such a connection on if the host matches
1837 hosts_nopass_tls. */
1838
1839 DEBUG(D_transport)
1840   debug_printf("ok=%d send_quit=%d send_rset=%d continue_more=%d "
1841     "yield=%d first_address is %sNULL\n", ok, send_quit, send_rset,
1842     continue_more, yield, (first_addr == NULL)? "":"not ");
1843
1844 if (completed_address && ok && send_quit)
1845   {
1846   BOOL more;
1847   if (first_addr != NULL || continue_more ||
1848         (
1849            (tls_active < 0 ||
1850            verify_check_this_host(&(ob->hosts_nopass_tls), NULL, host->name,
1851              host->address, NULL) != OK)
1852         &&
1853            transport_check_waiting(tblock->name, host->name,
1854              tblock->connection_max_messages, new_message_id, &more)
1855         ))
1856     {
1857     uschar *msg;
1858     BOOL pass_message;
1859
1860     if (send_rset)
1861       {
1862       if (! (ok = smtp_write_command(&outblock, FALSE, "RSET\r\n") >= 0))
1863         {
1864         msg = US string_sprintf("send() to %s [%s] failed: %s", host->name,
1865           host->address, strerror(save_errno));
1866         send_quit = FALSE;
1867         }
1868       else if (! (ok = smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1869                   ob->command_timeout)))
1870         {
1871         int code;
1872         send_quit = check_response(host, &errno, 0, buffer, &code, &msg,
1873           &pass_message);
1874         if (!send_quit)
1875           {
1876           DEBUG(D_transport) debug_printf("%s\n", msg);
1877           }
1878         }
1879       }
1880
1881     /* Either RSET was not needed, or it succeeded */
1882
1883     if (ok)
1884       {
1885       if (first_addr != NULL)            /* More addresses still to be sent */
1886         {                                /*   in this run of the transport */
1887         continue_sequence++;             /* Causes * in logging */
1888         goto SEND_MESSAGE;
1889         }
1890       if (continue_more) return yield;   /* More addresses for another run */
1891
1892       /* Pass the socket to a new Exim process. Before doing so, we must shut
1893       down TLS. Not all MTAs allow for the continuation of the SMTP session
1894       when TLS is shut down. We test for this by sending a new EHLO. If we
1895       don't get a good response, we don't attempt to pass the socket on. */
1896
1897       #ifdef SUPPORT_TLS
1898       if (tls_active >= 0)
1899         {
1900         tls_close(TRUE);
1901         ok = smtp_write_command(&outblock,FALSE,"EHLO %s\r\n",helo_data) >= 0 &&
1902              smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
1903                ob->command_timeout);
1904         }
1905       #endif
1906
1907       /* If the socket is successfully passed, we musn't send QUIT (or
1908       indeed anything!) from here. */
1909
1910       if (ok && transport_pass_socket(tblock->name, host->name, host->address,
1911             new_message_id, inblock.sock))
1912         {
1913         send_quit = FALSE;
1914         }
1915       }
1916
1917     /* If RSET failed and there are addresses left, they get deferred. */
1918
1919     else set_errno(first_addr, errno, msg, DEFER, FALSE);
1920     }
1921   }
1922
1923 /* End off tidily with QUIT unless the connection has died or the socket has
1924 been passed to another process. There has been discussion on the net about what
1925 to do after sending QUIT. The wording of the RFC suggests that it is necessary
1926 to wait for a response, but on the other hand, there isn't anything one can do
1927 with an error response, other than log it. Exim used to do that. However,
1928 further discussion suggested that it is positively advantageous not to wait for
1929 the response, but to close the session immediately. This is supposed to move
1930 the TCP/IP TIME_WAIT state from the server to the client, thereby removing some
1931 load from the server. (Hosts that are both servers and clients may not see much
1932 difference, of course.) Further discussion indicated that this was safe to do
1933 on Unix systems which have decent implementations of TCP/IP that leave the
1934 connection around for a while (TIME_WAIT) after the application has gone away.
1935 This enables the response sent by the server to be properly ACKed rather than
1936 timed out, as can happen on broken TCP/IP implementations on other OS.
1937
1938 This change is being made on 31-Jul-98. After over a year of trouble-free
1939 operation, the old commented-out code was removed on 17-Sep-99. */
1940
1941 SEND_QUIT:
1942 if (send_quit) (void)smtp_write_command(&outblock, FALSE, "QUIT\r\n");
1943
1944 END_OFF:
1945
1946 #ifdef SUPPORT_TLS
1947 tls_close(TRUE);
1948 #endif
1949
1950 /* Close the socket, and return the appropriate value, first setting
1951 continue_transport and continue_hostname NULL to prevent any other addresses
1952 that may include the host from trying to re-use a continuation socket. This
1953 works because the NULL setting is passed back to the calling process, and
1954 remote_max_parallel is forced to 1 when delivering over an existing connection,
1955
1956 If all went well and continue_more is set, we shouldn't actually get here if
1957 there are further addresses, as the return above will be taken. However,
1958 writing RSET might have failed, or there may be other addresses whose hosts are
1959 specified in the transports, and therefore not visible at top level, in which
1960 case continue_more won't get set. */
1961
1962 (void)close(inblock.sock);
1963 continue_transport = NULL;
1964 continue_hostname = NULL;
1965 return yield;
1966 }
1967
1968
1969
1970
1971 /*************************************************
1972 *              Closedown entry point             *
1973 *************************************************/
1974
1975 /* This function is called when exim is passed an open smtp channel
1976 from another incarnation, but the message which it has been asked
1977 to deliver no longer exists. The channel is on stdin.
1978
1979 We might do fancy things like looking for another message to send down
1980 the channel, but if the one we sought has gone, it has probably been
1981 delivered by some other process that itself will seek further messages,
1982 so just close down our connection.
1983
1984 Argument:   pointer to the transport instance block
1985 Returns:    nothing
1986 */
1987
1988 void
1989 smtp_transport_closedown(transport_instance *tblock)
1990 {
1991 smtp_transport_options_block *ob =
1992   (smtp_transport_options_block *)(tblock->options_block);
1993 smtp_inblock inblock;
1994 smtp_outblock outblock;
1995 uschar buffer[256];
1996 uschar inbuffer[4096];
1997 uschar outbuffer[16];
1998
1999 inblock.sock = fileno(stdin);
2000 inblock.buffer = inbuffer;
2001 inblock.buffersize = sizeof(inbuffer);
2002 inblock.ptr = inbuffer;
2003 inblock.ptrend = inbuffer;
2004
2005 outblock.sock = inblock.sock;
2006 outblock.buffersize = sizeof(outbuffer);
2007 outblock.buffer = outbuffer;
2008 outblock.ptr = outbuffer;
2009 outblock.cmd_count = 0;
2010 outblock.authenticating = FALSE;
2011
2012 (void)smtp_write_command(&outblock, FALSE, "QUIT\r\n");
2013 (void)smtp_read_response(&inblock, buffer, sizeof(buffer), '2',
2014   ob->command_timeout);
2015 (void)close(inblock.sock);
2016 }
2017
2018
2019
2020 /*************************************************
2021 *            Prepare addresses for delivery      *
2022 *************************************************/
2023
2024 /* This function is called to flush out error settings from previous delivery
2025 attempts to other hosts. It also records whether we got here via an MX record
2026 or not in the more_errno field of the address. We are interested only in
2027 addresses that are still marked DEFER - others may have got delivered to a
2028 previously considered IP address. Set their status to PENDING_DEFER to indicate
2029 which ones are relevant this time.
2030
2031 Arguments:
2032   addrlist     the list of addresses
2033   host         the host we are delivering to
2034
2035 Returns:       the first address for this delivery
2036 */
2037
2038 static address_item *
2039 prepare_addresses(address_item *addrlist, host_item *host)
2040 {
2041 address_item *first_addr = NULL;
2042 address_item *addr;
2043 for (addr = addrlist; addr != NULL; addr = addr->next)
2044   {
2045   if (addr->transport_return != DEFER) continue;
2046   if (first_addr == NULL) first_addr = addr;
2047   addr->transport_return = PENDING_DEFER;
2048   addr->basic_errno = 0;
2049   addr->more_errno = (host->mx >= 0)? 'M' : 'A';
2050   addr->message = NULL;
2051   #ifdef SUPPORT_TLS
2052   addr->cipher = NULL;
2053   addr->peerdn = NULL;
2054   #endif
2055   }
2056 return first_addr;
2057 }
2058
2059
2060
2061 /*************************************************
2062 *              Main entry point                  *
2063 *************************************************/
2064
2065 /* See local README for interface details. As this is a remote transport, it is
2066 given a chain of addresses to be delivered in one connection, if possible. It
2067 always returns TRUE, indicating that each address has its own independent
2068 status set, except if there is a setting up problem, in which case it returns
2069 FALSE. */
2070
2071 BOOL
2072 smtp_transport_entry(
2073   transport_instance *tblock,      /* data for this instantiation */
2074   address_item *addrlist)          /* addresses we are working on */
2075 {
2076 int cutoff_retry;
2077 int port;
2078 int hosts_defer = 0;
2079 int hosts_fail  = 0;
2080 int hosts_looked_up = 0;
2081 int hosts_retry = 0;
2082 int hosts_serial = 0;
2083 int hosts_total = 0;
2084 int total_hosts_tried = 0;
2085 address_item *addr;
2086 BOOL expired = TRUE;
2087 BOOL continuing = continue_hostname != NULL;
2088 uschar *expanded_hosts = NULL;
2089 uschar *pistring;
2090 uschar *tid = string_sprintf("%s transport", tblock->name);
2091 smtp_transport_options_block *ob =
2092   (smtp_transport_options_block *)(tblock->options_block);
2093 host_item *hostlist = addrlist->host_list;
2094 host_item *host = NULL;
2095
2096 DEBUG(D_transport)
2097   {
2098   debug_printf("%s transport entered\n", tblock->name);
2099   for (addr = addrlist; addr != NULL; addr = addr->next)
2100     debug_printf("  %s\n", addr->address);
2101   if (continuing) debug_printf("already connected to %s [%s]\n",
2102       continue_hostname, continue_host_address);
2103   }
2104
2105 /* If a host list is not defined for the addresses - they must all have the
2106 same one in order to be passed to a single transport - or if the transport has
2107 a host list with hosts_override set, use the host list supplied with the
2108 transport. It is an error for this not to exist. */
2109
2110 if (hostlist == NULL || (ob->hosts_override && ob->hosts != NULL))
2111   {
2112   if (ob->hosts == NULL)
2113     {
2114     addrlist->message = string_sprintf("%s transport called with no hosts set",
2115       tblock->name);
2116     addrlist->transport_return = PANIC;
2117     return FALSE;   /* Only top address has status */
2118     }
2119
2120   DEBUG(D_transport) debug_printf("using the transport's hosts: %s\n",
2121     ob->hosts);
2122
2123   /* If the transport's host list contains no '$' characters, and we are not
2124   randomizing, it is fixed and therefore a chain of hosts can be built once
2125   and for all, and remembered for subsequent use by other calls to this
2126   transport. If, on the other hand, the host list does contain '$', or we are
2127   randomizing its order, we have to rebuild it each time. In the fixed case,
2128   as the hosts string will never be used again, it doesn't matter that we
2129   replace all the : characters with zeros. */
2130
2131   if (ob->hostlist == NULL)
2132     {
2133     uschar *s = ob->hosts;
2134
2135     if (Ustrchr(s, '$') != NULL)
2136       {
2137       expanded_hosts = expand_string(s);
2138       if (expanded_hosts == NULL)
2139         {
2140         addrlist->message = string_sprintf("failed to expand list of hosts "
2141           "\"%s\" in %s transport: %s", s, tblock->name, expand_string_message);
2142         addrlist->transport_return = search_find_defer? DEFER : PANIC;
2143         return FALSE;     /* Only top address has status */
2144         }
2145       DEBUG(D_transport) debug_printf("expanded list of hosts \"%s\" to "
2146         "\"%s\"\n", s, expanded_hosts);
2147       s = expanded_hosts;
2148       }
2149     else
2150       if (ob->hosts_randomize) s = expanded_hosts = string_copy(s);
2151
2152     host_build_hostlist(&hostlist, s, ob->hosts_randomize);
2153
2154     /* If there was no expansion of hosts, save the host list for
2155     next time. */
2156
2157     if (expanded_hosts == NULL) ob->hostlist = hostlist;
2158     }
2159
2160   /* This is not the first time this transport has been run in this delivery;
2161   the host list was built previously. */
2162
2163   else hostlist = ob->hostlist;
2164   }
2165
2166 /* The host list was supplied with the address. If hosts_randomize is set, we
2167 must sort it into a random order if it did not come from MX records and has not
2168 already been randomized (but don't bother if continuing down an existing
2169 connection). */
2170
2171 else if (ob->hosts_randomize && hostlist->mx == MX_NONE && !continuing)
2172   {
2173   host_item *newlist = NULL;
2174   while (hostlist != NULL)
2175     {
2176     host_item *h = hostlist;
2177     hostlist = hostlist->next;
2178
2179     h->sort_key = random_number(100);
2180
2181     if (newlist == NULL)
2182       {
2183       h->next = NULL;
2184       newlist = h;
2185       }
2186     else if (h->sort_key < newlist->sort_key)
2187       {
2188       h->next = newlist;
2189       newlist = h;
2190       }
2191     else
2192       {
2193       host_item *hh = newlist;
2194       while (hh->next != NULL)
2195         {
2196         if (h->sort_key < hh->next->sort_key) break;
2197         hh = hh->next;
2198         }
2199       h->next = hh->next;
2200       hh->next = h;
2201       }
2202     }
2203
2204   hostlist = addrlist->host_list = newlist;
2205   }
2206
2207
2208 /* Sort out the default port.  */
2209
2210 if (!smtp_get_port(ob->port, addrlist, &port, tid)) return FALSE;
2211
2212
2213 /* For each host-plus-IP-address on the list:
2214
2215 .  If this is a continued delivery and the host isn't the one with the
2216    current connection, skip.
2217
2218 .  If the status is unusable (i.e. previously failed or retry checked), skip.
2219
2220 .  If no IP address set, get the address, either by turning the name into
2221    an address, calling gethostbyname if gethostbyname is on, or by calling
2222    the DNS. The DNS may yield multiple addresses, in which case insert the
2223    extra ones into the list.
2224
2225 .  Get the retry data if not previously obtained for this address and set the
2226    field which remembers the state of this address. Skip if the retry time is
2227    not reached. If not, remember whether retry data was found. The retry string
2228    contains both the name and the IP address.
2229
2230 .  Scan the list of addresses and mark those whose status is DEFER as
2231    PENDING_DEFER. These are the only ones that will be processed in this cycle
2232    of the hosts loop.
2233
2234 .  Make a delivery attempt - addresses marked PENDING_DEFER will be tried.
2235    Some addresses may be successfully delivered, others may fail, and yet
2236    others may get temporary errors and so get marked DEFER.
2237
2238 .  The return from the delivery attempt is OK if a connection was made and a
2239    valid SMTP dialogue was completed. Otherwise it is DEFER.
2240
2241 .  If OK, add a "remove" retry item for this host/IPaddress, if any.
2242
2243 .  If fail to connect, or other defer state, add a retry item.
2244
2245 .  If there are any addresses whose status is still DEFER, carry on to the
2246    next host/IPaddress, unless we have tried the number of hosts given
2247    by hosts_max_try or hosts_max_try_hardlimit; otherwise return. Note that
2248    there is some fancy logic for hosts_max_try that means its limit can be
2249    overstepped in some circumstances.
2250
2251 If we get to the end of the list, all hosts have deferred at least one address,
2252 or not reached their retry times. If delay_after_cutoff is unset, it requests a
2253 delivery attempt to those hosts whose last try was before the arrival time of
2254 the current message. To cope with this, we have to go round the loop a second
2255 time. After that, set the status and error data for any addresses that haven't
2256 had it set already. */
2257
2258 for (cutoff_retry = 0; expired &&
2259      cutoff_retry < ((ob->delay_after_cutoff)? 1 : 2);
2260      cutoff_retry++)
2261   {
2262   host_item *nexthost = NULL;
2263   int unexpired_hosts_tried = 0;
2264
2265   for (host = hostlist;
2266        host != NULL &&
2267          unexpired_hosts_tried < ob->hosts_max_try &&
2268          total_hosts_tried < ob->hosts_max_try_hardlimit;
2269        host = nexthost)
2270     {
2271     int rc;
2272     int host_af;
2273     uschar *rs;
2274     BOOL serialized = FALSE;
2275     BOOL host_is_expired = FALSE;
2276     BOOL message_defer = FALSE;
2277     BOOL ifchanges = FALSE;
2278     BOOL some_deferred = FALSE;
2279     address_item *first_addr = NULL;
2280     uschar *interface = NULL;
2281     uschar *retry_host_key = NULL;
2282     uschar *retry_message_key = NULL;
2283     uschar *serialize_key = NULL;
2284
2285     /* Default next host is next host. :-) But this can vary if the
2286     hosts_max_try limit is hit (see below). It may also be reset if a host
2287     address is looked up here (in case the host was multihomed). */
2288
2289     nexthost = host->next;
2290
2291     /* Set the flag requesting that this host be added to the waiting
2292     database if the delivery fails temporarily or if we are running with
2293     queue_smtp or a 2-stage queue run. This gets unset for certain
2294     kinds of error, typically those that are specific to the message. */
2295
2296     host->update_waiting = TRUE;
2297
2298     /* If the address hasn't yet been obtained from the host name, look it up
2299     now, unless the host is already marked as unusable. If it is marked as
2300     unusable, it means that the router was unable to find its IP address (in
2301     the DNS or wherever) OR we are in the 2nd time round the cutoff loop, and
2302     the lookup failed last time. We don't get this far if *all* MX records
2303     point to non-existent hosts; that is treated as a hard error.
2304
2305     We can just skip this host entirely. When the hosts came from the router,
2306     the address will timeout based on the other host(s); when the address is
2307     looked up below, there is an explicit retry record added.
2308
2309     Note that we mustn't skip unusable hosts if the address is not unset; they
2310     may be needed as expired hosts on the 2nd time round the cutoff loop. */
2311
2312     if (host->address == NULL)
2313       {
2314       int new_port, flags;
2315       host_item *hh;
2316       uschar *canonical_name;
2317
2318       if (host->status >= hstatus_unusable)
2319         {
2320         DEBUG(D_transport) debug_printf("%s has no address and is unusable - skipping\n",
2321           host->name);
2322         continue;
2323         }
2324
2325       DEBUG(D_transport) debug_printf("getting address for %s\n", host->name);
2326
2327       /* The host name is permitted to have an attached port. Find it, and
2328       strip it from the name. Just remember it for now. */
2329
2330       new_port = host_item_get_port(host);
2331
2332       /* Count hosts looked up */
2333
2334       hosts_looked_up++;
2335
2336       /* Find by name if so configured, or if it's an IP address. We don't
2337       just copy the IP address, because we need the test-for-local to happen. */
2338
2339       flags = HOST_FIND_BY_A;
2340       if (ob->dns_qualify_single) flags |= HOST_FIND_QUALIFY_SINGLE;
2341       if (ob->dns_search_parents) flags |= HOST_FIND_SEARCH_PARENTS;
2342
2343       if (ob->gethostbyname || string_is_ip_address(host->name, NULL) != 0)
2344         rc = host_find_byname(host, NULL, flags, &canonical_name, TRUE);
2345       else
2346         rc = host_find_bydns(host, NULL, flags, NULL, NULL, NULL,
2347           &canonical_name, NULL);
2348
2349       /* Update the host (and any additional blocks, resulting from
2350       multihoming) with a host-specific port, if any. */
2351
2352       for (hh = host; hh != nexthost; hh = hh->next) hh->port = new_port;
2353
2354       /* Failure to find the host at this time (usually DNS temporary failure)
2355       is really a kind of routing failure rather than a transport failure.
2356       Therefore we add a retry item of the routing kind, not to stop us trying
2357       to look this name up here again, but to ensure the address gets timed
2358       out if the failures go on long enough. A complete failure at this point
2359       commonly points to a configuration error, but the best action is still
2360       to carry on for the next host. */
2361
2362       if (rc == HOST_FIND_AGAIN || rc == HOST_FIND_FAILED)
2363         {
2364         retry_add_item(addrlist, string_sprintf("R:%s", host->name), 0);
2365         expired = FALSE;
2366         if (rc == HOST_FIND_AGAIN) hosts_defer++; else hosts_fail++;
2367         DEBUG(D_transport) debug_printf("rc = %s for %s\n", (rc == HOST_FIND_AGAIN)?
2368           "HOST_FIND_AGAIN" : "HOST_FIND_FAILED", host->name);
2369         host->status = hstatus_unusable;
2370
2371         for (addr = addrlist; addr != NULL; addr = addr->next)
2372           {
2373           if (addr->transport_return != DEFER) continue;
2374           addr->basic_errno = ERRNO_UNKNOWNHOST;
2375           addr->message =
2376             string_sprintf("failed to lookup IP address for %s", host->name);
2377           }
2378         continue;
2379         }
2380
2381       /* If the host is actually the local host, we may have a problem, or
2382       there may be some cunning configuration going on. In the problem case,
2383       log things and give up. The default transport status is already DEFER. */
2384
2385       if (rc == HOST_FOUND_LOCAL && !ob->allow_localhost)
2386         {
2387         for (addr = addrlist; addr != NULL; addr = addr->next)
2388           {
2389           addr->basic_errno = 0;
2390           addr->message = string_sprintf("%s transport found host %s to be "
2391             "local", tblock->name, host->name);
2392           }
2393         goto END_TRANSPORT;
2394         }
2395       }   /* End of block for IP address lookup */
2396
2397     /* If this is a continued delivery, we are interested only in the host
2398     which matches the name of the existing open channel. The check is put
2399     here after the local host lookup, in case the name gets expanded as a
2400     result of the lookup. Set expired FALSE, to save the outer loop executing
2401     twice. */
2402
2403     if (continuing && (Ustrcmp(continue_hostname, host->name) != 0 ||
2404                        Ustrcmp(continue_host_address, host->address) != 0))
2405       {
2406       expired = FALSE;
2407       continue;      /* With next host */
2408       }
2409
2410     /* Reset the default next host in case a multihomed host whose addresses
2411     are not looked up till just above added to the host list. */
2412
2413     nexthost = host->next;
2414
2415     /* If queue_smtp is set (-odqs or the first part of a 2-stage run), or the
2416     domain is in queue_smtp_domains, we don't actually want to attempt any
2417     deliveries. When doing a queue run, queue_smtp_domains is always unset. If
2418     there is a lookup defer in queue_smtp_domains, proceed as if the domain
2419     were not in it. We don't want to hold up all SMTP deliveries! Except when
2420     doing a two-stage queue run, don't do this if forcing. */
2421
2422     if ((!deliver_force || queue_2stage) && (queue_smtp ||
2423         match_isinlist(addrlist->domain, &queue_smtp_domains, 0,
2424           &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK))
2425       {
2426       expired = FALSE;
2427       for (addr = addrlist; addr != NULL; addr = addr->next)
2428         {
2429         if (addr->transport_return != DEFER) continue;
2430         addr->message = US"domain matches queue_smtp_domains, or -odqs set";
2431         }
2432       continue;      /* With next host */
2433       }
2434
2435     /* Count hosts being considered - purely for an intelligent comment
2436     if none are usable. */
2437
2438     hosts_total++;
2439
2440     /* Set $host and $host address now in case they are needed for the
2441     interface expansion or the serialize_hosts check; they remain set if an
2442     actual delivery happens. */
2443
2444     deliver_host = host->name;
2445     deliver_host_address = host->address;
2446
2447     /* Set up a string for adding to the retry key if the port number is not
2448     the standard SMTP port. A host may have its own port setting that overrides
2449     the default. */
2450
2451     pistring = string_sprintf(":%d", (host->port == PORT_NONE)?
2452       port : host->port);
2453     if (Ustrcmp(pistring, ":25") == 0) pistring = US"";
2454
2455     /* Select IPv4 or IPv6, and choose an outgoing interface. If the interface
2456     string changes upon expansion, we must add it to the key that is used for
2457     retries, because connections to the same host from a different interface
2458     should be treated separately. */
2459
2460     host_af = (Ustrchr(host->address, ':') == NULL)? AF_INET : AF_INET6;
2461     if (!smtp_get_interface(ob->interface, host_af, addrlist, &ifchanges,
2462          &interface, tid))
2463       return FALSE;
2464     if (ifchanges) pistring = string_sprintf("%s/%s", pistring, interface);
2465
2466     /* The first time round the outer loop, check the status of the host by
2467     inspecting the retry data. The second time round, we are interested only
2468     in expired hosts that haven't been tried since this message arrived. */
2469
2470     if (cutoff_retry == 0)
2471       {
2472       /* Ensure the status of the address is set by checking retry data if
2473       necessary. There maybe host-specific retry data (applicable to all
2474       messages) and also data for retries of a specific message at this host.
2475       If either of these retry records are actually read, the keys used are
2476       returned to save recomputing them later. */
2477
2478       host_is_expired = retry_check_address(addrlist->domain, host, pistring,
2479         ob->retry_include_ip_address, &retry_host_key, &retry_message_key);
2480
2481       DEBUG(D_transport) debug_printf("%s [%s]%s status = %s\n", host->name,
2482         (host->address == NULL)? US"" : host->address, pistring,
2483         (host->status == hstatus_usable)? "usable" :
2484         (host->status == hstatus_unusable)? "unusable" :
2485         (host->status == hstatus_unusable_expired)? "unusable (expired)" : "?");
2486
2487       /* Skip this address if not usable at this time, noting if it wasn't
2488       actually expired, both locally and in the address. */
2489
2490       switch (host->status)
2491         {
2492         case hstatus_unusable:
2493         expired = FALSE;
2494         setflag(addrlist, af_retry_skipped);
2495         /* Fall through */
2496
2497         case hstatus_unusable_expired:
2498         switch (host->why)
2499           {
2500           case hwhy_retry: hosts_retry++; break;
2501           case hwhy_failed:  hosts_fail++; break;
2502           case hwhy_deferred: hosts_defer++; break;
2503           }
2504
2505         /* If there was a retry message key, implying that previously there
2506         was a message-specific defer, we don't want to update the list of
2507         messages waiting for this host. */
2508
2509         if (retry_message_key != NULL) host->update_waiting = FALSE;
2510         continue;   /* With the next host or IP address */
2511         }
2512       }
2513
2514     /* Second time round the loop: if the address is set but expired, and
2515     the message is newer than the last try, let it through. */
2516
2517     else
2518       {
2519       if (host->address == NULL ||
2520           host->status != hstatus_unusable_expired ||
2521           host->last_try > received_time)
2522         continue;
2523       DEBUG(D_transport)
2524         debug_printf("trying expired host %s [%s]%s\n",
2525           host->name, host->address, pistring);
2526       host_is_expired = TRUE;
2527       }
2528
2529     /* Setting "expired=FALSE" doesn't actually mean not all hosts are expired;
2530     it remains TRUE only if all hosts are expired and none are actually tried.
2531     */
2532
2533     expired = FALSE;
2534
2535     /* If this host is listed as one to which access must be serialized,
2536     see if another Exim process has a connection to it, and if so, skip
2537     this host. If not, update the database to record our connection to it
2538     and remember this for later deletion. Do not do any of this if we are
2539     sending the message down a pre-existing connection. */
2540
2541     if (!continuing &&
2542         verify_check_this_host(&(ob->serialize_hosts), NULL, host->name,
2543           host->address, NULL) == OK)
2544       {
2545       serialize_key = string_sprintf("host-serialize-%s", host->name);
2546       if (!enq_start(serialize_key))
2547         {
2548         DEBUG(D_transport)
2549           debug_printf("skipping host %s because another Exim process "
2550             "is connected to it\n", host->name);
2551         hosts_serial++;
2552         continue;
2553         }
2554       serialized = TRUE;
2555       }
2556
2557     /* OK, we have an IP address that is not waiting for its retry time to
2558     arrive (it might be expired) OR (second time round the loop) we have an
2559     expired host that hasn't been tried since the message arrived. Have a go
2560     at delivering the message to it. First prepare the addresses by flushing
2561     out the result of previous attempts, and finding the first address that
2562     is still to be delivered. */
2563
2564     first_addr = prepare_addresses(addrlist, host);
2565
2566     DEBUG(D_transport) debug_printf("delivering %s to %s [%s] (%s%s)\n",
2567       message_id, host->name, host->address, addrlist->address,
2568       (addrlist->next == NULL)? "" : ", ...");
2569
2570     set_process_info("delivering %s to %s [%s] (%s%s)",
2571       message_id, host->name, host->address, addrlist->address,
2572       (addrlist->next == NULL)? "" : ", ...");
2573
2574     /* This is not for real; don't do the delivery. If there are
2575     any remaining hosts, list them. */
2576
2577     if (dont_deliver)
2578       {
2579       host_item *host2;
2580       set_errno(addrlist, 0, NULL, OK, FALSE);
2581       for (addr = addrlist; addr != NULL; addr = addr->next)
2582         {
2583         addr->host_used = host;
2584         addr->special_action = '*';
2585         addr->message = US"delivery bypassed by -N option";
2586         }
2587       DEBUG(D_transport)
2588         {
2589         debug_printf("*** delivery by %s transport bypassed by -N option\n"
2590                      "*** host and remaining hosts:\n", tblock->name);
2591         for (host2 = host; host2 != NULL; host2 = host2->next)
2592           debug_printf("    %s [%s]\n", host2->name,
2593             (host2->address == NULL)? US"unset" : host2->address);
2594         }
2595       rc = OK;
2596       }
2597
2598     /* This is for real. If the host is expired, we don't count it for
2599     hosts_max_retry. This ensures that all hosts must expire before an address
2600     is timed out, unless hosts_max_try_hardlimit (which protects against
2601     lunatic DNS configurations) is reached.
2602
2603     If the host is not expired and we are about to hit the hosts_max_retry
2604     limit, check to see if there is a subsequent hosts with a different MX
2605     value. If so, make that the next host, and don't count this one. This is a
2606     heuristic to make sure that different MXs do get tried. With a normal kind
2607     of retry rule, they would get tried anyway when the earlier hosts were
2608     delayed, but if the domain has a "retry every time" type of rule - as is
2609     often used for the the very large ISPs, that won't happen. */
2610
2611     else
2612       {
2613       if (!host_is_expired && ++unexpired_hosts_tried >= ob->hosts_max_try)
2614         {
2615         host_item *h;
2616         DEBUG(D_transport)
2617           debug_printf("hosts_max_try limit reached with this host\n");
2618         for (h = host; h != NULL; h = h->next)
2619           if (h->mx != host->mx) break;
2620         if (h != NULL)
2621           {
2622           nexthost = h;
2623           unexpired_hosts_tried--;
2624           DEBUG(D_transport) debug_printf("however, a higher MX host exists "
2625             "and will be tried\n");
2626           }
2627         }
2628
2629       /* Attempt the delivery. */
2630
2631       total_hosts_tried++;
2632       rc = smtp_deliver(addrlist, host, host_af, port, interface, tblock,
2633         expanded_hosts != NULL, &message_defer, FALSE);
2634
2635       /* Yield is one of:
2636          OK     => connection made, each address contains its result;
2637                      message_defer is set for message-specific defers (when all
2638                      recipients are marked defer)
2639          DEFER  => there was a non-message-specific delivery problem;
2640          ERROR  => there was a problem setting up the arguments for a filter,
2641                    or there was a problem with expanding added headers
2642       */
2643
2644       /* If the result is not OK, there was a non-message-specific problem.
2645       If the result is DEFER, we need to write to the logs saying what happened
2646       for this particular host, except in the case of authentication and TLS
2647       failures, where the log has already been written. If all hosts defer a
2648       general message is written at the end. */
2649
2650       if (rc == DEFER && first_addr->basic_errno != ERRNO_AUTHFAIL &&
2651                          first_addr->basic_errno != ERRNO_TLSFAILURE)
2652         write_logs(first_addr, host);
2653
2654       /* If STARTTLS was accepted, but there was a failure in setting up the
2655       TLS session (usually a certificate screwup), and the host is not in
2656       hosts_require_tls, and tls_tempfail_tryclear is true, try again, with
2657       TLS forcibly turned off. We have to start from scratch with a new SMTP
2658       connection. That's why the retry is done from here, not from within
2659       smtp_deliver(). [Rejections of STARTTLS itself don't screw up the
2660       session, so the in-clear transmission after those errors, if permitted,
2661       happens inside smtp_deliver().] */
2662
2663       #ifdef SUPPORT_TLS
2664       if (rc == DEFER && first_addr->basic_errno == ERRNO_TLSFAILURE &&
2665            ob->tls_tempfail_tryclear &&
2666            verify_check_this_host(&(ob->hosts_require_tls), NULL, host->name,
2667              host->address, NULL) != OK)
2668         {
2669         log_write(0, LOG_MAIN, "TLS session failure: delivering unencrypted "
2670           "to %s [%s] (not in hosts_require_tls)", host->name, host->address);
2671         first_addr = prepare_addresses(addrlist, host);
2672         rc = smtp_deliver(addrlist, host, host_af, port, interface, tblock,
2673           expanded_hosts != NULL, &message_defer, TRUE);
2674         if (rc == DEFER && first_addr->basic_errno != ERRNO_AUTHFAIL)
2675           write_logs(first_addr, host);
2676         }
2677       #endif
2678       }
2679
2680     /* Delivery attempt finished */
2681
2682     rs = (rc == OK)? US"OK" : (rc == DEFER)? US"DEFER" : (rc == ERROR)?
2683       US"ERROR" : US"?";
2684
2685     set_process_info("delivering %s: just tried %s [%s] for %s%s: result %s",
2686       message_id, host->name, host->address, addrlist->address,
2687       (addrlist->next == NULL)? "" : " (& others)", rs);
2688
2689     /* Release serialization if set up */
2690
2691     if (serialized) enq_end(serialize_key);
2692
2693     /* If the result is DEFER, or if a host retry record is known to exist, we
2694     need to add an item to the retry chain for updating the retry database
2695     at the end of delivery. We only need to add the item to the top address,
2696     of course. Also, if DEFER, we mark the IP address unusable so as to skip it
2697     for any other delivery attempts using the same address. (It is copied into
2698     the unusable tree at the outer level, so even if different address blocks
2699     contain the same address, it still won't get tried again.) */
2700
2701     if (rc == DEFER || retry_host_key != NULL)
2702       {
2703       int delete_flag = (rc != DEFER)? rf_delete : 0;
2704       if (retry_host_key == NULL)
2705         {
2706         retry_host_key = ob->retry_include_ip_address?
2707           string_sprintf("T:%S:%s%s", host->name, host->address, pistring) :
2708           string_sprintf("T:%S%s", host->name, pistring);
2709         }
2710
2711       /* If a delivery of another message over an existing SMTP connection
2712       yields DEFER, we do NOT set up retry data for the host. This covers the
2713       case when there are delays in routing the addresses in the second message
2714       that are so long that the server times out. This is alleviated by not
2715       routing addresses that previously had routing defers when handling an
2716       existing connection, but even so, this case may occur (e.g. if a
2717       previously happily routed address starts giving routing defers). If the
2718       host is genuinely down, another non-continued message delivery will
2719       notice it soon enough. */
2720
2721       if (delete_flag != 0 || !continuing)
2722         retry_add_item(first_addr, retry_host_key, rf_host | delete_flag);
2723
2724       /* We may have tried an expired host, if its retry time has come; ensure
2725       the status reflects the expiry for the benefit of any other addresses. */
2726
2727       if (rc == DEFER)
2728         {
2729         host->status = (host_is_expired)?
2730           hstatus_unusable_expired : hstatus_unusable;
2731         host->why = hwhy_deferred;
2732         }
2733       }
2734
2735     /* If message_defer is set (host was OK, but every recipient got deferred
2736     because of some message-specific problem), or if that had happened
2737     previously so that a message retry key exists, add an appropriate item
2738     to the retry chain. Note that if there was a message defer but now there is
2739     a host defer, the message defer record gets deleted. That seems perfectly
2740     reasonable. Also, stop the message from being remembered as waiting
2741     for this host. */
2742
2743     if (message_defer || retry_message_key != NULL)
2744       {
2745       int delete_flag = message_defer? 0 : rf_delete;
2746       if (retry_message_key == NULL)
2747         {
2748         retry_message_key = ob->retry_include_ip_address?
2749           string_sprintf("T:%S:%s%s:%s", host->name, host->address, pistring,
2750             message_id) :
2751           string_sprintf("T:%S%s:%s", host->name, pistring, message_id);
2752         }
2753       retry_add_item(addrlist, retry_message_key,
2754         rf_message | rf_host | delete_flag);
2755       host->update_waiting = FALSE;
2756       }
2757
2758     /* Any return other than DEFER (that is, OK or ERROR) means that the
2759     addresses have got their final statuses filled in for this host. In the OK
2760     case, see if any of them are deferred. */
2761
2762     if (rc == OK)
2763       {
2764       for (addr = addrlist; addr != NULL; addr = addr->next)
2765         {
2766         if (addr->transport_return == DEFER)
2767           {
2768           some_deferred = TRUE;
2769           break;
2770           }
2771         }
2772       }
2773
2774     /* If no addresses deferred or the result was ERROR, return. We do this for
2775     ERROR because a failing filter set-up or add_headers expansion is likely to
2776     fail for any host we try. */
2777
2778     if (rc == ERROR || (rc == OK && !some_deferred))
2779       {
2780       DEBUG(D_transport) debug_printf("Leaving %s transport\n", tblock->name);
2781       return TRUE;    /* Each address has its status */
2782       }
2783
2784     /* If the result was DEFER or some individual addresses deferred, let
2785     the loop run to try other hosts with the deferred addresses, except for the
2786     case when we were trying to deliver down an existing channel and failed.
2787     Don't try any other hosts in this case. */
2788
2789     if (continuing) break;
2790
2791     /* If the whole delivery, or some individual addresses, were deferred and
2792     there are more hosts that could be tried, do not count this host towards
2793     the hosts_max_try limit if the age of the message is greater than the
2794     maximum retry time for this host. This means we may try try all hosts,
2795     ignoring the limit, when messages have been around for some time. This is
2796     important because if we don't try all hosts, the address will never time
2797     out. NOTE: this does not apply to hosts_max_try_hardlimit. */
2798
2799     if ((rc == DEFER || some_deferred) && nexthost != NULL)
2800       {
2801       BOOL timedout;
2802       retry_config *retry = retry_find_config(host->name, NULL, 0, 0);
2803
2804       if (retry != NULL && retry->rules != NULL)
2805         {
2806         retry_rule *last_rule;
2807         for (last_rule = retry->rules;
2808              last_rule->next != NULL;
2809              last_rule = last_rule->next);
2810         timedout = time(NULL) - received_time > last_rule->timeout;
2811         }
2812       else timedout = TRUE;    /* No rule => timed out */
2813
2814       if (timedout)
2815         {
2816         unexpired_hosts_tried--;
2817         DEBUG(D_transport) debug_printf("temporary delivery error(s) override "
2818           "hosts_max_try (message older than host's retry time)\n");
2819         }
2820       }
2821     }   /* End of loop for trying multiple hosts. */
2822
2823   /* This is the end of the loop that repeats iff expired is TRUE and
2824   ob->delay_after_cutoff is FALSE. The second time round we will
2825   try those hosts that haven't been tried since the message arrived. */
2826
2827   DEBUG(D_transport)
2828     {
2829     debug_printf("all IP addresses skipped or deferred at least one address\n");
2830     if (expired && !ob->delay_after_cutoff && cutoff_retry == 0)
2831       debug_printf("retrying IP addresses not tried since message arrived\n");
2832     }
2833   }
2834
2835
2836 /* Get here if all IP addresses are skipped or defer at least one address. In
2837 MUA wrapper mode, this will happen only for connection or other non-message-
2838 specific failures. Force the delivery status for all addresses to FAIL. */
2839
2840 if (mua_wrapper)
2841   {
2842   for (addr = addrlist; addr != NULL; addr = addr->next)
2843     addr->transport_return = FAIL;
2844   goto END_TRANSPORT;
2845   }
2846
2847 /* In the normal, non-wrapper case, add a standard message to each deferred
2848 address if there hasn't been an error, that is, if it hasn't actually been
2849 tried this time. The variable "expired" will be FALSE if any deliveries were
2850 actually tried, or if there was at least one host that was not expired. That
2851 is, it is TRUE only if no deliveries were tried and all hosts were expired. If
2852 a delivery has been tried, an error code will be set, and the failing of the
2853 message is handled by the retry code later.
2854
2855 If queue_smtp is set, or this transport was called to send a subsequent message
2856 down an existing TCP/IP connection, and something caused the host not to be
2857 found, we end up here, but can detect these cases and handle them specially. */
2858
2859 for (addr = addrlist; addr != NULL; addr = addr->next)
2860   {
2861   /* If host is not NULL, it means that we stopped processing the host list
2862   because of hosts_max_try or hosts_max_try_hardlimit. In the former case, this
2863   means we need to behave as if some hosts were skipped because their retry
2864   time had not come. Specifically, this prevents the address from timing out.
2865   However, if we have hit hosts_max_try_hardlimit, we want to behave as if all
2866   hosts were tried. */
2867
2868   if (host != NULL)
2869     {
2870     if (total_hosts_tried >= ob->hosts_max_try_hardlimit)
2871       {
2872       DEBUG(D_transport)
2873         debug_printf("hosts_max_try_hardlimit reached: behave as if all "
2874           "hosts were tried\n");
2875       }
2876     else
2877       {
2878       DEBUG(D_transport)
2879         debug_printf("hosts_max_try limit caused some hosts to be skipped\n");
2880       setflag(addr, af_retry_skipped);
2881       }
2882     }
2883
2884   if (queue_smtp)    /* no deliveries attempted */
2885     {
2886     addr->transport_return = DEFER;
2887     addr->basic_errno = 0;
2888     addr->message = US"SMTP delivery explicitly queued";
2889     }
2890
2891   else if (addr->transport_return == DEFER &&
2892        (addr->basic_errno == ERRNO_UNKNOWNERROR || addr->basic_errno == 0) &&
2893        addr->message == NULL)
2894     {
2895     addr->basic_errno = ERRNO_HRETRY;
2896     if (continue_hostname != NULL)
2897       {
2898       addr->message = US"no host found for existing SMTP connection";
2899       }
2900     else if (expired)
2901       {
2902       setflag(addr, af_pass_message);   /* This is not a security risk */
2903       addr->message = (ob->delay_after_cutoff)?
2904         US"retry time not reached for any host after a long failure period" :
2905         US"all hosts have been failing for a long time and were last tried "
2906           "after this message arrived";
2907
2908       /* If we are already using fallback hosts, or there are no fallback hosts
2909       defined, convert the result to FAIL to cause a bounce. */
2910
2911       if (addr->host_list == addr->fallback_hosts ||
2912           addr->fallback_hosts == NULL)
2913         addr->transport_return = FAIL;
2914       }
2915     else
2916       {
2917       if (hosts_retry == hosts_total)
2918         addr->message = US"retry time not reached for any host";
2919       else if (hosts_fail == hosts_total)
2920         addr->message = US"all host address lookups failed permanently";
2921       else if (hosts_defer == hosts_total)
2922         addr->message = US"all host address lookups failed temporarily";
2923       else if (hosts_serial == hosts_total)
2924         addr->message = US"connection limit reached for all hosts";
2925       else if (hosts_fail+hosts_defer == hosts_total)
2926         addr->message = US"all host address lookups failed";
2927       else addr->message = US"some host address lookups failed and retry time "
2928         "not reached for other hosts or connection limit reached";
2929       }
2930     }
2931   }
2932
2933 /* Update the database which keeps information about which messages are waiting
2934 for which hosts to become available. Each host in the list has a flag which is
2935 set if the data is to be updated. For some message-specific errors, the flag is
2936 turned off because we don't want follow-on deliveries in those cases. */
2937
2938 transport_update_waiting(hostlist, tblock->name);
2939
2940 END_TRANSPORT:
2941
2942 DEBUG(D_transport) debug_printf("Leaving %s transport\n", tblock->name);
2943
2944 return TRUE;   /* Each address has its status */
2945 }
2946
2947 /* End of transport/smtp.c */