4d31ff39e6caad3608ea50e71ae0ec06ea61c873
[exim.git] / src / src / smtp_out.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) The Exim Maintainers 2020 - 2024 */
6 /* Copyright (c) University of Cambridge 1995 - 2018 */
7 /* See the file NOTICE for conditions of use and distribution. */
8 /* SPDX-License-Identifier: GPL-2.0-or-later */
9
10 /* A number of functions for driving outgoing SMTP calls. */
11
12
13 #include "exim.h"
14 #include "transports/smtp.h"
15
16
17
18 /*************************************************
19 *           Find an outgoing interface           *
20 *************************************************/
21
22 /* This function is called from the smtp transport and also from the callout
23 code in verify.c. Its job is to expand a string to get a list of interfaces,
24 and choose a suitable one (IPv4 or IPv6) for the outgoing address.
25
26 Arguments:
27   istring    string interface setting, may be NULL, meaning "any", in
28                which case the function does nothing
29   host_af    AF_INET or AF_INET6 for the outgoing IP address
30   addr       the mail address being handled (for setting errors)
31   interface  point this to the interface if there is one defined
32   msg        to add to any error message
33
34 Returns:     TRUE on success, FALSE on failure, with error message
35                set in addr and transport_return set to PANIC
36 */
37
38 BOOL
39 smtp_get_interface(uschar *istring, int host_af, address_item *addr,
40   uschar **interface, uschar *msg)
41 {
42 const uschar * expint;
43 uschar *iface;
44 int sep = 0;
45
46 if (!istring) return TRUE;
47
48 if (!(expint = expand_string(istring)))
49   {
50   if (f.expand_string_forcedfail) return TRUE;
51   addr->transport_return = PANIC;
52   addr->message = string_sprintf("failed to expand \"interface\" "
53       "option for %s: %s", msg, expand_string_message);
54   return FALSE;
55   }
56
57 if (is_tainted(expint))
58   {
59   log_write(0, LOG_MAIN|LOG_PANIC,
60     "attempt to use tainted value '%s' from '%s' for interface",
61     expint, istring);
62   addr->transport_return = PANIC;
63   addr->message = string_sprintf("failed to expand \"interface\" "
64       "option for %s: configuration error", msg);
65   return FALSE;
66   }
67
68 Uskip_whitespace(&expint);
69 if (!*expint) return TRUE;
70
71 while ((iface = string_nextinlist(&expint, &sep, NULL, 0)))
72   {
73   int if_af = string_is_ip_address(iface, NULL);
74   if (if_af == 0)
75     {
76     addr->transport_return = PANIC;
77     addr->message = string_sprintf("\"%s\" is not a valid IP "
78       "address for the \"interface\" option for %s",
79       iface, msg);
80     return FALSE;
81     }
82
83   if ((if_af == 4 ? AF_INET : AF_INET6) == host_af)
84     break;
85   }
86
87 *interface = iface;
88 return TRUE;
89 }
90
91
92
93 /*************************************************
94 *           Find an outgoing port                *
95 *************************************************/
96
97 /* This function is called from the smtp transport and also from the callout
98 code in verify.c. Its job is to find a port number. Note that getservbyname()
99 produces the number in network byte order.
100
101 Arguments:
102   rstring     raw (unexpanded) string representation of the port
103   addr        the mail address being handled (for setting errors)
104   port        stick the port in here
105   msg         for adding to error message
106
107 Returns:      TRUE on success, FALSE on failure, with error message set
108                 in addr, and transport_return set to PANIC
109 */
110
111 BOOL
112 smtp_get_port(uschar *rstring, address_item *addr, int *port, uschar *msg)
113 {
114 uschar *pstring = expand_string(rstring);
115
116 if (!pstring)
117   {
118   addr->transport_return = PANIC;
119   addr->message = string_sprintf("failed to expand \"%s\" (\"port\" option) "
120     "for %s: %s", rstring, msg, expand_string_message);
121   return FALSE;
122   }
123
124 if (isdigit(*pstring))
125   {
126   uschar *end;
127   *port = Ustrtol(pstring, &end, 0);
128   if (end != pstring + Ustrlen(pstring))
129     {
130     addr->transport_return = PANIC;
131     addr->message = string_sprintf("invalid port number for %s: %s", msg,
132       pstring);
133     return FALSE;
134     }
135   }
136
137 else
138   {
139   struct servent *smtp_service = getservbyname(CS pstring, "tcp");
140   if (!smtp_service)
141     {
142     addr->transport_return = PANIC;
143     addr->message = string_sprintf("TCP port \"%s\" is not defined for %s",
144       pstring, msg);
145     return FALSE;
146     }
147   *port = ntohs(smtp_service->s_port);
148   }
149
150 return TRUE;
151 }
152
153
154
155
156 #ifdef TCP_FASTOPEN
157 /* Try to record if TFO was attmepted and if it was successfully used.  */
158
159 static void
160 tfo_out_check(int sock)
161 {
162 static BOOL done_once = FALSE;
163
164 if (done_once) return;
165 done_once = TRUE;
166
167 # ifdef __FreeBSD__
168 struct tcp_info tinfo;
169 socklen_t len = sizeof(tinfo);
170
171 /* A getsockopt TCP_FASTOPEN unfortunately returns "was-used" for a TFO/R as
172 well as a TFO/C.  Use what we can of the Linux hack below; reliability issues ditto. */
173 switch (tcp_out_fastopen)
174   {
175   case TFO_ATTEMPTED_NODATA:
176     if (  getsockopt(sock, IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0
177        && tinfo.tcpi_state == TCPS_SYN_SENT
178        && tinfo.__tcpi_unacked > 0
179        )
180       {
181       DEBUG(D_transport|D_v)
182        debug_printf("TCP_FASTOPEN tcpi_unacked %d\n", tinfo.__tcpi_unacked);
183       tcp_out_fastopen = TFO_USED_NODATA;
184       }
185     break;
186   /*
187   case TFO_ATTEMPTED_DATA:
188   case TFO_ATTEMPTED_DATA:
189        if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)   XXX no equvalent as of 12.2
190   */
191   }
192
193 switch (tcp_out_fastopen)
194   {
195   case TFO_ATTEMPTED_DATA:      tcp_out_fastopen = TFO_USED_DATA; break;
196   default: break; /* compiler quietening */
197   }
198
199 # else  /* Linux & Apple */
200 #  if defined(TCP_INFO) && defined(EXIM_HAVE_TCPI_UNACKED)
201 struct tcp_info tinfo;
202 socklen_t len = sizeof(tinfo);
203
204 switch (tcp_out_fastopen)
205   {
206     /* This is a somewhat dubious detection method; totally undocumented so likely
207     to fail in future kernels.  There seems to be no documented way.  What we really
208     want to know is if the server sent smtp-banner data before our ACK of his SYN,ACK
209     hit him.  What this (possibly?) detects is whether we sent a TFO cookie with our
210     SYN, as distinct from a TFO request.  This gets a false-positive when the server
211     key is rotated; we send the old one (which this test sees) but the server returns
212     the new one and does not send its SMTP banner before we ACK his SYN,ACK.
213      To force that rotation case:
214      '# echo -n "00000000-00000000-00000000-0000000" >/proc/sys/net/ipv4/tcp_fastopen_key'
215     The kernel seems to be counting unack'd packets. */
216
217   case TFO_ATTEMPTED_NODATA:
218     if (  getsockopt(sock, IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0
219        && tinfo.tcpi_state == TCP_SYN_SENT
220        && tinfo.tcpi_unacked > 1
221        )
222       {
223       DEBUG(D_transport|D_v)
224         debug_printf("TCP_FASTOPEN tcpi_unacked %d\n", tinfo.tcpi_unacked);
225       tcp_out_fastopen = TFO_USED_NODATA;
226       }
227     break;
228
229     /* When called after waiting for received data we should be able
230     to tell if data we sent was accepted. */
231
232   case TFO_ATTEMPTED_DATA:
233     if (  getsockopt(sock, IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0
234        && tinfo.tcpi_state == TCP_ESTABLISHED
235        )
236       if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
237         {
238         DEBUG(D_transport|D_v) debug_printf("TFO: data was acked\n");
239         tcp_out_fastopen = TFO_USED_DATA;
240         }
241       else
242         {
243         DEBUG(D_transport|D_v) debug_printf("TFO: had to retransmit\n");
244         tcp_out_fastopen = TFO_NOT_USED;
245         }
246     break;
247
248   default: break; /* compiler quietening */
249   }
250 #  endif
251 # endif /* Linux & Apple */
252 }
253 #endif
254
255
256 /* Create and bind a socket, given the connect-args.
257 Update those with the state.  Return the fd, or -1 with errno set.
258 */
259
260 int
261 smtp_boundsock(smtp_connect_args * sc)
262 {
263 transport_instance * tb = sc->tblock;
264 smtp_transport_options_block * ob = tb->drinst.options_block;
265 const uschar * dscp = ob->dscp;
266 int sock, dscp_value, dscp_level, dscp_option;
267
268 if ((sock = ip_socket(SOCK_STREAM, sc->host_af)) < 0)
269   return -1;
270
271 /* Set TCP_NODELAY; Exim does its own buffering. */
272
273 if (setsockopt(sock, IPPROTO_TCP, TCP_NODELAY, US &on, sizeof(on)))
274   HDEBUG(D_transport|D_acl|D_v)
275     debug_printf_indent("failed to set NODELAY: %s ", strerror(errno));
276
277 /* Set DSCP value, if we can. For now, if we fail to set the value, we don't
278 bomb out, just log it and continue in default traffic class. */
279
280 GET_OPTION("dscp");
281 if (dscp && dscp_lookup(dscp, sc->host_af, &dscp_level, &dscp_option, &dscp_value))
282   {
283   HDEBUG(D_transport|D_acl|D_v)
284     debug_printf_indent("DSCP \"%s\"=%x ", dscp, dscp_value);
285   if (setsockopt(sock, dscp_level, dscp_option, &dscp_value, sizeof(dscp_value)) < 0)
286     HDEBUG(D_transport|D_acl|D_v)
287       debug_printf_indent("failed to set DSCP: %s ", strerror(errno));
288   /* If the kernel supports IPv4 and IPv6 on an IPv6 socket, we need to set the
289   option for both; ignore failures here */
290   if (sc->host_af == AF_INET6 &&
291       dscp_lookup(dscp, AF_INET, &dscp_level, &dscp_option, &dscp_value))
292     (void) setsockopt(sock, dscp_level, dscp_option, &dscp_value, sizeof(dscp_value));
293   }
294
295 /* Bind to a specific interface if requested. Caller must ensure the interface
296 is the same type (IPv4 or IPv6) as the outgoing address. */
297
298 if (sc->interface)
299   {
300   union sockaddr_46 interface_sock;
301   EXIM_SOCKLEN_T size = sizeof(interface_sock);
302
303   if (  ip_bind(sock, sc->host_af, sc->interface, 0) < 0
304      || getsockname(sock, (struct sockaddr *) &interface_sock, &size) < 0
305      )
306     {
307     HDEBUG(D_transport|D_acl|D_v)
308       debug_printf_indent("unable to bind outgoing SMTP call to %s: %s\n", sc->interface,
309         strerror(errno));
310     close(sock);
311     return -1;
312     }
313   sending_ip_address = host_ntoa(-1, &interface_sock, NULL, &sending_port);
314   }
315
316 sc->sock = sock;
317 return sock;
318 }
319
320
321 /* Arguments:
322   sc            details for making connection: host, af, interface, transport
323   timeout       timeout value or 0
324   early_data    if non-NULL, idempotent data to be sent -
325                 preferably in the TCP SYN segment
326               Special case: non-NULL but with NULL blob.data - caller is
327               client-data-first (eg. TLS-on-connect) and a lazy-TCP-connect is
328               acceptable.
329
330 Returns:      connected socket number, or -1 with errno set
331 */
332
333 int
334 smtp_sock_connect(smtp_connect_args * sc, int timeout, const blob * early_data)
335 {
336 smtp_transport_options_block * ob = sc->tblock->drinst.options_block;
337 int sock;
338 int save_errno = 0;
339 const blob * fastopen_blob = NULL;
340
341
342 #ifndef DISABLE_EVENT
343 deliver_host_address = sc->host->address;
344 deliver_host_port = sc->host->port;
345 if (event_raise(sc->tblock->event_action, US"tcp:connect", NULL, &errno)) return -1;
346 #endif
347
348 if (  (sock = sc->sock) < 0
349    && (sock = smtp_boundsock(sc)) < 0)
350   save_errno = errno;
351 sc->sock = -1;
352
353 /* Connect to the remote host, and add keepalive to the socket before returning
354 it, if requested.  If the build supports TFO, request it - and if the caller
355 requested some early-data then include that in the TFO request.  If there is
356 early-data but no TFO support, send it after connecting. */
357
358 if (!save_errno)
359   {
360 #ifdef TCP_FASTOPEN
361   /* See if TCP Fast Open usable.  Default is a traditional 3WHS connect */
362   expand_level++;
363   if (verify_check_given_host(CUSS &ob->hosts_try_fastopen, sc->host) == OK)
364     {
365     if (!early_data)
366       fastopen_blob = &tcp_fastopen_nodata;     /* TFO, with no data */
367     else if (early_data->data)
368       fastopen_blob = early_data;               /* TFO, with data */
369 # ifdef TCP_FASTOPEN_CONNECT
370     else
371       {                                         /* expecting client data */
372       DEBUG(D_transport|D_acl|D_v) debug_printf(" set up lazy-connect\n");
373       setsockopt(sock, IPPROTO_TCP, TCP_FASTOPEN_CONNECT, US &on, sizeof(on));
374       /* fastopen_blob = NULL;           lazy TFO, triggered by data write */
375       }
376 # endif
377     }
378   expand_level--;
379 #endif
380
381   if (ip_connect(sock, sc->host_af, sc->host->address, sc->host->port, timeout, fastopen_blob) < 0)
382     save_errno = errno;
383   else if (early_data && !fastopen_blob && early_data->data && early_data->len)
384     {
385     /* We had some early-data to send, but couldn't do TFO */
386     HDEBUG(D_transport|D_acl|D_v)
387       debug_printf("sending %ld nonTFO early-data\n", (long)early_data->len);
388
389 #ifdef TCP_QUICKACK_notdef
390     (void) setsockopt(sock, IPPROTO_TCP, TCP_QUICKACK, US &off, sizeof(off));
391 #endif
392     if (send(sock, early_data->data, early_data->len, 0) < 0)
393       save_errno = errno;
394     }
395 #ifdef TCP_QUICKACK_notdef
396   /* Under TFO (with openssl & pipe-conn; testcase 4069, as of
397   5.10.8-100.fc32.x86_64) this seems to be inop.
398   Perhaps overwritten when we (client) go -> ESTABLISHED on seeing the 3rd-ACK?
399   For that case, added at smtp_reap_banner(). */
400   (void) setsockopt(sock, IPPROTO_TCP, TCP_QUICKACK, US &off, sizeof(off));
401 #endif
402   }
403
404 if (!save_errno)
405   {
406   union sockaddr_46 interface_sock;
407   EXIM_SOCKLEN_T size = sizeof(interface_sock);
408
409   /* Both bind() and connect() succeeded, and any early-data */
410
411   HDEBUG(D_transport|D_acl|D_v) debug_printf_indent("connected\n");
412   if (getsockname(sock, (struct sockaddr *)(&interface_sock), &size) == 0)
413     sending_ip_address = host_ntoa(-1, &interface_sock, NULL, &sending_port);
414   else
415     {
416     log_write(0, LOG_MAIN | ((errno == ECONNRESET)? 0 : LOG_PANIC),
417       "getsockname() failed: %s", strerror(errno));
418     close(sock);
419     return -1;
420     }
421
422   if (ob->keepalive) ip_keepalive(sock, sc->host->address, TRUE);
423 #ifdef TCP_FASTOPEN
424   tfo_out_check(sock);
425 #endif
426   return sock;
427   }
428
429 /* Either bind() or connect() failed */
430
431 HDEBUG(D_transport|D_acl|D_v)
432   {
433   debug_printf_indent(" failed: %s", CUstrerror(save_errno));
434   if (save_errno == ETIMEDOUT)
435     debug_printf(" (timeout=%s)", readconf_printtime(timeout));
436   debug_printf("\n");
437   }
438 (void)close(sock);
439 errno = save_errno;
440 return -1;
441 }
442
443
444
445
446
447 void
448 smtp_port_for_connect(host_item * host, int port)
449 {
450 if (host->port != PORT_NONE)
451   {
452   HDEBUG(D_transport|D_acl|D_v) if (port != host->port)
453     debug_printf_indent("Transport port=%d replaced by host-specific port=%d\n", port,
454       host->port);
455   port = host->port;
456   }
457 else host->port = port;    /* Set the port actually used */
458 }
459
460
461 /*************************************************
462 *           Connect to remote host               *
463 *************************************************/
464
465 /* Create a socket, and connect it to a remote host. IPv6 addresses are
466 detected by checking for a colon in the address. AF_INET6 is defined even on
467 non-IPv6 systems, to enable the code to be less messy. However, on such systems
468 host->address will always be an IPv4 address.
469
470 Arguments:
471   sc          details for making connection: host, af, interface, transport
472   early_data  if non-NULL, data to be sent - preferably in the TCP SYN segment
473               Special case: non-NULL but with NULL blob.data - caller is
474               client-data-first (eg. TLS-on-connect) and a lazy-TCP-connect is
475               acceptable.
476
477 Returns:      connected socket number, or -1 with errno set
478 */
479
480 int
481 smtp_connect(smtp_connect_args * sc, const blob * early_data)
482 {
483 smtp_transport_options_block * ob = sc->ob;
484
485 callout_address = string_sprintf("[%s]:%d", sc->host->address, sc->host->port);
486
487 HDEBUG(D_transport|D_acl|D_v)
488   {
489   gstring * g = sc->interface
490     ? string_fmt_append(NULL, " from %s", sc->interface)
491     : string_get(10);
492 #ifdef SUPPORT_SOCKS
493   if (ob->socks_proxy) g = string_catn(g, US"via proxy", 9);
494 #endif
495   debug_printf_indent("Connecting to %s %s%Y ...\n",
496                       sc->host->name, callout_address, g);
497   }
498
499 /* Create and connect the socket */
500
501 #ifdef SUPPORT_SOCKS
502 GET_OPTION("socks_proxy");
503 if (ob->socks_proxy)
504   {
505   if (!(ob->socks_proxy = expand_string(ob->socks_proxy)))
506     {
507     log_write(0, LOG_MAIN|LOG_PANIC, "Bad expansion for socks_proxy in %s",
508       sc->tblock->drinst.name);
509     return -1;
510     }
511   if (*ob->socks_proxy)
512     return socks_sock_connect(sc, early_data);
513   }
514 #endif
515
516 return smtp_sock_connect(sc, ob->connect_timeout, early_data);
517 }
518
519
520 /*************************************************
521 *        Flush outgoing command buffer           *
522 *************************************************/
523
524 /* This function is called only from smtp_write_command() below. It flushes
525 the buffer of outgoing commands. There is more than one in the buffer only when
526 pipelining.
527
528 Argument:
529   outblock   the SMTP output block
530   mode       further data expected, or plain
531
532 Returns:     TRUE if OK, FALSE on error, with errno set
533 */
534
535 static BOOL
536 flush_buffer(smtp_outblock * outblock, int mode)
537 {
538 int n = outblock->ptr - outblock->buffer, rc;
539 BOOL more = mode == SCMD_MORE;
540 client_conn_ctx * cctx;
541 const uschar * where;
542
543 HDEBUG(D_transport|D_acl) debug_printf_indent("cmd buf flush %d bytes%s\n", n,
544   more ? " (more expected)" : "");
545
546 if (!(cctx = outblock->cctx))
547   {
548   log_write(0, LOG_MAIN|LOG_PANIC, "null conn-context pointer");
549   errno = 0;
550   return FALSE;
551   }
552
553 #ifndef DISABLE_TLS
554 where = US"tls_write";
555 if (cctx->tls_ctx)              /*XXX have seen a null cctx here, rvfy sending QUIT, hence check above */
556   rc = tls_write(cctx->tls_ctx, outblock->buffer, n, more);
557 else
558 #endif
559
560   {
561   if (outblock->conn_args)
562     {
563     blob early_data = { .data = outblock->buffer, .len = n };
564
565     /* We ignore the more-flag if we're doing a connect with early-data, which
566     means we won't get BDAT+data. A pity, but wise due to the idempotency
567     requirement: TFO with data can, in rare cases, replay the data to the
568     receiver. */
569
570     where = US"smtp_connect";
571     if (  (cctx->sock = smtp_connect(outblock->conn_args, &early_data))
572        < 0)
573       return FALSE;
574     outblock->conn_args = NULL;
575     rc = n;
576     }
577   else
578     {
579     where = US"send";
580     rc = send(cctx->sock, outblock->buffer, n,
581 #ifdef MSG_MORE
582               more ? MSG_MORE : 0
583 #else
584               0
585 #endif
586              );
587
588 #if defined(__linux__)
589     /* This is a workaround for a current linux kernel bug: as of
590     5.6.8-200.fc31.x86_64  small (<MSS) writes get delayed by about 200ms,
591     This is despite NODELAY being active.
592     https://bugzilla.redhat.com/show_bug.cgi?id=1803806 */
593
594     where = US"cork";
595     if (!more)
596       setsockopt(cctx->sock, IPPROTO_TCP, TCP_CORK, &off, sizeof(off));
597 #endif
598     }
599   }
600
601 if (rc <= 0)
602   {
603   HDEBUG(D_transport|D_acl) debug_printf_indent("%s (fd %d) failed: %s\n",
604     where, cctx->sock, strerror(errno));
605   return FALSE;
606   }
607
608 outblock->ptr = outblock->buffer;
609 outblock->cmd_count = 0;
610 return TRUE;
611 }
612
613
614
615 /*************************************************
616 *             Write SMTP command                 *
617 *************************************************/
618
619 /* The formatted command is left in big_buffer so that it can be reflected in
620 any error message.
621
622 Arguments:
623   sx         SMTP connection, contains buffer for pipelining, and socket
624   mode       buffer, write-with-more-likely, write
625   format     a format, starting with one of
626              of HELO, MAIL FROM, RCPT TO, DATA, BDAT, ".", or QUIT.
627              If NULL, flush pipeline buffer only.
628   ...        data for the format
629
630 Returns:     0 if command added to pipelining buffer, with nothing transmitted
631             +n if n commands transmitted (may still have buffered the new one)
632             -1 on error, with errno set
633 */
634
635 int
636 smtp_write_command(void * sx, int mode, const char * format, ...)
637 {
638 smtp_outblock * outblock = &((smtp_context *)sx)->outblock;
639 int rc = 0;
640
641 if (format)
642   {
643   gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
644   va_list ap;
645
646   /* Use taint-unchecked routines for writing into big_buffer, trusting that
647   we'll never expand the results.  Actually, the error-message use - leaving
648   the results in big_buffer for potential later use - is uncomfortably distant.
649   XXX Would be better to assume all smtp commands are short, use normal pool
650   alloc rather than big_buffer, and another global for the data-for-error. */
651
652   va_start(ap, format);
653   if (!string_vformat(&gs, SVFMT_TAINT_NOCHK, CS format, ap))
654     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "overlong write_command in outgoing "
655       "SMTP");
656   va_end(ap);
657
658   if (gs.ptr > outblock->buffersize)
659     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "overlong write_command in outgoing "
660       "SMTP");
661
662   if (gs.ptr > outblock->buffersize - (outblock->ptr - outblock->buffer))
663     {
664     rc = outblock->cmd_count;                 /* flush resets */
665     if (!flush_buffer(outblock, SCMD_FLUSH)) return -1;
666     }
667
668   Ustrncpy(outblock->ptr, gs.s, gs.ptr);
669   outblock->ptr += gs.ptr;
670   outblock->cmd_count++;
671   gs.ptr -= 2; string_from_gstring(&gs); /* remove \r\n for error message */
672
673   /* We want to hide the actual data sent in AUTH transactions from reflections
674   and logs. While authenticating, a flag is set in the outblock to enable this.
675   The AUTH command itself gets any data flattened. Other lines are flattened
676   completely. */
677
678   if (outblock->authenticating)
679     {
680     uschar * p = big_buffer;
681     if (Ustrncmp(big_buffer, "AUTH ", 5) == 0)
682       {
683       p += 5;
684       Uskip_whitespace(&p);
685       Uskip_nonwhite(&p);
686       Uskip_whitespace(&p);
687       }
688     while (*p) *p++ = '*';
689     }
690
691   smtp_debug_cmd(big_buffer, mode);
692   }
693
694 if (mode != SCMD_BUFFER)
695   {
696   rc += outblock->cmd_count;                /* flush resets */
697   if (!flush_buffer(outblock, mode)) return -1;
698   }
699
700 return rc;
701 }
702
703
704
705 /*************************************************
706 *          Read one line of SMTP response        *
707 *************************************************/
708
709 /* This function reads one line of SMTP response from the server host. This may
710 not be a complete response - it could be just part of a multiline response. We
711 have to use a buffer for incoming packets, because when pipelining or using
712 LMTP, there may well be more than one response in a single packet. This
713 function is called only from the one that follows.
714
715 Arguments:
716   inblock   the SMTP input block (contains holding buffer, socket, etc.)
717   buffer    where to put the line
718   size      space available for the line
719   timelimit deadline for reading the lime, seconds past epoch
720
721 Returns:    length of a line that has been put in the buffer
722             -1 otherwise, with errno set, and inblock->ptr adjusted
723 */
724
725 static int
726 read_response_line(smtp_inblock *inblock, uschar *buffer, int size, time_t timelimit)
727 {
728 uschar *p = buffer;
729 uschar *ptr = inblock->ptr;
730 uschar *ptrend = inblock->ptrend;
731 client_conn_ctx * cctx = inblock->cctx;
732
733 /* Loop for reading multiple packets or reading another packet after emptying
734 a previously-read one. */
735
736 for (;;)
737   {
738   int rc;
739
740   /* If there is data in the input buffer left over from last time, copy
741   characters from it until the end of a line, at which point we can return,
742   having removed any whitespace (which will include CR) at the end of the line.
743   The rules for SMTP say that lines end in CRLF, but there are have been cases
744   of hosts using just LF, and other MTAs are reported to handle this, so we
745   just look for LF. If we run out of characters before the end of a line,
746   carry on to read the next incoming packet. */
747
748   while (ptr < ptrend)
749     {
750     int c = *ptr++;
751     if (c == '\n')
752       {
753       while (p > buffer && isspace(p[-1])) p--;
754       *p = 0;
755       inblock->ptr = ptr;
756       return p - buffer;
757       }
758     *p++ = c;
759     if (--size < 4)
760       {
761       *p = 0;                     /* Leave malformed line for error message */
762       errno = ERRNO_SMTPFORMAT;
763       inblock->ptr = ptr;
764       return -1;
765       }
766     }
767
768   /* Need to read a new input packet. */
769
770   if((rc = ip_recv(cctx, inblock->buffer, inblock->buffersize, timelimit)) <= 0)
771     {
772     DEBUG(D_deliver|D_transport|D_acl|D_v)
773       debug_printf_indent(errno ? "  SMTP(%s)<<\n" : "  SMTP(closed)<<\n",
774         strerror(errno));
775     break;
776     }
777
778   /* Another block of data has been successfully read. Set up the pointers
779   and let the loop continue. */
780
781   ptrend = inblock->ptrend = inblock->buffer + rc;
782   ptr = inblock->buffer;
783   DEBUG(D_transport|D_acl) debug_printf_indent("read response data: size=%d\n", rc);
784   }
785
786 /* Get here if there has been some kind of recv() error; errno is set, but we
787 ensure that the result buffer is empty before returning. */
788
789 inblock->ptr = inblock->ptrend = inblock->buffer;
790 *buffer = 0;
791 return -1;
792 }
793
794
795
796
797
798 /*************************************************
799 *              Read SMTP response                *
800 *************************************************/
801
802 /* This function reads an SMTP response with a timeout, and returns the
803 response in the given buffer, as a string. A multiline response will contain
804 newline characters between the lines. The function also analyzes the first
805 digit of the reply code and returns FALSE if it is not acceptable. FALSE is
806 also returned after a reading error. In this case buffer[0] will be zero, and
807 the error code will be in errno.
808
809 Arguments:
810   sx        the SMTP connection (contains input block with holding buffer,
811                 socket, etc.)
812   buffer    where to put the response
813   size      the size of the buffer
814   okdigit   the expected first digit of the response
815   timeout   the timeout to use, in seconds
816
817 Returns:    TRUE if a valid, non-error response was received; else FALSE
818 */
819 /*XXX could move to smtp transport; no other users */
820
821 BOOL
822 smtp_read_response(void * sx0, uschar * buffer, int size, int okdigit,
823    int timeout)
824 {
825 smtp_context * sx = sx0;
826 uschar * ptr = buffer;
827 int count = 0;
828 time_t timelimit = time(NULL) + timeout;
829 BOOL yield = FALSE;
830
831 errno = 0;  /* Ensure errno starts out zero */
832 buffer[0] = '\0';
833
834 #ifndef DISABLE_PIPE_CONNECT
835 if (sx->pending_BANNER || sx->pending_EHLO)
836   {
837   int rc;
838   if ((rc = smtp_reap_early_pipe(sx, &count)) != OK)
839     {
840     DEBUG(D_transport) debug_printf("failed reaping pipelined cmd responsess\n");
841     if (rc == DEFER) errno = ERRNO_TLSFAILURE;
842     goto out;
843     }
844   }
845 #endif
846
847 /* This is a loop to read and concatenate the lines that make up a multi-line
848 response. */
849
850 for (;;)
851   {
852   if ((count = read_response_line(&sx->inblock, ptr, size, timelimit)) < 0)
853     return FALSE;
854
855   HDEBUG(D_transport|D_acl|D_v)
856     debug_printf_indent("  %s %s\n", ptr == buffer ? "SMTP<<" : "      ", ptr);
857
858   /* Check the format of the response: it must start with three digits; if
859   these are followed by a space or end of line, the response is complete. If
860   they are followed by '-' this is a multi-line response and we must look for
861   another line until the final line is reached. The only use made of multi-line
862   responses is to pass them back as error messages. We therefore just
863   concatenate them all within the buffer, which should be large enough to
864   accept any reasonable number of lines. */
865
866   if (count < 3 ||
867      !isdigit(ptr[0]) ||
868      !isdigit(ptr[1]) ||
869      !isdigit(ptr[2]) ||
870      (ptr[3] != '-' && ptr[3] != ' ' && ptr[3] != 0))
871     {
872     errno = ERRNO_SMTPFORMAT;    /* format error */
873     goto out;
874     }
875
876   /* If the line we have just read is a terminal line, line, we are done.
877   Otherwise more data has to be read. */
878
879   if (ptr[3] != '-') break;
880
881   /* Move the reading pointer upwards in the buffer and insert \n between the
882   components of a multiline response. Space is left for this by read_response_
883   line(). */
884
885   ptr += count;
886   *ptr++ = '\n';
887   size -= count + 1;
888   }
889
890 #ifdef TCP_FASTOPEN
891 tfo_out_check(sx->cctx.sock);
892 #endif
893
894 /* Return a value that depends on the SMTP return code. On some systems a
895 non-zero value of errno has been seen at this point, so ensure it is zero,
896 because the caller of this function looks at errno when FALSE is returned, to
897 distinguish between an unexpected return code and other errors such as
898 timeouts, lost connections, etc. */
899
900 errno = 0;
901 yield = buffer[0] == okdigit;
902
903 out:
904   smtp_debug_resp(buffer);
905   return yield;
906 }
907
908 /* End of smtp_out.c */
909 /* vi: aw ai sw=2
910 */