Fix macOS build
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static struct {
135   BOOL auth_advertised                  :1;
136 #ifndef DISABLE_TLS
137   BOOL tls_advertised                   :1;
138 #endif
139   BOOL dsn_advertised                   :1;
140   BOOL esmtp                            :1;
141   BOOL helo_required                    :1;
142   BOOL helo_verify                      :1;
143   BOOL helo_seen                        :1;
144   BOOL helo_accept_junk                 :1;
145 #ifndef DISABLE_PIPE_CONNECT
146   BOOL pipe_connect_acceptable          :1;
147 #endif
148   BOOL rcpt_smtp_response_same          :1;
149   BOOL rcpt_in_progress                 :1;
150   BOOL smtp_exit_function_called        :1;
151 #ifdef SUPPORT_I18N
152   BOOL smtputf8_advertised              :1;
153 #endif
154 } fl = {
155   .helo_required = FALSE,
156   .helo_verify = FALSE,
157   .smtp_exit_function_called = FALSE,
158 };
159
160 static auth_instance *authenticated_by;
161 static int  count_nonmail;
162 static int  nonmail_command_count;
163 static int  synprot_error_count;
164 static int  unknown_command_count;
165 static int  sync_cmd_limit;
166 static int  smtp_write_error = 0;
167
168 static uschar *rcpt_smtp_response;
169 static uschar *smtp_data_buffer;
170 static uschar *smtp_cmd_data;
171
172 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
173 final fields of all except AUTH are forced TRUE at the start of a new message
174 setup, to allow one of each between messages that is not counted as a nonmail
175 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
176 allow a new EHLO after starting up TLS.
177
178 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
179 counted. However, the flag is changed when AUTH is received, so that multiple
180 failing AUTHs will eventually hit the limit. After a successful AUTH, another
181 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
182 forced TRUE, to allow for the re-authentication that can happen at that point.
183
184 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
185 count of non-mail commands and possibly provoke an error.
186
187 tls_auth is a pseudo-command, never expected in input.  It is activated
188 on TLS startup and looks for a tls authenticator. */
189
190 static smtp_cmd_list cmd_list[] = {
191   /* name         len                     cmd     has_arg is_mail_cmd */
192
193   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
194   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
195   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
196   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
197 #ifndef DISABLE_TLS
198   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
199   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
200 #endif
201
202 /* If you change anything above here, also fix the definitions below. */
203
204   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
205   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
206   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
207   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
208   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
209   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
210   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
211   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
212   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
213   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
214 };
215
216 static smtp_cmd_list *cmd_list_end =
217   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
218
219 #define CMD_LIST_RSET      0
220 #define CMD_LIST_HELO      1
221 #define CMD_LIST_EHLO      2
222 #define CMD_LIST_AUTH      3
223 #define CMD_LIST_STARTTLS  4
224 #define CMD_LIST_TLS_AUTH  5
225
226 /* This list of names is used for performing the smtp_no_mail logging action.
227 It must be kept in step with the SCH_xxx enumerations. */
228
229 static uschar *smtp_names[] =
230   {
231   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
232   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
233   US"STARTTLS", US"VRFY" };
234
235 static uschar *protocols_local[] = {
236   US"local-smtp",        /* HELO */
237   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
238   US"local-esmtp",       /* EHLO */
239   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
240   US"local-esmtpa",      /* EHLO->AUTH */
241   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
242   };
243 static uschar *protocols[] = {
244   US"smtp",              /* HELO */
245   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
246   US"esmtp",             /* EHLO */
247   US"esmtps",            /* EHLO->STARTTLS->EHLO */
248   US"esmtpa",            /* EHLO->AUTH */
249   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
250   };
251
252 #define pnormal  0
253 #define pextend  2
254 #define pcrpted  1  /* added to pextend or pnormal */
255 #define pauthed  2  /* added to pextend */
256
257 /* Sanity check and validate optional args to MAIL FROM: envelope */
258 enum {
259   ENV_MAIL_OPT_NULL,
260   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
261 #ifndef DISABLE_PRDR
262   ENV_MAIL_OPT_PRDR,
263 #endif
264   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
265 #ifdef SUPPORT_I18N
266   ENV_MAIL_OPT_UTF8,
267 #endif
268   };
269 typedef struct {
270   uschar *   name;  /* option requested during MAIL cmd */
271   int       value;  /* enum type */
272   BOOL need_value;  /* TRUE requires value (name=value pair format)
273                        FALSE is a singleton */
274   } env_mail_type_t;
275 static env_mail_type_t env_mail_type_list[] = {
276     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
277     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
278     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
279 #ifndef DISABLE_PRDR
280     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
281 #endif
282     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
283     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
284 #ifdef SUPPORT_I18N
285     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
286 #endif
287     /* keep this the last entry */
288     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
289   };
290
291 /* When reading SMTP from a remote host, we have to use our own versions of the
292 C input-reading functions, in order to be able to flush the SMTP output only
293 when about to read more data from the socket. This is the only way to get
294 optimal performance when the client is using pipelining. Flushing for every
295 command causes a separate packet and reply packet each time; saving all the
296 responses up (when pipelining) combines them into one packet and one response.
297
298 For simplicity, these functions are used for *all* SMTP input, not only when
299 receiving over a socket. However, after setting up a secure socket (SSL), input
300 is read via the OpenSSL library, and another set of functions is used instead
301 (see tls.c).
302
303 These functions are set in the receive_getc etc. variables and called with the
304 same interface as the C functions. However, since there can only ever be
305 one incoming SMTP call, we just use a single buffer and flags. There is no need
306 to implement a complicated private FILE-like structure.*/
307
308 static uschar *smtp_inbuffer;
309 static uschar *smtp_inptr;
310 static uschar *smtp_inend;
311 static int     smtp_had_eof;
312 static int     smtp_had_error;
313
314
315 /* forward declarations */
316 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
317 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
318 static void smtp_quit_handler(uschar **, uschar **);
319 static void smtp_rset_handler(void);
320
321 /*************************************************
322 *          Recheck synchronization               *
323 *************************************************/
324
325 /* Synchronization checks can never be perfect because a packet may be on its
326 way but not arrived when the check is done.  Normally, the checks happen when
327 commands are read: Exim ensures that there is no more input in the input buffer.
328 In normal cases, the response to the command will be fast, and there is no
329 further check.
330
331 However, for some commands an ACL is run, and that can include delays. In those
332 cases, it is useful to do another check on the input just before sending the
333 response. This also applies at the start of a connection. This function does
334 that check by means of the select() function, as long as the facility is not
335 disabled or inappropriate. A failure of select() is ignored.
336
337 When there is unwanted input, we read it so that it appears in the log of the
338 error.
339
340 Arguments: none
341 Returns:   TRUE if all is well; FALSE if there is input pending
342 */
343
344 static BOOL
345 wouldblock_reading(void)
346 {
347 int fd, rc;
348 fd_set fds;
349 struct timeval tzero;
350
351 #ifndef DISABLE_TLS
352 if (tls_in.active.sock >= 0)
353  return !tls_could_read();
354 #endif
355
356 if (smtp_inptr < smtp_inend)
357   return FALSE;
358
359 fd = fileno(smtp_in);
360 FD_ZERO(&fds);
361 FD_SET(fd, &fds);
362 tzero.tv_sec = 0;
363 tzero.tv_usec = 0;
364 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
365
366 if (rc <= 0) return TRUE;     /* Not ready to read */
367 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
368 if (rc < 0) return TRUE;      /* End of file or error */
369
370 smtp_ungetc(rc);
371 return FALSE;
372 }
373
374 static BOOL
375 check_sync(void)
376 {
377 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
378   return TRUE;
379
380 return wouldblock_reading();
381 }
382
383
384 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
385 a reponse with the one following. */
386
387 static BOOL
388 pipeline_response(void)
389 {
390 if (  !smtp_enforce_sync || !sender_host_address
391    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
392   return FALSE;
393
394 if (wouldblock_reading()) return FALSE;
395 f.smtp_in_pipelining_used = TRUE;
396 return TRUE;
397 }
398
399
400 #ifndef DISABLE_PIPE_CONNECT
401 static BOOL
402 pipeline_connect_sends(void)
403 {
404 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
405   return FALSE;
406
407 if (wouldblock_reading()) return FALSE;
408 f.smtp_in_early_pipe_used = TRUE;
409 return TRUE;
410 }
411 #endif
412
413 /*************************************************
414 *          Log incomplete transactions           *
415 *************************************************/
416
417 /* This function is called after a transaction has been aborted by RSET, QUIT,
418 connection drops or other errors. It logs the envelope information received
419 so far in order to preserve address verification attempts.
420
421 Argument:   string to indicate what aborted the transaction
422 Returns:    nothing
423 */
424
425 static void
426 incomplete_transaction_log(uschar *what)
427 {
428 if (!sender_address                             /* No transaction in progress */
429    || !LOGGING(smtp_incomplete_transaction))
430   return;
431
432 /* Build list of recipients for logging */
433
434 if (recipients_count > 0)
435   {
436   raw_recipients = store_get(recipients_count * sizeof(uschar *), FALSE);
437   for (int i = 0; i < recipients_count; i++)
438     raw_recipients[i] = recipients_list[i].address;
439   raw_recipients_count = recipients_count;
440   }
441
442 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
443   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
444 }
445
446
447
448
449 void
450 smtp_command_timeout_exit(void)
451 {
452 log_write(L_lost_incoming_connection,
453           LOG_MAIN, "SMTP command timeout on%s connection from %s",
454           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
455 if (smtp_batched_input)
456   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
457 smtp_notquit_exit(US"command-timeout", US"421",
458   US"%s: SMTP command timeout - closing connection",
459   smtp_active_hostname);
460 exim_exit(EXIT_FAILURE, US"receiving");
461 }
462
463 void
464 smtp_command_sigterm_exit(void)
465 {
466 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
467 if (smtp_batched_input)
468   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
469 smtp_notquit_exit(US"signal-exit", US"421",
470   US"%s: Service not available - closing connection", smtp_active_hostname);
471 exim_exit(EXIT_FAILURE, US"receiving");
472 }
473
474 void
475 smtp_data_timeout_exit(void)
476 {
477 log_write(L_lost_incoming_connection,
478   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
479   sender_fullhost ? sender_fullhost : US"local process", sender_address);
480 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
481 /* Does not return */
482 }
483
484 void
485 smtp_data_sigint_exit(void)
486 {
487 log_write(0, LOG_MAIN, "%s closed after %s",
488   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
489 receive_bomb_out(US"signal-exit",
490   US"Service not available - SIGTERM or SIGINT received");
491 /* Does not return */
492 }
493
494
495
496 /* Refill the buffer, and notify DKIM verification code.
497 Return false for error or EOF.
498 */
499
500 static BOOL
501 smtp_refill(unsigned lim)
502 {
503 int rc, save_errno;
504 if (!smtp_out) return FALSE;
505 fflush(smtp_out);
506 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
507
508 /* Limit amount read, so non-message data is not fed to DKIM.
509 Take care to not touch the safety NUL at the end of the buffer. */
510
511 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
512 save_errno = errno;
513 if (smtp_receive_timeout > 0) ALARM_CLR(0);
514 if (rc <= 0)
515   {
516   /* Must put the error text in fixed store, because this might be during
517   header reading, where it releases unused store above the header. */
518   if (rc < 0)
519     {
520     if (had_command_timeout)            /* set by signal handler */
521       smtp_command_timeout_exit();      /* does not return */
522     if (had_command_sigterm)
523       smtp_command_sigterm_exit();
524     if (had_data_timeout)
525       smtp_data_timeout_exit();
526     if (had_data_sigint)
527       smtp_data_sigint_exit();
528
529     smtp_had_error = save_errno;
530     smtp_read_error = string_copy_perm(
531       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
532     }
533   else
534     smtp_had_eof = 1;
535   return FALSE;
536   }
537 #ifndef DISABLE_DKIM
538 dkim_exim_verify_feed(smtp_inbuffer, rc);
539 #endif
540 smtp_inend = smtp_inbuffer + rc;
541 smtp_inptr = smtp_inbuffer;
542 return TRUE;
543 }
544
545 /*************************************************
546 *          SMTP version of getc()                *
547 *************************************************/
548
549 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
550 it flushes the output, and refills the buffer, with a timeout. The signal
551 handler is set appropriately by the calling function. This function is not used
552 after a connection has negotiated itself into an TLS/SSL state.
553
554 Arguments:  lim         Maximum amount to read/buffer
555 Returns:    the next character or EOF
556 */
557
558 int
559 smtp_getc(unsigned lim)
560 {
561 if (smtp_inptr >= smtp_inend)
562   if (!smtp_refill(lim))
563     return EOF;
564 return *smtp_inptr++;
565 }
566
567 uschar *
568 smtp_getbuf(unsigned * len)
569 {
570 unsigned size;
571 uschar * buf;
572
573 if (smtp_inptr >= smtp_inend)
574   if (!smtp_refill(*len))
575     { *len = 0; return NULL; }
576
577 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
578 buf = smtp_inptr;
579 smtp_inptr += size;
580 *len = size;
581 return buf;
582 }
583
584 void
585 smtp_get_cache(void)
586 {
587 #ifndef DISABLE_DKIM
588 int n = smtp_inend - smtp_inptr;
589 if (n > 0)
590   dkim_exim_verify_feed(smtp_inptr, n);
591 #endif
592 }
593
594
595 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
596 previous BDAT chunk and getting new ones when we run out.  Uses the
597 underlying smtp_getc or tls_getc both for that and for getting the
598 (buffered) data byte.  EOD signals (an expected) no further data.
599 ERR signals a protocol error, and EOF a closed input stream.
600
601 Called from read_bdat_smtp() in receive.c for the message body, but also
602 by the headers read loop in receive_msg(); manipulates chunking_state
603 to handle the BDAT command/response.
604 Placed here due to the correlation with the above smtp_getc(), which it wraps,
605 and also by the need to do smtp command/response handling.
606
607 Arguments:  lim         (ignored)
608 Returns:    the next character or ERR, EOD or EOF
609 */
610
611 int
612 bdat_getc(unsigned lim)
613 {
614 uschar * user_msg = NULL;
615 uschar * log_msg;
616
617 for(;;)
618   {
619 #ifndef DISABLE_DKIM
620   unsigned dkim_save;
621 #endif
622
623   if (chunking_data_left > 0)
624     return lwr_receive_getc(chunking_data_left--);
625
626   receive_getc = lwr_receive_getc;
627   receive_getbuf = lwr_receive_getbuf;
628   receive_ungetc = lwr_receive_ungetc;
629 #ifndef DISABLE_DKIM
630   dkim_save = dkim_collect_input;
631   dkim_collect_input = 0;
632 #endif
633
634   /* Unless PIPELINING was offered, there should be no next command
635   until after we ack that chunk */
636
637   if (!f.smtp_in_pipelining_advertised && !check_sync())
638     {
639     unsigned n = smtp_inend - smtp_inptr;
640     if (n > 32) n = 32;
641
642     incomplete_transaction_log(US"sync failure");
643     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
644       "(next input sent too soon: pipelining was not advertised): "
645       "rejected \"%s\" %s next input=\"%s\"%s",
646       smtp_cmd_buffer, host_and_ident(TRUE),
647       string_printing(string_copyn(smtp_inptr, n)),
648       smtp_inend - smtp_inptr > n ? "..." : "");
649     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
650       US"SMTP synchronization error");
651     goto repeat_until_rset;
652     }
653
654   /* If not the last, ack the received chunk.  The last response is delayed
655   until after the data ACL decides on it */
656
657   if (chunking_state == CHUNKING_LAST)
658     {
659 #ifndef DISABLE_DKIM
660     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
661 #endif
662     return EOD;
663     }
664
665   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
666   chunking_state = CHUNKING_OFFERED;
667   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
668
669   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
670   QUIT, RSET or NOOP but handling them seems obvious */
671
672 next_cmd:
673   switch(smtp_read_command(TRUE, 1))
674     {
675     default:
676       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
677         US"only BDAT permissible after non-LAST BDAT");
678
679   repeat_until_rset:
680       switch(smtp_read_command(TRUE, 1))
681         {
682         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
683         case EOF_CMD:   return EOF;
684         case RSET_CMD:  smtp_rset_handler(); return ERR;
685         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
686                                           US"only RSET accepted now") > 0)
687                           return EOF;
688                         goto repeat_until_rset;
689         }
690
691     case QUIT_CMD:
692       smtp_quit_handler(&user_msg, &log_msg);
693       /*FALLTHROUGH*/
694     case EOF_CMD:
695       return EOF;
696
697     case RSET_CMD:
698       smtp_rset_handler();
699       return ERR;
700
701     case NOOP_CMD:
702       HAD(SCH_NOOP);
703       smtp_printf("250 OK\r\n", FALSE);
704       goto next_cmd;
705
706     case BDAT_CMD:
707       {
708       int n;
709
710       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
711         {
712         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
713           US"missing size for BDAT command");
714         return ERR;
715         }
716       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
717         ? CHUNKING_LAST : CHUNKING_ACTIVE;
718       chunking_data_left = chunking_datasize;
719       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
720                                     (int)chunking_state, chunking_data_left);
721
722       if (chunking_datasize == 0)
723         if (chunking_state == CHUNKING_LAST)
724           return EOD;
725         else
726           {
727           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
728             US"zero size for BDAT command");
729           goto repeat_until_rset;
730           }
731
732       receive_getc = bdat_getc;
733       receive_getbuf = bdat_getbuf;     /* r~getbuf is never actually used */
734       receive_ungetc = bdat_ungetc;
735 #ifndef DISABLE_DKIM
736       dkim_collect_input = dkim_save;
737 #endif
738       break;    /* to top of main loop */
739       }
740     }
741   }
742 }
743
744 uschar *
745 bdat_getbuf(unsigned * len)
746 {
747 uschar * buf;
748
749 if (chunking_data_left <= 0)
750   { *len = 0; return NULL; }
751
752 if (*len > chunking_data_left) *len = chunking_data_left;
753 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
754 chunking_data_left -= *len;
755 return buf;
756 }
757
758 void
759 bdat_flush_data(void)
760 {
761 while (chunking_data_left)
762   {
763   unsigned n = chunking_data_left;
764   if (!bdat_getbuf(&n)) break;
765   }
766
767 receive_getc = lwr_receive_getc;
768 receive_getbuf = lwr_receive_getbuf;
769 receive_ungetc = lwr_receive_ungetc;
770
771 if (chunking_state != CHUNKING_LAST)
772   {
773   chunking_state = CHUNKING_OFFERED;
774   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
775   }
776 }
777
778
779
780
781 /*************************************************
782 *          SMTP version of ungetc()              *
783 *************************************************/
784
785 /* Puts a character back in the input buffer. Only ever
786 called once.
787
788 Arguments:
789   ch           the character
790
791 Returns:       the character
792 */
793
794 int
795 smtp_ungetc(int ch)
796 {
797 *--smtp_inptr = ch;
798 return ch;
799 }
800
801
802 int
803 bdat_ungetc(int ch)
804 {
805 chunking_data_left++;
806 return lwr_receive_ungetc(ch);
807 }
808
809
810
811 /*************************************************
812 *          SMTP version of feof()                *
813 *************************************************/
814
815 /* Tests for a previous EOF
816
817 Arguments:     none
818 Returns:       non-zero if the eof flag is set
819 */
820
821 int
822 smtp_feof(void)
823 {
824 return smtp_had_eof;
825 }
826
827
828
829
830 /*************************************************
831 *          SMTP version of ferror()              *
832 *************************************************/
833
834 /* Tests for a previous read error, and returns with errno
835 restored to what it was when the error was detected.
836
837 Arguments:     none
838 Returns:       non-zero if the error flag is set
839 */
840
841 int
842 smtp_ferror(void)
843 {
844 errno = smtp_had_error;
845 return smtp_had_error;
846 }
847
848
849
850 /*************************************************
851 *      Test for characters in the SMTP buffer    *
852 *************************************************/
853
854 /* Used at the end of a message
855
856 Arguments:     none
857 Returns:       TRUE/FALSE
858 */
859
860 BOOL
861 smtp_buffered(void)
862 {
863 return smtp_inptr < smtp_inend;
864 }
865
866
867
868 /*************************************************
869 *     Write formatted string to SMTP channel     *
870 *************************************************/
871
872 /* This is a separate function so that we don't have to repeat everything for
873 TLS support or debugging. It is global so that the daemon and the
874 authentication functions can use it. It does not return any error indication,
875 because major problems such as dropped connections won't show up till an output
876 flush for non-TLS connections. The smtp_fflush() function is available for
877 checking that: for convenience, TLS output errors are remembered here so that
878 they are also picked up later by smtp_fflush().
879
880 Arguments:
881   format      format string
882   more        further data expected
883   ...         optional arguments
884
885 Returns:      nothing
886 */
887
888 void
889 smtp_printf(const char *format, BOOL more, ...)
890 {
891 va_list ap;
892
893 va_start(ap, more);
894 smtp_vprintf(format, more, ap);
895 va_end(ap);
896 }
897
898 /* This is split off so that verify.c:respond_printf() can, in effect, call
899 smtp_printf(), bearing in mind that in C a vararg function can't directly
900 call another vararg function, only a function which accepts a va_list. */
901 /*XXX consider passing caller-info in, for string_vformat-onward */
902
903 void
904 smtp_vprintf(const char *format, BOOL more, va_list ap)
905 {
906 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
907 BOOL yield;
908
909 /* Use taint-unchecked routines for writing into big_buffer, trusting
910 that we'll never expand it. */
911
912 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
913 string_from_gstring(&gs);
914
915 DEBUG(D_receive)
916   {
917   uschar *msg_copy, *cr, *end;
918   msg_copy = string_copy(gs.s);
919   end = msg_copy + gs.ptr;
920   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
921     memmove(cr, cr + 1, (end--) - cr);
922   debug_printf("SMTP>> %s", msg_copy);
923   }
924
925 if (!yield)
926   {
927   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
928   smtp_closedown(US"Unexpected error");
929   exim_exit(EXIT_FAILURE, NULL);
930   }
931
932 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
933 have had the same. Note: this code is also present in smtp_respond(). It would
934 be tidier to have it only in one place, but when it was added, it was easier to
935 do it that way, so as not to have to mess with the code for the RCPT command,
936 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
937
938 if (fl.rcpt_in_progress)
939   {
940   if (rcpt_smtp_response == NULL)
941     rcpt_smtp_response = string_copy(big_buffer);
942   else if (fl.rcpt_smtp_response_same &&
943            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
944     fl.rcpt_smtp_response_same = FALSE;
945   fl.rcpt_in_progress = FALSE;
946   }
947
948 /* Now write the string */
949
950 if (
951 #ifndef DISABLE_TLS
952     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
953 #endif
954     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
955    )
956     smtp_write_error = -1;
957 }
958
959
960
961 /*************************************************
962 *        Flush SMTP out and check for error      *
963 *************************************************/
964
965 /* This function isn't currently used within Exim (it detects errors when it
966 tries to read the next SMTP input), but is available for use in local_scan().
967 It flushes the output and checks for errors.
968
969 Arguments:  none
970 Returns:    0 for no error; -1 after an error
971 */
972
973 int
974 smtp_fflush(void)
975 {
976 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
977
978 if (
979 #ifndef DISABLE_TLS
980     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
981 #endif
982     (fflush(smtp_out) != 0)
983    )
984     smtp_write_error = -1;
985
986 return smtp_write_error;
987 }
988
989
990
991 /*************************************************
992 *          SMTP command read timeout             *
993 *************************************************/
994
995 /* Signal handler for timing out incoming SMTP commands. This attempts to
996 finish off tidily.
997
998 Argument: signal number (SIGALRM)
999 Returns:  nothing
1000 */
1001
1002 static void
1003 command_timeout_handler(int sig)
1004 {
1005 had_command_timeout = sig;
1006 }
1007
1008
1009
1010 /*************************************************
1011 *               SIGTERM received                 *
1012 *************************************************/
1013
1014 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1015
1016 Argument: signal number (SIGTERM)
1017 Returns:  nothing
1018 */
1019
1020 static void
1021 command_sigterm_handler(int sig)
1022 {
1023 had_command_sigterm = sig;
1024 }
1025
1026
1027
1028
1029 #ifdef SUPPORT_PROXY
1030 /*************************************************
1031 *     Restore socket timeout to previous value   *
1032 *************************************************/
1033 /* If the previous value was successfully retrieved, restore
1034 it before returning control to the non-proxy routines
1035
1036 Arguments: fd     - File descriptor for input
1037            get_ok - Successfully retrieved previous values
1038            tvtmp  - Time struct with previous values
1039            vslen  - Length of time struct
1040 Returns:   none
1041 */
1042 static void
1043 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1044 {
1045 if (get_ok == 0)
1046   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1047 }
1048
1049 /*************************************************
1050 *       Check if host is required proxy host     *
1051 *************************************************/
1052 /* The function determines if inbound host will be a regular smtp host
1053 or if it is configured that it must use Proxy Protocol.  A local
1054 connection cannot.
1055
1056 Arguments: none
1057 Returns:   bool
1058 */
1059
1060 static BOOL
1061 check_proxy_protocol_host()
1062 {
1063 int rc;
1064
1065 if (  sender_host_address
1066    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1067                            sender_host_address, NULL)) == OK)
1068   {
1069   DEBUG(D_receive)
1070     debug_printf("Detected proxy protocol configured host\n");
1071   proxy_session = TRUE;
1072   }
1073 return proxy_session;
1074 }
1075
1076
1077 /*************************************************
1078 *    Read data until newline or end of buffer    *
1079 *************************************************/
1080 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1081 read an entire buffer and assume there will be nothing past a proxy protocol
1082 header.  Our approach normally is to use stdio, but again that relies upon
1083 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1084 reading _nothing_ before client TLS handshake.  So we don't want to use the
1085 usual buffering reads which may read enough to block TLS starting.
1086
1087 So unfortunately we're down to "read one byte at a time, with a syscall each,
1088 and expect a little overhead", for all proxy-opened connections which are v1,
1089 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1090 underlying fd, we can't assume that we can feed them any already-read content.
1091
1092 We need to know where to read to, the max capacity, and we'll read until we
1093 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1094
1095 Return the amount read.
1096 */
1097
1098 static int
1099 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1100 {
1101 uschar *to = base + already;
1102 uschar *cr;
1103 int have = 0;
1104 int ret;
1105 int last = 0;
1106
1107 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1108 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1109
1110 cr = memchr(base, '\r', already);
1111 if (cr != NULL)
1112   {
1113   if ((cr - base) < already - 1)
1114     {
1115     /* \r and presumed \n already within what we have; probably not
1116     actually proxy protocol, but abort cleanly. */
1117     return 0;
1118     }
1119   /* \r is last character read, just need one more. */
1120   last = 1;
1121   }
1122
1123 while (capacity > 0)
1124   {
1125   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1126   if (ret == -1)
1127     return -1;
1128   have++;
1129   if (last)
1130     return have;
1131   if (*to == '\r')
1132     last = 1;
1133   capacity--;
1134   to++;
1135   }
1136
1137 /* reached end without having room for a final newline, abort */
1138 errno = EOVERFLOW;
1139 return -1;
1140 }
1141
1142 /*************************************************
1143 *         Setup host for proxy protocol          *
1144 *************************************************/
1145 /* The function configures the connection based on a header from the
1146 inbound host to use Proxy Protocol. The specification is very exact
1147 so exit with an error if do not find the exact required pieces. This
1148 includes an incorrect number of spaces separating args.
1149
1150 Arguments: none
1151 Returns:   Boolean success
1152 */
1153
1154 static void
1155 setup_proxy_protocol_host()
1156 {
1157 union {
1158   struct {
1159     uschar line[108];
1160   } v1;
1161   struct {
1162     uschar sig[12];
1163     uint8_t ver_cmd;
1164     uint8_t fam;
1165     uint16_t len;
1166     union {
1167       struct { /* TCP/UDP over IPv4, len = 12 */
1168         uint32_t src_addr;
1169         uint32_t dst_addr;
1170         uint16_t src_port;
1171         uint16_t dst_port;
1172       } ip4;
1173       struct { /* TCP/UDP over IPv6, len = 36 */
1174         uint8_t  src_addr[16];
1175         uint8_t  dst_addr[16];
1176         uint16_t src_port;
1177         uint16_t dst_port;
1178       } ip6;
1179       struct { /* AF_UNIX sockets, len = 216 */
1180         uschar   src_addr[108];
1181         uschar   dst_addr[108];
1182       } unx;
1183     } addr;
1184   } v2;
1185 } hdr;
1186
1187 /* Temp variables used in PPv2 address:port parsing */
1188 uint16_t tmpport;
1189 char tmpip[INET_ADDRSTRLEN];
1190 struct sockaddr_in tmpaddr;
1191 char tmpip6[INET6_ADDRSTRLEN];
1192 struct sockaddr_in6 tmpaddr6;
1193
1194 /* We can't read "all data until end" because while SMTP is
1195 server-speaks-first, the TLS handshake is client-speaks-first, so for
1196 TLS-on-connect ports the proxy protocol header will usually be immediately
1197 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1198 reinject data for reading by those.  So instead we first read "enough to be
1199 safely read within the header, and figure out how much more to read".
1200 For v1 we will later read to the end-of-line, for v2 we will read based upon
1201 the stated length.
1202
1203 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1204 data is needed total.  For v1, where the line looks like:
1205 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1206
1207 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1208 We seem to support that.  So, if we read 14 octets then we can tell if we're
1209 v2 or v1.  If we're v1, we can continue reading as normal.
1210
1211 If we're v2, we can't slurp up the entire header.  We need the length in the
1212 15th & 16th octets, then to read everything after that.
1213
1214 So to safely handle v1 and v2, with client-sent-first supported correctly,
1215 we have to do a minimum of 3 read calls, not 1.  Eww.
1216 */
1217
1218 #define PROXY_INITIAL_READ 14
1219 #define PROXY_V2_HEADER_SIZE 16
1220 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1221 # error Code bug in sizes of data to read for proxy usage
1222 #endif
1223
1224 int get_ok = 0;
1225 int size, ret;
1226 int fd = fileno(smtp_in);
1227 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1228 uschar * iptype;  /* To display debug info */
1229 struct timeval tv;
1230 struct timeval tvtmp;
1231 socklen_t vslen = sizeof(struct timeval);
1232 BOOL yield = FALSE;
1233
1234 /* Save current socket timeout values */
1235 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1236
1237 /* Proxy Protocol host must send header within a short time
1238 (default 3 seconds) or it's considered invalid */
1239 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1240 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1241 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1242   goto bad;
1243
1244 do
1245   {
1246   /* The inbound host was declared to be a Proxy Protocol host, so
1247   don't do a PEEK into the data, actually slurp up enough to be
1248   "safe". Can't take it all because TLS-on-connect clients follow
1249   immediately with TLS handshake. */
1250   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1251   }
1252   while (ret == -1 && errno == EINTR);
1253
1254 if (ret == -1)
1255   goto proxyfail;
1256
1257 /* For v2, handle reading the length, and then the rest. */
1258 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1259   {
1260   int retmore;
1261   uint8_t ver;
1262
1263   /* First get the length fields. */
1264   do
1265     {
1266     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1267     } while (retmore == -1 && errno == EINTR);
1268   if (retmore == -1)
1269     goto proxyfail;
1270   ret += retmore;
1271
1272   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1273
1274   /* May 2014: haproxy combined the version and command into one byte to
1275   allow two full bytes for the length field in order to proxy SSL
1276   connections.  SSL Proxy is not supported in this version of Exim, but
1277   must still separate values here. */
1278
1279   if (ver != 0x02)
1280     {
1281     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1282     goto proxyfail;
1283     }
1284
1285   /* The v2 header will always be 16 bytes per the spec. */
1286   size = 16 + ntohs(hdr.v2.len);
1287   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1288       size, (int)sizeof(hdr));
1289
1290   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1291   amount that we need.  Double-check that the size is not unreasonable, then
1292   get the rest. */
1293   if (size > sizeof(hdr))
1294     {
1295     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1296     goto proxyfail;
1297     }
1298
1299   do
1300     {
1301     do
1302       {
1303       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1304       } while (retmore == -1 && errno == EINTR);
1305     if (retmore == -1)
1306       goto proxyfail;
1307     ret += retmore;
1308     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1309     } while (ret < size);
1310
1311   } /* end scope for getting rest of data for v2 */
1312
1313 /* At this point: if PROXYv2, we've read the exact size required for all data;
1314 if PROXYv1 then we've read "less than required for any valid line" and should
1315 read the rest". */
1316
1317 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1318   {
1319   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1320
1321   switch (cmd)
1322     {
1323     case 0x01: /* PROXY command */
1324       switch (hdr.v2.fam)
1325         {
1326         case 0x11:  /* TCPv4 address type */
1327           iptype = US"IPv4";
1328           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1329           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1330           if (!string_is_ip_address(US tmpip, NULL))
1331             {
1332             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1333             goto proxyfail;
1334             }
1335           proxy_local_address = sender_host_address;
1336           sender_host_address = string_copy(US tmpip);
1337           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1338           proxy_local_port    = sender_host_port;
1339           sender_host_port    = tmpport;
1340           /* Save dest ip/port */
1341           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1342           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1343           if (!string_is_ip_address(US tmpip, NULL))
1344             {
1345             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1346             goto proxyfail;
1347             }
1348           proxy_external_address = string_copy(US tmpip);
1349           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1350           proxy_external_port  = tmpport;
1351           goto done;
1352         case 0x21:  /* TCPv6 address type */
1353           iptype = US"IPv6";
1354           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1355           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1356           if (!string_is_ip_address(US tmpip6, NULL))
1357             {
1358             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1359             goto proxyfail;
1360             }
1361           proxy_local_address = sender_host_address;
1362           sender_host_address = string_copy(US tmpip6);
1363           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1364           proxy_local_port    = sender_host_port;
1365           sender_host_port    = tmpport;
1366           /* Save dest ip/port */
1367           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1368           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1369           if (!string_is_ip_address(US tmpip6, NULL))
1370             {
1371             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1372             goto proxyfail;
1373             }
1374           proxy_external_address = string_copy(US tmpip6);
1375           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1376           proxy_external_port  = tmpport;
1377           goto done;
1378         default:
1379           DEBUG(D_receive)
1380             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1381                          hdr.v2.fam);
1382           goto proxyfail;
1383         }
1384       /* Unsupported protocol, keep local connection address */
1385       break;
1386     case 0x00: /* LOCAL command */
1387       /* Keep local connection address for LOCAL */
1388       iptype = US"local";
1389       break;
1390     default:
1391       DEBUG(D_receive)
1392         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1393       goto proxyfail;
1394     }
1395   }
1396 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1397   {
1398   uschar *p;
1399   uschar *end;
1400   uschar *sp;     /* Utility variables follow */
1401   int     tmp_port;
1402   int     r2;
1403   char   *endc;
1404
1405   /* get the rest of the line */
1406   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1407   if (r2 == -1)
1408     goto proxyfail;
1409   ret += r2;
1410
1411   p = string_copy(hdr.v1.line);
1412   end = memchr(p, '\r', ret - 1);
1413
1414   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1415     {
1416     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1417     goto proxyfail;
1418     }
1419   *end = '\0'; /* Terminate the string */
1420   size = end + 2 - p; /* Skip header + CRLF */
1421   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1422   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1423   /* Step through the string looking for the required fields. Ensure
1424   strict adherence to required formatting, exit for any error. */
1425   p += 5;
1426   if (!isspace(*(p++)))
1427     {
1428     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1429     goto proxyfail;
1430     }
1431   if (!Ustrncmp(p, CCS"TCP4", 4))
1432     iptype = US"IPv4";
1433   else if (!Ustrncmp(p,CCS"TCP6", 4))
1434     iptype = US"IPv6";
1435   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1436     {
1437     iptype = US"Unknown";
1438     goto done;
1439     }
1440   else
1441     {
1442     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1443     goto proxyfail;
1444     }
1445
1446   p += Ustrlen(iptype);
1447   if (!isspace(*(p++)))
1448     {
1449     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1450     goto proxyfail;
1451     }
1452   /* Find the end of the arg */
1453   if ((sp = Ustrchr(p, ' ')) == NULL)
1454     {
1455     DEBUG(D_receive)
1456       debug_printf("Did not find proxied src %s\n", iptype);
1457     goto proxyfail;
1458     }
1459   *sp = '\0';
1460   if(!string_is_ip_address(p, NULL))
1461     {
1462     DEBUG(D_receive)
1463       debug_printf("Proxied src arg is not an %s address\n", iptype);
1464     goto proxyfail;
1465     }
1466   proxy_local_address = sender_host_address;
1467   sender_host_address = p;
1468   p = sp + 1;
1469   if ((sp = Ustrchr(p, ' ')) == NULL)
1470     {
1471     DEBUG(D_receive)
1472       debug_printf("Did not find proxy dest %s\n", iptype);
1473     goto proxyfail;
1474     }
1475   *sp = '\0';
1476   if(!string_is_ip_address(p, NULL))
1477     {
1478     DEBUG(D_receive)
1479       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1480     goto proxyfail;
1481     }
1482   proxy_external_address = p;
1483   p = sp + 1;
1484   if ((sp = Ustrchr(p, ' ')) == NULL)
1485     {
1486     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1487     goto proxyfail;
1488     }
1489   *sp = '\0';
1490   tmp_port = strtol(CCS p, &endc, 10);
1491   if (*endc || tmp_port == 0)
1492     {
1493     DEBUG(D_receive)
1494       debug_printf("Proxied src port '%s' not an integer\n", p);
1495     goto proxyfail;
1496     }
1497   proxy_local_port = sender_host_port;
1498   sender_host_port = tmp_port;
1499   p = sp + 1;
1500   if ((sp = Ustrchr(p, '\0')) == NULL)
1501     {
1502     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1503     goto proxyfail;
1504     }
1505   tmp_port = strtol(CCS p, &endc, 10);
1506   if (*endc || tmp_port == 0)
1507     {
1508     DEBUG(D_receive)
1509       debug_printf("Proxy dest port '%s' not an integer\n", p);
1510     goto proxyfail;
1511     }
1512   proxy_external_port = tmp_port;
1513   /* Already checked for /r /n above. Good V1 header received. */
1514   }
1515 else
1516   {
1517   /* Wrong protocol */
1518   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1519   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1520   goto proxyfail;
1521   }
1522
1523 done:
1524   DEBUG(D_receive)
1525     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1526   yield = proxy_session;
1527
1528 /* Don't flush any potential buffer contents. Any input on proxyfail
1529 should cause a synchronization failure */
1530
1531 proxyfail:
1532   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1533
1534 bad:
1535   if (yield)
1536     {
1537     sender_host_name = NULL;
1538     (void) host_name_lookup();
1539     host_build_sender_fullhost();
1540     }
1541   else
1542     {
1543     f.proxy_session_failed = TRUE;
1544     DEBUG(D_receive)
1545       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1546     }
1547
1548 return;
1549 }
1550 #endif
1551
1552 /*************************************************
1553 *           Read one command line                *
1554 *************************************************/
1555
1556 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1557 There are sites that don't do this, and in any case internal SMTP probably
1558 should check only for LF. Consequently, we check here for LF only. The line
1559 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1560 an unknown command. The command is read into the global smtp_cmd_buffer so that
1561 it is available via $smtp_command.
1562
1563 The character reading routine sets up a timeout for each block actually read
1564 from the input (which may contain more than one command). We set up a special
1565 signal handler that closes down the session on a timeout. Control does not
1566 return when it runs.
1567
1568 Arguments:
1569   check_sync    if TRUE, check synchronization rules if global option is TRUE
1570   buffer_lim    maximum to buffer in lower layer
1571
1572 Returns:       a code identifying the command (enumerated above)
1573 */
1574
1575 static int
1576 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1577 {
1578 int c;
1579 int ptr = 0;
1580 BOOL hadnull = FALSE;
1581
1582 had_command_timeout = 0;
1583 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1584
1585 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1586   {
1587   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1588     {
1589     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1590     return OTHER_CMD;
1591     }
1592   if (c == 0)
1593     {
1594     hadnull = TRUE;
1595     c = '?';
1596     }
1597   smtp_cmd_buffer[ptr++] = c;
1598   }
1599
1600 receive_linecount++;    /* For BSMTP errors */
1601 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1602
1603 /* If hit end of file, return pseudo EOF command. Whether we have a
1604 part-line already read doesn't matter, since this is an error state. */
1605
1606 if (c == EOF) return EOF_CMD;
1607
1608 /* Remove any CR and white space at the end of the line, and terminate the
1609 string. */
1610
1611 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1612 smtp_cmd_buffer[ptr] = 0;
1613
1614 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1615
1616 /* NULLs are not allowed in SMTP commands */
1617
1618 if (hadnull) return BADCHAR_CMD;
1619
1620 /* Scan command list and return identity, having set the data pointer
1621 to the start of the actual data characters. Check for SMTP synchronization
1622 if required. */
1623
1624 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1625   {
1626 #ifdef SUPPORT_PROXY
1627   /* Only allow QUIT command if Proxy Protocol parsing failed */
1628   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1629     continue;
1630 #endif
1631   if (  p->len
1632      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1633      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1634         || smtp_cmd_buffer[p->len] == 0
1635         || smtp_cmd_buffer[p->len] == ' '
1636      )  )
1637     {
1638     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1639         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1640         check_sync &&                                  /* Local flag set */
1641         smtp_enforce_sync &&                           /* Global flag set */
1642         sender_host_address != NULL &&                 /* Not local input */
1643         !f.sender_host_notsocket)                        /* Really is a socket */
1644       return BADSYN_CMD;
1645
1646     /* The variables $smtp_command and $smtp_command_argument point into the
1647     unmodified input buffer. A copy of the latter is taken for actual
1648     processing, so that it can be chopped up into separate parts if necessary,
1649     for example, when processing a MAIL command options such as SIZE that can
1650     follow the sender address. */
1651
1652     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1653     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1654     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1655     smtp_cmd_data = smtp_data_buffer;
1656
1657     /* Count non-mail commands from those hosts that are controlled in this
1658     way. The default is all hosts. We don't waste effort checking the list
1659     until we get a non-mail command, but then cache the result to save checking
1660     again. If there's a DEFER while checking the host, assume it's in the list.
1661
1662     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1663     start of each incoming message by fiddling with the value in the table. */
1664
1665     if (!p->is_mail_cmd)
1666       {
1667       if (count_nonmail == TRUE_UNSET) count_nonmail =
1668         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1669       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1670         return TOO_MANY_NONMAIL_CMD;
1671       }
1672
1673     /* If there is data for a command that does not expect it, generate the
1674     error here. */
1675
1676     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1677     }
1678   }
1679
1680 #ifdef SUPPORT_PROXY
1681 /* Only allow QUIT command if Proxy Protocol parsing failed */
1682 if (proxy_session && f.proxy_session_failed)
1683   return PROXY_FAIL_IGNORE_CMD;
1684 #endif
1685
1686 /* Enforce synchronization for unknown commands */
1687
1688 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1689    && check_sync                        /* Local flag set */
1690    && smtp_enforce_sync                 /* Global flag set */
1691    && sender_host_address               /* Not local input */
1692    && !f.sender_host_notsocket)         /* Really is a socket */
1693   return BADSYN_CMD;
1694
1695 return OTHER_CMD;
1696 }
1697
1698
1699
1700 /*************************************************
1701 *          Forced closedown of call              *
1702 *************************************************/
1703
1704 /* This function is called from log.c when Exim is dying because of a serious
1705 disaster, and also from some other places. If an incoming non-batched SMTP
1706 channel is open, it swallows the rest of the incoming message if in the DATA
1707 phase, sends the reply string, and gives an error to all subsequent commands
1708 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1709 smtp_in.
1710
1711 Arguments:
1712   message   SMTP reply string to send, excluding the code
1713
1714 Returns:    nothing
1715 */
1716
1717 void
1718 smtp_closedown(uschar *message)
1719 {
1720 if (!smtp_in || smtp_batched_input) return;
1721 receive_swallow_smtp();
1722 smtp_printf("421 %s\r\n", FALSE, message);
1723
1724 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1725   {
1726   case EOF_CMD:
1727     return;
1728
1729   case QUIT_CMD:
1730     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1731     mac_smtp_fflush();
1732     return;
1733
1734   case RSET_CMD:
1735     smtp_printf("250 Reset OK\r\n", FALSE);
1736     break;
1737
1738   default:
1739     smtp_printf("421 %s\r\n", FALSE, message);
1740     break;
1741   }
1742 }
1743
1744
1745
1746
1747 /*************************************************
1748 *        Set up connection info for logging      *
1749 *************************************************/
1750
1751 /* This function is called when logging information about an SMTP connection.
1752 It sets up appropriate source information, depending on the type of connection.
1753 If sender_fullhost is NULL, we are at a very early stage of the connection;
1754 just use the IP address.
1755
1756 Argument:    none
1757 Returns:     a string describing the connection
1758 */
1759
1760 uschar *
1761 smtp_get_connection_info(void)
1762 {
1763 const uschar * hostname = sender_fullhost
1764   ? sender_fullhost : sender_host_address;
1765
1766 if (host_checking)
1767   return string_sprintf("SMTP connection from %s", hostname);
1768
1769 if (f.sender_host_unknown || f.sender_host_notsocket)
1770   return string_sprintf("SMTP connection from %s", sender_ident);
1771
1772 if (f.is_inetd)
1773   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1774
1775 if (LOGGING(incoming_interface) && interface_address)
1776   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1777     interface_address, interface_port);
1778
1779 return string_sprintf("SMTP connection from %s", hostname);
1780 }
1781
1782
1783
1784 #ifndef DISABLE_TLS
1785 /* Append TLS-related information to a log line
1786
1787 Arguments:
1788   g             String under construction: allocated string to extend, or NULL
1789
1790 Returns:        Allocated string or NULL
1791 */
1792 static gstring *
1793 s_tlslog(gstring * g)
1794 {
1795 if (LOGGING(tls_cipher) && tls_in.cipher)
1796   {
1797   g = string_append(g, 2, US" X=", tls_in.cipher);
1798 #ifdef EXPERIMENTAL_TLS_RESUME
1799   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1800     g = string_catn(g, US"*", 1);
1801 #endif
1802   }
1803 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1804   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1805 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1806   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1807 if (LOGGING(tls_sni) && tls_in.sni)
1808   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1809 return g;
1810 }
1811 #endif
1812
1813 /*************************************************
1814 *      Log lack of MAIL if so configured         *
1815 *************************************************/
1816
1817 /* This function is called when an SMTP session ends. If the log selector
1818 smtp_no_mail is set, write a log line giving some details of what has happened
1819 in the SMTP session.
1820
1821 Arguments:   none
1822 Returns:     nothing
1823 */
1824
1825 void
1826 smtp_log_no_mail(void)
1827 {
1828 uschar * sep, * s;
1829 gstring * g = NULL;
1830
1831 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1832   return;
1833
1834 if (sender_host_authenticated)
1835   {
1836   g = string_append(g, 2, US" A=", sender_host_authenticated);
1837   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1838   }
1839
1840 #ifndef DISABLE_TLS
1841 g = s_tlslog(g);
1842 #endif
1843
1844 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1845
1846 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1847   if (smtp_connection_had[i] != SCH_NONE)
1848     {
1849     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850     sep = US",";
1851     }
1852
1853 for (int i = 0; i < smtp_ch_index; i++)
1854   {
1855   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1856   sep = US",";
1857   }
1858
1859 if (!(s = string_from_gstring(g))) s = US"";
1860
1861 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1862   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1863   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1864 }
1865
1866
1867 /* Return list of recent smtp commands */
1868
1869 uschar *
1870 smtp_cmd_hist(void)
1871 {
1872 gstring * list = NULL;
1873 uschar * s;
1874
1875 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1876   if (smtp_connection_had[i] != SCH_NONE)
1877     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1878
1879 for (int i = 0; i < smtp_ch_index; i++)
1880   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1881
1882 s = string_from_gstring(list);
1883 return s ? s : US"";
1884 }
1885
1886
1887
1888
1889 /*************************************************
1890 *   Check HELO line and set sender_helo_name     *
1891 *************************************************/
1892
1893 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1894 the domain name of the sending host, or an ip literal in square brackets. The
1895 argument is placed in sender_helo_name, which is in malloc store, because it
1896 must persist over multiple incoming messages. If helo_accept_junk is set, this
1897 host is permitted to send any old junk (needed for some broken hosts).
1898 Otherwise, helo_allow_chars can be used for rogue characters in general
1899 (typically people want to let in underscores).
1900
1901 Argument:
1902   s       the data portion of the line (already past any white space)
1903
1904 Returns:  TRUE or FALSE
1905 */
1906
1907 static BOOL
1908 check_helo(uschar *s)
1909 {
1910 uschar *start = s;
1911 uschar *end = s + Ustrlen(s);
1912 BOOL yield = fl.helo_accept_junk;
1913
1914 /* Discard any previous helo name */
1915
1916 sender_helo_name = NULL;
1917
1918 /* Skip tests if junk is permitted. */
1919
1920 if (!yield)
1921
1922   /* Allow the new standard form for IPv6 address literals, namely,
1923   [IPv6:....], and because someone is bound to use it, allow an equivalent
1924   IPv4 form. Allow plain addresses as well. */
1925
1926   if (*s == '[')
1927     {
1928     if (end[-1] == ']')
1929       {
1930       end[-1] = 0;
1931       if (strncmpic(s, US"[IPv6:", 6) == 0)
1932         yield = (string_is_ip_address(s+6, NULL) == 6);
1933       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1934         yield = (string_is_ip_address(s+6, NULL) == 4);
1935       else
1936         yield = (string_is_ip_address(s+1, NULL) != 0);
1937       end[-1] = ']';
1938       }
1939     }
1940
1941   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1942   that have been configured (usually underscore - sigh). */
1943
1944   else if (*s)
1945     for (yield = TRUE; *s; s++)
1946       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1947           Ustrchr(helo_allow_chars, *s) == NULL)
1948         {
1949         yield = FALSE;
1950         break;
1951         }
1952
1953 /* Save argument if OK */
1954
1955 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
1956 return yield;
1957 }
1958
1959
1960
1961
1962
1963 /*************************************************
1964 *         Extract SMTP command option            *
1965 *************************************************/
1966
1967 /* This function picks the next option setting off the end of smtp_cmd_data. It
1968 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1969 things that can appear there.
1970
1971 Arguments:
1972    name           point this at the name
1973    value          point this at the data string
1974
1975 Returns:          TRUE if found an option
1976 */
1977
1978 static BOOL
1979 extract_option(uschar **name, uschar **value)
1980 {
1981 uschar *n;
1982 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1983 while (isspace(*v)) v--;
1984 v[1] = 0;
1985 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1986   {
1987   /* Take care to not stop at a space embedded in a quoted local-part */
1988
1989   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1990   v--;
1991   }
1992
1993 n = v;
1994 if (*v == '=')
1995   {
1996   while(isalpha(n[-1])) n--;
1997   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1998   if (!isspace(n[-1])) return FALSE;
1999   n[-1] = 0;
2000   }
2001 else
2002   {
2003   n++;
2004   if (v == smtp_cmd_data) return FALSE;
2005   }
2006 *v++ = 0;
2007 *name = n;
2008 *value = v;
2009 return TRUE;
2010 }
2011
2012
2013
2014
2015
2016 /*************************************************
2017 *         Reset for new message                  *
2018 *************************************************/
2019
2020 /* This function is called whenever the SMTP session is reset from
2021 within either of the setup functions; also from the daemon loop.
2022
2023 Argument:   the stacking pool storage reset point
2024 Returns:    nothing
2025 */
2026
2027 void *
2028 smtp_reset(void *reset_point)
2029 {
2030 recipients_list = NULL;
2031 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2032   raw_recipients_count = recipients_count = recipients_list_max = 0;
2033 message_linecount = 0;
2034 message_size = -1;
2035 acl_added_headers = NULL;
2036 acl_removed_headers = NULL;
2037 f.queue_only_policy = FALSE;
2038 rcpt_smtp_response = NULL;
2039 fl.rcpt_smtp_response_same = TRUE;
2040 fl.rcpt_in_progress = FALSE;
2041 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2042 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2043 fake_response = OK;                                  /* Can be set by ACL */
2044 #ifdef WITH_CONTENT_SCAN
2045 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2046 #endif
2047 f.submission_mode = FALSE;                             /* Can be set by ACL */
2048 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2049 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2050 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2051 sending_ip_address = NULL;
2052 return_path = sender_address = NULL;
2053 sender_data = NULL;                                  /* Can be set by ACL */
2054 deliver_localpart_parent = deliver_localpart_orig = NULL;
2055 deliver_domain_parent = deliver_domain_orig = NULL;
2056 callout_address = NULL;
2057 submission_name = NULL;                              /* Can be set by ACL */
2058 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2059 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2060 sender_verified_list = NULL;        /* No senders verified */
2061 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2062 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2063
2064 authenticated_sender = NULL;
2065 #ifdef EXPERIMENTAL_BRIGHTMAIL
2066 bmi_run = 0;
2067 bmi_verdicts = NULL;
2068 #endif
2069 dnslist_domain = dnslist_matched = NULL;
2070 #ifdef SUPPORT_SPF
2071 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2072 spf_result_guessed = FALSE;
2073 #endif
2074 #ifndef DISABLE_DKIM
2075 dkim_cur_signer = dkim_signers =
2076 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2077 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2078 f.dkim_disable_verify = FALSE;
2079 dkim_collect_input = 0;
2080 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2081 dkim_key_length = 0;
2082 #endif
2083 #ifdef SUPPORT_DMARC
2084 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2085 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2086 dmarc_used_domain = NULL;
2087 #endif
2088 #ifdef EXPERIMENTAL_ARC
2089 arc_state = arc_state_reason = NULL;
2090 #endif
2091 dsn_ret = 0;
2092 dsn_envid = NULL;
2093 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2094 #ifndef DISABLE_PRDR
2095 prdr_requested = FALSE;
2096 #endif
2097 #ifdef SUPPORT_I18N
2098 message_smtputf8 = FALSE;
2099 #endif
2100 body_linecount = body_zerocount = 0;
2101
2102 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2103 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2104                    /* Note that ratelimiters_conn persists across resets. */
2105
2106 /* Reset message ACL variables */
2107
2108 acl_var_m = NULL;
2109
2110 /* The message body variables use malloc store. They may be set if this is
2111 not the first message in an SMTP session and the previous message caused them
2112 to be referenced in an ACL. */
2113
2114 if (message_body)
2115   {
2116   store_free(message_body);
2117   message_body = NULL;
2118   }
2119
2120 if (message_body_end)
2121   {
2122   store_free(message_body_end);
2123   message_body_end = NULL;
2124   }
2125
2126 /* Warning log messages are also saved in malloc store. They are saved to avoid
2127 repetition in the same message, but it seems right to repeat them for different
2128 messages. */
2129
2130 while (acl_warn_logged)
2131   {
2132   string_item *this = acl_warn_logged;
2133   acl_warn_logged = acl_warn_logged->next;
2134   store_free(this);
2135   }
2136 store_reset(reset_point);
2137 return store_mark();
2138 }
2139
2140
2141
2142
2143
2144 /*************************************************
2145 *  Initialize for incoming batched SMTP message  *
2146 *************************************************/
2147
2148 /* This function is called from smtp_setup_msg() in the case when
2149 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2150 of messages in one file with SMTP commands between them. All errors must be
2151 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2152 relevant. After an error on a sender, or an invalid recipient, the remainder
2153 of the message is skipped. The value of received_protocol is already set.
2154
2155 Argument: none
2156 Returns:  > 0 message successfully started (reached DATA)
2157           = 0 QUIT read or end of file reached
2158           < 0 should not occur
2159 */
2160
2161 static int
2162 smtp_setup_batch_msg(void)
2163 {
2164 int done = 0;
2165 rmark reset_point = store_mark();
2166
2167 /* Save the line count at the start of each transaction - single commands
2168 like HELO and RSET count as whole transactions. */
2169
2170 bsmtp_transaction_linecount = receive_linecount;
2171
2172 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2173
2174 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2175 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2176
2177 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2178 value. The values are 2 larger than the required yield of the function. */
2179
2180 while (done <= 0)
2181   {
2182   uschar *errmess;
2183   uschar *recipient = NULL;
2184   int start, end, sender_domain, recipient_domain;
2185
2186   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2187     {
2188     /* The HELO/EHLO commands set sender_address_helo if they have
2189     valid data; otherwise they are ignored, except that they do
2190     a reset of the state. */
2191
2192     case HELO_CMD:
2193     case EHLO_CMD:
2194
2195       check_helo(smtp_cmd_data);
2196       /* Fall through */
2197
2198     case RSET_CMD:
2199       cancel_cutthrough_connection(TRUE, US"RSET received");
2200       reset_point = smtp_reset(reset_point);
2201       bsmtp_transaction_linecount = receive_linecount;
2202       break;
2203
2204
2205     /* The MAIL FROM command requires an address as an operand. All we
2206     do here is to parse it for syntactic correctness. The form "<>" is
2207     a special case which converts into an empty string. The start/end
2208     pointers in the original are not used further for this address, as
2209     it is the canonical extracted address which is all that is kept. */
2210
2211     case MAIL_CMD:
2212       smtp_mailcmd_count++;              /* Count for no-mail log */
2213       if (sender_address != NULL)
2214         /* The function moan_smtp_batch() does not return. */
2215         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2216
2217       if (smtp_cmd_data[0] == 0)
2218         /* The function moan_smtp_batch() does not return. */
2219         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2220
2221       /* Reset to start of message */
2222
2223       cancel_cutthrough_connection(TRUE, US"MAIL received");
2224       reset_point = smtp_reset(reset_point);
2225
2226       /* Apply SMTP rewrite */
2227
2228       raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2229         rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2230           US"", global_rewrite_rules) : smtp_cmd_data;
2231
2232       /* Extract the address; the TRUE flag allows <> as valid */
2233
2234       raw_sender =
2235         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2236           TRUE);
2237
2238       if (!raw_sender)
2239         /* The function moan_smtp_batch() does not return. */
2240         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2241
2242       sender_address = string_copy(raw_sender);
2243
2244       /* Qualify unqualified sender addresses if permitted to do so. */
2245
2246       if (  !sender_domain
2247          && sender_address[0] != 0 && sender_address[0] != '@')
2248         if (f.allow_unqualified_sender)
2249           {
2250           sender_address = rewrite_address_qualify(sender_address, FALSE);
2251           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2252             "and rewritten\n", raw_sender);
2253           }
2254         /* The function moan_smtp_batch() does not return. */
2255         else
2256           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2257             "a domain");
2258       break;
2259
2260
2261     /* The RCPT TO command requires an address as an operand. All we do
2262     here is to parse it for syntactic correctness. There may be any number
2263     of RCPT TO commands, specifying multiple senders. We build them all into
2264     a data structure that is in argc/argv format. The start/end values
2265     given by parse_extract_address are not used, as we keep only the
2266     extracted address. */
2267
2268     case RCPT_CMD:
2269       if (!sender_address)
2270         /* The function moan_smtp_batch() does not return. */
2271         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2272
2273       if (smtp_cmd_data[0] == 0)
2274         /* The function moan_smtp_batch() does not return. */
2275         moan_smtp_batch(smtp_cmd_buffer,
2276           "501 RCPT TO must have an address operand");
2277
2278       /* Check maximum number allowed */
2279
2280       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2281         /* The function moan_smtp_batch() does not return. */
2282         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2283           recipients_max_reject? "552": "452");
2284
2285       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2286       recipient address */
2287
2288       recipient = rewrite_existflags & rewrite_smtp
2289         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2290                       global_rewrite_rules)
2291         : smtp_cmd_data;
2292
2293       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2294         &recipient_domain, FALSE);
2295
2296       if (!recipient)
2297         /* The function moan_smtp_batch() does not return. */
2298         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2299
2300       /* If the recipient address is unqualified, qualify it if permitted. Then
2301       add it to the list of recipients. */
2302
2303       if (!recipient_domain)
2304         if (f.allow_unqualified_recipient)
2305           {
2306           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2307             recipient);
2308           recipient = rewrite_address_qualify(recipient, TRUE);
2309           }
2310         /* The function moan_smtp_batch() does not return. */
2311         else
2312           moan_smtp_batch(smtp_cmd_buffer,
2313             "501 recipient address must contain a domain");
2314
2315       receive_add_recipient(recipient, -1);
2316       break;
2317
2318
2319     /* The DATA command is legal only if it follows successful MAIL FROM
2320     and RCPT TO commands. This function is complete when a valid DATA
2321     command is encountered. */
2322
2323     case DATA_CMD:
2324       if (!sender_address || recipients_count <= 0)
2325         /* The function moan_smtp_batch() does not return. */
2326         if (!sender_address)
2327           moan_smtp_batch(smtp_cmd_buffer,
2328             "503 MAIL FROM:<sender> command must precede DATA");
2329         else
2330           moan_smtp_batch(smtp_cmd_buffer,
2331             "503 RCPT TO:<recipient> must precede DATA");
2332       else
2333         {
2334         done = 3;                      /* DATA successfully achieved */
2335         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2336         }
2337       break;
2338
2339
2340     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2341
2342     case VRFY_CMD:
2343     case EXPN_CMD:
2344     case HELP_CMD:
2345     case NOOP_CMD:
2346     case ETRN_CMD:
2347       bsmtp_transaction_linecount = receive_linecount;
2348       break;
2349
2350
2351     case EOF_CMD:
2352     case QUIT_CMD:
2353       done = 2;
2354       break;
2355
2356
2357     case BADARG_CMD:
2358       /* The function moan_smtp_batch() does not return. */
2359       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2360       break;
2361
2362
2363     case BADCHAR_CMD:
2364       /* The function moan_smtp_batch() does not return. */
2365       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2366       break;
2367
2368
2369     default:
2370       /* The function moan_smtp_batch() does not return. */
2371       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2372       break;
2373     }
2374   }
2375
2376 return done - 2;  /* Convert yield values */
2377 }
2378
2379
2380
2381
2382 #ifndef DISABLE_TLS
2383 static BOOL
2384 smtp_log_tls_fail(uschar * errstr)
2385 {
2386 uschar * conn_info = smtp_get_connection_info();
2387
2388 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2389 /* I'd like to get separated H= here, but too hard for now */
2390
2391 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2392 return FALSE;
2393 }
2394 #endif
2395
2396
2397
2398
2399 #ifdef TCP_FASTOPEN
2400 static void
2401 tfo_in_check(void)
2402 {
2403 # ifdef __FreeBSD__
2404 int is_fastopen;
2405 socklen_t len = sizeof(is_fastopen);
2406
2407 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2408 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2409
2410 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2411   {
2412   if (is_fastopen) 
2413     {
2414     DEBUG(D_receive)
2415       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2416     f.tcp_in_fastopen = TRUE;
2417     }
2418   }
2419 else DEBUG(D_receive)
2420   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2421
2422 # elif defined(TCP_INFO)
2423 struct tcp_info tinfo;
2424 socklen_t len = sizeof(tinfo);
2425
2426 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2427 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2428   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2429     {
2430     DEBUG(D_receive)
2431       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2432     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2433     }
2434   else
2435 #  endif
2436     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2437     {
2438     DEBUG(D_receive)
2439       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2440     f.tcp_in_fastopen = TRUE;
2441     }
2442 else DEBUG(D_receive)
2443   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2444 # endif
2445 }
2446 #endif
2447
2448
2449 /*************************************************
2450 *          Start an SMTP session                 *
2451 *************************************************/
2452
2453 /* This function is called at the start of an SMTP session. Thereafter,
2454 smtp_setup_msg() is called to initiate each separate message. This
2455 function does host-specific testing, and outputs the banner line.
2456
2457 Arguments:     none
2458 Returns:       FALSE if the session can not continue; something has
2459                gone wrong, or the connection to the host is blocked
2460 */
2461
2462 BOOL
2463 smtp_start_session(void)
2464 {
2465 int esclen;
2466 uschar *user_msg, *log_msg;
2467 uschar *code, *esc;
2468 uschar *p, *s;
2469 gstring * ss;
2470
2471 gettimeofday(&smtp_connection_start, NULL);
2472 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2473   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2474 smtp_ch_index = 0;
2475
2476 /* Default values for certain variables */
2477
2478 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2479 smtp_mailcmd_count = 0;
2480 count_nonmail = TRUE_UNSET;
2481 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2482 smtp_delay_mail = smtp_rlm_base;
2483 fl.auth_advertised = FALSE;
2484 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2485 f.pipelining_enable = TRUE;
2486 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2487 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2488
2489 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2490 authentication settings from -oMaa to remain in force. */
2491
2492 if (!host_checking && !f.sender_host_notsocket)
2493   sender_host_auth_pubname = sender_host_authenticated = NULL;
2494 authenticated_by = NULL;
2495
2496 #ifndef DISABLE_TLS
2497 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2498 tls_in.ourcert = tls_in.peercert = NULL;
2499 tls_in.sni = NULL;
2500 tls_in.ocsp = OCSP_NOT_REQ;
2501 fl.tls_advertised = FALSE;
2502 #endif
2503 fl.dsn_advertised = FALSE;
2504 #ifdef SUPPORT_I18N
2505 fl.smtputf8_advertised = FALSE;
2506 #endif
2507
2508 /* Reset ACL connection variables */
2509
2510 acl_var_c = NULL;
2511
2512 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2513
2514 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, TRUE);
2515
2516 smtp_cmd_buffer[0] = 0;
2517 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2518
2519 /* For batched input, the protocol setting can be overridden from the
2520 command line by a trusted caller. */
2521
2522 if (smtp_batched_input)
2523   {
2524   if (!received_protocol) received_protocol = US"local-bsmtp";
2525   }
2526
2527 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2528 reset later if any of EHLO/AUTH/STARTTLS are received. */
2529
2530 else
2531   received_protocol =
2532     (sender_host_address ? protocols : protocols_local) [pnormal];
2533
2534 /* Set up the buffer for inputting using direct read() calls, and arrange to
2535 call the local functions instead of the standard C ones.  Place a NUL at the
2536 end of the buffer to safety-stop C-string reads from it. */
2537
2538 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2539   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2540 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2541
2542 receive_getc = smtp_getc;
2543 receive_getbuf = smtp_getbuf;
2544 receive_get_cache = smtp_get_cache;
2545 receive_ungetc = smtp_ungetc;
2546 receive_feof = smtp_feof;
2547 receive_ferror = smtp_ferror;
2548 receive_smtp_buffered = smtp_buffered;
2549 smtp_inptr = smtp_inend = smtp_inbuffer;
2550 smtp_had_eof = smtp_had_error = 0;
2551
2552 /* Set up the message size limit; this may be host-specific */
2553
2554 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2555 if (expand_string_message)
2556   {
2557   if (thismessage_size_limit == -1)
2558     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2559       "%s", expand_string_message);
2560   else
2561     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2562       "%s", expand_string_message);
2563   smtp_closedown(US"Temporary local problem - please try later");
2564   return FALSE;
2565   }
2566
2567 /* When a message is input locally via the -bs or -bS options, sender_host_
2568 unknown is set unless -oMa was used to force an IP address, in which case it
2569 is checked like a real remote connection. When -bs is used from inetd, this
2570 flag is not set, causing the sending host to be checked. The code that deals
2571 with IP source routing (if configured) is never required for -bs or -bS and
2572 the flag sender_host_notsocket is used to suppress it.
2573
2574 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2575 reserve for certain hosts and/or networks. */
2576
2577 if (!f.sender_host_unknown)
2578   {
2579   int rc;
2580   BOOL reserved_host = FALSE;
2581
2582   /* Look up IP options (source routing info) on the socket if this is not an
2583   -oMa "host", and if any are found, log them and drop the connection.
2584
2585   Linux (and others now, see below) is different to everyone else, so there
2586   has to be some conditional compilation here. Versions of Linux before 2.1.15
2587   used a structure whose name was "options". Somebody finally realized that
2588   this name was silly, and it got changed to "ip_options". I use the
2589   newer name here, but there is a fudge in the script that sets up os.h
2590   to define a macro in older Linux systems.
2591
2592   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2593   glibc 2, which has chosen ip_opts for the structure name. This is now
2594   really a glibc thing rather than a Linux thing, so the condition name
2595   has been changed to reflect this. It is relevant also to GNU/Hurd.
2596
2597   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2598   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2599   a special macro defined in the os.h file.
2600
2601   Some DGUX versions on older hardware appear not to support IP options at
2602   all, so there is now a general macro which can be set to cut out this
2603   support altogether.
2604
2605   How to do this properly in IPv6 is not yet known. */
2606
2607 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2608
2609   #ifdef GLIBC_IP_OPTIONS
2610     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2611     #define OPTSTYLE 1
2612     #else
2613     #define OPTSTYLE 2
2614     #endif
2615   #elif defined DARWIN_IP_OPTIONS
2616     #define OPTSTYLE 2
2617   #else
2618     #define OPTSTYLE 3
2619   #endif
2620
2621   if (!host_checking && !f.sender_host_notsocket)
2622     {
2623     #if OPTSTYLE == 1
2624     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2625     struct ip_options *ipopt = store_get(optlen, FALSE);
2626     #elif OPTSTYLE == 2
2627     struct ip_opts ipoptblock;
2628     struct ip_opts *ipopt = &ipoptblock;
2629     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2630     #else
2631     struct ipoption ipoptblock;
2632     struct ipoption *ipopt = &ipoptblock;
2633     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2634     #endif
2635
2636     /* Occasional genuine failures of getsockopt() have been seen - for
2637     example, "reset by peer". Therefore, just log and give up on this
2638     call, unless the error is ENOPROTOOPT. This error is given by systems
2639     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2640     of writing. So for that error, carry on - we just can't do an IP options
2641     check. */
2642
2643     DEBUG(D_receive) debug_printf("checking for IP options\n");
2644
2645     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2646           &optlen) < 0)
2647       {
2648       if (errno != ENOPROTOOPT)
2649         {
2650         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2651           host_and_ident(FALSE), strerror(errno));
2652         smtp_printf("451 SMTP service not available\r\n", FALSE);
2653         return FALSE;
2654         }
2655       }
2656
2657     /* Deal with any IP options that are set. On the systems I have looked at,
2658     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2659     more logging data than will fit in big_buffer. Nevertheless, after somebody
2660     questioned this code, I've added in some paranoid checking. */
2661
2662     else if (optlen > 0)
2663       {
2664       uschar *p = big_buffer;
2665       uschar *pend = big_buffer + big_buffer_size;
2666       uschar *adptr;
2667       int optcount;
2668       struct in_addr addr;
2669
2670       #if OPTSTYLE == 1
2671       uschar *optstart = US (ipopt->__data);
2672       #elif OPTSTYLE == 2
2673       uschar *optstart = US (ipopt->ip_opts);
2674       #else
2675       uschar *optstart = US (ipopt->ipopt_list);
2676       #endif
2677
2678       DEBUG(D_receive) debug_printf("IP options exist\n");
2679
2680       Ustrcpy(p, "IP options on incoming call:");
2681       p += Ustrlen(p);
2682
2683       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2684         switch (*opt)
2685           {
2686           case IPOPT_EOL:
2687           opt = NULL;
2688           break;
2689
2690           case IPOPT_NOP:
2691           opt++;
2692           break;
2693
2694           case IPOPT_SSRR:
2695           case IPOPT_LSRR:
2696           if (!string_format(p, pend-p, " %s [@%s",
2697                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2698                #if OPTSTYLE == 1
2699                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2700                #elif OPTSTYLE == 2
2701                inet_ntoa(ipopt->ip_dst)))
2702                #else
2703                inet_ntoa(ipopt->ipopt_dst)))
2704                #endif
2705             {
2706             opt = NULL;
2707             break;
2708             }
2709
2710           p += Ustrlen(p);
2711           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2712           adptr = opt + 3;
2713           while (optcount-- > 0)
2714             {
2715             memcpy(&addr, adptr, sizeof(addr));
2716             if (!string_format(p, pend - p - 1, "%s%s",
2717                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2718               {
2719               opt = NULL;
2720               break;
2721               }
2722             p += Ustrlen(p);
2723             adptr += sizeof(struct in_addr);
2724             }
2725           *p++ = ']';
2726           opt += opt[1];
2727           break;
2728
2729           default:
2730             {
2731             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2732             Ustrcat(p, "[ ");
2733             p += 2;
2734             for (int i = 0; i < opt[1]; i++)
2735               p += sprintf(CS p, "%2.2x ", opt[i]);
2736             *p++ = ']';
2737             }
2738           opt += opt[1];
2739           break;
2740           }
2741
2742       *p = 0;
2743       log_write(0, LOG_MAIN, "%s", big_buffer);
2744
2745       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2746
2747       log_write(0, LOG_MAIN|LOG_REJECT,
2748         "connection from %s refused (IP options)", host_and_ident(FALSE));
2749
2750       smtp_printf("554 SMTP service not available\r\n", FALSE);
2751       return FALSE;
2752       }
2753
2754     /* Length of options = 0 => there are no options */
2755
2756     else DEBUG(D_receive) debug_printf("no IP options found\n");
2757     }
2758 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2759
2760   /* Set keep-alive in socket options. The option is on by default. This
2761   setting is an attempt to get rid of some hanging connections that stick in
2762   read() when the remote end (usually a dialup) goes away. */
2763
2764   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2765     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2766
2767   /* If the current host matches host_lookup, set the name by doing a
2768   reverse lookup. On failure, sender_host_name will be NULL and
2769   host_lookup_failed will be TRUE. This may or may not be serious - optional
2770   checks later. */
2771
2772   if (verify_check_host(&host_lookup) == OK)
2773     {
2774     (void)host_name_lookup();
2775     host_build_sender_fullhost();
2776     }
2777
2778   /* Delay this until we have the full name, if it is looked up. */
2779
2780   set_process_info("handling incoming connection from %s",
2781     host_and_ident(FALSE));
2782
2783   /* Expand smtp_receive_timeout, if needed */
2784
2785   if (smtp_receive_timeout_s)
2786     {
2787     uschar * exp;
2788     if (  !(exp = expand_string(smtp_receive_timeout_s))
2789        || !(*exp)
2790        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2791        )
2792       log_write(0, LOG_MAIN|LOG_PANIC,
2793         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2794     }
2795
2796   /* Test for explicit connection rejection */
2797
2798   if (verify_check_host(&host_reject_connection) == OK)
2799     {
2800     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2801       "from %s (host_reject_connection)", host_and_ident(FALSE));
2802     smtp_printf("554 SMTP service not available\r\n", FALSE);
2803     return FALSE;
2804     }
2805
2806   /* Test with TCP Wrappers if so configured. There is a problem in that
2807   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2808   such as disks dying. In these cases, it is desirable to reject with a 4xx
2809   error instead of a 5xx error. There isn't a "right" way to detect such
2810   problems. The following kludge is used: errno is zeroed before calling
2811   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2812   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2813   not exist). */
2814
2815 #ifdef USE_TCP_WRAPPERS
2816   errno = 0;
2817   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2818     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2819       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2820         expand_string_message);
2821
2822   if (!hosts_ctl(tcp_wrappers_name,
2823          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2824          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2825          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2826     {
2827     if (errno == 0 || errno == ENOENT)
2828       {
2829       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2830       log_write(L_connection_reject,
2831                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2832                 "(tcp wrappers)", host_and_ident(FALSE));
2833       smtp_printf("554 SMTP service not available\r\n", FALSE);
2834       }
2835     else
2836       {
2837       int save_errno = errno;
2838       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2839         "errno value %d\n", save_errno);
2840       log_write(L_connection_reject,
2841                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2842                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2843       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2844       }
2845     return FALSE;
2846     }
2847 #endif
2848
2849   /* Check for reserved slots. The value of smtp_accept_count has already been
2850   incremented to include this process. */
2851
2852   if (smtp_accept_max > 0 &&
2853       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2854     {
2855     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2856       {
2857       log_write(L_connection_reject,
2858         LOG_MAIN, "temporarily refused connection from %s: not in "
2859         "reserve list: connected=%d max=%d reserve=%d%s",
2860         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2861         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2862       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2863         "please try again later\r\n", FALSE, smtp_active_hostname);
2864       return FALSE;
2865       }
2866     reserved_host = TRUE;
2867     }
2868
2869   /* If a load level above which only messages from reserved hosts are
2870   accepted is set, check the load. For incoming calls via the daemon, the
2871   check is done in the superior process if there are no reserved hosts, to
2872   save a fork. In all cases, the load average will already be available
2873   in a global variable at this point. */
2874
2875   if (smtp_load_reserve >= 0 &&
2876        load_average > smtp_load_reserve &&
2877        !reserved_host &&
2878        verify_check_host(&smtp_reserve_hosts) != OK)
2879     {
2880     log_write(L_connection_reject,
2881       LOG_MAIN, "temporarily refused connection from %s: not in "
2882       "reserve list and load average = %.2f", host_and_ident(FALSE),
2883       (double)load_average/1000.0);
2884     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2885       smtp_active_hostname);
2886     return FALSE;
2887     }
2888
2889   /* Determine whether unqualified senders or recipients are permitted
2890   for this host. Unfortunately, we have to do this every time, in order to
2891   set the flags so that they can be inspected when considering qualifying
2892   addresses in the headers. For a site that permits no qualification, this
2893   won't take long, however. */
2894
2895   f.allow_unqualified_sender =
2896     verify_check_host(&sender_unqualified_hosts) == OK;
2897
2898   f.allow_unqualified_recipient =
2899     verify_check_host(&recipient_unqualified_hosts) == OK;
2900
2901   /* Determine whether HELO/EHLO is required for this host. The requirement
2902   can be hard or soft. */
2903
2904   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2905   if (!fl.helo_required)
2906     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2907
2908   /* Determine whether this hosts is permitted to send syntactic junk
2909   after a HELO or EHLO command. */
2910
2911   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2912   }
2913
2914 /* For batch SMTP input we are now done. */
2915
2916 if (smtp_batched_input) return TRUE;
2917
2918 /* If valid Proxy Protocol source is connecting, set up session.
2919  * Failure will not allow any SMTP function other than QUIT. */
2920
2921 #ifdef SUPPORT_PROXY
2922 proxy_session = FALSE;
2923 f.proxy_session_failed = FALSE;
2924 if (check_proxy_protocol_host())
2925   setup_proxy_protocol_host();
2926 #endif
2927
2928   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2929   smtps port for use with older style SSL MTAs. */
2930
2931 #ifndef DISABLE_TLS
2932   if (tls_in.on_connect)
2933     {
2934     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2935       return smtp_log_tls_fail(user_msg);
2936     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2937     }
2938 #endif
2939
2940 /* Run the connect ACL if it exists */
2941
2942 user_msg = NULL;
2943 if (acl_smtp_connect)
2944   {
2945   int rc;
2946   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2947                       &log_msg)) != OK)
2948     {
2949     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2950     return FALSE;
2951     }
2952   }
2953
2954 /* Output the initial message for a two-way SMTP connection. It may contain
2955 newlines, which then cause a multi-line response to be given. */
2956
2957 code = US"220";   /* Default status code */
2958 esc = US"";       /* Default extended status code */
2959 esclen = 0;       /* Length of esc */
2960
2961 if (!user_msg)
2962   {
2963   if (!(s = expand_string(smtp_banner)))
2964     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2965       "failed: %s", smtp_banner, expand_string_message);
2966   }
2967 else
2968   {
2969   int codelen = 3;
2970   s = user_msg;
2971   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2972   if (codelen > 4)
2973     {
2974     esc = code + 4;
2975     esclen = codelen - 4;
2976     }
2977   }
2978
2979 /* Remove any terminating newlines; might as well remove trailing space too */
2980
2981 p = s + Ustrlen(s);
2982 while (p > s && isspace(p[-1])) p--;
2983 *p = 0;
2984
2985 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2986 is all contained in a single IP packet. The original code wrote out the
2987 greeting using several calls to fprint/fputc, and on busy servers this could
2988 cause it to be split over more than one packet - which caused CC:Mail to fall
2989 over when it got the second part of the greeting after sending its first
2990 command. Sigh. To try to avoid this, build the complete greeting message
2991 first, and output it in one fell swoop. This gives a better chance of it
2992 ending up as a single packet. */
2993
2994 ss = string_get(256);
2995
2996 p = s;
2997 do       /* At least once, in case we have an empty string */
2998   {
2999   int len;
3000   uschar *linebreak = Ustrchr(p, '\n');
3001   ss = string_catn(ss, code, 3);
3002   if (!linebreak)
3003     {
3004     len = Ustrlen(p);
3005     ss = string_catn(ss, US" ", 1);
3006     }
3007   else
3008     {
3009     len = linebreak - p;
3010     ss = string_catn(ss, US"-", 1);
3011     }
3012   ss = string_catn(ss, esc, esclen);
3013   ss = string_catn(ss, p, len);
3014   ss = string_catn(ss, US"\r\n", 2);
3015   p += len;
3016   if (linebreak) p++;
3017   }
3018 while (*p);
3019
3020 /* Before we write the banner, check that there is no input pending, unless
3021 this synchronisation check is disabled. */
3022
3023 #ifndef DISABLE_PIPE_CONNECT
3024 fl.pipe_connect_acceptable =
3025   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3026
3027 if (!check_sync())
3028   if (fl.pipe_connect_acceptable)
3029     f.smtp_in_early_pipe_used = TRUE;
3030   else
3031 #else
3032 if (!check_sync())
3033 #endif
3034     {
3035     unsigned n = smtp_inend - smtp_inptr;
3036     if (n > 32) n = 32;
3037
3038     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3039       "synchronization error (input sent without waiting for greeting): "
3040       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3041       string_printing(string_copyn(smtp_inptr, n)));
3042     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3043     return FALSE;
3044     }
3045
3046 /* Now output the banner */
3047 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3048
3049 smtp_printf("%s",
3050 #ifndef DISABLE_PIPE_CONNECT
3051   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3052 #else
3053   FALSE,
3054 #endif
3055   string_from_gstring(ss));
3056
3057 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3058 handshake arrived.  If so we must have managed a TFO. */
3059
3060 #ifdef TCP_FASTOPEN
3061 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3062 #endif
3063
3064 return TRUE;
3065 }
3066
3067
3068
3069
3070
3071 /*************************************************
3072 *     Handle SMTP syntax and protocol errors     *
3073 *************************************************/
3074
3075 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3076 to do so. Then transmit the error response. The return value depends on the
3077 number of syntax and protocol errors in this SMTP session.
3078
3079 Arguments:
3080   type      error type, given as a log flag bit
3081   code      response code; <= 0 means don't send a response
3082   data      data to reflect in the response (can be NULL)
3083   errmess   the error message
3084
3085 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3086             +1   limit of syntax/protocol errors IS exceeded
3087
3088 These values fit in with the values of the "done" variable in the main
3089 processing loop in smtp_setup_msg(). */
3090
3091 static int
3092 synprot_error(int type, int code, uschar *data, uschar *errmess)
3093 {
3094 int yield = -1;
3095
3096 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3097   (type == L_smtp_syntax_error)? "syntax" : "protocol",
3098   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3099
3100 if (++synprot_error_count > smtp_max_synprot_errors)
3101   {
3102   yield = 1;
3103   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3104     "syntax or protocol errors (last command was \"%s\")",
3105     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3106   }
3107
3108 if (code > 0)
3109   {
3110   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3111     data ? data : US"", data ? US": " : US"", errmess);
3112   if (yield == 1)
3113     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3114   }
3115
3116 return yield;
3117 }
3118
3119
3120
3121
3122 /*************************************************
3123 *    Send SMTP response, possibly multiline      *
3124 *************************************************/
3125
3126 /* There are, it seems, broken clients out there that cannot handle multiline
3127 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3128 output nothing for non-final calls, and only the first line for anything else.
3129
3130 Arguments:
3131   code          SMTP code, may involve extended status codes
3132   codelen       length of smtp code; if > 4 there's an ESC
3133   final         FALSE if the last line isn't the final line
3134   msg           message text, possibly containing newlines
3135
3136 Returns:        nothing
3137 */
3138
3139 void
3140 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3141 {
3142 int esclen = 0;
3143 uschar *esc = US"";
3144
3145 if (!final && f.no_multiline_responses) return;
3146
3147 if (codelen > 4)
3148   {
3149   esc = code + 4;
3150   esclen = codelen - 4;
3151   }
3152
3153 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3154 have had the same. Note: this code is also present in smtp_printf(). It would
3155 be tidier to have it only in one place, but when it was added, it was easier to
3156 do it that way, so as not to have to mess with the code for the RCPT command,
3157 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3158
3159 if (fl.rcpt_in_progress)
3160   {
3161   if (rcpt_smtp_response == NULL)
3162     rcpt_smtp_response = string_copy(msg);
3163   else if (fl.rcpt_smtp_response_same &&
3164            Ustrcmp(rcpt_smtp_response, msg) != 0)
3165     fl.rcpt_smtp_response_same = FALSE;
3166   fl.rcpt_in_progress = FALSE;
3167   }
3168
3169 /* Now output the message, splitting it up into multiple lines if necessary.
3170 We only handle pipelining these responses as far as nonfinal/final groups,
3171 not the whole MAIL/RCPT/DATA response set. */
3172
3173 for (;;)
3174   {
3175   uschar *nl = Ustrchr(msg, '\n');
3176   if (nl == NULL)
3177     {
3178     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3179     return;
3180     }
3181   else if (nl[1] == 0 || f.no_multiline_responses)
3182     {
3183     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3184       (int)(nl - msg), msg);
3185     return;
3186     }
3187   else
3188     {
3189     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3190     msg = nl + 1;
3191     while (isspace(*msg)) msg++;
3192     }
3193   }
3194 }
3195
3196
3197
3198
3199 /*************************************************
3200 *            Parse user SMTP message             *
3201 *************************************************/
3202
3203 /* This function allows for user messages overriding the response code details
3204 by providing a suitable response code string at the start of the message
3205 user_msg. Check the message for starting with a response code and optionally an
3206 extended status code. If found, check that the first digit is valid, and if so,
3207 change the code pointer and length to use the replacement. An invalid code
3208 causes a panic log; in this case, if the log messages is the same as the user
3209 message, we must also adjust the value of the log message to show the code that
3210 is actually going to be used (the original one).
3211
3212 This function is global because it is called from receive.c as well as within
3213 this module.
3214
3215 Note that the code length returned includes the terminating whitespace
3216 character, which is always included in the regex match.
3217
3218 Arguments:
3219   code          SMTP code, may involve extended status codes
3220   codelen       length of smtp code; if > 4 there's an ESC
3221   msg           message text
3222   log_msg       optional log message, to be adjusted with the new SMTP code
3223   check_valid   if true, verify the response code
3224
3225 Returns:        nothing
3226 */
3227
3228 void
3229 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3230   BOOL check_valid)
3231 {
3232 int n;
3233 int ovector[3];
3234
3235 if (!msg || !*msg) return;
3236
3237 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3238   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3239
3240 if (check_valid && (*msg)[0] != (*code)[0])
3241   {
3242   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3243     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3244   if (log_msg != NULL && *log_msg == *msg)
3245     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3246   }
3247 else
3248   {
3249   *code = *msg;
3250   *codelen = ovector[1];    /* Includes final space */
3251   }
3252 *msg += ovector[1];         /* Chop the code off the message */
3253 return;
3254 }
3255
3256
3257
3258
3259 /*************************************************
3260 *           Handle an ACL failure                *
3261 *************************************************/
3262
3263 /* This function is called when acl_check() fails. As well as calls from within
3264 this module, it is called from receive.c for an ACL after DATA. It sorts out
3265 logging the incident, and sends the error response. A message containing
3266 newlines is turned into a multiline SMTP response, but for logging, only the
3267 first line is used.
3268
3269 There's a table of default permanent failure response codes to use in
3270 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3271 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3272 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3273 state, because there are broken clients that try VRFY before RCPT. A 5xx
3274 response should be given only when the address is positively known to be
3275 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3276 no explicit code, but if there is one we let it know best.
3277 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3278
3279 From Exim 4.63, it is possible to override the response code details by
3280 providing a suitable response code string at the start of the message provided
3281 in user_msg. The code's first digit is checked for validity.
3282
3283 Arguments:
3284   where        where the ACL was called from
3285   rc           the failure code
3286   user_msg     a message that can be included in an SMTP response
3287   log_msg      a message for logging
3288
3289 Returns:     0 in most cases
3290              2 if the failure code was FAIL_DROP, in which case the
3291                SMTP connection should be dropped (this value fits with the
3292                "done" variable in smtp_setup_msg() below)
3293 */
3294
3295 int
3296 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3297 {
3298 BOOL drop = rc == FAIL_DROP;
3299 int codelen = 3;
3300 uschar *smtp_code;
3301 uschar *lognl;
3302 uschar *sender_info = US"";
3303 uschar *what =
3304 #ifdef WITH_CONTENT_SCAN
3305   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3306 #endif
3307   where == ACL_WHERE_PREDATA ? US"DATA" :
3308   where == ACL_WHERE_DATA ? US"after DATA" :
3309 #ifndef DISABLE_PRDR
3310   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3311 #endif
3312   smtp_cmd_data ?
3313     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3314     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3315
3316 if (drop) rc = FAIL;
3317
3318 /* Set the default SMTP code, and allow a user message to change it. */
3319
3320 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3321 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3322   where != ACL_WHERE_VRFY);
3323
3324 /* We used to have sender_address here; however, there was a bug that was not
3325 updating sender_address after a rewrite during a verify. When this bug was
3326 fixed, sender_address at this point became the rewritten address. I'm not sure
3327 this is what should be logged, so I've changed to logging the unrewritten
3328 address to retain backward compatibility. */
3329
3330 #ifndef WITH_CONTENT_SCAN
3331 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3332 #else
3333 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3334 #endif
3335   {
3336   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3337     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3338     sender_host_authenticated ? US" A="                                    : US"",
3339     sender_host_authenticated ? sender_host_authenticated                  : US"",
3340     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3341     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3342     );
3343   }
3344
3345 /* If there's been a sender verification failure with a specific message, and
3346 we have not sent a response about it yet, do so now, as a preliminary line for
3347 failures, but not defers. However, always log it for defer, and log it for fail
3348 unless the sender_verify_fail log selector has been turned off. */
3349
3350 if (sender_verified_failed &&
3351     !testflag(sender_verified_failed, af_sverify_told))
3352   {
3353   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3354   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3355
3356   setflag(sender_verified_failed, af_sverify_told);
3357
3358   if (rc != FAIL || LOGGING(sender_verify_fail))
3359     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3360       host_and_ident(TRUE),
3361       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3362       sender_verified_failed->address,
3363       (sender_verified_failed->message == NULL)? US"" :
3364       string_sprintf(": %s", sender_verified_failed->message));
3365
3366   if (rc == FAIL && sender_verified_failed->user_message)
3367     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3368         testflag(sender_verified_failed, af_verify_pmfail)?
3369           "Postmaster verification failed while checking <%s>\n%s\n"
3370           "Several RFCs state that you are required to have a postmaster\n"
3371           "mailbox for each mail domain. This host does not accept mail\n"
3372           "from domains whose servers reject the postmaster address."
3373           :
3374         testflag(sender_verified_failed, af_verify_nsfail)?
3375           "Callback setup failed while verifying <%s>\n%s\n"
3376           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3377           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3378           "RFC requirements, and stops you from receiving standard bounce\n"
3379           "messages. This host does not accept mail from domains whose servers\n"
3380           "refuse bounces."
3381           :
3382           "Verification failed for <%s>\n%s",
3383         sender_verified_failed->address,
3384         sender_verified_failed->user_message));
3385
3386   fl.rcpt_in_progress = save_rcpt_in_progress;
3387   }
3388
3389 /* Sort out text for logging */
3390
3391 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3392 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3393
3394 /* Send permanent failure response to the command, but the code used isn't
3395 always a 5xx one - see comments at the start of this function. If the original
3396 rc was FAIL_DROP we drop the connection and yield 2. */
3397
3398 if (rc == FAIL)
3399   smtp_respond(smtp_code, codelen, TRUE,
3400     user_msg ? user_msg : US"Administrative prohibition");
3401
3402 /* Send temporary failure response to the command. Don't give any details,
3403 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3404 verb, and for a header verify when smtp_return_error_details is set.
3405
3406 This conditional logic is all somewhat of a mess because of the odd
3407 interactions between temp_details and return_error_details. One day it should
3408 be re-implemented in a tidier fashion. */
3409
3410 else
3411   if (f.acl_temp_details && user_msg)
3412     {
3413     if (  smtp_return_error_details
3414        && sender_verified_failed
3415        && sender_verified_failed->message
3416        )
3417       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3418
3419     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3420     }
3421   else
3422     smtp_respond(smtp_code, codelen, TRUE,
3423       US"Temporary local problem - please try later");
3424
3425 /* Log the incident to the logs that are specified by log_reject_target
3426 (default main, reject). This can be empty to suppress logging of rejections. If
3427 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3428 is closing if required and return 2.  */
3429
3430 if (log_reject_target != 0)
3431   {
3432 #ifndef DISABLE_TLS
3433   gstring * g = s_tlslog(NULL);
3434   uschar * tls = string_from_gstring(g);
3435   if (!tls) tls = US"";
3436 #else
3437   uschar * tls = US"";
3438 #endif
3439   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3440     log_reject_target, "%s%s%s %s%srejected %s%s",
3441     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3442     host_and_ident(TRUE),
3443     tls,
3444     sender_info,
3445     rc == FAIL ? US"" : US"temporarily ",
3446     what, log_msg);
3447   }
3448
3449 if (!drop) return 0;
3450
3451 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3452   smtp_get_connection_info());
3453
3454 /* Run the not-quit ACL, but without any custom messages. This should not be a
3455 problem, because we get here only if some other ACL has issued "drop", and
3456 in that case, *its* custom messages will have been used above. */
3457
3458 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3459 return 2;
3460 }
3461
3462
3463
3464
3465 /*************************************************
3466 *     Handle SMTP exit when QUIT is not given    *
3467 *************************************************/
3468
3469 /* This function provides a logging/statistics hook for when an SMTP connection
3470 is dropped on the floor or the other end goes away. It's a global function
3471 because it's called from receive.c as well as this module. As well as running
3472 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3473 response, either with a custom message from the ACL, or using a default. There
3474 is one case, however, when no message is output - after "drop". In that case,
3475 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3476 passed to this function.
3477
3478 In case things go wrong while processing this function, causing an error that
3479 may re-enter this function, there is a recursion check.
3480
3481 Arguments:
3482   reason          What $smtp_notquit_reason will be set to in the ACL;
3483                     if NULL, the ACL is not run
3484   code            The error code to return as part of the response
3485   defaultrespond  The default message if there's no user_msg
3486
3487 Returns:          Nothing
3488 */
3489
3490 void
3491 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3492 {
3493 int rc;
3494 uschar *user_msg = NULL;
3495 uschar *log_msg = NULL;
3496
3497 /* Check for recursive call */
3498
3499 if (fl.smtp_exit_function_called)
3500   {
3501   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3502     reason);
3503   return;
3504   }
3505 fl.smtp_exit_function_called = TRUE;
3506
3507 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3508
3509 if (acl_smtp_notquit && reason)
3510   {
3511   smtp_notquit_reason = reason;
3512   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3513                       &log_msg)) == ERROR)
3514     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3515       log_msg);
3516   }
3517
3518 /* If the connection was dropped, we certainly are no longer talking TLS */
3519 tls_in.active.sock = -1;
3520
3521 /* Write an SMTP response if we are expected to give one. As the default
3522 responses are all internal, they should be reasonable size. */
3523
3524 if (code && defaultrespond)
3525   {
3526   if (user_msg)
3527     smtp_respond(code, 3, TRUE, user_msg);
3528   else
3529     {
3530     gstring * g;
3531     va_list ap;
3532
3533     va_start(ap, defaultrespond);
3534     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3535     va_end(ap);
3536     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3537     }
3538   mac_smtp_fflush();
3539   }
3540 }
3541
3542
3543
3544
3545 /*************************************************
3546 *             Verify HELO argument               *
3547 *************************************************/
3548
3549 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3550 matched. It is also called from ACL processing if verify = helo is used and
3551 verification was not previously tried (i.e. helo_try_verify_hosts was not
3552 matched). The result of its processing is to set helo_verified and
3553 helo_verify_failed. These variables should both be FALSE for this function to
3554 be called.
3555
3556 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3557 for IPv6 ::ffff: literals.
3558
3559 Argument:   none
3560 Returns:    TRUE if testing was completed;
3561             FALSE on a temporary failure
3562 */
3563
3564 BOOL
3565 smtp_verify_helo(void)
3566 {
3567 BOOL yield = TRUE;
3568
3569 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3570   sender_helo_name);
3571
3572 if (sender_helo_name == NULL)
3573   {
3574   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3575   }
3576
3577 /* Deal with the case of -bs without an IP address */
3578
3579 else if (sender_host_address == NULL)
3580   {
3581   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3582   f.helo_verified = TRUE;
3583   }
3584
3585 /* Deal with the more common case when there is a sending IP address */
3586
3587 else if (sender_helo_name[0] == '[')
3588   {
3589   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3590     Ustrlen(sender_host_address)) == 0;
3591
3592 #if HAVE_IPV6
3593   if (!f.helo_verified)
3594     {
3595     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3596       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3597         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3598     }
3599 #endif
3600
3601   HDEBUG(D_receive)
3602     { if (f.helo_verified) debug_printf("matched host address\n"); }
3603   }
3604
3605 /* Do a reverse lookup if one hasn't already given a positive or negative
3606 response. If that fails, or the name doesn't match, try checking with a forward
3607 lookup. */
3608
3609 else
3610   {
3611   if (sender_host_name == NULL && !host_lookup_failed)
3612     yield = host_name_lookup() != DEFER;
3613
3614   /* If a host name is known, check it and all its aliases. */
3615
3616   if (sender_host_name)
3617     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3618       {
3619       sender_helo_dnssec = sender_host_dnssec;
3620       HDEBUG(D_receive) debug_printf("matched host name\n");
3621       }
3622     else
3623       {
3624       uschar **aliases = sender_host_aliases;
3625       while (*aliases)
3626         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3627           {
3628           sender_helo_dnssec = sender_host_dnssec;
3629           break;
3630           }
3631
3632       HDEBUG(D_receive) if (f.helo_verified)
3633           debug_printf("matched alias %s\n", *(--aliases));
3634       }
3635
3636   /* Final attempt: try a forward lookup of the helo name */
3637
3638   if (!f.helo_verified)
3639     {
3640     int rc;
3641     host_item h =
3642       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3643     dnssec_domains d =
3644       {.request = US"*", .require = US""};
3645
3646     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3647       sender_helo_name);
3648     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3649                           NULL, NULL, NULL, &d, NULL, NULL);
3650     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3651       for (host_item * hh = &h; hh; hh = hh->next)
3652         if (Ustrcmp(hh->address, sender_host_address) == 0)
3653           {
3654           f.helo_verified = TRUE;
3655           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3656           HDEBUG(D_receive)
3657             debug_printf("IP address for %s matches calling address\n"
3658               "Forward DNS security status: %sverified\n",
3659               sender_helo_name, sender_helo_dnssec ? "" : "un");
3660           break;
3661           }
3662     }
3663   }
3664
3665 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3666 return yield;
3667 }
3668
3669
3670
3671
3672 /*************************************************
3673 *        Send user response message              *
3674 *************************************************/
3675
3676 /* This function is passed a default response code and a user message. It calls
3677 smtp_message_code() to check and possibly modify the response code, and then
3678 calls smtp_respond() to transmit the response. I put this into a function
3679 just to avoid a lot of repetition.
3680
3681 Arguments:
3682   code         the response code
3683   user_msg     the user message
3684
3685 Returns:       nothing
3686 */
3687
3688 static void
3689 smtp_user_msg(uschar *code, uschar *user_msg)
3690 {
3691 int len = 3;
3692 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3693 smtp_respond(code, len, TRUE, user_msg);
3694 }
3695
3696
3697
3698 static int
3699 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3700 {
3701 const uschar *set_id = NULL;
3702 int rc;
3703
3704 /* Run the checking code, passing the remainder of the command line as
3705 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3706 it as the only set numerical variable. The authenticator may set $auth<n>
3707 and also set other numeric variables. The $auth<n> variables are preferred
3708 nowadays; the numerical variables remain for backwards compatibility.
3709
3710 Afterwards, have a go at expanding the set_id string, even if
3711 authentication failed - for bad passwords it can be useful to log the
3712 userid. On success, require set_id to expand and exist, and put it in
3713 authenticated_id. Save this in permanent store, as the working store gets
3714 reset at HELO, RSET, etc. */
3715
3716 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3717 expand_nmax = 0;
3718 expand_nlength[0] = 0;   /* $0 contains nothing */
3719
3720 rc = (au->info->servercode)(au, smtp_cmd_data);
3721 if (au->set_id) set_id = expand_string(au->set_id);
3722 expand_nmax = -1;        /* Reset numeric variables */
3723 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3724
3725 /* The value of authenticated_id is stored in the spool file and printed in
3726 log lines. It must not contain binary zeros or newline characters. In
3727 normal use, it never will, but when playing around or testing, this error
3728 can (did) happen. To guard against this, ensure that the id contains only
3729 printing characters. */
3730
3731 if (set_id) set_id = string_printing(set_id);
3732
3733 /* For the non-OK cases, set up additional logging data if set_id
3734 is not empty. */
3735
3736 if (rc != OK)
3737   set_id = set_id && *set_id
3738     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3739
3740 /* Switch on the result */
3741
3742 switch(rc)
3743   {
3744   case OK:
3745     if (!au->set_id || set_id)    /* Complete success */
3746       {
3747       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3748       sender_host_authenticated = au->name;
3749       sender_host_auth_pubname  = au->public_name;
3750       authentication_failed = FALSE;
3751       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3752
3753       received_protocol =
3754         (sender_host_address ? protocols : protocols_local)
3755           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3756       *s = *ss = US"235 Authentication succeeded";
3757       authenticated_by = au;
3758       break;
3759       }
3760
3761     /* Authentication succeeded, but we failed to expand the set_id string.
3762     Treat this as a temporary error. */
3763
3764     auth_defer_msg = expand_string_message;
3765     /* Fall through */
3766
3767   case DEFER:
3768     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3769     *s = string_sprintf("435 Unable to authenticate at present%s",
3770       auth_defer_user_msg);
3771     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3772       set_id, auth_defer_msg);
3773     break;
3774
3775   case BAD64:
3776     *s = *ss = US"501 Invalid base64 data";
3777     break;
3778
3779   case CANCELLED:
3780     *s = *ss = US"501 Authentication cancelled";
3781     break;
3782
3783   case UNEXPECTED:
3784     *s = *ss = US"553 Initial data not expected";
3785     break;
3786
3787   case FAIL:
3788     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3789     *s = US"535 Incorrect authentication data";
3790     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3791     break;
3792
3793   default:
3794     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3795     *s = US"435 Internal error";
3796     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3797       "check", set_id, rc);
3798     break;
3799   }
3800
3801 return rc;
3802 }
3803
3804
3805
3806
3807
3808 static int
3809 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3810 {
3811 int rd;
3812 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3813   {
3814   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3815     *recipient);
3816   rd = Ustrlen(recipient) + 1;
3817   *recipient = rewrite_address_qualify(*recipient, TRUE);
3818   return rd;
3819   }
3820 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3821   smtp_cmd_data);
3822 log_write(L_smtp_syntax_error,
3823   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3824   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3825 return 0;
3826 }
3827
3828
3829
3830
3831 static void
3832 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3833 {
3834 HAD(SCH_QUIT);
3835 incomplete_transaction_log(US"QUIT");
3836 if (acl_smtp_quit)
3837   {
3838   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3839   if (rc == ERROR)
3840     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3841       *log_msgp);
3842   }
3843
3844 #ifdef TCP_CORK
3845 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_CORK, US &on, sizeof(on));
3846 #endif
3847
3848 if (*user_msgp)
3849   smtp_respond(US"221", 3, TRUE, *user_msgp);
3850 else
3851   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3852
3853 #ifndef DISABLE_TLS
3854 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3855 #endif
3856
3857 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3858   smtp_get_connection_info());
3859 }
3860
3861
3862 static void
3863 smtp_rset_handler(void)
3864 {
3865 HAD(SCH_RSET);
3866 incomplete_transaction_log(US"RSET");
3867 smtp_printf("250 Reset OK\r\n", FALSE);
3868 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3869 }
3870
3871
3872
3873 /*************************************************
3874 *       Initialize for SMTP incoming message     *
3875 *************************************************/
3876
3877 /* This function conducts the initial dialogue at the start of an incoming SMTP
3878 message, and builds a list of recipients. However, if the incoming message
3879 is part of a batch (-bS option) a separate function is called since it would
3880 be messy having tests splattered about all over this function. This function
3881 therefore handles the case where interaction is occurring. The input and output
3882 files are set up in smtp_in and smtp_out.
3883
3884 The global recipients_list is set to point to a vector of recipient_item
3885 blocks, whose number is given by recipients_count. This is extended by the
3886 receive_add_recipient() function. The global variable sender_address is set to
3887 the sender's address. The yield is +1 if a message has been successfully
3888 started, 0 if a QUIT command was encountered or the connection was refused from
3889 the particular host, or -1 if the connection was lost.
3890
3891 Argument: none
3892
3893 Returns:  > 0 message successfully started (reached DATA)
3894           = 0 QUIT read or end of file reached or call refused
3895           < 0 lost connection
3896 */
3897
3898 int
3899 smtp_setup_msg(void)
3900 {
3901 int done = 0;
3902 BOOL toomany = FALSE;
3903 BOOL discarded = FALSE;
3904 BOOL last_was_rej_mail = FALSE;
3905 BOOL last_was_rcpt = FALSE;
3906 rmark reset_point = store_mark();
3907
3908 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3909
3910 /* Reset for start of new message. We allow one RSET not to be counted as a
3911 nonmail command, for those MTAs that insist on sending it between every
3912 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3913 TLS between messages (an Exim client may do this if it has messages queued up
3914 for the host). Note: we do NOT reset AUTH at this point. */
3915
3916 reset_point = smtp_reset(reset_point);
3917 message_ended = END_NOTSTARTED;
3918
3919 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3920
3921 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3922 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3923 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3924 #ifndef DISABLE_TLS
3925 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3926 #endif
3927
3928 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3929
3930 had_command_sigterm = 0;
3931 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3932
3933 /* Batched SMTP is handled in a different function. */
3934
3935 if (smtp_batched_input) return smtp_setup_batch_msg();
3936
3937 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3938 value. The values are 2 larger than the required yield of the function. */
3939
3940 while (done <= 0)
3941   {
3942   const uschar **argv;
3943   uschar *etrn_command;
3944   uschar *etrn_serialize_key;
3945   uschar *errmess;
3946   uschar *log_msg, *smtp_code;
3947   uschar *user_msg = NULL;
3948   uschar *recipient = NULL;
3949   uschar *hello = NULL;
3950   uschar *s, *ss;
3951   BOOL was_rej_mail = FALSE;
3952   BOOL was_rcpt = FALSE;
3953   void (*oldsignal)(int);
3954   pid_t pid;
3955   int start, end, sender_domain, recipient_domain;
3956   int rc;
3957   int c;
3958   uschar *orcpt = NULL;
3959   int dsn_flags;
3960   gstring * g;
3961
3962 #ifdef AUTH_TLS
3963   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3964   if (  tls_in.active.sock >= 0
3965      && tls_in.peercert
3966      && tls_in.certificate_verified
3967      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3968      )
3969     {
3970     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3971
3972     for (auth_instance * au = auths; au; au = au->next)
3973       if (strcmpic(US"tls", au->driver_name) == 0)
3974         {
3975         if (  acl_smtp_auth
3976            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3977                       &user_msg, &log_msg)) != OK
3978            )
3979           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3980         else
3981           {
3982           smtp_cmd_data = NULL;
3983
3984           if (smtp_in_auth(au, &s, &ss) == OK)
3985             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3986           else
3987             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3988           }
3989         break;
3990         }
3991     }
3992 #endif
3993
3994 #ifdef TCP_QUICKACK
3995   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3996     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3997             US &off, sizeof(off));
3998 #endif
3999
4000   switch(smtp_read_command(
4001 #ifndef DISABLE_PIPE_CONNECT
4002           !fl.pipe_connect_acceptable,
4003 #else
4004           TRUE,
4005 #endif
4006           GETC_BUFFER_UNLIMITED))
4007     {
4008     /* The AUTH command is not permitted to occur inside a transaction, and may
4009     occur successfully only once per connection. Actually, that isn't quite
4010     true. When TLS is started, all previous information about a connection must
4011     be discarded, so a new AUTH is permitted at that time.
4012
4013     AUTH may only be used when it has been advertised. However, it seems that
4014     there are clients that send AUTH when it hasn't been advertised, some of
4015     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4016     So there's a get-out that allows this to happen.
4017
4018     AUTH is initially labelled as a "nonmail command" so that one occurrence
4019     doesn't get counted. We change the label here so that multiple failing
4020     AUTHS will eventually hit the nonmail threshold. */
4021
4022     case AUTH_CMD:
4023       HAD(SCH_AUTH);
4024       authentication_failed = TRUE;
4025       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4026
4027       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4028         {
4029         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4030           US"AUTH command used when not advertised");
4031         break;
4032         }
4033       if (sender_host_authenticated)
4034         {
4035         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4036           US"already authenticated");
4037         break;
4038         }
4039       if (sender_address)
4040         {
4041         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4042           US"not permitted in mail transaction");
4043         break;
4044         }
4045
4046       /* Check the ACL */
4047
4048       if (  acl_smtp_auth
4049          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4050                     &user_msg, &log_msg)) != OK
4051          )
4052         {
4053         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4054         break;
4055         }
4056
4057       /* Find the name of the requested authentication mechanism. */
4058
4059       s = smtp_cmd_data;
4060       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4061         {
4062         if (!isalnum(c) && c != '-' && c != '_')
4063           {
4064           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4065             US"invalid character in authentication mechanism name");
4066           goto COMMAND_LOOP;
4067           }
4068         smtp_cmd_data++;
4069         }
4070
4071       /* If not at the end of the line, we must be at white space. Terminate the
4072       name and move the pointer on to any data that may be present. */
4073
4074       if (*smtp_cmd_data != 0)
4075         {
4076         *smtp_cmd_data++ = 0;
4077         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4078         }
4079
4080       /* Search for an authentication mechanism which is configured for use
4081       as a server and which has been advertised (unless, sigh, allow_auth_
4082       unadvertised is set). */
4083
4084         {
4085         auth_instance * au;
4086         for (au = auths; au; au = au->next)
4087           if (strcmpic(s, au->public_name) == 0 && au->server &&
4088               (au->advertised || f.allow_auth_unadvertised))
4089             break;
4090
4091         if (au)
4092           {
4093           c = smtp_in_auth(au, &s, &ss);
4094
4095           smtp_printf("%s\r\n", FALSE, s);
4096           if (c != OK)
4097             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4098               au->name, host_and_ident(FALSE), ss);
4099           }
4100         else
4101           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4102             string_sprintf("%s authentication mechanism not supported", s));
4103         }
4104
4105       break;  /* AUTH_CMD */
4106
4107     /* The HELO/EHLO commands are permitted to appear in the middle of a
4108     session as well as at the beginning. They have the effect of a reset in
4109     addition to their other functions. Their absence at the start cannot be
4110     taken to be an error.
4111
4112     RFC 2821 says:
4113
4114       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4115       or 502 failure replies MUST be returned as appropriate.  The SMTP
4116       server MUST stay in the same state after transmitting these replies
4117       that it was in before the EHLO was received.
4118
4119     Therefore, we do not do the reset until after checking the command for
4120     acceptability. This change was made for Exim release 4.11. Previously
4121     it did the reset first. */
4122
4123     case HELO_CMD:
4124       HAD(SCH_HELO);
4125       hello = US"HELO";
4126       fl.esmtp = FALSE;
4127       goto HELO_EHLO;
4128
4129     case EHLO_CMD:
4130       HAD(SCH_EHLO);
4131       hello = US"EHLO";
4132       fl.esmtp = TRUE;
4133
4134     HELO_EHLO:      /* Common code for HELO and EHLO */
4135       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4136       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4137
4138       /* Reject the HELO if its argument was invalid or non-existent. A
4139       successful check causes the argument to be saved in malloc store. */
4140
4141       if (!check_helo(smtp_cmd_data))
4142         {
4143         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4144
4145         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4146           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4147           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4148                              string_printing(smtp_cmd_argument));
4149
4150         if (++synprot_error_count > smtp_max_synprot_errors)
4151           {
4152           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4153             "syntax or protocol errors (last command was \"%s\")",
4154             host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4155           done = 1;
4156           }
4157
4158         break;
4159         }
4160
4161       /* If sender_host_unknown is true, we have got here via the -bs interface,
4162       not called from inetd. Otherwise, we are running an IP connection and the
4163       host address will be set. If the helo name is the primary name of this
4164       host and we haven't done a reverse lookup, force one now. If helo_required
4165       is set, ensure that the HELO name matches the actual host. If helo_verify
4166       is set, do the same check, but softly. */
4167
4168       if (!f.sender_host_unknown)
4169         {
4170         BOOL old_helo_verified = f.helo_verified;
4171         uschar *p = smtp_cmd_data;
4172
4173         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4174         *p = 0;
4175
4176         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4177         because otherwise the log can be confusing. */
4178
4179         if (  !sender_host_name
4180            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4181                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4182           (void)host_name_lookup();
4183
4184         /* Rebuild the fullhost info to include the HELO name (and the real name
4185         if it was looked up.) */
4186
4187         host_build_sender_fullhost();  /* Rebuild */
4188         set_process_info("handling%s incoming connection from %s",
4189           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4190
4191         /* Verify if configured. This doesn't give much security, but it does
4192         make some people happy to be able to do it. If helo_required is set,
4193         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4194         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4195         now obsolescent, since the verification can now be requested selectively
4196         at ACL time. */
4197
4198         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4199         if (fl.helo_required || fl.helo_verify)
4200           {
4201           BOOL tempfail = !smtp_verify_helo();
4202           if (!f.helo_verified)
4203             {
4204             if (fl.helo_required)
4205               {
4206               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4207                 tempfail? 451 : 550, hello);
4208               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4209                 tempfail? "temporarily " : "",
4210                 hello, sender_helo_name, host_and_ident(FALSE));
4211               f.helo_verified = old_helo_verified;
4212               break;                   /* End of HELO/EHLO processing */
4213               }
4214             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4215               "helo_try_verify_hosts\n", hello);
4216             }
4217           }
4218         }
4219
4220 #ifdef SUPPORT_SPF
4221       /* set up SPF context */
4222       spf_conn_init(sender_helo_name, sender_host_address);
4223 #endif
4224
4225       /* Apply an ACL check if one is defined; afterwards, recheck
4226       synchronization in case the client started sending in a delay. */
4227
4228       if (acl_smtp_helo)
4229         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4230                   &user_msg, &log_msg)) != OK)
4231           {
4232           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4233           sender_helo_name = NULL;
4234           host_build_sender_fullhost();  /* Rebuild */
4235           break;
4236           }
4237 #ifndef DISABLE_PIPE_CONNECT
4238         else if (!fl.pipe_connect_acceptable && !check_sync())
4239 #else
4240         else if (!check_sync())
4241 #endif
4242           goto SYNC_FAILURE;
4243
4244       /* Generate an OK reply. The default string includes the ident if present,
4245       and also the IP address if present. Reflecting back the ident is intended
4246       as a deterrent to mail forgers. For maximum efficiency, and also because
4247       some broken systems expect each response to be in a single packet, arrange
4248       that the entire reply is sent in one write(). */
4249
4250       fl.auth_advertised = FALSE;
4251       f.smtp_in_pipelining_advertised = FALSE;
4252 #ifndef DISABLE_TLS
4253       fl.tls_advertised = FALSE;
4254 #endif
4255       fl.dsn_advertised = FALSE;
4256 #ifdef SUPPORT_I18N
4257       fl.smtputf8_advertised = FALSE;
4258 #endif
4259
4260       smtp_code = US"250 ";        /* Default response code plus space*/
4261       if (!user_msg)
4262         {
4263         /* sender_host_name below will be tainted, so save on copy when we hit it */
4264         g = string_get_tainted(24, TRUE);
4265         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4266           smtp_code,
4267           smtp_active_hostname,
4268           sender_ident ? sender_ident : US"",
4269           sender_ident ? US" at " : US"",
4270           sender_host_name ? sender_host_name : sender_helo_name);
4271
4272         if (sender_host_address)
4273           g = string_fmt_append(g, " [%s]", sender_host_address);
4274         }
4275
4276       /* A user-supplied EHLO greeting may not contain more than one line. Note
4277       that the code returned by smtp_message_code() includes the terminating
4278       whitespace character. */
4279
4280       else
4281         {
4282         char *ss;
4283         int codelen = 4;
4284         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4285         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4286         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4287           {
4288           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4289             "newlines: message truncated: %s", string_printing(s));
4290           *ss = 0;
4291           }
4292         g = string_cat(NULL, s);
4293         }
4294
4295       g = string_catn(g, US"\r\n", 2);
4296
4297       /* If we received EHLO, we must create a multiline response which includes
4298       the functions supported. */
4299
4300       if (fl.esmtp)
4301         {
4302         g->s[3] = '-';
4303
4304         /* I'm not entirely happy with this, as an MTA is supposed to check
4305         that it has enough room to accept a message of maximum size before
4306         it sends this. However, there seems little point in not sending it.
4307         The actual size check happens later at MAIL FROM time. By postponing it
4308         till then, VRFY and EXPN can be used after EHLO when space is short. */
4309
4310         if (thismessage_size_limit > 0)
4311           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4312             thismessage_size_limit);
4313         else
4314           {
4315           g = string_catn(g, smtp_code, 3);
4316           g = string_catn(g, US"-SIZE\r\n", 7);
4317           }
4318
4319         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4320         clean; if it has an 8-bit character in its hand, it just sends it. It
4321         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4322         However, some users want this option simply in order to stop MUAs
4323         mangling messages that contain top-bit-set characters. It is therefore
4324         provided as an option. */
4325
4326         if (accept_8bitmime)
4327           {
4328           g = string_catn(g, smtp_code, 3);
4329           g = string_catn(g, US"-8BITMIME\r\n", 11);
4330           }
4331
4332         /* Advertise DSN support if configured to do so. */
4333         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4334           {
4335           g = string_catn(g, smtp_code, 3);
4336           g = string_catn(g, US"-DSN\r\n", 6);
4337           fl.dsn_advertised = TRUE;
4338           }
4339
4340         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4341         permitted to issue them; a check is made when any host actually tries. */
4342
4343         if (acl_smtp_etrn)
4344           {
4345           g = string_catn(g, smtp_code, 3);
4346           g = string_catn(g, US"-ETRN\r\n", 7);
4347           }
4348         if (acl_smtp_vrfy)
4349           {
4350           g = string_catn(g, smtp_code, 3);
4351           g = string_catn(g, US"-VRFY\r\n", 7);
4352           }
4353         if (acl_smtp_expn)
4354           {
4355           g = string_catn(g, smtp_code, 3);
4356           g = string_catn(g, US"-EXPN\r\n", 7);
4357           }
4358
4359         /* Exim is quite happy with pipelining, so let the other end know that
4360         it is safe to use it, unless advertising is disabled. */
4361
4362         if (  f.pipelining_enable
4363            && verify_check_host(&pipelining_advertise_hosts) == OK)
4364           {
4365           g = string_catn(g, smtp_code, 3);
4366           g = string_catn(g, US"-PIPELINING\r\n", 13);
4367           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4368           f.smtp_in_pipelining_advertised = TRUE;
4369
4370 #ifndef DISABLE_PIPE_CONNECT
4371           if (fl.pipe_connect_acceptable)
4372             {
4373             f.smtp_in_early_pipe_advertised = TRUE;
4374             g = string_catn(g, smtp_code, 3);
4375             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4376             }
4377 #endif
4378           }
4379
4380
4381         /* If any server authentication mechanisms are configured, advertise
4382         them if the current host is in auth_advertise_hosts. The problem with
4383         advertising always is that some clients then require users to
4384         authenticate (and aren't configurable otherwise) even though it may not
4385         be necessary (e.g. if the host is in host_accept_relay).
4386
4387         RFC 2222 states that SASL mechanism names contain only upper case
4388         letters, so output the names in upper case, though we actually recognize
4389         them in either case in the AUTH command. */
4390
4391         if (  auths
4392 #ifdef AUTH_TLS
4393            && !sender_host_authenticated
4394 #endif
4395            && verify_check_host(&auth_advertise_hosts) == OK
4396            )
4397           {
4398           BOOL first = TRUE;
4399           for (auth_instance * au = auths; au; au = au->next)
4400             {
4401             au->advertised = FALSE;
4402             if (au->server)
4403               {
4404               DEBUG(D_auth+D_expand) debug_printf_indent(
4405                 "Evaluating advertise_condition for %s athenticator\n",
4406                 au->public_name);
4407               if (  !au->advertise_condition
4408                  || expand_check_condition(au->advertise_condition, au->name,
4409                         US"authenticator")
4410                  )
4411                 {
4412                 int saveptr;
4413                 if (first)
4414                   {
4415                   g = string_catn(g, smtp_code, 3);
4416                   g = string_catn(g, US"-AUTH", 5);
4417                   first = FALSE;
4418                   fl.auth_advertised = TRUE;
4419                   }
4420                 saveptr = g->ptr;
4421                 g = string_catn(g, US" ", 1);
4422                 g = string_cat (g, au->public_name);
4423                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4424                 au->advertised = TRUE;
4425                 }
4426               }
4427             }
4428
4429           if (!first) g = string_catn(g, US"\r\n", 2);
4430           }
4431
4432         /* RFC 3030 CHUNKING */
4433
4434         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4435           {
4436           g = string_catn(g, smtp_code, 3);
4437           g = string_catn(g, US"-CHUNKING\r\n", 11);
4438           f.chunking_offered = TRUE;
4439           chunking_state = CHUNKING_OFFERED;
4440           }
4441
4442         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4443         if it has been included in the binary, and the host matches
4444         tls_advertise_hosts. We must *not* advertise if we are already in a
4445         secure connection. */
4446
4447 #ifndef DISABLE_TLS
4448         if (tls_in.active.sock < 0 &&
4449             verify_check_host(&tls_advertise_hosts) != FAIL)
4450           {
4451           g = string_catn(g, smtp_code, 3);
4452           g = string_catn(g, US"-STARTTLS\r\n", 11);
4453           fl.tls_advertised = TRUE;
4454           }
4455 #endif
4456
4457 #ifndef DISABLE_PRDR
4458         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4459         if (prdr_enable)
4460           {
4461           g = string_catn(g, smtp_code, 3);
4462           g = string_catn(g, US"-PRDR\r\n", 7);
4463           }
4464 #endif
4465
4466 #ifdef SUPPORT_I18N
4467         if (  accept_8bitmime
4468            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4469           {
4470           g = string_catn(g, smtp_code, 3);
4471           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4472           fl.smtputf8_advertised = TRUE;
4473           }
4474 #endif
4475
4476         /* Finish off the multiline reply with one that is always available. */
4477
4478         g = string_catn(g, smtp_code, 3);
4479         g = string_catn(g, US" HELP\r\n", 7);
4480         }
4481
4482       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4483       has been seen. */
4484
4485 #ifndef DISABLE_TLS
4486       if (tls_in.active.sock >= 0)
4487         (void)tls_write(NULL, g->s, g->ptr,
4488 # ifndef DISABLE_PIPE_CONNECT
4489                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4490 # else
4491                         FALSE);
4492 # endif
4493       else
4494 #endif
4495
4496         {
4497         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4498         }
4499       DEBUG(D_receive)
4500         {
4501         uschar *cr;
4502
4503         (void) string_from_gstring(g);
4504         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4505           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4506         debug_printf("SMTP>> %s", g->s);
4507         }
4508       fl.helo_seen = TRUE;
4509
4510       /* Reset the protocol and the state, abandoning any previous message. */
4511       received_protocol =
4512         (sender_host_address ? protocols : protocols_local)
4513           [ (fl.esmtp
4514             ? pextend + (sender_host_authenticated ? pauthed : 0)
4515             : pnormal)
4516           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4517           ];
4518       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4519       reset_point = smtp_reset(reset_point);
4520       toomany = FALSE;
4521       break;   /* HELO/EHLO */
4522
4523
4524     /* The MAIL command requires an address as an operand. All we do
4525     here is to parse it for syntactic correctness. The form "<>" is
4526     a special case which converts into an empty string. The start/end
4527     pointers in the original are not used further for this address, as
4528     it is the canonical extracted address which is all that is kept. */
4529
4530     case MAIL_CMD:
4531       HAD(SCH_MAIL);
4532       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4533       was_rej_mail = TRUE;               /* Reset if accepted */
4534       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4535
4536       if (fl.helo_required && !fl.helo_seen)
4537         {
4538         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4539         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4540           "HELO/EHLO given", host_and_ident(FALSE));
4541         break;
4542         }
4543
4544       if (sender_address)
4545         {
4546         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4547           US"sender already given");
4548         break;
4549         }
4550
4551       if (!*smtp_cmd_data)
4552         {
4553         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4554           US"MAIL must have an address operand");
4555         break;
4556         }
4557
4558       /* Check to see if the limit for messages per connection would be
4559       exceeded by accepting further messages. */
4560
4561       if (smtp_accept_max_per_connection > 0 &&
4562           smtp_mailcmd_count > smtp_accept_max_per_connection)
4563         {
4564         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4565         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4566           "messages in one connection", host_and_ident(TRUE));
4567         break;
4568         }
4569
4570       /* Reset for start of message - even if this is going to fail, we
4571       obviously need to throw away any previous data. */
4572
4573       cancel_cutthrough_connection(TRUE, US"MAIL received");
4574       reset_point = smtp_reset(reset_point);
4575       toomany = FALSE;
4576       sender_data = recipient_data = NULL;
4577
4578       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4579
4580       if (fl.esmtp) for(;;)
4581         {
4582         uschar *name, *value, *end;
4583         unsigned long int size;
4584         BOOL arg_error = FALSE;
4585
4586         if (!extract_option(&name, &value)) break;
4587
4588         for (mail_args = env_mail_type_list;
4589              mail_args->value != ENV_MAIL_OPT_NULL;
4590              mail_args++
4591             )
4592           if (strcmpic(name, mail_args->name) == 0)
4593             break;
4594         if (mail_args->need_value && strcmpic(value, US"") == 0)
4595           break;
4596
4597         switch(mail_args->value)
4598           {
4599           /* Handle SIZE= by reading the value. We don't do the check till later,
4600           in order to be able to log the sender address on failure. */
4601           case ENV_MAIL_OPT_SIZE:
4602             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4603               {
4604               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4605                 size = INT_MAX;
4606               message_size = (int)size;
4607               }
4608             else
4609               arg_error = TRUE;
4610             break;
4611
4612           /* If this session was initiated with EHLO and accept_8bitmime is set,
4613           Exim will have indicated that it supports the BODY=8BITMIME option. In
4614           fact, it does not support this according to the RFCs, in that it does not
4615           take any special action for forwarding messages containing 8-bit
4616           characters. That is why accept_8bitmime is not the default setting, but
4617           some sites want the action that is provided. We recognize both "8BITMIME"
4618           and "7BIT" as body types, but take no action. */
4619           case ENV_MAIL_OPT_BODY:
4620             if (accept_8bitmime) {
4621               if (strcmpic(value, US"8BITMIME") == 0)
4622                 body_8bitmime = 8;
4623               else if (strcmpic(value, US"7BIT") == 0)
4624                 body_8bitmime = 7;
4625               else
4626                 {
4627                 body_8bitmime = 0;
4628                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4629                   US"invalid data for BODY");
4630                 goto COMMAND_LOOP;
4631                 }
4632               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4633               break;
4634             }
4635             arg_error = TRUE;
4636             break;
4637
4638           /* Handle the two DSN options, but only if configured to do so (which
4639           will have caused "DSN" to be given in the EHLO response). The code itself
4640           is included only if configured in at build time. */
4641
4642           case ENV_MAIL_OPT_RET:
4643             if (fl.dsn_advertised)
4644               {
4645               /* Check if RET has already been set */
4646               if (dsn_ret > 0)
4647                 {
4648                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4649                   US"RET can be specified once only");
4650                 goto COMMAND_LOOP;
4651                 }
4652               dsn_ret = strcmpic(value, US"HDRS") == 0
4653                 ? dsn_ret_hdrs
4654                 : strcmpic(value, US"FULL") == 0
4655                 ? dsn_ret_full
4656                 : 0;
4657               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4658               /* Check for invalid invalid value, and exit with error */
4659               if (dsn_ret == 0)
4660                 {
4661                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4662                   US"Value for RET is invalid");
4663                 goto COMMAND_LOOP;
4664                 }
4665               }
4666             break;
4667           case ENV_MAIL_OPT_ENVID:
4668             if (fl.dsn_advertised)
4669               {
4670               /* Check if the dsn envid has been already set */
4671               if (dsn_envid)
4672                 {
4673                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4674                   US"ENVID can be specified once only");
4675                 goto COMMAND_LOOP;
4676                 }
4677               dsn_envid = string_copy(value);
4678               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4679               }
4680             break;
4681
4682           /* Handle the AUTH extension. If the value given is not "<>" and either
4683           the ACL says "yes" or there is no ACL but the sending host is
4684           authenticated, we set it up as the authenticated sender. However, if the
4685           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4686           the condition is met. The value of AUTH is an xtext, which means that +,
4687           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4688           coding. */
4689           case ENV_MAIL_OPT_AUTH:
4690             if (Ustrcmp(value, "<>") != 0)
4691               {
4692               int rc;
4693               uschar *ignore_msg;
4694
4695               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4696                 {
4697                 /* Put back terminator overrides for error message */
4698                 value[-1] = '=';
4699                 name[-1] = ' ';
4700                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4701                   US"invalid data for AUTH");
4702                 goto COMMAND_LOOP;
4703                 }
4704               if (!acl_smtp_mailauth)
4705                 {
4706                 ignore_msg = US"client not authenticated";
4707                 rc = sender_host_authenticated ? OK : FAIL;
4708                 }
4709               else
4710                 {
4711                 ignore_msg = US"rejected by ACL";
4712                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4713                   &user_msg, &log_msg);
4714                 }
4715
4716               switch (rc)
4717                 {
4718                 case OK:
4719                   if (authenticated_by == NULL ||
4720                       authenticated_by->mail_auth_condition == NULL ||
4721                       expand_check_condition(authenticated_by->mail_auth_condition,
4722                           authenticated_by->name, US"authenticator"))
4723                     break;     /* Accept the AUTH */
4724
4725                   ignore_msg = US"server_mail_auth_condition failed";
4726                   if (authenticated_id != NULL)
4727                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4728                       ignore_msg, authenticated_id);
4729
4730                 /* Fall through */
4731
4732                 case FAIL:
4733                   authenticated_sender = NULL;
4734                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4735                     value, host_and_ident(TRUE), ignore_msg);
4736                   break;
4737
4738                 /* Should only get DEFER or ERROR here. Put back terminator
4739                 overrides for error message */
4740
4741                 default:
4742                   value[-1] = '=';
4743                   name[-1] = ' ';
4744                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4745                     log_msg);
4746                   goto COMMAND_LOOP;
4747                 }
4748               }
4749               break;
4750
4751 #ifndef DISABLE_PRDR
4752           case ENV_MAIL_OPT_PRDR:
4753             if (prdr_enable)
4754               prdr_requested = TRUE;
4755             break;
4756 #endif
4757
4758 #ifdef SUPPORT_I18N
4759           case ENV_MAIL_OPT_UTF8:
4760             if (!fl.smtputf8_advertised)
4761               {
4762               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4763                 US"SMTPUTF8 used when not advertised");
4764               goto COMMAND_LOOP;
4765               }
4766
4767             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4768             message_smtputf8 = allow_utf8_domains = TRUE;
4769             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4770               {
4771               int old_pool = store_pool;
4772               store_pool = POOL_PERM;
4773               received_protocol = string_sprintf("utf8%s", received_protocol);
4774               store_pool = old_pool;
4775               }
4776             break;
4777 #endif
4778
4779           /* No valid option. Stick back the terminator characters and break
4780           the loop.  Do the name-terminator second as extract_option sets
4781           value==name when it found no equal-sign.
4782           An error for a malformed address will occur. */
4783           case ENV_MAIL_OPT_NULL:
4784             value[-1] = '=';
4785             name[-1] = ' ';
4786             arg_error = TRUE;
4787             break;
4788
4789           default:  assert(0);
4790           }
4791         /* Break out of for loop if switch() had bad argument or
4792            when start of the email address is reached */
4793         if (arg_error) break;
4794         }
4795
4796       /* If we have passed the threshold for rate limiting, apply the current
4797       delay, and update it for next time, provided this is a limited host. */
4798
4799       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4800           verify_check_host(&smtp_ratelimit_hosts) == OK)
4801         {
4802         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4803           smtp_delay_mail/1000.0);
4804         millisleep((int)smtp_delay_mail);
4805         smtp_delay_mail *= smtp_rlm_factor;
4806         if (smtp_delay_mail > (double)smtp_rlm_limit)
4807           smtp_delay_mail = (double)smtp_rlm_limit;
4808         }
4809
4810       /* Now extract the address, first applying any SMTP-time rewriting. The
4811       TRUE flag allows "<>" as a sender address. */
4812
4813       raw_sender = rewrite_existflags & rewrite_smtp
4814         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4815                       global_rewrite_rules)
4816         : smtp_cmd_data;
4817
4818       raw_sender =
4819         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4820           TRUE);
4821
4822       if (!raw_sender)
4823         {
4824         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4825         break;
4826         }
4827
4828       sender_address = raw_sender;
4829
4830       /* If there is a configured size limit for mail, check that this message
4831       doesn't exceed it. The check is postponed to this point so that the sender
4832       can be logged. */
4833
4834       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4835         {
4836         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4837         log_write(L_size_reject,
4838             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4839             "message too big: size%s=%d max=%d",
4840             sender_address,
4841             host_and_ident(TRUE),
4842             (message_size == INT_MAX)? ">" : "",
4843             message_size,
4844             thismessage_size_limit);
4845         sender_address = NULL;
4846         break;
4847         }
4848
4849       /* Check there is enough space on the disk unless configured not to.
4850       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4851       plus the current message - i.e. we accept the message only if it won't
4852       reduce the space below the threshold. Add 5000 to the size to allow for
4853       overheads such as the Received: line and storing of recipients, etc.
4854       By putting the check here, even when SIZE is not given, it allow VRFY
4855       and EXPN etc. to be used when space is short. */
4856
4857       if (!receive_check_fs(
4858            (smtp_check_spool_space && message_size >= 0)?
4859               message_size + 5000 : 0))
4860         {
4861         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4862         sender_address = NULL;
4863         break;
4864         }
4865
4866       /* If sender_address is unqualified, reject it, unless this is a locally
4867       generated message, or the sending host or net is permitted to send
4868       unqualified addresses - typically local machines behaving as MUAs -
4869       in which case just qualify the address. The flag is set above at the start
4870       of the SMTP connection. */
4871
4872       if (!sender_domain && *sender_address)
4873         if (f.allow_unqualified_sender)
4874           {
4875           sender_domain = Ustrlen(sender_address) + 1;
4876           sender_address = rewrite_address_qualify(sender_address, FALSE);
4877           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4878             raw_sender);
4879           }
4880         else
4881           {
4882           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4883             smtp_cmd_data);
4884           log_write(L_smtp_syntax_error,
4885             LOG_MAIN|LOG_REJECT,
4886             "unqualified sender rejected: <%s> %s%s",
4887             raw_sender,
4888             host_and_ident(TRUE),
4889             host_lookup_msg);
4890           sender_address = NULL;
4891           break;
4892           }
4893
4894       /* Apply an ACL check if one is defined, before responding. Afterwards,
4895       when pipelining is not advertised, do another sync check in case the ACL
4896       delayed and the client started sending in the meantime. */
4897
4898       if (acl_smtp_mail)
4899         {
4900         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4901         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4902           goto SYNC_FAILURE;
4903         }
4904       else
4905         rc = OK;
4906
4907       if (rc == OK || rc == DISCARD)
4908         {
4909         BOOL more = pipeline_response();
4910
4911         if (!user_msg)
4912           smtp_printf("%s%s%s", more, US"250 OK",
4913                     #ifndef DISABLE_PRDR
4914                       prdr_requested ? US", PRDR Requested" : US"",
4915                     #else
4916                       US"",
4917                     #endif
4918                       US"\r\n");
4919         else
4920           {
4921         #ifndef DISABLE_PRDR
4922           if (prdr_requested)
4923              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4924         #endif
4925           smtp_user_msg(US"250", user_msg);
4926           }
4927         smtp_delay_rcpt = smtp_rlr_base;
4928         f.recipients_discarded = (rc == DISCARD);
4929         was_rej_mail = FALSE;
4930         }
4931       else
4932         {
4933         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4934         sender_address = NULL;
4935         }
4936       break;
4937
4938
4939     /* The RCPT command requires an address as an operand. There may be any
4940     number of RCPT commands, specifying multiple recipients. We build them all
4941     into a data structure. The start/end values given by parse_extract_address
4942     are not used, as we keep only the extracted address. */
4943
4944     case RCPT_CMD:
4945       HAD(SCH_RCPT);
4946       rcpt_count++;
4947       was_rcpt = fl.rcpt_in_progress = TRUE;
4948
4949       /* There must be a sender address; if the sender was rejected and
4950       pipelining was advertised, we assume the client was pipelining, and do not
4951       count this as a protocol error. Reset was_rej_mail so that further RCPTs
4952       get the same treatment. */
4953
4954       if (sender_address == NULL)
4955         {
4956         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
4957           {
4958           smtp_printf("503 sender not yet given\r\n", FALSE);
4959           was_rej_mail = TRUE;
4960           }
4961         else
4962           {
4963           done = synprot_error(L_smtp_protocol_error, 503, NULL,
4964             US"sender not yet given");
4965           was_rcpt = FALSE;             /* Not a valid RCPT */
4966           }
4967         rcpt_fail_count++;
4968         break;
4969         }
4970
4971       /* Check for an operand */
4972
4973       if (smtp_cmd_data[0] == 0)
4974         {
4975         done = synprot_error(L_smtp_syntax_error, 501, NULL,
4976           US"RCPT must have an address operand");
4977         rcpt_fail_count++;
4978         break;
4979         }
4980
4981       /* Set the DSN flags orcpt and dsn_flags from the session*/
4982       orcpt = NULL;
4983       dsn_flags = 0;
4984
4985       if (fl.esmtp) for(;;)
4986         {
4987         uschar *name, *value;
4988
4989         if (!extract_option(&name, &value))
4990           break;
4991
4992         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4993           {
4994           /* Check whether orcpt has been already set */
4995           if (orcpt)
4996             {
4997             done = synprot_error(L_smtp_syntax_error, 501, NULL,
4998               US"ORCPT can be specified once only");
4999             goto COMMAND_LOOP;
5000             }
5001           orcpt = string_copy(value);
5002           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5003           }
5004
5005         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5006           {
5007           /* Check if the notify flags have been already set */
5008           if (dsn_flags > 0)
5009             {
5010             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5011                 US"NOTIFY can be specified once only");
5012             goto COMMAND_LOOP;
5013             }
5014           if (strcmpic(value, US"NEVER") == 0)
5015             dsn_flags |= rf_notify_never;
5016           else
5017             {
5018             uschar *p = value;
5019             while (*p != 0)
5020               {
5021               uschar *pp = p;
5022               while (*pp != 0 && *pp != ',') pp++;
5023               if (*pp == ',') *pp++ = 0;
5024               if (strcmpic(p, US"SUCCESS") == 0)
5025                 {
5026                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5027                 dsn_flags |= rf_notify_success;
5028                 }
5029               else if (strcmpic(p, US"FAILURE") == 0)
5030                 {
5031                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5032                 dsn_flags |= rf_notify_failure;
5033                 }
5034               else if (strcmpic(p, US"DELAY") == 0)
5035                 {
5036                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5037                 dsn_flags |= rf_notify_delay;
5038                 }
5039               else
5040                 {
5041                 /* Catch any strange values */
5042                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5043                   US"Invalid value for NOTIFY parameter");
5044                 goto COMMAND_LOOP;
5045                 }
5046               p = pp;
5047               }
5048               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5049             }
5050           }
5051
5052         /* Unknown option. Stick back the terminator characters and break
5053         the loop. An error for a malformed address will occur. */
5054
5055         else
5056           {
5057           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5058           name[-1] = ' ';
5059           value[-1] = '=';
5060           break;
5061           }
5062         }
5063
5064       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5065       as a recipient address */
5066
5067       recipient = rewrite_existflags & rewrite_smtp
5068         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5069             global_rewrite_rules)
5070         : smtp_cmd_data;
5071
5072       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5073         &recipient_domain, FALSE)))
5074         {
5075         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5076         rcpt_fail_count++;
5077         break;
5078         }
5079
5080       /* If the recipient address is unqualified, reject it, unless this is a
5081       locally generated message. However, unqualified addresses are permitted
5082       from a configured list of hosts and nets - typically when behaving as
5083       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5084       really. The flag is set at the start of the SMTP connection.
5085
5086       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5087       assumed this meant "reserved local part", but the revision of RFC 821 and
5088       friends now makes it absolutely clear that it means *mailbox*. Consequently
5089       we must always qualify this address, regardless. */
5090
5091       if (!recipient_domain)
5092         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5093                                     US"recipient")))
5094           {
5095           rcpt_fail_count++;
5096           break;
5097           }
5098
5099       /* Check maximum allowed */
5100
5101       if (rcpt_count > recipients_max && recipients_max > 0)
5102         {
5103         if (recipients_max_reject)
5104           {
5105           rcpt_fail_count++;
5106           smtp_printf("552 too many recipients\r\n", FALSE);
5107           if (!toomany)
5108             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5109               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5110           }
5111         else
5112           {
5113           rcpt_defer_count++;
5114           smtp_printf("452 too many recipients\r\n", FALSE);
5115           if (!toomany)
5116             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5117               "temporarily rejected: sender=<%s> %s", sender_address,
5118               host_and_ident(TRUE));
5119           }
5120
5121         toomany = TRUE;
5122         break;
5123         }
5124
5125       /* If we have passed the threshold for rate limiting, apply the current
5126       delay, and update it for next time, provided this is a limited host. */
5127
5128       if (rcpt_count > smtp_rlr_threshold &&
5129           verify_check_host(&smtp_ratelimit_hosts) == OK)
5130         {
5131         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5132           smtp_delay_rcpt/1000.0);
5133         millisleep((int)smtp_delay_rcpt);
5134         smtp_delay_rcpt *= smtp_rlr_factor;
5135         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5136           smtp_delay_rcpt = (double)smtp_rlr_limit;
5137         }
5138
5139       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5140       for them. Otherwise, check the access control list for this recipient. As
5141       there may be a delay in this, re-check for a synchronization error
5142       afterwards, unless pipelining was advertised. */
5143
5144       if (f.recipients_discarded)
5145         rc = DISCARD;
5146       else
5147         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5148                       &log_msg)) == OK
5149            && !f.smtp_in_pipelining_advertised && !check_sync())
5150           goto SYNC_FAILURE;
5151
5152       /* The ACL was happy */
5153
5154       if (rc == OK)
5155         {
5156         BOOL more = pipeline_response();
5157
5158         if (user_msg)
5159           smtp_user_msg(US"250", user_msg);
5160         else
5161           smtp_printf("250 Accepted\r\n", more);
5162         receive_add_recipient(recipient, -1);
5163
5164         /* Set the dsn flags in the recipients_list */
5165         recipients_list[recipients_count-1].orcpt = orcpt;
5166         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5167
5168         DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5169           recipients_list[recipients_count-1].orcpt,
5170           recipients_list[recipients_count-1].dsn_flags);
5171         }
5172
5173       /* The recipient was discarded */
5174
5175       else if (rc == DISCARD)
5176         {
5177         if (user_msg)
5178           smtp_user_msg(US"250", user_msg);
5179         else
5180           smtp_printf("250 Accepted\r\n", FALSE);
5181         rcpt_fail_count++;
5182         discarded = TRUE;
5183         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5184           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5185           sender_address_unrewritten? sender_address_unrewritten : sender_address,
5186           smtp_cmd_argument, f.recipients_discarded? "MAIL" : "RCPT",
5187           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5188         }
5189
5190       /* Either the ACL failed the address, or it was deferred. */
5191
5192       else
5193         {
5194         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5195         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5196         }
5197       break;
5198
5199
5200     /* The DATA command is legal only if it follows successful MAIL FROM
5201     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5202     not counted as a protocol error if it follows RCPT (which must have been
5203     rejected if there are no recipients.) This function is complete when a
5204     valid DATA command is encountered.
5205
5206     Note concerning the code used: RFC 2821 says this:
5207
5208      -  If there was no MAIL, or no RCPT, command, or all such commands
5209         were rejected, the server MAY return a "command out of sequence"
5210         (503) or "no valid recipients" (554) reply in response to the
5211         DATA command.
5212
5213     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5214     because it is the same whether pipelining is in use or not.
5215
5216     If all the RCPT commands that precede DATA provoked the same error message
5217     (often indicating some kind of system error), it is helpful to include it
5218     with the DATA rejection (an idea suggested by Tony Finch). */
5219
5220     case BDAT_CMD:
5221       {
5222       int n;
5223
5224       HAD(SCH_BDAT);
5225       if (chunking_state != CHUNKING_OFFERED)
5226         {
5227         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5228           US"BDAT command used when CHUNKING not advertised");
5229         break;
5230         }
5231
5232       /* grab size, endmarker */
5233
5234       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5235         {
5236         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5237           US"missing size for BDAT command");
5238         break;
5239         }
5240       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5241         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5242       chunking_data_left = chunking_datasize;
5243       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5244                                     (int)chunking_state, chunking_data_left);
5245
5246       /* push the current receive_* function on the "stack", and
5247       replace them by bdat_getc(), which in turn will use the lwr_receive_*
5248       functions to do the dirty work. */
5249       lwr_receive_getc = receive_getc;
5250       lwr_receive_getbuf = receive_getbuf;
5251       lwr_receive_ungetc = receive_ungetc;
5252
5253       receive_getc = bdat_getc;
5254       receive_ungetc = bdat_ungetc;
5255
5256       f.dot_ends = FALSE;
5257
5258       goto DATA_BDAT;
5259       }
5260
5261     case DATA_CMD:
5262       HAD(SCH_DATA);
5263       f.dot_ends = TRUE;
5264
5265     DATA_BDAT:          /* Common code for DATA and BDAT */
5266 #ifndef DISABLE_PIPE_CONNECT
5267       fl.pipe_connect_acceptable = FALSE;
5268 #endif
5269       if (!discarded && recipients_count <= 0)
5270         {
5271         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5272           {
5273           uschar *code = US"503";
5274           int len = Ustrlen(rcpt_smtp_response);
5275           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5276             "this error:");
5277           /* Responses from smtp_printf() will have \r\n on the end */
5278           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5279             rcpt_smtp_response[len-2] = 0;
5280           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5281           }
5282         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5283           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5284             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5285         else
5286           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5287             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5288             ? US"valid RCPT command must precede DATA"
5289             : US"valid RCPT command must precede BDAT");
5290
5291         if (chunking_state > CHUNKING_OFFERED)
5292           bdat_flush_data();
5293         break;
5294         }
5295
5296       if (toomany && recipients_max_reject)
5297         {
5298         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5299         sender_address_unrewritten = NULL;
5300         smtp_printf("554 Too many recipients\r\n", FALSE);
5301         break;
5302         }
5303
5304       if (chunking_state > CHUNKING_OFFERED)
5305         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5306       else
5307         {
5308         /* If there is an ACL, re-check the synchronization afterwards, since the
5309         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5310         to get the DATA command sent. */
5311
5312         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5313           rc = OK;
5314         else
5315           {
5316           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5317           f.enable_dollar_recipients = TRUE;
5318           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5319             &log_msg);
5320           f.enable_dollar_recipients = FALSE;
5321           if (rc == OK && !check_sync())
5322             goto SYNC_FAILURE;
5323
5324           if (rc != OK)
5325             {   /* Either the ACL failed the address, or it was deferred. */
5326             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5327             break;
5328             }
5329           }
5330
5331         if (user_msg)
5332           smtp_user_msg(US"354", user_msg);
5333         else
5334           smtp_printf(
5335             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5336         }
5337
5338 #ifdef TCP_QUICKACK
5339       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5340         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5341                 US &on, sizeof(on));
5342 #endif
5343       done = 3;
5344       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5345
5346       break;
5347
5348
5349     case VRFY_CMD:
5350       {
5351       uschar * address;
5352
5353       HAD(SCH_VRFY);
5354
5355       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5356             &start, &end, &recipient_domain, FALSE)))
5357         {
5358         smtp_printf("501 %s\r\n", FALSE, errmess);
5359         break;
5360         }
5361
5362       if (!recipient_domain)
5363         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5364                                     US"verify")))
5365           break;
5366
5367       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5368                     &user_msg, &log_msg)) != OK)
5369         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5370       else
5371         {
5372         uschar * s = NULL;
5373         address_item * addr = deliver_make_addr(address, FALSE);
5374
5375         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5376                -1, -1, NULL, NULL, NULL))
5377           {
5378           case OK:
5379             s = string_sprintf("250 <%s> is deliverable", address);
5380             break;
5381
5382           case DEFER:
5383             s = (addr->user_message != NULL)?
5384               string_sprintf("451 <%s> %s", address, addr->user_message) :
5385               string_sprintf("451 Cannot resolve <%s> at this time", address);
5386             break;
5387
5388           case FAIL:
5389             s = (addr->user_message != NULL)?
5390               string_sprintf("550 <%s> %s", address, addr->user_message) :
5391               string_sprintf("550 <%s> is not deliverable", address);
5392             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5393               smtp_cmd_argument, host_and_ident(TRUE));
5394             break;
5395           }
5396
5397         smtp_printf("%s\r\n", FALSE, s);
5398         }
5399       break;
5400       }
5401
5402
5403     case EXPN_CMD:
5404       HAD(SCH_EXPN);
5405       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5406       if (rc != OK)
5407         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5408       else
5409         {
5410         BOOL save_log_testing_mode = f.log_testing_mode;
5411         f.address_test_mode = f.log_testing_mode = TRUE;
5412         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5413           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5414           NULL, NULL, NULL);
5415         f.address_test_mode = FALSE;
5416         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5417         }
5418       break;
5419
5420
5421     #ifndef DISABLE_TLS
5422
5423     case STARTTLS_CMD:
5424       HAD(SCH_STARTTLS);
5425       if (!fl.tls_advertised)
5426         {
5427         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5428           US"STARTTLS command used when not advertised");
5429         break;
5430         }
5431
5432       /* Apply an ACL check if one is defined */
5433
5434       if (  acl_smtp_starttls
5435          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5436                     &user_msg, &log_msg)) != OK
5437          )
5438         {
5439         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5440         break;
5441         }
5442
5443       /* RFC 2487 is not clear on when this command may be sent, though it
5444       does state that all information previously obtained from the client
5445       must be discarded if a TLS session is started. It seems reasonable to
5446       do an implied RSET when STARTTLS is received. */
5447
5448       incomplete_transaction_log(US"STARTTLS");
5449       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5450       reset_point = smtp_reset(reset_point);
5451       toomany = FALSE;
5452       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5453
5454       /* There's an attack where more data is read in past the STARTTLS command
5455       before TLS is negotiated, then assumed to be part of the secure session
5456       when used afterwards; we use segregated input buffers, so are not
5457       vulnerable, but we want to note when it happens and, for sheer paranoia,
5458       ensure that the buffer is "wiped".
5459       Pipelining sync checks will normally have protected us too, unless disabled
5460       by configuration. */
5461
5462       if (receive_smtp_buffered())
5463         {
5464         DEBUG(D_any)
5465           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5466         if (tls_in.active.sock < 0)
5467           smtp_inend = smtp_inptr = smtp_inbuffer;
5468         /* and if TLS is already active, tls_server_start() should fail */
5469         }
5470
5471       /* There is nothing we value in the input buffer and if TLS is successfully
5472       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5473       fresh content into it.  The buffer contains arbitrary content from an
5474       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5475       It seems safest to just wipe away the content rather than leave it as a
5476       target to jump to. */
5477
5478       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5479
5480       /* Attempt to start up a TLS session, and if successful, discard all
5481       knowledge that was obtained previously. At least, that's what the RFC says,
5482       and that's what happens by default. However, in order to work round YAEB,
5483       there is an option to remember the esmtp state. Sigh.
5484
5485       We must allow for an extra EHLO command and an extra AUTH command after
5486       STARTTLS that don't add to the nonmail command count. */
5487
5488       s = NULL;
5489       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5490         {
5491         if (!tls_remember_esmtp)
5492           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5493         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5494         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5495         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5496         if (sender_helo_name)
5497           {
5498           sender_helo_name = NULL;
5499           host_build_sender_fullhost();  /* Rebuild */
5500           set_process_info("handling incoming TLS connection from %s",
5501             host_and_ident(FALSE));
5502           }
5503         received_protocol =
5504           (sender_host_address ? protocols : protocols_local)
5505             [ (fl.esmtp
5506               ? pextend + (sender_host_authenticated ? pauthed : 0)
5507               : pnormal)
5508             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5509             ];
5510
5511         sender_host_auth_pubname = sender_host_authenticated = NULL;
5512         authenticated_id = NULL;
5513         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5514         DEBUG(D_tls) debug_printf("TLS active\n");
5515         break;     /* Successful STARTTLS */
5516         }
5517       else
5518         (void) smtp_log_tls_fail(s);
5519
5520       /* Some local configuration problem was discovered before actually trying
5521       to do a TLS handshake; give a temporary error. */
5522
5523       if (rc == DEFER)
5524         {
5525         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5526         break;
5527         }
5528
5529       /* Hard failure. Reject everything except QUIT or closed connection. One
5530       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5531       set, but we must still reject all incoming commands.  Another is a handshake
5532       failure - and there may some encrypted data still in the pipe to us, which we
5533       see as garbage commands. */
5534
5535       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5536       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5537         {
5538         case EOF_CMD:
5539           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5540             smtp_get_connection_info());
5541           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5542           done = 2;
5543           break;
5544
5545         /* It is perhaps arguable as to which exit ACL should be called here,
5546         but as it is probably a situation that almost never arises, it
5547         probably doesn't matter. We choose to call the real QUIT ACL, which in
5548         some sense is perhaps "right". */
5549
5550         case QUIT_CMD:
5551           user_msg = NULL;
5552           if (  acl_smtp_quit
5553              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5554                                 &log_msg)) == ERROR))
5555               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5556                 log_msg);
5557           if (user_msg)
5558             smtp_respond(US"221", 3, TRUE, user_msg);
5559           else
5560             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5561           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5562             smtp_get_connection_info());
5563           done = 2;
5564           break;
5565
5566         default:
5567           smtp_printf("554 Security failure\r\n", FALSE);
5568           break;
5569         }
5570       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5571       break;
5572     #endif
5573
5574
5575     /* The ACL for QUIT is provided for gathering statistical information or
5576     similar; it does not affect the response code, but it can supply a custom
5577     message. */
5578
5579     case QUIT_CMD:
5580       smtp_quit_handler(&user_msg, &log_msg);
5581       done = 2;
5582       break;
5583
5584
5585     case RSET_CMD:
5586       smtp_rset_handler();
5587       cancel_cutthrough_connection(TRUE, US"RSET received");
5588       reset_point = smtp_reset(reset_point);
5589       toomany = FALSE;
5590       break;
5591
5592
5593     case NOOP_CMD:
5594       HAD(SCH_NOOP);
5595       smtp_printf("250 OK\r\n", FALSE);
5596       break;
5597
5598
5599     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5600     used, a check will be done for permitted hosts. Show STARTTLS only if not
5601     already in a TLS session and if it would be advertised in the EHLO
5602     response. */
5603
5604     case HELP_CMD:
5605       HAD(SCH_HELP);
5606       smtp_printf("214-Commands supported:\r\n", TRUE);
5607         {
5608         uschar buffer[256];
5609         buffer[0] = 0;
5610         Ustrcat(buffer, US" AUTH");
5611         #ifndef DISABLE_TLS
5612         if (tls_in.active.sock < 0 &&
5613             verify_check_host(&tls_advertise_hosts) != FAIL)
5614           Ustrcat(buffer, US" STARTTLS");
5615         #endif
5616         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5617         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5618         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5619         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5620         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5621         smtp_printf("214%s\r\n", FALSE, buffer);
5622         }
5623       break;
5624
5625
5626     case EOF_CMD:
5627       incomplete_transaction_log(US"connection lost");
5628       smtp_notquit_exit(US"connection-lost", US"421",
5629         US"%s lost input connection", smtp_active_hostname);
5630
5631       /* Don't log by default unless in the middle of a message, as some mailers
5632       just drop the call rather than sending QUIT, and it clutters up the logs.
5633       */
5634
5635       if (sender_address || recipients_count > 0)
5636         log_write(L_lost_incoming_connection, LOG_MAIN,
5637           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5638           f.sender_host_unknown ? "EOF" : "disconnection",
5639           f.tcp_in_fastopen_logged
5640           ? US""
5641           : f.tcp_in_fastopen
5642           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5643           : US"",
5644           host_and_ident(FALSE), smtp_read_error,
5645           string_timesince(&smtp_connection_start)
5646           );
5647
5648       else
5649         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5650           smtp_get_connection_info(),
5651           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5652           smtp_read_error,
5653           string_timesince(&smtp_connection_start)
5654           );
5655
5656       done = 1;
5657       break;
5658
5659
5660     case ETRN_CMD:
5661       HAD(SCH_ETRN);
5662       if (sender_address)
5663         {
5664         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5665           US"ETRN is not permitted inside a transaction");
5666         break;
5667         }
5668
5669       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5670         host_and_ident(FALSE));
5671
5672       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5673                   &user_msg, &log_msg)) != OK)
5674         {
5675         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5676         break;
5677         }
5678
5679       /* Compute the serialization key for this command. */
5680
5681       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5682
5683       /* If a command has been specified for running as a result of ETRN, we
5684       permit any argument to ETRN. If not, only the # standard form is permitted,
5685       since that is strictly the only kind of ETRN that can be implemented
5686       according to the RFC. */
5687
5688       if (smtp_etrn_command)
5689         {
5690         uschar *error;
5691         BOOL rc;
5692         etrn_command = smtp_etrn_command;
5693         deliver_domain = smtp_cmd_data;
5694         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5695           US"ETRN processing", &error);
5696         deliver_domain = NULL;
5697         if (!rc)
5698           {
5699           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5700             error);
5701           smtp_printf("458 Internal failure\r\n", FALSE);
5702           break;
5703           }
5704         }
5705
5706       /* Else set up to call Exim with the -R option. */
5707
5708       else
5709         {
5710         if (*smtp_cmd_data++ != '#')
5711           {
5712           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5713             US"argument must begin with #");
5714           break;
5715           }
5716         etrn_command = US"exim -R";
5717         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5718           *queue_name ? 4 : 2,
5719           US"-R", smtp_cmd_data,
5720           US"-MCG", queue_name);
5721         }
5722
5723       /* If we are host-testing, don't actually do anything. */
5724
5725       if (host_checking)
5726         {
5727         HDEBUG(D_any)
5728           {
5729           debug_printf("ETRN command is: %s\n", etrn_command);
5730           debug_printf("ETRN command execution skipped\n");
5731           }
5732         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5733           else smtp_user_msg(US"250", user_msg);
5734         break;
5735         }
5736
5737
5738       /* If ETRN queue runs are to be serialized, check the database to
5739       ensure one isn't already running. */
5740
5741       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5742         {
5743         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5744         break;
5745         }
5746
5747       /* Fork a child process and run the command. We don't want to have to
5748       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5749       forking. It should be set that way anyway for external incoming SMTP,
5750       but we save and restore to be tidy. If serialization is required, we
5751       actually run the command in yet another process, so we can wait for it
5752       to complete and then remove the serialization lock. */
5753
5754       oldsignal = signal(SIGCHLD, SIG_IGN);
5755
5756       if ((pid = fork()) == 0)
5757         {
5758         smtp_input = FALSE;       /* This process is not associated with the */
5759         (void)fclose(smtp_in);    /* SMTP call any more. */
5760         (void)fclose(smtp_out);
5761
5762         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5763
5764         /* If not serializing, do the exec right away. Otherwise, fork down
5765         into another process. */
5766
5767         if (!smtp_etrn_serialize || (pid = fork()) == 0)
5768           {
5769           DEBUG(D_exec) debug_print_argv(argv);
5770           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5771           execv(CS argv[0], (char *const *)argv);
5772           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5773             etrn_command, strerror(errno));
5774           _exit(EXIT_FAILURE);         /* paranoia */
5775           }
5776
5777         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5778         is, we are in the first subprocess, after forking again. All we can do
5779         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5780         complete, before removing the serialization. */
5781
5782         if (pid < 0)
5783           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5784             "failed: %s", strerror(errno));
5785         else
5786           {
5787           int status;
5788           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5789             (int)pid);
5790           (void)wait(&status);
5791           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5792             (int)pid);
5793           }
5794
5795         enq_end(etrn_serialize_key);
5796         exim_underbar_exit(EXIT_SUCCESS);
5797         }
5798
5799       /* Back in the top level SMTP process. Check that we started a subprocess
5800       and restore the signal state. */
5801
5802       if (pid < 0)
5803         {
5804         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5805           strerror(errno));
5806         smtp_printf("458 Unable to fork process\r\n", FALSE);
5807         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5808         }
5809       else
5810         if (!user_msg)
5811           smtp_printf("250 OK\r\n", FALSE);
5812         else
5813           smtp_user_msg(US"250", user_msg);
5814
5815       signal(SIGCHLD, oldsignal);
5816       break;
5817
5818
5819     case BADARG_CMD:
5820       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5821         US"unexpected argument data");
5822       break;
5823
5824
5825     /* This currently happens only for NULLs, but could be extended. */
5826
5827     case BADCHAR_CMD:
5828       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5829         US"NUL character(s) present (shown as '?')");
5830       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5831                   FALSE);
5832       break;
5833
5834
5835     case BADSYN_CMD:
5836     SYNC_FAILURE:
5837       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5838         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5839       c = smtp_inend - smtp_inptr;
5840       if (c > 150) c = 150;     /* limit logged amount */
5841       smtp_inptr[c] = 0;
5842       incomplete_transaction_log(US"sync failure");
5843       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5844         "(next input sent too soon: pipelining was%s advertised): "
5845         "rejected \"%s\" %s next input=\"%s\"",
5846         f.smtp_in_pipelining_advertised ? "" : " not",
5847         smtp_cmd_buffer, host_and_ident(TRUE),
5848         string_printing(smtp_inptr));
5849       smtp_notquit_exit(US"synchronization-error", US"554",
5850         US"SMTP synchronization error");
5851       done = 1;   /* Pretend eof - drops connection */
5852       break;
5853
5854
5855     case TOO_MANY_NONMAIL_CMD:
5856       s = smtp_cmd_buffer;
5857       while (*s != 0 && !isspace(*s)) s++;
5858       incomplete_transaction_log(US"too many non-mail commands");
5859       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5860         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5861         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5862       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5863       done = 1;   /* Pretend eof - drops connection */
5864       break;
5865
5866 #ifdef SUPPORT_PROXY
5867     case PROXY_FAIL_IGNORE_CMD:
5868       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5869       break;
5870 #endif
5871
5872     default:
5873       if (unknown_command_count++ >= smtp_max_unknown_commands)
5874         {
5875         log_write(L_smtp_syntax_error, LOG_MAIN,
5876           "SMTP syntax error in \"%s\" %s %s",
5877           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5878           US"unrecognized command");
5879         incomplete_transaction_log(US"unrecognized command");
5880         smtp_notquit_exit(US"bad-commands", US"500",
5881           US"Too many unrecognized commands");
5882         done = 2;
5883         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5884           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5885           string_printing(smtp_cmd_buffer));
5886         }
5887       else
5888         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5889           US"unrecognized command");
5890       break;
5891     }
5892
5893   /* This label is used by goto's inside loops that want to break out to
5894   the end of the command-processing loop. */
5895
5896   COMMAND_LOOP:
5897   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5898   last_was_rcpt = was_rcpt;             /* protocol error handling */
5899   continue;
5900   }
5901
5902 return done - 2;  /* Convert yield values */
5903 }
5904
5905
5906
5907 gstring *
5908 authres_smtpauth(gstring * g)
5909 {
5910 if (!sender_host_authenticated)
5911   return g;
5912
5913 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5914
5915 if (Ustrcmp(sender_host_auth_pubname, "tls") != 0)
5916   g = string_append(g, 2, US") smtp.auth=", authenticated_id);
5917 else if (authenticated_id)
5918   g = string_append(g, 2, US") x509.auth=", authenticated_id);
5919 else
5920   g = string_catn(g, US") reason=x509.auth", 17);
5921
5922 if (authenticated_sender)
5923   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
5924 return g;
5925 }
5926
5927
5928
5929 /* vi: aw ai sw=2
5930 */
5931 /* End of smtp_in.c */